新老DataHub迁移手册

  • 时间:
  • 浏览:0

DataHub控制台

类事 :

除以上配置外,你这些DataHub相关配置均独立到configure.xml文件配置,具体含义请参看新版OGG工具文档。

通过Flume工具写入数据的用户,迁移除了上述准备工作外,还需进行有另另一个 步骤

新安装句子(也可按照新版文档提供的一键安装包安装logstash)

新写入办法

input次责配置不需更改,更改output次责配置即可。

新Client初始化步骤

类事 :

原获取Shard列表及清况 办法

原Client初始化步骤

新版本具有更多的形态,性能功能都是 不少提升,还都都可不可以 并肩支持数据一份数据同步到Odps、OSS、ElasticSearch等多个不同服务中,且提供WebConsole控制台进行更简单的操作。

新版OGG工具文档

新版Logstash插件使用文档

通过Logstash插件写入数据的用户,迁移除了上述准备工作外,还需进行有另另一个 步骤

通过OGG工具写入数据的用户,迁移除了上述准备工作外,还需进行有另另一个 步骤

老DataHub在写入数据时时需直接指定分区,就让是通过fluend或logstash等插件写入的用户是时需配置分区信息就让通过某个时间字段转为固定格式作为分区

原安装句子

原写入办法

DataHub产品使用文档

详细写入新DataHub示例代码

新增配置

次责配置不需更改,更改match 次责配置即可。

新版DataHub所处主题-Topic的概念,与Odps的Table类事 ,有就让不等于Odps的Table,通常就让是时需导入数据到Odps句子,时需为每张表创建一有另另一个 Topic,且字段类型、顺序与名称时需一致,Odps中的分区字段当做普通的Topic字段处理,新版DataHub会根据该分区字段再DataHub中的数据值,将数据同步到Odps离线表中。

原依赖

新版Flume工具文档

新办法

通过Fluend插件写入数据的用户,迁移除了上述准备工作外,还需进行有另另一个 步骤

新版Fluentd插件使用文档

新增配置

新版DataHub在你这些行为上有所改变,Odps表的分区字段再DataHub中就让变成一有另另一个 普通字段,后台Connector同步任务在同步数据到Odps表都是根据分区字段比如pt具体每条记录的值写入Odps对应分区中。

创建Topic还都都可不可以 通过以下办法:

原Odps版内测DataHub(下文统称为老DataHub服务),于2016年11月21日起就让所处维护清况 ,新版DataHub届时就让开启公测,公测至今已有7天 以上时间,亲戚亲戚朋友 决定开始 英语 逐步下线老DataHub服务,老版次责用户时需迁移至新版DataHub。

新版DataHub中所处项目空间-Project概念,与Odps中Project类事 ,有就让不等于Odps中的Project,为了方便管理,亲戚亲戚朋友 建议迁移时在DataHub中创建与Odps Project同名的Project(不同名称也还都都可不可以 )

[TODO] 还都都可不可以 放一有另另一个 新老的diff文件example

新依赖

本文档针对使用Logstash、Fluentd、Flume以及使用SDK写入老DataHub服务的用户,提供迁移到新服务的指引,过程中遇到任何困难还都都可不可以 联系亲戚亲戚朋友