dataworks支持mysql整库实时同步到clickhouse?-[阿里云_云淘科技]

dataworks支持mysql整库实时同步到clickhouse?dataworks支持mysql整库实时同步到clickhouse?-[阿里云_云淘科技]

以下为热心网友提供的参考意见

目前不支持哈 下拉列表没有的话 一般是目前不支持 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

以下为热心网友提供的参考意见

确实,DataWorks提供了实时数据同步功能,支持将源端数据库中的部分或全部表的数据变化实时同步至目标数据库中。您可以使用单表或整库同步方式,实现目标库实时保持和源库的数据对应。然而,虽然DataWorks可以将支持的各种数据源数据离线同步至云数据库ClickHouse,目前它还不支持MySQL到ClickHouse的实时同步。

不过,有其他方案可以实现MySQL到ClickHouse的实时同步,例如使用Canal组件完成binlog的解析和数据同步,Canal-Server进程会伪装成MySQL的slave,使用MySQL的binlog同步协议完成数据同步;Canal-Adapter进程负责从canal-server获取解析后的binlog,并且通过jdbc接口写入到ClickHouse。这种方案接受分钟级别的同步延迟,在每天规模500G,记录数目亿级别的场景下表现良好。

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:http://www.cnzhanzhang.com/12094.html

(0)
匿名
上一篇 2023年12月17日 上午7:24
下一篇 2023年12月17日 上午7:25

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。