Flink的MongoDB cdc 不支持从checkpoint重启吗？ -[阿里云_云淘科技]

匿名 • 2023年12月13日下午6:06 • 阿里云

Flink的MongoDB cdc 不支持从checkpoint重启吗？这边重启了两次都没成功。主键是字符串_id

以下为热心网友提供的参考意见

Flink的MongoDB Change Data Capture (CDC) 功能确实支持从checkpoint重启，但是在某些情况下可能会遇到问题。以下是一些可能导致无法成功从checkpoint恢复的原因：

不兼容的驱动版本：
Flink MongoDB CDC可能依赖于特定版本的MongoDB Java Driver。如果使用了不兼容或有bug的驱动版本，可能会导致无法正常监听数据变化。
主键格式问题：
在您的案例中，您提到主键是字符串_id。确保在Flink的连接配置和代码中正确处理这种类型的主键。例如，如果您正在使用的Flink connector不支持字符串作为主键类型，那么可能需要修改代码来适应这种情况。
resume token的问题：
Flink MongoDB CDC会定期将resume token写入checkpoint，以便在任务失败或重启时可以从中恢复。如果订阅的集合变更缓慢，或者Flink作业停止的时间超过了resume token的有效期，那么可能需要重新从头开始消费变更事件。
心跳事件的影响：
变更流中的心跳事件也可能影响到resume token的更新和恢复。在某些情况下，心跳事件可能会触发Flink任务错误地认为自己已经错过了某些变更事件，从而尝试从头开始消费。
Checkpoint完整性问题：
如果Flink的checkpoint本身存在问题，例如在写入过程中发生中断，那么这些checkpoint可能无法用于成功的恢复。
其他环境因素：
网络问题、数据库服务器状态改变以及其他与系统环境相关的因素都可能影响Flink任务从checkpoint恢复的能力。