flink没有失败,一直在报broker可能不存在的警告,怎么解决呢?-[阿里云_云淘科技]

Flink1.10 kafka0.10运行一段时间后,我把kafka停了,但是flink没有失败,一直在报broker可能不存在的警告,怎么解决呢?我没有配置重启策略,我希望任务在一段时间后失败

以下为热心网友提供的参考意见

要解决这个问题,您可以在Flink中配置Kafka消费者的错误处理和重启策略。具体来说,您可以通过以下步骤来实现:

  1. 打开您的Flink作业的配置文件(例如flink-conf.yaml)。
  2. 在配置文件中添加以下参数来设置Kafka消费者的错误处理和重启策略:
    jobmanager.rpc.address: 
    taskmanager.numberOfTaskSlots: 
    parallelism.default: 
    rest.port: 
    state.backend: 
    state.checkpoints.dir: 
    log.dirs: 
    
  3. 在配置文件中添加以下参数来设置Kafka消费者的重试次数和重试间隔:
    consumer.retry.max: 
    consumer.retry.backoff: 
    
  4. 保存并关闭配置文件。
  5. 重新启动您的Flink作业。

通过配置这些参数,当Kafka broker停止时,Flink作业将尝试重新连接到Kafka broker,并在达到最大重试次数后失败。这样,您就可以实现在一段时间后让任务失败的需求。

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:http://www.cnzhanzhang.com/21398.html

(0)
匿名
上一篇 2024年1月10日 下午1:53
下一篇 2024年1月10日

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。