为什么在 /dags目录创建的DAG需要一段时间才能在界面上显示?
在Apache Airflow中,当在 /dags目录创建一个新的DAG文件时,它不会在Airflow UI中立即显示。需要经过一段延迟后,DAG才会变得可见且可访问。
为什么会这样?
如何让它更快地显示?
处理这个问题的最佳方法是什么?
解决方案
当在 /dags目录创建一个新的DAG文件时,Airflow会在固定的时间间隔内扫描dags文件夹,这个时间间隔由参数 refresh_interval 控制,其默认值为 300s(5min)。要加快这个过程,我们可以将它的值设小一些,但需要谨慎,因为将其设得过低会增加CPU使用率,因为调度器会更频繁地进行扫描。因此,请根据实际需求修改该参数。
https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#refresh-interval
至于处理这一问题的最佳方法,我尚未探索替代方案。想听听是否有人尝试过不同的解决方案。
站内所有文章版权归属LeftHeroAI导航站,无授权禁止任何主体转载、抄袭、复制内容,亦不得私自架设镜像站点。一经侵权,本站将通过法律途径追责。