Apache Airflow 2.2: практический курс: Продвинутый Apache Airflow / Настраиваем CeleryExecutor
Для того чтобы задачи начали выполняться необходимо запустить celery-воркера. В случае с LocalExecutor
выполнение задач на себя берёт сам Scheduler, с CeleryExecutor дела обстоят немного иначе:
Запустить воркера можно командой airflow celery worker
. Если при запуске вы увидите сообщение об ошибке, что у вас не установлен python-клиент для работы с redis, то выполните:
pip install redis
Добрый день! А по логам что видно? Есть ли какие-то ошибки?
Здравствуйте, прошу прощение за беспокойство. Ошибка оказалась очень банальна, на машинах где запущены worker были указаны не корректные пути до места хранения dags
Ruslan Sinyugin 19 Декабрь 2022
Добрый день, столкнулся с такой проблемой что worker берет задание но выполнить его не может. Когда worker запущен на master node задания выполняются. Не подскажите в чем может быть проблема?