Шаг 3 из 3

Запуск celery-воркера

Для того чтобы задачи начали выполняться необходимо запустить celery-воркера. В случае с LocalExecutor выполнение задач на себя берёт сам Scheduler, с CeleryExecutor дела обстоят немного иначе:

  1. Scheduler отвечает за планирование задач по расписанию, и отправку их на выполнение в брокер сообщений (Redis/RabbitMQ)
  2. Специальный процесс (celery worker) "слушает" брокера и при появлении там задачи на выполнение начинает исполнение.

Запустить воркера можно командой airflow celery worker. Если при запуске вы увидите сообщение об ошибке, что у вас не установлен python-клиент для работы с redis, то выполните:

pip install redis

Комментарии

Добрый день, столкнулся с такой проблемой что worker берет задание но выполнить его не может. Когда worker запущен на master node задания выполняются. Не подскажите в чем может быть проблема?

Добрый день! А по логам что видно? Есть ли какие-то ошибки?

Здравствуйте, прошу прощение за беспокойство. Ошибка оказалась очень банальна, на машинах где запущены worker были указаны не корректные пути до места хранения dags