Конфигурация диспетчера
- retry_count — количество повторений задач при неудачном выполнении. Я в своей практике использую 3. По умолчанию параметр не задан. После всех повторений задача будет переведена в статус DISABLED и luigid не разрешит её повторно запускать в течение времени, заданного в параметре disable-window-seconds
- disable-window-seconds — время в течение которого нельзя перезапускать задачи в статусе DISABLED. По умолчанию 3600 секунд (1 час)
- retry_delay — интервал между повторными перезапусками задач. По умолчанию 900 секунд (15 минут).
- worker_disconnect_delay — очень важный параметр, определяющий когда считать задачу потерянной в связи с недоступностью воркера, который её выполняет. В секции Настройки воркера я упоминал параметр ping_interval, определяющий интервал между пингами диспетчера. worker_disconnect_delay по умолчанию равен 60 секундам. Если в течение этого времени от воркера не было ни одного пинга, задача считается неудачно завершенной.
- record_task_history — у диспетчера Luigi есть механизм ведения истории выполнения задач. Для его включения необходимо установить этот параметр в True и задать db_connection в секции [task_history], о нём речь в следующей секции.
- state_path — путь до файла куда будет записано текущее состояние при завершении работы luigid. Если завершение происходит через команду kill с флагом
-9, то ничего не будет сохранено. Также отмечу, что luigi сохраняет состояние через модуль pickle, поэтому могут быть проблемы с совместимостью между новыми версиями luigi.