Шаг 2 из 6

Структура логов

Если внимательно приглядеться на содержимое папки с логами, то можно понять структуру. Шаблон записи логов следующий:

<dag_id>/<task_id>/<execution_date>/<retry_number>.log

Где retry_number это номер попытки выполнения DAG. Количество файлов равно количеству, заданному в параметре retries при определении DAG. Шаблон лога можно изменить, перезаписав опцию log_filename_template:

log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log

Формат сообщений логов можно изменить через параметр log_format в airflow.cfg, по умолчанию его значение:

log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s

Также Apache Airflow поддерживает запись логов на удалённый хост, например, на AWS S3, Google Storage или ElasticSearch.