Шаг 2 из 6

Структура логов

Если внимательно приглядеться на содержимое папки с логами, то можно понять структуру. Шаблон записи логов следующий:

<dag_id>/<task_id>/<execution_date>/<retry_number>.log

Где retry_number это номер попытки выполнения DAG. Количество файлов равно количеству, заданному в параметре retries при определении DAG. Шаблон лога можно изменить, перезаписав опцию log_filename_template:

log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log

Формат сообщений логов можно изменить через параметр log_format в airflow.cfg, по умолчанию его значение:

log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s

Также Apache Airflow поддерживает запись логов на удалённый хост, например, на AWS S3, Google Storage или ElasticSearch.

Комментарии

v.2.6.1 log_filename_template = dag_id={{ ti.dag_id }}/run_id={{ ti.run_id }}/task_id={{ ti.task_id }}/{%% if ti.map_index >= 0 %%}map_index= {{ ti.map_index }}/{%% endif %%}attempt={{ try_number }}.log