Apache Airflow 2.2: практический курс: Продвинутый Apache Airflow / Логирование в Apache Airflow
Если внимательно приглядеться на содержимое папки с логами, то можно понять структуру. Шаблон записи логов следующий:
<dag_id>/<task_id>/<execution_date>/<retry_number>.log
Где retry_number это номер попытки выполнения DAG. Количество файлов равно количеству, заданному в параметре retries при определении DAG. Шаблон лога можно изменить, перезаписав опцию log_filename_template:
log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
Формат сообщений логов можно изменить через параметр log_format в airflow.cfg, по умолчанию его значение:
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
Также Apache Airflow поддерживает запись логов на удалённый хост, например, на AWS S3, Google Storage или ElasticSearch.
kgbt++ 22 June 2023
v.2.6.1 log_filename_template = dag_id={{ ti.dag_id }}/run_id={{ ti.run_id }}/task_id={{ ti.task_id }}/{%% if ti.map_index >= 0 %%}map_index= {{ ti.map_index }}/{%% endif %%}attempt={{ try_number }}.log