Шаг 3 из 10

Создание connection id

В работе с Apache Airflow вы неоднократно столкнётесь с Connections, т.к. система поощряет использование идентификаторов соединения вместо указания ссылки в коде. Для создания идентификатора необходимо перейти в раздел Admin → Connections и нажать на +:

На форме вам необходимо заполнить несколько полей:

• Conn Id: nyc_yellow_taxi_id
• Conn Type: HTTP
• Host: https://s3.amazonaws.com/nyc-tlc/trip+data/

В endpoint будем передавать название файла, т.к. эта часть меняется в зависимости от года и месяца.

Вот как выглядит код оператора проверки наличия файла:

check_file = SimpleHttpOperator(
    method='HEAD',
    endpoint='yellow_tripdata_{{ execution_date.strftime("%Y-%m") }}.csv',
    task_id='check_file',
    http_conn_id='nyc_yellow_taxi_id'
)

Обратите внимание на endpoint. У операторов Airflow есть т.н. template fields, куда можно передавать строку-шаблон и Airflow подставит нужные значения в зависимости от контекста. Переменная execution_date входит в набор переменных по умолчанию, доступных в контексте выполнения DAG (DagRun), она представляет из себя объект типа Pendulum из пакета pendulum, это datetime на стероидах. В качестве шаблонизатора Apache Airflow использует Jinja2. execution_date указывает на дату исполнения, это не дата на компьютере в момент выполнения DAG, а дата, рассчитанная относительно start_date и schedule interval. Пример как считается execution_date я описывал здесь.