Шаг 1 из 1

Apache Airflow использует переменную окружения AIRFLOW_HOME для назначения пути, где будут лежать логи, конфигурационные файлы, python код и прочая вспомогательная информация. По умолчанию путь ~/airflow, переопределите эту переменную, если хотите изменить путь:

export AIRFLOW_HOME=~/airflow-data

Перед началом работы необходимо инициализировать настройки, подготовить базу данных. Для этого выполните команду:

airflow db init

После успешного выполнения этой команды в директории по пути AIRFLOW_HOME будут созданы необходимые файлы. Airflow используется SQLite3 в качестве базы данных по умолчанию (файл airflow.db). Разумеется в продакшене не рекомендуется её использовать, т.к. SQLite3 ограничен SequentialExecutor (об Executor поговорим позже) и как следствие ограничение в масштабировании ваших пайплайнов.

airflow.cfg это конфигурационный файл Apache Airflow. В нём можно поменять базу данных, указать иной способ запуска задач, изменить путь до python кода и др. Если вы меняете базу, то после сохранения настроек необходимо повторно выполнить команду airflow db init, чтобы создать все необходимые таблицы в базе.

В docker-compose.yml используется контейнер с PostgreSQL. Если вы не хотите использовать docker-compose, то PostgreSQL можно запустить как отдельный контейнер с пробросом портов или установить локально. Давайте запустим PostgreSQL в изолированном контейнере. Про локальную установку и настройку можно почитать в моей шпаргалке.

Выполните команду:

docker run -d -p 6666:5432 -e POSTGRES_PASSWORD=password -e POSTGRES_USER=airflow -e POSTGRES_DB=airflow -v postgres_data_airflow:/var/lib/postgresql/data postgres:13.1

Будет создана база данных airflow и пользователь airflow с паролем password. На хост машине база будет доступна по порту 6666. Также я создаю volume, чтобы после остановки контейнера все данные были сохранены. Контейнер запускается в фоновом режиме (ключ -d).

Теперь необходимо прописать настройки в конфигурационном файле. Откройте airflow.cfg и найдите строчку с sql_alchemy_conn и executor. Присвойте им новые значения:

executor = LocalExecutor
sql_alchemy_conn = postgresql+psycopg2://airflow:password@localhost:6666/airflow

Про Executor мы более детально поговорим в следующем разделе.

А сейчас нужно повторно инициализировать базу данных командой:

airflow db init

В Airflow 2.0 появилась авторизация по умолчанию, поэтому перед запуском сервера нам необходимо создать пользователя-админа.

airflow users create \
    --username airflow \
    --firstname Airflow \
    --lastname Apache \
    --role Admin \
    --email airflow@example.com \
    --password airflow

Теперь можно запустить веб-сервер, чтобы поглядеть на пользовательский интерфейс Apache Airflow:

airflow webserver -p 8080