Apache Airflow 2.2: практический курс: New York Yellow Taxi Data Pipeline / Операторы DAG

Шаг 8 из 10

Внимание. При настройке соединения с minIO необходимо в extra также добавить адрес хоста. Вот полный пример настроек.

{
    "aws_access_key_id":"access_key",
    "aws_secret_access_key": "secret_key",
    "host": "http://127.0.0.1:9000"
 }


Комментарии

Алексей Назаров 3 Декабрь 2022

А откуда взять нужный Connection Type?

Адиль Хаштамов 6 Декабрь 2022

В выпадающем списке в разделе Connections необходимо выбрать Amazon Web Services.

Алексей Назаров 3 Март 2023

Ты серьезно думал, что вопрос про выпадающий список?)

Алексей Назаров 3 Март 2023

После переустановки плова появился

Адиль Хаштамов 3 Март 2023

Вполне серьёзно, возможно я не так изначально понял вопрос) Видимо пакет с aws первоначально не был установлен?

Алексей Назаров 3 Март 2023

Да, не по инструкции из курса был установлен Что то грубо получилось( Сразу не подумал, не хотел негативить. Спасибо за классный курс)

Адиль Хаштамов 3 Март 2023

Всё нормально!) Спасибо за отзыв!

Anton Tanachev 11 Январь 2024

А у меня почему-то не подключается к корзине из airflow, говорит, что токен недействителен "'ClientError' error occurred while testing connection: An error occurred (InvalidClientTokenId) when calling the GetCallerIdentity operation: The security token included in the request is invalid." Как я уже только не пробовал. Ключи я свои указал, которые сам заложил при разворачивании контейнера, поэтому у меня не access_key и не secret_key. Но по итогу и так и так пробовал, пересобирал контейнер. Всё равно не хочет подключаться. Есть идеи что не там может быть? { "aws_access_key_id": "airflow", "aws_secret_access_key": "airflowpass", "host": "http://127.0.0.1:9000" } На просторах пишут что нужно ещё регион указывать, но всё равно не работает

Адиль Хаштамов 14 Январь 2024

Антон, а пробовал к бакету подключиться через утилиту aws-cli? Открывается ли веб-интерфейс minIO?

Контент