Шаг 4 из 9

AWS Fargate

Итак, докер образ залит. Теперь необходимо подготовить площадку для запуска наших пайплайнов. Fargate поддерживает запуск через Elastic Container Service (ECS), а также Elastic Kubernetes Sevice (EKS). Я буду использовать ECS, т.к. он значительно проще и полностью удовлетворяет всем требованиям для запуска luigi тасков. Более подробно прочитать по ссылкам: Amazon Kubernetes Service, Amazon Elastic Service.

Перед тем как начать запускать задачи, нам необходимо создать кластер. Кластер в данном случае это верхнеуровневый слой запуска контейнеров. Он инкапсулирует в себя набор контейнеров, настройки их запуска и правила безопасности/изолированности (VPC).

Для создания кластера необходимо внутри сервиса ECS нажать на кнопку Create cluster:

На следующем шаге выберите Networking Only, т.к. этот шаблон предназначен для работы с Fargate. Нажимаем Next step.

На следующем шаге AWS предлагает задать название для кластера, а также есть опция создания VPC.

VPC или Virtual Private Cloud это логически изолированная часть облака внутри AWS. Внутри этого частного облака могут находиться различные сервисы, которые могут общаться между собой, используя частную сеть. Забегая вперёд скажу, что для этого кластера нам необходимо будет задать VPC, чтобы luigi-воркеры могли обращаться к центральному диспетчеру luigid, используя название хоста, luigid.local. Как это сделать я расскажу далее. Более подробно узнать про VPC можно здесь.

Мой кластер называется luigi-cluster.