Step 2 of 9

AWS

Amazon Web Services является самым популярным облачным провайдером. По сравнению с другими облачными системами у него больше всего сервисов (более 175).

В этом модуле я хотел бы заострить ваше внимание на сервисе AWS Fargate.

AWS Fargate — это serverless сервис, позволяющий запускать контейнеры и оплачивать только за время их выполнения. Используя Fargate вы не думаете о том на какой операционной системе будет выполняться код в контейнере, вам не нужно поднимать сервер и в дальнейшем им управлять. Fargate позволяет максимально сфокусироваться на приложении. В нашем случае это дата-пайплайн на Luigi. Это как AWS Lambda для функций, только тут для контейнеров.

Serverless подход также удобен тем, что вам не приходится платить за простой сервера, пока не нём ничего не исполняется, как в случае с классическими EC2 серверами. Но забегу немного вперёд и скажу, что для диспетчера luigid всё таки нужно будет иметь постоянно работающий сервис, если речь идёт о централизованной исполнении ваших задач.

Предупреждение: для выполнения всех шагов этого модуля, необходимо иметь рабочий AWS аккаунт. Сервисы AWS платные, поэтому с вас могут быть списаны деньги за использованные ресурсы провайдера.