Чем ты будешь заниматься:

• реализацией интеграций в гетерогенной среде с помощью Python/Spark;

• ETL;

• Применением моделей в Openshift;

• Работа с Airflow, написание кастомных операторов, формирование дагов;

• Оптимизацией дагов;

• контейнеризация процессов загрузки/выгрузки данных;

• Оптимизацией существующего кода;

• Базовые знания работы Kerberos;

• Развертыванием, поддержкой, внедрением DevOps инструментов;

• Разработкой и поддержкой платформы исполнения моделей.

Какие знания и навыки для нас важны:

• Опыт реализации интеграции в гетерогенных средах;

• Понимание и опыт работы со средствами экосистемы технологий Hadoop;

• Знание Python /Scala(Spark);

• Знание Apache Airflow;

• Знание Apache Kafka;

• Знание Docker;

• Опыт решения ETL/data engineering задач.

Как преимущество:

• Знание Java;

• Приветствуется опыт работы с REST сервисами;

• Разработка микросервисов для внутренних инфраструктурных задач;

• Опыт работы с Grafana, разработка мониторинга на Grafana;

• Опыт работы с ELK;

• Опыт построения Devops-инфраструктуры;

• Знание и опыт администрирования Linux-систем;

• Опыт работы с Openshift\Kubernetes;

• Понимание концепций построения CI/CD, опыт проектирования и построения CI/CD pipeline, управление процессом сборки и развертывания ПО;

• Опыт построения фреймворков с нуля.