Spark разработчик

Вместе с нами ты будешь:

• Участие в проектах связанных с хранением, обработкой и анализом данных в роли разработчика;
• Разработка приложения для построения витрин данных с использование фреймворка Apache Spark;
• Оптимизация и доработка текущих приложений написанных на Apache Spark;
• Взаимодействие с заказчиками и аналитиками в процессе проектирования и реализации задач;
• Разработка пайплайнов загрузки данных в Airflow.

Какие знания и навыки для нас важны:

• Высшее образование (Техническое/ИТ);
• Опыт работы с одной из указанных СУБД: Oracle/Postgres/DB2/Arenadata DB/GreenPlum;
• Опыт разработки витрин данных DWH с использованием Apache Spark (обязательно);
• Понимание принципов распределенной обработки данных (опыт работы с кластером hadoop приветствуется);
• Опыт разработки с использованием инструментария экосистемы BigData (Hadoop, Spark/Spark SQL, Airflow);
• Обязателен опыт разработки на одном из языков: Scala(предпочтительнее), Java, Python;
• Уверенное знание алгоритмов, структур данных и SQL;
• Знания Kafka приветствуется;
• Понимание подходов к организации разработки (CI/CD, DEVops) приветствуется.