ПРОЕКТ: в банковской сфере. Наша команда реализует продукт кредитования юридических лиц сегмента малого и микробизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше.

Стек: Hadoop, Apache Spark, SQL, Python/Scala/Java.

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

Опыт работы от 1 года;
Знание SQL на уровне аналитических запросов (подзапросы, агрегация, оконные функции);
Умение обращаться с git, bash;
Знания языков программирования Java/Scala, Python;
Понимание работы Hadoop, принципов распределенной обработки данных;
Опыт разработки на Spark/PySpark;
Оптимизация выполнения сценариев на Spark;
Понимание процессов ETL, ELT.

БУДЕТ ПЛЮСОМ:

Опыт использования Apache Oozie.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

Исследование источников данных (внешних данных, реплик АС Банка, других витрин);
Проведение EDA;
Разработка, тестирование витрин данных исходя из требований стейкхолдеров на Spark (Scala, Java, Python);
Поддержка существующих витрин данных;
Разработка, сопровождение, развертывание в прод-контуре сервисов передачи данных;
Code Review изменений, предлагаемых коллегами.