Senior Big Data Infrastructure Engineer

В команду платформы данных ищем Senior Big Data Infrastructure Engineer.

Команда отвечает за проектирование, развитие и эксплуатацию централизованных инструментов хранения и обработки данных (Data Platform, Lakehouse, Trino, Iceberg, S3) для всех команд компании. Платформа строится с нуля, включает не только data-компоненты, но и ML-инструментарий и внутренние сервисы для data-инженеров и аналитиков.

Основные задачи:

- Участвовать в построении, проектировании, эксплуатации и развитии масштабной Big Data-инфраструктуры (десятки серверов, крупные кластеры).
- Разрабатывать и поддерживать in-house дистрибутивы для хранения данных (s3, hdfs) и обработки данных (Spark, Flink, Trino).
- Автоматизировать конфигурирование и развертывание Big Data-инфраструктуры (CI/CD, Kubernetes, Docker).
- Внедрять и поддерживать средства защиты информации и управления доступом в инфраструктуре Big Data.
- Внедрять лучшие практики эксплуатации и использования инфраструктуры.
- Решать архитектурные задачи (создание новых сервисов, миграция платформы, построение компонентов с нуля).
- Оказывать поддержку дата-инженерам и аналитикам, поддерживать высокий уровень надежности сервисов.

Требования

- 5+ лет коммерческого опыта в IT/инфраструктуре.
- 3+ года опыта работы с Big Data-инфраструктурами.
- Опыт построения, проектирования, эксплуатации и развития масштабной Big Data-инфраструктуры.
- Экспертиза и практический hands-on опыт работы с big data-стеком: Spark, Hadoop (must have), Flink, Trino, S3, HDFS.
- Практика создания и поддержки in-house решений для хранения и обработки данных.
- Глубокое понимание и опыт автоматизации инфраструктуры: Kubernetes, CI/CD, Docker.
- Опыт реализации средств защиты информации и управления доступом (Security, Access Management).
- Вовлеченность во внедрение лучших практик эксплуатации и использования big data-инфраструктуры.
- Опыт эксплуатации распределённых систем хранения данных (Iceberg, Parquet, Delta и др.).
- Сильные troubleshooting-скиллы, готовность к операционной поддержке и архитектурным задачам.
- Самостоятельность, зрелость, инициативность, способность предлагать и реализовывать решения senior-уровня.

Будет плюсом:

- Опыт миграции и построения платформ с нуля.