Обязанности:
⠀

Разработка, развертывание и сопровождение пайплайнов и систем управления данными на платформе Databricks (Unity Catalog, Delta Lake, Workflows).
Анализ, профилирование и классификация данных по доменам, выявление персональных данных (PII).
Проектирование систем доступа к данным: контракты данных, управление каталогами, автоматизация выдачи/отзыва прав через Infrastructure-as-Code (Terraform).
Взаимодействие с командой для ревью архитектур и контрактов, обеспечение их эффективности, гибкости и переиспользуемости.
Контроль развертывания продуктов данных и средств доступа, чтобы они работали без побочных эффектов.
Ведение документации по контрактам, моделям доступа и процессам управления данными.
Мониторинг и сопровождение пайплайнов, проверки качества данных и производительности.
Активный поиск внутренних решений и общих технологий для повторного использования.

⠀

Требования:

⠀

Опыт коммерческой разработки в Data Engineering от 3 лет.
Уверенное владение Python и инструментами обработки данных (Spark/PySpark – потоковая, пакетная, асинхронная обработка).
Глубокое понимание моделирования данных, распределённой обработки, SQL и архитектуры DWH / Lakehouse.
Практический опыт развёртывания облачных платформ (Databricks, GCP или AWS) через Terraform — обязательно. Готовность осваивать новые технологии под задачи интеграции.
Умение проектировать решения для управления доступом к данным с использованием стандартных паттернов и инструментов.
Понимание бизнес-ценности создаваемых продуктов данных и принципов управления ими.
Сильные аналитические навыки: решение проблем на основе фактов и логики.
Отличные коммуникативные навыки, умение работать в команде, слушать и находить консенсус.
Желателен опыт разработки ПО.