Data Engineer ClickHouse

Наша команда разрабатывает продукт для сбора, хранения и анализа данных о пользовательском окружении с целью выявления проблем пользователей и своевременного реагирования на них. Аналитика проводится на основе собираемой в NRT режиме информации по рабочему окружению и данных различных внутренних продуктов.

Обязанности

• поддержка, развитие и оптимизация кластеров ClickHouse
• проектирование и реализация ETL-процессов с использованием Kafka и Bash
• мониторинг, анализ и повышение производительности баз данных
• разработка и поддержка скриптов автоматизации на Bash
• участие в проектировании архитектуры хранения и обработки данных.

Требования

• ClickHouse: опыт проектирования таблиц, понимание движков таблиц (MergeTree, ReplicatedMergeTree, Kafka), оптимизация хранения данных, партиционирование и шардирование
• Kafka: настройка, разработка пайплайнов обработки данных
• уверенное владение Bash: написание и поддержка скриптов для автоматизации рутинных задач
• Linux: опыт работы в консоли
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом

Будет плюсом

• опыт работы с другими СУБД (PostgreSQL, MySQL)
• знание Python или других скриптовых языков для автоматизации
• опыт работы с системами CI/CD, контейнеризацией (Docker, Kubernetes)
• опыт работы с системами мониторинга (Prometheus, Grafana, Zabbix) и логирования.

Условия

• локация: Москва, БЦ "Даниловский форт" (м.Тульская / Нагатинская / МЦК "Верхние котлы")
• возможен гибридный формат работы
• гибкий график начала рабочего дня
• уровень заработной платы определяем по итогам собеседования
• бесплатный спортзал
• ДМС с 1го дня работы работы
• обучение и сертификацию за счет компании
• выстроенные процессы по адаптации, оценке и понятную систему роста в компании
• наставника на период адаптации и богатую корпоративную жизнь, в которой можно участвовать по желанию.