Data Engineer

Навыки: DWH. Специализации: Инженер по данным.

Мы ищем талантливого Data Engineer, который готов столкнуться с непростыми задачами в области хранения и обработки больших данных в масштабах петабайт! У вас будет уникальная возможность поучаствовать в развитии платформы данных для работы с телеметрией автономного транспорта Москвы - трамваев и метро, в том числе: в разработке архитектуры DWH, подключении новых сервисов, повышении производительности и стабильности работы платфонмы.

Почему стоит рассмотреть это предложение? Инновационный проект - Уникальная возможность повлиять на будущее системы общественного транспорта и развивать ИТ. Современные технологии - Мы используем современные стеки, такие как Python, Trino и Spark, что позволит вам развиваться в своей профессиональной сфере. Динамичная команда - Вы будете работать в команде экспертов, которая ценит инновации и сотрудничество.

Что предстоит делать:

-

Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества

-

Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище

-

Развивать архитектуру Data Lake / DWH

-

Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов

Что ожидаем:

-

Практический опыт разработки и сопровождения пайплайнов данных

-

Опыт работы с PySpark, Python и SQL

-

Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов

-

Понимание принципов распределённой обработки данных

Будет плюсом:

-

Опыт работы с Trino+S3

-

Опыт оркестрации пайплайнов с помощью Airflow

-

Знакомство с Data Vault 2.0

-

Знание Scala и опыт её использования для обработки данных

-

Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения

Условия:

-

Трудоустройство и работа в соответствии с ТК РФ

-

Компенсация проезда в пригородных электропоездах

-

Льготы на отдых в оздоровительном комплексе метрополитена

-

Детский оздоровительный лагерь и детский клуб

-

Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата