Middle / Senior Data Engineer

CHOICEIT

Middle / Senior Data Engineer

Формат: Можно удалённо

Чем предстоит заниматься

проектировать, разрабатывать и развивать data pipelines;

работать с DWH: моделями данных, слоями, витринами и ETL/ELT-процессами;

писать и оптимизировать сложные SQL-запросы;

разрабатывать на Python инструменты и сервисы для работы с данными;

поддерживать и развивать production-пайплайны;

работать с большими объемами данных и распределенной обработкой;

следить за качеством и надежностью данных;

участвовать в выборе технических решений и развитии data-платформы;

взаимодействовать с аналитиками, разработчиками и другими продуктовыми командами.

Для Senior-уровня также важен опыт самостоятельного проектирования архитектурных решений и способность брать ответственность за технический подход к задаче.

Что для нас важно

очень хорошее знание SQL и опыт работы со сложными запросами и большими объемами данных;

уверенный Python: не только небольшие скрипты, но и production-код, библиотеки или внутренние инструменты;

хорошее понимание принципов построения DWH;

опыт проектирования и разработки ETL/ELT-процессов;

понимание моделирования данных, построения витрин и контроля качества данных;

умение самостоятельно разбираться в задаче и предлагать техническое решение.

Желательно

практический опыт с Airflow: разработка и поддержка DAG, scheduling, retries, backfill, monitoring;

опыт с dbt или похожими инструментами трансформации данных;

опыт со Spark и понимание распределенной обработки данных;

работа с аналитическими СУБД: ClickHouse, Greenplum, Vertica или другими MPP/OLAP-системами.

Будет плюсом

Kafka;

Iceberg;

Trino;

Docker / Kubernetes;

CI/CD;

понимание подходов Data Mesh;

участие в open-source или собственные технические проекты.

Вакансии на Python разработчика -> PythonWork

Вопросы с собесов -> ProstoPython

What You'll Do

• проектировать, разрабатывать и развивать data pipelines;  
• работать с DWH: моделями данных, слоями, витринами и ETL/ELT-процессами;  
• писать и оптимизировать сложные SQL-запросы;  
• разрабатывать на Python инструменты и сервисы для работы с данными;  
• поддерживать и развивать production-пайплайны;  
• работать с большими объемами данных и распределенной обработкой;
• следить за качеством и надежностью данных;  
• участвовать в выборе технических решений и развитии data-платформы;  

Preferred Qualifications

• практический опыт с Airflow: разработка и поддержка DAG, scheduling, retries, backfill, monitoring;  
• опыт с dbt или похожими инструментами трансформации данных;  
• опыт со Spark и понимание распределенной обработки данных;  
• работа с аналитическими СУБД: ClickHouse, Greenplum, Vertica или другими MPP/OLAP-системами.
• Kafka;  
• Iceberg;  
• Trino;  
• Docker / Kubernetes;