Data инженер

#middle

#удаленка

Action tech

Data инженер

Полная занятость Формат работы: можно удалённо

Чем предстоит заниматься

-На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage -Разрабатывать и дорабатывать ETL-процессы в Airflow -Подключать новые источники данных -Создавать и дорабатывать витрины -Оптимизировать SQL-запросы в GreenPlum и PostgreSQL -Работать с большими объемами данных -Развивать процессы контроля качества данных

Наши пожелания к кандидатам

-Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных -От 1 года опыта работы с данными -Отличное знание SQL: JOIN, оконные функции, процедуры -Умение профилировать и оптимизировать запросы, понимать план выполнения -Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM -Практический опыт работы с Airflow и ETL-процессами -Python на базовом уровне -Знание Linux и умение работать с командной строкой -Опыт работы с Git -Понимание принципов работы Docker -Опыт работы с большими данными (>100 GB) -Опыт работы с DataHub

Контакты: hr@action.tech

Python Job

в Telegram | в VK | в Max

What You'll Do

• Разрабатывать и дорабатывать ETL-процессы в Airflow
• Подключать новые источники данных
• Создавать и дорабатывать витрины
• Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
• Работать с большими объемами данных
• Развивать процессы контроля качества данных
• Наши пожелания к кандидатам
• Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных