Data инженер

Action tech Data инженер

Зарплата не указана

Уровень: Middle

Формат: Можно удалённо

Что мы предлагаем:

Заниматься созданием централизованной системы сбора и обработки данных

Работать в компании, где тебя слышат и ценят твой вклад

Влиять на технические решения и планомерно повышать качество сбора, хранения и поставки данных

Работать с командой людей, умеющих принимать решения, амбициозных, увлеченных своим делом и проектом

Разрабатывать востребованный продукт и получать четкий фидбэк от пользователей

Решать амбициозные задачи

Получить профессиональный рост (у нас есть тренинги, конференции, сильная команда, которая готова делиться знаниями и в которой можно быстро расти)

Немного о том, что уже сделали и что нам еще предстоит :

На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage.

На практике это значит, что мы будем решать следующие задачи:

Разрабатывать и дорабатывать ETL-процессы в Airflow

Подключать новые источники данных

Создавать и дорабатывать витрины

Оптимизировать SQL-запросы в GreenPlum и PostgreSQL

Работать с большими объемами данных

Развивать процессы контроля качества данных

Что для нас важно в тебе:

От 1 года опыта работы с данными

Отличное знание SQL: JOIN, оконные функции, процедуры

Умение профилировать и оптимизировать запросы, понимать план выполнения

Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM

Практический опыт работы с Airflow и ETL-процессами

Python на базовом уровне

Знание Linux и умение работать с командной строкой

Опыт работы с Git

Понимание принципов работы Docker

Не обязательно, но будет очень здорово:

Опыт работы с большими данными (>100 GB)

Опыт работы с DataHub

Откликнуться

Вакансии на Python разработчика -> PythonWork

Вопросы с собесов -> ProstoPython

What You'll Do

• Получить профессиональный рост (у нас есть тренинги, конференции, сильная команда, которая готова делиться знаниями и в которой можно быстро расти)
• Немного о том, что уже сделали и что нам еще предстоит:
• Разрабатывать и дорабатывать ETL-процессы в Airflow
• Подключать новые источники данных
• Создавать и дорабатывать витрины
• Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
• Работать с большими объемами данных
• Развивать процессы контроля качества данных