Data Quality Engineer

Основные задачи:

-

Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL)

-

Проектировать и поддерживать правила Data Quality для новых источников данных

-

Разрабатывать и сопровождать Data Contracts

-

Анализировать схемы данных, RFC и бизнес-правила

-

Интегрировать проверки качества в существующие ETL -пайплайны (Airflow)

-

Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store)

-

Анализировать инциденты качества данных и искать первопричины

-

Развивать библиотеку повторно используемых DQ-проверок

-

Взаимодействовать с Data Engineers, аналитиками и заказчиками данных

Наши ожидания:

-

Хорошее знание SQL (сложные запросы, оптимизация)

-

Опыт работы с Python (Pandas, PySpark) для анализа данных и автоматизации

-

Понимание устройства DWH, ETL/ELT, Data Lake, Data Lakehouse (слои bronze/silver/gold)

-

Опыт тестирования данных (ETL testing, DWH testing, Data Quality)

-

Опыт работы с Git. Базовое понимание CI/CD

-

Опыт работы с инструментами Big Data (S3, Spark, Airflow)

Будет плюсом:

• Опыт работы с Great Expectations, dbt tests, Soda или кастомным решением
• Опыт работы с OpenMetadata или другими дата-каталогами (DataHub, Arenadata Catalog, Apache Atlas)
• Опыт работы с Data Contracts

Что мы предлагаем:

Здоровье и спорт:

• ДМС + стоматология
• Корпоративные скидки в фитнес-клуб World Class
• Корпоративный тариф на абонементы FITMOST
• Программа корпоративных скидок Best Benefits – на спорт и не только
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка
• Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
• Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
• Билеты со скидкой в Музей криптографии для сотрудников и их семей

А также:

• Работа в гибридном формате
• Комфортные офисы с кофе-поинтами и разнообразными снеками каждый день
• Насыщенные и яркие корпоративные праздники
• Классный мерч