Data Engineer

Мы — международная компания с головным офисом в Дубае (ОАЭ), разрабатывающая AI-решения для автоматизации клиентских коммуникаций, управления знаниями и оптимизации бизнес-процессов.

Сейчас мы ищем Data Engineer , который поможет выстроить надежную инфраструктуру данных, стабилизировать существующие интеграции и развивать архитектуру данных для аналитики и AI-продуктов.

Это hands-on роль для специалиста, который любит разбираться в сложных системах, самостоятельно принимать технические решения и видеть результат своей работы в реальных бизнес-процессах.

Наш текущий стек

-

Базы данных: PostgreSQL, MySQL (CRM Bitrix24).

-

Data Infrastructure: Debezium, Kafka, CDC.

-

Infrastructure & Monitoring: Kubernetes, Docker, GitLab, Grafana, Loki, Prometheus, Cloudflare.

-

Automation: n8n, интеграции с LLM.

-

Источники данных: Bitrix24 REST API, GA4, Яндекс.Метрика, UIS, Calltouch, WhatsApp Business API, Slack, Google Sheets, платежные системы и другие внешние сервисы.

Чем предстоит заниматься

-

Развивать архитектуру данных: проектировать и поддерживать хранилище, стабилизировать CDC на базе Debezium и Kafka, обеспечивать надежность передачи данных.

-

Строить ETL/ELT-пайплайны: интегрировать данные из CRM, API, веб-аналитики, платежных систем и других источников, обеспечивать инкрементальную загрузку, дедупликацию и идемпотентность.

-

Проектировать модели данных: выстраивать слои raw → staging → marts, стандартизировать структуры и обеспечивать качество данных.

-

Развивать сквозную аналитику: объединять данные от первого контакта клиента до оплаты, обеспечивать корректную маркетинговую атрибуцию (UTM, gclid, коллтрекинг, мессенджеры).

-

Подготавливать данные для AI/LLM-продуктов: логирование диалогов, отслеживание использования моделей и стоимости токенов, подготовка eval-датасетов, контроль актуальности данных.

-

Создавать витрины и API для аналитики, внутренних продуктов и AI-агентов.

-

Обеспечивать мониторинг и Data Quality: настраивать проверки полноты, свежести и согласованности данных, алерты и SLA.

-

Работать с безопасностью данных: разграничение доступов, маскирование персональной информации и соблюдение политик хранения.

-

Документировать архитектуру, модели данных и интеграции.

Наши ожидания

-

Опыт работы в Data Engineering или смежных направлениях от 3 лет .

-

Уверенный SQL: сложные запросы, оконные функции, оптимизация производительности.

-

Глубокое понимание PostgreSQL: индексы, планы выполнения запросов, базовые принципы репликации и резервного копирования.

-

Практический опыт интеграции с REST API: пагинация, лимиты, ретраи, вебхуки, инкрементальные загрузки.

-

Python для разработки коннекторов, автоматизации и обработки данных.

-

Уверенная работа с Linux, Bash, SSH и Git.

-

Опыт работы с Docker и базовое понимание Kubernetes.

-

Понимание принципов построения надежных ETL/ELT-пайплайнов и моделирования данных.

Будет преимуществом

-

Опыт с dbt, Airflow, Prefect или Dagster.

-

Практическая работа с Kafka, Debezium и CDC.

-

Интеграции с Bitrix24 или другими CRM-системами.

-

Опыт использования Airbyte, Meltano, Fivetran или аналогичных инструментов.

-

Понимание веб-аналитики, маркетинговой атрибуции и сквозной аналитики.

-

Опыт подготовки данных для ML/LLM-продуктов, работы с pgvector, embeddings и eval-пайплайнами.

-

Знакомство с AWS, GCP, Yandex Cloud, Terraform, Ansible.

-

Опыт работы с Prometheus, Grafana и n8n.

Почему эта роль интересна

-

Влияние на архитектуру: возможность самостоятельно предлагать и внедрять технические решения.

-

Реальные инженерные задачи: сложные интеграции, нестабильные API, большие объемы данных и развитие инфраструктуры.

-

Работа с AI-продуктами: данные используются не только для отчетности, но и напрямую влияют на работу LLM-решений.

-

Минимум бюрократии: быстрые решения, самостоятельность и ориентация на результат.

-

Международные проекты: работа с разными рынками, сервисами и бизнес-процессами.

Условия работы

-

Формат: полностью удаленная работа.

-

График: 5/2, с 10:00 до 19:00 по времени ОАЭ (Dubai Time).

-

Оформление: контракт удаленного сотрудника.

-

Оплата: выплаты в валюте на зарубежный банковский счет или другими способами по согласованию с сотрудником.