Data Engineer Senior
# Data Engineer Senior **Improving** · Remote · `Remote` 🕒 **Статус:** *Опубликовано: сегодня* · *Источник: Get on Board (LATAM)* --- ### About the Role 7+ años de experiencia en Data Engineering , con ownership senior sobre plataformas productivas. Inglés avanzado – Obligatorio Experiencia real y profunda en Entity Resolution / Master Data Management . Experiencia práctica con: Matching determinístico y probabilístico, Blocking, Confidence scoring, Survivorship, Human-in-the-loop / revisión manual. PySpark a escala y experiencia sólida con Delta Lake . Experiencia con Microsoft Fabric , especialmente Lakehouse, Warehouse, Notebooks y Pipelines . T-SQL y Azure SQL avanzados, incluyendo operaciones de MERGE / upsert bajo carga concurrente. Experiencia diseñando pipelines configurables , llevando las diferencias entre fuentes a configuración en lugar de hardcodearlas. Experiencia trabajando con datos de múltiples fuentes con estructuras inconsistentes o contratos poco definidos. Experiencia trabajando con PII y datos regulados , considerando seguridad, trazabilidad y auditabilidad. Capacidad para documentar claramente reglas, decisiones técnicas y procesos. Buscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas. El desafío principal será construir procesos de matching y deduplicación de alta precisión , capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches. Lo que harás: Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas. Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual. Procesar grandes volúmenes de datos con PySpark y Delta Lake . Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes. Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos. Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse. Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching. Definir y monitorear criterios de calidad, latencia y actualización de los datos. Documentar reglas, decisiones técnicas y funcionamiento de los pipelines. Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos. Participar en la evolución y mantenimiento de una plataforma de datos productiva. Experiencia profunda en Databricks o Azure Synapse y transición hacia Microsoft Fabric. Experiencia con Splink, Zingg u otras herramientas de Entity Resolution. Experiencia con frameworks internos o configurables de orquestación sobre Spark. Conocimiento de property management / real estate data y modelos de lease, household, co-signer, roommate, etc. Experiencia con datos destinados a procesos operativos o de facturación , más allá de escenarios puramente analíticos o de reporting. Experiencia reduciendo deuda técnica y evolucionando plataformas de datos existentes. Experiencia con Azure DevOps y CI/CD para data engineering. Experiencia con ADLS Gen2, Azure SQL, T-SQL y Power BI .
Наблюдалась 2026-09-24, впервые 2026-09-24, источник — Get on Board (LATAM).