Data Engineer | Lakehouse & Data Pipelines

Data Engineer | Lakehouse & Data Pipelines

Estamos à procura de um(a) Data Engineer para integrar um projeto desafiante, focado no desenvolvimento, otimização e manutenção de soluções de processamento de dados em arquiteturas Lakehouse.

Se tens experiência em engenharia de dados, otimização de pipelines e tecnologias como Apache Iceberg, esta oportunidade pode ser para ti!

O que vais fazer?

• Assegurar o suporte e evolução de frameworks de ingestão e transformação de dados.
• Desenvolver e otimizar processos de processamento de dados em ambientes Lakehouse.
• Gerir e otimizar tabelas Apache Iceberg, garantindo eficiência e desempenho.
• Implementar e acompanhar processos de compaction e retention .
• Identificar, analisar e resolver problemas em pipelines de dados.
• Colaborar com equipas de diferentes domínios na implementação de padrões escaláveis de ELT e orquestração.
• Contribuir para a melhoria contínua da performance, fiabilidade e escalabilidade das soluções.
• Participar em processos de gestão de releases e produção de documentação técnica ao longo do ciclo de desenvolvimento de software (SDLC).

O que procuramos?

• Experiência em Engenharia de Dados e arquiteturas Lakehouse .
• Conhecimentos sólidos de Apache Iceberg , incluindo operações de manutenção e otimização de tabelas.
• Experiência em desenvolvimento, manutenção e orquestração de pipelines de dados.
• Conhecimentos de processos de ingestão, transformação e processamento de dados.
• Experiência em otimização de performance e resolução de problemas técnicos.
• Familiaridade com processos de compaction , retention e gestão do ciclo de vida dos dados.
• Conhecimentos de boas práticas de desenvolvimento de software, gestão de releases e documentação técnica.
• Capacidade de colaboração com equipas multidisciplinares e orientação para a resolução de problemas.

Interessado(a)?

Se procuras um novo desafio na área de Engenharia de Dados e queres trabalhar com tecnologias modernas e soluções escaláveis, queremos conhecer-te!

Envia a tua candidatura através desta publicação ou diretamente para mva@mccconsultingroup.com .

Pagamento: 1 400,00€ - 3 500,00€ por mês

Localização do trabalho: Trabalho remoto híbrido em Lisboa