Vaga Home Office: Databricks Data Engineer| Senior | (Remote) na empresa Compass UOL

🎯 Responsabilidades

• Reconstruir os pipelines do DW legado em Databricks (PySpark / Spark SQL), a partir das especificações geradas pela engenharia reversa;
• Implementar as camadas bronze, silver e gold seguindo o template medalhão, os padrões de ingestão (CDC/batch) e o padrão de reconstrução definidos pelo projeto;
• Executar as waves de reconstrução por domínio, em coexistência com o DW legado até o cutover;
• Implementar regras de negócio e transformações com testes automatizados nos pipelines;
• Realizar a reconciliação e a validação de paridade dos dados entre o DW legado e o Lakehouse;
• Otimizar performance e custo dos pipelines (particionamento, OPTIMIZE/Z-ORDER, dimensionamento de jobs);
• Contribuir com a documentação técnica das regras migradas e apoiar a priorização das waves.

✅ Requisitos

• Experiência mínima de 5 anos em Engenharia de Dados;
• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia;
• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW;
• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles;
• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais;
• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions;
• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa;
• Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade;
• Git e CI/CD aplicados a pipelines de dados.

Desejáveis:

• Conhecimento de DataStage (leitura de jobs para engenharia reversa) — diferencial importante;
• Experiência prévia em programas de migração de DW para lakehouse — diferencial importante;
• Unity Catalog (permissões, lineage) e contratos de dados;
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks (Data Engineer Associate / Professional).
• 
  

📊 Etapas do Processo Seletivo

1. Cadastro
2. Mapeamento de Stack
3. Fit Cultural
4. Entrevista Líder
5. Cadastro de Qualificação
6. Oferta e Negociação
7. Contratação

💡 Dicas de Ouro para Conseguir uma Vaga Home Office

1. Seja proativo na comunicação com sua equipe

No trabalho remoto, a ausência de comunicação é interpretada como desengajamento. Não espere que te perguntem — informe o andamento das suas atividades, avise com antecedência sobre dificuldades, e confirme o recebimento de mensagens importantes.

2. Cuide da saúde mental trabalhando de casa

O isolamento do home office pode afetar o bem-estar se não for gerenciado. Reserve momentos para interações sociais, mesmo que virtuais. Faça pausas regulares com a técnica Pomodoro (25 min de foco, 5 min de pausa). Evite comer na frente do computador e saia de casa ao menos uma vez por dia.

3. Aprenda inglês — mesmo que seu trabalho seja em português

Dominar o inglês amplia drasticamente suas possibilidades no mercado remoto, incluindo vagas em empresas multinacionais que pagam em dólar ou euro. Mesmo para vagas nacionais, o inglês para leitura de documentações e ferramentas internacionais é um diferencial crescente.