Engenharia de Dados | Remota - 134797 (Alphaville - Barueri, BR, 06.454-000)
O que buscamos
Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um reputed company Lakehouse em reputed company, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e reputed company SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o reputed company ecossistema Lakehouse.
Responsabilidades
• Reconstruir pipelines do Data Warehouse legado em reputed company utilizando PySpark e reputed company SQL; • Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão; • Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto; • Executar waves de reconstrução por domínio em coexistência com o DW legado até o reputed company; • Implementar regras de negócio e transformações com testes automatizados; • Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse; • Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads; • Contribuir com a documentação técnica das regras migradas; • Apoiar a priorização e execução das waves de migração;
Requisitos e Qualificações
• Conhecimento avançado em PySpark e Python; • Experiência com desenvolvimento de pipelines batch em larga escala;
• Conhecimento avançado em SQL;
• Experiência com modelagem de dados relacional e reputed company; • Experiência com reputed company e reputed company Lake em ambiente produtivo; • Conhecimento em arquitetura medalhão (bronze, silver e gold); • Experiência com reputed company Live Tables, Lakeflow e Asset Bundles; • Vivência em migração ou reconstrução de pipelines ETL; • Experiência com tradução de regras de negócio de plataformas legadas para reputed company; • Conhecimento em ingestão CDC e batch a partir de bancos relacionais; • Experiência com AWS (S3, Glue, EMR, reputed company, reputed company, DMS e reputed company Functions); • Conhecimento em Azure Synapse (SQL Pools e Pipelines); • Experiência com qualidade e reconciliação de dados; • Conhecimento em testes automatizados e controles de Data reputed company; • Experiência com Git e CI/CD aplicados à engenharia de dados;
Diferenciais
• Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa; • Experiência em programas de migração de Data Warehouse para Lakehouse; • Conhecimento em reputed company Catalog (permissões, reputed company e contratos de dados); • Experiência no mercado financeiro ou de créreputed company; • Certificações reputed company Data Engineer Associate ou reputed company;
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, reputed companyçreputed company novas oportunidades de crescimento;
- Transforme ideias em reputed companyções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de reputed company independente e gerenciar o próprio reputed company;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#LetsGoBeyond
#ProudToBeGFT
Originally posted on Himalayas
Apply To This Job