Experian
Analista de Engenharia de Dados III
Job description
Estamos buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes.
Entre As Principais Atividades, Destacam-se
Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
Conhecimento de git controle de versionamento, pull requests.
Análise, melhoria e otimização de custos e performance em Databricks.
Implementar Data Quality.
Criar documentação clara das demandas.
Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.