Experian

Analista de Engenharia de Dados III

São Paulo, br

Job description

Estamos buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes.

Entre As Principais Atividades, Destacam-se

Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).

Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.

Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.

Conhecimento de git controle de versionamento, pull requests.

Análise, melhoria e otimização de custos e performance em Databricks.

Implementar Data Quality.

Criar documentação clara das demandas.

Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.

Meet Experian

Explore company profile

Filters

Create your account

Create an account to save jobs and track applications.