Data Engineer (Remoto)

Esta é uma vaga de um cliente da GeekHunter, candidate-se para ter acesso às informações completas sobre a empresa.

Ingestão, manipulação e tratamento de dados em Data Lake (ADLS).

Conhecimento de Ferramentas (pelo menos 2 anos de experiência): Azure Data Factory, Azure Databricks (Python, Spark, Spark SQL).

Desejáveis: Azure Synapse, Azure Analysis Services Linguagem de Programação: Python, Spark, PySpark, Java, Banco de dados relacional e No-SQL (desejável Scala)

Conhecimento em tecnologia na nuvem: Essencialmente Microsoft Azure Conhecimento em T-SQL Conhecimento em modelagem de dados Experiência em linguagem de programação orientada a objetivos criação de pipelines de dados para ingestão, manipulação e transformação de dados para datalake, utilizando a stack azure (databricks para elaboração dos pipelines, data factory para orquestração e adls para o lake) linguagens para a construção dos pipelines: python (pyspark) e SQL/T-SQL. Scala seria um diferencial conhecimentos diferenciais: Azure Synapse e Analysis Services

Habilidades Obrigatórias

• Spark
• Azure DataBricks
  
  

Habilidades Desejáveis

A vaga aceita trabalho remoto?

Sim