Data engineer

Funções principais: Desenvolvimento e design de pipeline de dados, integração de dados, suporte em nuvem, data warehousing.

Principais entregas: Relatórios baseados em SQL, ingestões e integração de dados e pipelines usando serviços ETL, SQL Stored Procedures e Functions, scripts Python e documentação de suporte.

Atividades

• Criação de ponta a ponta de relatórios em plataformas de Data Warehouse (SAP HANA, Snowflake), incluindo ingestão de dados, design e criação de objetos de banco de dados e nuvem, testes (para qualidade e desempenho de dados) e implantação
• Suporte de modelos existentes em Data Warehouse
• Design e suporte de pipelines de dados usando Qlik, Fivetran, Kafka, DBT e etc.
• Criação de scripts SQL e Python - para manipular e transformar dados quando necessário pelos pipelines de ingestão de dados
• Criação de pipelines de CI/CD para conduzir o processo de Gerenciamento de Mudanças dos objetos Snowflake e seus requisitos de ingestão de dados relacionados
• Fornecer suporte à equipe de negócios em atividades de teste e validação de dados
• Responsável por conduzir a entrega de entregas de Gerenciamento de Dados (por exemplo, finalizar o modelo de dados lógicos rascunhado, criar o modelo de dados físico)
  
  

Competências Técnicas

• Conhecimento avançado em SQL, incluindo ajuste de desempenho (por exemplo, índices, junções, planos de execução, dicas).
• Habilidades para construir pipelines de dados robustos e complexos de/para SAP HANA, Snowflake DW
• Conhecimento da linguagem de programação Python e capacidade de escrever e dar suporte a códigos usando-a
• Conhecimento de ferramentas ETL como Qlik, Fivetran, NiFi, BODS, SLT e etc.
• Capacidade de construir e executar pipelines de CI/CD para diferentes recursos em nossa pilha de tecnologia
• Segurança básica de dados e gerenciamento de acesso
  
  

Habilidades necessárias: Snowflake, script e modelagem SQL, Azure Data Factory (ADF), compreensão dos recursos do Azure em geral, Python, DevOps e Git, Enterprise Data Warehousing (compreensão conceitual).

Desejável ter: Ferramentas ETL (Qlik, Fivetran, etc.), HANA Studio, Databricks, SAP HANA e outros bancos de dados, princípios de código limpo, conhecimento básico de segurança e controle, NiFi, BODS, SLT