Data Engineer

O time de engenharia de dados tem como responsabilidade garantir que os dados da isaac sejam coletados, governados, mantidos de forma confiável, rastreável e com qualidade, possibilitando assim, tomadas de decisão assertivas e ágeis a todo o negócio. Os desafios da área envolvem garantir que a plataforma de dados seja escalável, rápida e segura; darmos alto grau autonomia de uso dos dados pelas pessoas do isaac; construir tecnologia e processos analíticos que sejam os conduítes de alta performance das áreas.

Como Data Engineer do nosso time, dá uma olhada aqui nas principais atividades que esperamos que você desempenhe:

• Desenvolver e manter pipelines de dados de forma escalável
• Contribuir com a arquitetura e infraestrutura da nossa plataforma de dados, tanto em prototipação quanto implementação e sustentação
• Desenvolver e manter Integrações com APIs diversas (API de terceiros, internas, de outras plataformas etc)
• Escrever testes de integração e unitários
• Ajudar a construir as práticas e processos de governança de dados dentro do isaac

Para o trabalho que a gente desempenha aqui, vai ser super importante se você já tiver algumas hard skills como essas desenvolvidas:

• Um histórico desenvolvendo software em pelo menos um das seguintes linguagens de programação: Scala, Java, Python, Go
• Conhecimento em SQL
• Conhecimento de algoritmos, estruturas de dados (listas, filas, matrizes, dicionários, grafos) e quais os seus tradeoffs
• Conhecimento em conteinerização, com tecnologias como Docker, Podman, Kubernetes etc
• Experiência com bancos de dados SQL/NoSQL (Elasticsearch, HBase, Redis, Cassandra, Neo4j)
• Conhecimento em orquestração de workflows como Airflow, Luigi, Askaban
• Conhecimento de computação em nuvem como AWS, GCP, Azure

Vai ser um diferencial se você tiver:

• Conhecimento em frameworks de processamento distribuídos como Spark, Flink, Beam
• Conhecimento em infraestrutura como código
• Conhecimento em CI/CD
• Sólido entendimento de plataformas escaláveis de streaming, event sourcing e CQRS
• Experiência com self-service analytics
• Conhecimento em ferramentas de visualização de dados como Metabase, Looker, Superset, etc