Data Engineer Sênior

Company:
Location: São Paulo, SP

*** Mention DataYoshi when applying ***

Buscamos um (a) Data Engineer para liderar nosso time responsável pelo Data Lake mantendo este acessível, disponível e com alta qualidade.

Terá a oportunidade de trabalhar em projetos de alto impacto na diretoria de investimentos em um ambiente dinâmico com forte crescimento.

Deve ter excelente habilidade organizacional e orientado a detalhes, bem como curiosidade em modelar informações financeiras para fácil consumo e entendimento usando tecnologias modernas.


Responsabilidades e atribuições


Atividades diárias, expectativas de projetos e processos.

Liderar a expansão do Data Lake construindo a distribuição estratégica dos dados na empresa;

Liderar o desenvolvimento de integrações de dados no ecossistema aws;

Aderir os padrões e metodologias de desenvolvimento de software;

Providenciar feedback sobre melhores práticas, padrões de arquiteturas e frameworks para serviços

Entender e gerar informações sobre gerenciamento de metadados;

Aplicar ciência de informação para fornecer dados como ativos para as áreas da empresa

Contribuir na definição da arquitetura de dados da empresa.

Disseminação de boas práticas de Devops e Dataops no time.


Requisitos e qualificações


Formação, experiências, capacidade exigidas, idiomas, linguagens de programação

Saber programar em Python e Shell;

Saber estruturar queries em SQL (Postgres ou SparkSQL);

Conhecimento de administração em banco de dados (de preferência Postgres);

Conhecimento de Big Data e Data Lake;

Saber usar com confiança qualquer sistema UNIX;

Conhecimento com Pipeline de dados;

Experiência com ETL’s.


As experiências abaixo não são obrigatórias, mas são um diferencial:

Experiência com Spark e NoSQL;

Experiência com Data Lake;

Conhecimento com streaming de dados;

Conhecimento com computação distribuída;

Conseguir dimensionar um cluster para análise;

Experiência com plataformas Cloud (de preferência AWS);

Contato com ferramentas como Git, Docker, Terraform, Ansible e Kubernetes;

*** Mention DataYoshi when applying ***

Offers you may like...

  • Myticas Consulting

    BHJOB15656_16490 - Senior Data Engineer
    Remote
  • MarketDial

    Data Engineer
    Salt Lake City, UT 84101
  • Applied Research Associates, Inc

    Senior Data Engineer
    Fort Belvoir, VA 22060
  • PBT Group

    Cloud Data Engineer
    Johannesburg, Gauteng
  • PBT Group

    Data Engineer
    Johannesburg, Gauteng