Data Engineer / Engenheiro de Dados

PT

A Porto Digital desempenha um papel fundamental na estratégia do Município do Porto para o uso e tratamento de dados em prol do poder local e das comunidades locais: quer na recolha, tratamento e partilha dos dados, quer na definição da estratégia municipal para o seu uso em prol da inovação e transição digital.

Precisamos de ajuda para cumprir esta missão. Juntando-se à equipa, serás um elemento ativo no desenvolvimento de soluções de engenharia que procedem à recolha, seleção e tratamento de dados para sustentar a tomada de decisão baseada em dados.

EN

As a digital catalyst for the city of Porto, Porto Digital plays an important role in defining the strategic approach to data usage in local government and communities: either by assisting in the gathering, curation, and sharing of data or in defining good governance and strategy approaches for its usage.

We need help in achieving this mission. As part of this team, you would be an active member in developing engineering solutions that collect, curate, and improve data to provide tools for data-driven decision-making.

Tasks

PT

• Analisar e elaborar soluções ETL de forma a garantir que os dados pedidos pelos utilizadores são recolhidos e disponibilizados;
• Implementar e testar soluções ETL como pipelines de dados em lote/fluxos capazes de gerar automaticamente novos dados para utilizadores e aplicações;
• Testar e garantir validações de qualidade em diferentes fases do processamento e armazenamento de dados;
• Contactar diretamente os vários stakeholders de forma a garantir a qualidade dos outputs;
• Projetar e desenvolver modelos de dados que correspondam às necessidades específicas do caso de uso;
• Estabelecer a ligação entre Cientistas de Dados, Analistas de Dados e Inteligência Artificial, ao transcrever as necessidades em requisitos técnicos e tratamento de dados;
• Melhorar a Plataforma Urbana da cidade do Porto, criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade.
  
  

EN

• Analyze and design ETL approaches to ensure data user's requests can be fulfilled;
• Implement and test ETL solutions as batch/stream data pipelines that can automatically provide new data to users and applications;
• Test and ensure quality validations at different stages of data processing and storage;
• Work in a small and agile team close to stakeholders to ensure good quality output in our products;
• Develop and design good data models that fit specific data needs;
• Be the bridge between Data Scientists, Analysts, and Business
  
  

Intelligence assisting in translating their needs into technical

requirements and data transformations;

• Work to improve the Urban Data Platform of the City of Porto by finding ways to improve the value and quality of the data used for data-driven decision-making that affects the lives of our community.
  
  

Requirements

PT

• Licenciatura ou Mestrado em Ciências da Computação, Engenharia Informática, Engenharia Informática, Análise de Dados, Engenharia Eletrotécnica e de Computadores ou similares;
• Experiência mínima de 1 ano em funções similares;
  
  

Serão considerados uma vantagem:

• Conhecimentos de Python Tech Stack;
• Experiência em desenvolvimento, testes e manutenção de serviços ETL;
• Experiência em ferramentas de orquestração (ex. Airflow);
• Experiência com Apache Atlas, NiFi e Kafka;
• Conhecimentos de conceitos básicos de aplicação de dados em termos de Analytics, BI e Data Science/ML;
• Experiência com os softwares Pandas, Numpy;
• Experiência com os sistemas operativos UNIX/Linux.
  
  

EN

• Experience in software development with Python, or domain over software development concepts in a different language;
• Experience in developing, testing, and maintaining ETL services;
• Experience in orchestration tools, e.g. Airflow;
• Understand the basic concepts of data application in terms of Analytics, BI, and Data Science/ML;
• Experience with Pandas, Numpy;
• Experience in UNIX/Linux systems;
  
  

O que também valorizamos?

• Fluência em Inglês (leitura, conversação e escrita);
• Elevada capacidade de comunicação verbal e escrita;
• Elevada capacidade de organização e gestão do tempo;
• Orientação para a execução, resultados e cumprimento de prazos;
• Orientação para a criação de valor para a cidade (Porto), a Câmara Municipal e para os cidadãos em geral;
• Elevada capacidade de trabalho em equipas multidisciplinares;
• Elevada autonomia e responsabilidade;
• Elevada motivação para enfrentar novos desafios e capacidade de aprendizagem contínua.
  
  

Benefits

• Subsídio de Alimentação
• Seguro de Saúde
• Regime de Horário Flexível