Senior data engineer/analytics engineer voor team ...

Opdrachtomschrijving

De kandidaat gaat het team helpen met het migreren van hun bestaande datapipelines naar Databricks op het Azure-platform. Dit doet de kandidaat door mee te werken, te adviseren en mee te denken met de teamleden. De huidige datapipelines zijn gemaakt op basis van PostgreSQL queries en functies en Bash. Een klein gedeelte van de datapipelines staat in SAS-code.

Werkzaamheden

De Kandidaat Helpt Het Team Met

• Coachen en kennis over dragen naar de teamleden;
• Het omschrijven van bestaande datapipelines op basis van PostgresSQL, Python en Bash naar geautomatiseerde datapipelines in Databricks in de Cloud;
• Je controleert of de resultaten van een gemigreerde datapipeline exact dezelfde statistieken opleveren als in de oude omgeving;
• Meedenken en adviseren over hoe we van onze huidige werkwijze naar een geoptimaliseerd en efficiënt data verwerkings- en verrijkingsproces in Databricks en Azure komen;
• Je geeft advies en denkt mee over hoe we onze data pipelines met behulp van Git kunnen deployen in productie;
• Actief samenwerken met de overige teamleden door tijdens het werk jouw kennis over te dragen, onder andere door feedback te geven op code van collega’s;
• Het integreren en modelleren van data conform richtlijnen en standaarden van de data office en conform architectuur principes.
  
  

Functie-eisen

Eisen:

• De aangeboden kandidaat heeft minimaal 2 jaar aantoonbare werkervaring, die is opgedaan in complexe IT omgevingen met circa 1500 fte en beschikt over recente werkervaring als data engineer in een grotere, complexe data georiënteerde omgeving
• De aangeboden kandidaat heeft aantoonbare ervaring met DataBricks op Azure, SQL, Python, CI/CD en Git
• De aangeboden kandidaat heeft aantoonbare ervaring in het coachen en kennis overdragen binnen het vakgebied data engineering
• De aangeboden kandidaat beschikt minimaal over een hbo werk- en denkniveau
  
  

Wensen

• De aangeboden kandidaat heeft ervaring met het werken in een devops team
• De aangeboden kandidaat heeft aantoonbare ervaring met het organiseren en geven van technische workshops en data events waarbij het demonstreren van technieken en het bepalen van best practices binnen het data werkgebied centraal staat
  
  

5cd8a0b9cc68f9ffa4c9253553278a55wer