Data engineer Databricks

Le projet concerne une plateforme data d client permettant à tous les domaines producteurs de données de mettre à disposition dans un datalake de la donnée brute ou retravaillée. Cette plateforme data permet notamment de gérer les fonctions et données du périmètre métier de la Relation Réseau (SDSI)

A ce titre elle permet de :

• Intégrer et mettre en qualité des données brutes reçues des distributeurs
• Mettre à disposition les données GRD exploitables pour toute utilisation : besoins portés par tous les domaines métiers de nature opérationnelle ou analytique
  
  
  

Profil candidat:

Principales missions

• Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL
• Maintien en condition opérationnelle de la plateforme en production (analyse et correction d’incidents, de defects)
• Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données
• Fournir une vision long terme, tant opérationnelle qu’en terme de stratégie de plateforme data
• Accompagner et promouvoir les bonnes pratiques
• Participer aux ateliers de conception techniques et fonctionnels
• Rédaction et actualisation de la documentation technique