DATA ENGINEER (H/F) - FREELANCE (IT) / Freelance

DATA ENGINEER - (FREELANCE)

Notre client est un groupe français spécialisé sur le secteur de l’eau. Son activité principale est la gestion déléguée de services pour les collectivités locales. Il est aussi actif sur le marché de l’ingénierie et de la construction d’ouvrages liés au traitement de l’eau. --

CONTEXTE

• En pleine transformation digitale, notre client continue d’évoluer vers une organisation Data Centric.
• La mise en œuvre d’une Data Platform contribue à cette démarche en permettant d’avoir une vision globale du patrimoine de données.
• Le candidat idéal devra avoir une solide expérience dans la conception et la mise en place de pipelines d’ingestion robustes et performants pour l’acquisition, la préparation et le traitement des données provenant de diverses sources.
• Il/elle travaillera en étroite collaboration avec l’équipe Data, le Product Owner et les ingénieurs DevOps.
• Au sein de la Digital factory, le Data Engineer contribue à la mise en place et la maintenance des flux de données, afin de répondre aux différents besoins DSI et projets. --

ACTIVITÉS PRINCIPALES

• Au sein d’une équipe agile SAFe, prise en charge de User Stories et participation aux cérémonies agiles
• Le Data Engineer contribuera au développement, à la mise en œuvre et à l’optimisation des processus d’ingestion de données
• Concevoir, développer et maintenir des pipelines d’ingestion de données en utilisant SQL et Spark.
• Optimiser les performances des pipelines d’ingestion pour garantir des temps de traitement rapides et une utilisation efficace des ressources.
• Assurer la qualité des données ingérées en mettant en place des mécanismes de validation, de nettoyage et de transformation.
• Surveiller les processus d’ingestion en temps réel, diagnostiquer et résoudre les problèmes éventuels pour maximiser la disponibilité des données.
• Travailler sur l’évolution constante des pipelines en fonction des changements de besoins, des nouvelles sources de données et des améliorations technologiques.
• Documenter les processus d’ingestion, les schémas de données et les décisions de conception prises, et collaboration avec le Product Owner et l’équipe Data Model

--

ENVIRONNEMENT / COMPÉTENCES TECHNIQUES

• Connaissance des services Data du cloud Azure (Azure SQL Database, Azure Data Factory, Azure Event Hub, Azure Storage Account,

)

• Solides compétences en SQL pour concevoir des requêtes complexes, optimiser les performances et garantir la qualité des données.
• Expérience dans le développement avec Spark (Spark Streaming et Spark SQL notamment), y compris la manipulation de grands ensembles de données, le partitionnement, la parallélisation, etc.
• Compréhension des concepts de modélisation de données
• Capacité à diagnostiquer et à résoudre les problèmes liés aux performances, à la qualité des données et aux erreurs de traitement.
• Familiarité avec les outils de contrôle de version tels que Git et les méthodologies de développement Agile. 

--

APTITUDES HUMAINES (SOFT SKILLS)

• Capacité à travailler en équipe aussi bien qu’en toute autonomie tout en étant force de proposition (ateliers techniques à mener, récupération d’information auprès des experts applicatifs, etc.)
• Excellentes compétences en communication pour collaborer efficacement avec les membres de l’équipe
• Capacité à travailler dans un environnement agile et à adapter les processus en fonction des besoins
• Aisance relationnelle, curiosité, esprit de synthèse et analytique
• Niveau professionnel en anglais.

--

PROFIL

• Profil Bac+5, avec une expérience opérationnelle de 3 ans minimum en tant que Data Engineer

--

DURÉE ET LOCALISATION

• Durée : 3 mois renouvelables (mission longue à prévoir en suivant) démarrage ASAP
• Localisation : Maurepas en IDF
• Politique de télétravail :

4 jours de TT --

INFORMATIONS COMPLÉMENTAIRES

• Budget : TJM 490€ maximum