Greater Paris Metropolitan Region, France
October 25, 2023
Apply NowJob description
Pour l’un de nos clients prestigieux, nous sommes à la recherche d’un Data Engineer avec une expertise sur
Spark et Databricks: Le Data Engineer sera chargé de construire, fournir et maintenir des artefacts de données (pipelines de données, services de données, API, etc.) au sein de l’équipe centre d’excellence Data. Il travaillera en étroite collaboration avec les équipes produits pour développer de nouvelles fonctionnalités liées à ces produits, en particulier celles liées à : La création de pipelines de données au sein d’un ou plusieurs produits. Les capacités analytiques et de data warehousing pour l’exploration des données, la data science et la BI. Le calcul parallèle sur de gros volumes de données. Le Data Engineer est responsable de : La construction, la fourniture, la maintenance et la documentation d’artefacts de données ou de fonctionnalités (pipelines de données, services de données, API, etc.) en suivant les modèles de pointe (architecture medaillon, gitflow). Agir en tant qu’expert en la matière et représentant du centre d’excellence Data sur les questions centrales de l’ingénierie des données au sein des équipes avec lesquelles il travaillera, et contribuer au chapitre global de l’ingénierie des données. Profil +5 ans d’expérience en tant qu’ingénieur de données Une expérience avérée dans le développement et la maintenance de pipelines de données De bonnes pratiques de développement (gitflow, tests unitaires, documentation...) Une expérience prouvée dans des projets agiles (Scrum et/ou Kanban) Une sensibilisation aux problématiques de gestion des données et de protection des données Compétences techniques : Une maîtrise avancée de Python et Pyspark, avec la capacité de développer des pipelines de données sous Databricks Une maîtrise avancée de SQL
Une bonne connaissance des techniques de parallélisation et de programmation distribuée Une bonne connaissance des environnements et des concepts de datalakes (delta lakes, architecture medaillon, stockage blob par rapport aux partages de fichiers...) Une bonne connaissance de la modélisation de données décisionnelles (concepts Kimball, Inmon, Data Vault...) et des bonnes pratiques associées (dimensions changeantes lentement, tables point dans le temps, gestion des pièges en éventail, gestion de la capture de données modifiées...) Si vous avez les compétences requises, veuillez s’il vous plait envoyer votre CV dans les meilleurs délais. En raison d’un volume d’application élevé sur ce type de position, si vous n’avez pas été contacté dans la semaine suivant votre application, veuillez s’il vous plaît considérer que votre candidature n’a pas été retenue.
Spark et Databricks: Le Data Engineer sera chargé de construire, fournir et maintenir des artefacts de données (pipelines de données, services de données, API, etc.) au sein de l’équipe centre d’excellence Data. Il travaillera en étroite collaboration avec les équipes produits pour développer de nouvelles fonctionnalités liées à ces produits, en particulier celles liées à : La création de pipelines de données au sein d’un ou plusieurs produits. Les capacités analytiques et de data warehousing pour l’exploration des données, la data science et la BI. Le calcul parallèle sur de gros volumes de données. Le Data Engineer est responsable de : La construction, la fourniture, la maintenance et la documentation d’artefacts de données ou de fonctionnalités (pipelines de données, services de données, API, etc.) en suivant les modèles de pointe (architecture medaillon, gitflow). Agir en tant qu’expert en la matière et représentant du centre d’excellence Data sur les questions centrales de l’ingénierie des données au sein des équipes avec lesquelles il travaillera, et contribuer au chapitre global de l’ingénierie des données. Profil +5 ans d’expérience en tant qu’ingénieur de données Une expérience avérée dans le développement et la maintenance de pipelines de données De bonnes pratiques de développement (gitflow, tests unitaires, documentation...) Une expérience prouvée dans des projets agiles (Scrum et/ou Kanban) Une sensibilisation aux problématiques de gestion des données et de protection des données Compétences techniques : Une maîtrise avancée de Python et Pyspark, avec la capacité de développer des pipelines de données sous Databricks Une maîtrise avancée de SQL
Une bonne connaissance des techniques de parallélisation et de programmation distribuée Une bonne connaissance des environnements et des concepts de datalakes (delta lakes, architecture medaillon, stockage blob par rapport aux partages de fichiers...) Une bonne connaissance de la modélisation de données décisionnelles (concepts Kimball, Inmon, Data Vault...) et des bonnes pratiques associées (dimensions changeantes lentement, tables point dans le temps, gestion des pièges en éventail, gestion de la capture de données modifiées...) Si vous avez les compétences requises, veuillez s’il vous plait envoyer votre CV dans les meilleurs délais. En raison d’un volume d’application élevé sur ce type de position, si vous n’avez pas été contacté dans la semaine suivant votre application, veuillez s’il vous plaît considérer que votre candidature n’a pas été retenue.
