Job description

Vous exécutez des activités de Data Ingéniérie sur l'écosystème Google Cloud Platform (GCP) servant aux cas d'usages avancés de Data Science des établissements ou Organe Central. La plateforme GCP est en cours de construction. Vous interviendrez dans l'activité d'alimentation des données dans le Datalake en utilisant l'outil d'ingestion développé en interne (en Python).

Vous participerez aux chantier de reprise d'historique des données de l'ancienne plateforme Big Data sur Hadoop on Premise, au projet de migration des données et des usages de Data science, ainsi qu'à l'alimentation de nouvelles données (enrichissement des données de pilotage commercial, données externes, Fraude...).

Vous participerez au suivi de production des chaînes d'alimentation de données : monitoring, outillage, gestion des incidents, QoS et Data quality, amélioration continue..

Activités Et Tâches

Acheminement de la donnée

Mise à disposition de la donnée aux équipes utilisatrices

Mise en production de modèles statistiques

Suivi De Projet De Développement

Développement job spark

Traitement et ingestion de plusieurs formats des données ;

Développement des scripts

Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données

Développement des moyens de restitution via génération de fichier et ou API & Dashboarding

Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers.

Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI).

Développer des API génériques d'ingestion et de traitement de données dans un environnement HDP.

Participer à la conception, mise en place et administration de solutions Big Data.

Participation à l'installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka.

Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Please let the company know that you found this position on this Job Board as a way to support us, so we can keep posting cool jobs.