Data Engineer (IT)

Company:
Location: Paris (75)

*** Mention DataYoshi when applying ***

1-Descriptif du besoin
La prestation de Data Engineering, objet de la consultation, s’appuyera sur les recommandations d’architecture client pour mettre en œuvre les alimentations de données sous GCP.

En collaboration avec l’équipe projet agile SMDH, elle assurera les livraisons et traitement des données par sprint.

EIle veillera à mettre en œuvre les outils de monitoring continu de la qualité opérationnelle (Build & Run) et à atteindre le niveau de performance attendu du produit.

Les activités conduites dans le cadre de cette prestation seront :

Travailler selon la méthode Agile Scrum et cérémonies du projet CVB
Collaborer avec les Data Managers de l’équipe ainsi que les DevOps pour implémenter les traitements de mise à disposition des données
Mettre en place les chaînes de traitement de la data, de l’ingestion à l’exposition dans des outils de visualisation (datastudio/spotfire) sur la plateforme GCP selon les préconisations du client
Mettre en place des tests automatisés
Garantir la robustesse et la performance des alimentations et traitements mis en œuvre
Résoudre les anomalies sur les chaines d’alimentation et de traitement de données
2-Livrables
Chaînes de traitement de la data sur la Plateforme datalake GCP du client
Dashboards de restitution des performances process sur les Connected Cars.
Résolution des anomalies sur les chaines d’alimentation et de traitement de données
Documentation associée d’architecture, de traitements et process;
3-Savoir-faire
Le prestataire est consulté compte tenu de son expertise et notoriété dans le domaine Data.

Expérience d’1 an d’expérience minimum en Data Engineering
Expérience en alimentation et traitement de données sous GCP
Référence de projets au sein d’équipes Agile
Connaissance des logiciels JIRA/CONFLUENCE
Expérience en supervision et devops
Référence en optimisation de performances
Expérience sur BigQuery, AirFlow , Composer, dataproc , GCS, Terraform
Développement Python, SQL
Expérience dataviz (datastudio et/ou spotfire)
Anglais courant

*** Mention DataYoshi when applying ***

Offers you may like...

  • Adentis

    Big Data Engineer (Cloudera/Hadoop)
    Lisboa
  • Noesis Portugal - Consultadoria em Sistemas de Informação, SA

    Junior Data Engineer
    Lisboa
  • Mind Source

    Data Engineer
    Porto
  • Adentis

    Big Data Engineer
    Porto
  • Noesis

    Junior Data Engineer
    Lisboa