Neoxia

Stage Data Engineer at scale H/F

Job description

Mission

Le sujet du stage
A Paris, Grenoble ou Pau, tu renforceras notre équipe Data dans un projet de collecte, de transformation, d'analyse et de valorisation des données. Dans ce contexte, tu interviendras pour développer des flux pour la collecte et le traitement de grands volumes de données, dans l’orchestration de ces flux et leur déploiement sur le cloud.

Au sein de l’équipe, tu auras les responsabilités suivantes :
  • recueil des spécifications et des contraintes techniques auprès du client (origine des données, fréquence des flux, règles métiers pour les traitements, etc.)
  • développement des flux pour la collecte et la transformation des données ;
  • développement des tests unitaires pour les règles de transformation implémentées ;
  • déploiement des flux sur le cloud (AWS, GCP ou Azure) ;
  • mise en place des règles et des outils pour le suivi de la qualité des données ;
  • mise en place des mécanismes pour l’orchestration des flux (pour leur scheduling, leur monitoring, etc.) et des mécanismes de reprise en cas d’erreur.

Afin d’assurer une bonne montée en compétences, tu auras l’occasion de consacrer du temps en début de stage pour le passage d’une certification cloud. Également, comme tous les membres de l’équipe, tu seras amené à participer à l’amélioration continue de nos outils et de nos méthodes : dojos, ateliers d’architecture, rétros, …

Les plus : travail sur plusieurs projets, passage de certification cloud, travail avec la méthode SCRUM

profil

Edutiant(e) en fin de cursus
Lieux : à caler entre nos bureaux de Paris, Grenoble & Pau
Durée : 6 mois pouvant déboucher sur un CD

compétences

Monter en compétences sur
  • Apache Spark (Python ou Scala)
  • Cloud (AWS, GCP ou Azure)
  • Kafka / PubSub / Kinesis
  • CI/CD (Github Actions, Gitlab CI ou Bitbucket Pipelines)
  • Test / Qualité (Pytest, Scalatest, Great Expectations)

Please let the company know that you found this position on this Job Board as a way to support us, so we can keep posting cool jobs.