Free-Work (ex Freelance-info Carriere-info)

Data Engineer GCP Hadoop Scala/JAVA (IT) / Freelan...

Job description

Pour notre client dans le domaine de la grande distribution, nous recherchons un Data Engineer expérimenté.

Démarrage ASAP

Mission longue durée Basé à Massy (50

De Remote) Projet

La plateforme collecte, normalise, enrichit et centralise les données des stocks, tickets de caisse, prix, articles

Le projet est construit autour d’une approche data et event centric et exploite des technologies permettant de gérer des fortes volumétries avec des contraintes proches du temps réel comme le streaming de données pour construire une vision 360 sur l’ensemble de la data du client. Missions :
  • Je contribue au développement des applications existantes, en ajoutant de nouvelles fonctionnalités, et je participe à l’évolution de l’architecture du socle technique, en migrant les applications existantes vers des technologies plus récentes et mieux adaptées au besoin.
  • Je traduis les exigences métier en systèmes de traitement de données concrets (streaming ou batch processing), dans un contexte DevOps, avec autonomie sur toute la chaîne, de la conception jusqu’au déploiement.
  • Je participe au développement de plusieurs systèmes de normalisation et d’enrichissement de données pour alimenter les bases de données. Un système de traitement de données peut consommer les données en temps réel (Topic Kafka), ou à partir des fichiers plats (Avro, ORC, Json ). Ensuite, il transforme ces données au format pivot normalisé, il enrichit ces données à partir d’autres sources, et au final, soit il les envoie vers des topics Kafka, soit il les stocke dans des bases de données du type NoSQL (Cassandra, ElasticSearch, BigQuery ).
  • Je contribue au développement des Frameworks internes utilisés au sein de la plateforme par les autres développeurs pour faciliter le développement des applications et gagner du temps.
  • Je participe aux revues de code des Merge Request avant de valider et fusionner le code des nouveaux développements.
  • Je développe également des API REST pour rendre ces données normalisées accessibles aux utilisateurs. PROFIL RECHERCHE :
Compétences Requises
  • Programmation : Scala ou en Java (expérience obligatoire dans l’un des deux langages) Compétences souhaitées :
Capacité d’analyse

Indépendance

Gestion du temps

Compétences Techniques
  • Écosystème Big Data (HADOOP, Spark, Kafka, Avro...)
  • Google Cloud Plateform o Bases de données NoSQL (Cassandra, Redis )
  • Moteur de recherche (Elastic Search...)
  • Outils de déploiement et orchestration (Kubernetes, Docker, Ansible,
)
  • CI/CD : Git / Jenkins / Nexus / sbt

Please let the company know that you found this position on this Job Board as a way to support us, so we can keep posting cool jobs.

Similar jobs

Browse All Jobs
Fanatics, Inc.
January 29, 2023
MasterBrand Cabinets LLC
January 29, 2023
Paxos
January 29, 2023