Free-Work (ex-Freelance-info)

DATA ENGINEER SPARK / SCALA / CLOUD / Freelance

Job description

Bonjour à tous,

Pour le compte de notre client, nous recherchons le profil suivant :

FICHE DE MISSION

DATA ENGINEERS SPARK / SCALA

H/F

LE POSTE La mission se déroule au sein de l'équipe Data Factory, dans le cadre d'une activité en croissance continue depuis plus de 2 ans. Pour renforcer des plateaux projet en forte croissance, nous recherchons plusieurs profils data engineers disposant d'une expérience très significative et du degré d'expertise technique associée.

Principalement, la mission portera sur du développement d'applications Spark fonctionellement complexes avec une emphase particulière autour des performances.

Deux profils nous rejoindrons sur le développement d'un socle data et d'un décisionnel couvrant l'ensemble des données client, à partir desquels des analyses et rapports seront réalisées en vue d'améliorer la connaissance client;

MISSIONS + Participer au développement des projets ou les services data en développant une chaîne de traitement de données robuste et automatisée ▪ Spécifications techniques ▪ Release plan des différents livrables ▪ Ingestion et mise en qualité des données selon les bonnes pratiques de la Factory ▪ Traitement, agrégation et sauvegarde des données ▪ Intégration continue (versioning, packaging, tests et déploiement) ▪ Configuration des briques logicielles ▪ Etroite collaboration avec le chef de projet, OPS et architectes ▪ Participation aux activités d'architecture, conception et développement ▪ Recette et mise en production + Contribuer proactivement à la veille scientifique et technique, aux projets R&D, et à la construction d'assets et de services techniques orientés data ; + Participer aux autres activités du pôle Data Science & Engineering (reporting d'activité, communication interne et externe, collaboration avec les universités et laboratoires associés).

LES PROFILS RECHERCHES

Compétences métiers & outils L'accent est mis sur une expertise récente et significative sur le framework Spark et le langage Scala + maîtrise de l'API Scala Spark (batch principalement) + maîtrise des techniques d'optimisation Spark, expérience dans le traitement de volumétries importantes / complexes + une expérience sur la stack Databricks et ses optimisations spécifiques est appréciée + une bonne maîtrise et une expérience professionnelle du langage Scala est obligatoire + travail en environnement cloud AZURE
  • Streaming et micro batch (Spark Streaming, Kafka, Akka)
  • Développement d'API HTTP
Notre stack technique + Scala + Spark + Databricks + Maven + Full cloud
  • Ansible
  • Rundeck
  • Gitlab, Jenkins, Nexus Compétences transverses
  • appétence client, besoin métier et compréhension du fonctionnel
  • travail en équipe
  • mentoring et partage de connaissances
Télétravail : 3j/ semaine

Merci et à très vite ;)

Cordialement, TEAM UCASE

Please let the company know that you found this position on this Job Board as a way to support us, so we can keep posting cool jobs.