Tech Lead expert Data engineer Spark : Expert Pyth...

Company:
Location: Saint-Quentin (02)

*** Mention DataYoshi when applying ***

Tech Lead expert Data engineer. La mission est basée à Saint Quentn en Yvelines, avec la possibilité de faire du télétravail ponctuellement. Spark : Expert Python : Expert Scala : Expert Hive: Expert Kafka : Expert GIT : Maîtrise Outils Confluence (JIRA-Wiki) : Maîtrise Des déplacements ponctuels sont possibles sur deux autres sites du client situés à Paris et à Issy Les Moulineaux. Description de la mission : Dans le cadre de la refonte générale du système d'information de notre client, leur DSI a fait le pari de monter un département Big Data.

Il a pour but d'appuyer une nouvelle approche data centric ouvrant de nouvelles perspectives aux métiers de la Branche En support du responsable du pôle des data engineer (DE), le techlead devra accompagner l'équipe de DE dans son développement sur les aspects suivants : Compétences techniques (Spark, Scala, Java, Python, PySpark) Best practice en développement (tests Unitaires, utilisation des outils en place (ex : GIT) ) Les travaux doivent respecter les normes de développement et d'exploitation ainsi que les bonnes pratiques qui existent. Afin de répondre aux enjeux et aux objectifs du projet, le client a fait le choix de la BIG DATA Appliance (BDA) d'ORACLE avec la distribution HADOOP CLOUDERA. La version actuelle est CDH 5.10. La solution BIG DATA Appliance (BDA) d'ORACLE est basée sur une architecture et infrastructure clé en main .

Le client dispose d'un cluster Hadoop de BUILD et d'un cluster Hadoop de RUN. L'outil Dataiku est utilisé comme outil d'exploration de données et de prototypage. La rédaction des documents devra respecter les normes de présentation élaborées par La Poste et se fera dans la mesure du possible sous Confluence sur le WIKI qui sera désigné par La Poste. Profil recherché : tech lead data engineer avec une expertise supérieure à 3 ans dans les domaines ci-après : Spark : Expert Python : Expert Scala : Expert Hive: Expert Kafka : Expert GIT : Maîtrise Outils Confluence (JIRA-Wiki) : Maîtrise

*** Mention DataYoshi when applying ***

Offers you may like...

  • DataSprints

    Data Engineer- Tech Lead
    Belo Horizonte, MG
  • Dellent Consulting

    Tech Leader (Data Engineer)
    Porto
  • BOLD International

    Data Engineer Tech Leader
    Porto
  • Natixis Portugal

    Data Engineer Tech Leader
    Porto
  • DECSKILL

    Data Engineer Tech Leader
    Porto