Data Engineer F/H

Company:
Location: Paris 1er (75)

*** Mention DataYoshi when applying ***

Descriptif du poste:
Notre client s’est doté d’un environnement Big Data Hadoop (distribution Cloudera CDH 6, CDP prochainement). Cet environnement est « désensibilisé » au sens du règlement RGPD et de la norme PCI-DSS (Payment Card Industry – Data Security Standards). La désensibilisation des données entrant dans le Big Data se fait au travers d’une autre plateforme dénommée SI-PCI.

Nous recherchons pour notre client un Data Engineer pour renforcer l’équipe existante et assurer différents travaux pour alimenter et fiabiliser la plate-forme.

Les principales missions qui vont lui être confiées sont les suivantes :

Sur la partie Cloudera Big Data (Pyspark , Scala, Impala, Hive, Oozie …) :
  • Contribuer à la reprise d’historique de nos données du Big Data pour intégrer une nouvelle fonction d’anonymisation ;
  • Mise en place d’un programme de suivi qualitatif des données ingérées dans le Data Lake en fonction de spécifications fournies par la MOA ;
  • Reprise de différents traitements « historiques » (ingestion, analyse syntaxique (parsing), prise en compte des règles de gestion, stockage dans les BDD, etc.).

Les différents flux à intégrer sont :
o Flux de déclaration de fraude ;
o Flux de déclaration des impayés ;
o Mises en opposition ;
o Flux de déclaration de compensation et interchanges ;
o Demandes d’autorisation ;
o Mise à jour des données cartes (MDC) ;


  • Reprise des principales fonctions et programmes de la Lutte Contre La Fraude (LCLF) ;
  • Préparation des données issues du Big Data pour pouvoir les consommer avec leur outil de DataViz Tableau Server en tenant compte des contraintes de performances et de simplicité d’intégration via cet outil ;
  • Participer à la mise en place des tâches d’ordonnancement d’Oozie.

Sur la partie SI-PCI (Kubernetes, Jenkins, Python, Mysql Percona, Elasticsearch, Grafana), plateforme soumise aux bonnes pratiques de développement exigées par la norme PCI-DSS :
  • Ingestion / migration des différents flux « legacy » nécessitant l’anonymisation des données : cette tâche consiste à récupérer les flux sur la plateforme historique ou directement depuis nos partenaires, les anonymiser avec la fonction d’anonymisation (déjà en place), les enrichir puis les envoyer sur la plateforme Big Data ;
  • Développer un nouvel applicatif de mise à jour des données cartes : interrogation d’une API partenaire, désensibilisation des données, enrichissement puis alimentation du DataLake CB ;
  • Migrer et adapter sur la plateforme SI-PCI un applicatif écrit en Python permettant de suivre les commissions d’interchange : cette tâche peut être scindée en deux (une partie, sur le SI-PCI, d’anonymisation et de récupération d’information avec nos partenaires, l’autre partie sur Big Data) ;
  • Participer à l’étude technique (puis réalisation si l’étude est concluante) de mise en place d’une solution de Data Streaming (type Kafka, Spark Streaming).


Profil recherché:
Exigences générales :
  • Excellent niveau en Python ;
  • Capacité d’adaptation et force de proposition ;
  • Travail en équipe ;
  • Être familier avec les principes du DevOps.

Entreprise:
Le groupe Savane Consulting est une Entreprise de Services du Numérique.

Notre mission est d’accompagner, dans leur développement numérique, les directions du système d’information et les directions « métier » des entreprises par la mise en œuvre de prestations à haute valeur ajoutée.

Nos collaborateurs sont notre force. Nos clients notre patrimoine.

*** Mention DataYoshi when applying ***

Offers you may like...

  • ButterflyMX

    Data Engineer
    Remote
  • Braintrust

    Sr. Data Engineer (no C2C)
    San Francisco, CA 94147
  • ReUp Education

    Data Engineer (Remote)
    San Francisco, CA
  • Exact Sciences Corporation

    Sr Biomedical Data Engineer
    Redwood City, CA 94063
  • Cigna

    BI Data Engineer-Work from home-eviCore
    Franklin, TN