All new
Data Science
jobs, in one place.

Updated daily to help you be the first to apply ⏱

avatar4avatar1avatar5avatar3avatar2
DATA ENGINEER – LILLE
  • Python
  • Spark
  • Big Data
  • Hadoop
NOVA Technology
Lille (59)
150 days ago
Descriptif du Poste :
Collecte et Ingestion des données :
Collecte des données issues des applications du SI ou de l’open data.

Paramétrage des outils d’ingestion de données tel que Apache Oozie.

Ingestion et validation technique du chargement des données sur les différents environnements (Développement, Intégration, Production)

Demande d’évolution des fonctionnalités du DataFrames

Tests et qualification des fonctionnalités.

Mise en production / service des données dans l’écosystème Big Data (Hadoop, Hive, Spark et/ou Python)

Gestion des évolutions de flux (GCP et/ou AWS)

Animation des ateliers de travail

Rédaction des Contrats d’Interface (CI) et ouverture de flux en assurant la rédaction des documents CI :

Contrat d’interface réseaux visant à demander à l’équipe infra l’ouverture des flux entre l’écosystème BigData et les partenaires.

Contrat d’abonnement partenaire visant à détailler l’objet de la collecte des données, les responsabilités des différentes parties prenantes et les spécifications techniques des échanges.

Les contrats d’usages visant à spécifier l’usage fait des données collectées.

Assurer les tests 2 à 2 et ouverture de flux :
Piloter/organiser les tests 2 à 2 d’ouverture de flux

Rédiger les CR de test

Paramétrer les outils Orange de déclaration de flux

Assurer la coordination et le suivi avec les partenaires des demandes d’extractions industrialisées

Profil :
De formation Bac+ 5, vous avez une expérience significative de 3 ans minimum dans ce métier et dans la mise en oeuvre de projets complexes et transverses.

Compétences requises :
Connaissance de l’écosystème Big Data tel que Hadoop

Faire évoluer les paramétrages et développer les fonctions suivant les besoins des projets

Développement Python, Spark ou Hive

Connaissances en GCP et/ou AWS

Bonne capacité à communiquer

Capacité à développer et maintenir une forte cohésion d’équipe

Capacité à interagir dans un environnement organisationnel complexe

Sens de l’objectif

Autonomie

Capacité à s’adapter

Rémunération : en fonction du profil

Type de contrat : CDI, statut cadre.

Localisation : Lille

Tous nos postes sont ouverts aux personnes en situation de handicap.

Ce poste vous inspire, vous aimez les challenges ? Vous souhaitez évoluer et apprendre au sein d’une ESN dynamique à taille humaine ?

    Related Jobs

  • Data Scientist - CDI Retail/Tech

    • scikit-learn
    ARMIS
    Paris (75)
    17 days ago
  • Alternance - Assistante - Assistant Business Analyst / Data Analyst sur Saint-Denis (93)

    • Tableau
    Orange
    93210 Saint-Denis
    3 days ago
  • SENIOR DATA ENGINEER - Jeux vidéo

    • Spark
    • Python
    • SQL
    Harnham
    Paris (75)
    3 days ago
  • Data Scientist - Maintenance Prédictive & Data Operations

    • Deep Learning
    Airbus
    31300 Toulouse
    22 days ago
  • Credit Market Data Analyst (H/F) - CDD

    • Python
    GROUPE BPCE
    Paris (75)
    13 days ago