Big Data Engineer (m/w/d)

Company:
Location: Home Office

*** Mention DataYoshi when applying ***

Projektnummer:
20086-LH-04

Titel / Position:
Big Data Engineer (m/w/d)

Beschreibung:

  • Ausrichtung und Definition der Integrationsarchitektur zur Verbindung von Datensystemen mit Enterprise IT (Hadoop) inkl.

  • KafkaReplicationfromCloudServices (AWS)

  • Datenaufnahme von REST API, S3 und anderen Diensten

  • Integration traditioneller Datenbankmanagementsysteme (Oracle)

  • Integration von Daten aus verschiedenen Formaten (Parquet and Google Protocol Buffer)

  • Implementierung und Integration mit DataPrivacy-Routinen (Löschen und Aufbewahren)

  • Technologieauswahl für Daten-Pipelines, Datenschutzroutinen und Definition von Implementierungskonzept für einen MVP

  • Koordination der MVP-Entwicklung und -Unterstützung während der MVP-Phase:

  • Vertraut mit klassischen Big Data Systemen (Kafka, Hadoop, S3)

  • Implementierungen von ETLJobs (Spark und Python)

  • „State-of-the-art“ Entwicklungswerkzeuge (CI / CD-Pipelines, Repositories (BitBucket / GitHub))

  • Unterstützung bei der agilen Arbeitsweise (Scrum / Jira / Confluence)

  • Sehr gute Englischkenntnisse


  • Einsatzort:
    remote

    Start:
    01.06.2021

    Dauer:
    31.12.2021

    *** Mention DataYoshi when applying ***

    Offers you may like...

  • Toll Collect GmbH

    (Senior) Big Data Analyst *in (d/m/w)
    Berlin
  • Gradiant

    Data Scientist & Big Data Analyst en Cibersegurida...
    36310 Vigo, Pontevedra provincia
  • Digital Talent Hub

    Big Data Architect / Big Data Engineer (m/f)
    Lisboa
  • William Hill

    Big Data Engineer (Mid/Senior)
    Kraków, małopolskie
  • IBM

    Data Engineer: Big Data
    Bengaluru, Karnataka