Senior Data Engineer

Company:
Location: Frankfurt am Main

*** Mention DataYoshi when applying ***

Für ein Projekt bei unserem Großkunden aus der Transport Branche in Frankfurt suchen wir derzeit einen Senior Data Engineer (w/m/d) auf freiberuflicher Basis.


Projektdauer:. 15.02.2021 – 31.12.2021

Standort: Remote / Frankfurt (sobald möglich)

Sprachen: Deutsch


Projektbeschreibung:

Die Leistungen werden für die Anwendungen der Abteilung Kundeninterkation und Plattformen des CIO-Bereichs Fernverkehr erbracht.

Diese Data Lake-Plattform erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen des Fernverkehrs (Einsatz/Disposition der Fahrzeuge, der IT (WLAN, ZIP) in den Fahrzeugen sowie Sensor-, Fahrzeugzustands- und andere Live bzw. Telemetrie-Daten) und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen des Fernverkehrs.

Mit dieser Plattform wird die Grundlage für Big-Data-Analysen und Data Science im Fernverkehr geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können. Die Plattform ist auf Basis aktueller Standardtechnologien (AWS Serverless und Hadoop) sowie - architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar.


Aufgabe:

  • Konzeptionierung und Entwicklung von Datenflüssen mit Nutzung von AWS Technologien und Apache Spark/Scala
  • Beschreibung, Abstimmung und Dokumentation der funktionalen und nicht funktionalen Anforderungen in Form von Epics, Features und User Stories
  • Erstellung von Fachdokumenten (z. B. Use-Cases / User-Stories, Product-Backlog, funktionale Systembeschreibungen, fachliche Servicebeschreibungen, fachliche Schnittstellenbeschreibungen)
  • Beratung, Umsetzung und Konzeptionierung der fachlichen Anforderungen an die IT-Systeme sowie Ableiten und Erarbeiten von technischen Umsetzungsmöglichkeiten.
  • Erstellung und Bewertung von funktionalen Spezifikationen
  • Dokumentation von Anforderungen in Jira
  • Erstellen, abstimmen und durchführen von Testfällen
  • Organisation und Durchführung von Workshops


Skills:

  • Umfangreiche Projekterfahrungen (mindestens 4 Projekte) mit mindestens 3 ETL-Tools (Spark, Nifi, Jupyter, …), die er im Rahmen pro Referenzprojekten nachweisen kann.
  • Architektur- und Umsetzungs-Kenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, Redshift, Kinesis oder MSK, Lambda, Python)
  • Architektur- und Umsetzungs-Kenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge
  • Sehr gute Kenntnisse in der Programmierung mit Apache Spark und Scala
  • Zertifizierung / Kenntnisse (AWS Certified Solutions Architect, AWS Certified Developer)
  • Erfahrungen im agilen Umfeld und insbesondere im agilen Requirements-Engineering (z. B. User Journeys, EPICs, Features, User Stories, User Story-Mapping)


Falls Sie an dieser Vakanz Interesse haben, so freue ich mich über Ihren aktuellen CV mit der Information Ihrer Verfügbarkeit und Ihres Stunden- bzw. Tagessatzes ALL IN für den genannten Standort.


Für Fragen stehe ich Ihnen gerne zur Verfügung!

*** Mention DataYoshi when applying ***

Offers you may like...

  • UnitedHealth Group

    Senior Data Analyst - Telecommute
    Boston, MA 02212
  • National General Insurance

    Senior Data Analyst - Corporate Analytics
    Cleveland, OH 44114
  • Datonomy Solutions

    Senior Data Analyst
    Brackenfell, Western Cape
  • SPARK Schools

    Senior Data Analyst - SPARK Schools - Support Offi...
    Rosebank, Gauteng
  • Lionbridge Technologies

    Senior Data Analyst
    Ballina, County Mayo