Senior Data Engineer

Für ein Projekt bei unserem Großkunden aus der Transport Branche in Frankfurt suchen wir derzeit einen Senior Data Engineer (w/m/d) auf freiberuflicher Basis.

Projektdauer:. 15.02.2021 – 31.12.2021

Standort: Remote / Frankfurt (sobald möglich)

Sprachen: Deutsch

Projektbeschreibung:

Die Leistungen werden für die Anwendungen der Abteilung Kundeninterkation und Plattformen des CIO-Bereichs Fernverkehr erbracht.

Diese Data Lake-Plattform erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen des Fernverkehrs (Einsatz/Disposition der Fahrzeuge, der IT (WLAN, ZIP) in den Fahrzeugen sowie Sensor-, Fahrzeugzustands- und andere Live bzw. Telemetrie-Daten) und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen des Fernverkehrs.

Mit dieser Plattform wird die Grundlage für Big-Data-Analysen und Data Science im Fernverkehr geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können. Die Plattform ist auf Basis aktueller Standardtechnologien (AWS Serverless und Hadoop) sowie - architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar.

Aufgabe:

• Konzeptionierung und Entwicklung von Datenflüssen mit Nutzung von AWS Technologien und Apache Spark/Scala
• Beschreibung, Abstimmung und Dokumentation der funktionalen und nicht funktionalen Anforderungen in Form von Epics, Features und User Stories
• Erstellung von Fachdokumenten (z. B. Use-Cases / User-Stories, Product-Backlog, funktionale Systembeschreibungen, fachliche Servicebeschreibungen, fachliche Schnittstellenbeschreibungen)
• Beratung, Umsetzung und Konzeptionierung der fachlichen Anforderungen an die IT-Systeme sowie Ableiten und Erarbeiten von technischen Umsetzungsmöglichkeiten.
• Erstellung und Bewertung von funktionalen Spezifikationen
• Dokumentation von Anforderungen in Jira
• Erstellen, abstimmen und durchführen von Testfällen
• Organisation und Durchführung von Workshops

Skills:

• Umfangreiche Projekterfahrungen (mindestens 4 Projekte) mit mindestens 3 ETL-Tools (Spark, Nifi, Jupyter, …), die er im Rahmen pro Referenzprojekten nachweisen kann.
• Architektur- und Umsetzungs-Kenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, Redshift, Kinesis oder MSK, Lambda, Python)
• Architektur- und Umsetzungs-Kenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge
• Sehr gute Kenntnisse in der Programmierung mit Apache Spark und Scala

• Zertifizierung / Kenntnisse (AWS Certified Solutions Architect, AWS Certified Developer)

• Erfahrungen im agilen Umfeld und insbesondere im agilen Requirements-Engineering (z. B. User Journeys, EPICs, Features, User Stories, User Story-Mapping)

Falls Sie an dieser Vakanz Interesse haben, so freue ich mich über Ihren aktuellen CV mit der Information Ihrer Verfügbarkeit und Ihres Stunden- bzw. Tagessatzes ALL IN für den genannten Standort.

Für Fragen stehe ich Ihnen gerne zur Verfügung!