Data Engineer - SPARK / SCALA (w/m/d)

Company:
Location: Frankfurt am Main

*** Mention DataYoshi when applying ***

Für ein Projekt bei unserem Großkunden aus der Transport Branche in Frankfurt suchen wir derzeit einen Data Engineer – SPARK / SCALA (w/m/d) auf freiberuflicher Basis.


Projektdauer:. 4 Monate

Standort: Frankfurt (sobald möglich)

Sprachen: Deutsch

Aufgabe:

  • Beschreibung, Abstimmung und Dokumentation der funktionalen und nicht funktionalen Anforderungen in Form von Epics, Features und User Stories in Atlassian Jira
  • Erstellung von Fachdokumenten (z. B. Use-Cases / User-Stories, Product Backlog, funktionale Systembeschreibungen, fachliche Servicebeschreibungen, fachliche und technische Schnittstellenbeschreibungen)
  • Konzeptionierung von Datenflüssen mit Nutzung von AWS Technologien und Apache Spark/Scala
  • Beratung, Umsetzung und Konzeptionierung der fachlichen und technischen Anforderungen an die IT-Systeme sowie Ableiten und Erarbeiten von technischen Umsetzungsmöglichkeiten.
  • Erstellung und Bewertung von funktionalen Spezifikationen
  • Erstellen, abstimmen und durchführen von Testfällen
  • Organisation und Durchführung von Workshops


Skills:

  • Dreijährige Erfahrung in der Architektur und Entwicklung von Datenstrecken auf Basis des AWS-Stack (z. B. ECS, EMR, Athena, Glue, Redshift, Kinesis oder MSK, Lambda, Python)
  • Erfahrung in der Architektur und Entwicklung von Datenstrecken auf Basis des Hadoop Hortonworks-Stacks (z. B. Spark, Kafka, HDFS, Yarn, Hive),
  • Gute Erfahrung in der Architektur und Entwicklung von Datenstrecken für relationale Datenbanken & DWHs (z. B. SQL, ETL sowie klassische BI-Werkzeuge)
  • Sehr gute Kenntnisse in der Programmierung mit Apache Spark und Scala
  • Erfahrungen in der Erstellung und Durchführung von Testfällen wurden in mindestens zwei Projekten gesammelt

Falls Sie an dieser Vakanz Interesse haben, so freue ich mich über Ihren aktuellen CV mit der Information Ihrer Verfügbarkeit und Ihres Stunden- bzw. Tagessatzes ALL IN für den genannten Standort.


Für Fragen stehe ich Ihnen gerne zur Verfügung!

*** Mention DataYoshi when applying ***

Offers you may like...

  • EXL Services

    Cloud Data Engineer - Healthcare
    Hartford, CT 06103
  • Nu Skin

    Principal Data Engineer
    Provo, UT 84601
  • Compass Group

    E15 DATA ENGINEER--REMOTE
    Chicago, IL 60651
  • Independent Recruiting

    Senior Data Engineer
    Indianapolis, IN 46262
  • UnitedHealth Group

    Sr Data Engineer - Telecommute
    Eden Prairie, MN 55346