Experienced Data Engineer

Disclaimer: Herken je je in deze vacature, of wil je in deze richting groeien? Onze data community heeft plaats voor jou!

Data staan centraal in de digitale transformaties die onze klanten doormaken. Je belandt bij AE in een informele bedrijfscultuur waar een gezellig pintje én een sterke kenniswerking rond data hand in hand gaan. Wil je uitgedaagd worden door en bijleren van straffe collega’s binnen onze data community? Top. Wil je ook jouw eigen expertise delen? Nog beter.

Als data engineer help je onze klanten met het realiseren van hun projecten. Je vertrekt daarbij vanuit je sterke conceptuele en technische skills. Je weet of een klant meer geholpen is met batch- of streamingoplossingen en hoe zich dat dan concreet vertaalt in een kappa- of lambda-architectuur. Je bent benieuwd om data mesh principes te implementeren in de praktijk.

Voor jou kennen de vier stappen van ons data framework geen verrassingen:

1. Het verkrijgen van data.

Jij weet hoe je de data op de beste en meest efficiënte manier uit een systeem kan halen en deze dan kan doorsluizen naar een ander systeem. Je kent daarbij batch- en streamingoplossingen. Change data capture heeft voor jouw geen geheimen meer. Je wordt spontaan kwaad als de datakwaliteit in de bron niet goed zit.

2. Het verwerken van data. Je weet welke tools het beste geschikt zijn om data te verwerken en te transformeren. Je weet dat er andere tools zijn voor verwerkingen in batch en in streaming. Je onderzoekt graag of performantie-issues te wijten zijn aan je algoritme of aan die verdomde Data Scientists die alle resources opsouperen.

3. Het opslaan van data. Voor ieder project weet je het juiste type data-opslag te identificeren. Je kent de toepassingen van graph-databases en documentstores. Je weet hoe de juiste datastore het verschil kan maken voor de snelheid van toepassingen.

4. Het publiceren van data. Je kan data gestructureerd aanbieden, zodat de meest overzichtelijke rapporten en fancy dashboards erop gebouwd kunnen worden. Jij kan een API bouwen bovenop een dataproduct. En als er iemand anders een ander gek idee heeft om data te gaan gebruiken in een toepassing, wil je daar graag aan meewerken.

AE is op zoek naar mensen die met hun technologische kennis mee het verschil kunnen én willen maken. Dat kan specifiek vanuit een bepaalde expertise zijn, bijvoorbeeld in AWS of Azure, of eerder als generalist.

• Als generalist weet je welke tools je wanneer moet inzetten. Je weet dat je met Flink en Kafka streaming oplossingen kan bouwen, maar dat je voor batch eerder naar Spark en Airflow moet kijken. Je weet ook dat dbt en Snowflake natuurlijke partners zijn om een datawarehouse te maken en dat je dankzij Docker en Kubernetes je toepassingen overal kan laten draaien.
• Heb je een voorliefde voor Azure? Dan weet je hoe je ons data framework moet vertalen naar componenten zoals Data Factory, Databricks en PowerBI. Je weet wanneer je moet kiezen voor Azure Data Lake Storage en wanneer Synapse een betere keuze is.
• Is AWS je ding? Dan haal je Kinesis, Glue en Lambda boven, als er data verkregen moet worden. Je kan data opslaan in S3 of Redshift en je weet dat Athena gebruikt kan worden om data te verkennen.
• In welke omgeving je ook wil werken: je kent Python. Indien nodig kan je ook overweg met Java, .NET of scala (of snel aanleren).

Waarin maakt AE voor jou het verschil?

• De projecten van AE zijn end-to-end digitale transformatieprojecten, waarbij jouw rol focust op het data-aspect, maar waarin je omgeven wordt door een multidisciplinair team. Zo zie je steeds het bredere plaatje waarin je werkt!
• Op regelmatige tijdstippen kan je intappen op de data community met events waar brainfood, kennisuitwisseling en gezelligheid samengaan.
• AE dropt je niet in een vakje, maar moedigt je aan om je te verbreden binnen je eigen interesses.
• We voorzien een lange termijn coach, die samen met jou richting geeft aan jouw groei en loopbaan en een engagement manager die je ondersteunt bij je dagdagelijkse taken op het project. Je kan deze coaching rollen ook zelf opnemen naar collega’s toe.
• Je komt terecht bij een stabiele speler mét een start-up vibe. Je drukt je stempel op onze data community of engageert je voor één van onze zotte ideetjes zoals de AE hackathon of de Techscape.
• Je uitvalsbasis is ons hoofdkantoor in Leuven of één van onze vestigingen in Gent (Ghelamco), Antwerpen, Groot-Bijgaarden of Hasselt. Je werkt op kantoor of van thuis uit in combinatie met projectwerk bij de klant.