Data Engineer

Résumé : Rattaché à l’équipe centrale de BI, votre rôle est de développer le datalake de l’entreprise pour permettre à toutes les équipes métier d’accéder aux données nécessaires à leur exploitation.

Tâches de base

• Maintenir les chaînes de traitement existantes (SSIS, SnowSQL, Python), assurer la qualité et la disponibilité des données,
• Finaliser la migration d’anciennes chaînes de traitement vers notre nouveau datalake Snowflake,
• Participer aux ateliers avec les équipes métier pour collecter les besoins,
• Développer de nouvelles chaînes de traitement pour intégrer de nouvelles données dans le datalake (Batch, API),
• Implémenter les règles métier pour créer les tables et vues adaptées pour les métiers,
• Assurer la recette des données avec les PO et les équipes métier,
• Implémenter des algorithmes plus complexes basés sur le datalake en fonction des besoins (Création d’un référentiel client unique, algorithmes de personnalisation, etc.).

Compétences

• Maîtrise de la programmation SQL et capacité à écrire des requêtes SQL complexes,
• Maîtrise d’un ou plusieurs outils ETL comme Informatica, SQL Server Integration Services (SSIS), Talend ou DataStage, etc.,
• Maîtrise d’un ou plusieurs langages de programmation comme Python, Java, C++, etc.,
• Connaissance des concepts d’entreposage de données et de modélisation de données,
• Expertise en profilage de données, analyse de données et qualité des données,
• Familiarité avec les systèmes de bases de données et les réseaux informatiques,
• Excellentes compétences en résolution de problèmes,
• Solides compétences en communication et en collaboration,
• Souci du détail et capacité à gérer de gros volumes de données.

Technologies Karavel

• Gitlab
• Base de données :
• SQL Server
• Snowflake
• SQL Server Integration Services
• Python