Job description
skiils recrute un Data Engineer Expert GCP (H/F) pour renforcer ses équipes Nearshore et intégrer une équipe SCRUM dynamique !
En tant que tel, son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes :
Développer des applications Big Data en utilisant Python, Spark Kafka & Kafka-stream
Concevoir et mettre en ?uvre des pipelines de données efficaces, tel un architecte construisant un château de sable indestructible dans une environnement cloud GCP.
Optimiser les performances des applications et des requêtes Big Data, comme un ninja agile.
Collaborer avec les équipes de développement pour intégrer les solutions Big Data.
Assurer la qualité des données traitées et la fiabilité des systèmes.
Contribuer à l?automatisation du delivery
Développer et documenter son code
Travailler au sein d?une équipe SCRUM (PO, développeurs, QA, Support)
Profil candidat:
Nous recherchons une personne proactive curieuse avec un fort esprit d'analyse.
Compétences techniques obligatoires :
Expérience en architecture de systèmes distribués Big Data et cloud GCP
Python & SQL
Ecosystème Big Data (Hadoop, Spark, Apache Kafka, Avro ...)
Maîtrise de la CI/CD et des outils de déploiement et orchestration (Jenkins, GitLab, Kubernetes, Docker, Ansible ?)
Concepts fondamentaux de Kafka & Kafka-stream
Base de données NoSQL (Cassandra, BigTable?)
Moteur de recherche (Elastic Search...)
Compétences techniques appréciées :
Kafka-Stream
Google Cloud Platform (GCS, BigQuery, GKE, Cloud Pub/Sub, Dataproc, ?)
Software Craftsmanship.
Veille technologique
Participation à des meetings, des meetups, à la communauté Big Data