Data Engineer

Votre mission

• Concevoir, développer et tester des algorithmes de collecte et de traitement de gros volumes de données sous Scala, Python ou Java

• Automatiser et optimiser les flux de données et leurs visualisations en dashboards

• Industrialiser les traitements, la qualité et l’intégrité des données

• Participer à la Modélisation et à la Gouvernance des données (process, normalisation, référentiel,…)

• Contribuer à la scalabilité, la sécurité, la stabilité et la disponibilité des données de la plateforme

• Analyser les données pour répondre aux questions métiers et participer à l’évolution de l’architecture Big Data

• Concevoir, Développer et Industrialiser des modèles de Machine Learning, Deep Learning, en collaboration avec les Data Scientists

• Appliquer une démarche CI/CD (Git, Jira, Jenkins)

Les compétences techniques nécessaires sont :

• Expérience de 5 ans minimum en développements Scala, Python ou Java

• Expérience de 2 ans minimum sur SPARK et sur le traitement des flux en streaming

• Expertise sur Hadoop (Hive, HBase, HDFS) sous distributions MapR ou Hortonworks

• Expérience souhaitée sur ELK, Terraform, NoSQL,…

• Fort background en Modélisation de données ou ETL

• Maîtrise des briques analytiques des clouds AWS, GCP ou Azure

• Sensibilisation à la démarche CI/CD tools (Git, Jenkins)

• La connaissance de Docker, Kubernetes et Ansible est un plus

• Mise en œuvre des méthodes Agile (Scrum, Kanban,…)

• Anglais souhaité