Data Engineer Senior F/H

La Digital Factory Groupe développe et industrialise des applications, des produits data et des services digitaux pour ses métiers et l'ensemble des sociétés du groupe.
La mission du Data Engineer est de collecter, préparer et transformer les données puis agréger et exposer ces données sous différents formats pour les différentes typologies d'utilisations.
En tant que Data Engineer Senior orienté sur AWS, vous serez responsable de concevoir, développer et maintenir des solutions de traitement de données hautement évolutives et performantes sur la plateforme AWS.
Vous travaillerez en étroite collaboration avec les experts cloud, les architectes de données, les développeurs, les UX , les analystes et les data scientistes ainsi que les métiers pour comprendre les besoins métier et concevoir des pipelines de données efficaces

1- Concevoir et développer des pipelines de données ETL/ELT robustes et évolutifs sur AWS, en utilisant des services tels que Amazon S3, AWS Glue, Amazon EMR, Amazon Redshift, etc.
2- Développer des architectures des données optimisées pour le stockage, la transformation et l'analyse de données à grande échelle, en tenant compte des exigences de performance, de disponibilité et de sécurité
3- Industrialiser et automatiser de bout en bout et en continue les différentes étapes d'un projet data depuis l'ingestion jusqu'à l'exposition et la restitution en passant par les traitements des données distribués.
4- Mettre en œuvre des meilleures pratiques en matière de gestion des données, y compris le partitionnement, l'indexation, le nettoyage des données et la gestion des versions en s'appuyant sur les outils de CI/CD
5- Collaborer avec les équipes de développement pour intégrer les pipelines de données dans les applications et les services existants, en assurant la cohérence des données à travers l'ensemble de l'écosystème.
6- Optimiser les performances des pipelines de données en surveillant les métriques clés, en identifiant les goulots d'étranglement et en mettant en œuvre des améliorations.
7- Automatiser les tâches de gestion et de surveillance des données en utilisant des outils comme AWS Lambda, AWS Batch, AWS CloudWatch, etc
8- Assurer la transmission des connaissances sur son périmètre aux data Engineers Junior

1- Diplômé en information, en ingénierie des données ou dans un domaine connexe.
2- Expérience significative dans le développement de solutions de traitement de données sur AWS, avec une expertise dans au moins quelques-uns des services AWS pertinents.
3- Solide compréhension des concepts de modélisation de données, des architectures de données distribuées et des pipelines ETL/ELT.
4- Construire des API permettant de collecter, traiter, exposer les données
5- Maîtrise des langages de programmation tels que Python, Java, Scala, etc., ainsi que des outils de requête SQL.
6- Solide maîtrise des outils CI/CD pour création des différents tests : Unitaires, intégrations, end to end, …, l'industrialisation et l'automatisation.
7- Connaissance approfondie des technologies de Big Data telles que Apache Spark, Airflow, et MongoDB

8- Vous avez un très bon niveau d'anglais tant à l'oral qu'à l'écrit.

9- Compétences méthodologiques :
• Connaissance et pratique de la méthodologie Agile (SCRUM)

10- Compétences personnelles :
• Excellente communication orale et écrite.
• Capacité d'analyse et synthèse.
• Esprit d'équipe, Esprit d'innovation, d'initiative
• Autonomie et force de proposition
• Organisation, intégrité et rigueur.

Déplacement occasionnel