Description de l’offre :
Nous recherchons un(e) Data Engineer passionné(e) pour rejoindre notre équipe technique. Vous serez responsable de la conception, de la mise en place et de la gestion des architectures de données permettant de traiter de grandes quantités d’informations tout en garantissant la fiabilité, la scalabilité et la performance des solutions de données. Si vous êtes un(e) expert(e) des pipelines de données et souhaitez travailler dans un environnement dynamique, cette opportunité est faite pour vous.
Missions principales :
- Concevoir, développer et maintenir des pipelines de données performants et scalables pour l’ingestion, le traitement et l’analyse de grandes quantités de données.
- Collaborer avec les équipes data science et data analytics pour comprendre les besoins en matière de données et les traduire en solutions techniques adaptées.
- Assurer la gestion et l’optimisation des bases de données relationnelles (SQL) et NoSQL (ex. : MongoDB, Cassandra).
- Mettre en place des systèmes de stockage de données à grande échelle en utilisant des solutions comme Hadoop, Spark, Kafka, ou Snowflake.
- Optimiser les performances des bases de données et garantir leur scalabilité pour le traitement de volumes de données importants.
- Intégrer des outils d’ingestion de données tels que Apache Nifi, Airflow, Informatica, et automatiser les processus de chargement des données.
- Assurer la qualité des données et leur intégrité tout au long des processus de transformation (ETL) et de migration.
- Collaborer avec les équipes DevOps pour assurer une gestion optimisée des environnements Cloud (AWS, Azure, Google Cloud).
- Mettre en œuvre des politiques de sécurité des données et veiller au respect des réglementations en matière de confidentialité et de protection des données (ex. : RGPD).
- Créer et maintenir des rapports et des tableaux de bord pour surveiller la performance des processus de traitement des données.
- Participer à l’amélioration continue des processus de gestion et de traitement des données.
Compétences requises :
- Solides compétences en langages de programmation orientés données : Python, Java, Scala.
- Expérience avec des outils de traitement de données distribuées (ex. : Apache Spark, Hadoop, Flink).
- Maîtrise des outils ETL et de l’automatisation des flux de données (Apache Nifi, Airflow, Talend).
- Connaissance des systèmes de gestion de bases de données relationnelles (ex. : MySQL, PostgreSQL) et des bases de données NoSQL (ex. : MongoDB, Cassandra).
- Expérience avec des outils de data warehousing comme Snowflake, Redshift, ou BigQuery.
- Maîtrise des systèmes de messagerie et de streaming de données (ex. : Apache Kafka, RabbitMQ).
- Expérience avec des environnements Cloud (AWS, Google Cloud, Azure) et des services de données dans le Cloud.
- Compétence dans la gestion de l’intégration et du déploiement continu (CI/CD) des pipelines de données.
- Connaissances solides en architectures distribuées et traitement en temps réel.
- Expérience dans la gestion des systèmes de fichiers distribués comme HDFS ou S3.
- Connaissance des outils de visualisation des données comme Tableau, Power BI, ou Looker est un plus.
Atouts supplémentaires :
- Certification en Cloud (AWS Certified Data Analytics, Google Professional Data Engineer).
- Expérience avec des frameworks de machine learning (ex. : TensorFlow, PyTorch, MLlib).
- Compétences en optimisation des requêtes SQL et dans la gestion de volumes de données importants.
- Connaissance des pratiques DevOps et des outils associés (ex. : Docker, Kubernetes).
- Compétences en data governance et en gestion de la qualité des données.
Qualités recherchées :
- Capacité à travailler sur des projets complexes et à résoudre des problèmes techniques.
- Excellentes compétences en communication et capacité à travailler en équipe.
- Esprit analytique et capacité à transformer des données brutes en solutions exploitables.
- Autonomie et proactivité pour faire face aux défis techniques.
- Forte orientation résultat et capacité à prioriser les tâches dans un environnement dynamique.