What we have done in this project?
Ce projet illustre la mise en œuvre d'une architecture Data Mesh moderne pour la gestion décentralisée et scalable des données au sein d'une organisation. L'objectif principal est de transformer la façon dont les données sont gérées, en passant d'une approche centralisée traditionnelle à un modèle distribué où chaque domaine métier est propriétaire et responsable de ses données.
Le système permet aux data scientists, data analysts et autres consommateurs de données d'accéder de manière autonome aux données de différents domaines via une plateforme en libre-service, tout en garantissant la qualité, la gouvernance et la traçabilité des données à l'échelle de l'entreprise.
Architecture, Design, Implémentation, Intégration, Monitoring et Gouvernance
Plateforme Data Mesh distribuée avec gouvernance fédérée
- Couche Consommation (UI pour data scientists/analysts)
- Plateforme Self-Service (JupyterHub, dbt, Trino, Grafana)
- Catalogue de Métadonnées (DataHub)
- Data Lake (MinIO, Hive MetaStore)
- Gouvernance Fédérée
- Domaines Métier (Domain Ownership)
- Infrastructure (Docker, Kubernetes)
Docker, Kubernetes, JupyterHub, dbt, Trino, Grafana, DataHub, MinIO, PostgreSQL, Hive MetaStore
Data Mesh, Data Products, Federated Governance, Self-Service Infrastructure
Autonomie, Scalabilité, Qualité, Découvrabilité, Time-to-insight, Flexibilité
In progress
Transforming ideas into reality
contact me
