La banque numérique Monzo construit un data mesh gouverné pour 100 équipes et 12000 modèles dbt

InfoQ Homepage News La banque numérique Monzo construit un data mesh gouverné pour 100 équipes et 12000 modèles dbt AI, ML & Data Engineering Shipping Faster, Breaking More: Rethinking Delivery Systems in the Age of AI (Webinar May 28th) La banque numérique Monzo construit un data mesh gouverné pour 100 équipes et 12000 modèles dbt May 17, 2026 3 min read by Renato Losio Write for InfoQ Feed your curiosity. Aidez 550k+ développeurs seniors chaque mois à rester à jour. Contactez-nous Écoutez cet article - 0:00 Audio prêt à jouer Votre navigateur ne prend pas en charge l'élément audio. 0:00 0:00 Normal 1.25x 1.5x Like Lecture recommandée Monzo a réaménagé son magasin de données pour soutenir plus de 100 équipes qui travaillent sur 12.000 modèles dbt. En introduisant un approche appelée "meshy", Monzo a réduit les coûts du magasin de données de 40% et amélioré la vitesse de livraison des données de 25%. Au cours de l'année dernière, Monzo, une banque numérique britannique, a reconstruit sa plateforme de données autour de couches de modélisation définies, de modèles d'interface déclarés explicitement pour les dépendances de données entre équipes et de validation de CI de structure, de nom et de modèles d'accès. La migration a couvert des milliers de modèles dbt et a introduit des centaines d'interfaces gouvernées, réduisant les requêtes redondantes et la recomputation, améliorant les temps de livraison des données et inversant la croissance des coûts du magasin de données. Alors que chaque équipe possède et maintient ses propres modèles de données, Monzo soutient la propriété distribuée à travers des garde-fous automatiques et des outils partagés. Antonia Badarau, Irina Mugford et Massimo Frangiamore, analystes de données chez Monzo, expliquent le problème: À Monzo, plus de 100 équipes indépendantes et autorisées contribuent à notre magasin de données de 12.000+ modèles dbt. La santé des données est la propriété de tous ces équipes. Cette forme de propriété distribuée est puissante, mais elle est également difficile à atteindre à l'échelle. En outre, la question se pose: comment assurer que les résultats soient toujours efficaces, cohérents et de haute qualité? Les modèles dbt sont des requêtes SQL qui transforment les données brutes en ensembles structurés, conçus comme des composants modulaires et réutilisables pour la construction et la maintenance des pipelines de données. Monzo a défini trois principes pour son architecture de données: imposer des standards clairs, formaliser la distribution des données à travers des interfaces explicites et se fier à l'automatisation et à la validation de CI pour garantir la qualité plutôt que la revue manuelle. La banque structure ses modèles de données en quatre couches: des modèles de atterrissage automatiques qui planifient les événements bruts, des modèles normalisés générés qui représentent des entités avec une histoire complète, des modèles logiques où la logique commerciale combine des entités et des modèles de présentation personnalisés pour des applications downstream spécifiques. Source: Monzo-Blog L'équipe impose ensuite la cohérence à travers le surnommé Modelgen, un outil de ligne de commande qui génère des modèles SQL et YAML à partir d'une définition d'objet, et à travers des standards de données CI qui évaluent la structure, les conventions et les meilleures pratiques. Luke Briscoe, directeur de l'ingénierie chez Monzo Bank, écrit: Scaling data in any fast-growing organisation isn't easy, never mind a bank (...) I'm not aware of many companies that run tooling like this (or at least that publicly talk about it!) Mateusz Ulas, fondateur de Expeditious Software, commente: Treating data interfaces as first-class code is still weirdly rare. Most places I see rely on docs and hope for the best. Wiring standards into CI is what actually lands the improvement. Selon l'équipe, les niveaux de données clairs, les interfaces stables entre les ensembles de données et les vérifications automatiques en CI maintiennent le système cohérent, permettant aux équipes de travailler indépendamment tout en réduisant les coûts du magasin de données et les temps de traitement. Monzo impose la qualité et la cohérence des données en exigeant que chaque modèle définisse une clé unique, inclue des tests de fraîcheur, exécute de manière incrémentale par défaut, déclare un équipe de propriété, fournit des documents et suit des conventions de nommage et de métadonnées strictes validées en CI. Source: Monzo-Blog Badarau, Mugford et Frangiamore ajoutent: Nous sommes actuellement à environ 30% d'une plateforme de données d'entreprise