La neobanca Monzo construye un data mesh gobernado para 100 equipos y 12000 modelos dbt
InfoQ Homepage Noticias La neobanca Monzo construye un data mesh gobernado para 100 equipos y 12000 modelos dbt AI, ML & Data Engineering Shipping Faster, Breaking More: Rethinking Delivery Systems in the Age of AI (Webinar May 28th) La neobanca Monzo construye un data mesh gobernado para 100 equipos y 12000 modelos dbt May 17, 2026 3 min read by Renato Losio Write for InfoQ Feed your curiosity. Ayuda a 550k+ desarrolladores senior cada mes a mantenerse a la vanguardia. Ponte en contacto Escucha este artículo - 0:00 Audio listo para reproducir Su navegador no admite el elemento de audio. 0:00 0:00 Normal 1.25x 1.5x Like Lectura recomendada Monzo ha rediseñado su almacén de datos para apoyar a más de 100 equipos que trabajan en 12.000 modelos dbt. Introduciendo un enfoque llamado "meshy", Monzo ha reducido los costos del almacén de datos en un 40% y mejorado la velocidad de entrega de datos en un 25%. En el último año, Monzo, una banca digital británica, ha reconstruido su plataforma de datos alrededor de capas de modelado definidas, modelos de interfaz declarados explícitamente para las dependencias de datos entre equipos y validación de CI de estructura, denominación y patrones de acceso. La migración ha cubierto miles de modelos dbt y ha introducido cientos de interfaces gobernadas, reduciendo las consultas redundantes y la recomputación, mejorando los tiempos de llegada de datos e invertiendo la crecida de costos del almacén de datos. Mientras cada equipo posee y mantiene sus propios modelos de datos, Monzo apoya la propiedad distribuida a través de guardrails automatizados y herramientas compartidas. Antonia Badarau, Irina Mugford y Massimo Frangiamore, ingenieras de análisis en Monzo, explican el problema: En Monzo, más de 100 equipos independientes y autorizados contribuyen a nuestro almacén de datos de 12.000+ modelos dbt. La salud de los datos es propiedad de todos estos equipos. Este tipo de propiedad distribuida es poderoso, pero también es difícil de obtener a nivel de escala. Además, como el código asistido por IA se vuelve la norma y todos pueden contribuir a los proyectos dbt de producción, la pregunta se vuelve: ¿cómo asegurarse de que los resultados sean aún eficientes, coherentes y de alta calidad? Los modelos dbt son consultas SQL que transforman los datos brutos en conjuntos estructurados, diseñados como componentes modulares y reutilizables para la construcción y la mantenimiento de las pipelines de datos. Monzo ha definido tres principios para su arquitectura de datos: imponer estándares claros, formalizar la concesión de datos a través de interfaces explícitas y confiar en la automatización y la validación de CI para garantizar la calidad frente a la revisión manual. La banca estructura sus modelos de datos en cuatro capas: modelos de aterrizaje automatizados que planifican los eventos brutos, modelos normalizados generados que representan entidades con historia completa, modelos lógicos donde la lógica de negocio combina entidades y modelos de presentación personalizados para usos específicos downstream. Fuente: blog Monzo El equipo luego impone la coherencia a través del llamado Modelgen, un herramienta de línea de comando que genera modelos SQL y YAML a partir de una definición de objeto, y a través de la validación de CI de datos que valora estructura, convenciones y mejores prácticas. Luke Briscoe, director de ingeniería en Monzo Bank, escribe: Scaling data in any fast-growing organisation isn't easy, never mind a bank (...) I'm not aware of many companies that run tooling like this (or at least that publicly talk about it!) Mateusz Ulas, fundador de Expeditious Software, comenta: Treating data interfaces as first-class code is still weirdly rare. Most places I see rely on docs and hope for the best. Wiring standards into CI is what actually lands the improvement. Según el equipo, los niveles de datos claros, las interfaces estables entre los datos sets y las verificaciones automatizadas en CI mantienen el sistema coherente, permitiendo a los equipos trabajar independientemente mientras reducen los costos del almacén de datos y los tiempos de procesamiento. Monzo impone la calidad y la coherencia de los datos requiriendo a cada modelo que defina una clave única, incluya pruebas de frescura, ejecute incrementalmente por defecto, declare un equipo de propiedad, proporcione documentación y siga convenciones de denominación y metadatos estrictas validadas en CI. Fuente: blog Monzo Badarau, Mugford y Frangiamore agregan: Estamos actualmente alrededor del 30% a través de una plataforma de datos empresarial
Comentarios (0)
Login or Register to apply