Medallion Architecture a Microsoft Fabric

Com passar de dades en brut a dades llestes per a Power BI

Si fa temps que treballes amb dades, deus haver sentit el terme Medallion. I si encara no l’has implementat a Microsoft Fabric, aquest article és per a tu. No pateixis, també et dic quan no l’hauries d’implementar, perquè sí, hi ha vegades que no cal matar mosques a canonades.

Ja us he explicat com m’agrada aquesta sèrie?

Mala qualitat de les dades, no poder seguir on es transformen, que arribin de 12 fonts diferents, que ningú sàpiga quina versió és la correcta, i que l’equip de negoci desconfiï del que es pinta a Power BI perquè «els números mai no quadren», i una pila de motius més, poden fer que fracassi el teu projecte de dades. La Medallion Architecture ajuda a resoldre precisament això: és la Marie Kondo de l’arquitectura de dades… abans de tenir fills, almenys.

El traster de les dades, el problema que més costa admetre*

*Qualsevol semblança amb la realitat és pura coincidència

Imagina una empresa mitjana. Té dades a Salesforce, en un ERP legacy, en fitxers Excel que algú actualitza cada dilluns, i en una API d’un proveïdor extern que et canvia l’esquema sense avisar.

Què passa quan intentes construir un informe de vendes? Algú escriu una query que ho ajunta tot, hi posa un WHERE que «més o menys funciona», i el resultat viu en una pestanya d’Excel que només aquella persona sap interpretar. Quan se’n va de vacances, el negoci s’atura.

L’arquitectura Medallion proposa una solució: en lloc de transformar les dades de cop, les vas ajustant en capes progressives. Cada capa té una responsabilitat i un lloc dins de Microsoft Fabric.

---

L’AFC Richmond i un entrenador de Kansas

Abans d’entrar en codi i Lakehouses, deixa’m portar-te a la meva sèrie del moment. Perquè resulta que en Ted Lasso, sense saber-ho, va muntar una arquitectura Medallion amb el seu equip de futbol. Sense necessitat de saber què era un Lakehouse ni entendre com funcionava un fora de joc, només amb galetes.

Quina meravella de personatge

• Fase 1. El fitxatge i l’arribada al vestidor. Primer dia de pretemporada en un equip de futbol anglès. En Ted acaba d’aterrar dels EUA i es troba el següent: un davanter estrella amb ego de Champions League, un veterà que fa tants anys que és al club que ja forma part del mobiliari, un jugador amb un optimisme que desafia la física, i un noi que ningú no sap per què és a primera divisió. En Ted no canvia ningú. No li diu a ningú que deixi de ser com és. Els registra tal com són: amb els seus egos, les seves lesions, les seves manies, i aquella actitud de «a mi què m’ha d’ensenyar un americà». Els accepta en brut. Això és Bronze.
• Fase 2. Els entrenaments i el vestidor. Aquí comença la feina de debò. Es dissenyen les tàctiques. Es posen les regles del vestidor. La dinàmica de l’equip es neteja: s’aprèn que la passada existeix, es descobreix que es pot ser líder sense trencar-li la tíbia a ningú, i s’entén que no tot es resol amb entusiasme. Ja no tens un grup d’individus caòtics. Tens un equip. Encara no guanya la Premier League, però ja entrenen junts, ja és una cosa fiable i reconeixible. Això és Silver.
• Fase 3. El dia del partit. Ara sí: estadi ple, tots els stakeholders pendents. Se surt al camp amb una formació clara, rols definits i jugades entrenades. Cada jugador sap exactament què s’espera d’ell. L’equip ja no necessita que l’entrenador li expliqui la tàctica: se la sap. El públic veu el resultat final: gols, assistències, victòries. No necessita saber que un jugador va fer 200 esprints a l’entrenament o que l’estrès gairebé fa que un jugador es retirés. Veu el producte acabat. Això és Gold.

El bonic del procés: els fitxatges originals continuen registrats. Si alguna cosa surt malament en un partit, en Ted torna a l’entrenament (Silver) o fins i tot revisa els informes de fitxatges (Bronze). Pot reconstruir el procés des de qualsevol fase.

I una cosa més: ningú amb dos dits de seny posa un jugador acabat de fitxar directament en un partit de Premier League sense haver passat per un sol entrenament. Un error que veig cada dia en projectes de dades. Com diria en Ted: «Això és com posar quètxup en una galeta. Tècnicament possible, fonamentalment incorrecte.» ⚽

Bronze Layer. Benvinguts al vestidor de fitxatges (i per què no has de tocar res)

El mateix que quan et cau un projecte nou on tot està per fer

La capa Bronze és la teva zona d’aterratge, el teu punt de partida. I aquí la clau és NO TOCAR RES.

Aquí ingereixes les dades en la seva forma original: JSON d’una API, CSV d’un sistema extern, taules replicades des d’un SQL Server, fitxers de log. Tot entra, res no surt modificat. Com en Ted rebent jugadors el primer dia: els acceptes amb els seus defectes, les seves contradiccions i aquella columna que algú va anomenar Fld_007 pensant que era temporal.

Per què és important no transformar a Bronze?

Perquè quan alguna cosa falla, i sempre falla alguna cosa, has de poder tornar a l’origen. Si transformes en el moment de la ingesta i hi ha un error a la teva lògica, has perdut les dades originals. Bronze és la teva assegurança, el teu històric, la còpia de seguretat que no s’hauria de necessitar mai però que algun dia et salva la vida.

A Microsoft Fabric, Bronze viu en un Lakehouse. Habitualment a la carpeta Files del Lakehouse, on pots desar qualsevol format de fitxer sense imposar un esquema.

Lakehouse: Bronze
└── Files/
    ├── salesforce/
    │   ├── 2024-01-15/accounts.json
    │   └── 2024-01-15/opportunities.json
    ├── erp/
    │   └── 2024-01-15/ventas_export.csv
    └── api_proveedor/
        └── 2024-01-15/productos_raw.parquet

Com l’ullejador que porta el jugador al club, la seva missió acaba a la porta del vestidor. Un Data Pipeline o un Eventstream de Fabric s’encarrega de moure les dades, res més. La seva feina acaba quan el fitxer està desat.

Què conté Bronze

• Dades sense netejar, amb duplicats, amb nuls, amb tipus incorrectes
• Esquemes tal com els va enviar la font
• Particionat per data d’ingesta
• Retenció llarga: això és el teu històric

Silver Layer. On les coses comencen a tenir sentit.

Aquí comença l’acció. La capa Silver pren les dades de Bronze i les converteix en una cosa amb què es pot començar a treballar.

A Silver hi apliques:

• Neteja de dades: eliminació de duplicats, gestió de nuls, correcció de tipus.
• Estandardització: dates en format ISO, imports en la mateixa divisa, noms de columnes consistents. Que tot l’equip faci servir el mateix idioma tàctic.
• Enriquiment bàsic: joins entre taules que tenen sentit a nivell tècnic (no de negoci). Unir el jugador amb el seu historial de gols, no decidir si és titular.
• Validacions: els registres que no compleixen les regles de qualitat es marquen o es mouen a una taula de quarantena. Com quan s’aparta un jugador de l’entrenament perquè no ha dormit i fa una olor sospitosa de pub.

A Microsoft Fabric, Silver també viu en un Lakehouse, però ara a la secció Tables: dades estructurades en format Delta Lake, amb esquema definit i versionat.

Un Notebook de Fabric orquestrat per un Pipeline és l’arma perfecta per a aquesta feina. Si prefereixes alguna cosa sense codi, un Dataflow Gen2 fa la mateixa transformació amb una interfície visual.

Què conté Silver

• Dades netes i tipades correctament
• Models relacionals simples (sense lògica de negoci complexa, sisplau)
• Taules reutilitzables per múltiples casos d’ús
• Historial de canvis gràcies a Delta Lake

Gold Layer. El dia del partit (i perquè el negoci prengui decisions)

La capa Gold és on viu el negoci. Aquí les taules deixen de ser importants i ho comencen a ser les preguntes que es resolen.

Quin és el revenue per regió al Q4? Quins clients tenen risc de churn? Quin és el marge per línia de producte? Gold respon aquestes preguntes.

A Gold hi construeixes

• Taules de fets i dimensions (model estrella o floc de neu). L’alineació titular i les estadístiques del partit.
• Agregacions precalculades per millorar el rendiment dels dashboards. Els highlights del partit, ja muntats.
• Feature stores per a models de Machine Learning. Les dades que l’analista de rendiment fa servir per predir lesions.
• Vistes semàntiques adaptades a cada àrea de negoci.

A Microsoft Fabric, Gold pot viure en un Lakehouse (per a consum amb Spark o Direct Lake a Power BI) o directament en un Warehouse de Fabric si l’equip prefereix SQL pur.

La capa Gold és la que connectes directament a Power BI amb el mode Direct Lake: sense importació, sense duplicació de dades, amb rendiment d’Analysis Services i frescor de Lakehouse. Aquesta combinació és una de les joies de Microsoft Fabric.

Què conté Gold

• Models dimensionals optimitzats per a consulta
• Semàntica de negoci aplicada (no IDs tècnics, sinó noms comprensibles)
• Dades agregades o precalculades on té sentit
• Taules específiques per domini (gold_ventas, gold_finanzas, gold_rrhh)

---

Els 4 errors més comuns en implementar Medallion

En els que has caigut tu, en els que hem caigut totes en algun moment.

1. Fer transformacions a Bronze

Aquest l’he vist en un munt de projectes. I sempre és la mateixa història: algú volia «estalviar-se un pas». Però no se l’estalviava, el multiplicava per deu quan alguna cosa fallava tres mesos després i no hi havia manera de tornar a la dada original. Bronze és sagrat. Resisteix la temptació.

2. Ficar lògica de negoci a Silver

Silver estandarditza, no decideix. Si un camp té dues definicions possibles segons el departament, i sempre en té, això va a Gold o a la capa semàntica de Power BI. Si fiques aquesta discussió a Silver, estàs triant bàndol en una guerra que no et toca.

3. Crear una sola capa Gold per a tota l’empresa

Un Gold monolític que intenta servir Vendes, Finances, RRHH i Operacions alhora acaba semblant un Frankenstein que no serveix ningú. El més pràctic són els Gold domains: gold_ventas, gold_finanzas, gold_operaciones. Cada equip té el seu Gold, i tots comparteixen el mateix Silver.

4. No versionar les dades de Bronze

Particiona sempre per data d’ingesta. D’aquí a 6 mesos t’alegraràs d’haver-ho fet. D’aquí a 12 mesos faràs que algú que estava a punt de cometre aquest error llegeixi això.

---

Quan NO fer servir Medallion Architecture (sí, aquest moment existeix)

Tot l’anterior assumeix que Medallion és la resposta correcta. I la majoria de les vegades ho és. Però hi ha escenaris on implementar-la és matar mosques a canonades, i convé reconèixer-los abans de començar a crear Lakehouses i Workspaces a tort i a dret.

Quan el volum de dades és petit i estable.
Si la teva empresa té tres orígens de dades, dos analistes i un Power BI que ja funciona, afegir tres capes de Lakehouse no et dona estructura, et dona burocràcia. Medallion brilla quan hi ha complexitat: múltiples fonts, múltiples consumidors, múltiples equips. Si encara no tens això, un Dataflow Gen2 ben fet i una semàntica de Power BI neta poden ser suficients.

Quan necessites resultats en dies, no en setmanes.
Medallion és una inversió a mitjà termini. Si tens un projecte amb lliurament en dues setmanes i el client vol veure números, no és el moment de dissenyar una arquitectura de tres capes. Fes l’anàlisi exploratòria, lliura valor ràpid, i deixa l’arquitectura per a la fase de consolidació.

És el que va fer en Ted: primer va conèixer els jugadors i se’n va guanyar la confiança. No va començar el primer dia dibuixant un 4–3–3 a la pissarra. Medallion no és el primer que es munta; és el que aguanta quan el projecte creix.

Quan les dades no es tornaran a fer servir.
El veritable ROI de Silver és que múltiples casos d’ús consumeixen les mateixes taules netes. Si estàs construint un pipeline d’un sol ús per a una migració, una anàlisi puntual o un informe que es farà servir una vegada i mai més, l’overhead de l’arquitectura no s’amortitza. Construeix el mínim necessari i documenta-ho bé. Ja està.

Quan l’equip no té capacitat de mantenir-la.
Una arquitectura Medallion mal mantinguda és pitjor que no tenir-ne. Si Bronze comença a acumular fitxers sense particionar, Silver acaba amb taules que ningú no sap qui va crear, i Gold té queries que «més o menys funcionen», has construït el mateix traster de dades d’abans, però amb tres carpetes. Medallion requereix disciplina d’equip. Si aquesta disciplina encara no existeix, primer cal crear-la i després escalar l’arquitectura.

La regla pràctica: si no pots respondre amb claredat qui consumirà Silver i per a què, probablement encara no necessites Medallion. Comença més petit i escala quan el dolor ho justifiqui. L’arquitectura perfecta que ningú no manté val exactament el mateix que l’Excel dels dilluns.

---

Conclusió

El fitxatge original, amb els seus defectes i el seu potencial, és el punt de partida. A Microsoft Fabric tens els Lakehouses, els Notebooks, els Dataflows i el Direct Lake de Power BI dissenyats per funcionar exactament així, capa a capa.

Com diria en Ted: «Be curious, not judgmental.» I això s’aplica tant a les dades com a les persones que hi treballen. ⚽

---

Estàs implementant Medallion Architecture a Microsoft Fabric? Explica’m als comentaris quines decisions de disseny et van resultar més difícils. Els casos reals són dels que més s’aprèn. BELIEVE.