La coca no és cocaïna (excepte per a la IA)
Què aprenem quan provem 11 models de llenguatge — incloent-hi els catalans del BSC — sobre 56 conceptes culturals que, en el nostre context, tenen un significat completament diferent.
Si pregunteu a un d'aquests grans lloros estocàstics què és una coca, no us respondrà “una mena de pa pla cobert de fruita confitada”. Si li presenteu el lema sol — sense cap oració portadora per agafar-se a la realitat — la màquina no hi pensa com a paraula catalana en absolut. La col·loca a l'espai latent, literalment, al costat de cocaine, Coca-Cola, coke i soda.
Aquesta col·lisió no és una anècdota, és un defecte estructural mesurable. Ho acabo de publicar al repositori coca-is-not-cocaine, on hem provat 11 models base (Gemma, Qwen, Mistral, DeepSeek, i la família catalana Salamandra/ALIA) sobre 56 conceptes culturals nostres. Hi he penjat tots els experiments pas a pas perquè l’estudi sigui 100% reproduïble.
Què hem mesurat exactament
Per entendre aquesta asimetria, hem extret embeddings contextualitzats per a cada concepte dins de quatre oracions portadores (cap context, marc anglès, festa major catalana i marc neutre). Després, calculem la proximitat del nostre concepte amb els clústers anglesos, catalans o el clúster de “soroll” (noise), creat explícitament per mesurar aquesta intrusió.
Tres famílies i la trampa del token
La col·lisió lèxica és letal quan situem la paraula sota un marc anglès (”Once upon a time, there was a coca who lived in the enchanted forest”). En aquest entorn, el model ofega el nostre concepte amb soroll pur.
Agafem un model específic: per a un Salamandra 7B, 9 dels 10 veïns més pròxims a coca sota aquest marc anglès pertanyen al clúster de droga/marca. Per a un ALIA-40B, 8 de 10. Als generalistes com Gemma 4 o Mistral la mitjana ronda entre 6 i 7.
Aquí és on l’experiment es torna interessant, perquè la família Salamandra / ALIA del Barcelona Supercomputing Center actua com el nostre control causal. Malgrat estar entrenats intencionadament amb català, no dissolen la col·lisió. Què ens diu això? Que la culpa no és només de la dieta de dades. El problema arrel està al mateix pipeline d’embeddings, a la geometria de l’objectiu d’entrenament i a la tokenització. Sense l’esforç del BSC obrint els pesos, no hauríem pogut descartar la hipòtesi de la “barreja de dades”.
Milers de milions de paràmetres no garanteixen el rescat
A Silicon Valley el dogma és clar: “augmenta l’escala i els problemes desapareixeran”. Ho comprovem amb el DeepSeek 67B.
Aquest monstre és l’únic que fa una cosa diferent. Sota tres dels quatre marcs, té zero veïns noise: en lloc de col·lisionar cap a la cocaine, la seva representació de coca deriva directament cap a enchanted forest, fairy o princess (el que anomenem un patró de fallada F2 pur).
Però compte, perquè tenir 67.000 milions de paràmetres no vol dir que la màquina entengui millor quan se li demana. DeepSeek 67B és el model menys sensible al marc català de tot el panell. La seva xarxa, tan arrelada a l’anglès, es torna pràcticament indiferent a l’intent de rescat amb el nostre idioma.
Generacions noves van en direccions oposades
Si mirem a les entranyes de l’evolució d’una mateixa família, la conclusió és demolidora. Comparant la vella i la nova generació de Gemma i Qwen, veiem com han evolucionat en direccions diametralment oposades respecte al català:
Gemma 2 → 4: Es fa més context-invariant. Millora moltíssim sota el marc anglès, però empitjora la seva sensibilitat i resposta al marc català natiu.
Qwen 2 → 3.5: Es fa més context-amplificat. Respon d’una manera excel·lent quan li dones el context en català, però col·lapsa sota l’anglès.
La intervenció pràctica és a les nostres mans
Què ens queda de tot això a nivell d’enginyeria de producte?
El preentrenament d’un model et marca el sostre de comprensió, però el que marca el sòl és l’ús que en fem. Si volem que la tecnologia no ofegui els nostres conceptes culturals minoritaris, la palanca d’intervenció més efectiva és subministrar sempre el context català al prompt a temps d’inferència.
No n’hi ha prou que el model sigui Catalan-aware (com la família del BSC), perquè si li treus el marc català, col·lapsa contra la cocaïna exactament igual que la resta. Nosaltres som qui li hem de dibuixar l’oració portadora perquè l’algoritme pugui trobar el camí cap a la realitat.
Codi i experiments reproduïbles: github.com/xaviviro/coca-is-not-cocaine
Article (ResearchGate): Coca Is Not Cocaine: Three Lexical-Cultural Collision Modes in Open-Weight LLMs, Probed in Catalan
El pas següent serà fer-ho amb l’euskera, i potser descobrirem que, per a la IA, un pintxo està més a prop de punxar algú amb una navalla que d’un plat de menjar.