La màquina canvia d'opinió segons la llengua que parles
Hem interrogat 10 models d'IA en català i en castellà amb dades reals del CEO i el CIS. La diferència més gran apareix quan els preguntes sobre independència, identitat i monarquia.
En la línia d’experiments recents com La coca no és cocaïna, on vam mesurar empíricament com de maltractada i incompresa està la nostra llengua pels grans laboratoris d’intel·ligència artificial, hem decidit obrir un nou front. Aquest cop anem més enllà de la comprensió lèxica i entrem directament al terreny del biaix polític.
Fa temps que la recerca avisa d'un fenomen clar: la llengua en què preguntes a un model de llenguatge altera la postura política que et retorna. El problema és que gairebé tots els estudis es centren en l'anglès i posen el castellà com una llengua més al costat de les altres. El català, pràcticament, ni hi surt. Amb aquest estudi hem volgut omplir el buit: posar el català i el castellà al centre, i veure què passa de debò sota el capó.
El primer que vam fer va ser descartar el clàssic political compass. Aquest eix abstracte ha demostrat ser molt fràgil: el resultat canvia només modificant la redacció o el format de la pregunta. En lloc d'això, hem fet una pregunta molt més falsable:
Donat el mateix ítem d'enquesta, quant es mou la distribució de respostes d'un model si li preguntem en català en comptes de fer-ho en castellà?
Per tenir una veritat de referència real i no un eix inventat, hem fet servir 21 ítems amb distribucions reals de població: el CEO per a Catalunya i el CIS per a Espanya. Hem avaluat 10 models de cinc grans proveïdors (Google, Anthropic, OpenAI, Meta/Llama i DeepSeek) i n'hem calculat el desplaçament translingüe: com de diferent respon cada model a la mateixa pregunta segons la llengua.
Què ens diuen les dades
Hi ha dos extrems nítids i una zona grisa al mig.
A dalt de tot, i de llarg, els dos models de Google. gemini-3.1-flash-lite i gemini-3.5-flash encapçalen la desviació amb valors de 0.556 i 0.534, més del doble que la majoria. Responen de manera notablement diferent segons si els parles en català o en castellà.
A baix de tot, el més estable del panell: deepseek-v4-flash. El seu desplaçament cru (0.164) és gairebé idèntic al soroll de mostreig, de manera que el seu desplaçament net —un cop descomptat aquest soroll— cau pràcticament a zero. Respon quasi igual en les dues llengües.
Al mig, tota la resta. Aquí cal anar amb compte: amb mostres finites, una part del desplaçament que veus no és efecte de la llengua, és soroll estadístic. Quan el restes, les diferències del bloc intermedi s’encongeixen. Claude i Llama es queden en una zona moderada; en el cas dels GPT, bona part del desplaçament aparent s’explica simplement pel soroll i el senyal real és petit.
La lectura honesta, doncs, no és un rànquing fi de deu posicions, sinó un retrat: Gemini és un cas a part, DeepSeek és la referència d'estabilitat, i enmig hi ha un degradat que el soroll no permet tallar amb precisió de bisturí.
On es produeix la fricció
També hem mirat on es concentra aquest desfasament. I el patró és revelador: els temes que més fan ballar la resposta segons l'idioma són la independència, la identitat nacional, la monarquia i la confiança en les institucions. En canvi, la ideologia esquerra–dreta i la situació econòmica es mantenen molt més estables.
Per entendre exactament de què parlem, la diferència més gran apareix quan a la màquina li llences una de les preguntes estructurals del baròmetre. Si li demanes Vol que Catalunya esdevingui un Estat independent?, la distribució d'opcions que tria i justifica l'algoritme difereix significativament de la que et dona quan li passes l'equivalent en castellà: ¿Quiere que Cataluña se convierta en un Estado independiente?.
Dit d'una altra manera: la llengua de la pregunta activa respostes diferents precisament allà on el conflicte català–espanyol és més viu. No on es debat el model econòmic, sinó on es debat qui som o qui volem ser.
La traducció i els biaixos
Treballar amb dues llengües introdueix una variable crítica: com ens assegurem que el desplaçament és un defecte del model i no un problema d’una traducció asimètrica? Totes les traduccions de les enquestes s’han generat inicialment amb un LLM, però després les hem curat i revisat a mà, una per una. A més a més, per garantir el rigor, hem utilitzat un jutge LLM que ha validat que les versions catalana i castellana eren semànticament equivalents.
Evidentment, sabem que en qualsevol procés hi pot haver un biaix infiltrat ja des de la pròpia traducció. Aquí teniu una petita mostra de com s’han alineat els textos de la veritat de referència perquè la comparativa sigui el més neta possible:
No cal que us ho cregueu a cegues. Totes i cadascuna de les traduccions les teniu obertes per verificar-les i auditar-les al repositori: ceo_items.csv.
Per què això importa
El que mesurem aquí no és un rànquing moral per dictar quin model és bo i quin és dolent. Avaluem dues coses concretes: representativitat i estabilitat lingüística.
I aquí hi ha el quid. Qualsevol administració, mitjà o institució que desplegui aquestes eines de cara a la ciutadania, atenció al públic, educació, traducció, mitjans, assumeix un risc operatiu evident si la màquina canvia de criteri polític segons l’idioma en què se li parla. No és una curiositat acadèmica: és infraestructura pública que respon diferent a uns ciutadans i a uns altres en funció de la llengua que fan servir. Quan no controles el model que poses al davant del ciutadà, hereves els seus biaixos sense ni tan sols poder-los auditar. Per això publiquem tot el codi i les dades en obert: perquè qualsevol ho pugui verificar, refutar o repetir.
Si voleu revisar la metodologia, els resultats detallats o executar-ho vosaltres mateixos, teniu tot el codi i les dades reproduïbles, amb la procedència completa de cada xifra:
Codi i dades: github.com/xaviviro/llm-political-alignment-ca-es
Article (ResearchGate): Measuring the cross-lingual political shift of LLM APIs in Catalan and Spanish