L'elogi del 'glitch': i si l'al·lucinació fos la creativitat de la màquina?
L'al·lucinació és el preu que paguem per l'originalitat
Vivim obsessionats amb la "veritat" de la intel·ligència artificial. Des de la irrupció de ChatGPT, el discurs públic s'ha centrat en un únic defecte imperdonable: les al·lucinacions. Quan la màquina s'inventa una dada, cita una jurisprudència inexistent o imagina un fet històric, ho etiquetem com un error crític, una patologia que els enginyers hem d'extirpar quirúrgicament mitjançant tècniques de verificació, RAG o l’aprenentatge per reforç [1].
Però, i si estem equivocats? I si l’al·lucinació no és un defecte, sinó l’única raó per la qual aquestes màquines valen la pena?
Si analitzem la termodinàmica (sí, termodinàmica, ho explico més endavant) dels models de llenguatge i els últims avenços en ciència i art, la conclusió és tan radical com necessària: l'al·lucinació i la creativitat són exactament el mateix procés mecànic. L’única diferència entre un “error” i una “idea inèdita” no és al codi, sinó a la nostra mirada.
Els budells de la màquina
Per entendre per què la IA necessita fabricar informació per ser funcionalment creativa, hem de deixar de mirar la superfície i entrar als budells del sistema, concretament cap a un concepte clau que prové de la física: la temperatura.
En física, la distribució de Boltzmann descriu l'estat energètic de les partícules: a baixa temperatura, les partícules tendeixen a ocupar els estats de mínima energia (ordre, cristall), a alta temperatura, l'energia cinètica augmenta i el sistema es torna caòtic i fluid. Els LLM repliquen aquest concepte literalment per a la seva funció Softmax.
Per entendre què fa aquesta funció sense fórmules matemàtiques, imaginem una situació mundana. Suposem que la màquina ha d’acabar la frase: “M’agrada el cafè amb...”
Internament, el model puntua possibles continuacions. Diguem que “llet” rep 10 punts, “gel” en rep 3, i “sal” en rep 1. La funció Softmax converteix aquestes puntuacions en una mena de ruleta de la sort per triar la paraula guanyadora. Aquí és on entra la temperatura:
A baixa temperatura: La funció exagera les diferències. La “llet” passa a ocupar el 99% de la ruleta. La màquina gairebé sempre triarà l’opció òbvia. És l’ordre absolut.
A alta temperatura: La funció suavitza les diferències, com si fongués els resultats. La “llet” potser baixa al 50%, el “gel” puja al 30% i, de sobte, la “sal” obté un 20% d’espai a la ruleta. Ara hi ha risc. Ara, si tirem la bola, pot sortir una combinació estranya però sorprenent.
Quan pugem la temperatura, estem injectant energia al sistema, permetent que el model “salti” cap a opcions semàntiques que, en un estat de fred estadístic, hauria descartat per improbables [2] [3].
Un model de llenguatge extens (LLM) no processa conceptes semàntics; calcula la probabilitat del següent fragment de paraula (token). Quan ajustem la temperatura a 0, el sistema esdevé determinista: selecciona sempre la paraula més probable, el camí més curt, el de menor resistència estadística [4]. El resultat és precís, factual i terriblement avorrit. És la mort de la novetat.
Però quan pugem la temperatura (diguem, a 0.8 o 1.0), introduïm el glitch, el soroll, l’estocasticitat. L’algoritme comença a seleccionar camins menys probables. Deixa de processar el patró estadísticament òptim i comença a explorar l’espai latent de conceptes. En aquest moment, tècnicament, està al·lucinant. S’està desviant del camí marcat.
Si aquesta desviació genera una dada falsa (p. ex. “París és la capital d’Alemanya”), li diem Error.
Si genera una associació poètica inusual (p. ex. “El silenci és una fulla esmolada”), li diem Creativitat.
Mecànicament, el procés és idèntic. Eliminar la capacitat d'al·lucinar equivaldria a limitar la capacitat generativa del model. Com suggereix la neurociència cognitiva, fins i tot el cervell humà necessita un cert nivell de "soroll neuronal" per evitar la rigidesa i permetre l'adaptació [5].
Quan l’error guanya un Nobel
La prova definitiva que el glitch és una eina i no només un defecte la trobem en la ciència més rigorosa.
L’any 2024, David Baker va guanyar el Premi Nobel de Química per la seva tasca pionera en el "disseny computacional de proteïnes". El més fascinant no és només el premi, sinó el mètode. Tot i que el guardó reconeix una trajectòria, una de les tècniques clau que el seu laboratori va perfeccionar es detalla en un article a Nature titulat literalment “De novo protein design by deep network hallucination” (Disseny de proteïnes de novo mitjançant al·lucinació de xarxes profundes).
Baker i el seu equip no van entrenar la IA per recuperar proteïnes existents (això seria memòria). Van entrenar el model perquè al·lucinés estructures que no existeixen a la natura, però que fossin químicament plausibles. La xarxa va generar noves molècules que ara s’estan utilitzant per desenvolupar nous fàrmacs. En aquest context, l’al·lucinació va ser l’única manera d’expandir la frontera del coneixement més enllà del que l’evolució biològica havia produït en milions d’anys [6].
L’estètica del caos
En el món de l’art, creadors com Refik Anadol han abraçat explícitament aquest concepte amb la seva sèrie Machine Hallucinations. Anadol entrena models amb milions d’imatges d’arquitectura o natura i després força el sistema a generar sortides sense restriccions. El resultat són edificis fluids i paisatges abstractes que desafien la geometria euclidiana. Per a un arquitecte tècnic, aquests edificis són “errors estructurals”, per al món de l’art, són la visualització pura de la capacitat generativa de la xarxa neuronal [7].
La màquina de serendipitat
Hem de començar a veure la IA generativa no com una enciclopèdia infal·lible (per això ja tenim la Viquipèdia), sinó com una màquina de serendipitat.
El seu valor real no resideix en retornar la resposta mitjana i correcta que ja tenim a les bases de dades, sinó en connectar vectors de significat que mai hauríem unit. Quan la IA al·lucina que “unes abelles microscòpiques alimenten el processador”, està cometent un error factual, sí, però està generant una imatge poètica potentíssima, una combinatòria creativa, que un escriptor de ciència-ficció podria aprofitar per construir tot un món.
Conclusió: necessitem el soroll
La recerca de la “veritat absoluta” en els LLM és una trampa. Si aconseguim eliminar el 100% de les al·lucinacions, tindrem una base de dades enciclopèdica, incapaç de generar novetat.
El futur de la nostra relació amb la IA passa per aprendre a modular aquest “control de temperatura”: necessitem el mode “Escrivà” (Temperatura 0) per a tasques administratives, i el mode “Generatiu” (Temperatura 1) per a la creativa. L’al·lucinació és el preu de l’originalitat.
Tal com ho va resumir Andrej Karpathy, un dels arquitectes clau de la IA moderna (OpenAI, Tesla), en una frase que ja és història de la tecnologia: en els models generatius, l’al·lucinació no és un bug, és una feature [8].
🔄 Actualització: el contrapunt
Si aquí celebro la potència estètica de l'error, cal explorar-ne també el límit: la màquina al·lucina, però no té intenció. Podeu llegir aquest matís necessari aquí:
La mort de l'autor i l'al·lucinació de la màquina
L'article anterior, on feia un elogi del glitch, em va portar a moltes converses interessants amb gent diversa. Sovint tinc la sensació, i de fet la certesa, que soc un afortunat: estic rodejat de gent molt més sàvia i llegida que jo (no és difícil), persones que sempre m’il·lustren i m’obren portes que jo ni tan sols sabia que existien. Una d’aquestes …
Referències
[1] Jiang, X., et al. (2024). A survey on large language model hallucination via a creativity perspective. arXiv. https://arxiv.org/abs/2402.06647
[2] Holtzman, A., et al. (2020). The curious case of neural text degeneration. ICLR. https://arxiv.org/abs/1904.09751
[3] Peeperkorn, M., & Maex, R. (2024). The Effect of Sampling Temperature on Problem Solving in Large Language Models. arXiv. https://arxiv.org/abs/2402.05201
[4] Lee, J. S. (2023). The Equilibrium between Hallucination and Creativity of GPT. Mathematics. https://www.mdpi.com/2227-7390/11/10/2320
[5] Faisal, A. A., et al. (2008). Noise in the nervous system. Nature Reviews Neuroscience. https://www.nature.com/articles/nrn2258
[6] Anishchenko, I., et al. (2021). De novo protein design by deep network hallucination. Nature. https://www.nature.com/articles/s41586-021-04184-w
[7] Anadol, R. (2022). Unsupervised — Machine Hallucinations. MoMA. https://www.moma.org/calendar/exhibitions/5535
[8] Karpathy, A. (2023). Hallucination is not a bug, it is a feature of LLMs. https://karpathy.ai/