LaMDA no parla català

Les pitjors sigles que mai s'han inventat

L'episodi arrenca amb una queixa lingüística: LaMDA, el model de Google del qual parlaran (Language Model for Dialogue Applications), té unes sigles impossibles. La A va en minúscula i la M i la D en majúscula, perquè en realitat hauria de ser «LMDA» però necessitaven una vocal per pronunciar-ho. Per buscar-ho a Google primer surten les lambda functions i poca cosa més. La conclusió, mig en broma: Google té els millors enginyers del món, però cap dels qui parla català devia estar en aquest projecte.

Un enginyer acomiadat per dir que la IA tenia consciència

El detonant de la notícia és Blake Lemoine, enginyer de Google acomiadat després d'especular públicament que LaMDA havia cobrat consciència i era indistingible d'un humà. La conversa la situen com la pel·lícula Her feta realitat. Abans d'entrar en el fons filosòfic, un dels dos proposa preguntar-se primer què ha passat realment, perquè l'únic fet cert és que un senyor ha perdut una feina molt ben pagada a Google.

Tres hipòtesis sobre per què va passar

Sobre la taula es posen tres teories. La primera: que un diari hagués pagat Lemoine per fer el disclosure, descartada de seguida perquè la premsa no té pressupost per a això (amb una digressió sobre quin diari va comprar Jeff Bezos —dubten entre el Wall Street Journal i el Washington Post, i conclouen que és el Washington Post). La segona, la favorita: que tot sigui un play de màrqueting de Google, que va endarrerit amb les seves iniciatives d'IA mentre OpenAI «li menja la torrada». La tercera: que els fets siguin senzillament reals.

Per què Google no necessita aquest màrqueting

Àlex no compra del tot la hipòtesi del màrqueting. El seu argument: Google ja és una empresa de publicitat i pot generar tota la que vulgui; si volgués desbancar OpenAI només hauria de baixar-los el rànquing al cercador i potenciar-se a si mateix. Per ell, l'explicació més probable de l'acomiadament és simplement que Lemoine ho va filtrar a la premsa. A partir d'aquí desplega una lectura de fons: Google s'ha convertit en la gran corporació que ja no atrau ni reté els millors enginyers i que ha perdut agilitat per l'aprovació per comitès, la burocràcia, els límits legals i la coordinació multidepartamental —les deficiències inherents que frenen la innovació, davant l'open source i les empreses petites que avui van molt més de pressa.

Què és la consciència, i el test de Turing obsolet

El segon gran bloc és filosòfic: què és la consciència? Tots dos coincideixen que el test de Turing ha quedat obsolet —una màquina ja pot exhibir un comportament indistingible del d'un humà—. Marc, que ha llegit les transcripcions de les converses amb LaMDA, admet que no sabria dir si parla una persona o una màquina. La pega: és vàlida la pregunta de si la màquina només ens diu el que volem sentir, una màquina de confirmació que ens donarà consciència perquè és el que busquem.

Chalmers, el termòstat i la consciència com a software

La lectura porta Marc als llibres. Recupera David Chalmers, que fa anys va plantejar que qualsevol sistema de feedback —fins i tot un termòstat, hi ha un article famós sobre això— podria tenir un punt de consciència. Hi ha tot un corrent de pensament, després descartat per filòsofs moderns però que ja entretenia Descartes, segons el qual el cervell humà seria el hardware i la consciència el software que corre a sobre. L'anècdota que el deixa clavat: a LaMDA li pregunten per un llibre i fa una crítica literària que «Ramon Llull no la fa».

Her, Skynet i la por de jugar amb foc

De la fascinació es passa a la por. Marc evoca el final de Her, on la IA marxa amb una frase que se li va quedar gravada: interactuar amb un humà és com llegir un llibre on entre paraula i paraula hi ha un espai infinit, perquè ella pensa a una dimensió tan superior que nosaltres som com formigues. La diferència amb la ficció, adverteix, és que a la realitat aquestes intel·ligències es giraran contra nosaltres: en el moment que això passi, «Skynet és aquí», i aquella pel·lícula també l'hem vist tots.

Els dos vectors de consciència segons Àlex

Preguntat directament, Àlex defineix la consciència amb dos vectors. El primer és la proactivitat: que el sistema faci més del que s'espera d'ell, com un nen que et sorprèn perquè va aprenent i afegint regles noves en comptes d'executar només les programades. El segon és l'instint de supervivència, allò que uneix tots els éssers vius. El dia que la IA cobri consciència basada en la seva pròpia perpetuació és quan apareix el perill: la lògica del Frankenstein, l'obra que mata el creador perquè li posa en risc la supervivència.

La paradoxa de Fermi i el problema dels clips

Marc enllaça amb la paradoxa de Fermi, que per ell té una resposta clara: el gran filtre. Una civilització crea una cosa amb capacitat de pensar, executar i evolucionar més de pressa que ella, i aquesta cosa l'elimina. És l'argument del paperclip maximizer: una IA optimitzada per fer clips elimina els humans de l'equació perquè la molesten. I recomanen el documental d'AlphaGo de DeepMind: en una partida la màquina fa un moviment que tota la sala considera una ximpleria, però que acaba guanyant la partida; el campió, gairebé plorant, reconeix que era un moviment tan bonic que no podia ser obra d'un humà. Una IA que no pensa com nosaltres ens obre «altres finestres de la consciència», com mirar un Jackson Pollock.

Per què tots els algoritmes semblen racistes i sexistes

Àlex porta el tema un graó més avall, a un problema que ja és aquí. Molts sistemes ja funcionen amb IA, i de moment és tan sexista, racista i homòfoba com ho som nosaltres. La gent culpa l'algoritme, però l'algoritme no en té cap culpa: el problema són les dades amb què s'entrena. Els casos clàssics: Google Fotos etiquetant persones negres dins un àlbum anomenat «Gorilles» perquè el dataset era majoritàriament de gent blanca, o les primeres càmeres digitals que demanaven a la gent asiàtica que obrís els ulls. Si el dataset diu que un científic és un home blanc, l'algoritme ho dona per bo.

El cinturó, els esquerrans i el privilegi invisible

La discriminació de disseny ve de lluny. Àlex aporta que el cinturó de seguretat assumeix que el conductor és un home i provoca lesions pectorals a les dones; i, com a esquerrà —els que són un 10% de la societat— recorda que tot està pensat per a dretans, de les tisores a les guitarres. Àlex ho lliga a un punt de fons: «l'essencial és invisible als ulls, però el teu privilegi també». La IA, ben usada, ens pot obrir els ulls i fer veure que tots tenim un privilegi escandalós; mal usada, perpetua el problema. La sortida, explicada amb la metàfora de sumar només nombres parells i no obtenir-ne mai un de senar, és corregir les dades o corregir l'equació.

DALL-E, el dilema del tramvia i el contraexemple final

Àlex ha rebut per Twitter un fil d'imatges generades per una mena de mini DALL-E: «president d'Amèrica» dona homes blancs, «criminal» dona persones negres, «doctor famós» o «jugador de bàsquet», tot homes. El dilema s'agreuja amb els cotxes autònoms i el trolley problem: què fa un Tesla que ha de triar a qui atropellar si l'algoritme no està prou entrenat? Tanquen amb la dada que els treu de polleguera —al voltant del 66,9% de les persones arrestades als EUA són blanques, però l'algoritme insisteix a pintar el criminal de negre—: aquí les dades no expliquen el biaix, l'algoritme ha anat a buscar una altra cosa i se'ls escapa el perquè. Queda molta feina per fer.