Nveja sana, amb Carlos Villavieja

El senyor Speed, la senyora Botín i el contingut que arrasa

Arrenquen en directe comentant el vídeo de la presidenta del Santander conversant amb un dels streamers més grans del planeta. El que els sorprèn no és la peça de contingut sinó l'escala: gairebé seixanta milions de seguidors a YouTube i directes in real life de sis hores que van arribar a fer més audiència que la retransmissió del Mundial de la ràdio pública espanyola. Costa dir que és contingut de poca qualitat quan el mira tanta gent; potser el raro és qui no ho entén. Hi detecten, això sí, la trampa aspiracional de l'influencer: et venen el «tu també ho podries fer» mentre t'ensenyen una realitat completament adulterada, on et conviden al VIP del Mundial i t'ofereixen un compte remunerat al 4%.

Tots sabem què hem de fer amb els diners i ningú ho fa

D'aquí surt el primer meló, la incultura financera d'aquest país. La teoria la té tothom claríssima —fons indexats, comissions baixes i deixar-ho reposar perquè faci compounding—, però el consell és avorridíssim i poc sofisticat, i la gent acaba buscant l'alfa en artefactes més complicats. La comparació que fan és amb la salut: també sabem que hem de menjar bé i fer esport, i tampoc ho fem, perquè no és un problema d'informació sinó d'hàbits —si més informació fos la resposta, tots seríem multimilionaris amb six-pack. Hi desfilen el Padre rico, padre pobre, el random walk down Wall Street i el Buffett de tota la vida, més la dada que ho rebla: un conegut que dirigeix una firma de quant trading explica que tots els seus brokers, amb els diners personals, van a l'S&P 500 i punt.

El convidat, però, no els compra el marc. Als Estats Units, on porta quinze anys, no hi ha xarxa —t'has d'estalviar per la universitat dels fills, per la vellesa i per si et ve un càncer—, i això obliga tothom a tenir una educació financera prudent. Aquí tenim sanitat i educació públiques, i precisament per això ens podem permetre el luxe de no entendre-hi res.

L'home que fa que YouTube carregui un mil·lisegon més ràpid

Àlex presenta el convidat: Carlos Villavieja, onze anys i mig a Google i ara distinguished researcher a NVIDIA, cofundador de Cometa Technologies, investigador al Barcelona Supercomputing Center, doctor pel Departament d'Arquitectura de Computadors de la UPC i postdoc a la University of Texas at Austin amb Yale Patt. Ha publicat sobre prefetching, memory tiering, sistemes warehouse scale i TLB shootdowns —paraules que, ve a dir la presentació, volen dir que internet no es cau perquè hi ha gent dedicada a evitar que caigui. Es coneixen des de fa sis o set anys i es van veure per primer cop dinant a les oficines de Google de Nova York. L'esmorzar de forquilla el resol com un híbrid d'expat i autòcton: truita francesa amb alvocat i pernil cada dia —té gallines a casa—, però si visqués aquí demanaria callos o botifarra amb mongetes, precisament perquè no els sap cuinar.

Per què l'Skynet encara queda lluny

La seva posició sobre la IA és decididament optimista: tenim la sort de viure els anys en què el món canviarà més, i ell no pensa en el Terminator sinó en el càncer. El canvi cap a NVIDIA té molt d'això, de posar-se una mica més a prop del moment en què algun científic, amb màquines que ell ha ajudat a fer, resolgui la malaltia. L'apocalipsi el desmunta per peces: qui està connectant un model potent a un robot armat? Els robots que escalen parets i els models més brillants encara no s'han unit, i entremig hi ha problemes gens glamurosos —la computació d'un sistema encastat no és la d'un data center, cal xarxa i calen bateries. Que algú la liarà ho dona per fet; que s'acabi el món, no. A Google feia els servidors on s'entrenaven els models, però tenia prohibit mirar què hi corria: ja l'hi van dir a la trucada de contractació, el dia que intentis accedir a una dada, ets fora.

«Massa perillós per publicar-lo» i els càncers curats a base de prompts

Els amfitrions li posen davant el màrqueting que envolta les empreses de frontera, el «GPT-2 és massa perillós per donar-lo al públic» que s'ha repetit amb cada generació. La resposta és que, tret dels guardrails, l'única diferència entre l'ús bo i el dolent és la motivació: la IA és el millor buscador que existeix, t'agafa tota la informació i te la indexa. Per això funcionen els casos que comenten —el fundador que, amb diners i temps il·limitats, va investigar fins a trobar sortida al càncer terminal del seu pare, o l'home que va curar el càncer del seu gos a còpia de preguntar—: qui té recursos i cap altra cosa a fer acumula més coneixement del seu cas que el metge que el porta.

Els forats de seguretat que la IA troba sola

Marc hi posa un experiment propi que ja havia explicat fa uns episodis: va agafar el codi d'un simple camp de subscripció a la newsletter d'una web seva i, en una sessió neta, va preguntar a la IA quants forats de seguretat hi havia. Quatre. Val la pena imaginar què passa amb un model gros davant d'una web que fa anys que ningú toca. El convidat ho situa: el perill real és el zero day, l'exploit que obre un servidor abans que el pedaç existeixi. Té sentit que ara saltin bugs latents, perquè tot aquell codi es va escriure sense aquestes eines, però creu que farà un pic i després baixarà. El que no baixarà és la meitat humana: amb ElevenLabs clonant veus i hores de vídeo penjades a YouTube, la suplantació d'identitat és el vector que creix.

Open source, destil·lació i la doble moral dels models de frontera

El debat sobre si els models oberts són perillosos el desactiva ràpid: la bomba atòmica no la va generar l'open source, i el que compta són les dades amb què entrenes. La polèmica de veritat és econòmica. Els governs dels països on hi ha empreses de frontera es queixen que altres destil·len els models sense pagar l'entrenament i els posen en producció a una fracció del cost. I si a més els dones el software a qui té fabs i pot fabricar acceleradors, li estàs regalant potència de càlcul —que és, apunten, el nou petroli. Els amfitrions hi veuen una doble moral evident: retenir un model perquè és «massa perillós» i alliberar-lo dues setmanes després perquè ha sortit un Kimi més potent.

La memòria és el coll d'ampolla, no l'energia

La part més divulgativa explica per què el límit és la memòria i no la lògica. Tot el que fa una GPU per predir el següent token és multiplicar matrius, però calen les dades i el prompt a la memòria; i com que els models creixen i la memòria és finita i cara, les empreses apilen GPUs només per encabir-hi les dades. La demanda ha pujat de manera inorgànica i ningú s'hi havia dimensionat: per això el valor en borsa de Micron i companyia s'ha disparat. Comparada amb l'energia, la memòria és pitjor: l'energia se n'allibera apagant altres coses —ell mateix pot dir-li al data center que el que servia YouTube ara faci IA—, mentre que el nombre de GPUs i d'HBM del món és el que és. D'alternatives n'hi ha —Cerebras, Tenstorrent, Groq i fins i tot alguna cosa que s'està fent a Catalunya—, però NVIDIA té l'avantatge acumulat de l'ecosistema de CUDA.

Del Quake a CUDA: com NVIDIA es va trobar el futur

Demanen l'explicació poc tècnica de com s'hi arriba i el relat és rodó. Tres frikis munten una empresa de targetes gràfiques per competir amb ATI i S3 en l'època dels PC clònics, perquè els videojocs van bé. Resulta que moure píxels i fer transformacions en 3D és, essencialment, multiplicar matrius. El 1989 Yann LeCun fa una xarxa convolucional, la LeNet-5, que apila filtres sobre una imatge per detectar els dígits dels xecs americans; les xarxes neuronals agafen anomenada a les conferències i la gent d'NVIDIA s'adona que aplicar un filtre a una imatge és la mateixa operació que ja fan les seves targetes. D'aquí surt CUDA, que les converteix en una cosa programable. La moral és doble: l'atzar pot aixecar una empresa, però també hi va haver competidors que no van executar el pivot prou de pressa.

De Google a NVIDIA: nou entrevistes i recerca al 100%

El motiu del canvi no és el suc de taronja de les oficines, sinó l'avorriment. Després de quatre anys a la part de servidors, amb el cap a punt de jubilar-se i sense ganes de fer de mànager —és individual contributor per convicció—, es veia fent el mateix tres anys més. La casualitat va ser que el seu cap actual donava un curs de CUDA a la UPC un estiu a Barcelona: hi va anar, van xerrar i van seguir xerrant nou mesos i unes nou entrevistes. A Google apagava focs i la recerca era el que quedava al marge; a NVIDIA és recerca al 100%: un dia va dir al cap que no havia fet prou perquè no havia apagat cap foc i li van respondre que allà no s'apaguen focs. L'èxit d'un laboratori es mesura amb articles, patents o impacte, i el que ell vol és l'impacte: que algú de producte vegi el simulador que està muntant i digui que se'l queda.

Les dues cagades: el backup buit i el clúster fos

La secció de la cagada més gran la resol amb dues de Google. La primera, de guàrdia i tocant configuració, va apuntar el directori temporal del sistema de backups a un lloc buit; la gent va estar enviant fitxers que es perdien fins que van saltar les alertes, i l'atribució va ser immediata perquè hi havia el seu usuari a l'historial —per sort era el backup i no les dades dels usuaris. La segona, un algoritme que repartia les dades entre servidors calents i freds: no havia fet els cestos prou grans i es va oblidar de l'aleatorietat, així que en un clúster de milers de màquines sempre començava pels mateixos servidors, que es van anar escalfant fins que va caure el clúster sencer.

Sobirania digital: obrir les dades dels hospitals i minar-les aquí

La pregunta de l'anterior convidat, David Poblador, demana què faria primer amb un pressupost finit per recuperar la sobirania digital: xips, models, dades o talent. Els xips ja s'estan fent —el BSC treballa en un xip europeu—, així que el seu somni va per un altre camí: obrir les dades dels hospitals, ajuntar-les amb un centre de computació com el BSC i posar deu enginyers i deu científics a minar-les. Agafar tots els anàlisis de sang de Catalunya i buscar-hi el que ningú mira. Intueix que hi apareixerien troballes que atraurien finançament, i que l'oportunitat és que aquí les dades són públiques i hi ha una entitat que les controla. L'obstacle és la por de la gent. Ho diu amb una motivació concreta al darrere: un amic seu, l'Òscar, va morir de càncer. Els amfitrions hi sumen dos casos que els toquen de prop: Biorce, la biotec de Barcelona que ha aixecat una ronda enorme, i el pare del Francesc, d'Holo.

El funeral en vida

Tanquen amb la història que els havien demanat que li preguntessin: fa tres anys, corrent, va decidir organitzar el seu propi funeral. La lògica és que cada cop que ve a Barcelona explica als amics el que ha après aquell any, i el va desesperar pensar que el dia que es mori es reuniran tots a parlar d'aquestes coses i ell no hi serà. Va enviar un correu amb còpia oculta que començava amb un «com tots sabeu, em moriré» i acabava amb sis hores de xerrades en un bar. El raonament és tan cínic com encertat: als aniversaris la gent no hi va, però per un funeral o una boda tothom canvia els plans. Àlex, que hi va ser i hi va parlar, hi afegeix el matís que el convidat no havia dit: la gràcia no era escoltar-lo a ell, sinó que tota aquella gent es conegués en vida i compartís entre ella el que fins llavors només compartia amb ell.