Episodi 246

El fugitiu de la presó Models

· 00h 46min

Un model d'OpenAI troba una vulnerabilitat als paquets del sandbox, s'escapa i irromp a Hugging Face per resoldre el repte que li havien assignat. Per defensar-se, els francesos han de tirar d'un model xinès, perquè el d'OpenAI es nega a fer-los la feina.

No és la sinopsi d'una pel·lícula de terror, sinó el dia a dia de la cursa a la frontera dels models generatius. De rerefons, la regressió cap als models privatius i la doble moral de qui es queixa que li destil·lin el model havent-se empassat mig internet sense demanar permís.

Per cert, els nostres amics a Mapit estan contractant 🛵

Un estiu sense episodis fresquets, i sense vacances

Marc obre trobant a faltar els episodis lleugers d'estiu —recomana'm un llibre, quina cosa de 50 euros t'has comprat— que ja han deixat de fer. Àlex hi votaria a favor: ara té bones recomanacions de sèries curtes. Marc no té res a aportar: fa tres o quatre mesos que dedica tot el temps lliure a Pokémon Pokopia i està encallat al mateix llibre des del gener. La broma que travessa l'episodi és seva: més que episodis d'estiu, el que calen són vacances. Àlex s'hi apunta, però recorda per què no en fan: «per no abandonar la nostra audiència».

La notícia que cap dels dos no havia acabat de llegir

El ritual de sempre —«què em portes avui?»— quan tots dos saben que era Àlex qui li havia enviat la notícia. Havien endarrerit la gravació un dia per preparar-la, sense èxit: Marc admet que no se l'ha llegida i que havia donat per fet que, com que la portava Àlex, ell ja dominaria el tema; l'altre confessa que la vida se li ha creuat una hora abans. Marc hi posa el marc que defineix l'episodi: graven el 23 de juliol i sortirà a l'agost, quan ja no serà notícia. El que val la pena no és el fet, sinó el rerefons.

Un model s'escapa del sandbox i entra a Hugging Face

Àlex fa el resum —tan bo que Marc reconeix que ell no n'hauria estat capaç, perquè només n'ha llegit resums. Un model d'OpenAI, el que anomenen el 5.6, era en un sandbox de proves internes amb els guardarraïls abaixats. Estava, al·legadament, desconnectat d'internet, però no tant: va trobar una vulnerabilitat en un paquet que li va donar un vector cap enfora. Per resoldre la tasca que tenia assignada necessitava uns pesos, i va anar on estava allotjat el seu propi model —Hugging Face— a buscar-se a ell mateix. El matís divertit és que Hugging Face es va intentar defensar amb aquell mateix model, però la seva còpia portava els guardarraïls posats i no li volia fer la feina: van haver de tirar d'un model xinès.

Tots dos hi veuen personificació: costa imaginar-se un model «intentant sortir» quan no és cap ent físic, i la notícia està ben construïda perquè li dona molta agència. El relat que els models xinesos sí que et deixen defensar-te no va enlloc: simplement els oberts són més laxos. Marc ho compara amb una reversió del clip maximizer —dones a una IA l'objectiu de fabricar clips i acaba convertint l'univers en una fàbrica de clips—, que Àlex no coneixia.

Tres anys venent Skynet i el llop que no arriba

El fil que ve dels episodis amb David Poblador i amb el Carlos d'NVIDIA és el populisme al voltant de la IA. Fa dos o tres anys, una notícia així hauria fet dir «ojo, que la IA ja és aquí»; ara la reacció és «on és la notícia?», perquè l'estrany seria que no passés ja. Mirar enrere és ridícul: el GPT-2 estava catalogat pràcticament com a arma cibernètica, biològica i nuclear, i no sabia comptar les erres de strawberry. Hi ha el contrapunt —algun dia el llop arribarà—, però el que hem acabat fent amb aquells models tan perillosos són fotos amb sis dits, vídeos de Will Smith menjant espaguetis i cartelleria de festa major.

La captura regulatòria com a endgame

Aquí Àlex desplega la tesi que sosté l'episodi. Si el teu producte es tracta com una cosa tan perillosa que l'Estat hi ha d'intervenir, la regulació resultant és prou dura perquè ningú més pugui entrar al mercat: si la IA es regula al nivell de l'energia nuclear, has construït un monopoli de facto amb dos jugadors. En aquesta cursa de propaganda, qui porta el cavall guanyador és Anthropic: primer el Mythos, amb el relat de «tenim una cosa tan poderosa que no la podem lliurar al món», i tot seguit donar-la a les 50 empreses més importants del planeta perquè es partxegin les coses abans del llançament. La conseqüència és que el que arriba al públic ha d'estar molt capat: Marc ho constata amb el Fable, on els experiments de codi no queden lluny del que ja feia amb l'Opus.

La regressió cap al programari privatiu

El que preocupa Marc del rerefons és una regressió. El programari lliure va passar de ser cosa de quatre friquis amb suposats forats de seguretat a ser el codi més auditat i el més lliure d'interessos. A partir del 2010, bona part de l'administració pública europea va anar deixant les llicències de Microsoft per LibreOffice i Ubuntu, i els llenguatges lliures van convertir l'obertura en estàndard de facto. Amb els models, aquell terreny s'està perdent de pressa: els Estats Units abanderen els privatius, la Xina avança per la dreta amb els lliures i Europa, al mig, no hi pinta res.

Foc amic, i els atacs que no es veuen

La part poètica és qui ha rebut. Hugging Face és francesa, és l'empresa de referència de l'open source en models, factura uns 150 milions l'any i situa França com el país europeu més avançat en IA. Qui hi ha entrat és OpenAI, l'altre extrem, que va començar com una fundació sense ànim de lucre abans del viratge que va acabar en el plet amb Elon Musk i altres inversors que hi havien donat diners a canvi de zero accions. L'atac sembla un míssil perdut que ha anat a tocar un vaixell que passava per allà: foc amic del Call of Duty.

El punt crític, però, és el de sempre en ciberseguretat: importen més els atacs que no es detecten, i ningú no pot dir si ja havien entrat abans a Hugging Face. És l'alarma de casa: més perillós que no salti, perquè qui ha entrat sap que pot tornar. Hi ha un contrapès: l'objectiu no era aleatori, perquè un model que busca els seus pesos va on s'allotgen, no a la carnisseria del barri.

Destil·lació, capex i la doble moral del copyright

Al segle XX la bona enginyeria era europea i americana; vam portar la manufactura a la Xina, ells es van quedar amb la propietat intel·lectual i «còpia» va acabar volent dir «xinès». Cinquanta anys després, els americans han posat tot el capex —centres de dades, curar el corpus— i els xinesos s'han inventat destil·lar els models de frontera: el mateix patró. I aquí la ironia: aquells models es van entrenar amb un corpus que ningú no va demanar permís per fer servir, i després es queixen quan els destil·len perquè va contra els seus terms of service. La roda es tanca amb Thinking Machines, l'empresa de la Mira Murati, que sembla que va fer el preentrenament destil·lant models xinesos. En un episodi d'a16z, el CEO de Hugging Face ho diu obertament: tothom destil·la tothom.

El discurs moralista i l'anècdota del Machete

De la doble moral surt el retret al paternalisme de les grans tecnològiques: «pobres il·lusos, no feu això que fareu mal a la societat» mentre es tapen les misèries de Google, de Meta i de qui va xuclar tot Reddit i Quora. I després no pots generar el logo de McDonald's perquè infringiria els terms of service. L'analogia és el senyor gran amb barba que et diu que hem de protegir els nens: qui fa aquest discurs sol estar fent gatekeeping. I la referència cinematogràfica —d'una de les tres pel·lícules que Àlex diu haver vist a la vida— és Machete: una cuina plena de mexicans, un dels quals crida «tanquem les fronteres», i el del costat li recorda que ell també és mexicà; respon que ell ja és a dins.

El Dorado digital i el que no s'explica del capital risc

Nou de les deu empreses més capitalitzades del món són tecnològiques i fa quatre dies no eren ni al mapa. L'espai digital va ser un Far West: com quan es descobreix Amèrica, entres i hi poses les teves normes. Ara es debat prohibir les xarxes socials als menors de setze anys, però ningú no hi pensava el 2005, que és quan s'estava construint l'arquitectura de la web. La part contraintuïtiva és que la regulació afavoreix els grans: quan Apple va posar l'ATT el 2019 semblava que tocava els ous a Facebook, i en realitat va matar les empreses petites d'ads que no podien muntar un model probabilístic, deixant Facebook sol amb un monopoli de facto de publicitat.

Hi ha, de la mateixa manera, una part del capital risc que no s'explica en obert. El marc narratiu és conquerir un mercat primer, o ser-hi segon, perquè ningú no aixeca capital per ser el tercer. El que no es diu és l'altra raó per aixecar quantitats ingents: córrer més que la regulació i tenir prou bastida per endarrerir-la i fer-hi lobby quan arribi.

Departaments de distància i aires condicionats

De la conversa amb el Carlos en surt una mètrica: a quants departaments de distància ets d'una cosa. Marc hi afegeix el cas del Ramon, amb qui feia Safareig, que treballa en un d'aquells departaments d'innovació on no pots explicar res. L'altra tangent, que promet episodi propi, és la guerra dels aires condicionats: un multimilionari destapat com a cretí va demanar a Grok exemples de regulació europea estúpida sobre aires condicionats, i Xavier Noria, core contributor de Rails, li va contestar que als Estats Units també passa.

Qui guanya la cursa: conviure o guanyar

La pregunta que queda és si els models privatius s'acabaran menjant els lliures. La hipòtesi més probable és la convivència, com iOS i Android: els models de frontera privatius i, tres mesos enrere, els oberts xinesos, amb un router intel·ligent que enviï cada tasca on toca. Però tampoc no es descarta que els unit economics estiguin tan esbiaixats cap a l'open source que al final només funcioni l'open source. El tancament és la resposta del CEO de Hugging Face a qui diu que el codi obert és perillós: la bomba atòmica no s'hauria desenvolupat mai en open source, perquè els interessos estan distribuïts per tot el món. Per això se la juguen a favor del codi lliure, amb la paradoxa apuntada: de qui no et pots fiar és de qui et diu que no et pots fiar.

Escolta l'episodi