NTN 552 - ➗ Matemáticas, modelos y millones

Buenas, buenas, bienvenidos a otro episodio de No Tiene Nombre, podcast donde hablamos de inteligencia artificial y hoy vamos a hacer un repaso rápido de 4 o 5 noticias que son bastante interesantes, pero como siempre vamos a tirar para atrás, esta vez hasta julio del 45, desierto de Nuevo México, los tipos del proyecto Manhattan hicieron explotar la primera bomba atómica en la prueba Trinity, Oppenheimer se quedó mirando el hongo como wow, esto es impresionante. Hasta ese momento habían gastado el equivalente de una fortuna impresionante, todo escondido bajo mil capas de secreto militar, y creían... que lo más valioso que tenían eran los planos y la fórmula para hacer la bomba atómica. Y ojo, ahí está la trampa de toda la historia, porque el secreto de verdad nunca, nunca fueron los planos. El secreto fue una sola cosa, es que la cosa, la bomba funcionaba. Ese fue el dato. ¿Y qué pasó? La Unión Soviética, que venía muy atrás, hizo detonar su propia bomba, la Joe Wan, en el 49. Cuatro añitos. Estados Unidos tardó años y una guerra mundial en inventarla, los sobriéticos tardaron cuatro en reproducirla. Hubo espionaje, acá están las historias del famoso Claude Fuchs, etc. Pero el atajo más grande no fue el papelito robado, fue saber que sí se podía, saber que era posible.

Cuando vos ya sabés que algo se puede hacer... No sé, ya cruzaste el 80% del río. Así que bueno, guardate esta idea en el bolsillo porque hoy vamos a hablar de lo que pasó en la última semana y es muy parecido. OpenAI hizo su propia bomba, en este caso fue una cosa de matemáticas, con un modelo que no salió a la calle y antes que se disipara el humo apareció otro modelo que ya es público y que reprodujo la mitad de esto. Todo esto en 24 horas. 24 horas. Con un prompt genérico y sin internet. La secreta, la receta, en realidad seguía guardada abajo, pero no le importó a nadie. Así que bueno, empecemos por ahí, por el tema de OpenAI. ¿Por qué? Porque la gente de OpenAI agarró una versión interna de su próximo gran modelo, el LM, que estaba bautizado como Astra, y lo mandó a pelearse con 10 problemas de matemáticas y problemas de ciencia de la computación que no se movían de hacía por lo menos una década. Y lo resolvió a los días. Publicaron un paper largo, que es largo como un testamento, yo tengo que admitir que no me lo leí todo. Mi amigo Alberto tal vez sí, porque le gusta leer esas cosas. Y bueno, está todo en un repo del link 4 que se llama OpenAI barra 10proof y tienen un PDF hasta donde el modelo reconstruye cómo fue armando la prueba.

Uno de los resultados, dicho en fácil, en criollo, resuelve una pregunta abierta de la teoría de grupos que es la existencia de grupos no sóficos. Parece que esto es algo que a los matemáticos les venía haciendo ruido hace rato. Y aquí viene el número, el número que a OPEN le encanta. Dicen que gastaron menos de 2.000 dólares por problema teniendo en cuenta precio de token de GPT-56. Esto es como una ganga, esto es un ofertón. Descubrir matemática nueva por menos de lo que sale un buen monitor, pero ojo, el número tiene truco y ya te lo cuento. ¿Qué pasa? Porque aquí es donde aparece nuestro Joe One. Vino un matemático de Antropic, que se llama Levent Alpog, agarró la versión pública de Klaus Fable, Fable 5, y con un prompt genérico, sin internet, y dejándolo de trabajar solo, reprodujo alrededor de la mitad de estos resultados, en un día. Ojo, lo repito, Astra sigue encerrado en la caja fuerte de OPNA y no sabemos qué va a hacer, nadie afuera lo puede correr y aún así la mitad del milagro lo replicaron desde casa con un modelo que cualquiera puede usar, cualquiera que tenga la billetera suficientemente amplia.

Acá viene el amigo Gary Marcus, que dijo, mira, impresionante, pero enormemente sobrevendido. ¿Por qué? Ojo, a Marcus no se lo puede acusar de que aplauda a la AI, es súper crítico. Él hizo el aplauso y la advertencia en el mismo movimiento. Dice, la matemática tiene una ventaja hermosa que el mundo real no te regala. En matemática hay respuesta correcta o incorrecta, feedback instantáneo y práctica sintética infinita. No, hay otros modelos, como por ejemplo el cáncer, la estrategia, la declaración de impuestos, donde no es tan así. Entonces que un modelo rompa problemas de matemática no prueba que razone sobre todo lo demás. Es un salto real, pero es un salto en una cancha donde el árbitro es una computadora. Y ojo, sí es cierto que OpenAI publicó el paper, las pruebas están en Lean 4, de nuevo el repositorio es público, el PDF de reconstrucción, bueno. la réplica de Levet al Pog con Cloud5, la reportó Simon Willison, The Rounddown, todo esto es cierto. Pero cuando lees la letra chica, te das lo siguiente, que te das cuenta de lo siguiente. Los 2.000 dólares son el costo de los runs, de las corridas que salieron bien, pero no de todas las que probaron. Es el costo de publicar, no de descubrir. Y acá no sabemos si funcionó la primera o funcionó a la vez número 1 millón, donde los 2.000 dólares te van a...