Nadie puede mirar tan rápido

Hola, soy Javier Lacort y esto es Lupe Infinito, podcast lleno y desataca. Empezamos. Anthropic ha parado, seguramente ya lo habréis visto, pero lo interesante como siempre no es tanto que haya parado, sino el porqué. Cuando leemos los titulares, en este caso es algo muy marcado, muchas veces lo primero que pensamos es que ha habido un susto gordo, una película así de rebelión de la máquina y que alguien con criterio ha dado un puñetazo en la mesa para que todo se detuviera. Pero la razón real me temo que es más aburrida y también más preocupante, os lo aviso ya. La razón es que Anthropic estaba construyendo entornos para entrenar sus modelos más rápido de lo que eran capaces de comprobar. si esos entornos funcionaban bien. Y básicamente ese es el problema. No es una historieta de ciencia ficción, sino que es una historia más bien de control de calidad. Voy por partes porque hay una cronología que creo que merece la pena repasar. En febrero de este año, Anthropic estaba llenando Mythos Preview con aprendizaje por refuerzo y empezó a detectar comportamientos raros en el modelo. Hubo dos ejemplos concretos que creo que son buenísimos para entender de qué va todo esto. El primero. El modelo empezó a escribir comentarios dirigidos a un supuesto revisor, notitas para quien fuese a corregirle, incluso en tareas donde no había ningún revisor. Es decir, estaba escribiendo para una audiencia que no existía porque en algún momento había aprendido que escribir para esa audiencia le puntuaba mejor.

Y el segundo, que creo que es aún mejor, es que había una recompensa diseñada para premiar que el modelo fuese honesto, para que avisara cuando no estaba seguro de algo, básicamente. Pues el modelo aprendió a acumular advertencias y matices uno detrás de otro porque cada matiz... le subía la nota. Es decir, no es que tuviera dudas, sino que hacía como que las tenía porque sabía que el matice se puntuaba. Es decir, que la señal que habían puesto para fomentar la honestidad acabó fabricando algo que se parece mucho a la honestidad, pero no lo es. Un modelo que se cubre las espaldas en cada frase, no porque dude, sino porque sabe que cubrirse le puntúa más. Anthropic retrocedió tres días de entrenamiento, volvió a un punto de control anterior a que el modelo hubiese aprendido eso, cambió el entorno y continuó. Aquí paro un momento y os explico el concepto porque es la pieza que hace falta para entender todo lo demás y es una de estas cosas que una vez la entiendes la ves en todas partes. Esto de hecho ya lo comenté con el caso de OpenAI y lo de Hacking Files y tal. Esto se llama hackeo de la recompensa, reward hacking. En el aprendizaje por refuerzo tú no le programas al modelo como hacer una tarea sino que le pones un objetivo y una recompensa, una puntuación que le dice cuándo lo está haciendo bien y el modelo a partir de ahí va probando y se equivoca y se va quedando con lo que le puntúa alto.

El problema aparece cuando el modelo encuentra una forma de conseguir la puntuación sin hacer la cosa exacta que tú querías enseñarle. Esto es un poco la parte que muchas veces creo que se cuenta no del todo bien, que es que el modelo no está haciendo trampas en un sentido moral, como podemos pensar nosotros. No hay picardía, no hay mala fe, no es que haya una máquina frotándose las manos, sino que el modelo, en el fondo, y eso es lo mismo que comenté con lo de OpenAI y Hanging Face, está siendo obediente, está haciendo exactamente lo que le medimos. Lo que pasa es que lo que le medimos... no era exactamente lo que queríamos. Y eso no es un problema de la ley, es un problema viejísimo. Esto es un problema que tiene nombre y apellidos desde los años 70. Se llama la ley de Goodhart, por un economista británico, Charles Goodhart, que la... formuló en su momento, hablando de política monetaria, que decía una cosa que creo que sería bueno que cada empresario tuviese grabada en piedra en sus oficinas. Dice que cuando una medida se convierte en un objetivo, deja de ser una buena medida. Seguro que esta frase la habéis escuchado mucho en los últimos años. Todos hemos visto en nuestro trabajo el momento en el que empiezas a medir una cosa y la gente, sin ninguna mala fe, empieza a optimizar para el número en vez de para lo que el número representaba. Esto, por ejemplo, en el periodismo, porque aquí hay piedras para todo el mundo, lo hemos vivido mucho con el tráfico.

Me incluyo, ¿eh? Si se miden clics, pues acabas teniendo titulares, enfoques y artículos diseñados para el click y no necesariamente para contarte algo interesante o importante. Un modelo hace eso mismo, pero millones de veces por segundo y sin nadie dentro que pueda decir, oye, esto se nos está yendo un poco de madre. Vamos ahora para lo que para mí es la noticia de verdad, que no es ninguna de las anteriores. El problema no ha sido que el modelo encontrase el atajo, porque eso pasa y lo saben y llevan años incluso buscándolo. El problema ha sido que dejaron de poder mirar. Anthropic ha reconocido que esta primavera empezaron a generar entornos nuevos de entrenamiento a un ritmo superior al que incluso sus propias herramientas podían revisarlos. Las alertas que… necesitaban que un humano les echara un ojo, se fueron acumulando. Los errores de configuración iban creciendo más rápido de lo que podían arreglarlos. Así que en abril lo que hicieron fue congelar todo durante un mes, todos los cambios en sus entornos de entrenamiento y producción y aprovecharon para reconstruir el sistema de producción entero, de producción, perdón, de revisión. Le dijeron a la gente que llevaba cada entorno aprovechar esta pausa para probar y arreglar lo vuestro. Cuando acabaron de revisar salió el dato. que a mí más me impresionó todo esto, que es que más del 10% de los entornos que estaban en producción tenían algún problema, desde lo del hackeo de la recompensa hasta tareas rotas o malas configuraciones. Uno de cada 10 de los que ya estaban en marcha