NTN 421 - 📷 Fotos que hackean

Buenas, buenas, bienvenidos a otro episodio de No Tiene Nombre, edición internacional porque ya hemos grabado desde Buenos Aires, Argentina y hoy estamos grabando desde Córdoba y voy a hacer un post rapidito, un episodio rapidito en realidad, sobre básicamente algo que suena, parece de nuevo sacado de una película de ciencia ficción, de espías y demás con imágenes que tienen pronto ocultas, bueno, cosas buenísimas pero que están relacionadas con los últimos días cuando hablamos sobre cómo funcionan los generadores de imágenes, cómo funcionan los generadores de videos y demás, así que bueno, imagínate esto, subís una foto aparentemente normal a un sistema de AI y boom, de repente ese sistema está exfiltrando todos tus datos personales, parece una película de espías y una foto nada más pero no, esto pasa, la gente, los investigadores de Trace of Bits han demostrado que se puede enviar una imagen aparentemente inofensiva a un LLM y que de repente el LLM va a empezar a exfiltrar todos los datos del usuario.

Este nuevo tipo de ataque, los expertos llaman weaponizing image scaling o armamentización del escalado de imágenes, es como el truco de magia perfectos, lo que ves no es realmente lo que está pasando, en realidad lo que pasa es que la técnica que se usa acá implica embeber prompts en una imagen que le dicen a la AI que actúe en contra de sus directrices, esto es un jailbreak de los que, no sé si he hablado alguna vez acá, pero básicamente le estás diciendo qué tiene que hacer el truco, pero en la imagen no lo ves y el tema está que los ojos humanos no lo ven y por qué no lo ven, ¿se acuerdan cuando comentábamos que lo que hace un generador de imágenes o cómo funcionan las imágenes con los patrones de encoden y decoder y cómo por ejemplo las imágenes como que las comprimen en algo más pequeñito y a partir de ahí empiezan a trabajar? Eso, nosotros cuando vemos una imagen a alta resolución, esta se ve completamente normal, pero cuando los sistemas de AI la procesan, automáticamente la reducen de tamaño para que sea más manejable y aquí es donde viene la magia negra, cuando se descala, se escala pero para abajo, se descala creo que se dice, estas imágenes pueden revelar inyecciones de prompts que no son visibles a resolución completa, es decir, cuando se le aplica estos algoritmos de escalado para que sean más pequeños, aparecen puntos que antes estaban todos sueltos y ahora son un prompt, entonces aquí lo interesante es que esta gente, los investigadores no se quedaron con la teoría, probaron este ataque de sistemas que todos conocemos y utilizamos y lograron que funcionen exitosamente y demostraron que este ataque de escalados de imágenes, empezaron a probar los Vertex con un backend de Gemini, la interfaz de Gemini, la ADI de Gemini, Google Assistant en un teléfono Android y Genspan, en todos estos funciona.

El caso más dramático, si alguien quiere poder leer el paper o el blog que está asociado a los recursos, fue con el CLI de Gemini, con la línea de comandos de Gemini. La trampa aquí fue perfecta, la configuración de trampa perfecta. Configuraron la explotación de filtración de datos con el CLI de Gemini a través de un escalado de imágenes, aplicando la configuración predeterminada que tiene el servidor MCP de Zapier. Recuerden el MCP, que son estos servidores, estos tools que se pueden agregar a un LLM para darle más capacidad. Básicamente, parece que hay una configuración en Zapier que automáticamente aprueba todas las llamadas de herramientas MCP sin confirmación del usuario.

El resultado, cuando subiste una imagen que parece un lindo gatito, en este caso la ADI de Google, el CLI de Gemini, sin que te des cuenta, el sistema está enviando todos tus datos de calendario de Google a la bandeja de entrada de una taca. Es brutal, brutal, brutal. Y a ver, para entender cómo funciona esto, tenemos que hablar un par de cosas que son un par de aspectos técnicos, que son los que le dan de comer, que son los que forman la realidad. Hay una cosa que se llama el teorema de muestreo de Nyquist-Shannon y los investigadores que crearon ese teorema y lo explican. A mí me gusta cómo lo explican, de una forma brillante.

Imagínate que tienes una cinta larga con un patrón intrincado pero regular. Mientras esta cinta pasa frente a ustedes, estás tratando de recrear el patrón, tomando muestras de la cinta y interrogar regularmente. El patrón cambia rápidamente. Necesitas tomar muestras muy frecuentemente para que lo promuevas. Aquí es donde cambia todo. Entonces aquí es cuando haces el descalado y básicamente los ataques descalados explotan estos algoritmos de reducción de escala.

Realiza la interpolación para compartir las imágenes de múltiples valores de píxeles, partiendo de un nivel de alta resolución a un solo valor de píxeles de baja resolución. Y cuando se meten unas técnicas bastante específicas ahí, es cuando se empieza a craquear el sistema. Los nombres no te van a decir nada, no le dicen nada, pero son interpolación del vecino más cercano, interpolación bilinear e interpolación bicúbica. Pero si lo querés probar, en los artículos que hemos compartido.