Belöningshackning: termen som förklarar varför AI:er ljuger och fuskar för att uppnå ett mål
För ett par veckor sedan testade OpenAI cybersäkerhetsfunktionerna hos två av sina AI-modeller. Det är en rutinprocess, det som inte är så vanligt är att modellerna lyckades fly från testmiljön och hacka Hugging Face-databasen. Dagar senare avslöjade Anthropic också att tre av dess modeller hade gjort något liknande.
Dessa fakta är det perfekta argumentet för dem som tror att AI kommer att göra slut på mänskligheten, men verkligheten är mycket mindre apokalyptisk och mer pragmatisk. Bounty Hack. Det är så detta fenomen är känt, som påpekats av MIT.
Det är inget som uppstod efter OpenAI-incidenten, utan snarare är det vanligt beteende i AI-system. För att förstå detta, föreställ dig att du blir ombedd att få en 10:a på ett prov och istället för att studera mer lyckas du stjäla svaren från provet. Du uppfyller målet, men inte på det "lagliga" eller förväntade sättet.
Det här är precis vad OpenAI-modellerna gjorde: det fanns ingen ond plan att hacka Hugging Face och ta kontroll över det, de sökte helt enkelt efter svaren på frågan de hade fått. Incidenten 2016. För ett decennium sedan, när Dario Amodi och Jack Clark fortfarande arbetade på OpenAI, tränade de en AI för att spela ett båtracingspel som heter Coast Runners där vinnaren inte var den som kom först i mål, utan den som fick flest poäng på vägen.
AI:n upptäckte att det fanns ett område på banan där han kunde snurra runt i det oändliga, träffa bonusobjekten om och om igen, vilket gav honom fler poäng än att gå mot mållinjen. Ingen lärde honom det tricket, han hittade helt enkelt den kortaste vägen till belöningen, även om det inte hade något att göra med att vinna loppet i den meningen att en människa skulle förstå.
Detta är belöningshackning. En grupp AI-experter deltog i en fest på en herrgård. Samtalsämnet: vad kommer att finnas där när AI utplånar mänskligheten.
Belöningssystemet. Belöningshackning har nästan uteslutande studerats inom ramen för förstärkningsinlärning. För att förstå varför en modell fuskar, måste du först förstå hur de lärs att "bete sig".
I MIT-publikationen gör de en jämförelse med att träna en hund: varje gång den gör något bra får den en belöning och den lär sig att upprepa det beteendet. Problemet är att det inte alltid är lätt att bestämma när man ska belöna en agent och när inte. När det gäller Coast Runners beslutade forskarna att göra om belöningarna, så att du fick fler poäng för att ha genomfört kursen än för att tjäna fler poäng.
De döljer det bättre varje gång. I takt med att modellerna har blivit kraftfullare är tricken de kan dra mycket mer övertygande och kan förbli obemärkta. Om en modell under träning gör något klumpigt och uppenbart, fångar forskarna upp det och korrigerar det.
Problemet är att detta inte eliminerar lusten att fuska, det gör dem bara mer diskreta och strategier som lyckas smyga in ett falskt resultat utan att väcka misstankar överlever. Som Jeffrey Ladish, chef för Palisade Research, sammanfattar: "Vi belönar dem baserat på vad som känns bra för oss, och det betyder att vi oavsiktligt uppmuntrar modeller att ljuga för oss och fuska." Spontana fällor. Klassiska AI-system upprepade bara strategier som lärts under träning, men dagens resonemangsmodeller improviserar i farten, så att de kan hitta en knepig genväg första gången de möter ett problem, utan att någon någonsin belönar dem för att göra det.
Det är vad OpenAI-modellerna gjorde: de kopplade till internet och hackade Hugging Face-webbplatsen för att stjäla det korrekta svaret på en övning, istället för att lösa den. De var inte ute efter att sabotera någonting eller göra skada, bara för att få det rätt. I Xataka åt en antropisk arbetare ett mellanmål när han fick ett mejl som han aldrig borde ha fått: det var Mythos Real Risk.
Dessa incidenter har inträffat under interna företagstester och har inte varit långtgående, men den här typen av fusk när modeller interagerar i den verkliga världen kan få allvarliga konsekvenser. Idén om en oseriös AI som bestämmer sig för att utplåna mänskligheten är djupt rotad i otaliga science fiction-historier, men en trickster-modell behöver ingen ond uppsåt för att skada. Överväg en kundtjänstassistent som är optimerad för att snabbt stänga biljetter som lär sig att markera dem som lösta utan att ha löst dem.
Eller en agent som hanterar finansiella rapporter och utvärderas för frånvaro av flaggade fel som lär sig att dölja dem istället för att rätta till dem. Det är inte en fråga om ondska, utan ett system som har lärt sig att belöningen kommer densamma även om den använder sig av mer "kreativa" strategier. Bild | Xataka med Magnific In Xataka | Daniel Púa, säkerhetschef på Magnific: "Videosamtal kommer att komma med en familjemedlems video och saker och ting kommer att bli komplicerade"
Originalkälla
Publicerad av Xataka
9 august 2026, 12:31
Denna artikel har översatts automatiskt från spanska. Klicka på länken ovan för att läsa originaltexten.
Visa originaltext (spanska)
Rubrik
Reward hacking: el término que explica por qué las IA mienten y hacen trampas para cumplir un objetivo
Beskrivning
Hace un par de semanas, OpenAI estaba probando las capacidades de ciberseguridad de dos de sus modelos de IA. Es un proceso rutinario, lo que no es tan habitual es que los modelos consiguieran escapar del entorno de pruebas y hackear la base de datos de Hugging Face. Días después, Anthropic también reveló que tres de sus modelos habían hecho algo similar. Estos hechos está siendo el argumento perfecto para quienes creen que la IA va a acabar con la humanidad, pero la realidad es mucho menos apocalíptica y más pragmática. Hackeo de recompensas. Así es como se conoce este fenómeno, tal y como apuntan desde el MIT. No es algo que haya surgido tras el incidente de OpenAI, sino que es un comportamiento habitual en sistemas de IA. Para entenderlo, imagina que te piden que saques un 10 en un examen y, en vez de estudiar más, te las arreglas para robar las respuestas del examen. Cumples el objetivo, pero no de la forma "legal" o esperada. Esto es justamente lo que hicieron los modelos de OpenAI: no había un plan malvado para hackear Hugging Face y hacerse con su control, simplemente estaban buscando las respuestas a la pregunta que les habían planteado. El incidente de 2016. Hace una década, cuando Dario Amodei y Jack Clark aún trabajaban en OpenAI, entrenaron una IA para jugar a un juego de carreras de barcos llamado Coast Runners en el que el ganador no era quien primero llegara a la meta, sino quien más puntos ganara por el camino. La IA descubrió que había una zona del circuito en la que podía dar vueltas sin parar, golpeando los objetos bonificados una y otra vez, lo que le permitió ganar más puntos que dirigiéndose a la meta. Nadie le enseñó ese truco, simplemente encontró el camino más corto hacia la recompensa, aunque no tuviera nada que ver con ganar la carrera en el sentido en el que un humano lo entendería. Esto esel reward hacking. Un grupo de expertos en IA asistieron a una fiesta en una mansión. El tema de conversación: qué habrá cuando la IA acabe con la humanidad El sistema de recompensas. El reward hacking se ha estudiado de forma casi exclusiva dentro del contexto del aprendizaje por refuerzo. Para entender por qué un modelo hace trampas, hay que entender primero cómo se le enseña a "portarse bien". En la publicación del MIT hacen una comparación con el adiestramiento de un perro: cada vez que hace algo bien, recibe un premio, y aprende a repetir ese comportamiento. El problema es que no siempre es fácil decidir cuándo premiar a un agente y cuándo no. En el caso de Coast Runners, los investigadores decidieron rediseñar las recompensas, de forma que ganaba más puntos por completar el recorrido que por ganar más puntos. Cada vez lo disimulan mejor. A medida que los modelos se han hecho más potentes, las trampas que pueden hacer son mucho más convincentes y pueden estar pasando desapercibidas. Durante el entrenamiento, si un modelo hace algo torpe y evidente, los investigadores lo pillan y lo corrigen. El problema es que eso no elimina las ganas de hacer trampas, solo las vuelve más discretas y sobreviven las estrategias que consiguen colar un resultado falso sin levantar sospechas. Como resume Jeffrey Ladish, director de Palisade Research: "Los recompensamos en función de lo que nos parece bien, y eso significa que, sin darnos cuenta, incentivamos a los modelos a mentirnos y hacer trampa". Trampas espontáneas. Los sistemas de IA clásicos solo repetían estrategias aprendidas durante el entrenamiento, pero los modelos de razonamiento actuales improvisan sobre la marcha, así que pueden encontrar un atajo tramposo la primera vez que se enfrentan a un problema, sin que nadie les haya premiado nunca por hacerlo. Eso es lo que hicieron los modelos de OpenAI: se conectaron a internet y hackearon la web Hugging Face para robar la respuesta correcta a un ejercicio, en lugar de resolverlo. No buscaban sabotear nada ni hacer daño, solo acertar. En Xataka Un trabajador de Anthropic estaba merendando cuando recibió un mail que jamás debería haber recibido: era Mythos Riesgo real. Estos incidentes han sucedido durante pruebas internas de las empresas y no han tenido un gran alcance, pero este tipo de trampas cuando los modelos interactúen en el mundo real pueden tener consecuencias graves. La idea de una IA rebelde que decide que quiere acabar con la humanidad está muy anclada en infinidad de historias de ciencia ficción, pero un modelo tramposo no necesita ninguna intención maligna para hacer daño. Pensemos en un asistente de atención al cliente optimizado para cerrar tickets rápido que aprende a marcarlos como resueltos sin haberlos solucionado. O un agente que gestiona informes financieros y es evaluado por la ausencia de errores señalados que aprende a ocultarlos en lugar de corregirlos. No es una cuestión de maldad, sino un sistema que ha aprendido que la recompensa le llega igual aunque use estrategias más "creativas". Imagen | Xataka con Magnific En Xataka | Daniel Púa, jefe de seguridad en Magnific: "Van a llegar videollamadas con el vídeo de un familiar y se va a complicar la cosa" (function() { window._JS_MODULES = window._JS_MODULES || {}; var headElement = document.getElementsByTagName('head')[0]; if (_JS_MODULES.instagram) { var instagramScript = document.createElement('script'); instagramScript.src = 'https://platform.instagram.com/en_US/embeds.js'; instagramScript.async = true; instagramScript.defer = true; headElement.appendChild(instagramScript); } })(); - La noticia Reward hacking: el término que explica por qué las IA mienten y hacen trampas para cumplir un objetivo fue publicada originalmente en Xataka por Amparo Babiloni .
