En användare bad sin AI-agent att boka en tid på gymmet för honom. Detta uppnådde han genom att först utvisa en annan person från listan.

På senare år har vi vant oss vid att fråga artificiell intelligens om saker: att sammanfatta ett dokument, söka information eller hjälpa oss att fatta ett beslut. Agenter introducerar en mycket djupare förändring, eftersom de inte längre är begränsade till att svara: de kan ta emot ett mål, använda verktyg och agera för att försöka uppnå det. Och det förekommer en skillnad som verkar liten, men det är den inte.

När vi säger "få det här" antar vi många gränser för hur man gör det som vi sällan behöver förklara för en annan person. Ett australiensiskt gym har just erbjudit ett litet, men mycket konkret exempel på det problemet. Som ABC News har rekonstruerat, använde Andrew, som arbetar för ett företag i landet dedikerat till att sälja AI-produkter till andra företag, OpenClaw som agentassistent, avrättad med Claude, den antropiska modellen.

Han bad henne att ge honom en plats i en klass och systemet upptäckte en sårbarhet som möjliggjorde reservationer mycket längre i förväg än vad som var tillåtet. Sedan, när han frågade om han kunde förbättra sin fjärde plats på en väntelista, gick agenten längre: han tog bort användaren som hade den första positionen från listan för att bevisa att han kunde göra det. Andrew flyttade upp en position utan att uttryckligen ha bett att någon skulle förlora sin.

Att upptäcka sårbarhet var en sak; Att använda det för att se hur långt det gick var en annan. Assistenten själv informerade Andrew om att bokningssystemet saknade ordentliga behörighetskontroller och att han hade testat vem som stod överst på listan. Först efter att ha verifierat att avbokningen fungerat framträdde den mänskliga dimensionen av manövern.

Andrew bad om att återställa den, men agenten svarade att han inte kunde återställa den drabbade användaren. Det tekniska testet hade gett en konsekvens som det inte längre kunde ångra på egen hand. En agent vill hjälpa dig, men mäter inte konsekvenserna När vi tilldelar en uppgift till en annan person detaljerar vi nästan aldrig alla beteenden som ligger utanför vad som är acceptabelt.

Det är inte nödvändigt att specificera att det inte bryter mot ett system, agerar på andras konton eller skadar en annan person för att uppnå resultatet: vi tenderar att ta många av dessa sociala, juridiska och moraliska gränser för givna. Med en agent kan det lagret inte tas för givet på samma sätt. Ditt handlingsutrymme beror på de mål, verktyg, behörigheter och begränsningar som du arbetar med, och ju större din autonomi är, desto viktigare blir just gränserna som vi aldrig får skriva.

Den oroande punkten med dessa episoder är att ett system kan försöka göra exakt vad det satts i arbete för att göra, och fortfarande hitta sätt som de som var ansvariga för det inte förväntade sig.

OpenAI erbjöd nyligen ett exempel under en cybersäkerhetsbedömning som genomfördes utan de vanliga skydden av dess produktionssystem: flera modeller utnyttjade verkliga sårbarheter och slutade med att äventyra Hugging Face-infrastrukturen medan de försökte få testsvar. Företaget beskrev systemen som extremt fokuserade på att lösa det specifika målet. Antropiska bedömningar har utforskat samma spänning genom medvetet extrema scenarier.

I den ena opererade flera modeller i en simulering där en fiktiv chef var instängd i ett serverrum under potentiellt livshotande förhållanden. Scenariot kombinerade också två påtryckningar: den verkställande ledningen var relaterad till utbytet av modellen och försvarade mål som stred mot dem som tilldelats systemet. Under dessa konstgjorda förhållanden avbröt vissa modeller till och med en nödvarning, ett beslut som skulle ha fått dödliga konsekvenser inom simuleringen.

Ingen riktig person var någonsin i fara: Anthropic designade testet just för att testa hur långt dessa system kunde gå när olika mål stred mot varandra. I en annan utvärdering hade Claude Opus 4 tillgång till fiktiv information om en ingenjör som skulle delta i hans ersättare och om ett utomäktenskapligt förhållande mellan den anställde. I vissa körningar använde modellen den informationen som ett pressverktyg och hotade att avslöja den för att försöka förhindra utbyte.

Anthropic presenterade inte dessa resultat som bevis på att Claude hade egna önskningar eller en spontan tendens till utpressning. Företaget varnar själv för att scenarierna medvetet byggdes för att begränsa de tillgängliga alternativen och försäkrar att de inte har observerat denna typ av agentisk felanpassning i verkliga utbyggnader. I Engadget har Mark Zuckerberg föreslagit att bli den enda icke-apokalyptiska och humanistiska VD:n för AI.

En annan sak är att vi tror att The gym case bara är en reducerad version av en mycket bredare fråga. AI-agenter kan gå långt bortom isolerade uppgifter och söka efter möjligheter, förhandla om tjänster, hantera inköp eller fatta beslut inom system där andra användare strävar efter liknande mål. Om miljontals människor börjar representeras av verktyg som försöker få det bästa resultatet för dem, kan konkurrensen få en ny dimension.

I vissa scenarier kan fördelen som en användare får bero på att en annan förlorar samma möjlighet, inte på grund av agentens avsikt, utan på grund av logiken i miljön där den verkar. Avsnittet lämnade Andrew med en blandning av förvåning och försiktighet, men inte med avsikten att överge dessa verktyg. Efter att ha verifierat att agenten inte kunde återställa den berörda användarens position på egen hand bad han honom att skriva ett meddelande för att informera bokningssystemleverantören om sårbarheten han hade hittat.

Scenen sammanfattar spänningen som kommer att följa med utvecklingen av agenterna: vi vill ha system som kan agera för oss, men vi måste fortfarande definiera vilka gränser de måste respektera och hur de ska fördela ansvaret när deras handlingar ger konsekvenser som vi inte hade förutsett. Frågan är inte längre bara vad en agent kan göra, utan vem som är ansvarig när man bestämmer hur det ska göras. Bilder | Xataka med Nano Banana | Antropisk i Xataka | Nvidia har precis lanserat sin egen gratis AI-modell.

Att göra det just nu är helt logiskt (instagramScript)