Den "snabbsinjiceringen" har redan sin egen motattack: att injicera falska instruktioner även till hackare

Under de senaste två åren har snabb injektion varit cyberangripares favoritvapen mot artificiell intelligens. Den här metoden går ut på att dölja en skadlig instruktion i ett e-postmeddelande, en kalenderinbjudan eller en webbsida så att en AI-agent slutar lyda inkräktaren istället för sin legitima användare. Det som är bra är att samma teknik också fungerar för att stoppa angripare.

Vad har hänt? Cybersäkerhetsföretaget Tracebit har publicerat forskning som visar att en AI-agent som attackerar ett system kan stoppas genom att helt enkelt placera, bredvid de lösenord och nycklar som angriparen försöker stjäla, en text utformad för att aktivera modellens egna avvisningsmekanismer. Så fort den attackerande AI:n läser den texten går dess säkerhetsbarriärer upp och attacken stannar i dess spår.

Forskare har kallat tekniken för sammanhangsbombning. I Xataka "Behöver vi verkligen så många matematiker?": Fabel 5 hjälper till att motbevisa en gissning om nästan ett sekel Hur det fungerar. Logiken är enkel att förstå även om upptäckten inte var så enkel.

Alla större språkmodeller har vissa frågor inbyggda som de vägrar att ta upp under några omständigheter, vare sig av säkerhetsskäl eller av politiska och regulatoriska skäl. Tracebit utnyttjar just det genom att placera i närheten av de falska inloggningsuppgifterna (samma som de använder som bete för att upptäcka inkräktare) textfragment som driver modellen in i de förbjudna områdena. Som Andy Smith, medgrundare och vd för Tracebit, förklarade för Ars Technica, med denna teknik aktiveras en avvisningsmekanism i sammanhanget, något som har en stark och kraftfull effekt och som agenter har svårt att återhämta sig från.

När innehållet kommer in i sitt sammanhang fortsätter modellen att avvisa alla efterföljande instruktioner. Exemplen, beroende på modell. Alla modeller stannar inte vid samma sak, så fällan måste anpassas efter varje enskilt fall.

För västerländska modeller, som de från Anthropic eller Google, har det fungerat att inkludera referenser till tillverkning av biologiska vapen, till exempel instruktioner för framställning av inhalerbara mjältbrandssporer. För de modeller som utvecklats i Kina har dock nyckeln varit att nämna "Tank Man", mannen som stod framför stridsvagnarna i massakern på Himmelska fridens ställe 1989, ett ämne som dessa system är förbjudna att ta upp på grund av censur från den kinesiska regeringen och som vi från Xataka effektivt har bekräftat varje gång vi har behövt testa en kinesisk språkmodell. Resultaten, i siffror.

Tracebit testade tekniken på fem av de mest avancerade modellerna för tillfället (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro och Kimi 2.6), simulerade en Amazon Web Services-miljö (AWS) och gav dem rutinmässiga utvecklingsuppgifter som, längs vägen, ledde till att de stötte på falska nycklar. I 152 registrerade attackförsök tyder forskningen på att: Attacker som fick administratörsåtkomst minskade från 57 % till 5 %. De som också lyckades lämna en permanent bakdörr gick från 36 % till 1 %.

Andelen försök som fullbordade åtminstone någon fas av attacken sjönk från 91 % till 15 %. Det mest slående fallet var Opus 4.8, den mest effektiva modellen av de fem när det gällde attacker, eftersom den utan kontextfällan uppnådde administratörsåtkomst i 93 % av försöken; med det misslyckades det i 100 % av fallen. I Xataka "Kina har kommit ikapp USA i frontier AI": Kimi K3 utlöser larmet i Silicon Valley Vulnerability by nature.

Det fina med denna teknik är att den utnyttjar en svaghet som är mycket svår att korrigera. Enligt forskare kan en utvecklare omskola en modell så att den blir mindre strikt när den ställs inför en säkerhetsfråga, men det är mycket mer komplicerat att eliminera de politiska eller regulatoriska restriktioner som kommer som standard, eftersom de inte är ett misslyckande som kan "åtgärdas", utan snarare ett medvetet designbeslut. Det gör dessa barriärer till ett ganska stabilt fotfäste för dem som är dedikerade till att utveckla skydd mot dessa attacker.

Bakgrund. I maj hade Tracebit redan introducerat ett system med "kanariefåglar", det vill säga falska resurser i molnet som ser legitima ut men som faktiskt inte används, så att varje försök att komma åt dem utlöser en varning för säkerhetsteamet. I det första testet, med 951 attackförsök, gav kanarieöarna i genomsnitt åtta minuters varsel innan angriparen fick administratörsåtkomst.

Problemet är att AI-agenterna behövde bara 14 minuter i genomsnitt för att slutföra attacken, så försvararna hade ett fönster på bara sex minuter på sig att reagera. Kontextbombningar föddes just för att vinna den tid som saknas, stoppa attacken istället för att bara varna för den.

Vad detta inte löser. Varken Tracebit eller någon annan hävdar att detta är den definitiva lösningen för snabb injektion. Det finns fortfarande inget sätt att förhindra att en modell ibland förväxlar en instruktion med någon del av data inom sitt sammanhang, och den förvirringen är just det som gör tekniken möjlig.

Omslagsbild | Genererad av AI med Gemini i Xataka | "Det kan försvaga USA:s konkurrenskraft": Kimi K3 tvingar Trump att återuppta sin plan för att stoppa kinesisk AI