Du lägger upp en podcast på YouTube och ett ljud som inte kan upptäckas för det mänskliga örat börjar spelas: de är instruktioner för dina AI-agenter

Du har en podcast eller YouTube-video som spelas upp hemma och utan att inse det börjar den spela upp ett ljud som inte går att upptäcka för dig, men som skickar kommandon till dina AI-assistenter. Assistenten börjar sedan dela känslig data med angriparen eller installerar skadlig programvara. Vi hade redan snabba injektionsattacker och nu kommer en ljudprompt injektion.

Experimentet. Det låter som science fiction, men det är fullt möjligt. Ett team av forskare från Kina och Singapore har upptäckt ett sätt att skapa skadliga ljud som kan "kapa" röst AI-modeller, vilket får dem att utföra kommandon utan att du vet eller kan stoppa dem.

På tal med IEEE Spectrum försäkrar studieledaren att "Det tar bara en halvtimme att träna denna signal och eftersom den är kontextoberoende kan den användas för att attackera en modell när du vill, oavsett vad användaren säger." Författarna testade denna teknik mot tretton AI-modeller, inklusive tjänster från Microsoft och Mistral. I testet lät de dessa modeller utföra känsliga sökningar, skicka e-postmeddelanden med användarinformation och ladda ner filer. De uppnådde en framgång på mellan 79 och 96 %.

I Engadget finns det en smyg metod för att sabotera AI. Det kallas "dataförgiftning" och det korrumperar modellerna inifrån Undetectable. LALMs (Large Audio Language Models) har en kritisk säkerhetsbrist.

Eftersom de tar emot instruktioner i ljudformat är det möjligt att injicera skadliga kommandon i manipulerade ljud. Det värsta av allt är att dessa ljud inte är röster med instruktioner, vilket skulle vara ganska lätt att upptäcka, utan de använder snarare en metod som kallas "convolutional mixing" som maskerar ljudet som ett naturligt reverb eller eko i rummet.

Varför det är viktigt. En attack av den här typen förändrar helt de försvar som vi har internaliserat (klicka inte på länkar, ladda inte ner saker, ge inte ut dina data...). Något så ofarligt som att spela en YouTube-video, en podcast eller titta på en TikTok i bakgrunden kan utlösa en attack utan att vi ens inser det.

Om vi ​​dessutom tar hänsyn till att kraften hos AI-agenter, som den nyligen tillkännagivna Gemini Spark, är just att ha tillgång till hela vårt digitala liv, kan en attack av den här typen orsaka förödelse.

Kapar uppmärksamhet. Att förinstruera modellen med exempel på skadliga kommandon så att den ignorerar dem minskar knappt attackens framgång med dystra 7 %. På samma sätt, att be AI:n att "reflektera" över huruvida dess svar stämmer överens med vad användaren faktiskt har bett om, lyckas bara upptäcka 28% av attackerna.

Aktuella säkerhetsåtgärder är värdelösa eftersom det manipulerade ljudet kapar modellens matematiska "uppmärksamhet", förmår AI:n att utföra utdata med högt tillförlitlighet och gör det omöjligt att skilja mellan ett legitimt användarkommando och en motståndaresattack

Open source. Den "bra" delen är att denna typ av attack för närvarande endast har kunnat utföras med modeller med öppen vikt. Forskare har dock sett att när skadligt ljud har tränats kan det överföras till att bryta mot slutna modeller.

Som vi sa testade författarna det med tjänster från Mistral och Microsoft. För tillfället har Mistral inte kommenterat, men Microsoft skickade följande uttalande till IEEE Spectrum: Vi uppskattar forskarnas arbete med att fördjupa förståelsen för denna typ av teknik. Den här studien utvärderar modellens motståndskraft genom kontrollerade, direkta interaktioner med själva modellen, vilket hjälper till att definiera vår strategi för att bygga motståndskraft.

I praktiken är AI-modeller ofta integrerade i användarapplikationer, och vi förser utvecklare med verktyg och vägledning som de kan använda för att implementera ytterligare skyddslager för att skydda användarna. Bild | Yassine Ait Tahit, Unsplash i Xataka | De mest använda lösenorden i Spanien hackas på några sekunder: om ditt finns på den här listan har du ett problem