TikTok tog bort en säkerhetsfunktion för miljontals användare för testning. En av dem slutade med att begå självmord

A/B-testning är en vanlig praxis i alla digitala produkter. Den består av att dela in användare i två grupper för att jämföra en ny version med den tidigare och mäta dess effekt. Detta är vad TikTok gjorde när den modifierade sin algoritm i syfte att minska det skadliga innehållet som visades.

En av användarna som inte aktiverade detta skydd slutade med att begå självmord. Han hette Chase Nasca och var 16 år gammal.

Testet. De berättar det på Bloomberg. TikTok förbättrade sin algoritm i början av 2022 och rullade ut den här versionen till de allra flesta av sina användare.

Denna förändring hade som huvudsyfte att minska loopar av skadligt innehåll, upptäcka repetitiva mönster och diversifiera flödet lite mer. Den tidigare algoritmen som inte hade denna förändring förblev aktiv för kontrollgruppen, som var cirka 10 % av alla amerikanska användare, cirka 15 miljoner människor totalt. Fallet med Chase Nasca.

Hans konto hade varit ett av de slumpmässigt utvalda för att ingå i den kontrollgruppen, så de nya säkerhetsåtgärderna aktiverades inte. Resultatet blev att Chase Nasca bombarderades med filmer om självmord, självskada och depression. Enligt ett konfidentiellt dokument, som har varit känt i samband med en rättsprocess, rekommenderade TikTok under två veckor före hans död 7 563 videor till Chase, varav minst 73 % handlade om känslomässigt lidande, ensamhet eller depression.

Å andra sidan bröt nästan 10 % av dessa videor mot plattformens regler om självskada och självmord. Timmarna före sin död markerade han flera videor om självmord som favoriter. Genom design. "TikToks strategier för att förhindra filterbubblor hade ingen effekt på den här användaren av design." Det är ett av påståendena i det läckta dokumentet, som erbjuder en uttömmande analys av Chase-kontot och allt innehåll som rekommenderades till det.

Som de påpekar i Bloomberg, visar det faktum att det var "by design" (det vill säga avsiktligt) rätt de som anklagar plattformarna för att medvetet ha designat sina produkter för att skapa beroende hos unga människor. TikTok har redan prövats i USA och är med i EU:s hårkors för denna fråga. I Xataka tonåringar inte längre röker, dricker, tar droger eller har mycket sex med varandra: nu tittar de helt enkelt på sina mobiltelefoner Dokumentet.

TikTok analyserade uttömmande fallet med Chase Nasca, men det var inte på egen hand, utan efter att Bloomberg Businessweek kontaktade dem i mars 2023 eftersom de skulle skriva en artikel om den här tonåringens självmord. Dokumentet drar slutsatsen att Chase letade efter innehåll om sport och komedi, men han hade också sökt efter låtar om att känna sig ensam. Dokumentet medger att dessa sökningar aktiverade algoritmen och gjorde att hans konto blev "fångat i en filterbubbla där innehåll relaterat till självmord, självskada och depressiva teman upprepade gånger rekommenderades till honom, särskilt under dagarna innan hans självmord." TikToks svar då och nu.

I mars 2023 framträdde företagets vd inför den amerikanska kongressen. En av frågorna som skickades för att TikTok skulle svara skriftligt var just om TikTok var medveten om fall av självmord efter att ha sett "tråkiga, deprimerande eller självmordsuppviglande videor." Företagets svar var: "TikTok tror inte att användningen av plattformen har fått användare att begå självmord." Vid det här laget hade TikTok redan genomfört sin utredning av Chase Nasca-fallet. Vi har kontaktat TikTok för att ta reda på deras nuvarande ståndpunkt i detta fall och de har skickat följande uttalande till oss: "Vi är djupt ledsna för varje tragisk förlust som har påverkat en familj.

Säkerheten och välbefinnandet för våra användare, särskilt tonåringar, är fortfarande vår prioritet. För att hjälpa till att skydda vårt samhälle fortsätter vi att stärka våra investeringar i säkerhet genom robusta upptäcktssystem och specialiserade team, som agerar proaktivt för att ta bort innehåll som bryter mot våra gemenskapsstandarder. {}; var headElement = ('head')[0]; if (_JS_MODULES.instagram) { var instagramScript = ('script'); } })(); Nyheten TikTok tog bort en säkerhetsfunktion för miljontals användare att testa den. En av dem slutade med att begå självmord publicerades ursprungligen i Xataka av Amparo Babiloni.