"99% av min trafik kommer nu från bots": AI fortsätter att ta allt från internet

Nick Gray, skapare av PatronView, har analyserat effekten av AI-bots på sin webbplats i ett och ett halvt år. Under en enda vecka serverade servern 1,28 miljoner sidor, medan de faktiska besöken var 5 977. Slutsatsen var tydlig: för varje riktig sida som visades fanns det 214 från bots, och saker och ting kommer att bli fler, inte mindre.

Som han sa, "99% av min webbplatstrafik är bots." Claude är en frossare. Gray började mäta aktiviteten hos sökrobotar på Internet med ett mycket enkelt mått: sidor som genomsöktes av varje besökare. Google behöver cirka 46 för sin sökmotor, men den här utvecklaren upptäckte att Claudes webbsökare, kallad Claude-Searchbot, begärde 420 680 sidor på en vecka, och Claude skickade bara 12 användare till sin webbplats.

Eller vad är detsamma: det krävdes 35 000 besökta sidor för en som fick en person att besöka dess webbplats. Det slutade med att Gray blockerade den och Anthropic hedrade 403-koden som den installerade på sin webbserver. Det gjorde att Claudes tiotusentals dagliga förfrågningar reducerades till bara några få försök.

I Xataka Priset att betala för att ha AI är plundringen av allt innehåll på Internet. Och förvirring är bara det senaste exemplet.

Amazon är ännu värre. Amzn-SearchBot, som användes för Amazon-produkter som Rufus och Alexa, var ännu mer girig i att genomsöka den här användarens webbplats. Enligt deras uppgifter fick den sökroboten åtkomst till 117 000 sidor på deras Patronview-webbplats per dag.

Och det tråkigaste är att han inte hade en enda sidvisning skickad av Amazon till sin webbplats, så hans förhållande mellan konsumerade sidor och mottagna läsare var bokstavligen oändligt. Han blockerade också den här boten och upptäckte att dessa AI-plattformssökrobotar ber om allt utan att ge praktiskt taget någonting i gengäld.

Kamouflerade bots. I april fick PatronView 3,6 miljoner träffar på en enda dag från 361 844 olika IP-adresser, nästan alla i Kina. Sedan kom vågor av åtkomster från Vietnam och Singapore, automatiserade Chrome-webbläsare på AWS och Azure och även på proxynätverk för bostäder.

De senare var särskilt svåra att identifiera eftersom åtkomsterna kom från till synes normala inrikesförbindelser.

Och det var de inte. Försvaret har ett pris. Gray använde Cloudflares JavaScript-kodexekveringsdetektioner för att skilja mellan människor och maskiner.

Det upptäckte dock att det här systemet lade till 2 875 sekunders bearbetning på en mellanklass mobiltelefon, vilket straffade dess webbprestanda. I själva verket, genom att avaktivera det skyddet, gick dess poäng i Lighthouse, som utvärderar den upplevelsen och hastigheten på webbplatser, från 58 till 99. Precis efter att ha blockerat det laddade en skrapa som var värd i Azure ned 23 000 sidor på en timme, och fördelade förfrågningarna mellan mer än 80 IP-adresser för att undvika att bryta gränserna.

Skapar antibotväggen. Det slutade med att den här användaren skapade en blockeringsmekanism för dessa bots som blockerar vissa länder och spårare, men som också använder CAPTCHA-system om den upptäcker stora datacenter, filtrerar misstänkt gamla webbläsare och tillämpar hastighetsbegränsningar. Resultatet sågs 48 timmar senare.

Cloudflare, till exempel, aktiverade 106 437 popup-fönster med CAPTCHA och endast 252 löstes, 0,24%. För Gray är slutsatsen tydlig: man kan inte lita på Google Analytics, Plausible eller liknande verktyg: för att veta vem som verkligen konsumerar en webbplats måste man titta på serverloggarna.

Bots tar upp räkningen. Och i fallet med den här webbplatsen ökade denna kontinuerliga botspårning notan. PatronView kostar honom cirka 90 USD i månaden, men under en av de värsta topparna i bottrafiken växte hans räkning nästan 500 %.

För att inte tala om att analysen slutade vara användbar och att hans hemsida blev foder för bots hela tiden medan han betalade räkningen. AI har byggts genom att plundra innehållet på Internet. Nu finns det folk som vill ta betalt för att tillåta det.

Om du vill spåra, betala. För denna användare skulle den slutliga lösningen vara enkel: ta betalt för spårning. Cloudflare arbetar redan med ett system för betalning per genomsökning som gör det möjligt för webbplatsägare att prissätta botåtkomst.

Tills något sådant här existerar tillämpar Gray en mycket enklare och mer logisk regel: Om en spårare inte returnerar besökare, blockerar han den. Det var rimligt att Google spårade dig. Att AI gör det är ohållbart.

I Xataka | Alla stora AI:er har ignorerat upphovsrättslagar. Det fantastiska är att det fortfarande inte finns några konsekvenser