Akademisk AI upplever sin tystaste kris: publicering betyder mer än forskning

I mars förra året avvisade ICML (International Conference on Machine Learning), den äldsta akademiska konferensen tillägnad maskininlärning i världen, plötsligt 497 vetenskapliga artiklar efter att ha upptäckt att 506 granskare hade använt artificiell intelligens (AI) för att skriva sina utvärderingar. De hade brutit mot en regel som de själva gått med på att respektera. Denna konferens arrangeras av International Machine Learning Society (IMLS), en ideell organisation, och har hållits årligen sedan 1980.

Varje år lämnar forskare som arbetar inom området AI in sina vetenskapliga artiklar i slutet av januari eller början av februari till ICML. Dessa artiklar granskas av en kommitté bestående av andra forskare inom detta område i syfte att utvärdera dem och publicera dem om de slutligen klarar en grundlig granskning som normalt tar flera månader. Beslut om att acceptera eller avslå artiklar kommuniceras vanligtvis till författare under maj månad och ICML-konferensen hålls vanligtvis i juli.

Publicering i ICML, NeurIPS (Conference and Workshop on Neural Information Processing Systems) eller ICLR (International Conference on Learning Representations) motsvarar vad som inom andra discipliner skulle vara att publicera i de vetenskapliga tidskrifterna Nature eller Science. Men ICML har ett allvarligt problem: dess auktoritet ifrågasätts på r/MachineLearning, en Reddit-gemenskap specialiserad på maskininlärning som har mer än 2,5 miljoner prenumeranter. En perversion där recensenter inte har tid att recensera.

Innan man går vidare är det värt att stanna vid en mycket viktig milstolpe: antalet vetenskapliga artiklar som tas emot av ICML växer år efter år på ett överväldigande sätt. År 2023 fick den 6 538 artiklar och 2024 inte mindre än 9 653 artiklar, vilket motsvarar en tillväxt på 48 %. Roten till problemet ligger i att antalet kvalificerade granskare inte ökar i samma takt som antalet vetenskapliga artiklar som behöver utvärderas.

I Engadget Europa och Japan trampa på acceleratorn för kärnfusion och lägga bollen i planen för ett strategiskt land: Spanien Som jag nämnde några rader ovan fastställer ICML-reglerna att granskare inte lätt kan ta till AI för att utföra sina utvärderingar eftersom denna procedur kan införa fördomar. Faktum är att en studie utförd på ICLR 2024 har avslöjat att vetenskapliga artiklar som utvärderas med AI-modeller tenderar att få högre poäng än de som granskats med det konventionella förfarandet.

Detta är problemet. För 2026 års upplaga erbjöd ICML utvärderare att välja mellan två policyer: en som förbjöd användningen av AI och en annan som tillät det, men med villkor. Endast de som valde det första alternativet och misslyckades med att följa sanktioner.

Av de 506 lagöverträdarna var endast 398 ömsesidiga utvärderare som hade lämnat in ett papper. Det finns dock en relevant information som är värd att inte förbise: de 497 vetenskapliga artiklarna som avvisades i mars i år granskades av kränkande ömsesidiga utvärderare. Det betyder helt enkelt att de är forskare som samtidigt agerar som författare och granskare, så deras vetenskapliga artikel straffades på grund av deras brott mot ICML:s uppföranderegler.

Av de 506 lagöverträdarna var endast 398 ömsesidiga utvärderare som hade lämnat in ett papper. Intressant nog består det upptäcktssystem som ICML har använt av att dölja specifika instruktioner i PDF-filerna för artiklar som väntar på granskning. Dessa instruktioner är osynliga för en mänsklig läsare, men alla AI-modeller som bearbetar dokumentet tolkar dem och inkluderar specifika, spårbara fraser i utvärderingen.

ICML har inte använt generiska AI-detektorer. Naturligtvis verifierades varje upptäckt fall manuellt för att verifiera att en överträdelse faktiskt hade begåtts när utvärderingen förbereddes.

Det som händer återspeglar en oacceptabel verklighet: granskningssystemet har misslyckats och måste återuppbyggas.

Recensenterna orkar inte. Varken de från ICML eller de från NeurIPS eller de från ICLR. Antalet kvalificerade granskare bör växa i samma takt som antalet vetenskapliga artiklar som behöver utvärderas, och det händer inte.

Dessutom har detta scenario introducerat ett annat problem: acceptans- eller avslagsbeslut har fått en slumpmässig aspekt som hotar konsekvensen och tillförlitligheten i utvärderingarna. Det är fortfarande inte helt klart vilken väg som bör följas för att lösa detta problem utöver behovet av att öka antalet kvalificerade utvärderare. Ett alternativ är att förbättra insynen i granskningsprocessen genom att publicera alla utvärderingar.

Även de av avvisade artiklar. Utvärderingsprocessen skulle också kunna omvandlas till ett tvåvägsförfarande där författarna också utvärderar kvaliteten på de recensioner de får. På så sätt kommer utvärderarna att ha en historia som kommer att bevisa deras goda arbete.

Vi får se vilken strategi konferenserna slutligen implementerar. År 2027 kommer vi att reda ut tvivel. Bild | Charlesdeluvio (Unsplash) Mer information | ICML i Xataka | Med DeepSeek V4 har Kina fått mer än bara en AI-modell: det har låst upp potentialen hos sina inhemska chip (instagramScript) Nyheten Academic AI upplever sin tystaste kris: publicering är viktigare än att forska i López;