"Temperatur" och "svarslängd": två mycket lite kända parametrar som förändrar allt med AI

ChatGPT, Gemini, Claude, DeepSeek och andra artificiella intelligenser (AI) verkar enkla: vi skriver, vi ger dem vår förfrågan eller fråga och vi får ett svar. Men bakom denna enkelhet i användningen finns det två parametrar som i hög grad bestämmer kvaliteten på svaret vi får. Och de går ofta obemärkt förbi.

Vi kan inte manipulera temperaturen och svarslängden direkt från den konventionella chatten. Faktum är att de bara berörs från API:t eller med hjälp av avancerade verktyg, men den goda nyheten är att vi kan simulera deras effekt genom att tillgripa lämplig prompt.

Temperaturen påverkar responsens kreativitet. Och längden som AI-modellen sträcker sig till. Det viktiga är att vi genom att kombinera dem helt kan omvandla resultatet av samma fråga.

Vad dessa två parametrar faktiskt gör De språkmodeller vi använder för närvarande "vet" inte svaren på våra frågor. De räknar faktiskt, grovt sett, ord för ord vilket är det mest troliga nästa ord.

Detta är allt. I detta sammanhang avgör temperaturen i vilken utsträckning modellen avviker från det mest troliga alternativet. I Xataka "It's not cheating, it's engineering": så här undviker Kina 2 000 ASML-patent med ett lasertrick En låg temperatur (och därför nära 0) väljer nästan alltid det förutsägbara.

En hög tillåter dock mindre sannolika alternativ, med mer variation, men också med större risk för omvägar. Hur som helst, det finns ingen "korrekt" temperatur: det beror på uppgiften. För att sammanfatta ett kontrakt, förklara ett koncept eller översätta en text vill vi att det ska vara lågt.

Men för att söka namn, skriva ett mejl eller föreslå idéer är vi intresserade av precis det motsatta. Nästan inget gränssnitt i AI-applikationer tillåter oss att röra den här parametern direkt, men vi kan simulera dess effekt med hjälp av explicita instruktioner. Om vi ​​skriver i Claude eller ChatGPT: "Ge mig ett mycket konservativt och bokstavligt svar, utan att spekulera eller lägga till våra egna nyanser" så ber vi praktiskt taget om ett beteende som motsvarar en låg temperatur.

Om vi ​​däremot skriver: "Var så original du kan. Jag föredrar okonventionella, till och med riskfyllda, idéer framför de mest uppenbara" kommer modellen att bete sig mycket mer som den skulle göra med temperaturen på max.

Något liknande händer med svarslängden, även om mekanismen är annorlunda. Modellen genererar text tills den bestämmer sig för att stoppa eller tills den når en förinställd tokengräns, och ett längre svar är inte lika med ett bättre svar.

Det är det nästan aldrig. Lösningen är enkel: inkludera bara en explicit förlängningsinstruktion i "prompten". Utan instruktioner tenderar de flesta modeller att utökas med nyanser som vi inte alltid behöver.

Å andra sidan, om vi letar efter en djupgående utveckling, kommer ett kort svar kvarstå halvvägs. Problemet ligger inte i modellen: det är att vi inte har angett hur mycket utrymme den ska ta. Lösningen är enkel: inkludera bara en explicit förlängningsinstruktion i prompten, från "svara mig i en enda mening" till "utveckla den så djupt som möjligt." Och de två parametrarna kombineras också: en låg temperatur och en kort respons ger kirurgiska svar, idealiska för tekniska ändamål.

En hög temperatur och generös längd möjliggör dock en AI som expanderar och tar risker, perfekt för att generera nya idéer. Genom att känna till båda parametrarna, även om det är indirekt via resplanen som vi ställer in för modellen vid varje prompt, kan vi fråga efter exakt vad vi behöver istället för att nöja oss med vad AI levererar som standard. Bild | Genereras av Xataka med en prompt skapad av Gemini och levererad till ChatGPT i Xataka | ChatGPT blockeringsläge: vad det är, vad det är till för, vem kan använda det och hur man aktiverar det I Xataka | AI ersätter ett av de mest hatade jobben i världen: svanssamlaren