Det amerikanska författarförbundet Authors Guild lät fem AI-detektorer bedöma tio texter som förbundets egna skribenter publicerade mellan 2020 och 2022, alltså innan generativ AI slog igenom på bred front. Resultatet spretar kraftigt. Pangram och Grammarly kände korrekt igen samtliga tio som mänskligt skrivna, och Originality.ai låg också nära. Sidekicker presterade sämst av alla och flaggade varenda text som mestadels AI-genererad, varav två fick 100 procent. ZeroGPT var lika opålitligt och rapporterade ibland höga AI-andelar för texter som ingen modell hade varit i närheten av.
Eftersom texterna är skrivna före AI-vågen finns inget tvivel om facit. De är mänskliga. Det gör testet till en ren mätning av hur ofta verktygen larmar i onödan, och spannet mellan bäst och sämst är obekvämt stort.
Varför flaggas mänsklig text som AI?
Authors Guild pekar på en paradox som är svår att komma runt. Professionellt skrivna texter delar många statistiska mönster med det som språkmodeller producerar, helt enkelt för att modellerna är tränade på exakt den sortens skrivande. En skribent som i decennier slipat på klarhet, sparsmakad meningsbyggnad och precision skriver per definition på ett sätt som överlappar med vad en modell lärt sig efterlikna. På den nivå där detektorerna arbetar finns det ibland helt enkelt inte mycket skillnad att hitta.
Pangrams vd Max Spero har själv beskrivit sitt verktyg som en svart låda, utan möjlighet att i detalj förklara varför en text larmar. Det som ändå avslöjar modeller är likformighet, framför allt i hur argument byggs upp, medan människor varierar sig betydligt mer.
Vad betyder det för skribenter?
Att Pangram och Originality pålitligt känner igen mänsklig text betyder inte att de är lika bra på att fånga AI-genererat material. Testet visar främst att de är inställda på att minimera falska larm, alltså att undvika att mänsklig text felaktigt pekas ut. Texter skrivna med AI kan mycket väl slinka igenom ändå. Tillförlitligheten i just det här testet gäller alltså i första hand det omvända, att inte sätta dit oskyldiga.
Det är också den verkliga risken. Ett falskt larm kan kosta en författare både kontrakt och rykte. Authors Guild, som är den äldsta och största yrkesorganisationen för skribenter i USA, varnar för att även de bäst presterande verktygen aldrig bör vara enda grunden för ett beslut. Förbundet uppmanar förlag att redovisa sina metoder och alltid ge författare en chans att försvara sig. Kontrollera aktuella uppgifter, verktygen ändras ständigt och en mätning i dag säger lite om träffsäkerheten i morgon.
1up:s läsning
Det mest talande i testet är inte att vissa verktyg är dåliga, utan att skillnaden mellan dem är så stor att resultatet i praktiken blir en lott. Samma text kan få noll procent hos ett verktyg och full pott hos ett annat. När konsekvensen av ett felaktigt larm är ett uppsagt kontrakt blir det svårt att försvara att verktygen alls används som domare.
Under ytan ligger en mer principiell fråga som inte går att mäta bort. Får en text sitt värde av själva nedskrivandet, eller av ämnesvalet, idén, perspektivet, researchen och omdömet bakom? Så länge detektorerna bara ser statistik kommer de att straffa de skribenter som behärskar hantverket bäst, och det är knappast den effekt någon var ute efter.