Hur vet man om en text är skriven av artificiell intelligens (AI)?

När verktyget ChatGPT3 offentliggjordes stod det klart för många lärare att det i framtiden kommer att bli utmanande att skilja på vad som skrivs av deras elever och vad som skrivs av artificiell intelligens. Lyckligtvis finns det flera verktyg som gör det möjligt för lärare att bedöma om en text är konstgjord. I den här artikeln har vi skapat en lista över verktyg tillgängliga online som kan användas för att avgöra om en text har skrivits av artificiell intelligens. Vi har även testat om de fungerar med text skriven på svenska.

Metod

För att bedöma om verktygen fungerar har vi använt ChatGPT för att skriva en kort text som vi låtit de olika verktygen analysera. Den här texten är till 100 procent skriven av artificiell intelligens, och resultaten av analyserna kommer att ge oss en indikator på om de klarar av att skilja på text skriven av människor och maskiner. Vi har även skrivit en originaltext på svenska, med ovanlig meningsbyggnad och onaturliga ordval. Denna text kommer på andra sidan skalan att indikera om verktygen förstår vad som skrivs av en människa. Här är texten vi använder i testerna:

Text 1: Skrivet med hjälp av artificiell intelligens

Skrivet av ChatGPT, 100% artificiell intelligens

Text 2: Skrivet av en människa

Skrivet av Daniel, användbar intelligens

Writer.com AI-innehållsdetektor

På denna sida kommer du att kunna kopiera in text, och få en procentuell bedömning av om texten är skriven av en människa eller en maskin. Det är oklart hur detektorn fungerar.

https://writer.com/ai-content-detector/

Writer.coms AI Content Detector säger att endast 15 % av text 1 är skriven av en människa.

Resultatet här kommer att ge dig en indikator, men kanske inte är tillräckligt.

När vi testar om verktyget klarar av att tolka text 2 skriven av en människa på svenska ser vi helt andra resultat.Fantastiskt!

Gltr.io

GLTR (Giant Language Model Test Room), uttalat glitter, skapades av forskare från MIT och Harvard, och detektorns metod förklaras i detalj. Texten analyseras genom att bedöma sannolikheten att ett ord kommer efter det föregående ordet. Det är till exempel stor sannolikhet att ”är” kommer efter jag. Jag är. Och det är låg sannolikhet att ordet ”fermenterar” kommer efter jag. Jag fermenterar.

http://gltr.io/dist/index.html

Ord som är bland de 10 mest sannolika orden är markerade med grönt. Ord som är innanför topp 100 är markerade med gult. Topp 1000 är markerade med rött, och större avvikelser är markerade med lila.

Med texten skriven av ChatGPT får vi dessa resultat:

En text med mycket grönt och gult antyder att det är en maskin vars uppgift är att hitta nästa ord med störst sannolikhet att stämma, som har skrivit texten. En människa kommer att använda mer slumpmässiga ord och meningsstruktur. Problemet är att det här verktyget är gjort för det engelska språket, och därmed analyserar texter utifrån engelska ord. När vi testar text 2, som undertecknad har skrivit, blir detta tydligt.

Här har verktyget delat upp de svenska orden så att de passar med engelska ord. Således blir resultatet mycket rött och lila, baserat på ofullständiga ord. Detta verktyg ska endast användas på elevers engelska texter.

GPT-2 Output Detector Demo

Detta verktyg fungerar också genom att man kopierar in en text , och får en procentuell bedömning av om texten är skriven av en människa eller en maskin. Metoden beskrivs inte, men det anges att den blir mer exakt desto mer text den har att arbeta med.

https://huggingface.co/openai-detector/

Resultaten av testet med text 1, skriven av ChatGPT, indikerar att 99,98 % av texten är skriven av artificiell intelligens.

Detta verktyg verkar ha en bättre förmåga att bedöma text skriven på norska. Det ger text 2 ett betyg på 99,81 % sannolikhet att den är skriven av en människa.

Sammanfattning

Det finns alltså flera verktyg tillgängliga på nätet som lärare kan använda för att bedöma om de texter eleverna lämnar in är skrivna av dem själva eller av artificiell intelligens. Vi kan förvänta oss att verktygen för att upptäcka text skriven av artificiell intelligens kommer att förbättras i takt med att den artificiella intelligensen utvecklas.

Om du känner till andra verktyg som kan användas, vänligen dela dem i kommentarfältet nedan.