Bedöm om en text är skriven av en AI

AI har blivit en del av vardagen för eleverna. Ser de en uppgift som "onödig" och bara tar tid från annat de tycker är roligare, är det lätt hänt att de tar hjälp av en AI istället för att anstränga sig. Men hur kan lärarna upptäcka elevtexter som skrivits med hjälp av en AI?

Krav på källor

När det gäller sakprosatexter kan du bli stenhård med källor. Finns det tydliga referatmarkörer och källhänvisningar i texten, som är kopplade till källor som går att kontrollera, är det näst intill omöjligt att fuska med AI. Det blir extra mycket jobb för dig med att kontrollera alla texter, men det är enda sättet som du helt säkert kan släppa alla hämningar och låta eleverna arbeta hemma med faktauppsatser i både SO och NO där de själva söker upp källor till texterna.

Revision history och Draftback

Det finns tillägg till Google Doc där det går att avgöra hur en elev arbetat med sin text. Enklast är "Versionshistorik" som finns inbyggd i programmet. Största problemet med det är att det inte går att avgöra om längre textstycken är inskrivna eller inkopierade. Till det finns olika tillägg till Google Chrome, men de två bästa är Revision history och Draftback. Numera kostar Draftback dock pengar. Bägge tilläggen gör det möjligt för dig att se hur eleverna skriver tecken för tecken i dokumentet, som en film. Då syns det direkt om eleven klistrat in större textstycken utifrån.

Testprogram

Om du ändå är orolig om eleverna använt en AI finns det sätt att kontrollera texterna. Det finns mängder med olika siter som använder sig av olika testprogram för att se om en text är skriven av en AI. Många av dem klarar dock inte svenska. De flesta kostar pengar efter efter en testperiod eller efter att nog mycket text testats.

En gratisversion är Zero GPT. Den ger ofta felutslag på korta texter. Det finns ett känt exempel på när den testade sidan med tio Guds bud ur bibeln och merparten kom ut som skriven av en AI. Likaså har texter som jag själv skrivit och testat i Zero GPT gett utslag, men aldrig över 60%. Min egen uppfattning är att om elevens text är på minst 200 ord och Zero GPT ger ett utslag på 75% eller högre, så är texten skriven av en AI.

Humanizer

Elever är inte dumma. Precis som det finns testprogram finns det siter på Internet där det går att få texten omskriven så att olika testprogram inte ska ge utslag. Duktiga elevers texter brukar alltid ge lite utslag i testprogrammen, helt enkelt eftersom det är välskrivna texter. Har du en duktig elev som ständigt ligger på 0% på alla tester är det en indikation på att den eleven är så smart att den använder en AI men fixar till alla texterna efteråt.

AI som kontrollant

Ett enkelt sätt är att klistra in texten (anonymiserad) i en AI som ChatGPT och be den avgöra om den verkar vara skriven av en elev eller en AI, och vad grunden för bedömnningen ligger på.

Promptexempel

Du är lärare i svenska i grundskolan. Du har fått in texten TEXT från en elev som är 15 år och du misstänker att den skrivits av en AI. Gör en bedömning av texten och ge ett värde mellan 0 och 100 på hur stor andel av texten du tycker består av text skriven av en AI. 0 innebär att ingen del är skriven av en AI och 100 innebär att allt skrivits av en AI. Förklara dessutom varför du tycker att text verkar skriven av en AI ifall värdet är över 0. (TEXT) elevtext (/TEXT)

Fördelen med detta är att du använder en AI för att avslöja en AI. En elev som vet att du brukar kontrollera texter med tex. ZeroGPT kan aldrig justera texten så att den ger 0% utslag i ett testprogram.

AI som dubbelkontrollant

Ta en text, eller helst två: en prosatext och en sakprosatext, som du vet att en elev har skrivit i ett kontrollerat sammanhang. Ta sedan de två texterna och gör en jämförelse i en AI med den text du är misstänksam mot. På det viset kan du undvika felaktiga bedömningar i procent av ett arbete eftersom det är stilen som bedöms.

Promptexempel

Du är lärare i svenska i grundskolan och har en elev som är 15 år. Eleven har tidigare skrivit TESTTEXT1 och TESTTEXT2. Nu har du fått in texten TEXT från eleven och du misstänker att den skrivits av en AI. Gör en bedömning av TEXT och förklara om du tror att den är skriven av en AI och motivera även varför du tycker att TEXT verkar skriven av en AI, om du tror att någon annan än eleven skrivit TEXT. (TESTTEXT1) testtext1 (/TESTTEXT1) (TESTTEXT2) testtext2 (/TESTTEXT2) (TEXT) elevtext (/TEXT)

Färgkodning

Ibland kan man se mönster i texterna när meningarna färgkodas beroende på meningarnas längd. Här finns en sida med enkla färgkodningar av meningslängderna.

https://sites.google.com/view/ingemarstexttestare/startsida

AI tenderar att ligga på orange eller rött mest hela tiden, eftersom den oftast skriver meningar på 16+ ord. Elever skriver ofta endera extremt långa meningar utan punkt eller stor bokstav, eller meningar runt tio ord per mening (blå-grön på sidan).

Bedöm utan AI

Vill du komma bort helt och hållet från att bedöma texter genom att själv använda en AI, med alla risker det medför att ge felaktiga bedömningar, kan du använda flera andra "traditionella" bedömningar. ZeroGPT + LIX kan till exempel ge en rätt tydlig bild över om det är en text skriven av en AI eller en

LIX

Ett säkert kort är LIX-värdet. Du får lätt fram det genom att klistra in texten i en LIX-räkare: https://www.lix.se/index.php Ju längre text, ju säkrare värde.

Elevers LIX-värde i högstadiet överstiger sällan 35. Riktigt duktiga elever kan komma ända upp runt 50, speciellt i sakprosatexter. AI skriver nästan alltid på 50+. Det gör att det finns en viss risk att anklaga de duktigaste för att de använder AI eftersom värdet hamnar nära varandra.

Elever som är riktigt dålig apå svenska och som inte skriver ut stor bokstav eller punkt vid meningsbyten kan få LIX-värden över 100.

TTR

Längre ner på samma sida som LIX-räknaren finns TTR. Den ger felutslag på riktigt korta- och riktigt långa texter, men texter som elever skriver ligger sällan över 50% medan AI skrivna texter nästan alltid ligger över 50%.

OVIX

Samma gäller OVIX. Även den påverkas av längden på texten med högre värde ju längre texten är. Precis som med TTR skriver elever sällan texter som ligger över 50% medan AI skrivna texter nästan alltid ligger över 50%.

OVR

OVR slutligen är det bästa värdet. Här ligger AI-texter ofta över 90% medan de allra duktigaste eleverna sällan kommer över 80%, och oftast ligger runt 60%. Fördelen med OVR är att den inte påverkas av textlängden, även om den kan ge felvärden på riktigt korta texter.