Nell’ultimo anno più di 22 milioni di temi e saggi scolastici potrebbero essere stati scritti almeno parzialmente da strumenti di intelligenza artificiale generativa, stando ai nuovi dati diffusi dalla società di rilevamento dei plagi accademici Turnitin.
Un anno fa, l’azienda ha lanciato uno sistema in grado di rilevare i testi scritti dall’AI, che è stato addestrato utilizzando documenti scritti da studenti e altri testi generati dall’intelligenza artificiale a disposizione di Turnitin. Il tool, che per ora funziona solo sui contenuti in inglese, ha esaminato più di 200 milioni di documenti, realizzati prevalentemente da studenti universitari e delle scuole superiori. La società ha riscontrato che 22 milioni di testi (l’11% del totale) potrebbero essere stati scritti per il 20% dall’AI, quota che sale addirittura all’80% in sei milioni di documenti il 3% del campione. Turnitin, controllata da Advance, l’azienda che possiede anche Condé Nast, sottolinea che il suo strumento ha un tasso di falsi positivi inferiore all’1%.
Il lancio di ChatGPT ha immediatamente scatenato timori per l’imminente morte dei temi scolastici. Il chatbot di OpenAI è in grado di sintetizzare le informazioni e di offrire risposte quasi istantaneamente, ma questo non significa che ci azzecchi sempre. E’ ormai risaputo che i sistemi di intelligenza artificiale generativa soffrono di allucinazioni, un problema che li porta a inventarsi fatti di sana pianta e citare riferimenti accademici che in realtà non esistono. I chatbot poi sono stati anche sorpresi a riprodurre pregiudizi su genere ed etnia nelle loro risposte.
Nonostante questi difetti, gli studenti stanno utilizzando i chatbot per cercare informazioni, organizzare le idee e come ghostwriter. Ma tracce dell’utilizzo dell’AI sono state trovate addirittura all’interno di scritti accademici pubblicati e sottoposti a revisione paritaria.
Comprensibilmente, gli insegnanti vogliono che gli studenti rispondano delle loro azioni quando usano l’AI generativa senza autorizzazione o senza comunicarlo. Ma per fare in modo che questo accada serve un mezzo affidabile. A volte i professori hanno fatto ricorso a soluzioni creative, utilizzando metodi confusionari e non collaudati per far rispettare le regole. A complicare ulteriormente il quadro, in alcuni casi sono gli stessi insegnanti a sfruttare l’AI generativa nei processi di valutazione.
A differenza di un plagio, individuare i casi in cui viene utilizzata l’AI generativa è complicato, perché ci si trova comunque davanti a un testo originale. Ma ci sono anche altre sfumature che vanno tenute in considerazione: se da una parte alcuni studenti possono chiedere ai chatbot di scrivere gran parte o la totalità di un testo, altri potrebbero rivolgersi a questi strumenti per avere un aiuto in più o per fare brainstorming.
Come se non bastasse, non ci sono solo ChatGPT e gli altri modelli linguistici di grandi dimensioni a tentare gli studenti. Alla lista vanno aggiunti anche i cosiddetti word spinner, software AI in grado di riscrivere i testi e che possono essere più difficili da individuare per un insegnante. Annie Chechitelli, chief product officer di Turnitin, dichiara che «il tool dell’azienda è stato aggiornato in modo da rilevare i word spinner, e che può segnalare anche i testi riscritti da servizi come Grammarly, il correttore ortografico dei testi in inglese che ora dispone di un suo strumento di AI generativa. In un periodo in cui i software familiari aggiungono sempre più funzioni di intelligenza artificiale generativa, il confine tra ciò che gli studenti possono o non possono usare diventa più confuso».
Ma anche gli strumenti di rilevamento sono soggetti a errori, che spesso prendono di mira soprattutto gli studenti di lingua inglese. Uno studio del 2023 ha per esempio riscontrato un tasso di falsi positivi del 61,3% nella valutazione degli esami del Toefl (Test of english as a foreign language, una delle più conosciute certificazioni del livello di inglese) da parte di sette diversi rilevatori di AI.
«Le scuole hanno avuto accesso al software di rilevamento dell’intelligenza artificiale di Turnitin per un periodo di prova gratuito, terminato all’inizio di quest’anno – spiega Chechitelli che – la maggior parte dei clienti dell’azienda ha poi scelto di acquistare lo strumento. I rischi di falsi positivi e di bias hanno però spinto alcune università a mettere momentaneamente da parte questi strumenti».
La Montclair state university del New Jersey, per esempio, ha annunciato a novembre che avrebbe sospeso l’uso del rilevatore AI di Turnitin, ricalcando quanto fatto dalla Vanderbilt university e dalla Northwestern la scorsa estate.
Secondo Chechitelli «lo strumento Turnitin non dovrebbe essere l’unico fattore a determinare il voto di un tema o di un elaborato, ma andrebbe visto come uno strumento utile per dare il via a conversazioni tra studenti e insegnanti sulle le sfumature legate all’uso dell’IA generativa. Le persone non sanno bene dove dovrebbe essere il confine», conclude.