Ecco un pensiero scomodo per ogni istituzione accademica che attualmente utilizza rilevatori di intelligenza artificiale per monitorare le proposte di studenti e ricercatori: gli strumenti non funzionano in modo così affidabile come le istituzioni presumono.
Una carta presentato al Simposio IEEE 2026 sulla sicurezza e la privateness di questa settimana, i ricercatori dell’Università della Florida concludono che i rilevatori di testo generati dall’intelligenza artificiale disponibili in commercio sono “poco adatti per l’implementazione in contesti accademici o advert alto rischio”.
Questo è un modo educato per dire che le università stanno prendendo decisioni che alterano la carriera sulla base dei risultati di strumenti che sono essenzialmente inaffidabili.
Cosa ha effettivamente scoperto la ricerca?
Patrick Traynor, Ph.D., professore e presidente advert interim del Dipartimento di informatica, scienza e ingegneria dell’informazione dell’UF, ha guidato un group che ha testato i cinque rilevatori di testo AI più popolari disponibili in commercio.
Utilizzando circa 6.000 documenti di ricerca presentati a conferenze sulla sicurezza di alto livello prima ancora dell’arrivo di ChatGPT, hanno chiesto ai LLM di creare cloni di quegli stessi documenti e quindi di eseguire entrambi i set attraverso i rilevatori di intelligenza artificiale.
I risultati hanno mostrato tassi di falsi positivi compresi tra lo 0,05% e il 68,6% e, cosa ancora più sorprendente, tassi di falsi negativi compresi tra lo 0,3% e il 99,6%. La cifra superiore è vicina al 100%, il che significa che il rilevatore con le prestazioni peggiori ha mancato praticamente tutto il testo generato dall’intelligenza artificiale.
Sebbene due dei cinque rilevatori inizialmente funzionassero bene, sono stati resi in gran parte inutilizzabili dopo che i ricercatori hanno chiesto al LLM di riscrivere i suoi risultati utilizzando un vocabolario più complesso (il documento lo definisce un attacco alla complessità lessicale).
Perché questo è importante oltre l’integrità accademica?
Traynor lo ha detto chiaramente: “Non possiamo davvero usarli per giudicare queste decisioni. Qui sono in gioco le carriere delle persone”. Un’accusa di scrittura generata dall’intelligenza artificiale in una presentazione può danneggiare in modo permanente la reputazione di un ricercatore, ma non possiamo riporre una fiducia cieca negli strumenti che lanciano tali accuse.
La tesi è che le show sull’uso diffuso dell’intelligenza artificiale nella scrittura accademica sono di per sé inaffidabili. “Per tutti gli studi che sostengono che una certa percentuale del lavoro accademico è generata dall’intelligenza artificiale, in realtà non disponiamo di strumenti per misurare nulla di tutto ciò”, ha aggiunto Traynor.
La sua ricerca non si limita a criticare gli strumenti; mette in luce un fallimento sistemico della due diligence da parte di ogni istituzione che ha adottato questi strumenti senza chiedere show sulla loro accuratezza.
