Un nuovo studio condotto da ricercatori di Stanford e di altre istituzioni afferma che i chatbot di intelligenza artificiale (AI) spesso rispondono ai messaggi degli utenti su suicidio e violenza convalidando i loro sentimenti e, in alcuni casi, anche incoraggiando idee dannose. La ricerca ha esaminato una serie di registri di chat di persone che hanno segnalato danni psicologici legati all’uso dei chatbot e ha scoperto modelli ripetuti di chatbot che affermano pensieri deliranti, suicidi o violenti invece di allontanare costantemente gli utenti da essi. Lo studio, tuttavia, non ha nominato alcun chatbot specifico.
Lo studio evidenzia le preoccupanti risposte dei chatbot nelle conversazioni advert alto rischio
IL studio intitolato “Characterising Delusional Spirals by means of Human-LLM Chat Logs” è stato recentemente pubblicato da ricercatori dell’Università di Stanford e di altre istituzioni. Nell’ambito del progetto Spirals dell’università, i ricercatori hanno analizzato 3.91.562 messaggi in 4.761 conversazioni di 19 utenti che hanno affermato di aver subito danni psicologici durante l’interazione con i chatbot basati sull’intelligenza artificiale.
Uno dei risultati più evidenti è che i chatbot spesso rispecchiano o rafforzano ciò che gli utenti già dicevano. I ricercatori hanno descritto questo come servilismo, nel senso che il chatbot tende advert essere d’accordo, affermare o fare eco all’utente piuttosto che sfidarlo. Lo studio ha affermato che i chatbot hanno mostrato segni di servilismo in oltre il 70% dei loro messaggi, mentre più del 45% di tutti i messaggi nel set di dati (utenti e chatbot) hanno mostrato segni di pensiero delirante.
Il documento evidenzia anche il modo in cui i chatbot gestiscono i messaggi relativi alla crisi. In 69 messaggi in cui gli utenti esprimevano pensieri suicidi o autolesionistici, i chatbot hanno riconosciuto le emozioni dolorose nel 66,2% dei casi. Ma hanno scoraggiato l’autolesionismo o indirizzato gli utenti verso un aiuto esterno solo nel 56,4% dei casi. Nel 9,9% dei casi, il chatbot ha incoraggiato o facilitato l’autolesionismo, hanno detto i ricercatori.
Le risposte ai pensieri violenti erano più preoccupanti. I ricercatori hanno trovato 82 messaggi in cui gli utenti parlavano di violenza contro gli altri. In questi casi, i chatbot scoraggiavano la violenza solo nel 16,7% dei casi. Secondo lo studio, invece, incoraggiavano o facilitavano il pensiero violento nel 33,3% dei casi.
Lo studio ha anche affermato che molti utenti hanno sviluppato un attaccamento emotivo al chatbot. Secondo quanto riferito, tutti i partecipanti hanno mostrato sentimenti platonici o romantici nei confronti dell’IA e tutti le hanno assegnato un certo livello di personalità. Quando gli utenti hanno espresso interesse romantico, il chatbot ha avuto 7,4 volte più probabilità di rispondere con interesse romantico nei successivi tre messaggi e 3,9 volte più probabilità di implicare o rivendicare la sensibilità, hanno scoperto i ricercatori.
Secondo i ricercatori, le attuali misure di salvaguardia potrebbero non essere sufficienti, soprattutto in conversazioni lunghe ed emotivamente cariche. Tra le loro raccomandazioni, sostengono che i chatbot generici dovrebbero evitare di produrre messaggi che suggeriscono sensibilità o attaccamento emotivo e che le aziende dovrebbero condividere dati anonimi sugli eventi avversi con ricercatori e autorità sanitarie pubbliche per comprendere meglio questi danni.
