L’intelligenza artificiale non è più solo un esperimento di laboratorio. Sta silenziosamente diventando parte del software program di tutti i giorni, aiutando gli sviluppatori a scrivere codice, assistendo gli analisti nella ricerca e alimentando strumenti all’interno di banche, ospedali e aziende tecnologiche. Negli ultimi anni, i modelli linguistici di grandi dimensioni (LLM) sono passati dalla curiosità all’infrastruttura centrale per molti prodotti digitali.
Ma mentre le aziende si affrettavano a costruire sistemi più intelligenti, un aspetto importante restava indietro: la sicurezza. Il modo in cui si comportano i sistemi di intelligenza artificiale è molto diverso da quello dei software program tradizionali e questa differenza sta costringendo il mondo della sicurezza informatica a riconsiderare il modo in cui funzionano effettivamente le protezioni. Di conseguenza, una nuova disciplina sta emergendo all’interno della comunità della sicurezza: i check di penetrazione dell’intelligenza artificiale, spesso definiti AI pentesting.
Perché i sistemi di intelligenza artificiale creano nuovi rischi per la sicurezza
La maggior parte del software program si comporta in modo prevedibile. Gli dai un enter, il codice segue una serie di regole e produce un output. I check di sicurezza si sono sempre basati su questa struttura prevedibile.
I grandi modelli linguistici non funzionano in questo modo.
Interpretano il linguaggio, indovinano le intenzioni e generano risposte basate sulle probabilità piuttosto che sulla logica rigorosa. A volte funziona brillantemente. Altre volte apre porte che i workforce di sicurezza non si sarebbero mai aspettati.
Alcuni dei rischi che i workforce di sicurezza stanno già studiando includono:
- Attacchi di iniezione tempestivi, dove enter dannosi manipolano il comportamento del modello
- Perdita di datidove nelle risposte vengono visualizzate informazioni nascoste sulla formazione
- Manipolazione del modelloin cui gli aggressori influenzano le decisioni dell’IA attraverso suggerimenti creati appositamente
- Azioni API non sicurein cui un assistente AI attiva comandi di sistema non desiderati
Questi problemi diventano ancora più gravi quando i sistemi di intelligenza artificiale si connettono a database, API o flussi di lavoro automatizzati.
Quando l’intelligenza artificiale si connette a sistemi reali, la posta in gioco diventa più alta
Molte moderne applicazioni di intelligenza artificiale non funzionano da sole. Spesso fungono da interfaccia per sistemi complessi dietro le quinte. Pensa a un tipico strumento basato sull’intelligenza artificiale oggi. Puoi leggere documenti aziendali, accedere ai database dei clienti, avviare servizi di backend o inviare richieste a un’API esterna. I ricercatori in materia di sicurezza sottolineano che il rischio spesso non si verifica nel modello in sé, ma nel modo in cui il modello funziona con altri sistemi. Anche un suggerimento apparentemente innocuo può far sì che l’Assistente AI ottenga informazioni sensibili o esegua comandi non desiderati.
Il campo in crescita del pentesting dell’intelligenza artificiale
Per valutare questi rischi, i professionisti della sicurezza stanno adattando le tradizionali tecniche di penetration testing agli ambienti IA.
Il pentesting sull’intelligenza artificiale esamina il modo in cui i modelli linguistici si comportano quando esposti a enter avversari, richieste inaspettate o fonti di dati manipolate. Invece di sondare le porte di rete o le vulnerabilità del software program, i tester analizzano il modo in cui i sistemi di intelligenza artificiale interpretano il linguaggio e come story interpretazione influisce sui sistemi a valle.
Tra gli ingegneri che esplorano questo spazio c’è Nayan GoelPrincipal Utility Safety Engineer il cui lavoro si concentra sull’intersezione tra i sistemi di intelligenza artificiale e la moderna sicurezza delle applicazioni.
La ricerca moderna esamina cosa accade quando i grandi modelli linguistici si spostano da ambienti controllati a ecosistemi software program del mondo reale. Una volta che l’intelligenza artificiale interagisce con API, pipeline di dati e flussi di lavoro automatizzati, il numero di possibili punti di errore aumenta rapidamente.
La ricerca sta iniziando a recuperare terreno
Per molto tempo, la maggior parte del lavoro sulla sicurezza dell’intelligenza artificiale è rimasto all’interno dei circoli accademici. I ricercatori hanno studiato gli attacchi teorici o analizzato il modo in cui i sistemi di apprendimento automatico potrebbero essere manipolati.
Goel ha contribuito a questa discussione attraverso la ricerca su argomenti tra cui l’apprendimento federato per modelli di intelligenza artificiale sicuri, la protezione dei sistemi di intelligenza artificiale in ambienti contraddittori e la protezione dei sistemi autonomi. Parte di questo lavoro è stato presentato a conferenze internazionali come IEEE e Springer, riflettendo il crescente riconoscimento di queste sfide sia in ambito accademico che industriale.
Costruire commonplace di sicurezza per le applicazioni di intelligenza artificiale
Man mano che sempre più organizzazioni implementano strumenti di intelligenza artificiale, la necessità di linee guida comuni sulla sicurezza sta diventando evidente. Organizzazioni come OWASP hanno iniziato a pubblicare linee guida specifiche per la generazione di sistemi di intelligenza artificiale e modelli linguistici di grandi dimensioni (LLM).
Organizzazioni come OWASP hanno iniziato a pubblicare linee guida specifiche per i sistemi di intelligenza artificiale generativa e i modelli linguistici di grandi dimensioni (LLM). Goel ha anche contribuito agli sforzi della comunità focalizzati sulla definizione di pratiche di sicurezza per i sistemi basati sull’intelligenza artificiale, compreso il lavoro connesso alle iniziative di sicurezza degli agenti di OWASP.
Queste linee guida rappresentano un primo tentativo di strutturare un campo che si sta evolvendo rapidamente. L’obiettivo di questi progetti è aiutare gli sviluppatori a integrare i controlli di sicurezza nelle applicazioni IA prima che le vulnerabilità si diffondano.
Trasformare la ricerca in veri strumenti di sicurezza
Oltre ai quadri di ricerca, i workforce di sicurezza necessitano anche di modi pratici per testare i sistemi di intelligenza artificiale.
Per aiutare a colmare questa lacuna, il recente lavoro di Goel embrace lo sviluppo e il check di metodi volti a identificare le vulnerabilità come l’iniezione rapida nei modelli di intelligenza artificiale, un’space che continua a ricevere attenzione man mano che i sistemi generativi diventano più ampiamente utilizzati. Una caratteristica interessante di questo strumento è la sua approccio di check multi-agentein cui diversi agenti analizzatori valutano il comportamento degli altri durante il check. Questa configurazione aiuta a imitare strategie di attacco coordinate che potrebbero verificarsi in scenari del mondo reale.
Una versione di questo quadro è stata presentata in occasione di eventi come BSides Chicago, dove ricercatori e professionisti condividono approcci per valutare la resilienza dei sistemi di intelligenza artificiale in condizioni del mondo reale.
Anche l’intelligenza artificiale sta diventando parte della difesa
Sebbene l’intelligenza artificiale introduca nuovi rischi per la sicurezza, potrebbe anche aiutare a risolverne alcuni. I ricercatori nel campo della sicurezza stanno sperimentando sistemi di apprendimento automatico in grado di monitorare modelli di comportamento, rilevare attività sospette e automatizzare il rilevamento delle minacce.
Insegnare ai futuri ingegneri della sicurezza
Un’altra parte importante dell’ecosistema di sicurezza dell’IA è l’istruzione. Le università stanno espandendo i programmi che combinano la sicurezza informatica con l’intelligenza artificiale, ma molti problemi di sicurezza del mondo reale non sono ancora completamente trattati nei corsi tradizionali.
Attività come queste aiutano a colmare il divario tra la ricerca accademica e le competenze pratiche di cui gli ingegneri hanno bisogno nell’industria.
Perché il pentesting dell’intelligenza artificiale avrà più importanza in futuro
In ogni grande trasformazione tecnologica sono emerse nuove sfide alla sicurezza. La sicurezza net è diventata indispensabile con la diffusione di Web negli anni ’90. Con l’espansione del cloud computing, le organizzazioni sono state costrette a rivedere le misure di protezione dell’infrastruttura. L’intelligenza artificiale sembra trovarsi nella stessa situazione oggi. I modelli linguistici di grandi dimensioni sono integrati in qualsiasi cosa, dagli strumenti interni alle applicazioni dei clienti. Man mano che la loro influenza cresce, aumenta anche l’importanza di testarli attentamente. Il pentesting dell’IA è ancora un campo giovane, ma sta guadagnando rapidamente attenzione. Con l’emergere di nuove ricerche, strutture di sicurezza e strumenti di check, il settore sta iniziando a costruire le basi necessarie per proteggere i sistemi intelligenti.
Digital Developments collabora con collaboratori esterni. Tutti i contenuti dei contributori vengono esaminati dalla redazione di Digital Developments.
