L’insider di Fb crea moderazione dei contenuti per l’period dell’intelligenza artificiale

Quando Brett Levenson lasciò Apple nel 2019 per guidare l’integrità aziendale presso Fb, il colosso dei social media period nel bel mezzo delle ricadute di Cambridge Analytica. All’epoca pensava di poter semplicemente risolvere il problema della moderazione dei contenuti di Fb con una tecnologia migliore.

Il problema, apprese rapidamente, period più profondo della tecnologia. Ci si aspettava che i revisori umani memorizzassero un documento politico di 40 pagine che period stato tradotto automaticamente nella loro lingua, ha detto. Quindi hanno avuto circa 30 secondi per ogni contenuto segnalato per decidere non solo se quel contenuto violava le regole, ma cosa fare al riguardo: bloccarlo, bannare l’utente, limitare la diffusione. Secondo Levenson, quelle chiamate rapide erano solo “leggermente migliori del 50% di precisione”.

“Period un po’ come lanciare una moneta, verificare se i revisori umani potessero effettivamente affrontare le politiche correttamente, e questo avvenne comunque molti giorni dopo che il danno si period già verificato”, ha detto Levenson a TechCrunch.

Questo tipo di approccio ritardato e reattivo non è sostenibile in un mondo di attori avversari agili e ben finanziati. L’ascesa dei chatbot basati sull’intelligenza artificiale non ha fatto altro che aggravare il problema, poiché gli errori di moderazione dei contenuti hanno provocato una serie di incidenti di alto profilo, come i chatbot che forniscono agli adolescenti indicazioni sull’autolesionismo o immagini generate dall’intelligenza artificiale che eludono i filtri di sicurezza.

La frustrazione di Levenson ha portato all’thought della “politica come codice”, un modo per trasformare i documenti politici statici in una logica eseguibile e aggiornabile strettamente collegata all’applicazione. Questa intuizione ha portato alla fondazione di Moonbounce, che venerdì ha annunciato di aver raccolto 12 milioni di dollari in finanziamenti, ha appreso in esclusiva TechCrunch. Il spherical è stato co-gestito da Amplify Companions e StepStone Group.

Moonbounce collabora con le aziende per fornire un ulteriore livello di sicurezza ovunque vengano generati contenuti, sia da un utente che dall’intelligenza artificiale. L’azienda ha addestrato il proprio modello linguistico di grandi dimensioni per esaminare i documenti relativi alle politiche del cliente, valutare il contenuto in fase di esecuzione, fornire una risposta in 300 millisecondi o meno e agire. A seconda delle preferenze del cliente, story azione potrebbe sembrare che il sistema di Moonbounce rallenti la distribuzione mentre il contenuto attende una revisione umana in un secondo momento, oppure potrebbe bloccare sul momento i contenuti advert alto rischio.

Oggi Moonbounce serve tre verticali principali: piattaforme che si occupano di contenuti generati dagli utenti come app di appuntamenti; Aziende di intelligenza artificiale che costruiscono personaggi o compagni; e generatori di immagini AI.

Moonbounce supporta più di 40 milioni di recensioni giornaliere e serve oltre 100 milioni di utenti attivi ogni giorno sulla piattaforma, ha affermato Levenson. Tra i clienti figurano la startup Channel AI, la società di generazione di immagini e video Civitai e le piattaforme di gioco di ruolo dei personaggi Dippy AI e Moescape.

“La sicurezza può effettivamente essere un vantaggio del prodotto”, ha dichiarato Levenson a TechCrunch. “Non lo è mai stato perché è sempre qualcosa che accade dopo, non qualcosa che puoi effettivamente integrare nel tuo prodotto. E vediamo che i nostri clienti stanno trovando modi davvero interessanti e innovativi per utilizzare la nostra tecnologia per rendere la sicurezza un elemento di differenziazione e parte della storia del loro prodotto.”

Il responsabile della fiducia e della sicurezza di Tinder recentemente spiegato come la piattaforma di incontri utilizza questi tipi di servizi basati su LLM per raggiungere un miglioramento di 10 volte nella precisione dei rilevamenti.

“La moderazione dei contenuti è sempre stata un problema che affliggeva le grandi piattaforme on-line, ma ora con i LLM al centro di ogni applicazione, questa sfida è ancora più scoraggiante”, ha affermato in una nota Lenny Pruss, socio generale di Amplify Companions. “Abbiamo investito in Moonbounce perché immaginiamo un mondo in cui i guardrail oggettivi e in tempo reale diventino la spina dorsale di ogni applicazione mediata dall’intelligenza artificiale”.

Le aziende di intelligenza artificiale si trovano advert affrontare una crescente pressione legale e reputazionale dopo che i chatbot sono stati accusati di spingere adolescenti e utenti vulnerabili verso l’informatica suicidio e per creare sono stati utilizzati generatori di immagini come Grok di xAI non consensuale immagini di nudo. Chiaramente, i guardrail di sicurezza interni stanno fallendo e sta diventando una questione di responsabilità. Levenson ha affermato che le aziende di intelligenza artificiale cercano sempre più aiuto al di fuori delle proprie mura per rafforzare le infrastrutture di sicurezza.

“Siamo una terza parte che si trova tra l’utente e il chatbot, quindi il nostro sistema non è inondato di contesto come lo è la chat stessa”, ha affermato Levenson. “Il chatbot stesso deve ricordare, potenzialmente, decine di migliaia di token precedenti… La nostra unica preoccupazione è far rispettare le regole in fase di esecuzione.”

Levenson gestisce l’azienda composta da 12 persone insieme al suo ex collega Apple Ash Bhardwaj, che in precedenza aveva costruito infrastrutture cloud e AI su larga scala per le offerte principali del produttore di iPhone. Il loro prossimo obiettivo è una capacità chiamata “guida iterativa”, sviluppata in risposta a casi come il suicidio nel 2024 di un ragazzo della Florida di 14 anni che divenne ossessionato da un chatbot basato sull’intelligenza artificiale dei personaggi. Invece di un netto rifiuto quando emergono argomenti dannosi, il sistema intercetterebbe la conversazione e la reindirizzerebbe, modificando le istruzioni in tempo reale per spingere il chatbot verso una risposta più attivamente di supporto.

“Speriamo di essere in grado di aggiungere al nostro toolkit di azioni la capacità di guidare il chatbot in una direzione migliore per, essenzialmente, prendere il suggerimento dell’utente e modificarlo per costringere il chatbot a essere non solo un ascoltatore empatico, ma un ascoltatore utile in quelle situazioni”, ha detto Levenson.

Quando gli è stato chiesto se la sua strategia di uscita prevedesse un’acquisizione da parte di un’azienda come Meta, chiudendo il cerchio del suo lavoro sulla moderazione dei contenuti, Levenson ha affermato di riconoscere quanto Moonbounce si adatterebbe bene allo stack del suo vecchio datore di lavoro, così come i suoi doveri fiduciari come CEO.

“I miei investitori mi ucciderebbero se dicessi questo, ma detesterei vedere qualcuno comprarci e poi limitare la tecnologia”, ha detto. “Tipo, ‘Okay, questo è nostro adesso, e nessun altro potrà trarne beneficio.'”