Niv-AI esce in modalità stealth per ottenere maggiori prestazioni energetiche dalle GPU

L’elettricità è una materia prima fondamentale per l’intelligenza artificiale, ma le nuove tecniche di elaborazione superano la capacità degli operatori dei knowledge heart di gestire il loro rapporto con la rete elettrica, costringendoli a rallentare fino al 30%.

“C’è così tanta energia sprecata in queste fabbriche di intelligenza artificiale”, ha detto il CEO di Nvidia Jensen Huang durante un discorso alla conferenza annuale dei clienti GTC dell’azienda. “Ogni watt inutilizzato rappresenta una perdita di fatturato”, ha affermato l’azienda durante la presentazione annuale.

Oggi avvio Niv-AI è emersa di nascosto con un finanziamento iniziale di 12 milioni di dollari per risolvere questo problema misurando con precisione il consumo energetico della GPU con nuovi sensori e sviluppando strumenti per gestirlo in modo più efficiente.

La startup con sede a Tel Aviv è stata fondata lo scorso anno dal CEO Tomer Timor e dal CTO Edward Kizis ed è supportata da Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Ahead e Aurora Capital Companions. La società ha rifiutato di condividere la sua valutazione.

Poiché i laboratori di frontiera utilizzano migliaia di GPU insieme per addestrare ed eseguire modelli avanzati, si verificano frequenti picchi di richiesta di energia su scala millisecondo mentre i processori passano da un’attività di calcolo alla comunicazione con altre GPU.

Questi picchi rendono difficile per i knowledge heart gestire l’energia che attingono dalla rete. Per evitare di rimanere senza elettricità sufficiente, i knowledge heart pagano per lo stoccaggio temporaneo di energia per coprire i picchi di energia o limitare l’utilizzo della GPU. Entrambi i casi riducono il ritorno sugli investimenti in chip costosi.

“Non possiamo continuare a costruire knowledge heart nel modo in cui li costruiamo adesso”, ha affermato Lior Handelsman, associate di Grove Ventures e membro del consiglio di amministrazione di Niv.

Il primo passo nella roadmap di Niv è capire cosa sta succedendo; l’azienda sta ora implementando sensori a livello di rack che rilevano il consumo di energia a livello di millisecondo sulle GPU di sua proprietà e insieme ai associate di progettazione. L’obiettivo è comprendere i profili di potenza specifici delle numerous attività di deep studying e sviluppare tecniche di mitigazione che consentano ai knowledge heart di sbloccare una parte maggiore della loro capacità esistente.

Naturalmente, gli ingegneri si aspettano di creare un modello di intelligenza artificiale sui dati raccolti, con l’obiettivo di addestrarlo a prevedere e sincronizzare i carichi di energia nel knowledge heart: un “copilota” per gli ingegneri del knowledge heart.

Niv-AI prevede di avere un sistema operativo in una manciata di knowledge heart statunitensi nei prossimi sei-otto mesi. È un’concept interessante poiché gli hyperscaler che tentano di costruire nuovi knowledge heart si trovano advert affrontare difficoltà nell’uso del territorio e intoppi nella catena di fornitura. I fondatori vedono il loro prodotto finale come uno “strato di intelligenza” mancante tra i knowledge heart e la rete elettrica.

“La rete ha effettivamente paura che il knowledge heart consumi troppa energia in un momento specifico”, ha detto Timor a TechCrunch. “Il problema che stiamo esaminando è un problema su due lati della corda. Uno è cercare di aiutare i knowledge heart a utilizzare più GPU e, si spera, a sfruttare di più l’energia per cui stanno già pagando. D’altra parte, si possono anche creare profili energetici molto più responsabili tra i knowledge heart e la rete.”