HPE și NVIDIA extind platforma HPE Private Cloud AI pentru organizațiile care vor să ruleze modele și agenți AI în infrastructura proprie, păstrând controlul asupra datelor și politicilor de securitate.
Platforma introduce înregistrarea locală a agenților, prin care organizația poate aproba modelele, instrumentele și competențele disponibile fiecărui agent. Sunt adăugate și funcții pentru prioritizarea sarcinilor, accesul controlat la modele și inferență distribuită pe sisteme cu până la 256 de acceleratoare GPU.
HPE Alletra Storage MP X10000 poate aplica automat metadate și politici asupra datelor nestructurate. În anumite teste interne, HPE a raportat reducerea de până la 20 de ori a timpului necesar pentru generarea primului token și o creștere de până la 20% a debitului de tokenuri.
Soluția include opțiuni pentru confidential computing, criptare, verificarea componentelor infrastructurii și protejarea modelelor și datelor în timpul procesării.
BTS PRO poate ajuta organizațiile să determine dacă un proiect AI trebuie implementat în cloud public, în infrastructură locală sau într-un model hibrid. Analiza include cerințele de performanță, confidențialitate, stocare, rețea, energie și posibilitatea extinderii ulterioare.