NVIDIA: n tukeman aloittama Enfabrica on ottanut käyttöön EMFASYS -järjestelmänsä, joka on suunniteltu lisäämään palvelimen muistikapasiteettia vaatimaan AI -päätelmän työmääriä. EMFASYS-järjestelmä tarjoaa jopa 18 Tt ylimääräistä DDR5-muistia palvelimille Ethernet-sovelluksen kautta, joka käsittelee muistipullonkaulaa, jota usein esiintyy suurten AI-sovelluksissa.
Telineyhteydessä oleva Emfasys-järjestelmä hyödyntää Enfabrican ACF-S Supernicia, jossa on 3,2 TB/s (400 GB/s). Tämä järjestelmä yhdistää DDR5-muistin CXL-ominaisuuksilla, jolloin 4-suuntainen ja 8-suuntainen GPU-palvelimet pääsevät muistipooliin vakiona 400 g tai 800 g ethernet-porttien kautta. Yhteys riippuu etäkäytön REDOR -muisti -pääsystä (RDMA) Ethernetissä, mikä helpottaa saumattomia integraatioita olemassa olevaan AI -palvelininfrastruktuuriin.
Tiedonsiirto GPU-palvelimien ja EMFASYS-muistipoolin välillä hyödyntää RDMA: ta, mikä mahdollistaa nollakopion, matalan viiveen muistin pääsyn (mitattu mikrosekunnissa) ilman CPU-interventiota käyttämällä CXL.MEM-protokollaa. Pääsy Emfasys-muistipooliin vaatii Enfabrican tarjoaman muistin asentamisohjelmiston, joka hallinnoi siirtoviiveitä ja muita siihen liittyviä ongelmia. Tämä ohjelmisto on suunniteltu toimimaan olemassa olevissa laitteisto- ja käyttöjärjestelmissä ympäristöissä, jotka perustuvat vakiintuneisiin RDMA -rajapintoihin käyttöönoton yksinkertaistamiseksi välttämättä suuria arkkitehtonisia muutoksia.
Enfabrican Emfasys on erityisesti räätälöity vastaamaan nykyaikaisten AI -sovellusten, etenkin niiden, jotka liittyvät pitkiin kehoihin, suuriin kontekstiikkunoihin tai useisiin aineisiin, kasvaviin muistin vaatimuksiin. Nämä sovellukset aiheuttavat merkittävää rasitusta GPU: n kiinnitetylle HBM: lle, jota sekä kapasiteetti on rajoitettu että kallis. Käyttämällä ulkoista muistipoolia, tietokeskuksen operaattorit saavat joustavuuden laajentaa yksittäisten AI -palvelimien muistikapasiteettia, mikä tekee siitä sopivan ratkaisun näihin haastaviin skenaarioihin.
Hyväksymällä Emfasys -muistipoolin AI -palvelinoperaattorit voivat parantaa tehokkuutta parantamalla laskentaresursseja, vähentämällä kallista GPU -muistia ja vähentämällä yleistä infrastruktuurikustannusten vähentämistä. Enfabrica väittää, että tämä kokoonpano voi vähentää AI: n luomista kohden kustannuksia jopa 50%: lla korkean käännöksen ja pitkän kontekstin skenaarioissa. Lisäksi tunnuksen sukupolven tehtävät voidaan jakaa tasaisemmin palvelimien välillä, mikä lieventää potentiaalisia pullonkauloja.
”AI-päätelmillä on muistin kaistanleveyden skaalausongelma ja muistimarginaalin pinoamisongelma”, sanoi Enfabrican toimitusjohtaja Rochan Sankar. ”Kun päätelmät saavat agenttisemman verrattuna keskusteluun, pidättävämmäksi verrattuna unohtamaan, nykyiset muistin pääsyn skaalausmenetelmät eivät pidä. Rakensimme emfasysia joustavan, telineen mittakaavan AI-muistin kankaan luomiseksi ja ratkaisemaan nämä haasteet tavalla, jota ei ole tehty ennen. Asiakkaat ovat innostuneita kumppaniksi kanssamme parempaan säveltäviin.”
EMFASYS AI -muistikangasjärjestelmä ja 3,2 TB/S ACF -supernic -siru ovat parhaillaan arviointia ja valittuja asiakkaita. Yleisen saatavuuden aikajana on edelleen epäselvä.
Enfabrica on Ultra Ethernet -konsortion (UEC) neuvoa -antava jäsen ja se myötävaikuttaa Ultra Accelerator Link (Ualink) -konsortioon.
Source: NVIDIA-Backed Enfabrica lisää 18 kt Ethernet-palvelimien kautta
