Applen tutkijaryhmä on kehittänyt uuden kehyksen korkearesoluutioiselle 3D-näkymän renderöinnille, joka tunnetaan nimellä LGTM (Less Gaussians, Texture More). Tämä kehys käsittelee olemassa olevien 3D Gaussian Splatting -menetelmien tehottomuutta, jotka kamppailevat korkean resoluution kanssa.
Kun resoluutio kasvaa, perinteisistä eteenpäinkytkentämenetelmistä tulee kustannuksia estäviä, mikä estää korkearesoluutioisen 3D-näkymän luomisen. LGTM pyrkii parantamaan olemassa olevien järjestelmien ominaisuuksia erottamalla geometrisen monimutkaisuuden renderöintiresoluutiosta, mikä mahdollistaa yksinkertaisemman geometrian ja lisäämällä yksityiskohtaisia pintakuvioita.
LGTM-kehys perustuu aiemmin luotuihin eteenpäinsyöttömenetelmiin kerrostamalla tekstuurin ennusteita geometristen rakenteiden päälle. Tutkijat kouluttivat mallia käyttämällä matalaresoluutioisia kuvia, jotka vahvistettiin korkearesoluutioisia pohjatotuuksia vastaan, varmistaen, että luotu geometria pysyi tarkana. Lisäksi toinen verkko, joka keskittyy korkearesoluutioisten kuvien yksityiskohtaisiin pintakuvioihin, mahdollistaa järjestelmän tuottavan visuaalisesti täyteläisiä tuloksia.
Tämä innovaatio voi vaikuttaa merkittävästi Apple Vision Pro -kuulokkeisiin, joissa on yhteensä noin 23 miljoonan pikselin näyttö. Nykyiset eteenpäinsyöttömenetelmät kohtaavat rajoituksia näin korkeissa resoluutioissa, mikä johtaa laskennallisiin pullonkauloihin luotaessa kohtauksia nopeasti ja tarkasti. LGTM voisi helpottaa suorituskykyä ja terävämpää grafiikkaa sovelluksissa, jotka vaativat korkearesoluutioisen kohtauksen renderöinnin.
Ottamalla käyttöön LGTM:n Apple voi tarjota käyttäjille mukaansatempaavampia ympäristöjä ja parempia läpivientikokemuksia ja samalla vähentää käsittelyvaatimuksia. LGTM-projektisivulla on esittelymenetelmiä, kuten NoPoSplat, DepthSplat ja Flash3D, jotka esittelevät parempia tuloksia aikaisempiin tekniikoihin verrattuna.
Esimerkkivideot ja -kuvat projektista havainnollistavat LGTM:n kykyä tarjota rikkaampia yksityiskohtia ja tuloksia lähempänä korkearesoluutioisia totuuksia, mikä osoittaa sen mahdolliset edut käytännön sovelluksissa.
