Ohjelmistosuunnittelija Amer S, Google Researchin tutkija Amer S, ilmoittivat 12. syyskuuta 2025 Vaultgemman, joka merkitsee sitä kaikkein kykenevänä kielimallina, joka on koulutettu tyhjästä differentiaalisella yksityisyydellä (DP). Tämä kehitys tulee keskeisellä hetkellä, kun tekoäly läpäisee yhä enemmän jokapäiväistä elämää ja herättää kiireellisiä vaatimuksia yksityisyyden suojakeskeisistä malleista. Erilaiset yksityisyyden suojaa koskevat nämä huolenaiheet sisällyttämällä kalibroidun kohinan koulutusprosesseihin estääksesi malleja muistamasta arkaluontoisia tietoja. DP: n toteuttaminen suurissa kielimalleissa (LLMS) asettaa kuitenkin merkittäviä haasteita, mukaan lukien häiriöt koulutuksen vakauteen, suurempien eräkokojen tarve ja lisääntyneet laskennalliset kustannukset. Nämä kompromissit muuttavat perinteisiä skaalauslakeja, jotka hallitsevat AI-suorituskykyä, mikä tekee välttämättömänä heidän dynamiikansa ymmärtämiseksi tehokkaan yksityisen AI-kehityksen kannalta. Ilmoituksessa korostetaan yhteistyötutkimusta, jonka otsikko on ”Erilaisten yksityisten kielimallien skaalauslakeja”, jotka tehdään yhteistyössä Google Deepmindin kanssa. Tämä tutkimus vahvistaa tarkkoja yhtälöitä, jotka mallinnuttavat monimutkaisia kompromisseja laskennallisten resurssien, yksityisyystakausten ja malli-apuohjelmien välillä. Keskittymällä kohina-erisuhteeseen-keskeiseen mittariin, jossa verrataan yksityisyyden aiheuttamaa melua eräkokoihin-tutkimus yksinkertaistaa näiden tekijöiden monimutkaista vuorovaikutusta. Ydintieto on, että mallin suorituskyky DP -koulutuksessa määritetään pääasiassa tällä suhteella, jolloin tutkijat voivat ennustaa optimaalisia kokoonpanoja koulutushäviön minimoimiseksi, kun otetaan huomioon laskenta-, yksityisyyden ja tietobudjettien rajoitukset. Näiden skaalauslakien perustana olevat kokeet kattoivat erilaisia malliskokoja ja meluerasuhteita, mikä vahvisti suhteen keskeisen roolin. Tuloksena oleva kehysmallit menetys mallin koon, koulutustoistojen lukumäärän ja melu-välisen suhteen, joka tarjoaa virtaviivaisen työkalun harjoittajille. Tämä lähestymistapa voittaa kaikkien mahdollisten yhdistelmien testaamisen eksponentiaalisen monimutkaisuuden hyödyntämällä deterministisiä suhteita ja empiiristä tietoa. Esimerkiksi lait mahdollistavat kyselyt, kuten kiinteän laskentabudjetin parhaan asennuksen määrittäminen, tietosuojataso (mitattu Epsilonilla, ε) ja tiedon määrän saavuttamiseksi pienimmän tappion saavuttamiseksi. Tutkimuksen erottuva havainto on budjettien synergistinen suhde. Pelkästään tietosuojabudjetin lisääminen tuottaa vähenevän kohinan-erä -suhteen tuottoja, ellei siihen liity laskennat (mitattu liukulukujen operaatioissa tai floppeissa) tai data (rahakkeet). Tutkimuksen visualisoinnit kuvaavat, kuinka optimaaliset kokoonpanot vaihtavat: Tiukempien yksityisyyden suojaa koskevissa rajoituksissa resurssit saattavat suositella suurempia eräkokoja suurempien mallejen verrattuna, kun taas enemmän iteraatioita voi olla parempia tietojen rajoitetuissa skenaarioissa. Erityisesti analyysi paljastaa joustavuuden asetuksissa; Mallikoko voi tuottaa vertailukelpoista apuohjelmaa pariksi viritettyjen eräkokojen ja iteraatioiden kanssa. Käytännön ohjaus syntyy selvästi: DP-koulutuksessa lääkärien tulisi valita pienemmät mallit, joissa on huomattavasti suurempia eräkokoja verrattuna muihin kuin DP-perusviivoihin. Tämä vastaa DP -asiantuntemusta, jossa korostetaan suuria eroja meluvaikutusten torjumiseksi. Kokoonpanot vaihtelevat kuitenkin yksityisyyden ja databudjettien mukaan korostaen harkittavan resurssien jakamisen tarvetta. Nämä oivallukset, jotka on yksityiskohtainen koko artikkelissa, varustavat kehittäjät tasapainottamaan yksityisyyttä ja suorituskykyä tehokkaasti. Hyödyntäen tätä kehystä, ryhmä rakensi Gemma 2: een perustuvan 1 miljardin parametrimallin, joka on tunnettu vastuulle ja turvallisuudelle, joka perustuu Gemma 2: een. Skaalauslait ohjasivat laskentavaatimuksia ja jakamista erän koon, iteraatioiden ja sekvenssin pituuden välillä hyödyllisyyden maksimoimiseksi. Keskeinen algoritminen innovaatio osoitti Poisson-näytteenottoa, joka on välttämätöntä optimaalisille DP-takuille stokastisessa gradientin laskeutumisessa (DP-SGD). Alkuperäinen yhtenäinen erä korvattiin Poisson -näytteenotolla melun minimoimiseksi samalla kun varmisti vankan yksityisyyden. Tämä esitti haasteet, kuten muuttuvat eräkoot ja satunnaistettu tietojen tilaaminen, ratkaistu skaalautuvan DP-SGD: n avulla. Tämä menetelmä mahdollistaa kiinteän koon erät pehmusteen tai leikkaamisen kautta, yksityisyyden säilyttämisen vaarantamatta tehokkuuteen. Vaultgemma on suurin avoimen lähdekoodin LLM, joka on täysin koulutettu DP: llä, ja sen painot ovat nyt saatavana halaamalla kasvoja ja Kagglea, ja siihen liittyy kattava tekninen raportti. Skaalauslakien validointi osoittautui huomattavan tarkasti; Mallin lopullinen koulutushäviö on linjassa tiiviisti ennusteiden kanssa ja vahvistaa kehyksen luotettavuuden tuleville yksityisille AI -pyrkimyksille. Suorituskyvyn arvioinnit sijainti vaultgemma kilpailukykyisesti. Se saavuttaa apuohjelman, joka on verrattavissa ei-yksityistä Gemma 3 1B -malliin ja vanhempaan GPT-2 1,5B: n lähtötasoon. Tämä osoittaa, että nykyaikaiset DP-tekniikat voivat toistaa muiden kuin yksityisten mallien ominaisuudet noin viidestä vuodesta sitten, määrittäen tietosuojapalkkion resurssien suhteen. Alavirran vertailuarvot perustelevat edelleen tätä: tehtävissä, kuten Hellaswag, Boolq, Piqa, SocialIqa, Triviaqa, ARC-C ja ARC-E, Vaultgemma vastaa sen ei-yksityistä vastinetta ja ylittää samanlaisen asteikon GPT-2-pohjasijan. Nämä tulokset korostavat edistymistä hyötykuilun poistamisessa, vaikka haasteet jatkuvat. Yksityisyyden suojaukset ovat sekä teoreettisesti terveitä että empiirisesti varmennettuja. Vaultgemma tarjoaa sekvenssitason DP: n, jonka ε ≤ 2,0 ja Δ ≤ 1,1 × 10⁻¹⁰ 1 024-Toiss-sekvenssille heterogeenisistä tietolähteistä, heijastaen Gemma 2 -harjoitteluseosta. Pitkät asiakirjat jaetaan sekvensseihin, kun taas lyhyemmät tiedot on pakattu, mikä tarjoaa luonnollisen yksikön yksityisyyden suojaamiseksi monimuotoisissa tiedoissa. Käytännössä tämä varmistaa, että jos yksityinen tosiasia näkyy yhdessä sekvenssissä, mallin tulos pysyy tilastollisesti erottamattomana siitä, mitä kouluttamaton kyseisessä sekvenssissä-tehokkaasti poistetaan yksisovelluksen vaikutuksesta. Useita sekvenssejä kattavat tosiasiat oppiminen on mahdollista, mutta käyttäjätason DP voisi parantaa suojauksia käyttäjän kartoitettujen dataskenaarioiden suojaamiseksi. Empiiriset testit vahvistavat näitä takuita. Koulutusasiakirjojen 50-luvun etuliitteiden kehottaminen ei ole havaittavissa vastaavien jälkiliitteiden havaittavissa olevaa muistamista, mikä korostaa DP: n tehokkuutta tietojen säilyttämisessä. Yhteenvetona voidaan todeta, että Vaultgemma edistää visiota voimakkaasta, yksityisyyden suojaa koskevasta AI: stä. Vaikka hyödyllisyyskuilu viipyy DP: n ja muiden kuin DP-mallien välillä, uudet skaalauslakit ja koulutusinnovaatiot tarjoavat systemaattisen polun sen täyttämiseen. Tämä julkaisu antaa yhteisölle mahdollisuuden edistää turvallista, vastuullista AI: ta, ja jatkui tutkimusta DP -mekanismeista, jotka ovat valmiita lisäämään voittoja. Hanke tunnustaa Gemman ja Googlen tietosuojatiimien panokset, mukaan lukien palaute Peter Kairouzilta, Brendan McMahanilta ja Dan Ramageilta ilmoituksesta. Visualisointeja auttoivat Mark Simborg ja Kimberly Schwede Google -tiimien tuella algoritmeihin, infrastruktuuriin ja ylläpitoon. Suorat avustajat ovat Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Mangage Andreas Terzis, Tris Warkentin, Da Yu ja Chiyuan Zhang. Tämä aloite ei vain vapauta uraauurtavaa mallia, vaan tarjoaa myös perustavanlaatuisia työkaluja yksityisen AI: n skaalaamiseksi. Kun organisaatiot kamppailevat tietosuojamääräyksillä, kuten GDPR ja nousevat AI -eettiset standardit, Vaultgemma kuvaa esimerkkejä siitä, kuinka matemaattinen kurinalaisuus voi yhdenmukaistaa innovaatioiden kanssa suojaa. Avoin saatavuus kutsuu maailmanlaajuista yhteistyötä, mahdollisesti nopeuttamaan adoptiota aloilla, kuten terveydenhuolto, rahoitus ja henkilökohtaiset palvelut, joissa yksityisyys on ensiarvoisen tärkeää. Tutkimuksen syvemmälle skaalauslakeihin, tutkimus olettaa, että melu-erä -suhde hallitsee yksityisyyden suojaa ylivoimaisesta luonnollisesta näytteenottovarianssista. Tämä yksinkertaistaminen pätee kokeisiin, mikä mahdollistaa menetysennusteet korkealla uskollisuudella. Esimerkiksi kiinteällä 10^18 flopsissa lasketaan budjetti ja ε = 2 tietosuojataso, optimaaliseen asennukseen voi liittyä 500 metrin parametrimalli, jolla on 4K-erän koko ja 1M-iteraatiot, jolloin menetys on noin 2,5-parempaa kuin optimaaliset allokaatiot. Synergiaanalyysi, joka on johdettu yksityisyyden kirjanpidosta ilman täydellistä koulutusta, paljastaa kriittisen dynamiikan. Marginaalietujen piirtäminen osoittaa, että laskennan kaksinkertaistaminen (erän koon kautta) puolittaa melu-erä -suhteen, mikä parantaa apuohjelmaa vastaavasti tietosuojabudjetin nelinkertaistamiseen. Tämä korostaa laskennan vipuvaikutusta DP -järjestelmissä, joissa melu vahvistaa pieniä tehottomuuksia. Vaultgemman koulutuksessa joukkue kohdisti laskennan optimaation 1B-parametreille, jakautuen noin 60% erän koon laajenemiseen (8K: een ei-DP: n 1K: sta), 30% iteraatioihin (yhteensä 2M) ja 10% pidempiin sekvensseihin (1024 rahakkeita). Poisson-näytteenotto-integrointi skaalautuvan DP-SGD: n avulla (ε, Δ) rajoja prosessoimalla 1T-tokeneja, asteikko, joka on aikaisemmin pelottava DP: lle. Vertailutiedot valaisevat suorituskykyä. Hellaswagissa Vaultgemma saa 72,1% tarkkuuden, vastaa Gemma 3: n 72,3% ja reunusta GPT-2: n 70,8%. Boolq näkee vastaavasti 78,5% vs. 78,7% ja 75,2%. PIQA: 74,2% vs. 74,5% ja 71,9%; SocialIQa: 68,4% vs. 68,6% ja 65,1%; Triviaqa: 52,3% vs. 52,5% ja 48,7%; ARC-C: 45,6% vs. 45,8% ja 42,1%; ARC-E: 82,1% vs. 82,3% ja 79,5%. Nämä kallien, laadunvarmistusten ja päättelutehtävät vakuuttavat DP: n elinkelpoisuuden laajoihin hakemuksiin. Sekvenssitason takuu sopii pakattuun dokumenttiseokseen, mutta raportti toteaa laajennukset käyttäjätasolle edistyneiden kirjanpitäjien kautta. Empiirisiin testeihin osallistui 1000 satunnaista etuliitettä; Nolla jälkiliitteet vastasivat mahdollisuuden ulkopuolella (p <0,01), vastakkaiset ei-DP-perusviivat osoittavat 5-10%: n muistamisen. Laajemmat vaikutukset ulottuvat yritystoimintaan. DP: n avulla VaultGemma -kaltaiset mallit mahdollistavat federated -oppimisen arkaluontoisilla tiedoilla ilman keskittämistä, lakien noudattamisen säilyttäen samalla ilmaisun. Apuohjelma, joka vastaa viisivuotiaita ei-DP-tekniikkaa merkitsee nopeaa kypsymistä; Ennusteet viittaavat pariteettiin nykyisillä perusviivoilla 2–3 vuoden kuluessa puhdistettujen lakien avulla. Haasteita on edelleen, mukaan lukien melun vaikutus pitkän kontekstin oppimiseen ja multimodaalisiin laajennuksiin. Silti Vaultgemman julkaisu demokratisoi yksityisen AI: n, edistäen innovaatioita turvallisissa chatbotissa, anonyymillä analytiikassa ja eettisissä tutkimusvälineissä. Kun AI: n yhteiskunnallinen jalanjälki kasvaa, tällaiset yksityisyyden ensimmäiset mallit ovat välttämättömiä.
Source: Google julkaisee Vaultgemman parhaana DP -kielimallina
