Anthropic ja tutkimuskumppani AE Studio julkaisivat keskiviikkona menetelmän vaarallisen tiedon eristämiseksi tekoälymalleissa käyttämällä erillisiä, irrotettavia moduuleja. Gradient-Routed Auxiliary Modules (GRAM) -niminen tekniikka on suunniteltu parantamaan kaksikäyttöisten riskien hallintaa samalla, kun AI-mallien yleinen suorituskyky säilyy.
GRAM lisää pieniä apuhermoosastoja vakiomuuntajan arkkitehtuuriin. Jokainen osasto on omistettu tietylle arkaluonteiselle tiedolle, kuten virologialle, kyberturvallisuuteen tai ydinfysiikkaan. Moduulin poistaminen saa mallin käyttäytymään ikään kuin sitä ei olisi koskaan koulutettu kyseiseen dataan, kun taas moduulin aktivointi mahdollistaa pääsyn sisältämään tietoon.
Tutkijat kouluttivat 800 miljoonan parametrin mallin käyttämällä verkkotekstiä, koodia, tieteellisiä artikkeleita ja neljää kaksikäyttöaluetta: virologiaa, kyberturvallisuutta, ydinfysiikkaa ja asiantuntijakoodia. Kaksikäyttöiset tiedot muodostivat noin 0,25 % kunkin alueen koulutustiedoista. Tulokset osoittivat, että GRAM-moduulien poistaminen oli lähes yhtä tehokasta kuin tietojen harjoittelematta jättäminen. Malli säilytti yleisen suorituskyvyn lähellä perustasoa, joka oli määritetty kaikkien tietojen mukaan.
Tämä lähestymistapa osoittautui vankkaksi kilpailevaa hienosäätöä vastaan, ja se eroaa post-hoc-oppimisen menetelmistä, jotka tyypillisesti vain tukahduttavat tiedon sen sijaan, että poistavat sitä. Tutkimus tulee tekoälyn hallitukselle haastavana ajanjaksona, sillä Trumpin hallinto oli hetkellisesti asettanut Anthropicin Claude-malleille vientirajoituksia mahdollisiin haavoittuvuuksiin liittyvien kansallisten turvallisuusongelmien vuoksi.
Nämä rajoitukset poistettiin 30. kesäkuuta sen jälkeen, kun Anthropic teki yhteistyötä kauppaministeriön kanssa käsitelläkseen tunnistettuja riskejä. GRAM voi tarjota keskitien päätöksenteossa ja sallia yksityiskohtaisen pääsynhallinnan kokonaisten mallien kieltämisen tai yksinomaan käyttäytymissuojakaiteisiin luottamuksen sijaan.
Tutkijat totesivat kuitenkin, että heidän havainnot ovat alustavia, eikä niitä ole vielä otettu käyttöön Anthropicin tuotantomalleissa. He herättivät kysymyksiä GRAMin skaalautumisesta monimutkaisempiin malleihin ja mahdollisista vaikeuksista erottaa sotkeutunut tieto yleisemmistä kyvyistä. Tätä tutkimusta johti AE Studio, ja siihen osallistuivat Anthropicin Cem Anil ja Alex Cloud.
