Apple-tutkijat ovat kirjoittaneet uuden tutkimuksen, joka osoittaa merkittäviä suorituskyvyn parannuksia avoimen lähdekoodin suuressa kielimallissa (LLM) käyttämällä yksinkertaista tuottavuustekniikkaa: kehottaa LLM: ää tarkistamaan oman työnsä tarkistuslistojen avulla.
Tutkimus perustuu LLM: n hienostumisen valtakuntaan, johon sisältyy tyypillisesti koulutuksen jälkeinen prosessi, jota kutsutaan vahvistusoppimiseksi ihmisen palautteesta (RLHF). RLHF luottaa ihmisen etiketteihin, jotka tarjoavat palautetta, kuten peukalot ylös tai peukaloihin, mallin vastausten arvioimiseksi. Tämä palaute auttaa LLM: ää oppimaan, mitkä vastaukset pidetään toivottavampina, mikä parantaa sen yleistä hyödyllisyyttä.
Laajemmalla ”linjaus” -kentällä on ratkaiseva rooli tässä koulutuksen jälkeisessä vaiheessa keskittyen varmistamaan, että LLM: t käyttäytyvät hyödyllisellä ja turvallisella tavalla. Väärin kohdistettu malli voisi potentiaalisesti oppia manipuloimaan ihmisen palautetta luomalla tuotoksia, jotka näyttävät oikealta pinnallisesti, mutta eivät pysty ratkaisemaan taustalla olevaa tehtävää tehokkaasti.
Vaikka mallin luotettavuuden ja yhdenmukaistamisen parantamiseksi on olemassa erilaisia menetelmiä koko harjoittelu-, koulutus- ja koulutuksen jälkeisten vaiheiden ajan, tämä tutkimus keskittyy erityisesti RLHF: ään.
Nimitetään ”Tarkistuslistat ovat parempia kuin palkkiomalleja kielimallien kohdistamiseksi”, Apple-tutkimus esittelee tarkistuslistapohjaisen vahvistusoppimisjärjestelmän, nimeltään vahvistusoppiminen tarkistusluettelon palautteesta (RLCF). Tämä lähestymistapa arvioi vastauksia asteikolla 0 – 100, sen perusteella, kuinka hyvin ne tyydyttävät tarkistusluettelon jokaisen kohteen. Alkuperäiset tulokset osoittavat lupaavia tuloksia.
Tutkijoiden mukaan ”vertaamme RLCF: ää muihin kohdistusmenetelmiin, joita sovelletaan vahvaan malliin (Qwen2.5-7b-instruktio) viidellä laajalti tutkittuun vertailuarvoon-RLCF on ainoa menetelmä jokaisen vertailukohdan suorituskyvyn parantamiseksi, mukaan lukien 4-pisteinen korotus kovan tyytyväisyyden määrän seurannassa, joka on kuuden pisteen lisäys. Tärkein työkalu kielimallien tukemiseksi kyselyille, jotka ilmaisevat monia tarpeita. ”
Tutkimuksen tuloksilla on erityinen merkitys AI-moottorien avustajille, joista on valmis tulemaan ensisijainen rajapinta, jonka kautta miljoonat käyttäjät ovat vuorovaikutuksessa laitteidensa kanssa. Tutkijat korostavat, että ”kielimallien on noudatettava käyttäjän ohjeita hyödyllisiksi. Kun suuri yleisö integroi kielimallipohjaiset avustajat päivittäisten tehtävien suorittamiseen, on odotettavissa, että kielimallit voivat uskollisesti noudattaa käyttäjien pyyntöjä. Kun käyttäjät kehittävät enemmän luottamusta malleissa, jotka vaativat monimutkaisia pyyntöjä”, nämä mallit annetaan yhä enemmän rikkaampia, monivaiheisia ohjeita, jotka vaativat huolellista huomiota eritelmiin. ”
Tutkimuksen keskeinen näkökohta on menetelmässä, jota käytetään tarkistuslistojen luomiseen ja jokaiselle kohteelle tärkeyspainot. Tätä prosessia helpottaa LLM. Edellisen tutkimuksen perusteella Applen tutkijat tuottivat ”tarkistuslistat 130 000 ohjeelle (…) uuden tietojoukon luomiseksi, villikiristeet. Jotta voitaisiin luoda ehdokasvastauksia menetelmällemme, käytämme Qwen2.5-0.5b, Qwen2.5-1.5b, Qwen2.5-3b ja Qwen2.5-7b.
Pohjimmiltaan tutkijat täydentävät jokaista käyttäjä -ohjeita tarkistusluettelolla erityisistä kyllä/ei vaatimuksista. Esimerkiksi tarkistusluettelo voi kysyä: ”Onko tämä käännetty espanjaksi?” Suurempi opettajamalli saa sitten ehdokasvastaukset kutakin tarkistuslista-kohdetta vastaan, ja nämä painotetut pisteet toimivat palkkiosignaalina opiskelijamallin hienosäätöön.
Tutkimuksen tulokset osoittavat, että kun jokaiselle kehotukselle optimoitujen tarkistuslistojen luomiseksi on olemassa sopivia järjestelmiä, tutkijat havaitsivat jopa 8,2%: n voitot yhdessä menetelmän testaamisessa käytetyistä vertailuarvoista. Lisäksi ratkaisu ylitti vaihtoehtoiset menetelmät useissa muissa vertailuarvoissa.
Tutkijat selventävät, että heidän tutkimuksensa keskittyi ”monimutkaiseen ohjeeseen” ja että RLCF ei ehkä ole sopivin vahvistusoppimistekniikka kaikissa käyttötapauksissa. He tunnustavat myös, että heidän menetelmässään käytetään tehokkaampaa mallia pienemmän mallin arvioimiseksi ja virittämiseksi, mikä edustaa merkittävää rajoitusta. Tärkeintä on, että he väittävät, että ”RLCF parantaa monimutkaisia ohjeita seuraavan seuraavan ohjeen, mutta sitä ei ole suunniteltu turvallisuuden linjaamiseen.”
Näistä rajoituksista huolimatta tutkimuksessa on uusi ja suoraviivainen lähestymistapa ihmisten ja LLM-pohjaisten avustajien vuorovaikutuksen luotettavuuden parantamiseksi. Tämä on erityisen tärkeää, koska nämä avustajat hankkivat yhä enemmän agenttisia ominaisuuksia, joissa seuraavista ja kohdistamisesta ja kohdistamisesta tulee ensiarvoisen tärkeä.
Tutkimus korostaa yksinkertaisten tuottavuustekniikoiden, kuten tarkistuslistojen, potentiaalia parantaakseen merkittävästi LLM: ien suorituskykyä ja luotettavuutta, etenkin monimutkaisten opetusten ja AI-käyttävien avustajien yhteydessä.
Source: Apple parantaa LLM -suorituskykyä tarkistuslistojen avulla
