Antropic on ottanut käyttöön uuden ominaisuuden, joka antaa sen Claude Opus 4 ja 4.1 AI -mallit keskustelujen lopettamiseksi käyttäjien kanssa. Tämä kyky, joka on yksityiskohtainen äskettäisessä yritysilmoituksessa, on tarkoitettu ”harvinaisia, äärimmäisiä jatkuvasti haitallisia tai väärinkäyttäviä käyttäjien vuorovaikutuksia”.
Esimerkkejä tilanteista, joissa Claude voi lopettaa chatin, ovat ”käyttäjien pyynnöt seksuaalisesta sisällöstä, johon osallistuvat alaikäiset ja yritykset pyytää tietoja, jotka mahdollistaisivat suuren mittakaavan väkivallan tai terrorismin.” Antropia korostaa, että keskustelun lopettaminen on ”viimeinen keino”, joka on toteutettu vasta sen jälkeen, kun ”useita uudelleenohjausyrityksiä on epäonnistunut ja toivoa, että tuottava vuorovaikutus on käytetty loppuun”. Yhtiö odottaa, että useimmat käyttäjät eivät kohtaa tätä ominaisuutta, koska se on varattu ”ääriorikan tapauksille”, vaikka keskustellaan erittäin kiistanalaisista aiheista.
Kun Claude lopettaa keskustelun, käyttäjät estetään lähettämästä uusia viestejä kyseisessä chatissa. He säilyttävät kuitenkin kyvyn aloittaa uusi keskustelu heti. Antropia selvensi myös, että päättynyt keskustelu ei vaikuta muihin meneillään oleviin keskusteluihin, ja käyttäjät voivat silti muokata tai yrittää yrittää uudelleen lopetetun säikeen aikaisempia viestejä erilaisen keskustelupolun jatkamiseksi.
Tämä kehitys on osa Antropian meneillään olevaa AI -hyvinvointia koskevaa tutkimusohjelmaa. Yhtiö näkee AI -malliensa kyvyn poistua ”mahdollisesti huolestuttavasta vuorovaikutuksesta[s]”” Halvona tapana hallita AI-hyvinvoinnin riskejä. ” Antropic kokeilee parhaillaan tätä ominaisuutta ja rohkaisee aktiivisesti käyttäjän palautetta sen toteuttamisesta.
Source: Claude AI saa kyvyn lopettaa haitalliset keskustelut
