Roblox on julkistanut sentinelin, keinotekoisen älykkyysjärjestelmän, joka on suunniteltu havaitsemaan varhaiset merkit potentiaalisesta lasten hyväksikäytöstä online -keskusteluissa. Muutto, joka tulee lisääntyvän tarkastelun ja laillisten haasteiden keskellä alustan turvallisuusprotokollia. 8. elokuuta 2025 ilmoitettu Sentinel on avoin ja annetaan vapaasti saataville, jolloin muut alustot voivat integroida sen omiin maltillisuuskehyksiinsä.
Yhtiö, jolla on yli 111 miljoonaa kuukausittaista aktiivista käyttäjää, kertoi, että Sentinel on jo auttanut satojen mahdollisten lasten hyväksikäytön tapausten merkitsemisessä lainvalvontaan. Robloxin pääturvallisuusjohtaja Matt Kaufman korosti aikaisempien suodatusjärjestelmien rajoituksia, jotka keskittyivät pääasiassa eristettyihin sanoihin tai lauseisiin. Hän selitti, että lasten uhanalaisten ja hoitamisen kaltaiset asiat ilmenevät usein pitkittyneiden vuorovaikutusmallien avulla. ”Mutta kun ajattelet lasten uhanalaisuuteen tai hoitamiseen liittyviä asioita, käyttäytymistyyppejä, joita katsot ilmenevän erittäin pitkän ajanjakson ajan”, Kaufman totesi.
Sentinel on suunniteltu tunnistamaan nämä kehittyvät kuviot keskusteluissa eikä vain eristettyjä termejä. Järjestelmä käsittelee yhden minuutin tilannekuvia noin 6 miljardin chat-viesteistä, jotka vaihdetaan päivittäin alustalla, arvioimalla niitä laajemmassa yhteydessä. Tämän helpottamiseksi insinöörit kehittivät kaksi erillistä hakemistoa: yksi käsittää esimerkkejä vaarattomista keskusteluista ja toisesta sisältäen viestejä, jotka rikkoivat lasten turvallisuusohjeita. Robloxin luottamus- ja turvallisuus- ja turvallisuus- ja turvallisuusjohtaja Naren Koneru totesi, että molemmat indeksit päivitetään jatkuvasti uudella materiaalilla AI -mallin tarkkuuden parantamiseksi. ”Tämä hakemisto paranee, kun havaitsemme enemmän huonoja toimijoita, päivitämme vain jatkuvasti kyseisen hakemiston”, Koneru sanoi ja lisäsi: ”Sitten meillä on toinen näyte siitä, mitä normaali, tavallinen käyttäjä tekee?”
Koneru selvitti edelleen, että Sentinel tarkkailee käyttäjän jatkuvaa toimintaa selvittääkseen, onko heidän käyttäytymisensä trendissä kohti turvallista vuorovaikutusta vai riskialtista käyttäytymistä. ”Sitä ei tapahdu yhdellä viestillä, koska lähetät vain yhden viestin, mutta se tapahtuu kaikkien päiviesi vuorovaikutuksen takia kohti yhtä näistä kahdesta”, hän selitti. Jos AI merkitsee käyttäjän tarkempaa tutkimusta varten, ihmisen moderaattorit tarkistavat perusteellisen tarkastelun yksilön koko chat -historiasta, ystäväluettelosta ja pelaamisesta. Kun Roblox on perusteltua, se laajentaa näitä tapauksia lainvalvontaan ja kadonneiden ja hyväksikäytettyjen lasten kansalliselle keskukselle.
Sentinelin käyttöönotto tapahtuu, kun Roblox kohtaa merkittäviä oikeudellisia haasteita. Iowassa viime kuussa nostettu oikeusjuttu väittää, että aikuisen saalistaja otti yhteyttä 13-vuotiaan tyttöyn Robloxin kautta, sieppasi myöhemmin ja salakuljetettu useissa osavaltioissa. Puku väittää, että yrityksen alustan suunnittelu on luonut ”helpon saaliin pedofiileille”.
Roblox ylläpitää tiukkoja politiikkoja, jotka kieltävät chatissa henkilökohtaisten tietojen, kuvien ja videoiden jakamisen. Lisäksi alle 13 -vuotiaille käyttäjille on rajoitettu, ellei vanhempainlupaa myönnetä nimenomaista. Yrityksen seurantaominaisuuksia auttaa se, että keskusteluja ei ole salattu päähän, mikä mahdollistaa turvallisuusrikkomusten keskustelujen valvonnan. Tunnustaen, että mikään järjestelmä ei voi tarjota täydellistä suojaa, Roblox väittää, että ANTinelin kaltaiset AI -edistysaskeleet parantavat merkittävästi haitallisen käyttäytymisen varhaisen havaitsemisen mahdollisuuksia.
