Internet -infrastruktuurin tarjoaja CloudFlare on syyttänyt AI -startup -hämmentyvyyttä aktiivisesti kiertää verkkosivustolohkoja ja peittää sen identiteettiä raaputtaakseen sisältöä sivustoilta, jotka ovat nimenomaisesti päättäneet AI -kaavinta. CloudFlare julkaisi maanantaina tutkimuksen yksityiskohtaisesti, kuinka hämmennyksen väitettiin sivuuttaneen vakiintuneet säännöt ja naamioituaan sen indeksointi- ja kaavinta.
CloudFlare -tutkijoiden mukaan hämmentyminen yritti peittää sen identiteettinsä muuttamalla robottinsa ”käyttäjäagentti”, signaalin, joka tunnistaa verkkosivuston kävijän laitteen ja versiotyypin ja muuttamalla heidän autonomisia järjestelmäverkkojaan (ASN), jotka ovat numeroita, jotka tunnistavat suuret verkot Internetissä. Tätä väitettyä toimintaa havaittiin ”kymmeniin tuhansiin verkkotunnuksiin ja miljooniin pyyntöihin päivässä”, ja CloudFlare ilmoitti, että he pystyivät ”sormenjäljensä tämän indeksoinnin käyttämällä koneoppimista ja verkkosignaaleja”.
Aihe tuli CloudFlaren huomiointia sen jälkeen, kun sen asiakkaat kertoivat, että hämmennys jatkoi indeksointia ja raaputtamista sivustonsa huolimatta Robots.txt -tiedostojen sääntöjen toteuttamisesta, hakukoneiden ja AI -yritysten ohjaamisesta, jota voidaan indeksoida tai ei voida indeksoida, ja tiettyjä lohkoja tunnettujen hämmentävyysbottien suhteen. CloudFlare suoritti testit ja vahvisti, että hämmennys todellakin kiertää näitä lohkoja. ”Havaitsimme, että hämmentyminen ei ole vain heidän ilmoitettua käyttäjä-edustajaa, vaan myös yleistä selainta, jonka tarkoituksena on jäljittää Google Chromea MacOS: iin, kun heidän julistettu indeksoija estettiin”, CloudFlare totesi.
Vastauksena CloudFlare on listattu Perplexity-botit todennetusta luettelostaan ja toteuttanut uusia estotekniikoita. Hälytyksen edustaja Jesse Dwyer hylkäsi Cloudflaren blogiviestin ”myyntipisteeksi”, joka kertoi TechCrunchille, että kuvakaappaukset viestissä “osoita, että sisältöä ei ollut käytetty” ja väittäen seurantasähköpostissa, jonka Cloudflaren nimeämä botti ”ei ole edes meidän”.
Tämä tapaus ei ole ensimmäinen kerta, kun hämmennys on joutunut syytöksiin luvattomasta kaavinta tai sisällön käytöstä. Viime vuonna uutistoimistot, mukaan lukien langalliset, väittivät hämmennyksensä plagiointia niiden sisältöä. Viikkoja myöhemmin, Disrupt 2024 -konferenssin haastattelussa, hämmentyneen toimitusjohtaja Aravind Srinivas kamppaili toimittaakseen yrityksen määritelmän plagioinnista, kun sitä pyydettiin suoraan.
CloudFlare on yhä enemmän ottanut julkisen asenteen AI -indeksoijia vastaan, vedoten huolenaiheita Internetin liiketoimintamalliin, etenkin kustantajille. Juuri viime kuussa CloudFlare avasi markkinoiden, joka antoi verkkosivustojen omistajille ja kustantajille mahdollisuuden veloittaa AI -kaavinsa sivustojensa pääsystä. CloudFlaren toimitusjohtaja Matthew Prince on aiemmin varoittanut, että AI häiritsee Internetin taustalla olevaa taloudellista rakennetta. Viime vuonna yritys esitteli myös ilmaisen työkalun, joka on suunniteltu estämään robotteja raapimasta verkkosivustoja AI -koulutusta varten.
