Adsbot

« takaisin hakemistoon

Elokuussa 2020 sivustoille hyökkäsi uusi botti, joka silloin esittäytyi user agentilla Adsbot/3.1. Koko user agent oli Mozilla/5.0 (compatible; Adsbot/3.1)

Se ei ole ainakaan julkisesti minkään yrityksen botti, mutta se liikennöi silloin useista kymmenistä eri IP-osoitteista WebNX yhtiön servereiltä. Se maksaa sen verran paljon, että taatusti kyseessä ei ole joku script kiddie.

Botti liikkuu erittäin nopeasti ja pyrkii indeksoimaan koko sisällön. Minulla se kävi yhden päivän aikana 2029 sivulla Se ei luonnollisestikaan kunnioita robots.txt tiedostoa.

Se ei kuitenkaan näyttäisi etenevän puhtaasti sisäisten linkkien perusteella, vaan sillä lienee ns. ostoslista – valmis url-lista, jota se etenee järjestyksessä. Se on luultavamman hankittu sitemapeistä. Minulla se jäi sattumalta haaviin error 404 kautta, kun sille tuli hutiosuma vain muutama päivä aiemmin poistetusta osoitteesta, jolle oli silloin jäänyt kääntö tekemättä. Kuitenkin botin ollessa sivustolla 301-kääntö oli jo tehtynä. Tuo antaa vahvan viitteen suunnitelmallisuudesta, jossa käytetään hieman vanhentunutta, mutta ei kuitenkaan kovin vanhaa dataa sivustosta.

Koska kyseessä on ilmiselvä haitta, niin se on syytä pysäyttää serverillä jo ennen sivustoja. Useimmat käyttävät estolistoilla kirjainkokoriippumatonta merkintää, jonka takia tämä on syytä estää muodossa Adsbot/ – pelkkä adsbot esiintyminen estäisi myös Googlen adsbotin liikkuminen; kääntäen, nimi on luultavasti valittu myös samasta syystä.