Ahrefs on markkinointiyritys, joka kerää isolla mittakaavalla sivustoja, linkkejä ja sisältöjä mainonnan työkaluiksi omille asiakkailleen. Yrityksen crawler AhrefsBot noudattaa robots.txt tiedostoa, joten siltä osin se luokitellaan hyvien bottien joukkoon. Jos sen indeksointia ei rajoita, niin AhrefsBot käy sivustolla huomattavan aggressiivisesti ja on mukana aiheuttamassa selkeää kuormaa serverille. Vaikka se on toiminnaltaan teknisesti rehellinen, niin se on silti potentiaalisesti haitallinen.

Melkoinen osa AhrefsBot user agentin ilmoittavasta liikenteestä  on kuitenkin aivan muuta kuin alkuperäistä. Se liikenne on puhtaasti haitallista. En ole koskaan voinut ymmärtää, että miksi joku valehtelee itsensä ehkä huonamaisemmaksi botiksi yrittäessään löytää haavoittuvuuksia.

Yksikään sivusto ei hyödy botin indeksoinneista. Ahrefs on tyypillinen esimerkki yrityksestä, joka käyttää vain omaksi hyväkseen muiden tekemästä sisällöstä. Siksi sen toiminta kannattaa estää .htaccess tiedostossa tai reverse proxyllä.

Luokitus: markkinointi/mainostus