Keresőrobot

A keresőrobot (angolul: web crawler) egy informatikai kifejezés. Olyan speciális programok gyűjtőneve, amelyek képesek az interneten fellelhető publikus, illetve a robots.txt és a robots metatag által engedélyezett tartalmak letöltésére, és ezek valamilyen formában való elemzésére, az adatok eltárolására.

A keresőrobotokat legtöbbször keresőoldalak használják arra a célra, hogy a felkutatott és indexelt weboldalak linkjeit a saját oldalukon kereshetővé tegyék. Ilyen a talán legismertebb Googlebot, ami a Google számára tölt le weboldalakat, de nagyon sok hasonló robot létezik. A tipikus felhasználáson kívül léteznek speciális alkalmazások is, karbantartásra, vagy más adatok összegyűjtésére használt robotok is.

A keresőrobotok felépítésüktől függően képesek egy már létező böngésző motorját felhasználva a megcélzott weboldal HTML-kódjának a teljes feldolgozására, és azon a JavaScript-függvények lefuttatására is, de általában nem ez a helyzet. A keresőrobotok rendszerint egy böngészőnél sokkal egyszerűbb módon, a HTML-struktúra objektumokká felépítése nélkül próbálják a szöveget értelmezni. Ez azt jelenti, hogy az emberi felhasználó által látott, és a keresőrobot által látott „kép” néha jelentősen eltér. A keresőrobotok többsége nem képes képeket értelmezni, illetve a HTML-kód megjelenítését szabályozó CSS-t sem dolgozza fel, így lényegében csak a szöveges tartalom az amit lát. Ahhoz, hogy egy a keresőrobotéhoz hasonló képet kapjunk, nekünk is egy szöveges böngészőt kell használni, ilyen például a Lynx. A weboldalak tulajdonosai háromféle módon tudják a saját oldalaikon a keresőrobotok tevékenységét szabályozni. Ezek közül a leggyakrabban használt a robots.txt. Ez egy egyszerű szöveges fájl, amely instrukciókat tartalmaz a robotok számára, hogy az azt tartalmazó weboldal mely oldalait érhetik el a robotok. Például:

User-agent: *
Disallow: /test/*

Allow: /help.html

Allow: /index.html

Itt a „test” alkönyvtár tartalma tilos a robotok számára, az oldalon található help.html és az index.html viszont feldolgozható. Alapértelmezetten minden tartalmat feldolgozhatnak.

A User-agent: után következik annak robotnak a megnevezése, amelyre ez a bejegyzés vonatkozik, a csillag jelentése az, hogy minden robotra vonatkozik, lehet egy konkrét robotot is letiltani, például:

User-agent: Googlebot
Disallow: /

Ez a Google keresőrobotjának jelzi, hogy semmit nem indexelhet (a webhely gyökérkönyvtárát tiltja le).

A következő eszköz a HTML-oldalak fejlécében elhelyezett robots metaelem:

<meta name="robots" content="index,follow" />

A tartalom (content) lehetséges értékei:

• noindex – ilyenkor az adott oldalt a robotok nem indexelhetik
• index – indexelés engedélyezett
• nofollow – az adott oldalt indexeli, de onnan nem gyűjthet további linkeket
• follow – linkek gyűjtése megengedett
• all – azonos az index,follow kombinációval, ez az alapértelmezés
• none – azonos a noindex,nofollow kombinációval

És ezek értelemszerű kombinációi, az index,follow eset az alapértelmezés, ezért ezt felesleges megadni.

A harmadik lehetőség az egyes linkek követését korlátozza, ez az linkelem <a href="…" rel="nofollow">linkszöveg</a> paraméterezésével állítható be. Az így megjelölt linkeket a keresőrobot korábban csak követte, de nem számított bele az oldalak kapcsolódási tőkéjét meghatározó linkek közé. 2019. szeptemberében a Google bejelentette, hogy a nofollow attribútummal ellátott linkeket is felhasználhatja az oldalak rangsorolásakor, 2020. március 1 után pedig az indexelés és feltérképezést is elvégezheti a nofollow ellenére. A bejelentéssel bevezetett két új attribútumot, a rel="ugc" a felhasználó által generált tartalomra mutató linkekre, míg a rel="sponsored" a szponzorált linkekre alkalmazható.

Fontos megjegyezni, hogy a keresőrobotok számára a fenti szabályok betartása önkéntes kooperáció, ha egy robotot nem ilyen módon programoztak, akkor nem kényszeríthető a betartására, a weboldal tulajdonosa legfeljebb tűzfal segítségével zárhatja ki a már ismert kártékony robot IP-címét, vagy olyan dinamikus kódot szerkeszt, amely a robot oldal lekérésének a szövegéből kitalálja hogy az egy bizonyos fajta robot, és neki egy másik oldalt generál.

A kártékony keresőrobotok csoportját alkotják az olyan keresőrobotok, amelyek e-mail-címeket vagy más elérhetőségeket keresnek. Ezek nem weboldalakat gyűjtenek indexelés céljából, hanem csak a gyanútlan felhasználók elérhetőségét, amit a későbbiekben spam céljára fognak használni.