Tartalomjegyzék:
Meghatározás - Mit jelent a Webrobot?
A webrobot egy internetes robot, amely segíti a webes indexelést. Egyszerre csak egy oldalt másznak be egy webhelyen, amíg az összes oldal indexelésre nem kerül. A webrobotok segítenek információkkal összegyűjteni egy weboldalt és a hozzájuk kapcsolódó linkeket, továbbá segítenek a HTML-kód és a hiperhivatkozások érvényesítésében.
A webrobotot webes pók, automatikus indexelő vagy egyszerűen csak bejáróként is ismertek.
A Techopedia magyarázza a webrobotot
A webrobotok olyan információkat gyűjtenek, mint például a weboldal URL-je, a metacímkék adatai, a weboldal tartalma, a weboldalon található linkek és az ezekből a linkekből származó célok, a weboldal címe és minden egyéb lényeges információ. Figyelemmel kísérik a már letöltött URL-eket, hogy elkerüljék ugyanazon oldal újbóli letöltését. Az olyan irányelvek kombinációja, mint például az újrakeresési, a kiválasztási, a párhuzamosítási és az udvariasság politikája határozza meg a webrobot viselkedését. Sok kihívást jelent a webrobotok, nevezetesen a nagy és folyamatosan fejlődő világháló, a tartalomválasztási kompromisszumok, a társadalmi kötelezettségek és az ellenfelek kezelése.
A webrobotok a webes keresőmotorok és rendszerek kulcsfontosságú elemei, amelyek beolvasják a weblapokat. Segítenek a webbejegyzések indexálásában, lehetővé teszik a felhasználók számára, hogy lekérdezéseket küldjenek az index alapján, és biztosítják a lekérdezésekkel megegyező weboldalakat is. A webrobotok másik felhasználása a webes archiválás, amely nagyméretű weblapokat tartalmaz, amelyeket időszakosan össze kell gyűjteni és archiválni. A webrobotokat az adatbányászatban is használják, ahol az oldalakat különféle tulajdonságok, például statisztikák elemzése céljából elemzik, majd az adatok elemzése elvégzésre kerül.
