Webmester honlap - Spider & Co
A Spider-ek a keresők úgynevezett láthatatlan segitői a keresésben. Feladatuk a web-en talált dokumentumok begyüjtése.
Gyakran más néven is használatosak, mint pl. Robots, Crawler, Worm stb., nevükkel ellentétben azonban nem vándorolnak a weben, hanem csak a hyperlink-eken keresztül tudakozódnak.
A Spider kifejezés a legelterjedtebb, elsősorban azért, mert a Robots elnevezés könnyen összetéveszthető a robots.txt adattárral.
| Robots | Agents | Host |
|---|---|---|
| Acoon | acoon Robot v1.01 | - |
| Aladin | aladin/3.324 | - |
| Altavista | xcooter/1.0 scooter@pa.dec.com | Scooter |
| Answerz | answerzCrawl | - |
| Crawler.de | libwww-perl/5.07 | - |
| digital-integrity | robot@digital-integrity.com | DIIbot/1.2 |
| Eule | - | eule-Robot |
| Euroseek | - | arachnoidea |
| Excite | architextSpider | Architext |
| Fireball | KIT-Fireball/2.0 | Hardrock |
| backrub@google.stanford.edu | GoogleBot | |
| Goto | robot@idealab.com | Giordano |
| Hotbot | slurp.so/1.0 | Slurp |
| Hubat | hubat.com | Hubater |
| Intersearch | visual ramBot xtreme 6.7.4 | - |
| Infoseek | sidewinder/0.9 | Sidewinder |
| Kolibri | kolibri gncwebbot | |
| Lycos | spider2-uu.wisewire.com | WiseWire |
| Mirago | mirago! | - |
| Nathan.de | - | tarantula |
| Spider.de | libwww-perl/5.08 | - |
| SuperSnooper | robot SuperSnooper | - |
| WhatUSeek | - | Winona |
| Webcrawler | webCrawler/3.0_Robot | - |
Tartalom:
