Webmester honlap - Robots-Text

Egy robots.txt feladata abból áll, hogy a keresők spider-jaival szemben bizonyos oldalakhoz vagy jegyzékekhez a hozzáférést megtagadja. Ez nem jelent automatikus védelmet a hozzáférés ellen, sőt minden websurfer, akit érdekel, le tudja hivni egy browser segítségével. Egy robots.txt elkészitése nem feltétlenül szükséges, de ajánlatos, hiszen a spider-ek automatikusan keresik őket, és először ott tudakozódnak. Programozásuk nagyon körűltekintöen végzendő, mert egy túl agresszívan dolgozó spider könnyen túlterheli a szervert, amelyen a letöltött dokumentumok találhatók.

A User-Agent a Spider-re vonatkozik. A * mint egy Joker használandó és azt jelenti, hogy a megadott adatok minden Spider-re érvényesek.

minden robot felkérve
Egy üres fájl ugyanazt a célt zolgálja. User-agent: *
Disallow:

minden robot kizárva
User-agent: *
Disallow: /

bizonyos jegyzékektöl minden robotot távol tartani
User-agent: *
Disallow: /nem fontos
Disallow: /cgi-bin/

Egy bizonyos robot kizárva (pl. Scooter)
User-agent: Scooter
Disallow: /

Egy bizonyos robotot felkérni (pl. WebCrawler)
User-agent: Slurp.so
Disallow:

Többféle fájlt kizárni
# az én robotom Info
User-agent: *
Disallow: /janos.htm
Disallow: /abc.htm

Kommentárokat így illeszthet be:
# az én kommentárom