Botok weboldalunkon, robots.txt

Weboldalunkat időnként botok látogatják. Készítőjük különféle feladattal látta el, azonban nem biztos, hogy mindegyik bot számára szeretnénk oldalunk tartalmát közölni. Amennyiben a bot együttműködő, elolvassa weboldalunk gyökérmappájában elhelyezhető robots.txt fájlunkat és aszerint látogatja oldalunkat, amit számára javasoltunk.

Fontos, a robots.txt mindössze javaslat*. A bot készítője dönti el, hogyan fog viselkedni az adott bot. Letölti és feldolgozza-e egyáltalán és ha igen, figyelembe veszi-e.

Oldalunk működése szempontjából hasznos lehet, ha az együttműködő botok számára készítünk olyan instrukciókat, amiből kiderülhet, milyen tartalmat szeretnénk az oldalon megmutatni.

Az egyszerű robots.txt fájlt bárki olvashatja. Célszerű ezért csak olyan információt beleírni, ami egyébként publikusan is megtekinthető lenne, csak erőforrás kímélés miatt jelezzük, hogy nem szeretnénk, ha látogatnák.
Admin mappa vagy admin login fájl elérhetőségét inkább korlátozzuk például .htaccess jelszavas védelemmel .

Amennyiben nem döntöttük még el, melyik botot hogyan kezelnénk, használhatunk előre összeállított listát is, mint például a https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt . Ez a lista jellemzően tiltásokat tartalmaz, amennyiben az adott bot figyelembe veszi, kevesebb erőforrást igényel az oldalunktól távol tartani.

*Forrás: https://www.robotstxt.org/robotstxt.html

2025.09.26