Die robots.txt Datei
robots.txt - Eine kleine Datei macht den großen Unterschied / Dez. 2016
Wer braucht die robots.txt?
Die robots.txt ist eine kleine Text-Datei im Root-Verzeichnis einer Website. Sie wird von Bots und Crawlern gelesen und legt fest, welche Dateien und Verzeichnisse von Bots und Crawlern nicht aufgerufen werden dürfen.
Die robots.txt wird eingesetzt, um z.B. den Bots von Google zu verbieten, bestimmte Verzeichnisse überhaupt aufzurufen und zu analysieren.
Warum das wichtig ist
Findet der Google-Bot keine robots.txt, kann es passieren, dass die gesamte Website nicht indiziert wird, da der Google-Bot eher zu vorsichtig ist, als dass er eine Seite indiziert, die nicht indiziert werden möchte.Damit der Google-Bot eine Webseite richtig bewerten kann (auch in Hinblick auf Usability und Performance), braucht der Google-Bot Zugriff auf Style-Sheets und Javascript-Dateien. Die robots.txt sollte die Zugriffe daher nicht zu sehr einschränken.
Wer nicht möchte, dass einzelne Seiten von Google in den Index aufgenommen werden, sollte anstatt eines Ausschlusses über die robots.txt lieber im Header der Seite das Meta-Tag "robots" verwenden.
Unser Tipp
- Bei jedem Webprojekt darauf achten, dass eine robots.txt vorhanden ist.
- Die Google-Bots sollten immer Zugriff auf alle wichtigen Verzeichnisse, Stylesheets und Javascript-Dateien haben
- Jedes Webprojekt bei der Google Search Console anmelden und dort prüfen, dass die robots.txt nicht zu viele Ressourcen blockiert