Was ist die robots.txt?
Die robots.txt Datei ist eine einfache Text Datei. Ihre Aufgabe ist es den Bots/Crawlern/Robotern der Suchmaschinen anzuzeigen welche Inhalte der eigenen Website durchsucht werden sollen und welche nicht. Das heißt im wesentlichen kann darüber beeinflusst werden welche Inhalte der eigenen Website in den Suchergebnissen von Google, etc. erscheinen.
Die in der robots.txt definierten Regeln gelten nur für den jeweiligen Server auf dem diese abgelegt ist. Die Datei sollte im Hauptverzeichnis der eigenen Website abgelegt werden.
Was beinhaltet die robots.txt?
Zu allererst sollte die Datei den Pfad zur Sitemap.xml der Website beinhalten, damit die von den Suchmaschinen sicher gefunden wird.
Im Anschluss kann der Zugriff auf Dateien, Ordner, etc. untersagt bzw. explizit gewährt werden. Diese Einschränkungen können individuell je Suchmaschine gesetzt werden.
Folgende Befehle können in der robots.txt verwendet werden
| Befehl |
Beschreibung |
| User-Agent: |
Auswahl einer Suchmaschine |
| Disallow: |
Sperre Zugriff |
| Allow: |
Erlaube Zugriff |
| Sitemap: |
Pfad zur Sitemap |
| * |
Wildcard |
| # |
Kommentar |
Beispiel robots.txt
#Sperre Zugriff auf ein Verzeichnis „admin“ für alle Suchmaschinen
- User-agent:*
- Disallow:/admin/
#Sperre Zugriff auf die gesamte Website für eine definierte Suchmaschine
- User-agent:EmailCollector
- Disallow:/
#Pfad zur Sitemap mitteilen
- Sitemap: https://www.plappermaul.at/sitemap.xml
Was nützt mir eine robots.txt nun?
Kurz zusammen gefasst ist eine robots.txt aus folgenden Gründen für jede Website nützlich.
- Sie hilft der Suchmaschine die sitemap.xml zu finden
- Sie verhindert, dass nicht gewünschte Inhalte in den Suchergebnissen auftauchen
Am Ende unterstütz eine ordentlich gepflegte robots.txt dein Ranking in den Ergebnissen der Suchmaschinen. Aus diesem Grund gehört sie zu den Basics im Rahmen des Onlinemarketings. Gerne unterstützen wir dich dabei nicht nur die robots.txt deiner Website zu optimieren sonder deine Sichtbarkeit im Internet generell zu erhöhen.
