Die robots.txt Datei ist eine einfache Text Datei. Ihre Aufgabe ist es den Bots/Crawlern/Robotern der Suchmaschinen anzuzeigen welche Inhalte der eigenen Website durchsucht werden sollen und welche nicht. Das heißt im wesentlichen kann darüber beeinflusst werden welche Inhalte der eigenen Website in den Suchergebnissen von Google, etc. erscheinen.
Die in der robots.txt definierten Regeln gelten nur für den jeweiligen Server auf dem diese abgelegt ist. Die Datei sollte im Hauptverzeichnis der eigenen Website abgelegt werden.
Zu allererst sollte die Datei den Pfad zur Sitemap.xml der Website beinhalten, damit die von den Suchmaschinen sicher gefunden wird.
Im Anschluss kann der Zugriff auf Dateien, Ordner, etc. untersagt bzw. explizit gewährt werden. Diese Einschränkungen können individuell je Suchmaschine gesetzt werden.
Befehl | Beschreibung |
User-Agent: | Auswahl einer Suchmaschine |
Disallow: | Sperre Zugriff |
Allow: | Erlaube Zugriff |
Sitemap: | Pfad zur Sitemap |
* | Wildcard |
# | Kommentar |
#Sperre Zugriff auf ein Verzeichnis „admin“ für alle Suchmaschinen
#Sperre Zugriff auf die gesamte Website für eine definierte Suchmaschine
#Pfad zur Sitemap mitteilen
Kurz zusammen gefasst ist eine robots.txt aus folgenden Gründen für jede Website nützlich.
Am Ende unterstütz eine ordentlich gepflegte robots.txt dein Ranking in den Ergebnissen der Suchmaschinen. Aus diesem Grund gehört sie zu den Basics im Rahmen des Onlinemarketings. Gerne unterstützen wir dich dabei nicht nur die robots.txt deiner Website zu optimieren sonder deine Sichtbarkeit im Internet generell zu erhöhen.
Plappermaul | Marketing und Kommunikation | Mühlgruber Straße 42, 4540 Pfarrkirchen