robots.txt – Der Wegweiser auf deiner Website und warum du sie brauchst

Was ist die robots.txt?

Die robots.txt Datei ist eine einfache Text Datei. Ihre Aufgabe ist es den Bots/Crawlern/Robotern der Suchmaschinen anzuzeigen welche Inhalte der eigenen Website durchsucht werden sollen und welche nicht. Das heißt im wesentlichen kann darüber beeinflusst werden welche Inhalte der eigenen Website in den Suchergebnissen von Google, etc. erscheinen.

Die in der robots.txt definierten Regeln gelten nur für den jeweiligen Server auf dem diese abgelegt ist. Die Datei sollte im Hauptverzeichnis der eigenen Website abgelegt werden.

 

Was beinhaltet die robots.txt?

Zu allererst sollte die Datei den Pfad zur Sitemap.xml der Website beinhalten, damit die von den Suchmaschinen sicher gefunden wird.

Im Anschluss kann der Zugriff auf Dateien, Ordner, etc. untersagt bzw. explizit gewährt werden. Diese Einschränkungen können individuell je Suchmaschine gesetzt werden.

Folgende Befehle können in der robots.txt verwendet werden

Befehl Beschreibung
User-Agent: Auswahl einer Suchmaschine
Disallow: Sperre Zugriff
Allow: Erlaube Zugriff
Sitemap: Pfad zur Sitemap
* Wildcard
# Kommentar

Beispiel robots.txt

#Sperre Zugriff auf ein Verzeichnis „admin“ für alle Suchmaschinen

  • User-agent:*
  • Disallow:/admin/

#Sperre Zugriff auf die gesamte Website für eine definierte Suchmaschine

  • User-agent:EmailCollector
  • Disallow:/

#Pfad zur Sitemap mitteilen

  • Sitemap: https://www.plappermaul.at/sitemap.xml

Was nützt mir eine robots.txt nun?

Kurz zusammen gefasst ist eine robots.txt aus folgenden Gründen für jede Website nützlich.

  • Sie hilft der Suchmaschine die sitemap.xml zu finden
  • Sie verhindert, dass nicht gewünschte Inhalte in den Suchergebnissen auftauchen

Am Ende unterstütz eine ordentlich gepflegte robots.txt dein Ranking in den Ergebnissen der Suchmaschinen. Aus diesem Grund gehört sie zu den Basics im Rahmen des Onlinemarketings. Gerne unterstützen wir dich dabei nicht nur die robots.txt deiner Website zu optimieren sonder deine Sichtbarkeit im Internet generell zu erhöhen.