Tipps & Tricks

robots.txt

Ihre Webseiten werden von (Web)Robots, Spidern oder Crawlern aufgesucht. Diese Bots sind Computerprogramme, die zumeinst autonom, regelmäßig und wiederkehrend Webseiten auffinden und analysieren. Üblicherweise suchen diese Bots dabei initial nach der robots.txt-Datei. In dieser Datei können Sie Bots mitteilen, was Sie indexiert haben möchten, und was nicht. Eine Garantie, dass sich Bots daran halten, gibt es allerdings nicht.

Das gilt es zu beachten:

  • Robots, Spider oder Crawler können die robots.txt ignorieren
  • Jeder kann die robots.txt auslesen und sehen, was sie verstecken wollen
  • Daher schützt die robots.txt keine sensiblen Daten

robots: alle verbieten

 
User-agent: *
Disallow: /
 

User-agent: * gibt an, dass die nachfolgenden Einstellungen für alle user-agents gelten sollen. Disallow: / teilt den zuvor definierten user-agents, dass keine Seiten der Webseite besucht werden sollen. Mit diesen Einstellungen werden alle Robots, Spider oder Crawler angewiesen, keine Inhalte zu indexieren.

Vor dem Golive ist das die zu bevorzugende Einstellung. Wer auf Nummer sicher gehen will, sichert den Zugang zum Webprojekt mittels htaccess.

robots: alle erlauben

 
User-agent: *
Disallow:  

Ein leeres Disallow: teilt den zuvor definierten user-agents mit, dass es keine Beschränkung auf der Webseite gibt. Mit diesen Einstellungen wird allen Robots, Spidern oder Crawlern das Indexieren erlaubt.

Wichtig!

robots.txt zum Golive aktualisieren. Alternativ leere robots.txt einstellen. 

robots: alle verbieten außer Google

 
User-agent: Google
Disallow:  
User-agent: *
Disallow: /
 

Hierbei spielt die Reihenfolge eine wichtige Rolle. Zunächst gestatten Sie mit User-agent: Google und einem leeren Disallow: Google das Indexieren Ihrer Webseiten. Anschließend teilen Sie allen anderen Robots, Spidern oder Crawlern mit, dass keine Inhalte indexiert werden sollen.

robots: bestimmte Verzeichnisse verbieten

 
User-agent: *
Disallow: /demo
Disallow: /projekt
Disallow: /kunde
 

Mit User-agent: * und Disallow: [pfad] teilen Sie allen Robots, Spidern oder Crawlern mit, dass die entsprechenden Verzeichnisse nicht indexiert werden sollen.

Suchmaschinenoptimierung mit robots.txt

Die robots.txt ist ein wichtigen Baustein der Suchmaschinenoptimierung. Wir hoffen, Sie können die Tipps & Tricks zur robots.txt für sich nutzen. Informieren Sie sich gerne über unseren Service rund um SEO, SEM und SEA für Google & Co.

Ihre Kunden sollen Sie gut finden:  Nachhaltige Suchmaschinenoptimierung zum Kennenlernpreis.

Cleveres Suchmaschinenmarketing:  Bezahlbare Online-Werbung zum Kennenlernpreis