Eine robots.txt Datei hinzufügen

Eine robots.txt-Datei ist ein wichtiger Teil für die Suchmaschinenoptimierung deiner Website. In diesem Artikel erklären wir dir, wie du eine robots.txt Datei hinzufügst und welche Funktion sie hat. 

Inhaltsangabe


Basiswissen

Suchmaschinen haben im Netz zwei Aufgaben: Inhalte im Netz suchen und diese Indexieren, damit andere Suchende diese geordnet finden. Bei der Ankunft auf einer Website sucht ein Suchmaschinen-Crawler (wie zum Beispiel ein Bot von Google oder Bing) in der Regel als Erstes nach einer robots.txt-Datei. Wenn er eine findet, liest er den Inhalt aus, bevor er weitere Seiten abruft. Es gibt viele gute Gründe, warum du eine robots.txt-Datei nutzen solltest. 

Du kannst hier zum Beispiel festlegen, was die Crawler indexieren oder welche Inhalte du eventuell verbergen möchtest. In der robots.txt-Datei empfehlen wir auch die sitemap.xml zu hinterlegen. So kann man sicherer sein, dass ein Crawler diese überhaupt aufruft und deine Seite korrekt indexiert wird. In der Sitemap legst du fest, welche Seiten indexiert werden und welche nicht. Für weitere Informationen zur Sitemap haben wir einen eigenen Artikel für dich. 

Wichtig zu erwähnen ist, dass die robots.txt-Datei nur eine Hilfe für die Crawler ist. Es ist nicht sicher garantiert, dass die Websites nicht gecrawlt werden oder andersherum. Google und Bing zum Beispiel geben beide an, dass sie die robots.txt-Datei zwar beachten, sie sind aber nicht verpflichtet dazu. 

Im Internet findest du sehr viele Anleitungen, wie du eine robots.txt erstellst und welche Anweisungen du eintragen solltest. Die Syntax dafür ist sehr einfach. Jede Suchmaschine hat, hat auch eigene Hilfeartikel in ihrer Datenbank, wie Google zum Beispiel (externer Link). Es gibt sogar Generatoren, die die Arbeit für dich übernehmen. Weitere Informationen zu den möglichen Vorgaben und Regelungen wurden im Robots Exclusion Standard Protocoll (externer Link) definiert.

Unter diesem Link (externer Link) kannst du deine robots.txt Datei testen.

Hinweis: Wir empfehlen dir für weitere Tipps und Werkzeuge unseren Artikel über die häufigen Fragen rund um die Suchmaschinenoptimierung. Bitte bedenke, dass weder SEO-Strategie noch Probleme beim Einreichen der Robots.txt-Datei bei den Suchmaschinen in unseren Zuständigkeitsbereich fällt. Wir empfehlen hierfür unsere Community, in der du dich mit anderen Profis austauschen kannst. 

Robots.txt-Datei zur Website hinzufügen

Damit die Suchmaschinen die Datei finden, muss sich diese im Hauptverzeichnis der Domain befinden. Sollte sich die Datei woanders verstecken, gehen die Crawler davon aus, dass keine vorhanden ist. Das können wir mit einem einfachen Trick erreichen. 

1. Lade deine robots.txt-Datei in der Dateiverwaltung hoch.

2. Öffne die Datei aus der Dateiverwaltung heraus, um die URL zur Datei zu erfahren.

3. Kopiere die komplette URL.

4. Gehe nun zur linken Menüführung und öffne die Weiterleitungen.

5. Füge jetzt diese neue Regel hinzu. Als "Typ" empfiehlt sich eine 301 oder 302 Weiterleitung.

6. Somit hast du eine Weiterleitung eingerichtet, mit der die Bots der Suchmaschinen problemlos die robots.txt finden. 


Werde ein Teil unserer Community!

Tausche dich mit anderen Webdesignern über aktuelle Entwicklungen, Tipps und Tricks aus und präsentiere deine Lieblingsseiten. Hole dir Feedback und sprich mit uns über Funktionen, die du dir für Sitejet wünschst. Hier gelangst du direkt zur Sitejetters Community.

Zurück zum Anfang

Hilfe benötigt? Kontakt aufnehmen Kontakt aufnehmen