robots.txt Generator
Erstelle eine robots.txt Datei um zu steuern, wie Suchmaschinen deine Website crawlen.
Zu blockierende Pfade
Sitemap
Zusätzliche Optionen
Crawler-Regeln für Suchmaschinen erstellen
Die robots.txt Datei steuert, welche Bereiche deiner Website von Suchmaschinen gecrawlt werden dürfen. Mit diesem Generator erstellst du schnell eine passende robots.txt – mit Presets für WordPress und individuellen Regeln.
Was ist die robots.txt?
Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie crawlen dürfen und welche nicht.
Wichtige robots.txt Befehle
User-agent: Definiert den Crawler (z.B. Googlebot oder * für alle). Disallow: Blockiert bestimmte Pfade. Allow: Erlaubt Pfade explizit. Sitemap: Verweist auf deine XML-Sitemap.
robots.txt für WordPress
Bei WordPress solltest du typischerweise /wp-admin/, /wp-includes/, Suchergebnisse und Cache-Ordner blockieren, aber /wp-admin/admin-ajax.php erlauben.
Häufig gestellte Fragen
Wo muss die robots.txt liegen?
Die robots.txt muss im Stammverzeichnis deiner Domain liegen und unter domain.de/robots.txt erreichbar sein.
Blockiert robots.txt die Indexierung?
Nein! robots.txt verhindert nur das Crawlen, nicht die Indexierung. Wenn Google Links zu blockierten Seiten findet, kann er sie trotzdem indexieren – nur ohne Inhalt.
Muss ich eine robots.txt haben?
Nein, sie ist optional. Ohne robots.txt dürfen Crawler alles besuchen. Sie ist aber empfohlen, um Server-Ressourcen zu schonen und irrelevante Seiten auszuschließen.
Kann ich einzelne Crawler blockieren?
Ja, mit User-agent kannst du spezifische Bots ansprechen, z.B. "User-agent: GPTBot" um AI-Crawler zu blockieren.