robots.txt Generator
Erstelle eine robots.txt Datei um zu steuern, wie Suchmaschinen deine Website crawlen.
Zu blockierende Pfade
Sitemap
Zusätzliche Optionen
Crawler-Regeln für Suchmaschinen erstellen
Die robots.txt Datei steuert, welche Bereiche deiner Website von Suchmaschinen gecrawlt werden dürfen. Mit diesem Generator erstellst du schnell eine passende robots.txt – mit Presets für WordPress und individuellen Regeln.
Was ist die robots.txt?
Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie crawlen dürfen und welche nicht.
Wichtige robots.txt Befehle
User-agent: Definiert den Crawler (z.B. Googlebot oder * für alle). Disallow: Blockiert bestimmte Pfade. Allow: Erlaubt Pfade explizit. Sitemap: Verweist auf deine XML-Sitemap.
robots.txt für WordPress
Bei WordPress solltest du typischerweise /wp-admin/, /wp-includes/, Suchergebnisse und Cache-Ordner blockieren, aber /wp-admin/admin-ajax.php erlauben.
KI-Crawler blockieren (GPTBot, CCBot & Co.)
Seit 2024 crawlen KI-Unternehmen wie OpenAI (GPTBot), Anthropic (ClaudeBot) und Common Crawl (CCBot) das Web für Trainingsdaten. Mit der robots.txt kannst du diese Bots gezielt blockieren, wenn du nicht möchtest, dass deine Inhalte für KI-Training verwendet werden. Beispiel: „User-agent: GPTBot" gefolgt von „Disallow: /".
Häufig gestellte Fragen
Wo muss die robots.txt liegen?
Die robots.txt muss im Stammverzeichnis deiner Domain liegen und unter domain.de/robots.txt erreichbar sein.
Blockiert robots.txt die Indexierung?
Nein! robots.txt verhindert nur das Crawlen, nicht die Indexierung. Wenn Google Links zu blockierten Seiten findet, kann er sie trotzdem indexieren – nur ohne Inhalt.
Muss ich eine robots.txt haben?
Nein, sie ist optional. Ohne robots.txt dürfen Crawler alles besuchen. Sie ist aber empfohlen, um Server-Ressourcen zu schonen und irrelevante Seiten auszuschließen.
Kann ich einzelne Crawler blockieren?
Ja, mit User-agent kannst du spezifische Bots ansprechen, z.B. "User-agent: GPTBot" um AI-Crawler zu blockieren.
robots.txt ist nur der Anfang. Sitemaps, Canonical-Tags, Crawl-Budget – ich optimiere die technische SEO-Basis deiner Website.
SEO-Optimierung ansehen →