Perfekte robots.txt für deine Website erstellen. Kostenlos, keine Anmeldung.
Alles passiert in deinem Browser. 0 EUR API-Kosten.
Die robots.txt ist eine der wichtigsten Dateien für SEO. Sie bestimmt, welche Bereiche deiner Website von Suchmaschinen gecrawlt werden duerfen und welche nicht. Unser Generator erstellt eine professionelle robots.txt in Sekunden, inklusive KI-Bot-Steuerung.
Wenn du nicht möchtest, dass deine Inhalte für KI-Training genutzt werden, blockiere GPTBot, ClaudeBot und CCBot. Wenn du auf Sichtbarkeit in KI-Suchen setzt (Perplexity, ChatGPT Search, Google AI Overviews), solltest du die Bots zulassen. Unser Generator bietet beide Optionen mit einem Klick.
Wichtig: robots.txt blockiert nur das Crawlen, nicht das Indexieren. Wenn andere Seiten auf eine blockierte URL verlinken, kann Google sie trotzdem in den Suchergebnissen anzeigen. Fuer echte Deindexierung brauchst du ein noindex Meta-Tag auf der Seite selbst.
Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern sagt, welche Bereiche sie besuchen duerfen und welche nicht. Sie ist ein wichtiger Teil der technischen SEO.
Das hängt von deiner Strategie ab. GPTBot (OpenAI), ClaudeBot (Anthropic) und andere KI-Crawler nutzen deine Inhalte für Training. Wenn du das nicht möchtest, blockiere sie. Für GEO (Generative Engine Optimization) kann es aber sinnvoll sein, sie zuzulassen.
Die robots.txt muss direkt im Root-Verzeichnis deiner Domain liegen, also unter https://deine-domain.de/robots.txt. Die Datei muss genau so heissen (Kleinschreibung).
Nein! robots.txt verhindert nur das Crawlen, nicht das Indexieren. Wenn andere Seiten auf eine blockierte URL verlinken, kann Google sie trotzdem indexieren. Fuer echte Deindexierung brauchst du ein noindex Meta-Tag.