Robots.txt Generator
SEO Tool
Website robots.txt Generator App
1. Standard-Regel (Alle Bots)
Standard-Zugriff (User-agent: *):
Alle Bereiche erlauben (Allow: /)
Gesamte Website sperren (Disallow: /)
Crawl-Delay (Verzögerung in Sek.):
2. Pfad-Einschränkungen
+ Pfad hinzufügen
Disallow (sperren)
Allow (erlauben)
✕
Keine spezifischen Pfade definiert. Klicke oben auf "+ Pfad hinzufügen", um z. B. `/admin/` zu sperren.
3. Spezifische Bots steuern
Standard-Regel nutzen
Erlauben
Aussperren
4. Sitemap URL
Vorschau (robots.txt)
robots.txt herunterladen