Generatore Robots.txt
Genera il file robots.txt per il tuo sito web. Configura le regole di scansione per Googlebot, Bingbot e altri crawler. Blocca facilmente i bot AI con i preset veloci.
⚡ Preset veloci
⚙️ Regole per user-agent
secondi
📄 Preview robots.txt live
ℹ️ Come funziona robots.txt
User-agent: * — si applica a tutti i crawler.
Disallow: / — blocca l'accesso a tutte le pagine.
Allow: / — permette esplicitamente l'accesso (sovrascrive Disallow).
Crawl-delay — intervallo in secondi tra una richiesta e l'altra del crawler.
Nota: robots.txt è un suggerimento, non un blocco tecnico. Per bloccare davvero una pagina usa noindex nei meta tag.