Generatore di robots.txt gratuito online

Il generatore di robots.txt di Twaino ti permette di creare visivamente un file robots.txt completo e valido per il tuo sito web. Questo file è essenziale per controllare il modo in cui i motori di ricerca esplorano e indicizzano il tuo sito. Grazie alla nostra interfaccia intuitiva, puoi aggiungere regole User-Agent, direttive Allow e Disallow, e specificare l’URL della tua sitemap senza scrivere una sola riga di codice manualmente.

Il file robots.txt è posizionato alla radice del tuo sito web e rappresenta la prima cosa che i robot dei motori di ricerca consultano prima di esplorare le tue pagine. Un robots.txt mal configurato può bloccare l’indicizzazione di pagine importanti o, al contrario, permettere ai bot di accedere a risorse che desideri mantenere private.

Come utilizzare il generatore di robots.txt?

Lo strumento inizia con una regola predefinita per l’User-Agent « * » (tutti i robot). Puoi aggiungere direttive Allow o Disallow per ogni User-Agent facendo clic su « + Direttiva ». Per indirizzare un robot specifico come Googlebot o Bingbot, fai clic su « + Aggiungi un User-Agent » e inserisci il suo nome. Inserisci l’URL della tua sitemap nel campo previsto e l’anteprima si aggiorna in tempo reale a destra. Copia il risultato con un clic e incollalo nel tuo file robots.txt.

Che cos’è il file robots.txt?

Il file robots.txt è un file di testo che rispetta il Robots Exclusion Protocol. Indica ai robot dei motori di ricerca quali parti del tuo sito possono o non possono esplorare. Ogni insieme di regole inizia con una direttiva User-agent che identifica il robot interessato, seguita da direttive Allow (autorizzare) e Disallow (vietare) che specificano i percorsi accessibili o bloccati.

La direttiva Sitemap alla fine del file indica ai motori di ricerca dove trovare la tua mappa del sito XML, il che facilita la scoperta e l’indicizzazione di tutte le tue pagine.

Best practice per robots.txt

Ecco alcuni consigli essenziali per un robots.txt efficace. No bloccare mai i tuoi file CSS e JavaScript perché Google ne ha bisogno per renderizzare correttamente le tue pagine. Utilizza robots.txt per bloccare le pagine a basso valore SEO come le pagine dei risultati di ricerca interna, le pagine di ordinamento o gli archivi di tag poco rilevanti. Indica sempre l’URL della tua sitemap XML per facilitare il crawl.

No utilizzare robots.txt per nascondere pagine sensibili perché è pubblico e leggibile da tutti. Per proteggere contenuti confidenziali, utilizza piuttosto l’autenticazione o il tag meta noindex.

Esempi comuni di direttive

Per un sito WordPress, è comune bloccare l’accesso alla cartella wp-admin autorizzando al contempo wp-admin/admin-ajax.php che è necessario per il funzionamento del sito. Si bloccano anche generalmente le pagine di ricerca con Disallow: /?s= e le pagine di tag duplicate. Per un sito e-commerce, puoi bloccare le pagine di filtri e ordinamento che creano contenuti duplicati.

FAQ

Il robots.txt impedisce l’indicizzazione delle mie pagine?

Il robots.txt impedisce l’esplorazione (crawl) ma non necessariamente l’indicizzazione. Se altri siti fanno link a una pagina bloccata, Google può comunque indicizzarla senza visitarla. Per impedire l’indicizzazione, utilizza il tag meta noindex.

Che cosa significa User-agent: *?

L’asterisco significa « tutti i robot ». Le regole sotto questo User-agent si applicano a tutti i motori di ricerca tranne quelli che hanno regole specifiche definite più in alto nel file.

Posso bloccare solo Google senza influenzare Bing?

Sì, crea un gruppo specifico con User-agent: Googlebot e aggiungi le tue direttive Disallow. Gli altri motori seguiranno le regole dell’User-agent: * che non contengono queste restrizioni.

Come testo il mio robots.txt?

Utilizza lo strumento di test del robots.txt in Google Search Console. Ti permette di verificare se un URL specifico è bloccato o autorizzato dalle tue regole.

Con quale frequenza i robot consultano il robots.txt?

Googlebot mette in cache il robots.txt e lo consulta circa una volta al giorno. Le modifiche quindi non vengono applicate istantaneamente.