Che cos'è robots.txt?

robots.txt è un file di testo semplice situato nella directory principale del tuo sito web, che indica ai bot dei motori di ricerca (come Googlebot e Bingbot) quali parti del tuo sito possono scansionare e quali invece non devono scansionare. Puoi raggiungere il robots.txt di qualsiasi sito digitando https://www.tuosito.com/robots.txt nella barra degli indirizzi.

Puoi immaginare questo file come un "portinaio": guida i bot per cortesia. C'è però un punto importante da ricordare; robots.txt non è uno strumento di sicurezza. Bloccare una pagina qui non significa che non comparirà mai in Google, né garantisce che la pagina rimanga nascosta.

A cosa serve robots.txt?

Lo scopo principale di robots.txt è aiutare i motori di ricerca a utilizzare in modo efficiente il loro budget di scansione. Chiudendo alla scansione le aree prive di valore SEO — come i pannelli di amministrazione, le pagine dei risultati di ricerca, le pagine del carrello e del pagamento — consenti ai bot di concentrarsi sui contenuti che contano davvero. Puoi inoltre aiutare i motori di ricerca a trovare facilmente la tua mappa indicando l'indirizzo della tua sitemap in questo file.

Comandi di base di robots.txt

Il file è composto da comandi semplici:

  • User-agent: Indica a quale bot si applicano i comandi. Il segno * significa "tutti i bot".
  • Disallow: Impedisce la scansione del percorso indicato.
  • Allow: Consente un percorso specifico all'interno di una cartella bloccata.
  • Sitemap: Dichiara l'indirizzo completo della tua sitemap.

Esempi di file robots.txt

La struttura consigliata per un sito WordPress standard:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteniz.com/sitemap_index.xml

Questa struttura chiude alla scansione il pannello di amministrazione, consentendo però il file admin-ajax.php di cui temi e plugin hanno bisogno per funzionare correttamente.

La struttura più semplice, che apre l'intero sito alla scansione:

User-agent: *
Disallow:

Il comando Disallow vuoto significa qui "non bloccare nulla".

Attenzione — la struttura pericolosa che blocca l'intero sito:

User-agent: *
Disallow: /

Un singolo segno / blocca la scansione dell'intero sito. Quando questa riga viene aggiunta per errore, può far sparire completamente il tuo sito da Google; per questo motivo presta molta attenzione.

Come si crea robots.txt?

In WordPress

WordPress genera per impostazione predefinita un robots.txt virtuale. Puoi visualizzare e modificare questo file dalla sezione "Strumenti > Editor di file" del plugin Yoast SEO o Rank Math. Il plugin salva le modifiche per te e le colloca nella posizione corretta.

Crearlo manualmente

Apri un editor di testo come il Blocco note, digita i comandi e salva il file con il nome robots.txt (con estensione .txt). Quindi caricalo nella directory principale del tuo sito (public_html) tramite FTP o il gestore file del tuo hosting. Il file deve trovarsi nella directory principale; un robots.txt in una sottocartella è considerato non valido.

Testare robots.txt

Dopo aver pubblicato il file, verifica la sintassi con lo strumento di test robots.txt nella Google Search Console. Questo strumento ti mostra i comandi errati e le pagine importanti che hai bloccato per sbaglio. Ti consigliamo vivamente di testare prima della pubblicazione, perché anche un piccolo errore di battitura può far sparire l'intero sito dai risultati di ricerca.

robots.txt e il suo rapporto con la SEO

Il ruolo di robots.txt nella SEO viene spesso frainteso. Questo file non migliora direttamente il tuo posizionamento; la sua vera funzione è gestire il budget di scansione. Google assegna a ogni sito una risorsa di scansione limitata. Se i bot trascorrono il loro tempo su indirizzi privi di valore come risultati di ricerca filtrati, infinite pagine di calendario o aree di amministrazione, i tuoi contenuti davvero importanti vengono scansionati più tardi. Un robots.txt configurato correttamente indirizza i bot verso pagine di valore e fornisce così un vantaggio SEO indiretto.

Questo è particolarmente cruciale per i grandi siti di e-commerce. Gli innumerevoli URL parametrizzati creati dai filtri di colore, taglia e ordinamento possono esaurire rapidamente il budget di scansione. Gestire questo tipo di indirizzi parametrizzati con robots.txt garantisce che il tuo sito venga scansionato in modo efficiente.

Esempi di utilizzo avanzato

Oltre ai comandi di base, esistono alcuni schemi utili. Puoi usare un carattere jolly (wildcard) per bloccare un tipo di file specifico:

User-agent: *
Disallow: /*.pdf$

Questo comando blocca la scansione di tutti i file PDF. Per bloccare gli indirizzi che contengono un parametro specifico:

Disallow: /*?filtre=

Puoi anche definire regole diverse per bot diversi. Ad esempio, se vuoi bloccare solo un bot per le immagini, prendi di mira la relativa riga "User-agent". Ma ricorda: le regole non vengono applicate dall'alto verso il basso, bensì in base alla corrispondenza più specifica, e un singolo errore può interessare l'intero sito. Per questo dovresti sempre provare le regole avanzate nello strumento di test prima della pubblicazione.

Aspetti da tenere d'occhio nella gestione di robots.txt

robots.txt è un file potente e, se usato correttamente, garantisce che il tuo sito venga scansionato in modo efficiente; tuttavia, una sola riga errata può mettere a rischio l'intera visibilità. Per questo motivo devi seguire alcune regole di base: tieni sempre il file nella directory principale, indica chiaramente i percorsi che vuoi bloccare, non dimenticare di aggiungere l'indirizzo della tua sitemap e verifica sempre con lo strumento di test dopo ogni modifica. Tieni inoltre presente che, se vuoi che una pagina bloccata scompaia completamente dalla ricerca, dovresti usare il tag noindex invece di robots.txt.

Domande frequenti (FAQ)

robots.txt è uno strumento di sicurezza?

No. robots.txt guida i bot solo per cortesia e non è uno strumento di sicurezza. Bloccare una pagina qui non garantisce che rimanga nascosta né che non compaia mai in Google. Una vera protezione richiede metodi come una password o noindex.

Dove deve trovarsi il file robots.txt?

Il file deve trovarsi nella directory principale del tuo sito (public_html) e deve essere accessibile all'indirizzo https://www.tuosito.com/robots.txt. Un robots.txt in una sottocartella è considerato non valido.

robots.txt migliora il mio posizionamento?

Non direttamente. La sua vera funzione è gestire il budget di scansione. Allontanando i bot dalle pagine prive di valore e indirizzandoli verso contenuti di valore, fornisce un vantaggio SEO indiretto.

Conclusione

robots.txt è un file piccolo ma fondamentale che guida correttamente i bot dei motori di ricerca attraverso il tuo sito. Se configurato correttamente, concentra il tuo budget di scansione sulle pagine di valore; una sola riga errata, invece, può far sparire l'intero sito dalla ricerca. Mantieni i comandi semplici, aggiungi la tua sitemap e non saltare mai il test dopo ogni modifica.

Articoli correlati