Robots.txt: cos’è, dove si trova e come usarlo

Tra i file più citati quando si parla di SEO tecnica c’è senza dubbio il robots.txt. Spesso viene trattato come una sorta di interruttore magico capace di far sparire pagine da Google, risolvere problemi di scansione e mettere ordine in un sito con due righe di testo.

La realtà è un po’ diversa.

Il robots.txt è uno strumento molto utile, ma va capito bene. Se usato nel modo corretto aiuta i motori di ricerca a capire quali aree del sito possono o non possono esplorare. Se usato male, invece, può bloccare risorse importanti, impedire la scansione di sezioni utili o creare confusione proprio dove servirebbe chiarezza.

In questo articolo trovi una guida concreta e leggibile, utile sia a chi si avvicina ora alla SEO sia a chi lavora già su siti web, Search Console e file di configurazione.

Robots.txt: che cos’è e a cosa serve

Il robots.txt è un file di testo semplice, collocato nella root del dominio, che serve a dare istruzioni ai crawler su ciò che possono o non possono richiedere sul tuo sito. In parole semplici, è il file che comunica ai motori di ricerca quali sezioni del sito possono essere scansionate e quali no.

Questa è la prima distinzione da fissare bene: il robots.txt gestisce la scansione, non l’indicizzazione in senso pieno. Una pagina bloccata nel robots.txt può ancora comparire nei risultati di Google se il motore di ricerca la conosce già attraverso link esterni o altre fonti.

File robots.txt: dove si trova e come si apre

Il file robots.txt si trova normalmente a questo indirizzo:

https://www.tuosito.it/robots.txt

Questa è la posizione standard. Per controllare se esiste ti basta digitare nel browser l’URL del tuo dominio seguito da /robots.txt.

Se il file è presente, vedrai un testo simile a questo:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.tuosito.it/sitemap_index.xml

Le direttive principali da conoscere sono queste:

• User-agent: indica a quale crawler si applicano le regole;
• Disallow: indica ciò che non deve essere scansionato;
• Allow: serve a consentire una specifica eccezione dentro un’area bloccata;
• Sitemap: segnala il percorso della sitemap XML.

Qui conviene fare un chiarimento importante: il robots.txt non è il posto giusto per nascondere contenuti riservati. Se una cartella contiene materiale sensibile, va protetta lato server o con autenticazione. Il robots.txt è pubblico: chiunque può aprirlo e leggere che cosa stai cercando di tenere fuori dalla scansione.

Robots txt e SEO: perché conta davvero

Chi lavora sulla SEO spesso si concentra su title, contenuti, link interni e performance. Tutto giusto. Il robots txt, però, entra in gioco quando bisogna evitare dispersioni e aiutare i crawler a concentrarsi sulle sezioni davvero utili del sito.

Un file ben impostato può avere senso, per esempio, quando vuoi:

• limitare la scansione di URL di ricerca interna, filtri o parametri poco utili;
• evitare che il crawler sprechi richieste su aree irrilevanti;
• indicare esplicitamente l’URL della sitemap;
• impedire la scansione di file o sezioni tecniche che non portano valore in SERP.

Non bisogna però cadere nell’errore opposto: bloccare troppo. Se disallowi CSS, JS, immagini o risorse che servono a comprendere bene una pagina Google potrebbe analizzarla peggio.

Questo aspetto si lega bene a un principio più ampio: la SEO non si fa premendo pulsanti alla cieca. Lo stesso vale quando si lavora con plugin e impostazioni automatiche. Per questo, se vuoi approfondire il tema degli strumenti usati in modo troppo superficiale, ti consiglio di leggere anche l’articolo su il semaforo rosso di Yoast SEO: il principio, in fondo, è molto simile.

WordPress robots txt: cosa cambia su WordPress

In WordPress il file robots.txt può essere un file statico presente nella root del sito oppure, in assenza di quel file e con il supporto alle rewrite rules, può essere servito dinamicamente da WordPress.

Su WordPress può capitare di aprire /robots.txt e vedere un contenuto anche se non hai caricato manualmente alcun file nella root: succede perché, in determinate condizioni, WordPress serve un robots.txt dinamico.

Su WordPress, nella pratica, conviene fare attenzione a tre aspetti.

1. Non bloccare ciò che serve davvero

Una regola troppo aggressiva su /wp-content/, script o risorse essenziali può ostacolare la lettura corretta delle pagine da parte di Google.

2. Non usare il robots.txt per “nascondere” pagine che vuoi deindicizzare

Se una pagina WordPress non deve stare su Google, spesso è più corretto agire con impostazioni SEO specifiche o meta tag noindex, non con un disallow generico.

3. Verificare cosa sta generando davvero il sito

Tra core WordPress, plugin SEO, CDN e cache, il contenuto effettivo del robots.txt può non essere quello che immagini. Prima di toccare qualunque regola apri sempre l’URL pubblico del file e controlla la versione realmente servita.

Qui entra in gioco anche Google Search Console, che resta uno degli strumenti più utili per capire se una pagina è bloccata, esclusa o comunque problematica dal punto di vista della scansione. Se vuoi chiarirti bene le differenze tra gli strumenti di analisi può esserti utile anche il mio articolo sulla differenza tra Google Analytics e Search Console.

Robots txt test: come verificare se funziona davvero

Scrivere una regola non basta. Bisogna sempre testarla.

Il controllo minimo da fare è questo:

1. apri tuodominio.it/robots.txt;
2. verifica che il file risponda correttamente;
3. controlla che le regole siano sintatticamente pulite;
4. analizza in Search Console se Google segnala URL bloccate dal robots.txt;
5. verifica soprattutto le pagine strategiche, non solo quelle secondarie.

In concreto, il test va fatto soprattutto su:

• homepage;
• pagine servizio;
• articoli del blog;
• categorie;
• immagini importanti;
• file CSS e JS critici;
• aree filtro o ricerca interna.

Il punto non è semplicemente dire “il file esiste”, ma capire se il file fa davvero ciò che pensi stia facendo.

Robots txt disallow all: l’errore più pericoloso

Una configurazione come questa:

User-agent: *
Disallow: /

dice a tutti i crawler che nessuna URL del sito può essere scansionata.

In certi casi serve, ad esempio, su un ambiente di staging ben protetto o durante fasi molto particolari di lavorazione. Sul sito online però è una delle configurazioni più pericolose che tu possa lasciare attiva.

Basta un errore, una copia da staging a produzione o una modifica frettolosa perché Google smetta di poter scansionare le tue pagine.

Attenzione anche a un altro equivoco: Disallow all non equivale a sparire immediatamente da Google. Alcune URL potrebbero ancora comparire nei risultati se già note al motore di ricerca, ma senza piena comprensione del contenuto.

Sitemap in robots txt: quando inserirla e perché

Inserire la sitemap nel robots.txt non è obbligatorio, ma è una buona pratica molto diffusa.

La sintassi è molto semplice:

Sitemap: https://www.tuosito.it/sitemap.xml

Perché può essere utile?

• rende subito visibile il file sitemap ai crawler;
• aggiunge un segnale tecnico ordinato;
• aiuta a centralizzare, in un unico punto pubblico, istruzioni di scansione e percorso della sitemap.

Questo non sostituisce la sitemap inviata in Search Console, ma la affianca in modo sensato.

Un esempio semplice di robots.txt fatto bene

Non esiste un robots.txt universale perfetto per ogni sito. Dipende dalla struttura, dal CMS, dalla presenza di filtri, paginazioni, ricerca interna, aree riservate e così via.

Un esempio semplice e prudente, per molti siti WordPress vetrina o blog, potrebbe essere questo:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.tuosito.it/sitemap_index.xml

È un punto di partenza essenziale, non una formula magica.

Da qui in avanti ogni regola in più andrebbe inserita solo se risponde a una domanda concreta:

• questa area genera crawl inutile?
• questa URL porta davvero valore organico?
• sto bloccando qualcosa che Google dovrebbe vedere?
• sto cercando di risolvere con il robots.txt un problema che in realtà richiede un noindex?

Qui torna utile anche un ragionamento più ampio sulla qualità del traffico e sull’intento di ricerca. Non tutte le pagine di un sito meritano lo stesso peso agli occhi dei motori. Proprio per questo può esserti utile leggere anche l’articolo sulle keyword a coda lunga, perché aiuta a capire quanto sia importante lavorare su contenuti e URL davvero coerenti con ciò che le persone cercano.

Robots.txt generator: serve davvero?

Molti cercano online un robots.txt generator. È comprensibile: un generatore sembra la scorciatoia ideale.

Il problema è che i generatori sono utili solo fino a un certo punto. Possono aiutarti a comporre la sintassi di base, ma non conoscono il tuo sito, non sanno quali sezioni siano strategiche e non distinguono davvero tra risorse sacrificabili e risorse fondamentali.

Per questo vanno usati con prudenza. Possono andare bene per creare una bozza, mai per sostituire l’analisi.

Un robots.txt efficace non nasce da un template copiato, ma da una domanda molto concreta: quali URL voglio che i crawler esplorino, e quali no, per una ragione reale?

Se stai lavorando su un sito piccolo spesso bastano poche regole scritte bene. Se invece hai un e-commerce, un portale con filtri, molte tassonomie o URL dinamiche, allora il discorso cambia e conviene ragionare in modo più strategico.

Il robots.txt, in sostanza non è un file da temere, ma neppure da trattare con leggerezza. Conoscerlo bene significa evitare errori inutili e gestire meglio il rapporto tra sito e motori di ricerca, che è esattamente uno degli aspetti più delicati della SEO tecnica.