Condividi questo contenuto!
In questo tutorial ti spiegheremo cos’è il file robots.txt e come ottimizzarlo per la SEO.
Il file Robots.txt dice ai motori di ricerca come eseguire la scansione del tuo sito web, il che lo rende uno strumento SEO incredibilmente potente.
Cos’è Robots.txt
Robots.txt è un file di testo che consente a un sito Web di fornire istruzioni ai bot che eseguono la scansione del Web.
I motori di ricerca come Google utilizzano questi web crawler, a volte chiamati robot web, per archiviare e classificare i siti web. La maggior parte dei bot è configurata per cercare un file robots.txt sul server prima che legga qualsiasi altro file dal sito web. Lo fa per vedere se il proprietario di un sito web ha alcune istruzioni speciali su come eseguire la scansione e indicizzare il proprio sito web.
Il file robots.txt contiene una serie di istruzioni che richiedono al bot di ignorare file o directory specifici. Ciò può avvenire ai fini della privacy o perché il proprietario del sito Web ritiene che il contenuto di tali file e directory sia irrilevante per la classificazione del sito Web nei motori di ricerca.
Se un sito web ha più di un sottodominio, ogni sottodominio deve avere il proprio file robots.txt. È importante notare che non tutti i bot rispetteranno le indicazioni del file. Alcuni bot dannosi leggeranno persino il file robots.txt per trovare i file e le directory che dovrebbero prendere di mira per primi. Inoltre, anche se un file robots.txt indica ai bot di ignorare pagine specifiche del sito, quelle pagine potrebbero comunque essere visualizzate nei risultati di ricerca se sono collegate da altre pagine sottoposte a scansione.
In genere il file robots.txt è memorizzato nella directory principale nota anche come cartella principale del tuo sito web. Il formato di base per un file robots.txt è simile al seguente:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Puoi avere più righe di istruzioni per consentire o non consentire URL specifici e aggiungere più Sitemap. Se non disabiliti un URL, i robot dei motori di ricerca presumono di essere autorizzati a eseguirne la scansione.
Ecco come può apparire un file di esempio robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
Nell’esempio di robots.txt sopra, abbiamo consentito ai motori di ricerca di eseguire la scansione e indicizzare i file nella nostra cartella dei caricamenti di WordPress.
Successivamente, abbiamo impedito ai bot di ricerca di eseguire la scansione e l’indicizzazione dei plugin e delle cartelle di amministrazione di WordPress.
Infine, abbiamo fornito l’URL della nostra sitemap XML.
Hai bisogno di un file Robots.txt per il tuo sito WordPress?
Se non disponi di un file robots.txt, i motori di ricerca eseguiranno comunque la scansione e indicizzeranno il tuo sito web. Tuttavia, non sarai in grado di indicare ai motori di ricerca quali pagine o cartelle non devono essere sottoposte a scansione.
Questo non avrà un grande impatto se hai cominciato a creare un blog da poco e non hai molti contenuti.
Tuttavia, man mano che il tuo sito web cresce e i contenuti aumentano, probabilmente vorrai avere un controllo migliore su come il tuo sito web viene scansionato e indicizzato.
Questo perchè i bot di ricerca hanno una quota di scansione per ogni sito web.
Ciò significa che eseguono la scansione di un certo numero di pagine durante una sessione di scansione. Se non finiscono di eseguire la scansione di tutte le pagine del tuo sito, torneranno e riprenderanno la scansione nella sessione successiva.
Questo può rallentare la velocità di indicizzazione del tuo sito web.
Puoi risolvere questo problema impedendo ai robot di ricerca di tentare di eseguire la scansione di pagine non necessarie come le pagine di amministrazione di WordPress, i file dei plugin e la cartella dei temi.
Disabilitando le pagine non necessarie, salvi la quota di scansione. Ciò aiuta i motori di ricerca a eseguire la scansione di ancora più pagine del tuo sito e indicizzarle il più rapidamente possibile.
Un altro buon motivo per utilizzare il file robots.txt è quando vuoi impedire ai motori di ricerca di indicizzare un post o una pagina sul tuo sito web.
Non è il modo più sicuro per nascondere i contenuti al pubblico in generale, ma ti aiuterà a impedire che vengano visualizzati nei risultati di ricerca.
Che aspetto dovrebbe avere un file Robots.txt ideale?
Molti blog popolari utilizzano un file robots.txt molto semplice. Il loro contenuto può variare, a seconda delle esigenze del sito specifico:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Questo file robots.txt consente a tutti i bot di indicizzare tutti i contenuti e fornisce loro un collegamento alle sitemap XML del sito.
Per i siti WordPress, consigliamo le seguenti regole nel file robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Questo indica ai robot di ricerca di indicizzare tutte le immagini e i file di WordPress. Non consente ai bot di ricerca di indicizzare i file dei plugin di WordPress, l’area di amministrazione di WordPress, il file readme di WordPress e i link di affiliazione.
Aggiungendo le Sitemap al file, consenti ai bot di Google di trovare facilmente tutte le pagine del tuo sito.
Ora che sai che aspetto ha un file robots.txt ideale, diamo un’occhiata a come creare un file robots.txt in WordPress.
Come creare un file Robots.txt in WordPress?
Esistono due modi per creare un file robots.txt in WordPress. Puoi scegliere il metodo che funziona meglio per te.
Creare file robots.txt tramite plugin
1. Modificare il file Robots.txt utilizzando Yoast SEO
Se stai utilizzando il plug-in Yoast SEO, questo viene fornito con un generatore di file robots.txt.
Puoi usarlo per creare e modificare un file robots.txt direttamente dalla tua area di amministrazione di WordPress.
Vai semplicemente alla pagina SEO »Strumenti nel tuo pannello di controllo WordPress e fai clic sul collegamento File Editor.
Nella pagina successiva, la pagina Yoast SEO mostrerà il tuo file robots.txt esistente.
Se non ce l’hai, Yoast SEO genererà un file robots.txt per te.
Per impostazione predefinita, il generatore di Yoast SEO aggiungerà le seguenti regole al tuo file robots.txt:
User-agent: * Disallow: /
È importante eliminare questo testo perché impedisce a tutti i motori di ricerca di eseguire la scansione del tuo sito web.
Dopo aver eliminato il testo predefinito, puoi procedere e aggiungere le tue regole. Ti consigliamo di utilizzare il formato robots.txt ideale che abbiamo condiviso sopra.
Al termine, non dimenticare di fare clic sul pulsante “Salva file robots.txt” per memorizzare le modifiche.
2. Modificare il file Robots.txt utilizzando All in One SEO
All in One SEO noto anche come AIOSEO è uno dei migliori plugin SEO per WordPress sul mercato utilizzato da oltre 2 milioni di siti web.
È facile da usare e viene fornito con un generatore di file robots.txt.
Se non hai già installato il plugin AIOSEO, puoi vedere la nostra guida completa su come installare e usare AIOSEO.
Nota: è disponibile anche la versione gratuita di AIOSEO con questa funzione.
Una volta installato e attivato il plug-in, puoi utilizzarlo per creare e modificare il tuo file robots.txt direttamente dalla tua area di amministrazione di WordPress.
Basta andare su All in One SEO »Strumenti (Tools) per modificare il file robots.txt.
Innanzitutto, devi attivare l’opzione di modifica, facendo clic sul pulsante “Abilita file robots.txt personalizzato (Enable Custom Robots.txt)” che diventa blu.
Con questo interruttore, puoi creare un file robots.txt personalizzato in WordPress.
All in One SEO mostrerà il tuo file robots.txt esistente nella sezione “Anteprima Robots.txt” nella parte inferiore dello schermo.
Questa versione mostrerà le regole predefinite che sono state aggiunte da WordPress.
Queste regole predefinite indicano ai motori di ricerca di non eseguire la scansione dei file principali di WordPress, consentono ai bot di indicizzare tutto il contenuto e forniscono loro un collegamento alle mappe XML del tuo sito.
Ora puoi aggiungere le tue regole personalizzate per migliorare il tuo robots.txt per la SEO.
Per aggiungere una regola, inserisci un agente utente nel campo “Agente utente (User agent)“. L’uso di un * applicherà la regola a tutti gli user agent.
Quindi, seleziona se desideri “Consentire (Allow)” o “Non consentire (Disallow)” ai motori di ricerca di eseguire la scansione.
Quindi, inserisci il nome del file o il percorso della directory nel campo “Percorso directory“.
La regola verrà applicata automaticamente al tuo file robots.txt. Per aggiungere un’altra regola, fare clic sul pulsante “Aggiungi regola (Add rule)“.
Ti consigliamo di aggiungere regole finché non crei il formato robots.txt ideale che abbiamo condiviso sopra.
Le tue regole personalizzate avranno questo aspetto.
Al termine, non dimenticare di fare clic sul pulsante “Salva modifiche” per memorizzare le modifiche.
Modificare il file Robots.txt manualmente utilizzando FTP
Per questo metodo, dovrai utilizzare un client FTP per modificare il file robots.txt.
Connettiti semplicemente al tuo account di hosting WordPress utilizzando un client FTP.
Una volta dentro, sarai in grado di vedere il file robots.txt nella cartella principale del tuo sito web.
Se non ne vedi uno, probabilmente non hai un file robots.txt. In tal caso, puoi semplicemente andare avanti e crearne uno.
Robots.txt è un file di testo semplice, il che significa che puoi scaricarlo sul tuo computer e modificarlo utilizzando qualsiasi editor di testo normale come Blocco note o TextEdit.
Dopo aver salvato le modifiche, puoi caricarlo di nuovo nella cartella principale del tuo sito web.
Come testare il tuo file Robots.txt?
Dopo aver creato il file robots.txt, è sempre una buona idea testarlo utilizzando uno strumento di verifica dei file robots.txt.
Esistono molti strumenti di verifica, ma ti consigliamo di utilizzare quello all’interno di Google Search Console.
Accedi semplicemente al tuo account Google Search Console, quindi passa al vecchio sito Web della console di ricerca di Google.
Questo ti porterà alla vecchia interfaccia di Google Search Console. Da qui è necessario avviare lo strumento di verifica dei file robots.txt che si trova nel menu “Scansione (Crawl)“.
Lo strumento recupererà automaticamente il file del tuo sito web ed evidenzierà gli errori e gli avvisi se ne trova.
L’obiettivo dell’ottimizzazione del file robots.txt è impedire ai motori di ricerca di eseguire la scansione di pagine non disponibili pubblicamente. Ad esempio, pagine nella tua cartella wp-plugins o pagine nella tua cartella admin di WordPress.
Un mito comune tra gli esperti di SEO è che il blocco di categorie, tag e pagine di archivio di WordPress migliorerà la velocità di scansione e si tradurrà in un’indicizzazione più rapida e in classifiche più elevate.
Questo non è vero. È anche contro le linee guida per i webmaster di Google.
Ti consigliamo di seguire il formato di cui sopra per creare un file robots.txt per il tuo sito web.
E’ tutto. Speriamo che questo tutorial ti abbia aiutato a imparare cos’è robots.txt e come ottimizzarlo per la SEO del tuo sito WordPress. Potresti anche voler vedere la nostra guida SEO per WordPress completa e i migliori plugin SEO per WordPress per far crescere il tuo sito web.
Dichiarazione sulla trasparenza: il contenuto di B-Fast è supportato dal lettore, il che significa che se fai clic su alcuni dei collegamenti in questo post, potremmo guadagnare una piccola tassa di riferimento. Tieni presente che raccomandiamo solo prodotti che utilizziamo noi stessi e / o che riteniamo possano aggiungere valore ai nostri lettori.
Condividi questo contenuto!
Related Posts
