Per bloccare un particolare sito web sul tuo server di hosting da Google e altri robot dei motori di ricerca, puoi creare un file “robots.txt” per la directory principale del sito web. Un file robots.txt indica agli spider dei motori di ricerca di eseguire la scansione o di evitare i siti ospitati su un server Web. Specifica l’agente utente, come GoogleBot, per bloccare o utilizza un carattere jolly per bloccare il sito da tutti gli spider. In alternativa, inserisci il metatag “noindex” nel codice HTML per impedire ai motori di ricerca di indicizzare una singola pagina del tuo sito.
File Robots.txt
1
Apri una pagina vuota in un editor di testo, come Blocco note.
2
Digita o copia e incolla il seguente codice nel file di testo. Questo codice impedisce agli spider di Google di indicizzare tutte le cartelle e le sottocartelle del sito.
Agente utente: GoogleBot Disallow: /
Utilizzare il seguente formato per bloccare tutti i motori di ricerca solo da una cartella denominata “MyFolder”.
Agente utente: * Disallow: / MyFolder /
3
Fai clic su “File”, quindi su “Salva”. Digita “robots.txt” nel campo Nome file, quindi fai clic su “Salva” per salvare il file.
4
Carica il file robots.txt nella directory da bloccare da Google e altri motori di ricerca sul tuo server web.
metatag
1
Apri la pagina HTML da bloccare in un editor di codice.
2
Inserisci il seguente metatag subito dopo il tag:
3
Salvare il file, quindi caricare la code page sul server Web. Il metatag indica ai robot di ignorare la pagina.