Il robots.txt è un file utile a dare informazioni agli spider su come indicizzare il nostro sito web. Se è presente un file robots.txt, lo spider, effettua la scansione più rapidamente.
Sintassi
Per bloccare l’indicizzazione dell’intero sito: Disallow: /
Per eliminare l’indicizzazione di una directory: Disallow: /directory/
Per blocccare l’indicizzazione di una pagina: Disallow: /pagina.html
Esempio di file “Robots.txt”
User-agent: *
Disallow: /Admin/
Disallow: /Admin/
In questo esempio abbiamo detto a tutti gli spieder, di non indicizzare la directory “Admin”
Il file “Robots.txt” creato, dev’essere inserito nella root del sito.
MOTORI DI RICERCA – File robots.txtultima modifica: 2009-11-30T21:26:00+01:00da
Reposta per primo quest’articolo