MOTORI DI RICERCA – File robots.txt

Il robots.txt è un file utile a dare informazioni agli spider su come indicizzare il nostro sito web. Se è presente un file robots.txt, lo spider, effettua la scansione più rapidamente.

Sintassi
Per bloccare l’indicizzazione dell’intero sito: Disallow: /

Per eliminare l’indicizzazione di una directory: Disallow: /directory/

Per blocccare l’indicizzazione di una pagina: Disallow: /pagina.html

Esempio di file “Robots.txt”

User-agent: *
Disallow: /Admin/

In questo esempio abbiamo detto a tutti gli spieder, di non indicizzare la directory “Admin”
Il file “Robots.txt” creato, dev’essere inserito nella root del sito.

 

MOTORI DI RICERCA – File robots.txtultima modifica: 2009-11-30T21:26:00+01:00da daytube
Reposta per primo quest’articolo

Un pensiero su “MOTORI DI RICERCA – File robots.txt

Lascia un commento