MOTORI DI RICERCA – File robots.txt

Il robots.txt è un file utile a dare informazioni agli spider su come indicizzare il nostro sito web. Se è presente un file robots.txt, lo spider, effettua la scansione più rapidamente.

Sintassi
Per bloccare l’indicizzazione dell’intero sito: Disallow: /

Per eliminare l’indicizzazione di una directory: Disallow: /directory/

Per blocccare l’indicizzazione di una pagina: Disallow: /pagina.html

Esempio di file “Robots.txt”

In questo esempio abbiamo detto a tutti gli spieder, di non indicizzare la directory “Admin”
Il file “Robots.txt” creato, dev’essere inserito nella root del sito.