Il robots.txt è un file utile a dare informazioni agli spider su come indicizzare il nostro sito web. Se è presente un file robots.txt, lo spider, effettua la scansione più rapidamente. Sintassi Per bloccare l’indicizzazione dell’intero sito: Disallow: / Per eliminare l’indicizzazione di una directory: Disallow: /directory/ Per blocccare l’indicizzazione di una pagina: Disallow: /pagina.html Esempio di file “Robots.txt” User-agent: … Continua a leggere→