#sito PMVL.it sito del Parco della Media Valle del Lambro creato con : #MIR cms di Magutdesign srl e Ilic Radice #creato 22/marzo/2010 #Vai su http://webmarketing.html.it/articoli/leggi/84/il-file-robotstxt-escludere-i-motori-indesiderati/ User-agent: * Disallow: /admin/ Disallow: #Lo escludiamo perché non vogliamo che le nostre immagini siano prese e riadattate da altri. User-Agent: Googlebot-Image Disallow: / #Escludiamo anche EmailCollector, un software che ricerca sulla rete indirizzi di e-mail per poi utilizzarli nello spam. User-agent: EmailCollector Disallow: / #Infine, escludiamo anche Teleport, l'offline browser noto per le sue capacità di sovraccaricare i server. User-agent: Teleport Disallow: /