[Zope-it] robots.txt

[Giuseppe Masili]

Guardando i log di apache di zope.it ho notato 
che alcuni IP cercavano il file robots.txt

Cosi' ho deciso di crearlo settando

  User-agent: *

Probabilmente Google e' impazzito di gioia
nel notare questa mia scelta, perche' da
questa mattina sta indicizzando tutto il sito.

Ora, io sono molto contento che la visibilita'
aumenti notevolmente, dato che facendo delle prove
tutto quello che viene richiamato e' online in tempo
reale, ma un giorno si fermera'?

Per i miei gusti sta generando troppo traffico...

Altra curiosita':
perche' google usa sempre un IP diverso per 
indicizzare tutto il sito?

216.239.46.88 - - [31/Jul/2002:13:14:02 +0200] "GET /Members/jh/long_process_html HTTP/1.0" 200 7022
216.239.46.20 - - [31/Jul/2002:13:16:00 +0200] "GET /Members/flymax/index_html?stampa=on HTTP/1.0" 200 1197
216.239.46.101 - - [31/Jul/2002:13:16:58 +0200] "GET /Members/fog/index_html?stampa=on HTTP/1.0" 200 1679

-- 
Giuseppe Masili
Nekhem Developer - adel@nekhem.com
Admin Zope Italy - http://www.zope.it