Consulta sobre spiders

Hola chicos

tengo una duda y me gustaría consultaros sobre las visitas de spiders a mi foro Morphine Zone. A pesar de ser muy nuevo cuento con la visita consante de los siguientes spiders y la verdad es que no se si eso es bueno o malo para mi site

Información de las últimas 24 horas:

80legs Spiders (8), Ask.com Spiders (2), Butterfly Topsy Crawler Spiders (8), OneRiot.com Spiders (6), PycURL Spiders (3), Twitturls.com (Python-urllib) Spiders (2), Tweetmeme.com Spiders (16), Voyager Spiders (2), Twitturls.com Spiders (1), Radian6 FeedFetcher Spiders (8), Windows RSS Platform 2.0 Spiders (1), Radian6 Comment Reader Spiders (7), vBSEO Spiders (1), Yahoo! Slurp Spiders (2), Google FeedFetcher Spiders (2), Magpie Spiders (2), Google Spiders (2), Facebook Spiders (1)

Agradezco vuestras repuestas para dejarlos o bloquearlos desde robots.txt

A decir verdad, el que hayan bastantes robots en tu sitio web puede ser muy beneficioso cuando se habla de indexar contenido a los principales buscadores.

Puedes leer este par de artículos acerca de cómo funcionan:

Los robots de los buscadores - Cursos - Programación Web

http://www.abcdatos.com/buscadores/robot.html

Me parecen normales, yo lo que si hago en mi robot es limitar los agentes de yahoo que no valen para nada. Yahoo te manda un montón de crawlers y te saturan la página

Código:

User-agent: Slurp
Crawl-delay: 240

Iniciado por dbembibre

Me parecen normales, yo lo que si hago en mi robot es limitar los agentes de yahoo que no valen para nada. Yahoo te manda un montón de crawlers y te saturan la página

Código:

User-agent: Slurp
Crawl-delay: 240

Entonces tú recomiendas bloquear a yahoo, bueno pues eso haré .

Gracias compis por vuestras respuestas.

No recomiendo bloquearlo, sinó limitar su actividad

Ok ok, gracias.