Esta es una discusión para el tema Consulta sobre spiders en el foro Optimización para Motores de Búsqueda (SEO), bajo la categoría Área Administrativa; Hola chicos
tengo una duda y me gustaría consultaros sobre las visitas de spiders a mi foro Morphine Zone . A pesar de ser muy nuevo cuento con la visita consante de los siguientes spiders ...
Página:
URL del LinkBack
Acerca de los LinkBacks
Consulta sobre spiders
Hola chicos
tengo una duda y me gustaría consultaros sobre las visitas de spiders a mi foro Morphine Zone. A pesar de ser muy nuevo cuento con la visita consante de los siguientes spiders y la verdad es que no se si eso es bueno o malo para mi site
Información de las últimas 24 horas:
80legs Spiders (8), Ask.com Spiders (2), Butterfly Topsy Crawler Spiders (8), OneRiot.com Spiders (6), PycURL Spiders (3), Twitturls.com (Python-urllib) Spiders (2), Tweetmeme.com Spiders (16), Voyager Spiders (2), Twitturls.com Spiders (1), Radian6 FeedFetcher Spiders (8), Windows RSS Platform 2.0 Spiders (1), Radian6 Comment Reader Spiders (7), vBSEO Spiders (1), Yahoo! Slurp Spiders (2), Google FeedFetcher Spiders (2), Magpie Spiders (2), Google Spiders (2), Facebook Spiders (1)
Agradezco vuestras repuestas para dejarlos o bloquearlos desde robots.txt
Re: Consulta sobre spiders
A decir verdad, el que hayan bastantes robots en tu sitio web puede ser muy beneficioso cuando se habla de indexar contenido a los principales buscadores.
Puedes leer este par de artículos acerca de cómo funcionan:
Los robots de los buscadores - Cursos - Programación Web
http://www.abcdatos.com/buscadores/robot.html
Re: Consulta sobre spiders
Me parecen normales, yo lo que si hago en mi robot es limitar los agentes de yahoo que no valen para nada. Yahoo te manda un montón de crawlers y te saturan la página
Código:User-agent: Slurp Crawl-delay: 240
Mi Blog 1: http://www.bmwfaq.com/blogs/danny/
Mi Blog 2: http://www.vbseo.com/blogs/danny-bembibre/
Mi Web: http://www.bmwfaq.com
Mi Web: http://tweetboard.com
Re: Consulta sobre spiders
No recomiendo bloquearlo, sinó limitar su actividad
Mi Blog 1: http://www.bmwfaq.com/blogs/danny/
Mi Blog 2: http://www.vbseo.com/blogs/danny-bembibre/
Mi Web: http://www.bmwfaq.com
Mi Web: http://tweetboard.com
Citar
Iniciado por dbembibre
