Estos ficheros son utilizados por esos ‘spiders’ o ‘crawlers’, que no hacen más que recorrer los sitios web para actualizar la información en Google y otros buscadores como Yahoo! o MSN Live Search que luego permite encontrar el dato que buscábamos fácilmente.
No obstante, un estudio que incluye a 7.500 sitios webs ha demostrado que los webmasters ‘tunean’ estos ficheros para favorecer al buscador de Google así como los de Yahoo! y MSN, pero restringen el acceso a otros buscadores ‘menores’.
Por ejemplo, varios sitios web del gobierno de los EEUU favorecen al crawler de Google – llamado Googlebot – y luego a Yahoo! y MSN. Aunque los investigadores no dan detalles de cómo funcionan estas prácticas, confirman que esos cambios se realizaron conscientemente y que el uso de ficheros robots.txt precisamente está destinado a especificar ciertas reglas para buscadores. Si no existe dicho fichero todos los buscadores tienen los mismos derechos y privilegios a la hora de indexar la información de estos sitios web.
vINQulos
LinkedIn comparte una lista con las cinco tendencia que definirán la senda del mercado laboral…
Proopoint cree que el año que viene los delincuentes manipularán datos privados asociados a la…
Las implantación de nuevas herramientas, la optimización de productos ya existentes y la adopción de…
La mayoría renovaría por completo su infraestructura de seguridad para adoptar soluciones totalmente integradas.
Entrevistamosa Sergio Rodríguez, CTO de PUE DATA, para hablar del "boom" de los espacios de…
Los mensajes RCS ofrecen muchas más posibilidades que los SMS, pero también abren la puerta…