Los webmasters ‘trucan’ sus sitios web para favorecer las búsquedas en Google
Estos ficheros son utilizados por esos ‘spiders’ o ‘crawlers’, que no hacen más que recorrer los sitios web para actualizar la información en Google y otros buscadores como Yahoo! o MSN Live Search que luego permite encontrar el dato que buscábamos fácilmente.
No obstante, un estudio que incluye a 7.500 sitios webs ha demostrado que los webmasters ‘tunean’ estos ficheros para favorecer al buscador de Google así como los de Yahoo! y MSN, pero restringen el acceso a otros buscadores ‘menores’.
Por ejemplo, varios sitios web del gobierno de los EEUU favorecen al crawler de Google – llamado Googlebot – y luego a Yahoo! y MSN. Aunque los investigadores no dan detalles de cómo funcionan estas prácticas, confirman que esos cambios se realizaron conscientemente y que el uso de ficheros robots.txt precisamente está destinado a especificar ciertas reglas para buscadores. Si no existe dicho fichero todos los buscadores tienen los mismos derechos y privilegios a la hora de indexar la información de estos sitios web.
vINQulos
