Estos ficheros son utilizados por esos ‘spiders’ o ‘crawlers’, que no hacen más que recorrer los sitios web para actualizar la información en Google y otros buscadores como Yahoo! o MSN Live Search que luego permite encontrar el dato que buscábamos fácilmente.
No obstante, un estudio que incluye a 7.500 sitios webs ha demostrado que los webmasters ‘tunean’ estos ficheros para favorecer al buscador de Google así como los de Yahoo! y MSN, pero restringen el acceso a otros buscadores ‘menores’.
Por ejemplo, varios sitios web del gobierno de los EEUU favorecen al crawler de Google – llamado Googlebot – y luego a Yahoo! y MSN. Aunque los investigadores no dan detalles de cómo funcionan estas prácticas, confirman que esos cambios se realizaron conscientemente y que el uso de ficheros robots.txt precisamente está destinado a especificar ciertas reglas para buscadores. Si no existe dicho fichero todos los buscadores tienen los mismos derechos y privilegios a la hora de indexar la información de estos sitios web.
vINQulos
Además de fakes news, en internet encontramos múltiples formas de desinformación: clonación de medios de…
Sin las medidas de protección necesarias, un almacén puede convertirse en el eslabón más débil…
Adyen publica los resultados de su estudio "Estrategias para reducir el coste total de pagos",…
Del porcentaje global del 21 % se baja a un 18 % en el caso…
Entrevistamos a John Shier, CTO Field de Sophos, que hace repaso de las principales amenazas…
Desde fibratel comparten una serie de pautas para orientar la construcción de centros de datos…