Se están intentando añadir nuevas directivas que permitan controlar el tiempo en el que los robots indexan las páginas:

Si no podemos crear un archivo robots.txt, o si queremos personalizar las instrucciones página por página, podemos utilizar las etiquetas META:

Cuando un robot visita una página, por ejemplo http://www.ignside.net/, lo primero que solicita al servidor es el archivo http://www.ignside.net/robots.txt.

Si puede localizar el documento, lo analiza para ver si está permitido acceder a su contenido, y de ser así, analiza las directivas existentes respecto de la indexación del contenido del sitio web.

... Continuar leyendo

El robots.txt es un fichero destinado al uso de los buscadores. Mediante el uso de este fichero el encargado de la web le ordena a los buscadores ciertas cosas, como prohibirles el acceso a ciertas carpetas o ficheros para evitar que los buscadores los indexen o prohibirles un excewsivo acceso a la web, por ejemplo. En todo caso la existencia de este fichero en nuestro servidor no mejorará ni nuestra indexación ni posiciones.... Continuar leyendo