Se están intentando añadir nuevas directivas que permitan controlar el tiempo en el que los robots indexan las páginas:

Si no podemos crear un archivo robots.txt, o si queremos personalizar las instrucciones página por página, podemos utilizar las etiquetas META:

Cuando un robot visita una página, por ejemplo http://www.ignside.net/, lo primero que solicita al servidor es el archivo http://www.ignside.net/robots.txt.

Si puede localizar el documento, lo analiza para ver si está permitido acceder a su contenido, y de ser así, analiza las directivas existentes respecto de la indexación del contenido del sitio web.

... Continuar leyendo

El robots.txt es un fichero destinado al uso de los buscadores. Mediante el uso de este fichero el encargado de la web le ordena a los buscadores ciertas cosas, como prohibirles el acceso a ciertas carpetas o ficheros para evitar que los buscadores los indexen o prohibirles un excewsivo acceso a la web, por ejemplo. En todo caso la existencia de este fichero en nuestro servidor no mejorará ni nuestra indexación ni posiciones.... Continuar leyendo

Las metatags son etiquetas html que se incorporan en el encabezado de una página web y que resultan invisibles para un visitante normal, pero de gran utilidad para navegadores u otros programas que puedan valerse de esta información... Continuar leyendo

El famoso sistema desarrollado por Google para medir la popularidad de una página web, conocido con el nombre de Page Rank desapareció de las páginas web de todo el mundo. La famosa barra que podemos encontrar en la Google Toolbar perdió su característico color verde y se convirtió en una simple barra gris. Incluso la página del gigante buscador también reflejaba una barra gris, dando un PR de 0. Normalmente el color gris en la... Continuar leyendo

Sitios con un diseño precario como Amazon son visitados masivamente por el alto interés de lo que ofrecen, de la misma manera que nadie se preocupa de la usabilidad de Softonic habida cuenta de la ingente cantidad de software gratis que proporcionan, lo que es un incentivo para solventar las posibles dificultades operativas que pudiera implicar.

Los buscadores se basan en la indización del texto encontrado en las páginas. Según analizan el texto, van "apartando" lo que consideran palabras relevantes, en función, entre otras consideraciones, del número de veces que las encuentran en la página.

Por el contrario, una página. con sólo titulares y pequeños "abstracts" (resúmenes) adjuntos, relacionados con temas diversos, requerirán un mayor esfuerzo de taxonomización de la página, y en muchos casos, se... Continuar leyendo

Después del Título, El tag es el siguiente aspecto en importancia que van a considerar los buscadores para cualificar la página ya que van a constituir parte fundamental de los metadatos de la misma.

Sin embargo, debido a que es un trabajo tedioso extraer las palabras clave de cada una de las páginas, es muy frecuente encontrar que:

Es la parte de la página que primero analizan los buscadores y a la que más importancia conceden.

Un sitio en el que:

• Los títulos de página sean la marca del site:... Continuar leyendo