El robots.txt es un fichero destinado al uso de los buscadores. Mediante el uso de este fichero el encargado de la web le ordena a los buscadores ciertas cosas, como prohibirles el acceso a ciertas carpetas o ficheros para evitar que los buscadores los indexen o prohibirles un excewsivo acceso a la web, por ejemplo. En todo caso la existencia de este fichero en nuestro servidor no mejorará ni nuestra indexación ni posiciones.
El uso inadecuado de este fichero puede provocar desastres en nuestras posiciones en Google..
