Estás en Home > Recursos webmasters > Herramientas webmaster > Generador de Robots.txt

Generador del archivo Robots.txt

Herramientas webmaster

[ Herramienta web por © SEO Chat ]

El archivo robots.txt, como su extensión indica, es un archivo de texto que se coloca en la carpeta raíz de tu web para evitar que ciertos robots de los buscadores (spiders) indexen aquellas páginas que no quieras que lo hagan. Esto es muy útil cuando hay varias páginas iguales, cada una optimizada para un buscador diferente con el fin de conseguir los primeros puestos en los resultados de búsqueda de todos ellos para ciertas palabras clave. No permitiendo, por ejemplo, que el robot de Google lea las páginas optimizadas para el robot de MSN podemos evitar que Google nos penalice, el mismo ejemplo se puede aplicar a todos los robots.

Esta herramienta te permite crear el código necesario para pegarlo dentro del archivo robots.txt que deberás guardar en tu carpeta raíz (crea el archivo con el bloc de notas o el WordPad, no con Microsoft Word, puesto que lo corrompe con cógido extraño).

La casilla "Spider" indica el nombre del robot del buscador, en "Disallow" debes escribir el nombre del archivo que no quieres que indexe el robot. Tienes que crear un nuevo código para cada buscador, pero si quieres multiplicar la lista de archivos no permitidos para un buscador en particular, puedes ponerlos uno debajo de otro. Por ejemplo:

User-Agent: Googlebot
Disallow: directorio/pagina1.html
Disallow: pagina2.html
Disallow: pagina3.html

User-Agent: Scooter
Disallow: directorio/pagina2.html

User-Agent: WebCrawler/3.0
Disallow: directorio/pagina3.html
Disallow: pagina4.html

Todos los códigos que generes los debes guardar en el mismo archivo robots.txt uno debajo de otro y no añadir nada más a dicho archivo. Si quieres que todos los robots indexen todas las páginas; selecciona "todos los robots" en la casilla 1, "Sí" en en la 2 y deja en blanco la casilla 3.

Si lo deseas, puedes validar tu archivo robots.txt en la siguiente dirección.

 

Generador de Robots.txt





  Sí
  No