Archivo Robots.txt
Robots.TXT
Lo que hay que saber sobre el archivo Robots.txt

Generador Robots.txt


Crea tu archivo Robots.txt fácilmente con esta herramienta.


Cómo crear tu archivo Robots.txt con el generador

1. Selecciona qué quieres que hagan los robots por defecto.

Si deseas dar permiso para indexar el sitio a todos los robots, o si por el contrario, no quieres que tu sitio sea indexado (muy útil si es un sitio muy nuevo y no quieres que los motores de búsqueda lo indexen todavía).


2. Reglas adicionales

2.1. Si has seleccionado Bloquear todos los robots en el paso 1:

¿Hay algun directorio o archivo que sí quieres que rastreen los motores de búsqueda? Especifica cuáles añadiendo Reglas adicionales.

2.2. Si has seleccionado Permitir todos los robots en el paso 1:

¿Hay algun directorio o archivo que no quieres que rastreen los buscadores? Especifica qué carpetas o ficheros añadiendo Reglas adicionales

 

Acceso por defecto


 

Reglas adicionales

Acción Robot Directorio o archivo

Debería empezar con "/"

 

Sitemap XML (opcional)

 

Su archivo Robots.txt


Te puede interesar
Archivo Robots.txt¿Qué es Robots.txt y para qué sirve?Cómo crear un archivo Robots.txtComandos principales de robots.txtRestricciones más comunes Desbloquear recursos CSS y JS¿Funciona Robots.txt para desindexar en los buscadores?Ejemplo de Robots.txt en Wordpress Meta Robots NoIndex y FollowHerramientas útiles

 



© RobotsTXT.pro Contact & Privacy Contact  |  Contacto  |  Sitio Hospedado por: Web Hosting MX