Robots.txt en WordPress


  • Qué es un archivo.txt
  • Cómo instalar un archivo.txt en WordPress

La importancia del archivo .txt

El archivo .txt es un poderoso recurso para que los buscadores indexen el contenido de una página web. Cuando un bot o una araña de indexado encuentra tu web y quiere indexarla, lo primero que hace es buscar el archivo robots.txt para saber a qué paginas dirigirse. Por lo tanto, es un archivo fundamental si estás interesado en mejorar al posicionamiento de tu página web.

Además, el archivo .txt también te permite restringir el acceso a tu página de manera selectiva. Es decir, puedes decirle a los robots qué páginas prefieres mantener sin indexar.

En resumen, podemos decir que los archivos robots.txt sirven para:


Cómo crear un archivo robots.txt en WordPress

Crear un archivo .txt para WordPress (o cualquier otro CMS) es muy sencillo. El primer el paso es crear un documento de texto y nombrarlo “robots.txt”. A continuación, subirlo a la raíz de tu dominio (el directorio de nivel más alto). Los rastreadores web pueden detectar el archivo en: http://www.example.com/robots.txt.

Por ejemplo, un archivo robots.txt básico puede ser:

User-agent: *

Disallow: /privado/

Finalmente, debes subir el archivo a tu directorio raíz, para hacerlo usa un cliente FTP como FileZilla o Cyberduck.



Comandos útiles para el archivo .txt

Robots Exclusion Protocol nos indica qué comandos debemos usar en el archivo robots.txt. Los más importantes son:

Comandos de bloqueo más comunes que podemos añadir a nuestro archivo .txt

En el archivo .txt solo se pueden utilizar los comandos permitidos (aunque algunos buscadores entienden comandos adicionales), se deben respetar las mayúsculas y minúsculas, la puntuación y los espacios y cada grupo “User-agent/Disallow” debe estar separado por una línea en blanco. Además, se pueden incluir comentarios mediante la almohadilla (#).


Herramientas y plugins útiles para robots.txt WordPress

Si quieres crear un archivo robots.txt para WordPress de forma manual, lo puedes hacer con un bloc de notas o un editor de código como Notepad++.

También existen herramientas que te permiten crear el código de manera automática, como el generador de SeoBook o robotsgenerator.com, entre otras.

Dentro del panel de administración de WordPress también podemos instalar plugins que ayudan a la creación y edición de un archivo .txt como WordPress Robots Txt o Virtual Robots.txt.



Cómo validar el archivo .txt en WordPress

Una vez que tengas tu archivo .txt creado debes probarlo. Google dispone de una herramienta Robots Testing Tool (https://www.google.com/webmasters/tools/robots-testing-tool) que te indicará errores de lógica y advertencias de sintaxis de tu archivo.

Una vez dentro solo tienes que escribir la URL de tu sitio web en el cuadro de texto que encontrarás en la parte inferior de la página, seleccionar el agente de usuario en el menú desplegable y hacer clic en el botón de probar. A continuación, aparecerá el mensaje “aceptado” o “bloqueada” que indicará si los buscadores pueden o no acceder a la URL que has introducido.

Cuando tu archivo robots.txt esté actualizado, desde la misma herramienta podrás enviarlo a Google. Copia el código que has editado de robots.txt y haz clic en “Descargar”, actualiza tu archivo en la raíz del dominio y haz clic en “Verificar versión publicada”. Finalmente, haz clic en “Enviar versión publicada”. Con esto informarás a Google de los cambios que has realizado en tu archivo.

El archivo .txt ayuda a la indexación de tu página web y aunque no es obligatorio, si dispones de una página web con muchas páginas (una tienda online, por ejemplo) es recomendable que dispongas de uno para facilitarle el trabajo a los robots de indexación. Si tienes dudas sobre la configuración de un archivo robots.txt en tu WordPress de STRATO, contacta con nuestro servicio de Atención al Cliente.