En este blog, aprenderemos algunos consejos sobre cómo mejorar el SEO de su sitio web mediante la optimización de su archivo robts.txt.
De hecho, Robots.txt juega un papel importante en términos de SEO, ya que les dice a los motores de búsqueda cómo indexar su sitio. Esta es la razón por la cual los archivos Robot.txt se consideran una de las herramientas SEO más poderosas.
Más adelante también aprenderá a construir y optimizar WordPress Robots.txt para SEO.
¿Qué quieres decir con robots.txt?
Un archivo de texto creado por propietarios de sitios web para informar a los rastreadores de motores de búsqueda que pueden rastrear sitios e indexar páginas se conoce como Robots.txt
De hecho, este archivo se almacena en el directorio raíz. Este directorio también se conoce como la raíz de su sitio web. El formato de archivo robots.txt se enumera a continuación
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Puede tener diferentes líneas de instrucciones para permitir o rechazar URL específicas. Además, también puede agregar varios mapas de sitio. Los bots de los motores de búsqueda reconocen que pueden indexar sus páginas si permiten una URL.
A continuación se muestra un ejemplo de un archivo robots.txt
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
En el ejemplo anterior, permitimos que los motores de búsqueda indexen páginas y descarguen archivos de índice en una carpeta cargada en WordPress.
Entonces no permitimos que los robots de búsqueda rastrearan e indexaran las carpetas y complementos de administración de WordPress.
Finalmente, mencionamos la URL del mapa del sitio XML.
¿Necesita Robots.txt para su sitio de WordPress?
El motor de búsqueda comenzará a rastrear e indexar sus páginas incluso si no tiene un archivo de texto como Robots.txt. Desafortunadamente, no puede decirle a su motor de búsqueda qué carpeta o página específica rastrear.
No se beneficiará ni dejará ningún impacto si acaba de crear un sitio web o blog con menos contenido.
Sin embargo, una vez que su sitio esté configurado con una gran cantidad de contenido y comience a crecer, necesitará controlar las páginas indexadas e indexadas de su sitio.
La primera razón se da a continuación.
Para cada sitio, los robots de búsqueda tienen un límite de rastreo.
Esto claramente significa que rastreará una cierta cantidad de páginas durante la sesión de indexación. Supongamos que la indexación de su sitio permanece incompleta, luego regresa y reanuda la indexación en una sesión posterior.
Por esta razón, la tasa de indexación del sitio en su sitio será el juego final.
Puede solucionar esto evitando que los robots de búsqueda rastreen páginas innecesarias. Algunas páginas no válidas pueden contener archivos de complemento, páginas de administración de WordPress y carpetas de temas.
Puede guardar el límite de rastreo evitando que se indexen páginas no deseadas. Este paso será más útil ya que los motores de búsqueda ahora indexarán las páginas de su sitio y podrán indexarlas lo más rápido posible.
A continuación se proporciona otra razón por la que debe usar y optimizar su archivo WordPress Robots.txt.
Siempre que necesite evitar que los motores de búsqueda indexen páginas o publicaciones en su sitio, puede usar este archivo.
En realidad, es una de las formas más inapropiadas de ocultar el contenido de su sitio web al público, pero demostrará ser su mejor apoyo para evitar que aparezca en los resultados de búsqueda.
¿Qué aspecto tiene el archivo Robots.txt?
Los blogs más populares utilizan un archivo robots.txt muy simple. El contenido puede variar según los requisitos de un sitio web específico.
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml All bots will be permitted by robots.txt file to index every content and offer links to the XML sitemap's website. Following rules is mentioned that needs to follow in robots.txt files User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Esto le indicará al bot que indexe todos sus archivos e imágenes de WordPress. Esto no permitirá que los robots de búsqueda indexen el área de administración de WordPress, los archivos de complementos de WordPress, los enlaces de afiliados y el archivo Léame de WordPress.
Puede agregar mapas de sitio a sus archivos robots.txt para ayudar a los robots de Google a reconocer todas las páginas de su sitio.
Ahora que sabe cómo se ve un archivo robots.txt, ahora descubriremos cómo se puede crear un archivo robots.txt en WordPress.
¿Cómo crear un archivo robots.txt en WordPress?
Hay muchas formas de crear un archivo robots.txt en WordPress. Algunos de los mejores métodos se enumeran a continuación, puede elegir el que funcione mejor para usted.
Método 1: Usando SEO All in One, modificando Robots.txt
SEO todo en uno es el complemento SEO de WordPress más famoso del mercado, utilizado por más de 1 millón de sitios web.
El complemento All in One SEO es muy fácil de usar y, por lo tanto, ofrece un generador de archivos robotx.txt. La optimización de WordPress Robots.txt también es útil
Si aún no ha integrado este complemento de SEO, instálelo y actívelo primero desde su panel de WordPress. La versión gratuita también está disponible para usuarios novatos para que puedan usar sus funciones sin invertir dinero.
Después de activar el complemento, puede comenzar a usarlo para crear o modificar su archivo robots.txt directamente desde el área de administración de WordPress.
para usarlo
- Ir a SEO todo en uno
- Ahora, para editar el archivo robots.txt, haga clic en Herramientas
- Ahora, al hacer clic en «habilitar robots.txt personalizados», habilitará la opción de edición
- En WordPress, también puede crear un archivo robots.txt personalizado usando este interruptor.
- Ahora su archivo robots.txt existente se mostrará mediante el complemento «All in One SEO» en la sección «Vista previa de Robots.txt». Esto se muestra en la parte inferior de la pantalla web.
Según WordPress, la regla predeterminada que se ha agregado se mostrará en esta versión
Las reglas predeterminadas, que parecen sugerirle a su motor de búsqueda que no necesitan indexar sus archivos principales de WordPress, proporcionan un enlace a su sitio de mapa de sitio XML y permiten que los bots rastreen todo su contenido.
Para mejorar su archivo robots.txt para SEO, puede agregar sus propias reglas personalizadas nuevas.
Agregue un agente de usuario en el campo «Agente de usuario» para agregar la regla. La regla se aplicará a todos los programas de usuario que utilicen *.
Ahora elija si desea permitir que el motor de búsqueda indexe sus páginas o no.
Ahora agregue la ruta del directorio, el nombre del archivo en el campo «Ruta del directorio».
En el archivo robots.txt, la regla se aplicará automáticamente. Haga clic en el botón «agregar regla» para agregar una nueva regla.
Si no crea el formato robotx.txt perfecto, le sugerimos que agregue nuevas reglas.
Las reglas personalizadas que agregó aparecerán como
Para guardar los cambios, no deje de hacer clic en «guardar cambios»
Método 2: modificar manualmente Robots.txt a través de FTP
Otro método para optimizar WordPress Robots.txt es usar clientes FTP para comenzar a modificar el archivo robots.txt
Solo necesita conectarse a su cuenta de alojamiento de WordPress usando un cliente FTP
Después de iniciar sesión, podrá ver el archivo robots.txt en la carpeta principal del sitio.
Si no puede encontrarlo, entonces no tiene un archivo robots.txt
En este caso, debe crear un archivo robot.txt.
Como se mencionó anteriormente, el archivo robots.txt suele ser un archivo de texto simple que puede descargar a su computadora. Sin embargo, incluso puede modificarlo con un editor de texto normal como TextEdit, Notepad o WordPad.
Ahora que ha realizado todos los cambios, es hora de guardarlos. Puede cargar este archivo en la carpeta raíz de su sitio web.
¿Cómo probar Robots.txt?
Puede ejecutar pruebas con la herramienta de prueba robots.txt.
Encontrará muchas herramientas de prueba de robots.txt en la web. Uno de los mejores es Google Search Console.
Para trabajar con esta herramienta, primero debe tener un sitio web conectado a Google Search Console. Entonces puede comenzar a usar sus características.
Simplemente seleccione su propiedad de la lista desplegable.
Sin embargo, seleccionará automáticamente el archivo robots.txt de su sitio web y resaltará todas las advertencias y errores. Es una de las mejores herramientas para ayudarlo a optimizar su archivo WordPress Robots.txt muy fácilmente.
Solicitud:
El lema principal de optimización de este archivo robots.txt es evitar que las páginas se indexen. Por ejemplo, páginas en la carpeta de administración de WordPress o páginas en la carpeta wp-plugin.
El mito más común es que puede mejorar su velocidad de indexación y acelerar la indexación, y obtener una clasificación más alta al bloquear su categoría de WordPress, visitar páginas y etiquetas.
Pero eso no funcionará porque funcionará mal de acuerdo con las Directrices para webmasters de Google.
Le sugerimos que lea y considere todos los puntos enumerados anteriormente.
Esperamos que este blog lo ayude a crear un archivo robots.txt en un formato adecuado para su sitio web. Esto lo ayudará a optimizar WordPress Robots.txt.
