robots.txt
debería solamente estar en la raíz del dominio. https://example.com/robots.txt
es la URL correcta para su robots.txt
expediente. Ningún robots.txt
Se ignorará el archivo en un subdirectorio.
Por defecto, robots.txt
las reglas son todas reglas de «comienza con». Solo unos pocos bots importantes, como Googlebot, admiten comodines en Disallow:
normas. Si usa comodines, las reglas serán obedecidas por los principales motores de búsqueda pero ignoradas por la mayoría de los bots menos sofisticados.
Usando nofollow
en esos enlaces realmente no va a afectar su jugo de enlace interno. Todos esos enlaces serán redireccionamientos externos que eliminarán el PageRank de su sitio o, si bloquea ese PageRank de alguna manera, se evaporará. Ni los enlaces externos ni la evaporación de PageRank dañan el SEO del resto de su sitio, por lo que realmente no importa desde una perspectiva de SEO lo que haga. Puede permitir que se rastreen esos enlaces, use nofollow
en esos enlaces, o prohibir esos enlaces en robots.txt
. No cambiará la clasificación del resto de su sitio.
robots.txt
también tiene la desventaja de que los motores de búsqueda ocasionalmente indexan páginas no permitidas. robots.txt
bloquea el rastreo, pero no siempre evita la indexación. Si alguna de esas URL obtiene enlaces externos, Google puede indexar la URL con el texto de anclaje de los enlaces que encuentra.
Si realmente desea ocultar el intercambio social de los robots de los motores de búsqueda, debe manejar la funcionalidad con onclick
eventos. Algo como:
<a onclick="pintrestShare()">Share on Pinterest</a>
Dónde pintrestShare
es una función de JavaScript que utiliza location.href
establezca la URL de la página en la URL compartida de Pinterest para la URL actual.
Para responder directamente a su pregunta sobre robots.txt
esta regla es correcta:
User-agent: *
Disallow: /wordpress/*/?share=pinterest
Puedes usar de Google robots.txt
herramienta de prueba para verificar que bloquea tu URL:
Tienes que esperar 24 horas después de hacer robots.txt
cambios antes de que los bots comiencen a obedecer las nuevas reglas. Los bots a menudo almacenan en caché su antiguo robots.txt
por un día.
Es posible que deba esperar semanas para que aparezcan nuevos resultados en las herramientas para webmasters y en las cuentas de la consola de búsqueda. Los motores de búsqueda no informarán nuevos resultados hasta que vuelvan a rastrear páginas, se den cuenta de que las solicitudes están bloqueadas y esa información regrese a sus portales de información para webmasters.
.