Etiqueta noindex, X-Robots-Tag y robots.txt: cómo saber si bloquean tu web

Respuesta corta: hay tres formas de impedir que Google muestre tu web y se comprueban por separado: la etiqueta noindex (meta robots, en el código de la página), la cabecera X-Robots-Tag: noindex (en la respuesta del servidor) y el robots.txt (que bloquea el rastreo, no la indexación). Mira el código fuente, las cabeceras con curl -I y el robots.txt, y confírmalo con la Inspección de URLs de Search Console.

Esta guía forma parte de Mi web no aparece en Google: las causas técnicas. Si usas WordPress y sospechas de la casilla de Ajustes → Lectura, tienes la guía específica en Disuadir a los motores de búsqueda.

Qué hace cada uno y en qué se diferencian

Los tres se confunden mucho, y no hacen lo mismo:

La diferencia clave: noindex dice «no me muestres en resultados»; Disallow dice «no entres a leerme». Si bloqueas con robots.txt una página que tiene noindex, Google no puede entrar a leer el noindex, y si la enlazan desde fuera puede acabar indexada igualmente, solo con la URL y sin descripción. Por eso Google recomienda no combinar los dos sobre la misma URL cuando lo que quieres es sacarla del índice (lo explica en su documentación sobre noindex).

Cómo saber si te pasa

Síntomas

• En Search Console, la Inspección de URLs dice «La URL no está en Google» con el motivo «Excluida por la etiqueta noindex» o «Bloqueada por robots.txt».
• En el informe Indexación → Páginas aparecen muchas URLs con esos motivos de golpe.
• site:tudominio.com devuelve cero resultados o resultados sin descripción («No hay información disponible sobre esta página»).

Comprobación 1: meta robots en el código

Abre la página, pulsa Ctrl+U (ver código fuente) y busca robots. Lo que no quieres ver:

<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="noindex">
<meta name="robots" content="none">

none equivale a noindex, nofollow. Desde terminal:

curl -s https://tudominio.com/ | grep -io '<meta[^>]*robots[^>]*>'

Hazlo con la página publicada y con la sesión cerrada (o en incógnito): algunos plugins de caché o de mantenimiento sirven una versión distinta a los usuarios conectados.

Comprobación 2: la cabecera X-Robots-Tag

No se ve en el código fuente. Hay que mirar las cabeceras:

curl -sI https://tudominio.com/ | grep -i x-robots-tag

Si no devuelve nada, no hay cabecera. Si devuelve X-Robots-Tag: noindex (o googlebot: noindex), el servidor está pidiendo a Google que no indexe. Una cabecera tipo X-Robots-Tag: bingbot: noindex solo afecta a Bing.

En el navegador: DevTools (F12) → pestaña Red → recarga → pulsa el primer documento → Cabeceras de respuesta.

Comprobación 3: el robots.txt

Abre https://tudominio.com/robots.txt. La regla que bloquea todo es:

User-agent: *
Disallow: /

Google aplica el grupo más específico: si hay un grupo User-agent: Googlebot, usa ese e ignora el de *. Dentro del grupo gana la regla más larga que coincide con la URL y, si empatan, gana Allow. En Search Console tienes el informe de robots.txt (Ajustes → robots.txt) con la versión que Google ha leído y la fecha.

Comprobación 4: lo que dice Google

En la Inspección de URLs, pulsa «Probar URL publicada». En «Disponibilidad de la página» verás si el rastreo está permitido, si la indexación está permitida y qué canonical ha elegido. Es la confirmación definitiva.

De dónde sale la etiqueta noindex en WordPress

Si encuentras el noindex, el siguiente paso es saber quién lo pone. Por orden de probabilidad:

1. Ajustes → Lectura → «Disuadir a los motores de búsqueda». WordPress añade noindex, nofollow a todas las páginas.
2. Rank Math. En Rank Math → Títulos y metas, cada tipo de contenido (entradas, páginas, productos, categorías…) tiene su «Robots Meta». Si «Páginas» está en No index, todas las páginas lo llevan. Además, cada entrada tiene su ajuste propio en la pestaña Avanzado del panel de Rank Math del editor.
3. Yoast SEO. En Yoast → Ajustes → Tipos de contenido, la opción «Mostrar páginas en los resultados de búsqueda». En el editor, pestaña Avanzado: «¿Permitir a los motores de búsqueda mostrar esta página en los resultados de búsqueda?».
4. Plugins de mantenimiento o «próximamente». Muchos añaden noindex mientras están activos, o sirven un 503 a los visitantes.
5. El tema. Raro, pero algunos temas añaden metas robots propias en header.php.

La cabecera X-Robots-Tag casi nunca viene de WordPress. Búscala en:

• La configuración del servidor: .htaccess en Apache o el bloque server en Nginx.
• El panel del hosting o de Plesk/cPanel, si el dominio se creó como entorno de pruebas.
• El CDN (Cloudflare tiene reglas de transformación de cabeceras).
• Plugins de seguridad o de cabeceras HTTP.

grep -rni "x-robots-tag" /var/www/tudominio/.htaccess /etc/nginx/ 2>/dev/null

Cómo quitar la etiqueta noindex paso a paso

1. Desmarca «Disuadir a los motores de búsqueda» en Ajustes → Lectura y guarda.
2. En Rank Math o Yoast, revisa los ajustes por tipo de contenido y deja en «Index» los que deban aparecer (páginas, entradas, productos y, si las trabajas, categorías).
3. Abre las páginas clave en el editor y comprueba su ajuste individual en la pestaña Avanzado.
4. Si había cabecera X-Robots-Tag, quítala del servidor o del CDN y vuelve a comprobar con curl -sI.
5. Edita el robots.txt y elimina el Disallow: /. Un robots.txt razonable para WordPress es este:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap_index.xml

1. Purga la caché del plugin, del servidor y del CDN. Si no, Google puede seguir recibiendo la versión antigua.
2. En Search Console: «Probar URL publicada», luego «Solicitar indexación» en la portada y las páginas principales, y «Validar corrección» en el informe de Indexación de páginas.

Cuándo sí quieres un noindex

El noindex no es malo. Úsalo a propósito en:

• Páginas de resultados de búsqueda interna, carrito, mi cuenta y finalizar compra.
• Páginas de agradecimiento tras un formulario.
• Etiquetas y archivos de autor que no trabajes y que solo duplican contenido.
• Entornos de pruebas o staging (y, mejor aún, protégelos con contraseña).

Lo que no tiene sentido es meter en el sitemap páginas con noindex: mandas dos señales contrarias. Lo vemos en Sitemap con errores.

Errores habituales

• Bloquear en robots.txt para «desindexar». No funciona. Si quieres sacar una página del índice, quita el bloqueo, pon noindex y deja que Google lo lea.
• Comprobar solo con la sesión iniciada. La versión que ves como administrador puede ser distinta de la que recibe Google.
• Olvidar la caché. Corriges el ajuste, pero el CDN sigue sirviendo la página con noindex durante horas.
• Migrar con la base de datos del staging. El valor blog_public viaja con la base de datos. Compruébalo con wp option get blog_public (debe devolver 1).
• Bloquear CSS y JS en el robots.txt. No impide la indexación, pero Google ve la web sin estilos. Lo explicamos en robots.txt que bloquea CSS y JavaScript.

Para agencias: detectar el noindex antes que el cliente

Un noindex olvidado es el tipo de error que nadie ve hasta que el cliente pregunta por qué ha dejado de entrarle trabajo por la web.

Jeffrey comprueba cada día las tres vías en la portada de cada web: meta robots o googlebot con noindex, cabecera X-Robots-Tag que aplique a Google y robots.txt que bloquee la portada a Googlebot. Si encuentra cualquiera de las tres, abre una alerta crítica que no se puede descartar ni silenciar, y que llega a la agencia y a NexaTech a la vez. Con el plugin de Jeffrey instalado, también avisa si se marca «Disuadir a los motores de búsqueda».

Si la web devuelve un 403, un error o un reto antibots, Jeffrey no acusa de nada: lo marca como no concluyente para no darte falsas alarmas. En el rastreo de páginas internas señala además las URLs del sitemap que llevan noindex.

Si es urgente y no sabes por dónde empezar, escríbenos y lo miramos.

Preguntas frecuentes