¿Cómo evito que me indexen?

De TW

Saltar a: navegación, buscar
Quiero que una o varias páginas de mi sitio no aparezcan en resultados de búsqueda.

La primera observación es que, naturalmente, publicar en la web es un acto relacionado con difundir ciertos contenidos, por lo tanto se entiende que la mayor parte de tu sitio será indexado, y que deseas proteger sólo ciertas partes como aplicaciones o cosas que no tienen contenido.

La forma más estándar es crear un archivo "robots.txt" y ponerlo en la raíz de tu sitio Web. Este archivo debe contener algo así:

User-agent: *
Disallow: /mail/
Disallow: /cgi/

En que /mail/, /cgi/, etc. son los directorios que tu no quieres que sean indexados. Si, en cambio, lo que quieres es dejar de indexar ciertas páginas, pon en ellas:

<meta name="robots" content="noindex,nofollow">

O en ciertos casos, si es una página de listado y no quieres que sea retornada por los buscadores, pero si las páginas internas, puedes poner simplemente:

<meta name="robots" content="noindex">

La palabra "noindex" significa que la página no debe ser indexada. La palabra "nofollow" significa que no se deben seguir links desde esa página.

Puedes ver más información en robotstxt.org