¿Cómo eliminar contenido no deseado de Google?

Ahora si lo que quiero es que “Googlebot” no indexe una página ya sea por motivos de SEO (Search Engine Optimization) o porque contiene contenido duplicado o porque contiene contenido que no se quiere que aparezca en Google, entonces hay que usar otros métodos, los cuales explico brevemente a continuación:

• Bloquear la página usando un archivo robots.txt. Los archivos robots.txt restringen el acceso de los robots de motores de búsqueda que rastrean la Web a un sitio. Este es un archivo de texto que contiene instrucciones que le dicen a los motores de búsquedas que hacer cuando llegan a tú página, usualmente se deben grabar en el servidor web en la raiz o root. (Ejemplo: tudominio.com/robots.txt).

   

  • Para que todo el website no sea indexado en Google solo basta con agregar esta instrucción en el robots.txt
    Disallow: /
  • Para bloquear solo una página dentro de un web site:
    Disallow: /directorio/archivo.html

• Bloquear la página usando una metaetiqueta “noindex”. En el código HTML de la página basta con colocar “NOINDEX”, “NOFOLLOW” como se muestra a continuación y “Googlebot” entenderá que no debe agregar esta página en sus páginas de resultados.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

• Indicar que la página ya no existe devolviendo un código de estado 404 ó 410. Si eliminastes la página del servidor entonces cuando alguien la solicite o bien porque la tiene grabada en su marca libros o porque la vió en una página de resultado de Google, el navegador de Internet le devolverá un error 404 o 410 automáticamente. El usuario sólo dirá “ah la página no existe”, “esta gente ya no vende ese producto o servicio”. Si la página contenía contenido no deseado, ok no pasa nada ya no está disponible. Ahora bien desde el punto de vista de SEO es recomendable que cada vez que alguien solicite una página que no exista, en vez mostrarse un error 404 o 410 se muestre una página amigable diciendo que esa página ya no esta disponible e invitando a la gente a ir a otro lugar dentro del mismo website, de esta manera estamos manteniendo nuestra posición en la página de resultado de Google al menos por un tiempo. Otra cosa es usar un redireccionamiento 301, el cual no es más que decirle a los search engines que dicha página ya no existe más y que cada vez que alguien solicite esa página esta vaya a una nueva dirección. En otra ocasión escribiré como funciona esto de los redireccionamientos 301.