De mayor quiero ser como Googlebot

No quiero ser astronauta, quiero ser Googlebot

Pues sí, de mayor quiero ser como Googlebot. Un bot sin ningún tipo de fronteras con un pase Vip a los mejores rincones de Internet.

Googlebot es, por si no lo sabíais, el robot de búsqueda o de indexado usado por Google con el cuál recopila información sobre páginas web para que posteriormente éstas aparezcan en los resultados de su buscador. A este robot normalmente los administradores le dan acceso total a la página o foro, por lo que no tiene ningún tipo de limitación a la hora de entrar a rincones donde ningún otro usuario normal puede acceder.

Creo que a todos nos ha pasado que cuando intentamos acceder a una página web o foro, ésta no nos da acceso bien porque debemos registrarnos o bien porque solo permiten el acceso a algunos usuarios.

Pues bien, para conseguir acceso a estas páginas pongámonos manos a la obra. Para hacernos pasar por Googlebot tenemos que simular ser como él ya que los servidores intentarán comprobar la autenticidad de que es Googlebot quien está accediendo a su web. Como navegador utilizaremos Firefox, como no, entre otras cosas por sus extensiones, ya que justamente las que se necesitan para hacerse pasar por Googlebot las tiene, por lo que, comenzamos.

Las extensiones que necesitaremos serán las siguientes:

  • NoScript – Este complemento lo que hace es bloquear los elementos Java, Flash, etc. (Recordemos que debemos simular ser Googlebot y los buscadores no suelen ejecutar Javascript)
  • RefControl – Este complemento lo que hace es evitar el envío de Referers, por lo que será una forma más de evitar que nos identifiquen como usuario.
  • User Agent Switcher – Este complemento lo que nos permite es cambiar el User Agent de nuestro navegador, diciéndole a las páginas web que estamos navegando como Googlebot 2.1

Por último nos queda deshabilitar en el navegador las famosas Cookies (aquí el cómo deshabilitarlas en Firefox) e irnos a User Agent Switcher (Herramientas > Default User Agent) y en el menú “Search Robots” seleccionar Googlebot 2.1

Una vez echo todo esto solo nos queda irnos al Traductor de Google y pegar en el recuadro de texto la URL a la que queramos acceder. Una recomendación es que en la salida del idioma en la traducción (donde pone “Al:”) se ponga el idioma en el que está la página web o foro al que queramos acceder.

El porqué de hacerlo mediante el traductor de Google es porque a Google no le extrañará que uno de sus robots está entrando a su traductor ya que se indexa a sí mismo. Y si queremos entrar a la página web, tendremos que hacerlo como lo haría Googlebot, utilizando los propios sistemas de Google. También decir que este truco también va, utilizando solo el complemento User Agent Switcher y el Traductor de Google, pero para asegurarnos mejor hacer lo dicho anteriormente en esta entrada ya que tendremos más posibilidades de que el sitio nos de acceso (depende de lo que compruebe la página web a la que queramos acceder).

Cabe decir que este “truco” no siempre funciona, algunos administradores restringen el acceso a Googlebot por lo que en esos casos, esto no nos servirá de nada. Este truco lo he usado con éxito en el famoso foro HackForums.net en el cual hay que registrarse para poder ver su contenido, los resultados los podéis ver a continuación:

La URL a la que se quiere acceder es a http://www.hackforums.net/showthread.php?tid=824672 (por ejemplo)

Primero vemos como no podemos acceder:

Viendo el panorama nos vamos al Traductor de Google:

Al dar a “Traducir” este será el ansiado resultado (se puede ver en la parte superior izquierda como sigue apareciendo las opciones de Login – Register, corroborando así que he accedido sin registrarme):

Como todo, esto tiene solución. Si eres administrador de alguna pagina web o foro y no quieres que esto ocurra simplemente tendrás que crear un archivo llamado robots.txt, esto si no lo tienes ya creado, y añadir a la lista al robot de Google para que lo bloquee en las secciones de la página que quieras o incluso en toda la web.

Por último decir que he encontrado esta página que hace todo esto automáticamente con la contra de no poder navegar libremente por la página ya que solo hace el “truco” con la URL que le demos inicialmente (por ejemplo en HackForums.net no podremos pasar a la siguiente página del hilo). Aún así puede ser muy útil para el resto de navegadores:

http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/

Saludos!!!

Anuncios

Un comentario en “De mayor quiero ser como Googlebot

  1. It is appropriate time to make a few plans for the longer term and it is time to be happy. I have read this submit and if I may just I desire to suggest you few interesting issues or suggestions. Maybe you can write next articles regarding this article. I wish to learn even more things about it!

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s