
No quiero ser astronauta, quiero ser Googlebot
Pues sí, de mayor quiero ser como Googlebot. Un bot sin ningún tipo de fronteras con un pase Vip a los mejores rincones de Internet.
Googlebot es, por si no lo sabíais, el robot de búsqueda usado por Google con el cuál recopila información sobre páginas web para que posteriormente éstas aparezcan en los resultados de su buscador. A este robot normalmente los administradores le dan acceso total a la página o foro, por lo que no tiene ningún tipo de limitación a la hora de entrar a rincones donde ningún otro usuario normal puede acceder.
Creo que a todos nos ha pasado que cuando intentamos acceder a una página web o foro, ésta no nos da acceso bien porque debemos registrarnos o bien porque solo permiten el acceso a algunos usuarios.
Pues bien, para conseguir acceso a estas páginas pongámonos manos a la obra. Para hacernos pasar por Googlebot tenemos que simular ser como él ya que los servidores intentarán comprobar la autenticidad de que es Googlebot quien está accediendo a su web. Como navegador utilizaremos Firefox, como no, entre otras cosas por sus extensiones, ya que justamente las que se necesitan para hacerse pasar por Googlebot las tiene.
Las extensiones que necesitaremos serán las siguientes:
- NoScript – Este complemento lo que hace es bloquear los elementos Java, Flash, etc. (Recordemos que debemos simular ser Googlebot y los buscadores no suelen ejecutar Javascript)
- RefControl – Este complemento lo que hace es evitar el envío de Referers, por lo que será una forma más de evitar que nos identifiquen como usuario.
- User Agent Switcher – Este complemento lo que nos permite es cambiar el User Agent de nuestro navegador, diciéndole a las páginas web que estamos navegando como Googlebot 2.1
Por último nos queda deshabilitar en el navegador las famosas Cookies (aquí el cómo deshabilitarlas en Firefox) e irnos a User Agent Switcher (Herramientas > Default User Agent) y en el menú “Search Robots” seleccionar Googlebot 2.1
Una vez echo todo esto solo nos queda irnos al Traductor de Google y pegar en el recuadro de texto la URL a la que queramos acceder. Una recomendación es que en la salida del idioma en la traducción (donde pone “Al:”) se ponga el idioma en el que está la página web o foro al que queramos acceder.
El porqué de hacerlo mediante el traductor de Google es porque a Google no le extrañará que uno de sus robots está entrando a su traductor ya que se indexa a sí mismo. Y si queremos entrar a la página web tendremos que hacerlo como lo haría Googlebot, utilizando los sistemas de Google, no se si me explico bien. También decir que este truco también va, utilizando solo el complemento User Agent Switcher y el Traductor de Google, pero para asegurarnos mejor hacer lo dicho anteriormente en esta entrada ya que tendremos más posibilidades de que el sitio nos de acceso (depende de lo que compruebe la página web a la que queramos acceder).
Cabe decir que este “truco” no siempre funciona, algunos administradores restringen el acceso a Googlebot por lo que en esos casos, esto no nos servirá de nada. Este truco lo he usado con éxito en el famoso foro HackForums.net en el cual hay que registrarse para poder ver su contenido, los resultados los podéis ver a continuación:
La URL a la que se quiere acceder es a http://www.hackforums.net/showthread.php?tid=824672 (por ejemplo)
Primero vemos como no podemos acceder:

Viendo el panorama nos vamos al Traductor de Google:

Al dar a “Traducir” este será el ansiado resultado (se puede ver en la parte superior izquierda como sigue apareciendo las opciones de Login – Register, corroborando así que he accedido sin registrarme):

Como todo, esto tiene solución. Si eres administrador de alguna pagina web o foro y no quieres que esto ocurra simplemente tendrás que crear un archivo llamado robots.txt, esto si no lo tienes ya creado, y añadir a la lista al robot de Google para que lo bloquee en las secciones de la página que quieras o incluso en toda la web.
Por último decir que he encontrado esta página que hace todo esto automáticamente con la contra de no poder navegar libremente por la página ya que solo hace el “truco” con la URL que le demos inicialmente (por ejemplo en HackForums.net no podremos pasar a la siguiente página del hilo). Aún así puede ser muy útil para el resto de navegadores:
http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/
Saludos!!!