Cómo verificar googlebot

Cómo verificar googlebot

Desde Matt Cutts nos llega este interesante artículo, como respuesta a todos los que piden una forma de conocer si un bot es el auténtico Googlebot; puesto que, cualquier spammer podría nombrar su bot “Googlebot” simulando al de Google. Así que, a qué bots te crees y a cuales bloqueas?

La petición más común que hacen los usuarios, es que se publique una lista de las IPs de Googlebot en algún sitio público. El problema es que si los rangos de IPS de los rastreadores cambian, no todos sabrán como verificarlo. De hecho, ya se cambiaron las IPs de Google bot hace un par de años, y fue realmente una molestia avisar a los webmasters quienes ya tenían programado un rango de IPs. Así que Matt nos cuenta otro método para identificar Googlebot.

Usar DNS para verificar, caso a caso, parece ser la mejor solución. La técnica recomendada sería hacer una resolución DNS reversible, verificar que el nombre está en el dominio de googlebot.om, y luego hacer la correspondiente resolución DNS->IP usando ese nombre de googlebot.com.

Por ejemplo:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Aunque Matt no cree que hacer la doble resolución sea suficiente; pues cualquier spoofer podría hacer lo mismo.

Esta respuesta ha sido almacenada al archivo de ayuda, así que se considera como una forma oficial de identificar al Googlebot.