Rastrear a los robots de buscadores

¿Cómo rastrean los robots de los buscadores?

Vamos a tratar muy brevemente el tema de los buscadores y, en particular, explicaremos como se hace un rastreo de su comportamiento o interactividad con nuestra web utilizando las funciones de PHP: $HTTP_USER_AGENT y $QUERY_STRING.

Lo primero que vamos a hacer es formularnos una pregunta: ¿Qué buscador quiero rastrear?. En nuestro artículo hemos elegido Google (Googlebot), pero este código se puede aplicar a otros buscadores como el de Yahoo.

Veamos el siguiente código PHP, que debe usarse en todas las páginas de nuestra web que queremos rastrear al robot (lo ideal es crear una página con este código y agregar la página creada a las demás páginas con un include, así si más delante cambiamos el script, sólo tendremos que modificar esa página y no todas las de la web):

<?php
if(eregi("google",$HTTP_USER_AGENT))
{
if ($QUERY_STRING != "")
{$url = "http://";.$SERVER_NAME.$PHP_SELF.'?'
.$QUERY_STRING;}
else
{$url = "http://";.$SERVER_NAME.$PHP_SELF;}
$today = date("F j, Y, g:i a");
mail(webmaster@web.com, "Se ha detectado
un robot de Google en http://$SERVER_NAME",
"$today - Google ha indexado $url.n");
}
?>

Explicación del código

Este script reconoce al robot de Google y la página en la cual realizó el escáneo. Cuando eso ocurre, envía un email al webmaster de la página con los datos, fecha y hora del suceso. Esta información podría almacenarse en una base de datos, pero no es el objetivo de este artículo explicar dicho proceso, de todas formas, es cuestión de inventar. Ahora bien, para los demás buscadores sólo basta con cambiar el código (“google”,$HTTP_USER_AGENT) por el nombre respectivo al robot.

Ejemplos:

• Google: (“google”,$HTTP_USER_AGENT )
• Yahoo: (“slurp”,$HTTP_USER_AGENT )
• Altavista: (“scooter”,$HTTP_USER_AGENT)