Seguramente alguna vez te has preguntado como añade Google las páginas al buscador. La respuesta es simple: lo hacen sus dos robots.

Google utiliza la tecnología de los robots para no dejar de seguir los enlaces de una página a otra... y, gracias a los enlaces consigue añadir más y más páginas a su buscador. Esto es lo que llama indexar.

No solamente indexa páginas web (.html), sino que también extrae información de ficheros PDF, PS, XLS, DOC y algunos otros más.

La frecuencia con la que Googlebot accede a un sitio web depende del PageRank de éste. Contra mayor sea este valor, el robot accederá más asiduamente a sus páginas.

Googlebot tiene varios ordenadores indexando páginas por internet:

Googlebot accede al fichero 'robots.txt' que estará en el directorio raiz del dominio. Allí se indica a qué debe o no acceder Googlebot. Para conocer más sobre robots.txt mira en la página robotstxt.org.

Googlebot indexa nuestra página, y se guarda los enlaces de tipo HREF y SRC, por lo que podrá seguir buscando e indexando otras páginas. Así, para que Googlebot indexe tu página, otra página ha de enlazarte. Sino, puedes añadir directamente tu URL.

A parte de Googlebot existe el Freshbot que, debido que hay páginas, como las de noticias, que se actualizan mucho más frecuentemente, son indexadas de una manera especial mediante este robot.