Según la revista Scientific American, la cantidad de información a la que se puede acceder con los motores de búsqueda es 40 veces superior al contenido digitalizado de los casi 30 millones de libros que contiene la Biblioteca del Congreso de EE UU, la mayor del mundo. Y aún así, un estudio de la compañía BrightPlanet, especializada en el análisis de datos, indica que los buscadores sólo permiten acceder a una pequeña parte de los contenidos de la Red.

 

Los motores de búsqueda almacenan información sobre un gran número de páginas que extraen de la propia internet. Para ello usan unos programas especiales denominados arañas, robots o agentes inteligentes que buscan y localizan las distintas páginas por su contenido o siguiendo sus hipervínculos. Luego, la página es analizada para determinar cómo debería ser clasificada, por ejemplo a partir de su título, del texto que contiene o de unas etiquetas invisibles denominadas metatags, que dan datos sobre su contenido.

Todos ellos son almacenados en una base de datos que será utilizada en las búsquedas. Cuando se realiza una, el usuario introduce las palabras clave que definen lo que está buscando. Entonces, el motor busca en el índice y ofrece un listado de las páginas que, según su criterio, más se adecúan a su consulta. Para asegurarse de que los resultados son los más relevantes, los motores usan métodos para clasificar jerárquicamente las páginas.