Google est en route vers les 100 milliards de pages indexées. La société a en effet implémenté un nouvel algorythme, dont le brevet a été déposé en mai dernier, qui repose sur une indexation multicritère et permet a google d’indexer notamment des versions différentes d’un même document.
Après un démarrage en 1996 avec 24 millions de pages indexées, Google a continuellement perfectionné ses algorythmes et son infrastructure de serveurs afin de suivre la croissance fulgurante du world wide web.
Malgré ces efforts, on estime que plus de 50% des pages web restent encore totalement ignorées par les moteurs de recherche: il s’agit de la "matière cachée" de l’internet !
Quel moteur saura relever le défi de l’indexation générale ? Yahoo! ? Microsoft Live Serach ? ou encore Megaglobe ?