Fonctionnement des principaux moteurs

Voici un tableau comparatif des différents moteurs de recherches.

Ce tableau provient d'une étude de l'IUT SRC. Les auteurs du projets sont Simon Guglielmetti, Fanny Dumond et Fabrice Caudoux. Pour plus d'information sur l'étude, La page du dossier.

Quelques explications relatives aux tableaux :

Intitulé de l'URL : chaque terme de l'URL peut servir de mot clé. Exemple : http://www.abondance.com/produits/epicerie/stylos.html peut fournir les mots clés abondance, produits, épicerie et stylos.
Frames : Le fichier principal est celui qui contient la balise <FRAMESET>.
Imagemaps : Il s'agit des Imagemaps contenant la description des zones dans la balise HTML (fonction USEMAP).
Délai de rafraîchissement de l'index : délai moyen entre deux renouvellements complets de l'index du moteur.

	Soumission	Soumission
Délai de prise en compte de la page lors d'une soumission manuelle	1 ou 2 jours	1 à 3 semaines
Délai de rafraîchissement de l'index	6 semaines	6 semaines
Nom du spider	Scooter	ArchiText Spider
Champs pris en compte lors de l'indexation des pages
Titre	Oui (environ 100 caractères maximum)	Oui (50 caractères environ)
Balise META description	Oui (1 024 caractères maximum)	Non (affichée dans les résultats, mais non prise en compte dans les calculs de pertinence).
Balise META keywords	Oui (1 024 caractères maximum)	Non
Commentaires <!-- -->	Non	Non
Attributs ALT des balises IMG	Oui	Non
Intitulé de l'URL	Oui	Oui
Frames	Le fichier principal est indexé, et parfois le contenu de chaque cadre.	Seul le fichier principal est pris en compte.
Imagemaps	Oui	Non
Corps du texte	Oui : tout le texte de la page est indexé jusqu'à 100 Ko. Au-delà, seuls les liens sont indexés.	Oui : tout le texte de la page est indexé. Une page de petite taille est préférable à un long document.
Importance relative des différents critères	Titre *** Corps du texte ** Balise META keywords *	Titre *** Corps du texte ** Balise META keywords : Non
Indice de popularité de la page	Pas pris en compte	***
Modalités d'exclusion des pages
Fichier robots.txt	Oui : pris en compte	Oui : pris en compte
Balise META robots	Oui : prise en compte	Non : pas de prise en compte

	Soumission	Soumission
Délai de prise en compte de la page lors d'une soumission manuelle	1 jour à 2 semaines (2 jours en général)	1 ou 2 jours
Délai de rafraîchissement de l'index	4 semaines	2 à 3 semaines
Nom du spider	Slurp	SideWinder
Champs pris en compte lors de l'indexation des pages
Titre	Oui	Oui (60 caractères environ)
Balise META description	Oui	Oui (200 caractères environ)
Balise META keywords	Oui	Oui (1000 caractères environ)
Commentaires <!-- -->	Non	Non
Attributs ALT des balises IMG	Non	Non
Intitulé de l'URL	Uniquement le nom du serveur	Uniquement le nom du serveur
Frames	Le fichier principal est parfois indexé, la page en entier est souvent.	Le fichier principal est indexé, et parfois le contenu de chaque cadre.
Imagemaps	Non	Oui
Corps du texte	Oui : tout le texte de la page est indexé. Les premiers paragraphes sont importants. Une page courte est souvent mieux classée q'une longue.	Oui : tout le texte de la page est indexé. Les mots clés importants doivent se trouver dans la première partie de celui-ci.
Importance relative des différents critères	Balise META keywords *** Corps du texte ** Titre *	Balise META keywords *** Titre ** Corps du texte *
Indice de popularité de la page	*	**
Modalités d'exclusion des pages
Fichier robots.txt	Oui : pris en compte	Oui : pris en compte
Balise META robots	Oui : prise en compte	Oui : prise en compte

Délai de prise en compte de la page lors d'une soumission manuelle	2 à 4 semaines	1 ou 2 semaines
Délai de rafraîchissement de l'index	2 à 3 semaines	2 à 4 semaines
Nom du spider	T-Rex	Gulliver
Champs pris en compte lors de l'indexation des pages
Titre	Oui	Oui
Balise META description	Non	Oui
Balise META keywords	Non	Oui
Commentaires <!-- -->	Non	Non
Attributs ALT des balises IMG	Oui	Non
Intitulé de l'URL	Non	Oui
Frames	Seul le fichier principal est indexé.	Northern Light semble prendre en compte de façon efficace les frames.
Imagemaps	Non	Oui
Corps du texte	Oui. Le début du texte est très important. Les pages courtes (mais contenant plus de 100 mots) sont mieux classées que les longs documents.	Oui Tout le texte de la page est indexé. Les mots clés importants doivent se trouver dans la première partie de celui-ci.
Importance relative des différents critères	Titre *** Corps du texte *** Balise META keywords : Non	Titre *** Corps du texte ** Balise META keywords *
Indice de popularité de la page	**	Pas pris en compte
Modalités d'exclusion des pages
Fichier robots.txt	Oui : pris en compte	Oui : pris en compte
Balise META robots	Oui : prise en compte	Oui : prise en compte

	Soumission	Soumission
Délai de prise en compte de la page lors d'une soumission manuelle	1 ou 2 semaines	1 à 8 semaines
Délai de rafraîchissement de l'index	2 semaines	1 semaine
Nom du spider	Echo	WebCrawler
Champs pris en compte lors de l'indexation des pages
Titre	Oui (environ 100 caractères maximum)	Oui
Balise META description	Oui (environ 400 caractères maximum)	Non
Balise META keywords	Oui (environ 400 caractères maximum)	Non
Commentaires <!-- -->	Non	Non
Attributs ALT des balises IMG	Non	Non
Intitulé de l'URL	Oui	Non
Frames	Le fichier principal est indexé, et parfois le contenu de chaque cadre.	Seul le fichier principal est pris en compte.
Imagemaps	Non	Oui
Corps du texte	Oui	Oui : la première partie de la page est importante.
Importance relative des différents critères	Titre *** Corps du texte * Balise META keywords *	Titre *** Corps du texte ** Balise META keywords: non
Indice de popularité de la page	Pas pris en compte	***
Modalités d'exclusion des pages
Fichier robots.txt	Oui : pris en compte	Oui : pris en compte
Balise META robots	Oui : prise en compte	Oui : prise en compte