Voir la source de Robot d'indexation de pages web

Un [http://fr.wikipedia.org/wiki/Robot_d%27indexation robot] d'indexation, en anglais Web Spider ou Web Crawler, araigée du Web, est un logiciel qui explore automatiquement le Web, afin d'indexer les pages pour les moteurs de recherche.La fonction de tri n'appartient pas au robots. Certains robots malveillants ([http://fr.wikipedia.org/wiki/Spambot spambots]) sont utilisés pour collecter des adresses électroniques et spammer.

=Robots.txt=
[http://fr.wikipedia.org/wiki/Fichier_d%27exclusion_des_robots Robots.txt], ou le fichier d'exclusion des robots, est une ressource de format texte qui peut être placée à la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d'indexer un site Web.

=Fréquence de passage des robots=
Leur venue s'adapte en fonction de la mise à jour des données. Les robots reviennent périodiquement visiter les pages pour indexer les éventuelles modifications.

Il est également possible de le faire venir plus souvent. En effet, les visites des moteurs dépendent de la fréquence de la mise à jour du site. Les robots viendront ainsi plus fréquemment sur les sites dont le taux de renouvellement des contenus est élevé, comme les sites d'actualité.

=Robot de veille technologique=

Les robots sont aussi utilisés dans des outils de veille, en particulier sur des projets d’études universitaires.

Le [http://fr.wikipedia.org/wiki/Web_profond web profond] ou web invisible (en anglais deep web, dark web) est la partie du web accessible en ligne, mais non indexée par des moteurs de recherche classiques généralistes.

[[Moteurs de recherche|De nombreux moteurs]] prennent cependant en compte cette partie du réseau. La terminologie web profond est opposée à web surfacique.

= Mediawiki Bot  =

Les [http://fr.wikipedia.org/wiki/Wikip%C3%A9dia:Bot#Bots_autoris.C3.A9s_et_utilis.C3.A9s_actuellement bots] (abréviation de robots) sont des agents automatiques ou semi-automatiques qui interagissent avec Mediawiki, pour des tâches répétitives et fastidieuses pour un humain. 

Par exemple [http://fr.wikipedia.org/wiki/Utilisateur:Dr_Bot Dr Bot] permet de renommer une catégorie. Il n'y a pas d'autres outils pour le faire: à la main, il faut changer le lien vers la nouvelle catégorie de toutes les pages avec cette catégorie, et créer la page de cette nouvelle catégorie. 

La page sur ces [[Mediawiki Bots|bots]].

=Bibliographie=
* http://fr.wikipedia.org/wiki/Robot_d%27indexation
* http://fr.wikipedia.org/wiki/Spambot
* http://fr.wikipedia.org/wiki/Fichier_d%27exclusion_des_robots
* http://www.martiusweb.net/post/PHP-Solutions-%3A-Robots-d-indexation-et-r%C3%A9f%C3%A9rencement
* http://fr.wikipedia.org/wiki/Wikip%C3%A9dia:Bot#Bots_autoris.C3.A9s_et_utilis.C3.A9s_actuellement
* http://multitudes.samizdat.net/-MAJEURE-Google-et-au-dela-

[[Catégorie:Vrac]]