Happy Bday my robots.txt

Il y a 20 ans de cela, à l’époque où les bandes passantes étaient faibles et nos modems crépitaient cette douce musique, le fichier Robots.txt naquit.

Son rôle était tout d’abord d’éviter que des ressources inutiles au grand public ne se retrouvent parmi les résultats de recherche d’un moteur, mais également d’alléger la charge d’un serveur HTML, en permettant aux webmasters de définir dans un fichier texte, ce qui devait être indexé et ce qui ne devait pas l’être.  Cela épargnait aux serveurs certaines requêtes inutiles et répétées des crawlers.

Evidemment, ce fichier a donc été adopté par les différents acteurs du web et fait désormais partie de pratiquement tous les sites web.

Et pour Histoire de célébrer dignement ce 20e anniversaire, Google a décidé de miser sur l’humour en glissant un easter egg sur son site. Il suffit de saisir la page d’accueil américaine de Google et de la faire suivre de la mention /killer-robots.txt pour accéder un fichier texte formaté d’une manière bien particulière.

 Mais celui-ci s’adresse à deux robots très particuliers, le T-1000 et le T-800, du nom des modèles de robots tueurs des films Terminator.
Les deux lignes suivantes sont censées exclure les pages spécifiées de l’indexation par les robots. Concrètement, il est demandé ces robots d’exclure de leur indexation tout ce qui touche à Larry Page et Sergey Brin, les fondateurs de Google.

Pourquoi cet humour? Google a fait l’acquisition récemment de Boston Dynamics, une société de conception de robots militaires, et ce, malgré toutes les critiques déjà faites à l’encontre du géant d’Internet.

D’autres sites comme Webfusion, appcelerator, forecheck,  ou même Yelp  ont d’ailleurs modifié leurs fichiers robots.txt en conséquence, reprenant parfois l’allusion à Terminator. Un seul regret, le portail belge Skynet.be n’a pas profité de l’occasion.