Ashram de Swâmi Petaramesh - robots - Commentaires

Titre IV : Enfin une loi appliquée ! - krysalia

krysalia — Thu, 30 Aug 2007 12:53:03 +0200

un éclairage sur le même article, mais sur un autre blog gratuit, tant que j'y suis :)
http://emmanueldetaillac.fr/article...

Titre IV : Enfin une loi appliquée ! - krysalia

krysalia — Thu, 30 Aug 2007 12:45:12 +0200

ah, j'ai retrouvé l'article en question, mais hélas il est passé en version payante.
http://www.lemonde.fr/cgi-bin/ACHAT...

Titre IV : Enfin une loi appliquée ! - krysalia

krysalia — Thu, 30 Aug 2007 12:36:51 +0200

En effet, je me range à ton avis au sujet du UserAgent, c'est bien plus logique comme ça ( il faut croire qu'hier je manquais de sommeil :) )

Je cherchais un article passionnant du monde, indiquant la volonté affichée de la nouvelle présidence d'archiver " tout internet", pour pouvoir retrouver et réattribuer les responsabilités des propos et des contenus à leurs auteurs, même pour une parution de quelques secondes.
Je ne l'ai pas encore, mais en passant, je suis tombée sur ça : http://www.shedrupling.org/activist... la réponse de la dame de la Bnf est savoureuse : c'est quand même assez rigolo à la lumière de ton propre texte presque 10 ans plus tard :-} . Souvent les lois varient, bien fol est qui s'y fie ?

Remarque, maintenant, il a été servi !

Titre IV : Enfin une loi appliquée ! - kisifi

kisifi — Thu, 30 Aug 2007 10:55:49 +0200

Cette collecte insensée de tout "signes, signaux, écrits, images, sons ou messages de toute nature" ressemble très fort à la collecte des rêves dans "Le palais des rêves" de Kadare.
Dans ce roman les rêveurs s'attirent parfois des ennuis, attention à ne pas bloguer de travers!

Le dépot légal est par ailleurs une institution française remarquable et je fais confiance à la bnf pour trouver rapidement un compromis et mettre au point leurs procédures. Visiblement là ils bossent dans l'urgence...

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Thu, 30 Aug 2007 08:37:08 +0200

J'essaie de ne pas voir le mal partout, mais le petit démon en moi y prend un malin plaisir ;-)

Je ne pense pas qu'ils aient changé leur UserAgent pour contourner les dérisoires protections mises en place par ma petite personne - ce serait me donner bien trop d'importance - mais simplement pour éviter la (regrettable) confusion entre les collectes pratiquées par archive.org et leur robot Heritrix bien élevé d'une part, et les collectes pratiquées par la seule BNF, et leur version O.G.M. bnf.fr_bot mal élevée de ce même robot. Pour éviter qu'un mauvais coucheur comme ma pomme aille gueuler comme un veau chez archive.org et chez les développeurs d'Heritrix, ce que je ne me suis pas privé de faire, et qui la jette mal ;-)

Concernant la tristement célèbre loi DADVSI, je ne dirais pas quelle les arrange, mais plutôt qu'elle les missionne et, dans une certaine mesure, les contraint.

C'est encore une des lois qui fleurissent comme du chiendent ces temps-ci, renforçant l'emprise de l'état sur l'individu, et réduisant les droits du citoyen à se protéger des intrusions de l'état dans son domaine privé, le tout au plus grand avantage d'un secteur économique parasite et bouffi de thunes. Nos chers députés, comme d'hab', jouent contre le camp de ceux qui les ont élus - ça s'appelle de la forfaiture, si je ne m'abuse, mais bon, on est habitués, faut dire...

Les gougnaffiers qui ont rédigé cette loi devaient avoir pour idée que tout document présent sur un serveur web est nécessairement porté à la connaissance du public, ce qui n'est bien évidemment pas le cas.
Mais voilà, loi mal écrite, articles bâclés par des gugusses qui ne connaissent goutte au sujet sur lequel ils légifèrent... Paragraphes téléguidés par les intérêts particuliers de tel ou tel lobby, etc.

En pratique, la loi (de mes fesses) autorise effectivement la BNF à tenter de brute-forcer tout code, mot de passe, ou mesure de protection présent où que ce soit sur un site web pour s'emparer sauvagement de ce qui est derrière, et à ne pas tenir compte d'un fichier robots.txt qui est justement per se une forme de délimitation entre l'espace public et l'espace privé !

(J'espère quand même que dans les archives qu'ils conservent, ils flaguent de manière distinctive ce qu'ils ont honorablement collecté par rapport à ce que leur robot a volé...)

Si on colle de près à ce que dit la loi, la BNF serait probablement légalement en droit de violer par exemple l'accès à l'interface d'administration de ce site (si tant est qu'ils y parviennent) pour aller y pomper tout ce qui s'y trouve, y compris les adresses IP et mail de mes commentateurs par exemple, les commentaires que j'aurais pu retirer de l'espace public justement pour des raisons légales, ou les billets au "brouillon" et jamais publiés... Ou pourquoi pas entrer directement dans ma base de données SQL ou dans ma base LDAP pour lister tous les utilisateurs de mon système ? Une loi comme ça, ça enlève toutes limites à la connerie, mais on peut se faire des cheveux sur la manière dont un gouvernement encore un peu plus dictatorial que le nôtre pourrait l'utiliser...

Il est parfaitement envisageable qu'un procureur bien tordu plaide pour t'envoyer sur la paille humide des cachots parce que tu aurais refusé à la BNF l'accès web à ton interface d'administration protégée par un code, va savoir ? De nos jours, tout est possible, surtout l'absurde...

Quant à la BNF, puisqu'ils me lisent, ils sont évidemment les bienvenus pour clarifier ici leur position s'ils le souhaitent, et faire usage de tout "droit de réponse" qui leur semblera opportun en tapant dans la boîte-à-commentaires avec leurs petites mains pleines de doigts...
Je n'ai pas estimé très civil de publier le long mail explicatif qu'ils m'ont adressé et qui ne me semblait pas destiné à être porté tel quel "à la connaissance du public", mais il était en soi suffisamment intéressant pour mériter une plus large audience que ma seule petite boîte-aux-lettres...

N'empêche, si dans une telle situation ils se sentent un tout petit peu embarassés, c'est normal : il y a de quoi. Violer les robots.txt, c'est peut-être légal dans notre patrie des Droits de l'Homme, mais c'est plutôt extrêmement mal vu dans le cybermonde et par le reste de l'humanité internaute. D'où pour eux, dilemme...

To robot, or not to robot, that is the question...

Titre IV : Enfin une loi appliquée ! - krysalia

krysalia — Thu, 30 Aug 2007 01:05:50 +0200

Autant le fait qu'ils inscrivent une loi qui les arrange sur leur page ne me choque pas, autant par contre le fait qu'ils aient changé l'UserAgent me fait songer qu'ils ne sont peut être pas si bienveillants que cela, a défaut de ne pas être courtois... Pourquoi faire à part pour contrer tes protections toutes neuves ?

d'autant plus qu'ils sont dans l'illégalité si on relit le texte de loi, puisqu'on parle ici des fichiers portés à la connaissance du public plus ou moins restreint. Or, des fichiers de gestion technique qui ne sont pas en accès libre du public, c'est un accès tellement restreint qu'on pourrait l'appeller privé sans mauvaise foi, tout de même :-}
Làs, on dirait que ces messieurs de la Bnf ont du mal avec ce mot, privé, et ses implications !

(merci, Ô Guru, pour le petit revissage de balises dans mon précédent commentaire :) )

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Thu, 30 Aug 2007 00:43:13 +0200

En plus, Google est mon ami, tiens...

Maintenant, cette page sort preum's sur la requête Gougoule : BNF heritrix archive robots.txt

...c'est que ça va finir par se savoir, dans la blogobulle.

(Que sont ces grognements que j'entends sous ma table ? Ah, ce n'est que mon firewall qui piaffe ! Le pauvre, c'est vrai que ça fait longtemps que je ne lui ai pas donné de plage d'IPs à manger...)

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Thu, 30 Aug 2007 00:15:56 +0200

J'espère que quelqu'un aura eu la bonne idée d'archiver l'ancienne version ;-)

Ah ben oui, tiens, moi, justement ! Archiver l'archiveur, ça a un petit côté plaisant, depuis Louis Lumière, ça n'a rien perdu de son charme désopilant d'Umour Glacial et Sophistiqué, et comme mon humble ashram se trouve à 500 mètres des restes des ateliers des fameux frères, je ne pourrais y être insensible...

Bon, moi, j'archive à la main et sans robot, mais je ne suis qu'un pauvre amateur...

(Cliquouiller sur la belle image pour l'échelle 1:1...)

En plus, si j'en crois leur page, ils ont changé l'UserAgent de leur robot, me forçant à suivre le pas de danse en modifiant ma belle regexp...

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/[0-9\.]+\s+\(compatible;\s+(heritrix/[0-9\.]+|bnf\.fr_bot;)\s\+http://bibnum\.bnf\.fr/robot/\)

...etc.

Bon, si ça change trop souvent, je serai contraint de pondre de la regexp à large spectre, graoumpf, mais je préfère ancrer la regexp et la faire la plus précise possible pour des raisons de performances de mon pôvre petit Totor...

Moui, quoi qu'il en soit, et aussi bonnes que soient leur intentions pacifiques, le message Resistance is futile ! You will be as-si-mi-la-ted ! a un léger petit côté orwellien sur les bords...

Suffit pas qu'on place son blog sous Licence CreativeCommons en autorisant donc explicitement l'archivage et la rediffusion de ses textes, suffit pas qu'on prenne soin de mettre un robots.txt spécifiquement conçu pour ouvrir large les portes à archive.org, faut encore que certains robots se croient permis pour je ne sais quelle scabreuse raison d'aller fureter là où on leur demande de ne pas aller...

C'est un peu comme si tu invites cordialement des amis à dîner, et qu'à peine débarqués chez toi, ils se livrent à une perquisition en règle de tes placards et de la chambre dont la porte est fermée...

Venant d'un organisme "respectable vieille dame" d'état, ça donne une drôle de sensation dans la moëlle épinière sur ce que devient notre belle société de « ~~Liberté~~ Caméras, ~~Égalité~~ Selon que vous serez puissant ou misérable, ~~Fraternité~~ C'est moi que j'ai le plus gros gourdin ».

Hô les gens, oui, vous là, puisqu'effectivement je sais que vous me lisez et que vous êtes par ailleurs fort courtois, franchement, je vous le demande, est-ce bien raisonnable ?

Parce que Quand root pas content, lui toujours faire ainsi, hmmm...

Titre IV : Enfin une loi appliquée ! - krysalia

krysalia — Wed, 29 Aug 2007 23:29:41 +0200

ils te lisent vraiment on dirait, car ils ont changé le texte que tu cites, ils indiquent maintenant sur le lien que le robots.txt ne sert à rien : Le robot n'est pas limité par les exclusions spécifiées dans le protocole robots.txt, en accord avec la loi (article 41) : "La mise en oeuvre d'un code ou d'une restriction d'accès par ces personnes (les producteurs ou éditeurs de sites Internet visés par la loi) ne peut faire obstacle à la collecte par les organismes dépositaires précités".

Nous nous efforçons toutefois de limiter les désagréments induits auprès des éditeurs de sites. Si l'opération de collecte a un impact sur les performances de votre site, signalez le immédiatement par messagerie électronique à l'adresse : robot@bnf.fr

la formulation la mise en oeuvre d'une restriction d'accès ne peut s'opposer à la collecte fait froid dans le dos quand même... Sans compter qu'ils parlent du droit d'auteur et des droits voisins, mais se sont-ils rendus compte que l'archivage de données provenant d'un certain site c'est comme entériner le fait que ces données appartiennent à son auteur, bonjour les futurs procès ou la preuve de cet archivage sera utilisée contre les auteurs légitimes, si on va par là :/ ...
C'est vraiment le grand n'importenawak chez sarkoland en ce moment, comme halloween avec deux mois d'avance et le vomi pas tout à fait faux.

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Tue, 28 Aug 2007 21:36:24 +0200

Commentaire presque superflu ;-) pour signaler qu'un petit addendum que je viens d'ajouter au pied de cet article, tout là-là-haut, et que tu auras donc, ô fidèle lecteur, mon semblable, mon frère, probablement loupé, clot cet incident de manière satisfaisante. Pouf, pouf.

Titre IV : Enfin une loi appliquée ! - Petaramesh

Petaramesh — Tue, 28 Aug 2007 14:35:23 +0200

A la suite de ce billet, je viens de recevoir une réponse très courtoise de la part d'un des responsables de la BNF, qui n'avait apparemment pas reçu le mail que je cite ci-dessus.

J'ai répondu à son mail, et, sans trahir la correspondance privée, je reproduis ici un passage du mail que je viens de lui adresser en retour - comme ça, si jamais il devait ne pas lui parvenir non plus, il pourrait toujours en prendre connaissance ici-même :-}

(Citation de mon mail...)

Il va de soi que le dépôt légal d'un univers essentiellement mouvant et composé de nombreuses publications personnelles comme Internet
est techniquement très différent de celui de publications écrites "figées" et éditées par des professionnels.

Vous devriez par exemple tenir compte du fait que des publications sur Internet peuvent avoir un caractère volontairement très temporaire, ou un
public volontairement restreint, ce qui n'existe pas dans le domaine de l'écrit imprimé, et archiver des sites ou des pages à vocation temporaire,
les rendant de ce fait permanents, peut aller à l'encontre des intentions de leur éditeur.

Il y a aussi des sites - comme celui de ma fille de 9 ans, par exemple - que l'on peut vouloir protéger des robots et moteurs de recherche parce
qu'ils peuvent accidentellement contenir des infos personnelles qui ne devraient pas y être, des photos de famille que l'on ne souhaite pas voir
archiver hors de tout contrôle... Ma fille de 9 ans tient son site pour sa douzaine de copines de classe, pas pour la Bibliothèque Nationale ou je ne
sais quel "dépôt légal". Hélas, le législateur connaît souvent bien peu les réalités du domaine qu'il prétend régir du jour au lendemain, alors
qu'on se passait si bien de lui... Pour des raisons commes celles-ci, les protocoles d'exclusion des robots ont été standardisés, et il est plus que
regrettable qu'un robot d'un site aussi respectable et officiel que la B.N.F. prenne la décision très contestable d'ignorer les limites qu'on lui
fixe.

Je ressens personnellement cela comme une forme de viol de l'espace privé.

Ensuite, Internet est bourré de robots "mal intentionnés", ceux des spammeurs notamment, qui ne respectent aucune interdiction mais vis-à-vis
desquels des mesures techniques existent, comme les pièges à robots dans lequel votre robot est tombé, du fait même de son choix d'ignorer la ligne
jaune... Mon site contient cachés ici et là, de manière permanente, des pièges à robots spammeurs. Volontairement ou pas, votre robot aurait fini
par y tomber du fait de son comportement.

De nombreux autres sites font de même pour les mêmes raisons.

Les sites web comportent enfin quasiment tous des "accès administrateur", dont au moins la porte d'entrée est "visible" pour un robot, même s'il ne
peut pas accéder plus loin. Si des auteurs de sites demandent aux robots de moteurs de recherche de ne pas archiver la page d'entrée de tel ou tel
outil d'administration, et si demain une faille de sécurité est découverte dans cet outil, avez-vous pensé au risque qu'un robot qui passe outre fait
courir à de tels sites du point de vue de la sécurité informatique ? Un "pirate" pourrait, d'une seule requête à un moteur de recherche, obtenir
la liste de milliers de "portes d'entrée" potentiellement vulnérables dès qu'une faille du système serait découverte ! Dans ce cas, il me semble que
le moteur de recherche ayant violé la ligne jaune serait directement responsable des conséquences qui pourraient découler d'un abus possible
des données collectées...

De même, de nombreuses entreprises laissent parfois traîner par erreur sur leur site web des documents internes n'ayant pas vocation à être publiés,
peut-être dans des répertoires qu'ils croient protégés des robots par "le protocole d'exclusion". Que faire si vous archivez les documents internes
d'une entreprise en violation délibérée de ce protocole ? Quelle responsabilité sera la vôtre ?

Internet comporte une sacrée palanquée de documents n'ayant pas "vocation à" atterrir dans les archives de la BNF, quel que soit l'usage ultérieur
qui puisse en être fait.

J'espère vous avoir fourni ici quelques explications de nature à vous éclairer un peu quant à la position des webmestres et leurs
préoccupations...

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Tue, 28 Aug 2007 11:46:27 +0200

Ah ben voilà, ça y est, ils savent. les gens de la BNF ont lu ce petit article, et pour l'instant, leur robot-Shadok a cessé de me pomper tout mon Cosmogol... C'est bien gentil de leur part.

Titre IV : Enfin une loi appliquée ! - Gastiflex

Gastiflex — Tue, 28 Aug 2007 09:14:44 +0200

"en même temps quand on lit ce genre d'interview"
Mais c'est qu'il dit que des conneries ce type (à part pour Wikipedia). Y a pas une plus grande proportion de "romans illisibles" sur Internet que dans les 700 et des poussières bouquins qui sortent pour cette "rentrée littéraire" avec laquelle on nous gonfle en ce moment. Y a pas plus d'analyses politiques superficielles sur Internet que sur France 2 ce matin où le porte parole du gouvernement affirmait que le paquet fiscal c'était vachement bien pour que les couples qui gagnent 1500€ à deux puissent être propriétaires de leur logement. Et y a pas plus de vidéos pitoyables sur Internet que parmi la douzaine de bouses, que l'on appelle "blockbusters de l'été", qui est sortie au cinoche ces deux derniers mois.

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Tue, 28 Aug 2007 00:34:31 +0200

Chapeau archive.org, leur "Crawl Services Manager" m'a répondu dans le quart d'heure... que ce n'est pas leur faute (ça, je le savais déjà ;-)

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Tue, 28 Aug 2007 00:21:25 +0200

Ça m'a tellement gavé que j'ai été porter le pet chez archive.org et que je l'ai balancé comme bug critique sur le bugtracker de l'équipe de dev du robot.

Ce sont en effet le genre de petits détails qui méritent d'être connus :-}

Ah, la France va encore briller internationalement par la grâce de Ma Pomme ! Merci qui ? ;-)

...En attendant, leur robot m'a maintenant bouffé plus de 5481 pages de la Sainte Farce... Je leur facture la bande passante ? ;-)

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Mon, 27 Aug 2007 23:19:03 +0200

Tu m'étonnes qu'il a faim, le pâbô robot... Va falloir que je lui monte un serveur pour lui tout seul ! Rien que depuis hier matin, et rien que sur petaramesh.org, il m'a pompé...

root@totor:~# egrep -c "Mozilla/5.0 \(compatible; heritrix/1.10.1 \+[http://bibnum\.bnf\.fr/robot/\])" /var/log/apache2/petaramesh.access.log
20079

Vingt mille hits et des brouettes !

Mais là où ça devient rigolo, c'estque j'ai réussi à lui faire avaler...

root@totor:~# egrep -c "credit-cards\.pl.*Mozilla/5.0 \(compatible; heritrix/1.10.1 \+[http://bibnum\.bnf\.fr/robot/\])" /var/log/apache2/petaramesh.access.log
4381

4381 pages de la Sainte Farce toutes dûment flagguées <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">, donc, s'il en chope une indigestion, c'est sa faute, pas la mienne ;-)

Et ce nombre de 4381 bonnes blagues (Il est con le robot ! Il est con !) sont un minimum minimorum, je me gaffe qu'il en a bien mangé le triple dans sa face, puisque maintenant, quelle que soit l'URL qu'il me demande (et donc, que je logue...) je lui sers de la bonne soupe :-D

...Et je l'ai vu en fin d'aprêm balancer des quantités astronomiques de requêtes vers mes diverses pages d'administration, pas franchement secrètes d'ailleurs, mais pas vraiment publiques non plus, raison pour laquelle elles sont flaguées "Robots, Ouste !
Mais pas de problème, Totor l'a dûment nourri ;-)

...Quand je pense au nombre d'entreprises qui laissent traîner des documents internes sur leur site web, vaguement protégés des robots par un banal robots.txt, y'aura du procès dans l'air le jour où tout cela sera rendu public via des serveurs tiers... Puisqu'il semble que la BNF a plus ou moins des accointances avec archive.org, en tout cas ils utilisent leur robot et prétendent même utiliser le même UserAgent - ça m'emmernuie bien, ça, d'ailleurs... D'autant que d'habitude, archive.org est fréquentable... :-/

Titre IV : Enfin une loi appliquée ! - Thesa

Thesa — Mon, 27 Aug 2007 22:58:22 +0200

Après avoir lu ton billet, j'ai donné mes logs en pâture à grep.

Résultat, le dépôt légal est aussi passé par là. J'ai pas eu le temps de vérifier ce qu'il en est des infractions au robots.txt (j'ai tout chamboulé sur mes sites il y a peu, je ne sais même plus si j'ai des répertoires interdits :-/ ), mais en tout cas, bibnum avait l'air intéressé par un paquet de pages.

Dès que j'ai un peu de temps, je vais regarder ça en détail, et peut-être aussi leur donner de mes nouvelles...

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Mon, 27 Aug 2007 20:50:33 +0200

@Sribeubeu : quand on lit ce genre d'interview...

Tiens, il est particulièrement gratiné, celui-là... Les mots me manquent, si je ne veux pas utiliser les gros... :-\

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Mon, 27 Aug 2007 19:51:45 +0200

@les marques : Elle y est, c'est justement ce que je te disais. Mais en cette ère de spam universel, les blacklists sont absolument nécessaires, et spamhaus.org fait en général plutôt bien son boulot...

Titre IV : Enfin une loi appliquée ! - sribeubeu

sribeubeu — Mon, 27 Aug 2007 19:50:00 +0200

en même temps quand on lit ce genre d'interview on peut se dire que nous rentrons dans l'ère du grand ménage. Il est temps que les professionnels de la profession reprennent le pouvoir. Toi tu piques trop de temps de cerveau libre et ça, ce n'est pas bien.

Titre IV : Enfin une loi appliquée ! - les marques

les marques — Mon, 27 Aug 2007 19:47:52 +0200

pfff bande d'enfoirés ... de blacklisteurs ...

qui en prime me dit que mon ip est pô sur leur liste

Titre IV : Enfin une loi appliquée ! - Swâmi Petaramesh

Swâmi Petaramesh — Mon, 27 Aug 2007 19:28:20 +0200

Y'a pu de limites, mon pauvre ami...

(P.S.: Ton adresse IP est actuellement blacklistée chez spamhaus.org, ce qui explique que tes commentaires atterrisent, hélas, dans la file de modération...)

Titre IV : Enfin une loi appliquée ! - les marques

les marques — Mon, 27 Aug 2007 19:15:31 +0200

un peu comme si, au nom du dépot légal, la BNF allait piquer les plans de la rotative de l'imprimeur , non ?