Page 1 sur 1

Moteur de recherche pirate

Publié : ven. 12 nov. 2010, 03:04
par Damien Clauzel
J'ai mis en place un prototype de « moteur de recherche pirate ». Le but est de disposer d'une outil permettant de répertorier toutes les ressources concernant les partis pirates, afin de faciliter les recherches sur ce que nous produisons et de renforcer la visibilité de nos travaux.

Ainsi, à terme l'idée est de proposer un moteur de recherche spécialisés sur nos activités, mais aussi de diminuer notre dépendance vis à vis de prestataires externes qui ont une gestion de la vie privée parfois douteuse (par exemple, Google). L'outil que je vous propose est sécurisé et anonyme.

Également, il est possible d'intégrer des boîtes de recherche dans les outils existants (forums, wiki…), ce qui permet de travailler encore mieux.

Pour essayer le moteur de recherche :

Prérequis nécessaires pour tester :
  • un navigateur web (très) moderne, respectueux des standards du web (HTML5, CSS3, SVG, etc). C'est à dire Safari, Chromium, Firefox 4, Webkit, etc…;
  • une connexion IPv6. Testez votre connexion : si la tortue danse, vous êtes OK;
  • de la patience. Ce service tourne sur un petit serveur personnel; il arrive que je le coupe pour travailler dessus;
  • de l'indulgence. L'index est un peu bruité par des résultats indésirables, mais ça va s'arranger petit à petit.

Re: Moteur de recherche pirate

Publié : ven. 12 nov. 2010, 10:33
par cry-stof
merci pour le boulot fournis

Re: Moteur de recherche pirate

Publié : ven. 12 nov. 2010, 11:38
par CaptainKiller
Génial Damien !
Par contre j'ai pas l'ipv6 :'(
C'est basé sur un moteur connu ?

Re: Moteur de recherche pirate

Publié : ven. 12 nov. 2010, 15:01
par Damien Clauzel
CaptainKiller a écrit :Par contre j'ai pas l'ipv6 :'(

Change de fournisseur d'accès, ou va insulter la hotline du tiens :)
Pour info, le support de l'IPv6 devient critique.

C'est basé sur un moteur connu ?

La base est YaCy, un outil d'indexation libre décentralisé. J'ai déployé une instance dédiée aux partis pirates, avec une première ébauche de réglages qui-vont-bien, et quelques bouts de code perso.

YaCy est un outil utilisé dans plusieurs projets de recherche scientifique, notamment pour gérer et présenter des index de ressources scientifiques (c'est à dire, en gros pour proposer un moteur de recherche sur des articles et références scientifiques).

Actuellement, les éléments indexés sont :

Code : Tout sélectionner

crawlé comme — site : URL

web — PP : http://partipirate.org
MW — PP wiki : http://forum.partipirate.org/wiki/
phpBB3 — PP forums : http://forum.partipirate.org/
RSS — Blog d’Ogulak : http://partipirate.org/blogs/ogulak/feed/
RSS — Harpalos : http://partipirate.org/blogs/harpalos/feed/
RSS — le blog de Maxime Rouquet : http://partipirate.org/blogs/maxime-rouquet/feed/
RSS — Le blog de Pirate Poppins : http://partipirate.org/blogs/piratepoppins/feed/
RSS — Le blog de Rackham : http://partipirate.org/blogs/rackham/feed/
RSS — Le blog de Raphaël : http://partipirate.org/blogs/raphael/feed/
RSS — Parti Pirate Rhône Alpes : http://partipirate.org/blogs/rhone-alpes/feed/
RSS — Président de l’association : http://partipirate.org/blogs/president/feed/
web — ppj : http://jeunes.partipirate.org/
phpBB3 — ppj forums : http://jeunes.partipirate.org/forum/
web — ddi : http://ourdeclaration.net/
RSS — µblog : http://identi.ca/api/statuses/user_timeline/78005.atom
web — ppi : http://www.pp-international.net/
phpBB3 — PPI forums : http://www.pp-international.net/forum
web — Argentina : http://www.partido-pirata.com.ar/
web — Australia : http://www.pirateparty.org.au/
web — Austria : http://www.piratenpartei.at/
web — Belgium : http://pirateparty.be/
web — Bosnia and Herzegovina : http://www.pp-international.net/forum/viewforum.php?f=60
web — Brazil : http://www.partidopirata.org/
web — Bulgaria : http://piratskapartia.bg/
web — Canada : http://pirateparty.ca/
web — Chile : http://www.partidopirata.cl/
web — China : http://www.pp-international.net/forum/viewforum.php?f=63
web — Cyprus : http://www.piratepartycyprus.com/
web — Czech Republic : http://www.ceskapiratskastrana.cz/
web — Denmark : http://www.piratpartiet.dk/
web — Estonia : http://piraadipartei.ee/
web — Finland : http://www.piraattipuolue.fi/
web — Germany : http://piratenpartei.de/
web — Greece : http://www.pp-international.net/forum/viewforum.php?f=56
web — Guatemala : http://www.pp-international.net/forum/viewforum.php?f=66
web — Ireland : http://www.piratepartyireland.com/
web — Italy : http://www.partito-pirata.it/
web — Kazakhstan : http://pirateparty.kz/
web — Latvia : http://piratupartija.lv/
web — Lithuania : http://piratupartija.lt/
web — Luxembourg : http://www.piratepartei.lu/
web — Mexico : http://partidopiratamexicano.org/
web — Netherlands : http://piratenpartij.nl/
web — New Zealand : http://pirateparty.co.nz/
web — Norway : http://www.piratpartiet.biz/
web — Peru : http://wiki.freeculture.org/Pirata
web — Poland : http://partiapiratow.blog.pl/
web — Portugal : http://partidopiratapt.eu/
web — Republic of Korea : http://pirateparty.kr/
web — Romania : http://www.partidulpiratilor.ro/
web — Russia : http://pirateparty.ru/
web — Serbia : http://piratskapartija.com/
web — Slovakia : http://www.piratskastrana.sk/
web — Slovenia : http://www.piratskastranka.net/
web — South Africa : http://www.pp-international.net/forum/viewforum.php?f=38
web — Spain : http://www.partidopirata.es/
web — Sweden : http://www.piratpartiet.se/
web — Switzerland : http://www.piraten-partei.ch/
web — Tunisia : http://partipirate-tunisie.org/
web — Turkey : http://korsanpartisi.org/
web — Ukraine : http://www.pirateparty.org.ua/
web — United Kingdom : http://www.pirateparty.org.uk/
web — United States : http://www.pirate-party.us/
web — Uruguay : http://partidopirata.org.uy/

Re: Moteur de recherche pirate

Publié : sam. 13 nov. 2010, 10:41
par cry-stof
quel que soit le navigateur ie8, firefox 3.6.12, google chrome 7.0.517.44 ça me met que le site n'est pas signer donc il ne veulent pas y allez sauf si je clic poursuivre quand même

Re: Moteur de recherche pirate

Publié : sam. 13 nov. 2010, 15:44
par Damien Clauzel
cry-stof a écrit :quel que soit le navigateur ie8, firefox 3.6.12, google chrome 7.0.517.44 ça me met que le site n'est pas signer donc il ne veulent pas y allez sauf si je clic poursuivre quand même

Ça ne gêne en rien. La signature de certificat permet juste d'éviter que quelqu'un prétende utiliser mon certificat à ma place. La connexion est dans tous les cas chiffrée.

La raison est que tu ne dois pas avoir le certificat racine de CAcert : http://www.cacert.org/index.php?id=3

Re: Moteur de recherche pirate

Publié : lun. 15 nov. 2010, 10:18
par Damien Clauzel
Bon, l'index du moteur de recherche pirate contient désormais 115344 documents et 80795 mots. L'index a également été partagé avec 57 autres pairs du réseau, ce qui signifie que les personnes les utilisant auront aussi dans leurs résultats de recherche les ressources du PP.

Niveau technique, ça se présente plutôt bien : le crawler a arrêter de se suicider (il manquait juste un peu de RAM; il en demande 600Mo durant les pointes d'activité).

Par rapport à la liste que j'ai donné, est-ce que vous voyez d'autres documents à indexer ?