From b1d05721cf37ab94ec1a6837fe79cf19474dd0ff Mon Sep 17 00:00:00 2001 From: Jeremy Benoist Date: Wed, 30 Dec 2015 13:26:30 +0100 Subject: [PATCH] Rewrote Wallabag v1 import --- app/config/config.yml | 1 + .../ImportBundle/Command/ImportCommand.php | 107 +++----------- .../Controller/PocketController.php | 2 +- .../Controller/WallabagV1Controller.php | 58 ++++++++ .../DependencyInjection/Configuration.php | 2 + .../WallabagImportExtension.php | 1 + .../ImportBundle/Import/PocketImport.php | 7 +- .../ImportBundle/Import/WallabagV1Import.php | 137 ++++++++++++++++++ .../Resources/config/services.yml | 7 + .../Resources/views/Import/index.html.twig | 1 + .../views/WallabagV1/index.html.twig | 30 ++++ .../Tests/Import/WallabagV1ImportTest.php | 96 ++++++++++++ .../Tests/fixtures/wallabag-v1.json | 50 +++++++ web/uploads/import/.gitkeep | 0 14 files changed, 405 insertions(+), 94 deletions(-) create mode 100644 src/Wallabag/ImportBundle/Controller/WallabagV1Controller.php create mode 100644 src/Wallabag/ImportBundle/Import/WallabagV1Import.php create mode 100644 src/Wallabag/ImportBundle/Resources/views/WallabagV1/index.html.twig create mode 100644 src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php create mode 100644 src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v1.json create mode 100644 web/uploads/import/.gitkeep diff --git a/app/config/config.yml b/app/config/config.yml index 4d04d0027..e50f9b52e 100644 --- a/app/config/config.yml +++ b/app/config/config.yml @@ -33,6 +33,7 @@ wallabag_core: wallabag_import: allow_mimetypes: ['application/octet-stream', 'application/json', 'text/plain'] + resource_dir: "%kernel.root_dir%/../web/uploads/import" # Twig Configuration twig: diff --git a/src/Wallabag/ImportBundle/Command/ImportCommand.php b/src/Wallabag/ImportBundle/Command/ImportCommand.php index 3fb8927d7..dfbfc2f79 100644 --- a/src/Wallabag/ImportBundle/Command/ImportCommand.php +++ b/src/Wallabag/ImportBundle/Command/ImportCommand.php @@ -7,118 +7,47 @@ use Symfony\Component\Config\Definition\Exception\Exception; use Symfony\Component\Console\Input\InputArgument; use Symfony\Component\Console\Input\InputInterface; use Symfony\Component\Console\Output\OutputInterface; -use Symfony\Component\Console\Helper\ProgressBar; -use Wallabag\CoreBundle\Entity\Entry; -use Wallabag\CoreBundle\Tools\Utils; class ImportCommand extends ContainerAwareCommand { protected function configure() { $this - ->setName('wallabag:import') - ->setDescription('Import entries from JSON file') - ->addArgument( - 'userId', - InputArgument::REQUIRED, - 'user ID to populate' - ); + ->setName('wallabag:import-v1') + ->setDescription('Import entries from a JSON export from a wallabag v1 instance') + ->addArgument('userId', InputArgument::REQUIRED, 'User ID to populate') + ->addArgument('filepath', InputArgument::REQUIRED, 'Path to the JSON file') + ; } protected function execute(InputInterface $input, OutputInterface $output) { - $now = new \DateTime(); - $output->writeln('Start : '.$now->format('d-m-Y G:i:s').' ---'); - - // Importing CSV on DB via Doctrine ORM - $this->import($input, $output); - - $now = new \DateTime(); - $output->writeln('End : '.$now->format('d-m-Y G:i:s').' ---'); - } - - protected function import(InputInterface $input, OutputInterface $output) - { - // Getting php array of data from CSV - $data = $this->get($input, $output); + $output->writeln('Start : '.(new \DateTime())->format('d-m-Y G:i:s').' ---'); $em = $this->getContainer()->get('doctrine')->getManager(); // Turning off doctrine default logs queries for saving memory $em->getConnection()->getConfiguration()->setSQLLogger(null); - // Define the size of record, the frequency for persisting the data and the current index of records - $size = count($data); - $batchSize = 20; - $i = 1; - - $user = $em->getRepository('WallabagUserBundle:User') - ->findOneById($input->getArgument('userId')); + $user = $em->getRepository('WallabagUserBundle:User')->findOneById($input->getArgument('userId')); if (!is_object($user)) { - throw new Exception('User not found'); + throw new Exception(sprintf('User with id "%s" not found', $input->getArgument('userId'))); } - $progress = new ProgressBar($output, $size); - $progress->start(); + $wallabag = $this->getContainer()->get('wallabag_import.wallabag_v1.import'); + $res = $wallabag + ->setUser($user) + ->setFilepath($input->getArgument('filepath')) + ->import(); - foreach ($data as $object) { - $array = (array) $object; - $entry = $em->getRepository('WallabagCoreBundle:Entry') - ->findOneByUrl($array['url']); - - if (!is_object($entry)) { - $entry = new Entry($user); - $entry->setUrl($array['url']); - } - - $entry->setTitle($array['title']); - $entry->setArchived($array['is_read']); - $entry->setStarred($array['is_fav']); - $entry->setContent($array['content']); - $entry->setReadingTime(Utils::getReadingTime($array['content'])); - - $em->persist($entry); - - if (($i % $batchSize) === 0) { - $em->flush(); - $progress->advance($batchSize); - - $now = new \DateTime(); - $output->writeln(' of entries imported ... | '.$now->format('d-m-Y G:i:s')); - } - ++$i; + if (true === $res) { + $summary = $wallabag->getSummary(); + $output->writeln(''.$summary['imported'].' imported'); + $output->writeln(''.$summary['skipped'].' already saved'); } - $em->flush(); $em->clear(); - $progress->finish(); - } - protected function convert($filename) - { - if (!file_exists($filename) || !is_readable($filename)) { - return false; - } - - $header = null; - $data = array(); - - if (($handle = fopen($filename, 'r')) !== false) { - while (($row = fgets($handle)) !== false) { - $data = json_decode($row); - } - fclose($handle); - } - - return $data; - } - - protected function get(InputInterface $input, OutputInterface $output) - { - $filename = __DIR__.'/../../../../web/uploads/import/'.$input->getArgument('userId').'.json'; - - $data = $this->convert($filename); - - return $data; + $output->writeln('End : '.(new \DateTime())->format('d-m-Y G:i:s').' ---'); } } diff --git a/src/Wallabag/ImportBundle/Controller/PocketController.php b/src/Wallabag/ImportBundle/Controller/PocketController.php index 61eeba43f..ebcee0990 100644 --- a/src/Wallabag/ImportBundle/Controller/PocketController.php +++ b/src/Wallabag/ImportBundle/Controller/PocketController.php @@ -51,7 +51,7 @@ class PocketController extends Controller if (true === $pocket->import()) { $summary = $pocket->getSummary(); - $message = $summary['imported'].' entrie(s) imported, '.$summary['skipped'].' already saved.'; + $message = 'Import summary: '.$summary['imported'].' imported, '.$summary['skipped'].' already saved.'; } $this->get('session')->getFlashBag()->add( diff --git a/src/Wallabag/ImportBundle/Controller/WallabagV1Controller.php b/src/Wallabag/ImportBundle/Controller/WallabagV1Controller.php new file mode 100644 index 000000000..de200184f --- /dev/null +++ b/src/Wallabag/ImportBundle/Controller/WallabagV1Controller.php @@ -0,0 +1,58 @@ +createForm(new UploadImportType()); + $importForm->handleRequest($request); + $user = $this->getUser(); + + if ($importForm->isValid()) { + $file = $importForm->get('file')->getData(); + $name = $user->getId().'.json'; + + if (in_array($file->getClientMimeType(), $this->getParameter('wallabag_import.allow_mimetypes')) && $file->move($this->getParameter('wallabag_import.resource_dir'), $name)) { + $wallabag = $this->get('wallabag_import.wallabag_v1.import'); + $res = $wallabag + ->setUser($this->getUser()) + ->setFilepath($this->getParameter('wallabag_import.resource_dir').'/'.$name) + ->import(); + + $message = 'Import failed, please try again.'; + if (true === $res) { + $summary = $wallabag->getSummary(); + $message = 'Import summary: '.$summary['imported'].' imported, '.$summary['skipped'].' already saved.'; + + @unlink($this->getParameter('wallabag_import.resource_dir').'/'.$name); + } + + $this->get('session')->getFlashBag()->add( + 'notice', + $message + ); + + return $this->redirect($this->generateUrl('homepage')); + } else { + $this->get('session')->getFlashBag()->add( + 'notice', + 'Error while processing import. Please verify your import file.' + ); + } + } + + return $this->render('WallabagImportBundle:WallabagV1:index.html.twig', [ + 'form' => $importForm->createView(), + ]); + } +} diff --git a/src/Wallabag/ImportBundle/DependencyInjection/Configuration.php b/src/Wallabag/ImportBundle/DependencyInjection/Configuration.php index 2ef354638..39df9d3f9 100644 --- a/src/Wallabag/ImportBundle/DependencyInjection/Configuration.php +++ b/src/Wallabag/ImportBundle/DependencyInjection/Configuration.php @@ -17,6 +17,8 @@ class Configuration implements ConfigurationInterface ->arrayNode('allow_mimetypes') ->prototype('scalar')->end() ->end() + ->scalarNode('resource_dir') + ->end() ->end() ; diff --git a/src/Wallabag/ImportBundle/DependencyInjection/WallabagImportExtension.php b/src/Wallabag/ImportBundle/DependencyInjection/WallabagImportExtension.php index 38163886a..3f23c36be 100644 --- a/src/Wallabag/ImportBundle/DependencyInjection/WallabagImportExtension.php +++ b/src/Wallabag/ImportBundle/DependencyInjection/WallabagImportExtension.php @@ -14,6 +14,7 @@ class WallabagImportExtension extends Extension $configuration = new Configuration(); $config = $this->processConfiguration($configuration, $configs); $container->setParameter('wallabag_import.allow_mimetypes', $config['allow_mimetypes']); + $container->setParameter('wallabag_import.resource_dir', $config['resource_dir']); $loader = new Loader\YamlFileLoader($container, new FileLocator(__DIR__.'/../Resources/config')); $loader->load('services.yml'); diff --git a/src/Wallabag/ImportBundle/Import/PocketImport.php b/src/Wallabag/ImportBundle/Import/PocketImport.php index 1710d9d3d..aeccc7bda 100644 --- a/src/Wallabag/ImportBundle/Import/PocketImport.php +++ b/src/Wallabag/ImportBundle/Import/PocketImport.php @@ -141,7 +141,7 @@ class PocketImport implements ImportInterface $entries = $response->json(); - $this->parsePocketEntries($entries['list']); + $this->parseEntries($entries['list']); return true; } @@ -194,11 +194,9 @@ class PocketImport implements ImportInterface * * @param $entries */ - private function parsePocketEntries($entries) + private function parseEntries($entries) { foreach ($entries as $pocketEntry) { - $entry = new Entry($this->user); - $url = isset($pocketEntry['resolved_url']) && $pocketEntry['resolved_url'] != '' ? $pocketEntry['resolved_url'] : $pocketEntry['given_url']; $existingEntry = $this->em @@ -210,6 +208,7 @@ class PocketImport implements ImportInterface continue; } + $entry = new Entry($this->user); $entry = $this->contentProxy->updateEntry($entry, $url); // 0, 1, 2 - 1 if the item is archived - 2 if the item should be deleted diff --git a/src/Wallabag/ImportBundle/Import/WallabagV1Import.php b/src/Wallabag/ImportBundle/Import/WallabagV1Import.php new file mode 100644 index 000000000..7b0126748 --- /dev/null +++ b/src/Wallabag/ImportBundle/Import/WallabagV1Import.php @@ -0,0 +1,137 @@ +em = $em; + $this->logger = new NullLogger(); + } + + public function setLogger(LoggerInterface $logger) + { + $this->logger = $logger; + } + + /** + * We define the user in a custom call because on the import command there is no logged in user. + * So we can't retrieve user from the `security.token_storage` service. + * + * @param User $user + */ + public function setUser(User $user) + { + $this->user = $user; + + return $this; + } + + /** + * {@inheritdoc} + */ + public function getName() + { + return 'Wallabag v1'; + } + + /** + * {@inheritdoc} + */ + public function getDescription() + { + return 'This importer will import all your wallabag v1 articles.'; + } + + /** + * {@inheritdoc} + */ + public function import() + { + if (!$this->user) { + $this->logger->error('WallabagV1Import: user is not defined'); + + return false; + } + + if (!file_exists($this->filepath) || !is_readable($this->filepath)) { + $this->logger->error('WallabagV1Import: unable to read file', array('filepath' => $this->filepath)); + + return false; + } + + $this->parseEntries(json_decode(file_get_contents($this->filepath), true)); + + return true; + } + + /** + * {@inheritdoc} + */ + public function getSummary() + { + return [ + 'skipped' => $this->skippedEntries, + 'imported' => $this->importedEntries, + ]; + } + + /** + * Set file path to the json file. + * + * @param string $filepath + */ + public function setFilepath($filepath) + { + $this->filepath = $filepath; + + return $this; + } + + /** + * @param $entries + */ + private function parseEntries($entries) + { + foreach ($entries as $importedEntry) { + $existingEntry = $this->em + ->getRepository('WallabagCoreBundle:Entry') + ->existByUrlAndUserId($importedEntry['url'], $this->user->getId()); + + if (false !== $existingEntry) { + ++$this->skippedEntries; + continue; + } + + // @see ContentProxy->updateEntry + $entry = new Entry($this->user); + $entry->setUrl($importedEntry['url']); + $entry->setTitle($importedEntry['title']); + $entry->setArchived($importedEntry['is_read']); + $entry->setStarred($importedEntry['is_fav']); + $entry->setContent($importedEntry['content']); + $entry->setReadingTime(Utils::getReadingTime($importedEntry['content'])); + $entry->setDomainName(parse_url($importedEntry['url'], PHP_URL_HOST)); + + $this->em->persist($entry); + ++$this->importedEntries; + } + + $this->em->flush(); + } +} diff --git a/src/Wallabag/ImportBundle/Resources/config/services.yml b/src/Wallabag/ImportBundle/Resources/config/services.yml index f421821ca..e73ec0c84 100644 --- a/src/Wallabag/ImportBundle/Resources/config/services.yml +++ b/src/Wallabag/ImportBundle/Resources/config/services.yml @@ -18,3 +18,10 @@ services: calls: - [ setClient, [ "@wallabag_import.pocket.client" ] ] - [ setLogger, [ "@logger" ]] + + wallabag_import.wallabag_v1.import: + class: Wallabag\ImportBundle\Import\WallabagV1Import + arguments: + - "@doctrine.orm.entity_manager" + calls: + - [ setLogger, [ "@logger" ]] diff --git a/src/Wallabag/ImportBundle/Resources/views/Import/index.html.twig b/src/Wallabag/ImportBundle/Resources/views/Import/index.html.twig index b068283af..bd51f7307 100644 --- a/src/Wallabag/ImportBundle/Resources/views/Import/index.html.twig +++ b/src/Wallabag/ImportBundle/Resources/views/Import/index.html.twig @@ -9,6 +9,7 @@ {% trans %}Welcome on wallabag importer. Please select your previous service that you want to migrate.{% endtrans %} diff --git a/src/Wallabag/ImportBundle/Resources/views/WallabagV1/index.html.twig b/src/Wallabag/ImportBundle/Resources/views/WallabagV1/index.html.twig new file mode 100644 index 000000000..328ab4734 --- /dev/null +++ b/src/Wallabag/ImportBundle/Resources/views/WallabagV1/index.html.twig @@ -0,0 +1,30 @@ +{% extends "WallabagCoreBundle::layout.html.twig" %} +{% block title %}{% trans %}import{% endtrans %}{% endblock %} + +{% block content %} + +
+
+
+
+
+ {{ form_start(form, {'method': 'POST'}) }} + {{ form_errors(form) }} +
+
+

{% trans %}Please select your wallabag export and click on the below button to upload and import it.{% endtrans %}

+ {{ form_errors(form.file) }} + {{ form_widget(form.file) }} +
+
+ + + +
+
+
+
+
+{% endblock %} diff --git a/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php b/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php new file mode 100644 index 000000000..fc66d4020 --- /dev/null +++ b/src/Wallabag/ImportBundle/Tests/Import/WallabagV1ImportTest.php @@ -0,0 +1,96 @@ +user = new User(); + + $this->em = $this->getMockBuilder('Doctrine\ORM\EntityManager') + ->disableOriginalConstructor() + ->getMock(); + + $pocket = new WallabagV1Import($this->em); + + $this->logHandler = new TestHandler(); + $logger = new Logger('test', array($this->logHandler)); + $pocket->setLogger($logger); + + if (false === $unsetUser) { + $pocket->setUser($this->user); + } + + return $pocket; + } + + public function testInit() + { + $wallabagV1Import = $this->getWallabagV1Import(); + + $this->assertEquals('Wallabag v1', $wallabagV1Import->getName()); + $this->assertEquals('This importer will import all your wallabag v1 articles.', $wallabagV1Import->getDescription()); + } + + public function testImport() + { + $wallabagV1Import = $this->getWallabagV1Import(); + $wallabagV1Import->setFilepath(__DIR__.'/../fixtures/wallabag-v1.json'); + + $entryRepo = $this->getMockBuilder('Wallabag\CoreBundle\Repository\EntryRepository') + ->disableOriginalConstructor() + ->getMock(); + + $entryRepo->expects($this->exactly(3)) + ->method('existByUrlAndUserId') + ->will($this->onConsecutiveCalls(false, true, false)); + + $this->em + ->expects($this->any()) + ->method('getRepository') + ->willReturn($entryRepo); + + $res = $wallabagV1Import->import(); + + $this->assertTrue($res); + $this->assertEquals(['skipped' => 1, 'imported' => 2], $wallabagV1Import->getSummary()); + } + + public function testImportBadFile() + { + $wallabagV1Import = $this->getWallabagV1Import(); + $wallabagV1Import->setFilepath(__DIR__.'/../fixtures/wallabag-v1.jsonx'); + + $res = $wallabagV1Import->import(); + + $this->assertFalse($res); + + $records = $this->logHandler->getRecords(); + $this->assertContains('WallabagV1Import: unable to read file', $records[0]['message']); + $this->assertEquals('ERROR', $records[0]['level_name']); + } + + public function testImportUserNotDefined() + { + $wallabagV1Import = $this->getWallabagV1Import(true); + $wallabagV1Import->setFilepath(__DIR__.'/../fixtures/wallabag-v1.json'); + + $res = $wallabagV1Import->import(); + + $this->assertFalse($res); + + $records = $this->logHandler->getRecords(); + $this->assertContains('WallabagV1Import: user is not defined', $records[0]['message']); + $this->assertEquals('ERROR', $records[0]['level_name']); + } +} diff --git a/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v1.json b/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v1.json new file mode 100644 index 000000000..534343f8c --- /dev/null +++ b/src/Wallabag/ImportBundle/Tests/fixtures/wallabag-v1.json @@ -0,0 +1,50 @@ +[ + { + "0": "1", + "1": "Framabag, un nouveau service libre et gratuit", + "2": "http://www.framablog.org/index.php/post/2014/02/05/Framabag-service-libre-gratuit-interview-developpeur", + "3": "0", + "4": "0", + "5": "\n

Une interview de Nicolas, son développeur.

\n

Il ne vous a sûrement pas échappé que notre consommation de contenus du Web est terriblement chronophage et particulièrement frustrante tout à la fois : non seulement nous passons beaucoup (trop ?) de temps en ligne à explorer les mines aurifères de la toile, y détectant pépites et filons, mais nous sommes surtout constamment en manque. Même si nous ne sommes pas dans le zapping frénétique si facilement dénoncé par les doctes psychologues qui pontifient sur les dangers du numérique pour les jeunes cervelles, il nous vient souvent le goût amer de l’inachevé : pas le temps de tout lire (TL;DR est devenu le clin d’œil mi-figue mi-raisin d’une génération de lecteurs pressés), pas trop le temps de réfléchir non plus hélas, pas le temps de suivre la ribambelle de liens associés à un article…

\n

Pour nous donner bonne conscience, nous rangeons scrupuleusement un marque-page de plus dans un sous-dossier qui en comporte déjà 256, nous notons un élément de plus dans la toujours ridiculement longue toudouliste, bref nous remettons à plus tard, c’est-à-dire le plus souvent aux introuvables calendes grecques, le soin de lire vraiment un article jugé intéressant, de regarder une vidéo signalée par les rézossocios, de lire un chapitre entier d’un ouvrage disponible en ligne…

\n

Alors bien sûr, à défaut de nous donner tout le temps qui serait nécessaire, des solutions existent pour nous permettre de « lire plus tard » en sauvegardant le précieux pollen de nos butinages de site en site, et d’en faire ultérieurement votre miel ; c’est bel et bon mais les ruches sont un peu distantes, ça s’appelle le cloud (nos amis techies m’ont bien expliqué mais j’ai seulement compris que des trucs à moi sont sur des machines lointaines, ça ne me rassure pas trop) et elles sont souvent propriétaires, ne laissant entrer que les utilisateurs consommateurs payants et qui consentent à leurs conditions. Sans compter que de gros bourdons viennent profiter plus ou moins discrètement de toutes ces traces de nous-mêmes qui permettent de monétiser notre profil : si je collecte sur ces services (ne les nommons pas, justement) une série d’articles sur l’idée de Nature chez Diderot, je recevrai diverses sollicitations pour devenir client de la boutique Nature & Découverte du boulevard Diderot. Et si d’aventure les programmes de la NSA moulinent sur le service, je serai peut-être un jour dans une liste des militants naturistes indésirables sur les vols de la PanAm (je ne sais plus trop si je plaisante là, finalement…)

\n

La bonne idée : « se constituer un réservoir de documents sélectionnés à parcourir plus tard » appelait donc une autre bonne idée, celle d’avoir le contrôle de ce réservoir, de notre collection personnelle. C’est Nicolas Lœuillet, ci-dessous interviewé, qui s’y est collé avec une belle application appelée euh… oui, appelée Wallabag.

\n

Framasoft soutient d’autant plus son initiative qu’on lui a cherché des misères pour une histoire de nom et qu’il est possible d’installer soi-même une copie de Wallabag sur son propre site.

\n

Le petit plus de Framasoft, réseau toujours désireux de vous proposer des alternatives libératrices, c’est de vous proposer (sur inscription préalable) un accès au Framabag, autrement dit votre Wallabag sur un serveur Frama* avec notre garantie de confidentialité. Comme pour le Framanews, nous vous accueillons volontiers dans la limite de nos capacités, en vous invitant à vous lancer dans votre auto-hébergement de Wallabag.
Cet article est trop long ? Mettez-le dans votre Framabag et hop.

\n

Framablog : Salut Nicolas… Tu peux te présenter brièvement ?

\n

Salut ! Développeur PHP depuis quelques années maintenant (10 ans), j’ai voulu me remettre à niveau techniquement parlant (depuis 3 ans, j’ai pas mal lâché le clavier). Pour mes besoins persos, j’ai donc créé un petit projet pour remplacer une solution propriétaire existante. Sans aucune prétention, j’ai hébergé ce projet sur Github et comme c’est la seule solution open source de ce type, le nombre de personnes intéressées a augmenté …

\n

Les utilisateurs de services Framasoft ne le savent pas forcément, mais tu as déjà pas mal participé à la FramaGalaxie, non ?

\n

En effet. J’ai commencé un plugin pour Framanews, ttrss-purge-accounts, qui permet de nettoyer la base de données de comptes plus utilisés. Mais ce plugin a besoin d’être terminé à 100% pour être intégré au sein de Framanews (et donc de Tiny Tiny RSS), si quelqu’un souhaite m’aider, il n’y a aucun souci.
J’ai aussi fait 1 ou 2 apparitions dans des traductions pour Framablog. Rien d’extraordinaire, je ne suis pas bilingue, ça me permet de m’entraîner.

\n

Parlons de suite de ce qui fâche : ton application Wallabag, elle s’appellait pas “Poche”, avant ? Tu nous racontes l’histoire ?

\n

Euh en effet … Déjà, pourquoi poche ? Parce que l’un des trois « ténors » sur le marché s’appelle Pocket. Comme mon appli n’était destinée qu’à mon usage personnel au départ, je ne me suis pas torturé bien longtemps.

\n

Cet été, on a failli changer de nom, quand il y a eu de plus en plus d’utilisateurs. Et puis on s’est dit que poche, c’était pas mal, ça sonnait bien français et puis avec les quelques dizaines d’utilisateurs, on ne gênerait personne.

\n

C’est sans compter avec les sociétés américaines et leur fâcheuse manie de vouloir envoyer leurs avocats à tout bout de champ. Le 23 janvier, j’ai reçu un email de la part du cabinet d’avocats de Pocket me demandant de changer le nom, le logo, de ne plus utiliser le terme “read-it-later” (« lisez le plus tard ») et de ne plus dire que Pocket n’est pas gratuit (tout est parti d’un tweet où je qualifie Pocket de « non free » à savoir non libre). Bref, même si je semblais dans mon droit, j’ai quand même pris la décision de changer de nom et Wallabag est né, suite aux dizaines de propositions de nom reçues. C’est un mélange entre le wallaby (de la famille des kangourous, qui stockent dans leur poche ce qui leur est cher) et bag (les termes sac / sacoche / besace sont énormément revenus). Mais maintenant, on va de l’avant, plus de temps à perdre avec ça, on a du pain sur la planche.
\"wallaby crédit photo William Warby qui autorise explicitement toute réutilisation.

\n

Bon, alors explique-moi ce que je vais pouvoir faire avec Framabag…

\n

Alors Framabag, ça te permet de te créer un compte gratuitement et librement pour pouvoir utiliser Wallabag. Seule ton adresse email est nécessaire, on se charge d’installer et de mettre à jour Wallabag pour toi. Tu peux d’ailleurs profiter d’autres services proposés par Framasoft ici.

\n

À ce jour, il y a 834 comptes créés sur Framabag.

\n

Vous avez vraiment conçu ce service afin qu’on puisse l’utiliser avec un maximum d’outils, non ?

\n

Autour de l’application web, il existe déjà des applications pour smartphones (Android et Windows Phone), des extensions Firefox et Google Chrome.

\n

Comme Wallabag possède des flux RSS, c’est facile de lire les articles sauvegardés sur sa liseuse (si celle-ci permet de lire des flux RSS). Calibre (« logiciel de lecture, de gestion de bibliothèques et de conversion de fichiers numériques de type ebook ou livre électronique »,nous dit ubuntu-fr.org) intègre depuis quelques semaines maintenant la possibilité de récupérer les articles non lus, pratique pour faire un fichier ePub !

\n

D’autres applications web permettent l’intégration avec Wallabag (FreshRSS, Leed et Tiny Tiny RSS pour les agrégateurs de flux). L’API qui sera disponible dans la prochaine version de Wallabag permettra encore plus d’interactivité.

\n

Y a-t-il un mode de lecture hors ligne ou est-ce que c’est prévu pour les prochaines versions ?

\n

Il y a un pseudo mode hors ligne, disponible avec l’application Android. On peut récupérer (via un flux RSS) les articles non lus que l’on a sauvegardés. Une fois déconnecté, on peut continuer à lire sur son smartphone ou sa tablette les articles. Par contre, il manque des fonctionnalités : quand tu marques un article comme lu, ce n’est pas synchronisé avec la version web de Wallabag. J’espère que je suis presque clair dans mes explications.

\n

Pour la v2, qui est déjà en cours de développement, où je suis bien aidé par Vincent Jousse, on aura la possibilité d’avoir un vrai mode hors ligne.

\n

Alors si on veut aider / participer / trifouiller le code / vous envoyer des retours, on fait comment ?

\n

On peut aider de plusieurs façons :

\n

Le mot de la fin…?

\n

Merci à Framasoft d’accueillir et de soutenir Wallabag !

\n

La route est encore bien longue pour ne plus utiliser de solutions propriétaires, mais on devrait y arriver, non ?

\n

\"framasoft
hackez Gégé !

\n", + "6": "1", + "id": "1", + "title": "Framabag, un nouveau service libre et gratuit", + "url": "http://www.framablog.org/index.php/post/2014/02/05/Framabag-service-libre-gratuit-interview-developpeur", + "is_read": "0", + "is_fav": "0", + "content": "\n

Une interview de Nicolas, son développeur.

\n

Il ne vous a sûrement pas échappé que notre consommation de contenus du Web est terriblement chronophage et particulièrement frustrante tout à la fois : non seulement nous passons beaucoup (trop ?) de temps en ligne à explorer les mines aurifères de la toile, y détectant pépites et filons, mais nous sommes surtout constamment en manque. Même si nous ne sommes pas dans le zapping frénétique si facilement dénoncé par les doctes psychologues qui pontifient sur les dangers du numérique pour les jeunes cervelles, il nous vient souvent le goût amer de l’inachevé : pas le temps de tout lire (TL;DR est devenu le clin d’œil mi-figue mi-raisin d’une génération de lecteurs pressés), pas trop le temps de réfléchir non plus hélas, pas le temps de suivre la ribambelle de liens associés à un article…

\n

Pour nous donner bonne conscience, nous rangeons scrupuleusement un marque-page de plus dans un sous-dossier qui en comporte déjà 256, nous notons un élément de plus dans la toujours ridiculement longue toudouliste, bref nous remettons à plus tard, c’est-à-dire le plus souvent aux introuvables calendes grecques, le soin de lire vraiment un article jugé intéressant, de regarder une vidéo signalée par les rézossocios, de lire un chapitre entier d’un ouvrage disponible en ligne…

\n

Alors bien sûr, à défaut de nous donner tout le temps qui serait nécessaire, des solutions existent pour nous permettre de « lire plus tard » en sauvegardant le précieux pollen de nos butinages de site en site, et d’en faire ultérieurement votre miel ; c’est bel et bon mais les ruches sont un peu distantes, ça s’appelle le cloud (nos amis techies m’ont bien expliqué mais j’ai seulement compris que des trucs à moi sont sur des machines lointaines, ça ne me rassure pas trop) et elles sont souvent propriétaires, ne laissant entrer que les utilisateurs consommateurs payants et qui consentent à leurs conditions. Sans compter que de gros bourdons viennent profiter plus ou moins discrètement de toutes ces traces de nous-mêmes qui permettent de monétiser notre profil : si je collecte sur ces services (ne les nommons pas, justement) une série d’articles sur l’idée de Nature chez Diderot, je recevrai diverses sollicitations pour devenir client de la boutique Nature & Découverte du boulevard Diderot. Et si d’aventure les programmes de la NSA moulinent sur le service, je serai peut-être un jour dans une liste des militants naturistes indésirables sur les vols de la PanAm (je ne sais plus trop si je plaisante là, finalement…)

\n

La bonne idée : « se constituer un réservoir de documents sélectionnés à parcourir plus tard » appelait donc une autre bonne idée, celle d’avoir le contrôle de ce réservoir, de notre collection personnelle. C’est Nicolas Lœuillet, ci-dessous interviewé, qui s’y est collé avec une belle application appelée euh… oui, appelée Wallabag.

\n

Framasoft soutient d’autant plus son initiative qu’on lui a cherché des misères pour une histoire de nom et qu’il est possible d’installer soi-même une copie de Wallabag sur son propre site.

\n

Le petit plus de Framasoft, réseau toujours désireux de vous proposer des alternatives libératrices, c’est de vous proposer (sur inscription préalable) un accès au Framabag, autrement dit votre Wallabag sur un serveur Frama* avec notre garantie de confidentialité. Comme pour le Framanews, nous vous accueillons volontiers dans la limite de nos capacités, en vous invitant à vous lancer dans votre auto-hébergement de Wallabag.
Cet article est trop long ? Mettez-le dans votre Framabag et hop.

\n

Framablog : Salut Nicolas… Tu peux te présenter brièvement ?

\n

Salut ! Développeur PHP depuis quelques années maintenant (10 ans), j’ai voulu me remettre à niveau techniquement parlant (depuis 3 ans, j’ai pas mal lâché le clavier). Pour mes besoins persos, j’ai donc créé un petit projet pour remplacer une solution propriétaire existante. Sans aucune prétention, j’ai hébergé ce projet sur Github et comme c’est la seule solution open source de ce type, le nombre de personnes intéressées a augmenté …

\n

Les utilisateurs de services Framasoft ne le savent pas forcément, mais tu as déjà pas mal participé à la FramaGalaxie, non ?

\n

En effet. J’ai commencé un plugin pour Framanews, ttrss-purge-accounts, qui permet de nettoyer la base de données de comptes plus utilisés. Mais ce plugin a besoin d’être terminé à 100% pour être intégré au sein de Framanews (et donc de Tiny Tiny RSS), si quelqu’un souhaite m’aider, il n’y a aucun souci.
J’ai aussi fait 1 ou 2 apparitions dans des traductions pour Framablog. Rien d’extraordinaire, je ne suis pas bilingue, ça me permet de m’entraîner.

\n

Parlons de suite de ce qui fâche : ton application Wallabag, elle s’appellait pas “Poche”, avant ? Tu nous racontes l’histoire ?

\n

Euh en effet … Déjà, pourquoi poche ? Parce que l’un des trois « ténors » sur le marché s’appelle Pocket. Comme mon appli n’était destinée qu’à mon usage personnel au départ, je ne me suis pas torturé bien longtemps.

\n

Cet été, on a failli changer de nom, quand il y a eu de plus en plus d’utilisateurs. Et puis on s’est dit que poche, c’était pas mal, ça sonnait bien français et puis avec les quelques dizaines d’utilisateurs, on ne gênerait personne.

\n

C’est sans compter avec les sociétés américaines et leur fâcheuse manie de vouloir envoyer leurs avocats à tout bout de champ. Le 23 janvier, j’ai reçu un email de la part du cabinet d’avocats de Pocket me demandant de changer le nom, le logo, de ne plus utiliser le terme “read-it-later” (« lisez le plus tard ») et de ne plus dire que Pocket n’est pas gratuit (tout est parti d’un tweet où je qualifie Pocket de « non free » à savoir non libre). Bref, même si je semblais dans mon droit, j’ai quand même pris la décision de changer de nom et Wallabag est né, suite aux dizaines de propositions de nom reçues. C’est un mélange entre le wallaby (de la famille des kangourous, qui stockent dans leur poche ce qui leur est cher) et bag (les termes sac / sacoche / besace sont énormément revenus). Mais maintenant, on va de l’avant, plus de temps à perdre avec ça, on a du pain sur la planche.
\"wallaby crédit photo William Warby qui autorise explicitement toute réutilisation.

\n

Bon, alors explique-moi ce que je vais pouvoir faire avec Framabag…

\n

Alors Framabag, ça te permet de te créer un compte gratuitement et librement pour pouvoir utiliser Wallabag. Seule ton adresse email est nécessaire, on se charge d’installer et de mettre à jour Wallabag pour toi. Tu peux d’ailleurs profiter d’autres services proposés par Framasoft ici.

\n

À ce jour, il y a 834 comptes créés sur Framabag.

\n

Vous avez vraiment conçu ce service afin qu’on puisse l’utiliser avec un maximum d’outils, non ?

\n

Autour de l’application web, il existe déjà des applications pour smartphones (Android et Windows Phone), des extensions Firefox et Google Chrome.

\n

Comme Wallabag possède des flux RSS, c’est facile de lire les articles sauvegardés sur sa liseuse (si celle-ci permet de lire des flux RSS). Calibre (« logiciel de lecture, de gestion de bibliothèques et de conversion de fichiers numériques de type ebook ou livre électronique »,nous dit ubuntu-fr.org) intègre depuis quelques semaines maintenant la possibilité de récupérer les articles non lus, pratique pour faire un fichier ePub !

\n

D’autres applications web permettent l’intégration avec Wallabag (FreshRSS, Leed et Tiny Tiny RSS pour les agrégateurs de flux). L’API qui sera disponible dans la prochaine version de Wallabag permettra encore plus d’interactivité.

\n

Y a-t-il un mode de lecture hors ligne ou est-ce que c’est prévu pour les prochaines versions ?

\n

Il y a un pseudo mode hors ligne, disponible avec l’application Android. On peut récupérer (via un flux RSS) les articles non lus que l’on a sauvegardés. Une fois déconnecté, on peut continuer à lire sur son smartphone ou sa tablette les articles. Par contre, il manque des fonctionnalités : quand tu marques un article comme lu, ce n’est pas synchronisé avec la version web de Wallabag. J’espère que je suis presque clair dans mes explications.

\n

Pour la v2, qui est déjà en cours de développement, où je suis bien aidé par Vincent Jousse, on aura la possibilité d’avoir un vrai mode hors ligne.

\n

Alors si on veut aider / participer / trifouiller le code / vous envoyer des retours, on fait comment ?

\n

On peut aider de plusieurs façons :

\n

Le mot de la fin…?

\n

Merci à Framasoft d’accueillir et de soutenir Wallabag !

\n

La route est encore bien longue pour ne plus utiliser de solutions propriétaires, mais on devrait y arriver, non ?

\n

\"framasoft
hackez Gégé !

\n", + "user_id": "1" + }, + { + "0": "2", + "1": "wallabag/wallabag", + "2": "https://github.com/wallabag/wallabag", + "3": "1", + "4": "0", + "5": "README.md

wallabag is a self hostable application allowing you to not miss any content anymore. Click, save, read it when you can. It extracts content so that you can read it when you have time.

\n

More informations on our website: wallabag.org

\n

License

\n

Copyright © 2010-2014 Nicolas Lœuillet nicolas@loeuillet.org This work is free. You can redistribute it and/or modify it under the terms of the Do What The Fuck You Want To Public License, Version 2, as published by Sam Hocevar. See the COPYING file for more details.

\n", + "6": "1", + "id": "2", + "title": "wallabag/wallabag", + "url": "https://github.com/wallabag/wallabag", + "is_read": "1", + "is_fav": "0", + "content": "README.md

wallabag is a self hostable application allowing you to not miss any content anymore. Click, save, read it when you can. It extracts content so that you can read it when you have time.

\n

More informations on our website: wallabag.org

\n

License

\n

Copyright © 2010-2014 Nicolas Lœuillet nicolas@loeuillet.org This work is free. You can redistribute it and/or modify it under the terms of the Do What The Fuck You Want To Public License, Version 2, as published by Sam Hocevar. See the COPYING file for more details.

\n", + "user_id": "1" + }, + { + "0": "3", + "1": "a self hostable application for saving web pages | wallabag", + "2": "https://www.wallabag.org/", + "3": "1", + "4": "0", + "5": "\n
\n
\n

wallabag (formerly poche) is a self hostable application for saving web pages. Unlike other services, wallabag is free (as in freedom) and open source.

\n
\n\n
\n
\n
\n

With this application you will not miss content anymore. Click, save, read it when you want. It saves the content you select so that you can read it when you have time.

\n
\n\n
\n
\n
\n

How it works

\n

Thanks to the bookmarklet or third-party applications, you save an article in your wallabag to read it later. Then, when you open your wallabag, you can comfortably read your articles.

\n

How to use wallabag

\n

There are two ways to use wallabag: you can install it on your web server or you can create an account at Framabag (we install and upgrade wallabag for you).

\n
\n\n
\n", + "6": "1", + "id": "3", + "title": "a self hostable application for saving web pages | wallabag", + "url": "https://www.wallabag.org/", + "is_read": "1", + "is_fav": "0", + "content": "\n
\n
\n

wallabag (formerly poche) is a self hostable application for saving web pages. Unlike other services, wallabag is free (as in freedom) and open source.

\n
\n\n
\n
\n
\n

With this application you will not miss content anymore. Click, save, read it when you want. It saves the content you select so that you can read it when you have time.

\n
\n\n
\n
\n
\n

How it works

\n

Thanks to the bookmarklet or third-party applications, you save an article in your wallabag to read it later. Then, when you open your wallabag, you can comfortably read your articles.

\n

How to use wallabag

\n

There are two ways to use wallabag: you can install it on your web server or you can create an account at Framabag (we install and upgrade wallabag for you).

\n
\n\n
\n", + "user_id": "1" + } +] diff --git a/web/uploads/import/.gitkeep b/web/uploads/import/.gitkeep new file mode 100644 index 000000000..e69de29bb