p2p сеть для книгообмена.

[vitus_wagner]

Я тут подумал, что требования к peer-to-peer протоколу для работы с электронными книгами сильно отличаются от требований к протоколу для разадчи multimedia, под которые заточены всякие ed2k и bittorrent.

Если музыка и фильмы это, как правило, немного больших файлов, и возможность распределения нагрузки по раздаче является существенной, то электронная библиотека - это много-много (десятки тысяяч) относительно маленьких файлов.
Причем начиная с того момента, как у человека образовалась эта библиотека, дальнейшиф траффик очень маленький - новинки, исправления опечаток и т.д.

С другой стороны, мультимедиа-файлы обычно редактированию конечным пользователем не поддаются. А вот опечатки в электронной книге может исправлять любой.

Соответвтвенно, для синхронизации изменений в электронных библиотеках (если предположить что на начальный момент участия в p2p сети каждый участник обзавелся копией библиотеки на момент вступления, например выкачав ежегодный снапшот из традиционных p2p),
гораздо больше подходят такие средства как rsync и unison.

Эти средства позволяют поддерживать в консистентном состоянии сколько угодно мирроров одной и той же коллекции книг с минимальным количеством траффика. При этом если любой пользователь исправит опечатку, это исправление расползется по всем хостам сети.

Кстати, если кому-то жалко места на диске, он вполне может синхронизировать у себя не всю библиотеку, а определенные жанры или определенных авторов. Для этого нужна только соответствующая структура каталогов.

Злесь, правда, есть такая тонкость, что необходима какая-то система учета доверия к пользователям. А то в сети заведутся обязательно гады, которые будут книги портить. Впрочем, формат FB2 легко защищается электронной подписью на базе xmldsig. При этом файл подписи можно положить рядом, чтобы не мешал читалкам. Тогда если при синхронизации приехали изменения к существующему файлу, можно посмотреть, кто под ними подписался, и, в зависимости от этого, либо сразу включить в основной архив, или оставить до ревизии владельцем данной копии, который, может быть, потом и своей подписью под этими изменениями подпишется. Новые книги, ранее в библиотеке отсутствовавшие, можно принимать и без подписи.

Comments

[kzn.livejournal.com]

Но насколько я понимаю, это относится к книгам в текстовом виде.
Всякие pdf/djvu/chm больше похожи на multimedia

[yarikas.livejournal.com]

Из pdf точно текст можно вытащить. А важен именно факт наличия изменения текста и место. Хотя не берусь предсказать, что выдаст pdftotext для изменённого файла.

[dottedmag.livejournal.com]

pdf/djvu нужно сначала прогнать через reCaptcha, а chm - это html, только упакованный.

[stefashka.livejournal.com]

В Фидо в своё время было такое - файлэхи :-)

[slawa-614.livejournal.com]

Почему "было"? Они и сейчас есть:

BOOK - только художественные тексты (DOS-TXT.RAR) 1.3 мег в сутки;

BOOK-DOP - художественные (из тех, что не пользуются массовым спросом), наука, науч.поп, учебники, справочники, критика, стихи. (TXT, DOC, HTML, DJVU) 20 мег в сутки;

957SHEMA - литература по радиоэлектронике: Радиоэлектроника; Кибернетика; Общая радиотехника; Электроника; Электороакустика; Электрическая связь; Телевидение; Радиолокация; Автоматика и телемеханика; Вычислительная техника; Оргтехника (пособия, учебники, справочники) (TXT, DOC, HTML, DJVU) до 6 мег в сутки (трафик нерегулярный);

957HELP - пособия самодельщикам; автомобили; мебель; дом, дача, приусад. участок; оружие, охота, рыбалка; поделки (Сделай сам); полезные программы-справочники; Фото и киносъемка; худож.промыслы; кулинария (TXT, DOC, HTML, DJVU) до 8 мег в сутки (трафик нерегулярный);

[drumrock.livejournal.com]

Книгообменная Википедия. :-)

[phd_ru]

> При этом если любой пользователь исправит опечатку, это исправление расползется по всем хостам

При этом, если 2 пользователя одновременно исправят 2 опечатки в одном файле - rsync изменения одного из них убьёт. Нужно интеллектуальное слияние, например, система контроля версий.

[nasse.livejournal.com]

Полуручную работу никто делать не будет.

[los-t.livejournal.com]

ИМХО распределенная VCS типа git тоже подойдет.

[aceler.livejournal.com]

+1

И репозитарии для управления всем этим.

[kastaneda]

+1
Первым делом про них и вспомнил. Вторым делом подумал, что на практике и для централизованых (вроде CVS) репозитариев своя ниша найдётся — в разных странах разное законодательство.

[dottedmag.livejournal.com]

+1, только не git, а кто-нибудь из похожих, кто умеет поддеревья из репозитория тянуть.

[vadiml.livejournal.com]

От "злокозненных" правок можно подключить, например, svn и ввести пост-модерирование на нескольких основных серверах, если что всегда можно откатится. Но для отслеживания правок все же лучше формам txt -- diff то нормально читаем только для обычного текста.

ЗЫ я вот думаю, что хорошо бы объеденить svn или подобную программу с генератором текстовых файлов из бинарных, чтоб в том же svn хранить бинарные файлы, но получать из него diff'ы в txt -- весьма удобно было бы хранить так в организациях doc, xls (используя Ваш catdoc), odf, ...
Или такое уже есть?

[nasse.livejournal.com]

Осмысленный xml?

[vitus_wagner]

В svn - точно есть возможность подключать для определенных mime-типов внешние плагины для diff.

А вот насчет выделения "нескольких основных серверов" я решительно против. Каждый читатель (владелец библиотеки) должен решать сам за себя. Если он какому другому читателю доверяет, так это лично он лично ему доверяет.

[vitus_wagner]

Формат рассматривается только fb2. Никакие другие форматы в данный момент не интересны. Если, конечно, в будущем появится аналог fb2, но пригодный для научной или научно-популярной литературы (поддержка таблиц, векторной графики и т.д.) тогда другое дело.
А специфические аналоги diff для xml существуют.

[yarikas.livejournal.com]

Исправление опечаток регулярное, но имеющее небольшую энергоёмкость, явление - достаточно сделать тулзу на основе diff, чтобы конечный потребитель отслеживал изменения и сам принимал решения.
Нечто подобное реализовано в gentoo для конфигфайлов.

[blacklion.livejournal.com]

xmldsig
Ыыыыыы. Не надо!

[vitus_wagner]

Почему оно так пугает? Вполне вменяемый стандарт.

[oal.livejournal.com]

А почему не сразу distributed vcs типа darcs? заодно и патчи можно будет через емейл, ssh, rsync, whatever качать. И кто какую ревизию сделал видно. Одно но — патчи можно передавать пожатыми, а хранить придется распакованное. Впрочем, это не смертельно.

[potan.livejournal.com]

+1
Я тоже сразу про darcs вспомнил.

[city-rat.livejournal.com]

Проблема не в мирроринге. Проблема в том, что любой человек, засветившийся в такой сети, становится превосходным объектом для юридической атаки. Приходим, изымаем винт, находим подкопирайтные материалы, находим p2p-раздавалку - заводим уголовное дело.

Понятно, что сети это не вредит никак, а вот ее участнику - очень даже. Я, пожалуй, не буду принимать участие.

[prool.livejournal.com]

Значит, софт должен быть шифрованным, как сеть GNUnet

Хранение файловой базы на винте - шифрованное, траффик между системами - шифрованный. Тогда максимум, что смогут найти у тебя на винте, это непонятные шифрованные файлы.

Стандартное возражение, а сели тебе всунут в жопу паяльник, не катит в принципе.Если у тебя в жопе паяльник, то это означает, что наличие или отсутствие файлов на винте никакой роли уже не играет. С паяльником в жопе легко признаться в убийстве Кеннеди, в похищении трубки Сталина, в покушении на Путина, в производстве наркотиков и т.п.

* * *

У меня вообще есть парадоксальная мысль. Если всё равно могут прийти и трахнуть (за нелицензионный Линукс, за опечатку в налоговой накладной, за написание нелицензионного софта), то вообще не имеет смысла прятаться, шифроваться, покупать Винды, не воровать, быть честным и легальным. Всё равно засудят. Нужно или смириться в тем, что жизнь смертельна или искать нетехнических способов защиты (эмигрировать, повеситься, найти себе сильную крышу, переквалифицироваться в управдомы или бомжи и т.п.)

сеть? давайте делать Систему Распространения книг

[neo-der-tall.livejournal.com]

Если уж что-то делать, то стоит добавить в это ПО систему передачи вознаграждения авторам (http://schegloff.livejournal.com/139438.html). Понятно что в виде модулей и т.п. и т.д. А за одно уж и возможность Авторам общаться с читателями. Ну и рейтинги и тех и других многофакторные. И... Вуа-ля! Специализированный распределенный блог с расширяемой функциональностью.

Тремя руками за! Готов даже пожертвовать на создание такой системы значительную (относительно понятно) сумму.

Re: сеть? давайте делать Систему Распространения книг

[vitus_wagner]

Категорически неверный у вас подход - делать сразу большую и всеобъемлющую систему. Делать надо поэтапно. Сначала решать те задачи, которые стоят наиболее остро, а потом подумывать и о чем-то следующем.
Потом библиотека это ни разу не блог. И большинство авторов давно покойные и в вознаграждении увы, не нуждаются.

Пиринг как новый вариант сетевой библиотеки

[gegmopo4.livejournal.com]

На форуме идёт серьёзное обсуждение (http://www.fictionbook.org/forum/viewtopic.php?t=4330) этой проблемы. Советую принять участие или по крайней мере почитать.

Re: Пиринг как новый вариант сетевой библиотеки

[vitus_wagner]

У них несколько другой подход - ближе к классическим p2p. Я исхожу из того, что книги в формате fb2 занимают достаточно мало места, чтобы каждый участник сети мог хранить у себя ВСЁ, что наданный момент существует в сети. Т.е. вместо задачи поиска текста в сети решаю задачу актуализации локального хранилища.

Gopher или новое - хорошо забытое старое?

[incognitus7.livejournal.com]

А ведь был и даже, в принципе, есть такой протокол как Gopher - доработать его только в плане распределённого хранения. Как идея?

Re: Gopher или новое - хорошо забытое старое?

[vitus_wagner]

Гофер - это совсем из другой области. Gopher - предшественник современных порталов - страниц со ссылками на ресурсы. Archie - предшественник современных поисковых систем. И то и другое - про ресурсы, которые где-то.
Я сейчас рассматриваю другую задачу - предположим, что у каждого есть локальная копия библиотеки. Но в этой библиотеке регулярно находятся и исправляются опечатки, появляются новые поступления и так далее. Хочется сделать, чтобы эти улучшения распространялись по всем локальным копиям.

Проблема больше похожа на задачу дистрибуции security updates к софту, чем на поиск информации в интернете.

Разница в том, что у софта есть мейнтейнер, который утверждает изменения, и для каждой софтины (а то и для всего дистрибутива) есть централизованная точка, откуда исправленная версия начинает распространяться. В ситуации с библиотеками хотелось бы этого избежать.

В некоторых случаях мейнтейнером может выступать автор. Вспомним высказывание Дивова на приснопамятном круглом столе - что его больше всего раздражает, что выложили кривой скан его книги, а его не уведомили об этом и не предложили выдать более правильный текст. Но только в некоторых. Могут быть авторы, которые не хотят чтобы полные копии их текстов циркулировали в сети. А лично я считаю, что права отозвать единожды опубликованную информацию у автора не должно быть. Слово не воробей - вылетит не поймаешь.

[cactusinside.livejournal.com]

Ваша идея для умного расшаривания книг. Не плохо было бы еще иметь p2p сеть для поиска по книгам (не по худ.литу, а по разным техническим изданиям, научным статьям). Различные p2p поиски по Интернету уже есть, осталось только сузить немного задачу и поменять индексатор.