p2p сеть для книгообмена.

[vitus_wagner]

Я тут подумал, что требования к peer-to-peer протоколу для работы с электронными книгами сильно отличаются от требований к протоколу для разадчи multimedia, под которые заточены всякие ed2k и bittorrent.

Если музыка и фильмы это, как правило, немного больших файлов, и возможность распределения нагрузки по раздаче является существенной, то электронная библиотека - это много-много (десятки тысяяч) относительно маленьких файлов.
Причем начиная с того момента, как у человека образовалась эта библиотека, дальнейшиф траффик очень маленький - новинки, исправления опечаток и т.д.

С другой стороны, мультимедиа-файлы обычно редактированию конечным пользователем не поддаются. А вот опечатки в электронной книге может исправлять любой.

Соответвтвенно, для синхронизации изменений в электронных библиотеках (если предположить что на начальный момент участия в p2p сети каждый участник обзавелся копией библиотеки на момент вступления, например выкачав ежегодный снапшот из традиционных p2p),
гораздо больше подходят такие средства как rsync и unison.

Эти средства позволяют поддерживать в консистентном состоянии сколько угодно мирроров одной и той же коллекции книг с минимальным количеством траффика. При этом если любой пользователь исправит опечатку, это исправление расползется по всем хостам сети.

Кстати, если кому-то жалко места на диске, он вполне может синхронизировать у себя не всю библиотеку, а определенные жанры или определенных авторов. Для этого нужна только соответствующая структура каталогов.

Злесь, правда, есть такая тонкость, что необходима какая-то система учета доверия к пользователям. А то в сети заведутся обязательно гады, которые будут книги портить. Впрочем, формат FB2 легко защищается электронной подписью на базе xmldsig. При этом файл подписи можно положить рядом, чтобы не мешал читалкам. Тогда если при синхронизации приехали изменения к существующему файлу, можно посмотреть, кто под ними подписался, и, в зависимости от этого, либо сразу включить в основной архив, или оставить до ревизии владельцем данной копии, который, может быть, потом и своей подписью под этими изменениями подпишется. Новые книги, ранее в библиотеке отсутствовавшие, можно принимать и без подписи.

Comments

[kzn.livejournal.com]

Но насколько я понимаю, это относится к книгам в текстовом виде.
Всякие pdf/djvu/chm больше похожи на multimedia

[stefashka.livejournal.com]

В Фидо в своё время было такое - файлэхи :-)

[drumrock.livejournal.com]

Книгообменная Википедия. :-)

[phd_ru]

> При этом если любой пользователь исправит опечатку, это исправление расползется по всем хостам

При этом, если 2 пользователя одновременно исправят 2 опечатки в одном файле - rsync изменения одного из них убьёт. Нужно интеллектуальное слияние, например, система контроля версий.

[los-t.livejournal.com]

ИМХО распределенная VCS типа git тоже подойдет.

[vadiml.livejournal.com]

От "злокозненных" правок можно подключить, например, svn и ввести пост-модерирование на нескольких основных серверах, если что всегда можно откатится. Но для отслеживания правок все же лучше формам txt -- diff то нормально читаем только для обычного текста.

ЗЫ я вот думаю, что хорошо бы объеденить svn или подобную программу с генератором текстовых файлов из бинарных, чтоб в том же svn хранить бинарные файлы, но получать из него diff'ы в txt -- весьма удобно было бы хранить так в организациях doc, xls (используя Ваш catdoc), odf, ...
Или такое уже есть?

[yarikas.livejournal.com]

Исправление опечаток регулярное, но имеющее небольшую энергоёмкость, явление - достаточно сделать тулзу на основе diff, чтобы конечный потребитель отслеживал изменения и сам принимал решения.
Нечто подобное реализовано в gentoo для конфигфайлов.

[yarikas.livejournal.com]

Из pdf точно текст можно вытащить. А важен именно факт наличия изменения текста и место. Хотя не берусь предсказать, что выдаст pdftotext для изменённого файла.

[aceler.livejournal.com]

+1

И репозитарии для управления всем этим.

[nasse.livejournal.com]

Полуручную работу никто делать не будет.

[nasse.livejournal.com]

Осмысленный xml?

[blacklion.livejournal.com]

xmldsig
Ыыыыыы. Не надо!

[kzn.livejournal.com]

Я еще не совсем корректно выразился - дело не только в текстовом виде, но и в содержании -- все это подходит для художественной литературы.

Из pdf можно выдернуть текст, но можно ли его будет безболезненно вставить обратно?

[oal.livejournal.com]

А почему не сразу distributed vcs типа darcs? заодно и патчи можно будет через емейл, ssh, rsync, whatever качать. И кто какую ревизию сделал видно. Одно но — патчи можно передавать пожатыми, а хранить придется распакованное. Впрочем, это не смертельно.

[city-rat.livejournal.com]

Проблема не в мирроринге. Проблема в том, что любой человек, засветившийся в такой сети, становится превосходным объектом для юридической атаки. Приходим, изымаем винт, находим подкопирайтные материалы, находим p2p-раздавалку - заводим уголовное дело.

Понятно, что сети это не вредит никак, а вот ее участнику - очень даже. Я, пожалуй, не буду принимать участие.

[potan.livejournal.com]

+1
Я тоже сразу про darcs вспомнил.

[prool.livejournal.com]

Значит, софт должен быть шифрованным, как сеть GNUnet

Хранение файловой базы на винте - шифрованное, траффик между системами - шифрованный. Тогда максимум, что смогут найти у тебя на винте, это непонятные шифрованные файлы.

Стандартное возражение, а сели тебе всунут в жопу паяльник, не катит в принципе.Если у тебя в жопе паяльник, то это означает, что наличие или отсутствие файлов на винте никакой роли уже не играет. С паяльником в жопе легко признаться в убийстве Кеннеди, в похищении трубки Сталина, в покушении на Путина, в производстве наркотиков и т.п.

* * *

У меня вообще есть парадоксальная мысль. Если всё равно могут прийти и трахнуть (за нелицензионный Линукс, за опечатку в налоговой накладной, за написание нелицензионного софта), то вообще не имеет смысла прятаться, шифроваться, покупать Винды, не воровать, быть честным и легальным. Всё равно засудят. Нужно или смириться в тем, что жизнь смертельна или искать нетехнических способов защиты (эмигрировать, повеситься, найти себе сильную крышу, переквалифицироваться в управдомы или бомжи и т.п.)

[vitus_wagner]

В svn - точно есть возможность подключать для определенных mime-типов внешние плагины для diff.

А вот насчет выделения "нескольких основных серверов" я решительно против. Каждый читатель (владелец библиотеки) должен решать сам за себя. Если он какому другому читателю доверяет, так это лично он лично ему доверяет.

[vitus_wagner]

Формат рассматривается только fb2. Никакие другие форматы в данный момент не интересны. Если, конечно, в будущем появится аналог fb2, но пригодный для научной или научно-популярной литературы (поддержка таблиц, векторной графики и т.д.) тогда другое дело.
А специфические аналоги diff для xml существуют.

[vitus_wagner]

Какие нафиг подкопирайтные материалы? Литература слава богу, существует 2000 лет. За это время столько всего хорошего успели понаписать, на что копирайт уже не распространяется. А еще есть уйма писателей, которые совершенно не против некоммерческого распространения своих текстов.

[city-rat.livejournal.com]

На паяльник - плевать. Незаконные методы мы не рассматриваем.

С шифрованием-то все понятно, причем в идеале ты в принципе не должен иметь прямого доступа к свое шифрованной базе. В какой-то p2p сетке это уже было реализовано, не помню точно. Тогда и паяльник не страшен.

Просто у Витуса_Вагнера об этом не полслова. Он сконцентрирован на технических угрозах, причем угрозах для абстрактного сообщества, а не на социальных угрозах для персоны.

* * *

Парадоксальная мысль не столь уж парадоксальна и в какой-то степени верна. Надо понимать, что жизнь - опасна. И надо предпринимать разумные усилия по минимизации опасностей с _сохранением целевых функций_. В некоторых условиях такими разумными усилиями может оказаться переквалифицирование в управдомы, да. Смотря какие у тебя цели.

[kastaneda]

+1
Первым делом про них и вспомнил. Вторым делом подумал, что на практике и для централизованых (вроде CVS) репозитариев своя ниша найдётся — в разных странах разное законодательство.

[yarikas.livejournal.com]

Наверное, я тоже не до конца понят. PDF можно открыть тем же Acrobat и, отредактировав, сохранить обратно.

pdftotext'ом можно вытащить текст обоих документов и сравнить. Не уверен, правда, что без граблей обойдётся.
diff покажет место исправления - можно решить, справедливо ли оно. Оставить тот pdf, что больше нравится.

[dottedmag.livejournal.com]

+1, только не git, а кто-нибудь из похожих, кто умеет поддеревья из репозитория тянуть.

[dottedmag.livejournal.com]

pdf/djvu нужно сначала прогнать через reCaptcha, а chm - это html, только упакованный.