А если вот так?

[vitus_wagner]

Идея возрождения Чеширнета у читателей энтузиазма не вызвала. Ну не верят люди в то, что IP-connectivity иожет если и не исчезнуть, то стать слишком опасным медиумом для свободного обмена информацией.

Ладно, допустим. Тогда как вам такой проект - порвем большой ЖЖ на миллион маленьких журнальчиков.

Т.е. делается продукт, который обеспечивает следующее

• Ведение блога
  
• Комментирование (с авторизацией на базе OpenID с меньшим числом кликов, чем сейчас в ЖЖ)
  
• OpenID-сервер
  
• Аналог френдленты ЖЖ и Reading Page DW - RSS-агрегатор тоже с облегченным интерфейсом добавления туда ресурсов, поддерживающий доступ к подзамкам в DW и ЖЖ. Подразумевается наличие открытой френдленты из неподзамочных постов и требующей аутентификации (если у пользователя есть фиды, дял которых сконфигурирован аутентифицированный доступ).
  
• Предполагается поддержка несколькоих блогов на одном сервере (в смысле на одной файловой системе. Будет у них один IP, один домен или как - up to user). Отсутствия тормозов при числе блогов на одной виртуалке больше нескольких десятков - не обещаем. Колея эта только моя, выбирайтесь своей колеей.
  
• Естественно, rss и atom feed-ы постов для желающих втянуть к себе в ленту (в том числе и на такой же платформе).
  
• Поддержка кроспоста в ЖЖ и DW,
  
• Поддержка втаскивания файлов созданных ljdump. Т.е. можно заимпортировать журналы из ЖЖ и DW вместе с комментариями, и возможно, регулярно дотягивать комментарии из кросспостов.
  
• Поддержка втаскивания юзерпиков из жж/dw и gravatar/libravatar ежели openid комментирующего не ЖЖ-шный.
  
• Страница профайла со списком как минимум тех, кого человек включил в свою ленту.
  

Все это делается максимально портабельным и заточенным на устнановку на любой shared hosting или VPS, да даже и на домашную машину, если у нее есть достижимый извне IP.

• Не требуется клиент-серверных баз данных. Информация складывается на файловую систему
  
• сколько-нибудь заметная нагрузка на процессор только в момент обработки постингов и комментариев. А просмотры (которых обычно на несколько порядков больше) обслуживаются отдачей статических файлов. C фронтэнда, если он в данной конфигурации предусмотрен. А предусмотрен он будет, если данный блогодвижок не единственный ресурс на данном сервере, и этим другим нужен фронтэнд.
  
• Установка как self-contained (в виде virtualenv на большинстве систем), так и с максимальным задействованием пакетных менеджеров нижележащей ОС (для параноиков-сисадминов вроде меня).
  

Чего я точно не буду делать, но если кто законтрибьютит, то включу в репозиторий и дистрибутив:

• oAuth аутентифмкация для пользователей фейсбука и им подобных. Там даже для получения описания API требуется быть юзером фейсбука, а уж для подключения своего сайта - тем более.
  
• Механизм интересов с распределенным поиском по ним (мне абсолютно не понятно, ни зачем, ни как)
  
• Поддержка FOAF, (лично мне непонятно - зачем оно надо и какой софт его будет читать. Но если людям хочется, то пусть пишут).
  
• Поддержка OPML (кажется куда более осмыслвенной фичей, чем FOAF, но не настолько чтобы писать в первоочередной список)
  

Что может добавиться в перспективе

• Поддержка распределенного комментирования - для начала экспериментов требуется минимум два работающих сайта на этом движке. Ну либо желание авторов какого-то другого движка поэкспериментировать. Но лучше начинать с обеспечения работоспособности одной реализации, а потом уже подключать другие
  
• Автоматическое кэширование картинок, вставлеенных в посты через <img src="внешняя url". Чтобы при пропадании картинки с исходного сайта она не пропадала из блога.
  
• Сохранение копий комментариев, оставленных автором блога в других блогах. Чтобы не пропало, если тот блог выпилился.ъ
  
• Поддержка ЖЖ-подобного API для бэкапа журнала
  
• Поддеркжа ЖЖ-подобного АPI для кросспостов, а то и всяких semagic-ов
  

Вот в таком проекте кто-то поучастовать соберется?

Comments

[knowyouare]

Тут пожалуй прогеры нужны, а я любые движения в сторону распределенных непотопляемых сетей поддерживаю.

[vitus_wagner]

С непотопляемостью тут довольно сложно. То есть к непотопляемости нужно будет идти долго и постепенно. А на начальном этапе индивидуальные блоги, размещенные на маленьких слабеньких виртуалках будут более уязвимы к DDoS, чем крупные сайты вроде DW и ЖЖ. Правда, я сразу закладываю в архитектуру устойчивость к множественным запросам на чтение. То есть, скорее всего упоминание в блоге, попавшем в топ ЖЖ или даже на слэшдоте данная конструкция будет держать с самого начала.

[tyrex]

а это попросту не нужно. всё, кроме комментирования, так или иначе где-то есть. а вот поддержания связности комьюнити на гетерогенной площадке пока так никто и не сделал.

[vitus_wagner]

Тут основной смысл в том, чтобы это было не "где-то", а на полностью контролируемой хозяином блога или лично ему знакомым человеком машине.

Да еще чтобы задача "поднять копию на другой машине" была близкой к тривиальной.

[link0ff]

Как раз с комментированием нет проблем - достаточно подключить Discourse/Disqus. А вот со связностью действительно проблемы - авторы ЖЖ пытались развивать FOAF, но идею забросили.

[vera_croose]

Зачем только ЖЖ, порвем весь Интернет, ага! :)
И будем дружить семьями и ходить друг к другу в гости.
По утрам :)

[vitus_wagner]

Это как раз была основная идея чеширнета. Ходить друг к другу в гости со смартфонами и ноутбуками, чтобы они, пока пьется чай, синхронизировали новостные спулы.

[allter]

А с помощью https://github.com/dreamwidth/ этого (пунктов из первого списка, как минимум) нельзя достичь?

Предложение интересное, но если в итоге никто, кроме разработчиков не захочет этим пользоваться (держать у себя дома и вывешивать в интернет через какой-нибудь VPS), то неохота время тратить.

[vitus_wagner]

Нельзя. Разница примерно как между садовой тачкой и большегрузным самосвалом.
DW (как и исходная codebase ЖЖ) это сайт, рассчитанный на миллионы пользователей.
Ему нужен целый датацентр с кластером серверов БД, пулом бэкэндов и фронтэндов.

Тяжеловато для индивидуального блогохостинга будет.

Плюс к этому там уже на момент форка DW от ЖЖ такие исторические напластования в коде были...

В общем, по данному ТЗ написать с нуля проще, чем разбираться в коде DW.

[alll]

Я вполне вероятно соберусь, хотя конечно стоит уточнить требования к участникам проекта. Ну там язык, платформа, прочие технологии, интенсивность участия.

[vitus_wagner]

Упомянутое в посте слово virtualenv не говорит о ничего о языке?

Что касается платформы, то возможны варианты. На самом деле и с языком возможны варианты, хотя по-моему сейчас альтернативы питону с точки зрения легкости вхождения разработчиков в проект нет. Ну то есть разве что php но ее я не рассматриваю по той причине что wordpress уже есть. И поэтому мне нужно решение, которое устроит php-хейтеров.

Для платформы пока рассматриваются tornado и Flask. Flask удобен тем, что он не привязан к собственному веб-серверу, и может устанавливаться как WSGI или FCGI в паре с nginx или apache. А может и с собственным веб-сервером. Впрочем если мне аргументировано докажут преимущества pyramid или еще чего-нибудь я с интересом выслушаю.

Требование номер раз - чтобы оно не было завязано на ОРМ и реляционные базы вообще (поэтому не django). Требование номер 2 - наличие готовой реализации openid. Ибо протокол замороченный и самому прикручивать туда низкоуровневый python-openid лень.

[ramendik]

Вопрос - а чем это лучше self-hosted Wordpress для обычного юзера, который не имеет определённых взглядов на вопрос СУБД?

Ну и ты, кажется, в своём репертуаре. Раньше было "ненавижу либертарианцев - root@libertarium.ru" , а теперь "не используйте СУБД - vitus@postgrespro.ru" ?

[vitus_wagner]

Это лучше тем что может быть установлено на хостинг, закупленный для другой цели. Или вообще не на хостинг.
Кроме того, бэкапить удобнее.

Опять же, настроить вордпресс для того, чтобы он реализовывал всю описанную функциональность, нужно довольно много повозиться. Вордпресс это большой и универсальный конструктор. А в том, что ты можешь реализовать все это на хостинге где вордпресс предоставляет хостер, я вообще не уверен.

Впрочем если ты сделаешь и опубликуешь хаутушку как в вордпрессе сделать то, что народ ожидает от ЖЖ-подобного блога, т.е. древовидные комментарии, френдленту с удобным интерфейсом добавления rss, подзамочные записи и доступ к подзамочным записям аналогично настроенных блогов через френдленту, это будет здорово.

Вообще у меня тэглайн "База данных - не единственный способ организовать дурацкий поиск" существует уже больше 20 лет.

[ramendik]

Да, ещё одно - а как в это предполагается выкладывать информацию для ограниченного круга людей? Или никак?

[gena_t]

Так товарищ vitus-wagner же специалист по шифрованию, наверняка можно что-нибудь придумать.

[yurikhan]

Я заинтересован в таком движке (тёплый, но не LAMP’овый, self-hosted блог-движок на немного авторов, с лёгким комментированием через OpenID).

Умею Python, Flask, nginx, могу вычитывать тексты на английском. HTML5/CSS/JS — на уровне «достаточно, чтобы быть опасным».

[rinnve.livejournal.com]

Посмотрите вот это: https://staltz.com/an-off-grid-social-network.html

(Я случайно наткнулся буквально вчера, ещё не успел потрогать, но по описанию похоже на вашу идею.)

[vitus_wagner]

Да, чем-то похоже. Но задачу распространять копии флибусты и википедии они там не ставят. Зато, правда ставят задачу работы с git.

[dervish]

Почему не делать это сразу на блокчейне?
Англоязычный оригинал: steemit[dot]com
Рускаязычная франшиза: golos[dot]io

[vitus_wagner]

А смысл? ЖЖ и DW никаких блокчейнов не умеют.

А ставится задача - обеспечить максимальную связность с тем сообществом пользователей, которое с этих площадок не уйдет.

Поэтому все, кроме распределенного комментирования должно быть таким, чтобы им мог пользоваться пользователь ЖЖ, либо (если оно предназначено для пользования самим владельцем обсуждаемого движка) чтобы оно могло быть применено к журналу в ЖЖ.

[burbilog]

Как большинство людей не готовы платить за платный аккаунт, так большинство не будет платить за хостинг. Который надо еще искать. Я уж не говорю о том, что разобраться с хостингом в минимальном варианте уже за пределами соображалки среднего некомпьютерщика.

У меня была в свое время идея ЖЖ-подобного сервера, поднимаемого в один клик на собственой машине, но работающего через тор/i2p/своя некая p2p сеть, неважно. Запускается при старте, минимизируется у юзера в инконку и все. Полная неблокируемость и распределенность.

Но здесь другая ключевая проблема -- большинство юзеров не готово постоянно держать комп включенным. Увы. Если для тех же торрентов это некритично, то для вебсервера не годится. Плюс ко всему движок тогда придется писать без яваскрипта, а это значит ни один существующий фреймворк не взять, придется все делать с нуля.

[vitus_wagner]

Не понял, в чем проблема с яваскриптом, который все равно выполняется у пользователя в браузере.

Большинство людей в блоги и не пишут. Блоги - для меньшинства, для тех, у кого есть чем поделиться с миром.

[vladimir000]

Мне интересно. Я сейчас в месте с плохой связью, в нормальную сеть вернусь через неделю, тогда и смогу лучше понять в каком качестве смогу реально помочь. Так что просьба держать в курсе.

[perplexed-bear.livejournal.com]

Хм. Что-то мне видится тут расширенный, но старый добрый NNTP...

[vitus_wagner]

Это у вас глюки.

[cats-shadow.cats-home.net]

На binoniq похожее работает ((и ленту собирать умеет с себеподобных). Но LAMP.

[cats-shadow.cats-home.net]

P.S. могу быть подопытным котом :)

Я уже давно говорил - вы как-то не поддержали

[greenkrokodilla]

..
я уже сто лет как вам говорил (в ЖЖ), но
вы не поддержали.

Вся функциональность уже давно (для такого
проекта) профессионально написана

И распространяется как ОДИН небольшой файл,
который компилирован под (почти) любые платформы.
Кинул один файл в новую директорию - и получи
готовый распределенный блог

Это "система контроля версий" FOSSIL,
которую мы просто будем применять для ведения
блогов, а не обмена кодом и синхронизации его.

Все, что требуется дополнительно - некие скрипты,
минимальные, связанные в один псевдо-исполняемый
файл, который одновременно является и интерпретатором
языка этих скриптов (сам интерпретатор тоже где-то
один мегабайт, ничто).

Эти скрипты будут вести список друзей, "обзванивать"
их когда вы прикажете или по часам, обеспечат
распределенное комментирование с синхронизацией по
кругу друзей и т.д. и т.д. и т.д.

ЯДРО СИСТЕМЫ С КРИПТОГРАФИЧЕСКОЙ ПРОВЕРКОЙ неизменности
содержания, с системой authentication, с системой обмена
и синхронизации, с возможностью "вести" сборища тексстовых
(т.е. хтмл, маркап, текст и т.д.) файлов - которые понятно
НЕ НАДО обращать из текстовых файлов-заметок с комментариями
ни в какие идиотические "базы" и т.д. и т.д и т.д. --
ДАВНЫМ_ДАВНО УЖЕ ЕСТЬ.

Это супер-маленький и отличного качества FOSSIL

Re: Я уже давно говорил - вы как-то не поддержали

[vitus_wagner]

Это начиная с какой версии fossil там появилась возможность пусть не комментировать в блоге, пусть issues постить используя OpenID?

В той версии, которую использую почему-то еще комментировать можно все что угодно кроме записей в блоге.

В общем fossil, конечно, штука хорошая но не про то.

Кстати, нагрузку держать не будет, потому что там sqlite внутри.

[toshische.livejournal.com]

Не проще ли допилить https://diasporafoundation.org/ ?

[vitus_wagner]

По-моему Диаспора - это не распределеенный ЖЖ, а распределенный фейсбук, если не распределенный твиттер.

А нам нужен именно ЖЖ. С возможностью публикации больших текстов, их обсуждения, и сохранения всего этого на десятилетия.

[slobin]

// Ну не верят люди в то, что IP-connectivity иожет если и не исчезнуть,

Они не в это не верят. Они не верят в peer-to-peer протоколы для физически рядом расположенных активных устройств. Да ещё и для осуществелния чего-то, результат чего сразу не очевиден (не "скинь вот эту фотку", а "синхронизируй пулы"... а что там, в этих пулах?). То есть, ты хочешь перепрыгнуть пропасть шириной в два широких (то есть, даже один для большинства довольно труден) прыжка. Скажем, можно было бы обсудить peer-to-peer что-нибудь, если бы пользователь сразу знал, что он получает. Или синхронизацию пулов через флоппинет. И то и другое трудно, но решаемо (именно с точки зрения "пойдёт ли народ за нами"). Но вот оба сразу -- вряд ли. Так что новая идея распределённого ЖЖ мне нравится больше. Хотя первая теоретически интереснее.

... До основанья. А затем? ...

Вот!

[phd_ru]

Наконец-то первый разумный анализ всей этой чепухи. Я всё пытался сформулировать, почему не взлетит. Т.е. почему пользователям это не нужно.

[yorool_gui]

Подумал на эту тему и понял, что на самом деле достаточно двух фич:
1. кросспост во все популярные сети
2. вытягивание комментариев к этим кросспостам
Все.
Т.е. человек ведет свой блог, а обсуждения происходят на внешних площадках, там где людям удобно. При этом читать обсуждения можно не уходя с с основного блога.

[vitus_wagner]

Проблема в том, что это не будет обсуждение. Это будет несколько независимых обсуждений.

Когда у меня были активные обсуждения фантастического сеттинга XXIII век я специально убирал текст постов под кат, чтобы прочитать пост можно было только зайдя на страницу с дискуссией. Потому что если там есть о чем дискутировать, то реплики тех, кто уже выскзалася и ответы автора на них, важны не менее, чем сам пост.

А вот реплик из других сетей пытающиеся дискутировать под кросспостом не увидят.

[sizif73]

Если говорить о распределенности, то недавно попалась на глаза новость о mastodon.social. Не знаю, что там с сохранностью контента.

[vitus_wagner]

Они очень самокритично назвали проект. Оно у них уже монстр - требует одновременно двух storage - PostgreSQL и Redis и двух middleware - node.js и Ruby on Rails.

Ну и фокуса на интероперабельность со сторонними сервисами нет. То есть очередная социальная сеть с lock-in-ом внутри сети. Ну не vendor, все свободное. но от этого не легче.

Я-то как раз не хочу делать свою социальную сеть. Я хочу делать инструмент, повышающий связность в существующей блогосфере.

Хотя, конечно надо бы у них почитать как они собираются использовать в качестве oAuth2-провайдеров узлы распределенной сети. Потому что основное, что мне не нравится в oAuth, это необходимость предварительной договоренности между двумя узлами, пользователь одного из которых хочет что-то делать на другом.

NNCP (Node to Node copy)

[phd_ru]

А вот такая штука тебя не заинтересует посмотреть?

http://www.nncpgo.org/Ob-utilitakh.html#g_t_041e_0431-_0443_0442_0438_043b_0438_0442_0430_0445

NNCP (Node to Node copy) это набор утилит упрощающий безопасный обмен файлами и почтой в режиме сохранить-и-переслать.

Эти утилиты предназначены помочь с построением однораговых сетей небольшого размера (дюжины узлов), в режиме друг-к-другу (F2F) со статической маршрутизацией для безопасной надёжной передачи файлов, запросов на передачу файлов и Интернет почты по принципу выстрелил-и-забыл. Все пакеты проверяются на целостность, шифруются по принципу точка-точка, аутентифицируются известными публичными ключами участников. Луковичное (onion) шифрование применяется ко всем ретранслируемым пакетам. Каждый узел выступает одновременно в роли клиента и сервера, может использовать как push, так и poll модель поведения.

Поддержка из коробки offline флоппинета, тайников для сброса информации (dead drop) и компьютеров с воздушным зазором (air-gap). Но также существует и online TCP демон с полнодуплексной возобновляемой передачей данных.

Re: NNCP (Node to Node copy)

[vitus_wagner]

Вот мне в этой идее кажется категорически неправильным что все пакеты шифруются.
Чеширнет нацеливался на репликацию публично доступной информации. Поэтому в большинстве случаев там шифрования не было, и любой пользователь бмог все прочитать.