Проблема 404

[vitus_wagner]

Вот тут jolaf расстраивается по поводу исчезновения полезной информации из интернета.

Вообще-то чеширнет исходно задумывался и для борьбы и с этой проблемой тоже. Если информация копируется с узла на узел, то кто-нибудь, всегда будет отводить для хранения истории по определенной теме больше ресурсов чем другие. Средства запросов на поиск информации на других узлах в протоколе предусмотрены.

Осталось только взять и написать. К сожалению, как раз до этого руки хронически не доходят.
Хорошо хоть всю криптографическую базу недавно доделал. Но тестов на модуль identity (единстыенный из написанных) так и не написал пока.

Comments

[angry-elf.livejournal.com]

Ещё вот пример, что б далеко за ними не ходить - данная страница.
Содержимое её отличается от активности внутри, при этом урл не меняется, даже хэштэг не дописывается. По кнопке expand содержимое страницы меняется. Если сторонний сервис сохранит по урлу - 90% комментариев видно не будет.

Так что только скриншоты. Скриншоты же разные по контенту должны сохраняться, вдруг они разные части страницы показывают?

А не скриншоты - только для заведомо отпарсенных parseable (как это по русски?) сущностей. Например, для ютубовских видео (и то, когда комментарии там не нужны).

[zaharchenko]

Вот я о том же, что урл это далеко не первичный ключ, наверно всё таки правильнее всего его рассматривать как первичный ключ какого множества схожих "страниц", а внутри уже хранить все страницы с датой среди которых уже только руками находить подходящую для каждого конкретного случая.

А как, а тем более как эффективно, хранить это уже другой совмем вопрос.

[angry-elf.livejournal.com]

Есть ещё проблема, когда тыщи (миллионы?) разных урлов ссылаются на идентичный (вплоть до баннеров) контент.

[zaharchenko]

Ну эта другая проблема, она кстати на всяком бинарном да css/jsном может выплыть, тут не надо лукавить, и при физическом хранение адресовать уже по хешам.