Проблема 404

[vitus_wagner]

Вот тут jolaf расстраивается по поводу исчезновения полезной информации из интернета.

Вообще-то чеширнет исходно задумывался и для борьбы и с этой проблемой тоже. Если информация копируется с узла на узел, то кто-нибудь, всегда будет отводить для хранения истории по определенной теме больше ресурсов чем другие. Средства запросов на поиск информации на других узлах в протоколе предусмотрены.

Осталось только взять и написать. К сожалению, как раз до этого руки хронически не доходят.
Хорошо хоть всю криптографическую базу недавно доделал. Но тестов на модуль identity (единстыенный из написанных) так и не написал пока.

Comments

[z-kir.livejournal.com]

Психологическая проблема в данном случае есть следствие неспособности осознать техническую. Любой человек может утратить интерес к некой теме или умереть. Но это не должно приводить к необратимой потере данных. Например Пушкин и Гигакс умерли, но их творчество доступно в сети.

vitus и inkelyad очень правильно пишут. В идеальном интернете сам базовый протокол должен обеспечивать, что если я получил с некого узла некий материал, то
а) тем самым создана еще одна копия, к которой остальные участники сети могут обратится.
б) я могу пользоваться этим материалом, при этом от меня не требуется специальных познаний в области сайтостроительства (не требуется знать, как разворачивать сайт на медиавики из бэкапа).

[jolaf.livejournal.com]

Звучит очень круто!

[qkowlew.livejournal.com]

паллиатив - web.archive.org ;-)

[jolaf.livejournal.com]

Да, но он работает хреново. Нужно бы сделать такой же, только свой, поэтому более дотошный. Как вариант, взять его движок, если он открытый, и поднять на своём хостинге, настроив работать только с сайтами из заданного списка.

[qkowlew.livejournal.com]

Ты ОЧЕНЬ плохо представляешь себе, похоже, ПОЧЕМУ он "работает хреново". :)

[jolaf.livejournal.com]

Да, я вообще не понимаю, почему он работает хреново.

Заметь, меня устраивает, что он скачивает некоторые страницы криво. Но почему когда на странице есть 5 ссылок, он сохранил только три из них? Я вижу только один логичный ответ - он сравнил рейтинги этих ссылок и скачал только популярные, потому что скачивать и хранить всё у него не хватит ни канала, ни хранилища.

То есть, я вообще не рассматриваю ситуации, когда архивер не справляется со сложным, интерактивным и т. п. сайтом. Но меня огорчает, когда вполне понятный роботу сайт скачивается не целиком, или очень редко, или без половины картинок.

[anonim-legion.livejournal.com]

Потому что у них денег нет?

[vitus_wagner]

Потому что хотят объять необъятное. Весь веб - это очень много. Если заречься на какое-то небольшое множество сайтов (только ролевые и только русскоязычные) то даже при весьма ограниченных ресурсах можно сделать лучше. Ровно потому что ресурсов на сохраняемую страницу будет приходиться больше.

[vitus_wagner]

Его уже Роскомнадзор забанил.

[shadowfoto.livejournal.com]

вот пункт а) вызывает глобальную проблему - у нас сейчас было бы 2 с хреном МИЛЛИАРДА копий того же gangnam style с ютуба и дикие хреналионы копий порнороликов.

юзер десктопа может воткнуть еще один диск. а что делать ноутбучникам?

при этом делить данные по типам тоже не вариант - лет через 50 те же ролики понадобятся исследователям поп-культуры и порноискусства начала 21 века.

[vitus_wagner]

Ну каждый будет выбирать для себя - эта информация вот лично мне интересна, ее я буду хранить вечно. А этой - поставлю expiration time 3 дня - если за три дня не прочитаю, то и хрен бы с ней.

Делить надо, естественно, не по типам, а по темам.