Проблема 404

[vitus_wagner]

Вот тут jolaf расстраивается по поводу исчезновения полезной информации из интернета.

Вообще-то чеширнет исходно задумывался и для борьбы и с этой проблемой тоже. Если информация копируется с узла на узел, то кто-нибудь, всегда будет отводить для хранения истории по определенной теме больше ресурсов чем другие. Средства запросов на поиск информации на других узлах в протоколе предусмотрены.

Осталось только взять и написать. К сожалению, как раз до этого руки хронически не доходят.
Хорошо хоть всю криптографическую базу недавно доделал. Но тестов на модуль identity (единстыенный из написанных) так и не написал пока.

Comments

[qkowlew.livejournal.com]

паллиатив - web.archive.org ;-)

[jolaf.livejournal.com]

Да, но он работает хреново. Нужно бы сделать такой же, только свой, поэтому более дотошный. Как вариант, взять его движок, если он открытый, и поднять на своём хостинге, настроив работать только с сайтами из заданного списка.

[qkowlew.livejournal.com]

Ты ОЧЕНЬ плохо представляешь себе, похоже, ПОЧЕМУ он "работает хреново". :)

[jolaf.livejournal.com]

Да, я вообще не понимаю, почему он работает хреново.

Заметь, меня устраивает, что он скачивает некоторые страницы криво. Но почему когда на странице есть 5 ссылок, он сохранил только три из них? Я вижу только один логичный ответ - он сравнил рейтинги этих ссылок и скачал только популярные, потому что скачивать и хранить всё у него не хватит ни канала, ни хранилища.

То есть, я вообще не рассматриваю ситуации, когда архивер не справляется со сложным, интерактивным и т. п. сайтом. Но меня огорчает, когда вполне понятный роботу сайт скачивается не целиком, или очень редко, или без половины картинок.

[anonim-legion.livejournal.com]

Потому что у них денег нет?

[vitus_wagner]

Потому что хотят объять необъятное. Весь веб - это очень много. Если заречься на какое-то небольшое множество сайтов (только ролевые и только русскоязычные) то даже при весьма ограниченных ресурсах можно сделать лучше. Ровно потому что ресурсов на сохраняемую страницу будет приходиться больше.

[vitus_wagner]

Его уже Роскомнадзор забанил.