Про жж-шный поиск.

[vitus_wagner]

Пришел к выводу что яндексовский поиск совсем нихрена не ловит мышей в ЖЖ.
Когда мне потребовалось найти собственный пост 2005 года, ни оно, ни тот якобы поиск, который в шапке ЖЖ (а на самом деле там ссылка на гугль) не смогло мне его найти.

Пришлось искать банальным grep-ом по сохраненной копии ЖЖ. В связи с этим я решил, что надо бы эту самую сохраненную копию поддерживать в более актуалльном состоянии.

Прикрутить что-ли ее обновление по крону и xapian-овский индекс к ней приделать?

Одно плохо - эта копия у меня делается довольно старой версией ljsm, которая в разворачивании тредов полагалась на внешний сервис, а тот сервис давно умер.

В результате комментарии сбэкпалены далеко не все. Ну не то, чтобы я очень по этому поводу переживал, но интересно есть ли решения лучше.

Задача - создать копию ЖЖ на своем локальном диске, чтобы было возможно больше информации (включая комментарии, вставленные со сторонних сайтов изображения и т.д) и чтобы всё это можно было смотреть браузером как статический сайт.

Comments

[morthan2006.livejournal.com]

В результате комментарии сбэкпалены далеко не все. Ну не то, чтобы я очень по этому поводу переживал, но интересно есть ли решения лучше.

А кроме комментариев прочее бэкапится? Когда я в прошлом году решил проверить свои ljsm-овские архивы, то выяснил, что ЖЖ, похоже, как-то сменил формат. И в результате то, что сбэкапил ljsm, непригодно к использованию.

[vitus_wagner]

Сегодня - сбэкапилось. Правда как-то странно.
С первого раза нормально сбэкапился 2015 год, а 2014 и 2013 создались файлы нулевой длины. Со второго - сбэкапились все.

Формат страницы они, правда, поменяли, так что пришлось немного править скрипт, чтобы он прописывал в индекс заголовки постов. Там было что-то штуки три варианта регекспа для этой цели, ни один не работал. Пришлось 4-й добавить.

[pouce.livejournal.com]

А не могли бы вы подробней объяснить насчёт правленного скрипта для получайника?

[vitus_wagner]

Находим функцию process_html_file

Видим там кучу строчкек вида

$title = $1 if ...

Добавляем к ним еще одну:

$title = "<i>$1</i>" if ($line =~ m#<title>\w+: (.*?)</title>#);

[pouce.livejournal.com]

спасибо большое. Буду пробовать.

[slobin.livejournal.com]

// 2014 и 2013 создались файлы нулевой длины.

Вроде бы там влезла бага с обработкой тега hr (всё-таки ларри сумасшедший с его операций ... со встроенным триггером). Я в августе прошлого года напоролся, в итоге просто закомментировал нафиг вот этот абзац, и всё заработало:

# skip navigation bar
if ($in_navbar && ($n = /<HR ?\/?>/i ... /<HR ?\/?>/i)) {
    $in_navbar = 0 if ($n =~ /E0/);
    next;
}

И мне КАЗАЛОСЬ, что комментарии он все сохраняет, но не в виде html, а в виде каких-то json-овских структур для последующего разворачивания джаваскриптом. Но тут я мог не приметить слона, на эти мои слова лучше не рассчитывать. Ща пойду сбекаплю мартовский кусок (я ЖЖ бекаплю более-менее раз в месяц), заодно освежу в голове, что там и как.

... Бессмысленно и беспощадно! ...

[vitus_wagner]

По-моему, если и сохраняет, то это не он, а ЖЖ так выдает.

[slobin.livejournal.com]

Ага, посмотрел сейчас. Выдаются в таком виде (и соответственно сохраняются) только те комментарии, которые видны сразу без разворачивания. То есть, у меня НЕТ бекапа комментариев за последние годы. :-( Проблему осознал, решение думаю.

На всякий случай повторюсь про пустые посты, а то я как-то непонятно написал: ljsm.pl пытался выкусывать полоску навигации, определяя её по двум hr, и используя для этого гениальную операцию ... со встроенным в неё флагом. В результате, встретив случайно ОДНУ (для зануд -- нечётное количество) hr, он начинал выкусывать вообще всё. Разбираться содержательно я не стал, просто оторвал всю эту логику нафиг, заработало для меня нормально. Мой экземпляр ljsm.pl с мелкими правками лежит здесь.

Раз уж речь зашла про ЖЖ, немного оффтопика: я тут в процессе ремонта после очередных улучшений от СУПа (хотя не могу даже сказать, что они как-то особенно виноваты: реклама, конечно, зло, но поддерживать корректную работу всех стилей со сторонним выкусывальшиком рекламы они всё-таки не обязаны; в общем, проще оказалось сменить стиль, что я и сделал)... в общем, в этом процессе я вспомнил, что один из интересов, который разделяем строго мы с тобой и никто больше, написан с точки зрения английского языка просто неверно. Ну то есть я давно это в принципе знал, но всё не было повода почесаться. "Computational aesthetic" неправильно, потому что существительное "эстетика" будет "aesthetics" (используется как единственное число), а "aesthetic" -- это прилагательное. В общем, я у себя исправил (добавил "s"), предлагаю тебе тоже. В эстетических целях. :-)

... Проблемы шерифа негров не волнуют ...

[vitus_wagner]

Интересно, как эта история с hr объясняет то, что просто повторный запуск проблему полечил?

Я был склонен списать это на глюк ЖЖ, которые последнее время регулярны.