Про жж-шный поиск.

[vitus_wagner]

Пришел к выводу что яндексовский поиск совсем нихрена не ловит мышей в ЖЖ.
Когда мне потребовалось найти собственный пост 2005 года, ни оно, ни тот якобы поиск, который в шапке ЖЖ (а на самом деле там ссылка на гугль) не смогло мне его найти.

Пришлось искать банальным grep-ом по сохраненной копии ЖЖ. В связи с этим я решил, что надо бы эту самую сохраненную копию поддерживать в более актуалльном состоянии.

Прикрутить что-ли ее обновление по крону и xapian-овский индекс к ней приделать?

Одно плохо - эта копия у меня делается довольно старой версией ljsm, которая в разворачивании тредов полагалась на внешний сервис, а тот сервис давно умер.

В результате комментарии сбэкпалены далеко не все. Ну не то, чтобы я очень по этому поводу переживал, но интересно есть ли решения лучше.

Задача - создать копию ЖЖ на своем локальном диске, чтобы было возможно больше информации (включая комментарии, вставленные со сторонних сайтов изображения и т.д) и чтобы всё это можно было смотреть браузером как статический сайт.

Comments

[justy-tylor.livejournal.com]

Для самих бэкапов с комментариями нашёлся правленый ljArchive с http://www.acidqueen.de/lja/LJa.html

Экспорт по годам в .html и открытие браузером + пересохранение в .maff с картинками я делал вручную. Есть ли возможность автоматизации - надо смотреть.

[vitus_wagner]

Да, конечно ljsm плох тем, что создает один огромный индекс за все годы. Но зато прекрасно сохраняет все картинки (правда. вот не youtube-вские ролики).

Но все-таки задача стоит "раздать как статический сайт нормальнрым веб-сервером". Поэтому .maff это лишнее.

[alll]

Интересный философский вопрос: а искомый пост вообще физически существует в нынешнем жж? А то может статься его давно проэтосамили в угаре улучшений.

[vitus_wagner]

Не, пост на месте.
Комментарии со ссылками они проэтосамливают, да, а посты вроде не пропадали. у меня все ходы записаны.

[dibr.livejournal.com]

У меня как минимум один пост в ЖЖ пропадал. Так что иногда они и посты проэтосамливают.

[gul-kiev.livejournal.com]

По крайней мере, сейчас Яндекс находит (https://blogs.yandex.ru/search.xml?text=vitus-wagner.livejournal.com+%D0%A2%D0%B0%D0%BB%D0%BB%D1%8D+%D0%BE%D1%84%D0%B8%D1%86%D0%B5%D1%80).
Гугл действительно не видит (https://www.google.com.ua/search?q=vitus-wagner.livejournal.com+%D0%A2%D0%B0%D0%BB%D0%BB%D1%8D&ie=utf-8&oe=utf-8&gws_rd=cr&ei=P3whVZa0OsaRsAHiw4CQCg#q=site:vitus-wagner.livejournal.com+%D0%A2%D0%B0%D0%BB%D0%BB%D1%8D+%D0%BE%D1%84%D0%B8%D1%86%D0%B5%D1%80), удивительно.

Хотя, конечно, локальный бэкап блога хочется иметь независимо от того, хорошо ли он проиндексирован поисковиками.

[rednyrg721.livejournal.com]

Это потому что Яндекс комменты в жж индексирует - увидел в теле коммента ссылку на забытый пост и снова его проиндексировал :)

[gena-t.livejournal.com]

А Марьку не ищет.

[gul-kiev.livejournal.com]

У меня ищет (https://blogs.yandex.ru/search.xml?text=vitus-wagner.livejournal.com+%D0%9C%D0%B0%D1%80%D1%8C%D0%BA%D0%B0)

[gena-t.livejournal.com]

Ага. А https://blogs.yandex.ru/advanced.xml не ищет.

[http://users.livejournal.com/_slw/]

это потому что ник с извратами

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[dememax]

Не от хорошей жизни.
Я когда игрался с Флексум (был такой сайт у АиП, где можно было свой поиск создавать), не мог понять, чего это мои инструкции на индексирование ЖЖ платформа не выполняет.
Оказалось, что ЖЖ делает всё возможное, чтобы уважающие правила индексирования (специальные nofollow-атрибуты тэгов, меты в хедерах страницы, и т.д.) система не могла бы проиндексировать остальную часть твоего ЖЖ, отталкиваясь от одной конкретной страницы.

Например, вот, что я сейчас увидел на странице своего журнала в заголовке:

<meta name="robots" content="noindex, nofollow, noarchive" />
<meta name="googlebot" content="noindex, nofollow, noarchive, nosnippet" />

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[vitus_wagner]

У меня в настройках выключена опция "мимимизировать попадание сайта в поисковые машины".

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[dememax]

У меня изначально - тоже всегда отключено минимизировать попадание.
Но - помогает ли это благородному дону?
:-(

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[vitus_wagner]

Ну посты не более чем 5-летней давности как-то находятся. А вот потребовалось 10-летней - опаньки.

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[dememax]

Очевидно, пауку просто невозможно до тех записей добраться, не нарушая инструкций, о которых я ранее говорил.

Я, например, взял и создал дайджест своего блога и везде воткнул ссылку на эту страницу:
http://mpd.livejournal.com/46894.html

Думаю, если яндексу каким-то образом сообщить все ссылки на страницы старые - он в какой-то момент вдруг начнёт по ним результаты выдавать.

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[rednyrg721.livejournal.com]

Вот да, тоже этим вопросом задавался как-то. Журнал у них можно листать с заглавной страницы до /?skip=380, а дальше идут ссылки на /20xy, которые запрещены в robots.txt у всех, как и /calendar и /tag/. Получается, дальше чем на 400 постов назад пауки поисковиков могут попасть только очень кривыми путями (по ссылке на предыдущий пост и т.д. по цепочке - правда, в случае существования хотя бы одного подзамочного поста эта цепочка оборвется :) ) Ну ещё ссылки откуда-то снаружи помогут, конечно.

Плохо, что нет нигде нормального оглавления со ссылками на все посты, это бы решило проблемы эти.

Re: яндексовский поиск совсем нихрена не ловит мышей в Ж

[dememax]

Я делал руками такой список: http://mpd.livejournal.com/46894.html

Правда, не все поняли тогда - зачем?!

RE: Re: яндексовский поиск совсем нихрена не ловит мышей

[hrenov-drummer.livejournal.com]

А вот фиг. Я сейчас через blogs.yandex.ru нашел свой собственный первый пост в ЖЖ, сделанный больше 11 лет назад и уж точно находящийся раньше, чем 400 постов назад. Да и ссылки на него вряд ли ведут.

Re: яндексовский поиск совсем нихрена не ловит мышей

[rednyrg721.livejournal.com]

Думается, что тут лотерея, какие-то посты поисковики выкидывают из индекса, а какие-то нет. Одно понятно, что им не нравится, когда на страницу вообще нет ссылок (с индексируемых страниц).

А гуглом находится, кстати? А обычным яндексом, не blogs.yandex.ru?

Re: яндексовский поиск совсем нихрена не ловит мышей

[hrenov-drummer.livejournal.com]

Неа, обычным яндексом и гуллом не ищется.

[morthan2006.livejournal.com]

В результате комментарии сбэкпалены далеко не все. Ну не то, чтобы я очень по этому поводу переживал, но интересно есть ли решения лучше.

А кроме комментариев прочее бэкапится? Когда я в прошлом году решил проверить свои ljsm-овские архивы, то выяснил, что ЖЖ, похоже, как-то сменил формат. И в результате то, что сбэкапил ljsm, непригодно к использованию.

[vitus_wagner]

Сегодня - сбэкапилось. Правда как-то странно.
С первого раза нормально сбэкапился 2015 год, а 2014 и 2013 создались файлы нулевой длины. Со второго - сбэкапились все.

Формат страницы они, правда, поменяли, так что пришлось немного править скрипт, чтобы он прописывал в индекс заголовки постов. Там было что-то штуки три варианта регекспа для этой цели, ни один не работал. Пришлось 4-й добавить.

[pouce.livejournal.com]

А не могли бы вы подробней объяснить насчёт правленного скрипта для получайника?

[vitus_wagner]

Находим функцию process_html_file

Видим там кучу строчкек вида

$title = $1 if ...

Добавляем к ним еще одну:

$title = "<i>$1</i>" if ($line =~ m#<title>\w+: (.*?)</title>#);

[pouce.livejournal.com]

спасибо большое. Буду пробовать.

[slobin.livejournal.com]

// 2014 и 2013 создались файлы нулевой длины.

Вроде бы там влезла бага с обработкой тега hr (всё-таки ларри сумасшедший с его операций ... со встроенным триггером). Я в августе прошлого года напоролся, в итоге просто закомментировал нафиг вот этот абзац, и всё заработало:

# skip navigation bar
if ($in_navbar && ($n = /<HR ?\/?>/i ... /<HR ?\/?>/i)) {
    $in_navbar = 0 if ($n =~ /E0/);
    next;
}

И мне КАЗАЛОСЬ, что комментарии он все сохраняет, но не в виде html, а в виде каких-то json-овских структур для последующего разворачивания джаваскриптом. Но тут я мог не приметить слона, на эти мои слова лучше не рассчитывать. Ща пойду сбекаплю мартовский кусок (я ЖЖ бекаплю более-менее раз в месяц), заодно освежу в голове, что там и как.

... Бессмысленно и беспощадно! ...

[vitus_wagner]

По-моему, если и сохраняет, то это не он, а ЖЖ так выдает.

[slobin.livejournal.com]

Ага, посмотрел сейчас. Выдаются в таком виде (и соответственно сохраняются) только те комментарии, которые видны сразу без разворачивания. То есть, у меня НЕТ бекапа комментариев за последние годы. :-( Проблему осознал, решение думаю.

На всякий случай повторюсь про пустые посты, а то я как-то непонятно написал: ljsm.pl пытался выкусывать полоску навигации, определяя её по двум hr, и используя для этого гениальную операцию ... со встроенным в неё флагом. В результате, встретив случайно ОДНУ (для зануд -- нечётное количество) hr, он начинал выкусывать вообще всё. Разбираться содержательно я не стал, просто оторвал всю эту логику нафиг, заработало для меня нормально. Мой экземпляр ljsm.pl с мелкими правками лежит здесь.

Раз уж речь зашла про ЖЖ, немного оффтопика: я тут в процессе ремонта после очередных улучшений от СУПа (хотя не могу даже сказать, что они как-то особенно виноваты: реклама, конечно, зло, но поддерживать корректную работу всех стилей со сторонним выкусывальшиком рекламы они всё-таки не обязаны; в общем, проще оказалось сменить стиль, что я и сделал)... в общем, в этом процессе я вспомнил, что один из интересов, который разделяем строго мы с тобой и никто больше, написан с точки зрения английского языка просто неверно. Ну то есть я давно это в принципе знал, но всё не было повода почесаться. "Computational aesthetic" неправильно, потому что существительное "эстетика" будет "aesthetics" (используется как единственное число), а "aesthetic" -- это прилагательное. В общем, я у себя исправил (добавил "s"), предлагаю тебе тоже. В эстетических целях. :-)

... Проблемы шерифа негров не волнуют ...

[vitus_wagner]

Интересно, как эта история с hr объясняет то, что просто повторный запуск проблему полечил?

Я был склонен списать это на глюк ЖЖ, которые последнее время регулярны.

[http://users.livejournal.com/_arty/]

я недавно писал скрипты, которые из API ЖЖ вынимают все посты и комментарии (https://github.com/arty-name/livejournal-export). Правда, превращать это в статический сайт (https://blog.arty.name/2014/%D1%8D%D0%BA%D1%81%D0%BF%D0%BE%D1%80%D1%82-%D0%B6%D0%B6/) нужно чем-то другим, вроде pelican. Ну и изображения со сторонних сайтов, конечно, отсутствуют.

[vitus_wagner]

Что-то я не понял про этот пеликан. Почитал - там есть куча плагинов для комментариев, но все они почему-то предполагают что у юзера нет возможности разместить простейший скрипт для обработки POST-запросов. Кто читает комментарии через API со стороннего сайта, кто извращается с генерацией mailto: ссылок.

А нормальной системы комментариев с авторизацией по OpenID нет.

[http://users.livejournal.com/_arty/]

ну так с простейшим скриптом это будет уже не статический сайт

впрочем, я создаю html комментариев самостоятельно, и цепляю его к посту посредством плагина Static comments, такую систему при желании можно расширить и до добавления комментариев. Хотя до авторизации по OpenID вряд ли.

[vitus_wagner]

Основное преимущество статического сайта - устойчивость к броскам нагрузки,
сохранится.
Возможность репликации по всяким cdn-ам тоже сохранится. Потому что обычно на один постинг комментария приходятся если не десятки тысяч, то по крайней мере сотни прочтений.

Кстати, в к прикручивании openid к форме постинга комментариев нет никакого rocket science.

А самостоятельно при этом создается именно готовый HTML или что-то вроде маркдауна?

И сохраняется ли при этом древовидность комментов?

А то я уже склоняюсь к идее попробовать поиграться с пеликаном на предмет
опять уйти с ЖЖ/DW на собственный хостинг.

[http://users.livejournal.com/_arty/]

говоря о статическом сайте, я имел в виду, что пеликан создавался для генерации статических сайтов, а динамические комментарии для него не предполагались в принципе, поэтому вряд ли имеет смысл критиковать ограниченность плагинов :)

самостоятельно я создаю именно html, хотя кладу его в файл .md, как того требует плагин. Маркдаун-то поддерживает внутри себя html.

вот пример древовидных комментариев (https://blog.arty.name/livejournal/2014/%D1%81%D0%BE%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F-%D0%BC%D0%B8%D1%81%D0%BA%D0%B0-%D1%87%D0%B5%D1%87%D0%B5%D0%B2%D0%B8%D1%87%D0%BD%D0%BE%D0%B9-%D0%BF%D0%BE%D1%85%D0%BB%D1%91%D0%B1%D0%BA%D0%B8/)

[http://users.livejournal.com/_arty/]

кстати, пеликан — не единственный генератор статических сайтов, и даже для статических блогов есть другие генераторы. Просто мне лучше всего подошёл именно пеликан.

[vitus_wagner]

Пока из всего, что я видел, он мне тоже больше всего подходит.

[vitus_wagner]

Когда у программы появляется система плагинов, это означает что ее начинают использовать для целей, отличных от тех, для которых она создавалась.

При этом в пеликановском сообществе, в отличие от сообществ других статических блогогенераторов, которые мне попадались,

1. Понимают важность и нужность комментирования (количество плагинов для комментариев об этом свидетельствуют)

2. Понимают важность и нужность контроля над хранением комментариев.

Поэтому мне кажется удивительным что идея плагина добавляющего "немножко динамики" никому не пришла в голову. Видимо, люди у которых на рабочей машине работает веб-сервер, и и она при этом не за NAT-ом встречаются в наше время крайне редко.

[amarao-san.livejournal.com]

Тут ищет? https://blogs.yandex.ru/advanced.xml

[vitus_wagner]

Именно тут и не искал, пока не появились ссылки на этот пост в комментах к свежим постам.

[livelight]

Какое на данный момент лучшее найденное решение?

В принципе, для задачи "сделать наколеночную замену блогояндексу" мне достаточно было бы даже сохранения только постов, без комментов, и грепать руками, лишь бы ссылку на исходный пост в жж было легко восстановить.

Вариант попродвинутее - бэкап всего журнала в статический сайт на случай, если на СУП наедет ФСБ или упадёт метеорит и весь ЖЖ накроется. Дабы перечитывать долгими оффлайновыми вечерами вместе с комментами. И тут дополнительный актуальный вопрос: а как это всё выглядит? Если мой жж тупо выкачать wget'ом - весь контент журнала будет доступен (хотя ветки комментов создадут адЪ), но оформлено это будет в дефолтном стиле ЖЖ для незалогиненных, который тоже есть адЪ.

[vitus_wagner]

Лучшее найденное решение ljsm и грепать. ljsm в данном случае лучше ljdump потому что его имена файлов совпадают с URL-ками ЖЖ. Поэтому посмотрев на выдачу грепа легко руками сформировать правильную URL в ЖЖ.

ljsm, увы, крайне хреново сохраняет комменты. Раньше лучше сохранял, но улучшизмы СУПа все сломали, внешний сервис разворачивания тредами, которым он пользовался, умер, и фактически рассчитывать можно только на посты,
Но то что он делает - является статичской копии журналов.

ljdump работает не через URL-ки для людей, а через API, поэтому он честно сохраняет все данные постов и комментов, но только для тех журналов, к которым у запускающего есть пароль (честно сказать, не помню, есть ли через API доступ к комментам постов во френдленте). И пишет их в XML-формате с довольно странными именами. Поэтому для того чтобы сделать статическую (а на самом деле можно даже не статическую - там есть что-то про импорт в wordpress) копию, которую можно смотреть браузером придется приложить некоторые усилия.

И ljsm, и ljdump авторизовываться умеют.

wget можно научить авторизовываться в ЖЖ. По-моему, самый простой способ - подсунуть ему в соответствующем параметре cookie file, созданный браузером, в котором пользователь залогинен. Не проверял, но вообще никакого rocket science в ЖЖ-шной авторизации нет.
А вот комменты там подргружаются теперь через Javascript, поэтому с комментами у wget-а будут сложности.