И еще про энциклопедию «Море»

[vitus_wagner]

Отсканирвоанные страницы (3 с половиной GB) лежат здесь. Размеры таковы что на моем сайте места для этого уже нет, приходится на яндекс-диск выкладывать.

Обновленный торрент можно скачать по этой магнет-ссылке.

Торрент распознанной книги в open document формате здесь. Разметка сильно поехавшая.

Если у кого есть старый, и не хочется перекачивать все, то подложить содержиое старого торрента без 522 страницы.

crower пропустил их через файнридер. Ссылки на распознаныный файл пока не даю, поскольку в процессе выяснилось, что одна страница была сосканирована неправильно, пришлось пересканировать.


Этого всего я пока не проделал, поэтому кто скачат торрент, возьмите out0522.png с яндекса.

Теперь вопрос, что с этим делать дальше:

1. В каком формате распрсотранять невычитанный распознанный вариант. Варианта я, собственно вижу два - либо офисный формат (doc, rtf), либо html. Потому что нужен именно редактируемый формат на предмет вычитки и правки.
Как выглядит html из-под файнридера, насколько он удобен для засовывания в git/fossil и последующей правки, я не знаю. (впрочем c odt, в который неизбежно будет преобразован офисный формат, будет не легче)

2. Основная борьба при вычитке будет не с текстом, а с картинками. Особенно с фотографиями. Возможно, некоторые у меня при сканировании получились настолько темными, что придется пересканировать.

3. Как организовать вычитку? На куски какого размера правильнее делить текст, что лучше - предоставить возможность онлайн-редактирвоания или скачивания через систему управления версиями?
Кто вообще готов в этом участвовать кроме меня и crower?

4. В каком формате, после того как процесс будет закончен, распространять результат?
pdf с версткой, возможно более близкой к оригинальной? Html такой же (завернутый в epub для компактности), или html/epub со сплошным flow текста, без двухколончоной верстки и иллиюстрациями, распределенными в пределах главы как попало?

Comments

[vera_croose]

ПДФ не умею, но html в две колонки легко!
Если смогу стащить, ага.
ЗЫ: это на русском?
А то качественно вычитать я могу только на нем (и еще на английском, хоть его-то как-раз почти не знаю. Гм, что-то вот с грамматикой зато у меня окей, сама не понимаю как оно так... Просто очепятки в нем сами бросаются в глаза. Почему-то.)

[vitus_wagner]

На русском, на русском. pdf в общем-то уметь и не надо. Если есть сверстанный файл в офисном формате, жмешь в libreoffice кнопочку Export As Pdf и voila.

А вот c html-ем будет хотеться делать что-то еще кроме обработки его в офисной программе.
Впрочем с odt тоже будет хотеться что-то сделать чтобы сливать изменения, сделанные разными людьми, воедино.

[cross_join]

На всякий случай.
Советы по сканированию

[vitus_wagner]

Автор этих советов явно не в курсе сущестования программ вроде scantailor и scankromsator.

[crower]

Был бы онлайн-вариант (готовый или быстро поднимаемый) я бы предпочёл его. Тот же mediawiki+proofread достаточно удобен в применении. Но стоит ли поднимать его ради одной книжки? Или, например, можно сконструировать что-то на базе fossil.

Собрал результат распознавания в doc, но гляжу на этот файл (~76 мег) и пытаюсь представить процедуру вычитки. Раздаём файл всем желающим. Нужно распределять кто что вычитывает. Открываем файл, переходим на нужную страницу, ищем соответствующий скан, вычитываем. А как внесённые изменения выгружать? Как потом их потом загружать? Получается тоже некузяво.
Можно файл порезать на куски и раздавать кусками. Тоже неблагодарная работа.
А может сразу выгрузить книжку в пофайловом варианте? Я вообще-то, уже запустил выгрузку. Одна страница — один doc-файл. Разадавать можно по сколько нужно файлов/страниц. Возвращать можно хоть одному файлу. Имя файла соответствует имени скана.

Можно было бы выгружать сразу в pdf (или конвернтуть в djvu), но боюсь с редактированием этих форматов будут проблемы.

Можно выгрузить в многофайловый вариант html - для fossil может подойти. png туда можно конвертнуть в jpg. Получится раза в 2.5 компактнее. И картинки легко подменять.

[vitus_wagner]

Ну, во-первых, очевидно надо резать по главам.

Что касается конвертации png в jpg то с этим нужно содержательнро разбираться. Для фотографий - несомненно делать. Для всяких схем и карт - не факт, возможно там битональный или 16-оттеночный png будет более правильным.

[vitus_wagner]

Да, finereader злобно положил rtf вместо doc.

[qkowlew]

Могу выложить у себя. Например на поддомене more.arda.ru :)

[vitus_wagner]

Вот ежели б у тебя там поднять систему для коллаборативной работы по вычитке (не знаю только какую, я в них не разбираюсь).

Хотя, на самом деле, если ее кто-то соберется поднимать, более удобный способ доступа к отсканированным оригиналам, в смысле место где просто 620 png-файлов лежат и на каждый можно давать прямую ссылку без извратов по преодолению яндексовского API, было бы неплохо. Если тебя устраивает протокол bittorrent как способ переместить файлы из того места, где они есть сейчас, на хостинг, то просто бери и выкладывай. Если нет, давай свои предложения, как тебе выдать эти файлы.

[pascendi]

Doc или rtf, а потом в fb2 через Калибри. Самый удобный вариант. Pdf или djvu -- ужасно неудобны.

Или постранично в HTML с выкладкой в онлайне.

Кстати, если рисунок получился слишком темным, то можно не пересканировать, а поправить в каком-либо растровом редакторе. Некоторые допускают пакетную обработку (с этим к фотографам лучше всего).

[vitus_wagner]

Вот чего не делаю никогда. и другим не рекомендую. - так это fb2 через Calibre. Потому что оно его криво делает. Не заполняет корректно метаинформацию в загловке файла, неправильно расставляет логическую разметку в теле книги и т.д.

Но это не к данному случаю fb2 это FictionBook2 - формат, предназначенный для художественных книг. А мы имеем книгу научно-популярную.
У которой на каждой странице по пять иллюистраций, часто встречаются таблицы и т.д. В общем криво оно будет в fb2 смореться.

Надо сказать, что ИНОГДА перетемненные при сканировании фотографии можно поправить в растровом редакторе. А иногда - нельзя. Информация при неправильной гамме может быть утрачена безвозвратно. И если таковые фотографии будут в процессе правки в растровом редакторе обнаружены, соотвесттвующие страницы придется пересканировать.

На пакетную обработку тут, увы. надеяться не приходится - придется глазками смотреть.

Вообще данная книга - это почти фотоальбом. Поэтому и возникает желание использовать формат, сохраняющий исходную верстку. например pdf.

Формат djvu используют не от хорошей жизни. Если от OCR-ить нет возможносьти Если нужно собрать в книгу непосредствено отсканированные картинки, он гораздо компактнее pdf.

office+VCS

[sur_kg]

Мне вот тоже интересно, в каком формате лучше держать офисные документы на контроле версий.

DOC - классно, но хочется текстовый diff-view.

RTF - тру-текст, но... Вместо русских букв - escape-последовальности. Картинки - только несжатый bitmap в виде того же текста. Или мне нужно юзать более другой софт?

MS Word xml - круто, но Word всегда при сохранении ужимает весь файл в одну строку, от чего текстовые diff-view-еры падают в обморок. Как лечить - не знаю.

ODT или HTML - как оно там с переносимым WYSIWYG c разбивкой на страницы A4?

Re: office+VCS

[vitus_wagner]

Всякие варианты diffview для ODT, docx и doc в интернете легко находятся. Благо современные VCS поддерживают возможность подключения специальных diff tools для специальных форматов. Собственно, сконвертить зазипованныйх xml (что odt, что docx) в плейнтекст не так уж сложно.
А для doc и rtf можно catdoc прикрутить.

Сложнее то, что нам нужно не столько diff, сколько merge. Вот решений которые бы позволяли мерджить офисные форматы я не нашел.

Только средствами самого офиса, но там это работает только если заранее, перед тем как делать изменения включить режим Track Changes.

Re: office+VCS

[yurikhan]

Маркдаун, конечно. Со смысловой разбивкой по строкам.

[sur_kg]

Вот сейчас пронеслась в мозгу ассоциация - энциклопедия = вики-движок?

[vitus_wagner]

Такой движок на самом деле уже завели. Беда в том, что редактирование в wiki-движке - это потом все верстать заново с нуля. Ну и с картинками там обычно не слишком хорошо. А здесь у нас десятки картинок на подглавку.

[amarao-san.livejournal.com]

Поставил с рейтом триста (или пока что-нибудь не сломается) на сервер в нидерландах. (ЖЖ удаки и из магнета делают http).

По поводу вычитки - я бы текст залил в любую вики по чаптерам/главам и дал бы редактирование желающим. Готовый collaboration.

[vitus_wagner]

Ну допустим, вычитают люди текст в формате wiki. А дальше что с ним делать? Как этот текст обратно совместить с картинками?

[livelight]

Насколько я понял масштабы геморроя из комментов выше, проще всего было бы сделать для каждой страницы отдельно отсканированную картинку страницы целиком и отдельно - plain text с неё же в виде, допускающем поиск и копипаст. Этим вполне можно пользоваться, и такой масштаб работы имеет хоть какие-то шансы быть завершённым, при имеющихся ресурсах.

[vitus_wagner]

Именно это решение предлагает формат djvu - слой отсканированной графики и текстовый слой.

Вопрос в том, что

1. Отсканированный текст, даже после преобразований выполняемых инструментам вроде scantailor читать куда менее удобно, чем набранный.
2. Объем работы по OCR на самом деле не очень велик и в принципе уже проделан crower. С картинками все равно возни будет больше чм с вычиткой осшибок сканирования.

[incognitus7]

Несколько запоздало, но я бы посоветовал с вашими вопросами зайти на http://publ.lib.ru/ (придется зарегистрироваться) - там и эта книга вполне в общую тему ресурса и есть специалисты с опытом сканирования и перевода в разные форматы десятков и сотен книг.

Для конечного результата я бы посоветовал выбрать таки pdf или djvu.

[vitus_wagner]

Там где рекомендуют пользоваться файлообменниками типа ifolder я, пожалуй, не буду искать советов на тему как что-то сделать в области информационных технологий.

[nataraj]

4. fb2?? Если там нет какой-то особой специфики конечно... Для меня это до сих пор формат для худ лита по умолчанию...

[vitus_wagner]

Для худ.лита!!! А мы про познавательную литературу. где картинок больше чем текста.
И привязка картинок к тексту имеет очень большое значение. Собственно на протяжении сотни комментариев идет обсуждение о том, что необходимо сохранить оригинальную верстку, поскольку она ценна.

То есть ты начал давать советы, не только не посмотрев на то, о чем идет речь, но и не прочитав дискуссию

За такое я буду безжалостно банить. Лично знакомых - не с первого раза.

Но запомни - Прежде чем комментировать в моем журнале, нужно прочитать не только пост, но и все комментарии, а если в посте есть ссылка, то и текст по ссылке. (а желательно и пару предыдущих дискуссий по тому же тегу). А то за тобой водится начать отвечать прочитав только первый абзац.

[rbac]

файл out0007.png - загнут левый верхний угол

[vitus_wagner]

На яндекс-диске уже лежит исправленный вариант. Торрент с исправленными файлами, естественно должен иметь другую магнет-ссылку, но проблема в том, что тот компьютер, с которого я этот торрент раздавал, выключен на ближайшие две недели.