Генерация pdf из командной строки

[vitus_wagner]

Интересно, чем бы таким опенсурсным и не использующим X-овых библиотек (headless, серверным) можно в наше время генерировать PDF-документы, содержащие в основном обычный текст с минимальными шрифтовыми выделениямии (уровня примерно HTML 2.0 - заголовки двух-трех уровней, пара видов логического выделения в тексте, 2-3 вида списоков).

Но чтобы нормально работало по меньшей мере со всем Basic Multilingual Plane юникода (входной формат - что-то в utf-8).

Варианты на базе pdftex не предлагать. Про них и лежащие там грабли сам знаю.
Варианты на базе xelatex или luatex готов посмотреть, если мне убедительно объяснят, что вот здесь все хорошо, и будет работать со всеми буковками, которые есть в шрифте DejaVuSans, LiberationSerif или что там оно испольузе

В принципе, сейчас библиотеки для создания pdf есть во всех подряд языках. Но вот попробовал питоновскую (которая reporlab, вернее командно-строчная обертка вокруг неё - rst2pdf) не тянет кириллицы совсем. Это я еще не злобствую, и не подсовываю туда right-to-left письменности.

То что у libreoffice есть headless-режим я знаю.

Про apache fop с удовольствием бы послушал рассказы тех, кто щупал.

Comments

[nine_k]

8 лет назад libreoffice (ну, open office) оказался единственным приемлемым решением, когда мне нужно было делать подобные вещи. Заодно он, конечно, умел генерить .doc для дополнительного счастья клиентов.

[vitus_wagner]

По моему опыту, время устаревания кэша отрицательных результатов в области open source - полгода. То есть если полгода назад решения какой-то задачи найти не удалось, имеет смысл повоторить поиск. А тут 8 лет.

[dzz.livejournal.com]

Я когда-то использовал htmldoc, но кириллические шрифты там прикручивались нештатно.
Решение работает под Солярисом в Транстелекоме уже лет 7, все довольны ;)

[vitus_wagner]

В версии 1.8.27 там утверждается что iso8859-5 и koi8-r поддерживаются. Но мне этого мало.
Мне нужен весь BMP, то есть по крайней мере вся латиница (включая польский и исландский), греческий и нормальная пунктуация, и это в одном документе с кириллицей.

Пробовать даже не интересно, по причине отсутсрвия документов, которые можно было бы без потерь сконвертить в 8-битную кодировку.

Хотя вот нет - попробовал и убедился, что cp1251 Оно только делает вид, что понимает.

[permea-kra.livejournal.com]

Я после некоторого шаманства пользовался гентушным умолчальным техом. Было это давно, поэтому детали помню довольно смутно, но по-моему это был техлайв + латех. Юникод там правда надо было подключать ручками.

[vitus_wagner]

Читать умеем? Сказано - варианты на базе pdflatex не предлагать.

В следующий раз за попытку что-то сказать на таком уровне понимания темы - забаню.

[silentpom.livejournal.com]

применяем fop для простых случаев, вроде работает

[vitus_wagner]

А подробнее можно?

Простые случаи - это какие языки? Русский и английский? В каком формате исходно пишется/генерируется документ и как потом преобразуется в XSL-FO?

[ico.livejournal.com]

После ковыряния с разными остановился на wkhtmltopdf как наиболее внятно конфертирующим.

[vitus_wagner]

Застрелиться и не жить! Командно-строчная тулза, которая за собой libmesa тащит...
Вот кого б я убил с особой жестокостью, так это тех троллей. которые qt написали.

[ilya-portnov.livejournal.com]

У нас в продакшене вовсю крутится решение на базе fop. Генерятся всякие разные отчёты, с таблицами, текстами итд, на русском, английском. Но у нас fop юзается как библиотека из жабы.

[r-a-d.livejournal.com]

Не знаю как сейчас обстоят дела, но в далёком 2009 году, я генерил хитрые документы для УФМС с помощью библиотеки Pisa (надстройка над reportlab, вроде её переименовали потом). Приходилось создавать структуру документа с помощью HTML/CSS (шрифты внедрялись через CSS, arial.ttf лежал рядом), передавать его библиотеке и на выходе получать практически полный аналог в PDF. Всё это делалось в рамках веб-сервиса, написанного на Python/Django.

[vitus_wagner]

В смысле, с инструментами на базе reportlab стоит повозиться? Оно принципиально способно работать, и виноваты не авторы библиотеки а авторы командно-строчной rst2pdf?

[solvento.livejournal.com]

ghostscript? а ps создать из текста самому раз там по минимуму.
ну или поискать готовый html2ps на перле

[vitus_wagner]

Вот предьявите мне код, который "создает готовый ps по-минимому" на любом языке программирования, чтобы на вход понимал utf-8 текст, и корректно отображал все символы в диапазоне от 0x20 до 0xfeff. Ну и естетственно, чтобы выравнивал строчки по ширине. Хрен с ними, с переносами - там есть содержательная проблема что для разных языков правила переносов разные.

Впрочем, даже если такой конвертер найдется, то увы, gostscript генерирует безобразные pdf-ы - без оглавления, без возможностей поиска, да еще и шрифты в кривые преобразовать норовит.

"готовый html2ps на perl-e" увы. не развивался с тех пор как я 15 лет назад его патчил на предмет поддержки хоть какой кириллицы. За пределами 8 битных кодировок ничего не умеет, шрифты включать не умеет.

[ramendik]

iText PDF вроде как. Жабская библиотека, но из командной строки вроде как запускают. Иксы не использует, предназначена для серверов.

[vitus_wagner]

Библиотека-то есть, а пользоваться как?

[phd_ru]

Reporlab с русскими буквами отлично работает, мы на нём отчёты для печати генерировали. Это у rst2pdf проблемы. :-(

[vitus_wagner]

А есть готовый кусок кода на python, который пишет преамбулу будущего русскоязычного документа со шрифтами и прочими параметрами, чтобы потом туда уже только правильные текстовые боксы дописывать?

[amarao-san.livejournal.com]

node.js + pdf.js?

[vitus_wagner]

Примерчик или хаутушка есть?

[tzirechnoy.livejournal.com]

>не использующим X-овых библиотек

Почему? Чем тебе не нравятся иксовые библиотеки?

>Но чтобы нормально работало по меньшей мере со всем Basic
> Multilingual Plane юникода (входной формат - что-то в utf-8).

Урежь остера.
Весь BMP не поддержывает никто. Совсем. Включая виндовый notepad и гнутый charmap. Для всх можно найти комбинацыю из half-width character + accent +RL, на которой оно сломается. Или просто символы из devangari, которые забыли включить в таблицы. Это судьба.

[vitus_wagner]

> Почему? Чем тебе не нравятся иксовые библиотеки?

Мне не нравится наличие любого куска лишнего кода.

Ну и вообще, инструментов, которые используют X-овые библиотеки у меня есть целых два - mozilla и libreoffice


> Урежь остера.
> Весь BMP не поддержывает никто. Совсем. Включая виндовый notepad и гнутый
> charmap. Для всх можно найти комбинацыю из half-width character + accent
>+RL, на которой оно сломается.

Нужен инструмент, который ХОТЯ БЫ СТАРАЕТСЯ поддержать всё. Примерно на том уровне как это сейчас делают браузеры и офисные пакеты. Отсутствующие символы в шрифтах, понятно, не его проблема. Сложные случаи combining character готов простить, если разработчики воспринимают сообщения о подобного рода проблемы как баги, которые фиксить обязательно надо, но когда пофиксятся более приоритентые.

> Или просто символы из devangari, которые забыли включить в таблицы. ,

Э, мне тут как раз девангари-то и потребуется. У меня в "Ясмине" действие в Индии происходит. Соответственно цитаты нужно будет на хинди, маратхи и санскрите втыкать. (в основном, конечно, на урду и фарси, там проще, там арабская графика).

[tzirechnoy.livejournal.com]

Ну и да, я бы начал пилить pdflatex. Да, я знаю, что у него непреодолимые проблемы начинаются с combining characters -- ну... они, конечно, непреодолимые, но в принцыпе решаемые.

[vitus_wagner]

Трудоемкость решения задачи через pdflatex мне понятна. Она большая, но обозримая Хочется рассмотреть альтернативные варианты. Вдруг что еще на свете бывает.

[slobin.livejournal.com]

В порядке бреда: конвертор из состава calibre. Я, правда, никогда им не пользовался вот только что впервые в жизни скачал вариант под винду (причём XP) и запустил. Plain text в 1251 она мне сконвертировала, русские буковки на месте. (пауза, пробую дальше) Ага, utf-8 с кириллицей и греческим одновременно тоже. Дальше пробовать лень.

Update: погоди, тебе ведь для книжки надо? Ну тогда точно calibre! ;-)

... In Soviet Russia, English pidgins YOU!! ...

[vitus_wagner]

А что там у calibre внутри - это же тоже по-моему python.

[taris_marh.livejournal.com]

FOP мучил в разных позах с 2003-го по 2007-й и вот "на днях" сдал генерацию открыток с его помощью. Может почти всё. Не работают только некоторые хитрые вещи типа float и ещё что-то в этом роде. то есть, если не надо хитровывернутого обтекания разных блоков, то, можно сказать, умеет всё. Кириллица как таковая ему по барабану - работает с UTF-8 и не жужжит. Конкретно в последнем проекта надо было сделать, чтобы на одной стороне листа было до 9 открыток, а на другой - соответствующие им "обороты" с адресами и прочими реквизитами и поздравительная надпись. Единственное, что не получилось - "затекание" текста в "карман" над индексом. Правда, про шрифты ему надо рассказывать отдельно, но мне это дело забороть удалось, потому что нужен был как раз кириллический шрифт. Конкретно - Arial задействовал. Из более навороченных вариантов через XSL-FO я знаю только Antenna, которая коммерческая и под винду. Допилить DocBook труда не составляет, значительую часть можно сделать просто настройкой.

[vitus_wagner]

Вот тут, как я понял, дело как раз в том, что дебиановский пакет fop в jessie не подхватывает автомагически всех ttf и type1-шрифтов, имеющихся в системе.

Нужно для всех ttf генерировать fop-ttfreader-ом метрики, а потом еще прописывать в конфиге описание шрифта с URL-ками на метрику и сам шрифт и списком алиасов.

А для того чтобы докбук печатался по-русски, достаточно заалиасить на какие-нибудь шрифты с русскими буквами стандартные serif, sans-serif и monospace

[prividen.livejournal.com]

Года 4 назад развлекался, прикручивая генерацию PDF к MediaWiki.
Остановился на питоновской mwlib, которая выдавала удовлетворяющие меня результаты - нормальная поддержка кириллицы, встроенные шрифты с только необходимыми глифами (как это там называется).
Насколько я помню, унутре себя она пользуется pyPdf.

[tzirechnoy.livejournal.com]

Кстати, шутки ради напомню: pdf -- формат текстовый, и генерировать его можно самостоятельно, без чтения слишком большого количества документацыи, путём printf... Ну, или puts.

[vitus_wagner]

Очевидно, что исходник любой программы - тоже файл текстовый. и можно написать его самостоятельно, прочитав гору документации по проблемной области.


Но вообще-то программы для того и распространяются (в частности в интернете) чтобы не делать повторно чужую работу.

[taris_marh.livejournal.com]

Да, ещё одно средство для генерации PDF - PyFPDF (https://code.google.com/p/pyfpdf/). Это библиотека для "ручной" сборки PDF, но какой-то генератор на этом собрать можно. Вряд ли она годится для форматирования книг, но вспомнилось. тоже использовал в одном своём проекте и, вероятно, придётся переделывать открыточный проект на неё, потому что некоторые манипуляции FOP делать не умеет.

[sastanin.livejournal.com]

Предложение: поскольку многоязыковые документы с любыми шрифтами и форматированием на уровне подмножества HTML удобнее всего писать на HTML (ну или генерить его чем угодно), то может быть поискать варианты headless конвертации HTML в PDF?

Например, есть такая вещь PhantomJS (http://phantomjs.org/) — a headless WebKit scriptable with a JavaScript API. Скрипт в четыре строки рендерит и сохраняет страницу в PNG/JPEG/SVG/PDF на выбор. Попробовал сохранить в PDF: с русскими буквами проблем вроде нет, PDF нормальный (не картинкой, поиск по тексту работает), но в PDF маловат трекинг шрифта, буквы касаются друг друга (возможно, настраивается, возможно, можно поправить в CSS). Использовал этот метод (http://phantomjs.org/api/webpage/method/render.html).

[sastanin.livejournal.com]

Под капотом у него для генерации PDF стоит QPrinter (https://github.com/ariya/phantomjs/blob/master/src/webpage.cpp#L1095).

[ospf-ripe.livejournal.com]

Мы используем phantomjs для конвертации html->pdf. Какие то X-овые библиотеки нужны, но сам X-сервер не нужен.

[victor-sudakov.livejournal.com]

Проверь еще на всякий случай lout, я лет 15 назад пробовал использовать его вместо LaTeX. Но я сомневаюсь, что в нем хорошо с unicode.

[vitus_wagner]

Хм, а оно еще живо. Надо будет попробовать.