TeX, html и utf-8

[vitus_wagner]

В связи с воплями народа, "Ах, gitweb неправильно показывает файлы в koi8-r" попробовал сконвертировать исходники «Детей пространства» в utf-8. Во-первых, пришлось при смене опции у inputenc с koi8-r на utf-8 пришлось подключить еще пакет textcomp, а то со знаками градуса получилась полная труба. Во вторых, конструкция вида \'и не работает. Пришлось \'{и} писать.

Во-вторых, пришлось с latex2html перейти для генераци html на tex4ht. Потому что latex2html с utf-8 работает совсем хреново. Правда tex4ht не сильно лучше. Он генерирует либо utf-8 html, либо валидный. Потому что забыть в utf-8 html-е 8-битные символы latin1 - ° « » это как-то совсем не комильфо. Пришлось генерировать html в том, что он считает 8859-5, а я - скорее 8859-1 с русскими буквами в виде 16-ричных entities, а потом править маленьким скриптом на Tcl.

Зато, правда, знаки градуса и верхние индексы в обозначениях физических величини (м/с²) попадают в HTML корректно.

Еще оно умеет odt делать. Правда~--- хреново. Все неразрывные пробелы съедаются. И с бабелевским заголовком оглавления оно справиться не может. И верхние индексы в названиях физических величин не тянет.

Еще бы придумать теперь способ это в EPUB или FB2 пакетным способом конвертить.

Comments

[gegmopo4.livejournal.com]

А я вот подумываю к ReST присмотреться. Ну его нафиг Тьюринг-полные языки разметки, я уже слишком стар для ТеХакерства.

[d1f]

Я уже присмотрелся.
Потрахаться тоже придётся, причём, с техом тоже, если хотите pdf.
Итог приемлем, но жёстковат.

Вот примеры:
http://sigrand.ru/dl/camera/ti/sigticam-doc-ru/
http://sigrand.ru/dl/camera/ti/sigticam-doc-ru.pdf

Стили малоуправляемы, приходится копировать css,
чтобы поменять даже стиль таблиц,
параметров почти нет.

Исходник доки: http://sigrand.ru/gitweb/?p=sgdoc_sigticam.git
Общие настройки: http://sigrand.ru/gitweb/?p=df_sphinx_doc_set.git

[rdia.livejournal.com]

Помимо latex2html и tex4ht есть ещё hevea - http://hevea.inria.fr/

Что меня поражает - более гуманного, чем LaTeX, формата для набора просто нет. Все остальные по сравнению с ним не предназначены для редактирования человеком.

Кстати, совершенно непонятно, зачем сделали HTML, когда можно было в урезанный TeX вставить гиперссылки.

[vitus_wagner]

HTML я делаю потому, что более гуманного формата для чтения online не существует.
Поначалу я выкладывал только PDF, но народ взывл "хотим читать прямо в браузере".

[vitus_wagner]

Посмотрел на hevea. И обломился.
The verse environment is not supported.
Куда ж я в художественном тексте без verse-то?

??

[greenkrokodilla]

Хм.. а разве не проще уже готовый ХТМЛ в любой кодировке превращать из скрипта в ХТМЛ в любой другой, чем мучаться с исходником??

iconv -f WINDOWS-1251 -t UTF-8 -o new.file.utf.html old.file.html

Re: ??

[greenkrokodilla]

iconv -f KOI8-RU -t UTF-8 -o new.file.utf.html old.file.html

Сам iconv по-моему есть в любой Linux distribution, а если нет, то он компилируется и ставится элементарно.

Re: ??

[vitus_wagner]

В идеальном мире было бы проще. Но в неидеальном мире некоторые символы в файле в виде 8-битных символов iso8859-1 (причем с ненулевым старшим битом), а некоторые - в виде последовательностей utf-8. В результате получается некорректрый utf-8. iconv при попытке обработать такой файл как utf-8, сломается на первом же 8-битном символе.

Поэтому проще получить файл в котором 8-битные iso8859-1 представлены самими собой, а русские буквы в виде ш и его аккуратно перекодировать. Но iconv-у это уже не по силам. Html entitities он не умеет.

Re: ??

[gegmopo4.livejournal.com]

Вот перловый txt2html некоторое время назад норовил кириллицу в utf-8 записать, словно это iso8859-1, преобразуя не-ascii в именованные html entitities. И некоторые конвертеры из TeX-а страдали тем же.

[max630.net]

по силам утилите recode, вроде

Re: ??

[vitus_wagner]

Или под "файлом" имеется в виду вывод gitweb, который отдается веб-сервером?

Re: ??

[greenkrokodilla]

ну как, любой оконечный (для чтения через браузер) хтмл файл живет в некой единой кодировке.

Его взять, прогнать через iconv и положить как статический файл.
Или делать пдобное динамически скриптом, но там сами смотрите как у вас сделано и как включить его в цепочку.

Хотя я не представляю себе ваш setup, а потому конечно вам виднее

Re: ??

[vitus_wagner]

Ну вы глубоко заблуждаетесь, думая что файл всегда живет в единой (валидной) кодировке. Очень часто случается что из-за ошибок софта некоторые части файла получаются в одной кодировке, а некоторые - в другой. С выдачей tex4ht произошел как раз такой случай. И iconv с такими случаями не справляется. iconv вообще довольно хреновый перекодировщик.

И еще больше заблуждаетесь, полагая что html-документ это файл. В современном миер html-документ крайне редко бывает файлом. Как правило,. html документ генерируется на лету какой-нибудь сервер-сайт фигней из содержимого базы данных или репозитория. Поэтому если какой-нибудь элемент данных, участвующий в генерации, оказывается не в той кодировке, про которую думает эта серверная фигня, получается как раз такой HTML, в котором часть в одной кодировке, а часть в другой.

Re: ??

[vitus_wagner]

А что касается исходников, то мне надоело уже держать на диске файлы в кодировках прошлого века.

Re: ??

[gegmopo4.livejournal.com]

UTF-8 изобретён в 1992 году.