Англичанка гадит

[vitus_wagner]

У catdoc в Debian завелся новый мейнтейнер. Из UK. Накоммитил хрен знает каких патчей, и, естественно, сломал кириллицу (конкретно работу с маленькой буквой я в кодировке 1251). А ко мне с баг-репортами пристают,
Подозреваю, что, судя по словам cp932 в changelog-е, компиляцию для основной target platform он тоже сломал.

Потому что catdoc - нифига не юниксовая программа. Это 16-битная досовская программа, которая написана достаточно переносимо, чтобы собираться под unix.

В общем, нельзя носителям английского доверять работу с софтом, основная задача которого - преобразование кодировок.

Comments

[mynine.livejournal.com]

Это точно. Хотя, и дойчи тоже не сильно лучше. Мне тоже приходилось искать, исправлять и тыкать носом (и, боюсь, еще придется) в явные баги после перехода одного опен продукта на UTF8. Латиница-то у них абсолютно корректно работала, а сыпалось на кириллице :)

[rblaze.livejournal.com]

В немецком же есть расширеные символы, \u00df например.

[mynine.livejournal.com]

Я знаю, но тем не менее. Судя по всему, таких символов попадается слишком мало в текстах, чтобы проявлялись те эффекты.

[gegmopo4.livejournal.com]

А что в ихних кодировках с кодом 0xFF?

[fenster.livejournal.com]

Например, при неправильном обращении это EOF. Ошибка на уровне студенческой делать char c = fgetc(f) и потом сравнивать c и EOF. Не утверждаю, конечно, что в случае catdoc поломалось именно это.

[fenster.livejournal.com]

И да, проблема не в ихних, а в наших (точнее, в cp1251) кодировках :) Какого фига надо было на 0xFF навешивать реальную букву алфавита, спрашивается.

[vitus_wagner]

Непонятно, чем 0xFF отличается от любого другого значения.
Как можно было так испортить программу, вообще-то насквозь юникодную, чтобы она начала этому символу придавать особый смысл.

[avr-forever.livejournal.com]

Как бы EOF == (int) -1, а не (unsigned char) -1.

[fenster.livejournal.com]

Absolutely. Но проблема-то в том, что англоязычные товарищи считают нормальным читать символы в char c и сравнивать if (c == EOF), получая при прочитанном в c символе 0xFF истину при сравнении в том (частом) случае, когда char по умолчанию signed.

[vitus_wagner]

Вот за это мне хочется всегда повбивать и англичан,: и японцев.

Первых - за то что норовят для символа использовать 8 бит, что мало. Вторых - что 32, Что вызывает проблемы с выделением памяти в DOS.

[edo-rus.livejournal.com]

а есть ли смысл так заботиться о поддердке dos?

если не считать windows 98, то в последний раз dos я видел на компьютере, обслуживающем старый томограф.
насколько я знаю, тот томограф уже списан несколько лет назад. да и не был бы списан - catdoc там совершенно не нужен.

[shaplov.livejournal.com]

Ты добавь в дистритубив набор тестов, чтобы любой белый сэр мог догадаться, что в нашей африке приличествует делать, а что нет... Просто какой-то док файл с кириллицей проверять чтобы оттуда выходила тоже кириллица...

[gegmopo4.livejournal.com]

catdoc же вроде и на plain text использовать можно.

Зачем какой-то?

[pargentum]

Просто написать во всех основных кодировках:

съешь же ещё этих мягких французских булок, да выпей чаю

[vitus_wagner]

Увы, с набором тестов есть некоторая проблема. Имеющийся у меня набор тестов содержит всякие (впрочем давно потерявшие актуальность) приватные данные тех, кто эти файлы мне присылал.

А воспроизвести это набор - ну где ж я такой зоопарк версий Office возьму?

[shaplov.livejournal.com]

Ну, для начала, просто подойдет тест вида "doc c русскими буквами внутри". Оно сразу помешает англичанину все попортиь...

А если попорчанье идет на более древних версиях, я например старые компакт диски еще не выкинул. Могу поставить какое-то старье на виртуалке, и файл с русскими буквами сделать...

[vitus_wagner]

Имеется дохренадцать версий доков, столько же rtf-ов, стольо же xls-ов и примерно вдвое меньше ppt.

И все испортить можно по-разному.

Еще есть варианты сочетания русского офиса с нерусской виндой и наоборот. Работу с которыми, кстати англичанин пытался править, вводя какие-то эвристики на предмет шрифтов и языков, указанных в rtf.

[shaplov.livejournal.com]

Ну, понятно что всех вариантов сейчас уже не покрыть. Но я продолжаю говорить и полезности покрытия базовых вариантов тестов, и предлагаю некоторое сове соучастие...

А остальное, если хочется доказать что что-то сложно, то это тогда отдельный разговор...

[slobin]

А японцы обычно пытаются решать слишком общую задачу, и в итоге тоже получается плохо, потому что до мелочей реальной жизни руки у них не доходят. Лучше всего получается у греков, но греческих программ в мире как-то очень мало. Но та одна, что я видел, таки да работала! :-)

... Эстонский штопор ...

[gegmopo4.livejournal.com]

Братья по алфавиту. Двоюродные.

[dottedmag.net]

transifex.net?

[gegmopo4.livejournal.com]

Помнится, я тебе когда-то (много лет назад) присылал патч, исправляющий детские ошибки при работе с EOF.

Кодировочно-локализационные вопросы всегда проблемны

[mashckoff]

Помнится флешмоб по поводу включения русского словаря для проверки орфографии в официальную локализованную версию OpenOffice.org (или то была проблема фильтра xls95?).

Потому как (с другой стороны), локальная толпа набигает (тм) и разработчики/мантейнеры вынуждены менять приоритеты.

ЗЫ: я понимаю, что Вы автор программы и иллюстрация может выглядеть немного не подходящей.

[silly-sad.livejournal.com]

беда в том, что этим censored уже доверили разработку самих кодировок.
остальное -- мелочи.

[gegmopo4.livejournal.com]

Да с CP1251 оно вообще сейчас не работает — сегфолтится даже без буквы «я». Причём, на первый взгляд, в части, не тронутой мейнтейнером.

Почему бы тебе не принять в мейнстрим часть патчей выборочно? Там есть вполне разумные и безобидные изменения. Заодно включил бы мой патч по работе с iconv — и пусть собирают с ним, сразу же часть патчей по поддержке азиатских кодировок окажется ненужной.

[vitus_wagner]

Я никогда не включу твой патч по работе с iconv, потому что он ломает идеологию трехэтажной замены символов.

И пока у меня нет планов включать поддержку какой-либо функциональности, которая была бы неработспособна на основной платформе. А концепцию (хрен с ним с работающим решением) поддержки азиатских кодировок, которая бы работала в 16-битной compact-модели мне еще никто не предложил.

[gegmopo4.livejournal.com]

Ничего он не ломает. iconv используется для посимвольной перекодировки, меняется только реализация функций convert_char и to_unicode. Можно сделать и эффективнее, но это влияет только на скорость, а переписывать придётся больше.

Кроме азиатских кодировок (из-за которых дебиановский патч в 4 раза больше оригинального кода) там есть и другие изменения.

[vitus_wagner]

Вообще раз у них патч в четыре раза длиннее исходного кода, надо им предложить назвать программу каким-нибудь другим словом и более меня туда не примешивать.

[gegmopo4.livejournal.com]

Ты всё же отделяй зёрна от плевел. Исправление «becouse» там по делу.

А вот что в патч включены генерируемые файлы, вроде catdoc.{1,ps,txt} или config.h — хм…

[ramendik]

А какой толк международным дебиановским юзероам от русского комментария в блоге?

Вариантов решения, кроме "ты получаешь ключ и звание DD", "ты находищь вменяемого майнтейнера" и "ты пишешь тому майнтейнеру письмо, чтобы он делал уже форк", я не вижу.

[vitus_wagner]

Вот чего категорически нельзя делать, так это становиться мейнтейнером собственноручно написанной программы. Апстрим автор и мейнтейнер должны быть разными людьми.

[edo-rus.livejournal.com]

почему?

[vitus_wagner]

Потому что given enough eyeballs all bugs are shallow. Так пусть будет хотя бы две пары этих самых eyeballs.