Это абзац

[vitus_wagner]

Прислали мне сегодня rtf, который не смотрится catdoc-ом.
Бага, естественно оказалась у меня, и естественно в одной строчке.
Но чтобы она проявилась, требовалось чтобы в файле встретился абзац длиной более
256К символов. А тут весь полуторамегабайтный файл - один абзац.
Ну кто блин так XSLT-шки пишет (файл с fictionbook.ru, следовательно сделан из FB2 XLST-преобразованием).

Comments

[http://users.livejournal.com/_kleptos_/]

хороший повод начать писать тесты

[vitus_wagner]

Увы, написать тесты на все возможные извращения вордового, экселовского, поверпойнтовского и rtf-формата малореально. В связи с недокументинованностью оных и наличием багов в MS Office, compatibility с которыми приходится поддерживать. Поэтому пробавляемся набором тестовых файлов, которые присылают юзеры.

[http://users.livejournal.com/_kleptos_/]

согласен, но эта бага классический случай тестирования граничных условий

[alexott.livejournal.com]

о блин! а ты репозиторий не поднял где-нибудь?

[vitus_wagner]

Репозиторий где был там и остался. Правда, с сильно урезанной историей по причине февральского краха винта. И cvsweb работает. cvstrac правда, не восстановил.

[alexott.livejournal.com]

а пароль у пользователя cvs какой? кинь мне его на ott at jet.msk.su

[vitus_wagner]

Пустой там пароль для анонимного доступа. Вопрос в том что administrative files database перестроена не была.

[(Anonymous)]

все, сработало. так что можно теперь и смержиться

[vitus_wagner]

А с доступом over ssh у тебя попрежнему никак?

[alexott.livejournal.com]

не, пока нет. надо дома поднять линуксу

[gds.livejournal.com]

хороший повод использовать либо расширяемый буфер, либо, что гораздо сложнее, препроцессоры кода, позволяющие обрабатывать большие файлы в режиме "прочитаем, обработаем, выдадим", не засасывая весь файл в память.

[vitus_wagner]

Там все уже задумано правильно. Оно и работает в режиме "прочитаем, обработаем, выдадим", но старается абзац накопить полностью. Если не получается, то выдает. Засада была в том, что проверка на заполнение буфера была неверной, и затирался один символ после конца буфера. А в это место как раз попал указатель на входную кодировку. Поэтому в случае переполнения буфера оно перекодировало весь последующий файл черт-те во что. Как правило, на экран не выводилось ничего. Потому что в начале буфера оказывался нулевой символ. Или символы, отсутствующей в текущей кодировке. Забавно, что бага не проявлялась в MS-DOS версии. Видимо потому что в DOS младшие два байта указателя на выделенный malloc-ом блок в 512 байт и так всегда нули. Или потому что большая часть rtf-файлов нынче юникодные и понятие входной кодировки для них неиспользуется вообще.

[sceptic-008.livejournal.com]

Ну, а заплатку?

http://www.freshmeat.net
catdoc - Default branch
Section: Unix
Added: Fri, Jul 2nd 1999 06:37 PDT (7 years, 0 months ago) Updated: Fri, Dec 9th 2005 23:50 PDT (7 months, 11 days ago)

[vitus_wagner]

Кому очень надо - в CVS возьмет. У меня еще один ppt файл со странным поведением есть. Вот на него посмотрю - тогда отрелизю.
А на freshmeat я далеко не каждый релиз что-то обновляю. Последний релиз был 25 февраля.

[alexott.livejournal.com]

мне тоже несколько странных ppt прислали, но руки пока не дойдут на них посмотреть

[vitus_wagner]

Там очень странная фигня вылезла в ole_readdir - доступ к не той памяти, которая не мешает в catppt, но приводит к нехорошим эффектам, когда catppt пытаются встроить в приложение в виде функции. Надо под valgrind погонять.