15 лет UTF-8

[vitus_wagner]

Как любят говорить на ЛОРе, годовщина подкралась тихо и незаметно.
Но хитроумный slobin её всё же отследил и опубликовал ссылку
на исторический документ.

Как выясняется, и эту вещь изобрели Роб Пайк и Кен Томпсон. Ну просто талант у людей изобретать нечто, что выглядит жутко, вызывает массу ругани, но все пользуются, потому что лучше никто придумать не может.

Comments

[shaplov.livejournal.com]

Ура!
Я, как оказалось, очень даже правильно этот день отмечаю: выковыриваю из rtf2html коммуниверные зависимости... А там перекодирование все через уникод... ;-)

[gegmopo4.livejournal.com]

И чего же жуткого и вызывающего массу ругани в UTF-8?

[alexkuklin.livejournal.com]

Ну как же.
Байт-экстремисты типа croco жутко ругаются на то, что вместо кодировки применяется модель конечного автомата, если я ничего не путаю..

[gegmopo4.livejournal.com]

Вот когда в байте будет по крайней мере 31 бит...

[duke-igthorn.livejournal.com]

Больше слушать кроко...

[shaplov.livejournal.com]

Ну может быть, еще лет через пятнадцать, мы, умудренные сидинами, на радость croco весело перейдем на utf-32 или даже utf-64, где один символ будет занимать фиксированное кол-во байт...

[ninazino.livejournal.com]

Да, тот же вопрос возник и у меня.

[angry-elf.livejournal.com]

Юникод вводят-вводят, вводят-вводят, а он всё никак не введется. Видимо, в этом :)

[vitus_wagner]

Ты когда-нибудь строковые операции с UTF-8 пробовал программировать?
Сравни как-нибудь время работы grep на файле utf-8 и в однобайтной кодировке.
А сколько граблей (так до сих пор и непреодоленных) породило притаскивание UTF-8 в X11...

[vadiml.livejournal.com]

ага, я irc клиента с кодировкой utf8 как-то выписывал -- радость еще та, все время перепроверял чтоб ни чего не забыть

[alamar.livejournal.com]

А что надо было сделать?
Вместо UTF-8?

[silly_sad.livejournal.com]

неоднозначность.
необратимость.
неявно введённое отношение родства между алфавитами (некоторые символы из юникода принадлежат сразу многим алфавитам!)
незамкнутость относительно катенации строк.

и всё это лишь мелкие следсвия того, что юникод не кодирует алфавит, он кодирует внешний вид (графику) алфавита. а это полный и очевидный бред.

[llivejo]

это все к уникоду, а не к одной из его кодировок UTF-8

[netch]

В такой постановке кодировки алфавита не может быть в принципе.
Задача создания единой кодировки безусловно сложна. И решение, применённое в юникоде, при всей его ограниченности в ряде областей - оптимально.

Ваши же предложения откровенно деструктивны. Например, возьмём вариант "взять все буквы всех алфавитов, совокупно со всеми известными знаками препинания и разделителями, и пронумеровать их любым образом": сколько раз у Вас будут повторены основные латинские символы? В одном алфавите есть W, в другом нет. В одном есть Â, в другом нет. Простую A придётся повторить несколько тысяч раз? А с учётом всех будущих алфавитов?

А русский современный и русский дореформенный с добавкой, например, Ѣ - безусловно разные алфавиты и их надо кодировать раздельно? А если учесть все промежуточные этапы петровских реформ? Документ 1710 года и документ 1740 года будут кодироваться разными кодами?

Авторы юникода не дураки и такой ошибки не допустили. Да, есть проблемы в том, что в греческом, латинском и кириллице одна и та же на вид и по сути A кодируется по-разному. Да, есть проблемы в том, что у русского и украинского почти 30 общих букв и по кодам их не различить, несмотря на разные роли некоторых букв. Но это - решение, которое будет работать для большинства случаев. Ваше - сломает всё что только можно сломать.

Так что бред - не юникод, а Ваши комментарии.

[ignik.livejournal.com]

Они велики и мы - сынки пред ними :-)

[silly_sad.livejournal.com]

этот маленький шаг двух людей - огромный скачок назад для всего человечества.

если верить основополагающим документам то УТФ это способ кодирования _ГРАФИЧЕСКИХ СИМВОЛОВ_

тоесть он фактическиотменяет такую прекрасную и с таким трудом выработанную человечеством абстраукцию как АЛФАВИТ - набор букв безотносительно их внешнего вида.

Юникодом нельзя представить ТЕКСТ, как мы привыкли его понимать - всегда будет получаться ИЗОБРАЖЕНИЕ ТЕКСТА.

Кто не понял разницу - я не виноват. Идите дальше фанатеть от "прогресса".

[vitus_wagner]

Все твои претензии - это претензии к собственно юникоду - набору символов. А utf-8 - это способ представления набора из четырех миллиардов символов в байт- ориентированных системах. Однозначный, обратимый и т.п.
А все потому что юникод изобретал комитет, а утф - два человека.

[silly_sad.livejournal.com]

ну они же не отменили заглавную глупость юникода, которая возвращает письменность в средние века. не отменили. а развили её и может быть благодаря "удобству" кодировки поспособствовали укоренению этой мерзости в обществе.

[mc6312.livejournal.com]

Тогда и ASCII - изображение текста. Там же есть отдельные коды для заглавных и строчных букв?
А менять это всё на что, пардон? Изобретать кодировку без заглавных, а для регистра заводить отдельную сущность или пихать его в разметку? И кто будет все эти чудо-стандарты сочинять и продавливать в массы? Гигантский Человекоподобный Мицгол?

[silly_sad.livejournal.com]

глупость несёшь и даже не морщищься.

> Там же есть отдельные коды для заглавных и строчных букв?

а с каких это пор Регистр буквы является графическим аттрибутом ?

ASCII хотя бы патается кодировать именно алфавит (хотя и зело разбавлен всяким мусором)

уфф...

[(Anonymous)]

> если верить основополагающим документам то УТФ это способ кодирования _ГРАФИЧЕСКИХ СИМВОЛОВ_
> тоесть он фактическиотменяет такую прекрасную и с таким трудом выработанную человечеством абстраукцию как АЛФАВИТ - набор букв безотносительно их внешнего вида.

Следуя этой логике, строчные буквы от прописных тоже отличать не надо :-)

Вообще, что-то ты умное явно хотел сказать, но не сказал.

Вот, скажем, буквы ä и a -- выглядят похоже, но читаются по разному. Или, иными словами, разница в графическом представлении и определяет разницу между буквами. То есть, a от b отличается одним "классом различий", ä и a -- другим классом, а буква "a" серифным шрифтом от той же "a" сан-серифным -- третьим "классом различий". Собственно, почему одним различиям должно оказываться предпочтение?

ps. у кого уникод не показывается -- "ä и a" -- это U00E4 и U0061.

[tzirechnoy.livejournal.com]

И, что характерно, опять при разработке новой, немерянно крутой OS. Как-бы так из попросить plan 9 забросить и что-нибудь новое создать, а то ведь через 15 лет вообще ничего приличного не останется?

[vitus_wagner]

Так они уже Inferno создали.

[fireballdark.livejournal.com]

Какая страшная дискуссия, не думал что даже по этому вопросу в принципе возможны столь ожесточённые споры, бликие к holy war...

[vitus_wagner]

У меня в журнале возможен холивар по любому поводу.