Ложные друзья транслятора

[vitus_wagner]

Сегодня вот напоролись на ситуацию, когда добавление ключевого слова в SQL приводит к тому, что постгрес перестает собираться НЕКОТОРЫМи компиляторами.
(разработчики, есественно, немедленно начинают ныть: "А, это винда, она неправильная" Ну и что, что неправильная, работать-то под ней надо).

Но дело оказалось не в винде.
А в том, что на каждое ключевое слово в постгресе создает значение типа enum.
(причем это происходит где-то в недрах ecpg. Ни разу ее видел живьем челвовека, который бы писал на Embedded в C SQL).
А ключевое слово было INFINITY. А в языке C есть макрос INFINITY. А у микрософта есть привычка включать все инклюды какие попало. Вот math.h и попал. А в gcc и clang, видимо, он туда, где определялся этот enum, не включался.

Диагностика от того, что посреди определения enum препроцессор раскрыл какой-то макрос, естественно, крайне невнятная. А файл, при компиляции которого эта ошибка происходит, еще и генерируемый.

Comments

[livelight]

C генерируемым кодом всегда так, особенно если часть идентификаторов приходит от пользователя. За день пишешь генератор для хорошей погоды, а потом неделю втыкаешь защиту ото всяких тёмных углов лексики и синтаксиса языка, библиотек и вот, как выяснилось, макросов.

[vitus_wagner]

C-шный препроцессор - это вообще хрень за гранью добра и зла. Говорю это как человек, много работавший с кодом OpenSSL, а потом еще пытавшийся поддериживать интерфейс к этой самой openssl на python-овском ctypes.

[cae32]

префикс добавить к enum?

[livelight]

А потом ещё gcc добавит от себя к каждой функции префикс "_", чтобы с кем-то ещё не подраться.

[vitus_wagner]

Вот четверть века жили люди без префикса, а теперь этим crazy Russians приспичило префикс. Вы представляете, что такое пропихнуть такого уровня архитектурное изменение в такого масштаба опенсурсный проект.

Проще оказалось поменять синтаксис на более похожий на человеческий английский.

[cae32]

Ну сделайте хотя бы глобальную подстановку в ванильные исходники для своей сборки. Как быстрый workaround пойдёт, а потом можно поднять вопрос в рассылке, ибо INFINITY всё-таки довольно важный define и отмазка в стиле "просто не включайте math.h" будет выглядеть неадекватно.

[vitus_wagner]

Ага, и при каждом втаскивании патча из апстрима разгребать в этом месте конфликты.

Нам проще было не использовать в этом месте слово INFINITY (тем более что по смыслу INFINITELY там лучше).

[livelight]

У вас баг в мэппинге SQL -> C, а вы правите язык SQL вместо того, чтобы исправить этот мэппинг.
Это скользкий путь. При таком подходе вам придётся в языке SQL обходить все места, опасные во всех языках, мэппинг в которых из SQL строится где-либо.

[vitus_wagner]

Так баг не у нас, а у апстрима.

Синтаксис SQL - у нас, в нашем расширении. А архитектура мэппинга - она апстримовская.

[livelight]

Это, конечно, усложняет жизнь. Ну вы до них донесли, что поскольку поставщики стандартных и нестандартных библиотек для Си, а также создатели нестандартных расширений для SQL всё время придумывают новые слова, им необходимо придумать механизм защиты от вот этого всего? Навскидку я бы предложил вести список опасных слов, и если таковое попалось - добавлять хотя бы подчёркивание в постфикс, например.

[cae32]

А, я понял, это было не расширение стандарта SQL, а ваша доработка.

[livelight]

Синтаксис чего вы поменяли? Postgres'овского SQL?! Или ECPG?

[vitus_wagner]

Мы в SQL новый оператор добавили. И вообще у нас там декларативный партишнинг еще год назад был. А сейчас у нас там можно декларативно партиционирвоать таблицы как в апстриме и через pathman.
Мы постоянно вносим изменения в посгресовский SQL.

Вот правда новый стандарт SQL JSON еще не дореализовали.

[eldhenn]

Чудесно, просто чудесно. А как отловили-то?

[vitus_wagner]

Ну как-как. Методом дедукции.
Посмотрели что поменялось по сравнению с той версией, что компилируется, посмотрели в генерируемый файл, на ту строчку. начиная с которой оно ругается. Потом я задался вопросом "А почему FOR ему не мешает, а INFINITY - не нравится", и тут до меня дошло что C - case sensitive.

[beldmit]

Во времена моей работы в Криптокоме я потратил пару дней на то, чтобы какое-то добавление начало компилироваться повсюду на тестовых машинах. Правка содержательно сводилась к добавлению и перестановке заголовочных файлов.

[vitus_wagner]

Ага, в период твоей работы в Криптокоме был один случай, когда я это свалил на тебя ;-).
А так вообще-то я этим что в Криптокоме, что здесь регулярно занимаюсь.

[beldmit]

Вряд ли ты. В "Визире" STL использовался только чтобы Черкашина пугать, а там #include были STL-ные, так что скорее всего это была консолька.

[vitus_wagner]

Ну видимо поэтому конкретно эту задачу и решал ты, а не я. Поскольку консольку я вообще не трогал.
А основные развлечения с переносимостью были в криптопакете. Поскольку визирь для спарков это был скорее proof of concept.

[cross_join]

Ключевое слово в проблеме - макрос.
Используйте пространства имен и константы - и ваши волосы будут чистыми и шелковистыми.

[yurikhan]

Осталось арендовать машину времени и объяснить про пространства имён и константы Кернигану и Ритчи. Или кто там первый в math.h макрос INFINITY написал.

[vitus_wagner]

Ага. И вообще переписать весь Postgres на Go или на Rust.
Чего уж мелочиться-то с плюсами.

[netch]

Сарказм не к месту. C++ уровня "си с классами и пространствами имён" сейчас настолько банален, что непонятно, какой есть смысл его не использовать. Ладно ядро, там рантайм очень специфичный, но постгрес уже не того типа проект.
А пространства имён очень спасают от множества подобных ситуаций.

[vitus_wagner]

Постгрес, как и любая нормальная СУБД местами работает с памятью и диском как бы на уровне не ниже ядерного. И в отличие от ядер он - переносим. Соответственно, посмотри на список поддерживаемых компиляторов, ужаснись и забудь про плюсы.

[netch]

Ну тогда и писать надо как на Си, а не как на ЯВУ.
Какое нафиг INFINITY, когда это могло быть только kw_INFINITY?
То же самое ещё в куче мест, как имена полей в структурах.

[vitus_wagner]

Вот с этим, пожалуй соглашусь. Но в этом надо убедить ту толпу ярких индивидуальностей которая тусуется в pgsql-hackers@postgresql.org

[livelight]

А что, пространства имён уже спасают от препроцессора? ;)

[eldhenn]

Оставить один макрос - #define # //

[livelight]

Ещё второй макрос нужен:
#define //include #include

А вообще не получится: в ванильном Си нет однострочного комментария //

[eldhenn]

Так вроде в cpp модули добавляют.

[vitus_wagner]

cpp - это С preprocessor. Да, проблема конечно в препроцессоре.

[netch]

Конечно, на это нужна соответствующая работа. В частности, потому и придумывают разные <cstdio> в отличие от <stdio.h>, что первые не гадят в общем пространстве имён, а аккуратно размещают свои определения в std; но на это их нужно было когда-то подточить.

[livelight]

Дык, в том-то и дело, что сделавший так перестаёт гадить другим, но того, кто так делает (использует пространства имён), это не спасает от тех, кто гадит в препроцессор. И повлиять на этих гадящих можно далеко не всегда.
Кстати, ещё ворк-эраунд: в компиляторе SQL->C перед каждой константой втыкать #undefine для неё :)

[filin]

О, Витус, скажи мне, как большой специалист по постгресу, какие в наше время (интересующая версия — 9.5) правильные действия, чтобы он сортировал строки по правилам русского языка?

Помнится, в старину надо было и базе чего-то говорить, и установку проводить с правильной локалью, и не дай бог оно потом не в той запустится... Я очень надеюсь, что те времена прошли, но один фиг, хотелось бы знать ответ до того, как база начнет заполняться.

charset — UTF-8.

[vitus_wagner]

Мы как раз в 9.5 добавляли в нашу версию большой-большой патч, который делал сортировку по умолчанию через библиотеку ICU.

Поскольку между измышлениями Дреппера и правилами русского языка - дистанция огромного размера.

Но если libc-шная collation устраивает, то там на самом деле все довольно просто. Вопрос в том, в курсе ли об этом "просто" мейнтейнер пакетов, или надо повыкидывать то, что он там наворотил и делать как написано в документации на постгрес. Потому что, как правило, мейнтейнеры пакетов эту документацию не читают.

В принципе, там все подробно документировано.

В десятке уже есть возможность собраться с ICU из коробки (но это опять же вряд ли мейнтейнер пакета это сделает), но там ICU-шные коллейшны будут использоваться только если они явно указаны при создании конкретных таблиц и индексов. Нам, чтобы оно работало по умолчанию, опять патчить пришлось.