Вот как это оно ухитряется

[vitus_wagner]

Обнаружил в своем питоновском скрипте проблему - если вывод направлен на терминал, оно работает нормально. Если вывод переназначен в пайп или файл, то делает шлеп по первому же русскому символу, говорит что не может его перекодировать кодеком ascii.

import sys
print "stdout=",sys.stdout.encoding
print "stdin=",sys.stdin.encoding

показывает, что у непереназначенного стандартного файла encoding соответствует текущей локали,
а у переназначенного - None.

Если сделать

import locale
locale.setlocale(locale.LC_CTYPE,'')

то кодировка None оказывается вполне совпадающей с тем, что ожидалось, и русские буквы нормально выводятся в пайп или файл. Т.е. собственно вызов setlocale проблему решает.

Вопрос в том - как этот гад ползучий ухитряется узнать в какой кодировке должны быть stdin и stdout, не делая вызовов setlocale и nl_langinfo(CODESET)?

В исходники его мне лезть лень. Но я знаю что меня читают минимум два человека, которые туда лазили. Может быть вы знаете ответ?

P.S. Все гораздо хуже. А вот если в исходнике написано # -*- coding: что-нибудь -*-
и что-то вроде print u'Привет' то просто установка локали в случае переназначения ввода-вывода
не помогает. Надо sys.setdefaultencoding делать. А эта функция доступна только при явном отключении загрузки модуля site (опция -S). Блин, я убью этого голландца.

Comments

[ramendik]

Интересно, а чем тебя дожало до питона?

[vitus_wagner]

Как чем? Заказчик пришел, денег принес и говорит "хочу, чтобы ваша криптография в питоне работала".

[roman_sharp.livejournal.com]

Python at Google (Greg Stein - SDForum) (http://panela.blog-city.com/python_at_google_greg_stein__sdforum.htm)

...

Attitudes toward Python

* 1995 - eShop - What is python?
* 1996 - eShop - Python is great and making us successful
* 1997 - MS (acquired eShop) - Shipped embedded python in their product
* 1998 - MS - We are using python? That was a "prototype". Let's re-write it. (The re-write in .asp was slower)
* 2001 - Collabnet - We don't use python
* 2003 - Collabnet - Write that in python
* 2005 - Google - Of course we use python


В поисках как-то выносило на вполне змеиные страницы Гугла.

[dottedmag.livejournal.com]

Лично я делаю просто: не пишу Unicode туда, где поток байт, без явной перекодировки.

Ты же знаешь, что Unicode в py2 - это afterthought.

[vitus_wagner]

Где поток байт? В stdin/stdout? С какого перепуга?

А вообще у меня не поток байт, а подписанное сообщение. И в нем - сертификат, в котором естественно все написано по-русски. И надо информацию о подписи выводить.

[dreams4rent.livejournal.com]

Извращаемся в стиле

import sys, codecs, locale

if sys.stdout.encoding is None:
	enc = locale.getpreferredencoding()
	if enc is not None:
		sys.stdout = codecs.lookup(enc).streamwriter(sys.stdout)

А вообще грустно все это, да.

[slobin.livejournal.com]

Как ПРАВИЛЬНО, я и сам толком не знаю (и тебе ещё везёт -- под Win32, похоже, вообще нельзя спросить OEM кодировку, а в консоли именно она), но, если ОЧЕНЬ ХОЧЕТСЯ дёрнуть за setdefaultencoding, то -S делать не надо, а надо в sitecustomize.py либо usercustomize.py написать:

import sys

sys.setappdefaultencoding = sys.setdefaultencoding

И потом уже дёргать за копию. Я не знаю, почему это опасно (Гвидо не стал бы зря прятать полезную функцию), но, если вызвать её достаточно рано, то ничего вроде не ломается. По крайней мере, в своих написанных на Питоне приладах для Вима я этим пользуюсь. Правда, под Вин32, под нормальной системой ещё не успел проверить.

P.S. setappdefaultencoding -- имя произвольное, но так было в том месте, где я прочитал эту идею, и мне оно понравилось.

... Имя Бо Яна известно всем китайцам ...

[slobin.livejournal.com]

А, нет, usercustomize появилось только в 2.6, которого почти нигде нет. Так что только sitecustomize. Бардак!

... А если сломается время - мы его тоже починим? ...

[vitus_wagner]

Я не знаю, почему это опасно

Ну у людей бывают странные заскоки. Вон в openvpn и encfs почему-то имеется совершенно необъяснимая нелюбовь к режимам шифрования, отличным от CBC. Никто в openvon-devel объяснить не мог. Мы с Игусом голову сломали, да так и не поняли чем им
CTR и CFB не нравятся.

[http://users.livejournal.com/_slw/]

питон не предназначен для серьезных проектов, да

[vitus_wagner]

А что предназначено? Java или mono?

[roman_sharp.livejournal.com]

Его в Google используют.

[dzz.livejournal.com]

Угу, он предназначен только для легкомысленных и совсем смешных ;)

На самом деле, ни на чём не основанное суждение. Проекты бывают разные.

[phd_ru]

Ни на чём не основанная чушь, да. На Python прекрасно пишутся успешные проекты по 100k строк, которые живут и развиваются по многу лет.

[http://users.livejournal.com/_nik_/]

Определите ваше понимание термина «серьезные проекты», пожалуйста.
В моем понимании данного термина серьёзные проекты на питоне таки вполне пишутся и не сказать, чтобы приходилось с питоном для этого серьёзно воевать.

Не могу не процитировать :)

[dzz.livejournal.com]

[dzz.livejournal.com]

Гы, я с проблемой кодировок в 2.х уже давно борюсь :)

Вопрос, разумеется, в кодеках, которые имеют к локали весьма опосредованное отношение. Дефолтный кодек в питоне - 'ascii', он не пропускает юникода.

Наиболее дешёвым вариантом вывода юникода куда угодно является насильное преобразование из типа юникод в тип стринг следующего вида:

u'Привет, мерзавцы'.encode('utf-8').

А вот за что убить голландца таки надо - так это за отдельный тип unicode :)

[vitus_wagner]

Знали бы вы сколько я, tobotras и другие десять лет назад пинали американцев, разработчиков Tcl, чтобы у них наконец неотдельный unicode заработал нормально. Заработал он по-моему только в 8.3, хотя ввели его в 8.1.
А Ларри Уолла так по-моему и не допинали, хотя он с 5.6 начиная облизывается на работу с unicode, а на дворе уже 5.10.

Про японцев, которые Руби делают, я уж вообще молчу. Те б и сами догадаться могли.

[phd_ru]

В Python3 нет отдельного типа unicode, там все строковые операции юникодные. Но, конечно, там есть отдельный тип "строка байтов".

[buriy.livejournal.com]

вот никогда таких проблем как у тебя не было.
нефиг пытаться писать unicode в ascii файл.
надо делать так:

buriy@bur-mac:~$ python > 123
Python 2.5.1 (r251:54863, Feb  6 2009, 19:02:12) 
[GCC 4.0.1 (Apple Inc. build 5465)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> print u"Привет"
Traceback (most recent call last):
  File "", line 1, in 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)
>>> print u"Привет".encode('utf-8') # or
>>> print u"Привет".encode('utf-16') #Unicode16-LE

и всё ок!

[buriy.livejournal.com]

вообще, зачем себе создавать лишний геморрой, вдруг твоим скриптам понадобятся символы не из sysencoding. оно и вылетит тогда, как с ascii.

[alexcrown.livejournal.com]

Установить дефолтную локаль в 2.5 можно так:
import sys; reload(sys); sys.setdefaultencoding(encoding)

Рецепт тут: http://lxj.endofinternet.net/blog/2009/02/encodings-in-python/

[phd_ru]

1. В Python2 все файловые операции должны выполняться с байтами. Не пиши unicode в stdout, подожди Python3. Если в Python2 запись unicode в файл сработала - это случайно, не полагайся на случайное везение.

2. locale.getdefaultlocale(), locale.getpreferredencoding() и sys.getdefaultencoding() можно вызвать, не вызывая setlocale().

3. sys.setdefaultencoding() делать нельзя. Я когда-то делал, и получал многочисленные советы перестать - нарвёшься на проблемы. Я нарвался на проблемы, перестал, и теперь присоединяюсь к хору и другим советую перестать.

[slobin.livejournal.com]

3. А какие именно проблемы? Я ни в чём большом так делать не рискую, но в тридцати строчках внутри _vimrc, наверное, можно: в крайнем случае упадёт vim. ;-) И уж в любом случае не reload(sys) -- при указанном мной способе проблемы, в крайнем случае, вызовет сама setdefaultencoding, а при перезагрузке sys -- вообще всё, что угодно, в том числе и не имеющее к кодировкам никакого отношения.

... Не рой другому яму сам! ...

[olpa.livejournal.com]

http://uucode.com/blog/2007/03/23/shut-up-you-dummy-7-bit-python/
Многие мои программы начинаются так:

import Locale
Locale.force_utf8_hack()

где Locale.py:

import sys, locale, os

def force_utf8_hack():
  reload(sys)
  sys.setdefaultencoding('utf-8')
  for attr in dir(locale):
    if attr[0:3] != 'LC_':
      continue
    aref = getattr(locale, attr)
    locale.setlocale(aref, '')
    (lang, enc) = locale.getlocale(aref)
    if lang != None:
      try:
        locale.setlocale(aref, (lang, 'UTF-8'))
      except:
        os.environ[attr] = lang + '.UTF-8'

[ilya-portnov.livejournal.com]

А я примерно так делаю:

import locale
ENCODING = locale.getpreferredencoding()
...
print u"ляляля".encode(ENCODING)

Обычно оказывается ENCODING=='utf-8', но мало ли чего...