Журнал Витуса

На распутье

2025-12-09T06:00:20Z

Захотел вот написать пару небольших программок с полноэкраннм текстовым интерфейсом. И задумался, а какой инструментарий для этого выбрать.

В принципе, интерфейс задуман достаточно простой. Его можно как в прошлом веке на чистом curses написать. И, пожалуй, это будет быстрее, чем изучать современные фреймворки.

Но может быть стоит посмотреть на что-то более современное?

Пока рассматриваю два варианта urwid и textual.

Первый кажется более обозримым, но как-то набор виджетов совершенно непривычный. Я всё-таки в CUA парадигме воспитан и диалоговые окна мыслю в терминах комобоксов, строк ввода и тому подобное и неизменных размеров. А там скроллируемые виджеты-контейнеры (что, конечно при ограниченном разрешении текстовых экранов может быть полезно, если не злоупотреблять).

Второй - более развесистый, есть например готовый tree widget. Но за красоту платить придется, и платить в первую очередь местом на экране. Ну что такое текстовая кнопка в три строки размером? Даже в Turbo Vision две было.

X-Post to LJ

comments

Прежде чем что-нибудь сделать, посмотри, не сделал ли это кто-нибудь уже

2025-12-03T06:50:45Z

Тут нашел очень полезный инструмент поиск активных форков на github и с его помощью выяснил, что нашелся добрый человек Тим МакКормак, который не поленился портировать ljdump на третий питон.

Ура, у меня опять резервно копируется ЖЖ и Dreamwidth. C февраля не копировались. Надо что ли это еженедельно в крон поставить, чтобы само делалось. А то я это как-то раньше руками запускал, и довольно нерегулярно.

А поиска-то нормального по ЖЖ нет, а по локальной копии - очень даже.

Естественно, я эти изменения втянул в свой форк,

Надо что-ли его отблагодарить и сделать ему пулл-реквест с задержками для обхода анти-бот политики ЖЖ.

X-Post to LJ

comments

Проекты

2025-04-23T14:25:54Z

Вот есть у меня сейчас несколько опенсурсных проектов, которыми может быть стоит заняться, пока не устроился на фулл-тайм работу

переписать gost-engine на новый, появившийся в openssl 3.x интерфейс провайдеров.
Если уж взялся, за провайдеров то покопаться в pkcs11 провайдере - вдруг там можно малой кровью допилить до поддержки гостовских алгоритмов. Правда плату за это надо требовать с Aktiv, потому что играться я буду с ruToken. А они вряд ли так сильно заинтересованы в этом.
Посмотреть что у нас в Postgres с провайдерским интерфейсом openssl и может чего на коммитфест залить на предмет и алгоритмов, и токенов на клиенте. В 18 версию уже не успею, так хоть в 19.
По-моему в собственно утилите openssl явно не хватает ключиков для работы с ключами и, особенно, сертификатами на токенах. Но не уверен что пропихнуть соответствующий патчик будет легко даже с помощью beldmit.
Написать упрощенный CA для маленьких интранетов. Который будет ориентирован на генерацию ключа вместе с сертификатом, потому что и для внутрикорпоративных сайтов, и для openvpn это основной юз-кейс, когда администратор CA и администратор сайта/VPN - одно лицо. А то что CA.pl, что easy-rsa требуют два движения для получения сертифката - сначала создать ключ и заявку, а потом на заявку выписать сертификат. А здесь основное должен быть даже не код, а лежащий максимально близко к коду, чуть ли не в виде встроенного хелпа учебник по правильному обращению с сертифкатами и ключами. (надо irenedragon попытаться привлечь).
Вспомнить про ctypescrypto и переписать ее под 3-е версии и python, и openssl (возможно пригодится для юнит-тестов на провайдеры. А возможно, для юнит-тестов на провайдеры надо портануть ctypescrypto на Platypus )
Написать аналог calcurse но с бэкэндом пригодным для синрхронизации vdirsyncer. Под этот проект я даже когда-то репозиторий завел.
Была у меня еще идея про линуксовый management interface для openvpn Правда из-за отсутствия у меня теперь необходимости ходить в конторскую openvpn оно как-то менее актуально стало.
vws тоже надо бы переписать с нуля под третий питон и девятый qemu. Но может стоит подождать пока 12-й qemu выйдет.

comments

vitus_wagner @ 2025-02-28T08:53:00

2025-02-28T05:55:49Z

Встретил в питоновском коде вот такую констркуцию

    def __init__(self, version: str) -> None:
        self._version = str(version)

Что бы это значило? Если мы на этапе type checking отсекаем все что не str, зачем нам явным образом преобразовывать значение в строку?

Или это на случай если код будет запущен без предварительной статической проверки на типы?

comments

И еще про ансибля (... ... .. откликнулось эхо)

2024-12-09T15:06:19Z

А вы знаете, сколько реализаций алгоритма SHA 256 нужно иметь в системе, чтобы заработал ansible?

python. У него есть hashlib в стандартной библиотке
openssh- надо. А он хочет libcrypto от openssl.
paramiko- надо, а она хочет python3-cryptography (слава богу устроила версия в которой еще не было Rust)
... и python-nacl (вот зачем одному и тому же пакету и то, и другое одновременно?).
А еще python3-cryptodome

Я уже, кажется со счету сбился.

comments

Paradigm Linter

2024-07-10T07:25:45Z

вот тут nataraj в очередной раз ругает Python. Но по-моему зря ругает. К сожалению это общее правило. Ежели нечто у нас практически полезное, оно не может быть концептуально чистым. Его задача get things done, а не научить людей правильно мыслить. Нельзя вырезать узор на дереве инструментом, который не позволяет порезаться.

Поэтому, если испольовать для обучения не игрушечные инструменты, а настоящие (кстати perl это касается в примерно той же степени), то нужен какой-то отдельный прибамбас, который будет следить за тем, чтобы ученик учился мыслить правильно, концептуально чисто, а не эклектично. (на следующем этапе обучения ученика надо будет научить когда, как и почему надо уметь отсупать от концептуальной чистоты).

Вот у нас есть такие инструменты как pylint и perlcritic, которые находят разнообразные стилистические и не только погрешности. Я вообще взял себе за правило не коммитить питоновский код, не проходящий pylint и шелловский код, не проходящий shellcheck, Потому что если проанализируешь все ворнинги этих инструментов и некоторые потключаешь управляющим комментарием в конкретном месте кода, будешь по крайней мере уверен что код делает то, что ты имел в виду.

Но для целей (само)обучения нужен инструмент более высокого уровня. Который будет тыкать в нос "вот у тебя 80% кода написано в объектной парадигме, а здесь ты почему-то используешь чисто процедурное решение". То есть отслеживать применение известных парадигм и выдавать предупреждение где происходит переключение с одной на другую. Наверное, с помощью нынешних LLM такое уже можно написать.

Видимо, тут нужен подход, подобный тому, который использует perlcritic - учебник, и в сообщениях программы линтера ссылки на конкретные разделы этого учебника, в которых достаточно пространно объяснено почему так не надо делать.

comments

Змейско-пиявское

2023-01-26T12:29:45Z

Вчера ухитрился написать программу, несовместимую с python 3.7. И ведь было бы что важнное. А всео-то был вот такой код

 # формируем в переменной cmd длинную команду с параметрами в виде списка
 logging.notice("Executing " + shlex.join(cmd))
 process = await asyncio.create_subprocess_exec(*cmd,
   stdout=subprocess.PIPE, stderr=subprocess.PIPE)

Красоты захотелось. А вот в Debian oldstable не работает нифига. Потому что там python 3.7.3, а join в модуле shlex появился в 3.8. Пришлось там shlex.join заменить на " ".join, благо ничего страшного от кривого квотинга в логе не будет.

Ладно, доконфигурят коллеги новые ARM-ы не будет там уже oldstable.

comments

Python 3.10

2021-10-10T07:38:29Z

Вышел новый питон. А в нем добавили pattern matching в стиле ML-ей, эрланга и Rust-а. Интересно, будет ли оно пользоваться популярностью, и если да - как скоро.

До сих пор как-то по-моему python развивался в противоположном направлении и высокоумные теоретические конструкции вроде lambda в нем норовили объявить deprecated. А тут вот полноценный pattern matching.

В остальном как-то ничего особо принципиально нового там не видно. Эх, избавиться бы поскорее от дистрибутивов с 3.2 и 3.4, чтобы можно было писать без огляднки на то что "вот это поддерижвается только с 3.5, а это - только с 3.8".

Кстати, у меня вот тут вчера на сервере опять запрос сертификтов с let's encrypt сломался. Потому что это было первое обновление сертификатов после апгрейда на bullseye. И acme_tiny вдруг внезапно обнаружила что просто "python" в системе больше нет. А догататься поискать python2 или python3 (оно вообще-то и с тем и с тем умеет) - шебанги у нас не настолько умны. Там тоже паттерн-матчинг нужен чтобы перебирать несколько вариантов интерпретатора (это я на днях наблюдал как jenkins java ищет на слейве. Не нашел что характерно, пришлось туда руками лезть и ставить).

Пришлось поставить на сервер специальный пакет python-is-python3. С ним сертифкаты обновились.

comments

List flattiening in python

2021-02-17T07:30:28Z

Имеется элементарная задачка - есть список шаблонов. Надо получить список файлов, удоволетворяющих любому из них.

У меня почему-то получается монструозная конструкция:

from glob import glob
from itertools import chain
chain(*[glob(x) for x in patterns])

Так то оно еще ничего выглядит, но когда там Inline список из десятка шаблонов, а все это в аргументе for... Неужели никак попроще нельзя?

Upd Приз моих симпатий получает двухуровневый comprehension:

import glob
{f for p in patterns for f in glob.glob(p)}

А фигурные скобки - это чтобы избежать дублирования, ежели получится что один и тот же файл удовлетворяет нескольим шаблонам. В результате будет set, ну и какая разница, for можно и по set гонять.

comments

Отгадка

2021-01-12T07:20:58Z

Задачку, запощенную вчера сумел решить только slobin.

В картинке содержался стеганографический текст, упакованный туда с помощью программы stepic. В процессе переписки в stepic-е был выявлен баг, который, впрочем, имеет простой воркэраунд.

Всем, искавшим тайный смысл в цвете шерсти кошки Варьки присваивается звание почетного гражданина г. Вращенцы. (у кого его еще не было).

comments

Python vs C

2020-11-18T08:43:33Z

Однако, насколько питон лучше С. В случае C-шных модулей мне приходится требовать от разработчиков, чтобы не пользовались фичами языка, появившимис позднее стандарта C-99, то есть 20 лет назад. А в случае python наиболее древняя версия, совместимость с которой требуется - 3.2.3, вышедшая всего 8 c половиной лет назад

comments

Новое рабочее место Гвидо

2020-11-12T19:40:35Z

Хорошо, что не Гугль

comments

Python и Java

2020-11-06T14:03:26Z

На слешдоте пищут Python overtakes Java.

Хочется нарисовать картинку в стиле традиционной медицинской эмблемы "Тёща ест мороженное", только вместо вазочки для мороженного - кофейная чашечка.

comments

Вышел питон 3.9.0

2020-10-06T11:50:19Z

Интересно, а до 3.14.15 нумерация дойдет? Он же всё-таки пи-тон.

comments

Электронно-библиотечное-2

2020-07-13T09:12:50Z

Наконец довел скрипт, про который я писал еще дые недели назад до состояния, что не стыдно выложить на github. Всё не мог собраться и дописать туда поддержку djvu. Поддержку мэппинга имен авторов в каноническую форму и запуска скрипта с cwd не совпадающей с корнем электронной библиотеки пока не делал.

comments

Электронно-библиотечное

2020-06-30T07:36:33Z

Написал себе новый скрипт для сортировки электронных книг. Уже не на shell через xmlstarlet, а на python с использованием xml.etree. Etree гораздо более требователен к валидности xml, поэтому на некоторые книги, особенно происходящие с Самиздата оно злобно ругалось, пришлось их немного руками править.

Что самое забавное, при корректной работе с namespace началась еще и чехарда с epub-ами. Выяснилось что имеющиеся у меня epub-ы используют аж три версии Doublin Core:

http://purl.org/dc/elements/1.1/
http://purl.org/dc/elements/1.0/
http://purl.org/metadata/dublin_core

Вообще-то я все это затеял, чтобы хранить fb2 не зазипованными, как раньше (и как они скачиваются и с флибусты, и с самлиба), а распакованными, чтобы было удобнее их синхронизировать с электронной книгой. Почему-то epub раззиповывать эта железяка умеет, а .fb2.zip - в два приема - сначала раззиповывает и выкидывает меня в главное меню, потом опять ищи по иерархии директорий то место, куда она его распаковала.

Правда моя малая библиотека (которая ранее синхронизировалась со смартфоном) в таком виде не лезет в 4 гига. Надо либо не копировать на электронную книгу pdf и djvu, их все равно читать с ее экрана неудобно, либо проредить fb2. А то там у меня полно вещей, которые я начал читать, а они не пошли.

С другой стороны, наоборот, хочется приделать раскладывалку по каталогам по именам авторов и к pdf и djvu тоже. Правда, там будет общая засада с epub - имена авторов в метаинформации этих форматов, пишут как попало, и надо как-то объяснить скрипту, что "Первушин Антон Иванович" это

<last-name>Первушин</last-name>
<first-name>Антон</first-name>
<middle-name>Иванович</middle-name>

а вот Ursula leGuin это

<first-name>Ursula</first-name> 
<last-name>leGuin</last-name>

Причем, естественно, варианты с разным порядком частей имени встречаются во всех языках, на которых я читаю.

comments

Вот почему оно так?

2020-04-22T20:09:12Z

Имеем вот такой файлик:

# -*- encoding: utf-8 -*-
from __future__ import print_function

class Callme:
    def __init__(self, arg):
        if arg:
            self.__call__ = self.foo
        else:
            self.__call__ = self.bar
    def foo(self):
        print("foo")
    def bar(self):
        print("bar")
    

x = Callme(True)
x()
y = Callme(False)
y()

Запускаем

python3 call.py
Traceback (most recent call last):
  File "caller.py", line 17, in 
    x()
TypeError: 'Callme' object is not callable

python3 call.py
foo
bar

Что я делаю не так?
Я, конечно могу обмануть питон, объявив

def __call__(self, *args):
     return self.action(*args)

а в конструкторе присваивать self.action. Но как-то оно странно. Всю жизнь думал что в питоне все логично, и если можно методы присваивать, то любые можно.

О, оказывается можно присвоить self.__class__.__caller__. Тогдавсе работает.
И меня в принципе устраивает. Поскольку тот объект, которому я хочу менять поведение при вызове в программе
в любом случае ровно один.

comments

Питонистическое.

2020-01-05T18:44:19Z

Выяснил что в стандартной библиотеке питона модуль collections, а в нем функция namedtuple. Позволяющая генерировать наборы данных с именованными полями и нулевым оверхедом. Более того named tuples - hashable, т.е. могут использоваться в качестве индекстов dict или элементов множества. И их очень удобно создавать из списков, dictionaries и тому подобных конструкций.

Теперь хочу реализацию операций реляционной алгебры над set of named tuples.

comments

Чем мне не нравится khard

2019-12-24T13:09:03Z

Долгое время я для работы с адресной книжкой в формате vcard пользоватлся самописным питоновским (Python2 only) скриптом. Который использовал свой собственный vcard-parser (зато понимат vcard2.0, как его генерят старые кнопочные телефоны), не умел объединять контакты и все такое прочее.

Потом, с появлением radicale и vdirsyncer перешел на khard, который использует модуль vobject. Выяснилось, правда, что унаследованные еще от Ericsson R320 контакты из записной книжки в нем обрабатываются не очень хорошо, но это вопрос однократного преобразования формата.

Что там приятно - в ряде операций где нужно выбрать один контакт, а заданный поисковый критерий возвращает несколько, удобно сделано меню выбора нужного.

Удобно редактировать контакт в виде развесистого yaml файла с кучей подсказок.

Что неудобно

1. Полное отстуствие средств работы с фото. (кстати, патчик на гитхабе давно висит.
2. Отсутствие экспорта в формате vcard. То есть отредактировать исходную vcard можно, а выдать на stdout нельзя. Зато можно имя файла получить.
3. Отсутствие импорта. Нельзя повесить khard в качестве mailcap-обработчика на text/x-vcard с тем чтобы приложенные к письмам подиписи импортировать в записную книжку или то же самое сделать с переданными по блютус с чьего-то телефона визитными карточками.
4. Недопортировано на python3. Ошибки вида TypeError: __str__ returns bytes object периодически вылетают.
Впрочем не буду кидать в автора камень. У самого в ctypescrypto с этим сложности.
5. Не умеет работать с внешними адресными книгами. Ладно, черт с ним, я согласен прописать в конфиг.
Но нужно тогда добавить возможность по умолчанию не искать по некоторым книгам. Хотя я бы предпочел возможность просто указать в командной строке имя файла/директории

Вот думаю - то ли пофиксить и заслать pull-реквест, то ли свой скрипт починить.

У моего скрипта было еще то преимущество, что он работал с записной книжкой в одном файле, а не по файлику на контакт. А именно такую книжку умеет читать claws-mail. Впрочем vdirsyncer одно в другое легко преобразует.

comments

Все врут календари.

2019-12-23T10:17:48Z

Поразвлекался еще тут немного с не самым мейнстримным календарным софтом - vCalendar plugin к claws-mail
и calcurse.

Задача, которую хочется решить - это обеспечить нормальную синхронизацию между андродидным календарем и десктопным с использованием своего caldav сервера (в качестве которог у меня radicale).

То есть получается следуюая картина:

Есть vdirsyncer, который синхронизирует локальный ics-файл с сервером, есть андроидные устройства на которых тоже все впорядке.

vCalendar plugin умеет импортировать ics. И даже автоматически его обновалять. В режиме чтения все нормально.
Но вот создавать новые события он будет не в импортированном календаре а в своем собственном (они выглядят в дереве папок как две соседние папки внутри vCalendar).

Он умеет экспортировать свой календарь в .ics-файл. Но в другой. И даже вызывать указанную программу после экспорта. И при этом:

1. Делает его нечитаемым для питоновского модуля vobject, на базе котрого сделан radicale. Путем добавления туда некоторых полей с датой 0000000T000000 на которые питон весьма обоснованно ругается "не бывает нулевого месяца".
2. экспортирует не только новые события но и те, которые были эксполртированы.
3. Таймзону ставит GMT.

Следовательно, если я хочу обратно засинхронизировать события, измененные в claws-mail в radicale, мне нужно
0. Перед разбором средствами модуля vobject удалить поля с некорректной датой.
1. Выцепить из экспортированного файла новые события
2. Поменять им временную зону на ту, которую использует radicale
3. Скопировать их в тот календарь, который синхронизирует vdirsyncer.

В принципе все это на питоне через тот же vobject делается в два экрана. Но может быть лучше взять исходники плагина и поправить. (хотя это -то придется делать на C++).

Что касается calcurse, то при всех его симпатичных свойствах он использует собственный формат хранения, а не ics. И при повтороном импорте изменившегося ics-файла дублирует события - отфильтровать по uid не догадыватеся.
Зато его можно повесить обработчиком mime-тип text/calendar в текстовый почтовый клиент вроде mutt.
Но только если этот клиент у вас единственный и ни с чем синхронизировать его вы не хотите. Или по крайней мере все остальные календари будут read-only.

Возникает мысль взять питоновские модули curses и написать программму с интерфейсмо в точности как у calcurse, но использующую в качестве backend-хранилища ics-файл, синхронизируемый vdirsyncer-ом.

comments

Гвидо ван Россум уходит на пенсию

2019-10-31T06:42:53Z

https://blog.dropbox.com/topics/company/thank-you--guido

comments

Выложил модуль fstrans на pypi.

2019-10-21T11:05:45Z

https://pypi.org/project/fstrans/

В основном ради того, чтобы научитсья пользоваться setuptools. Хотя сам модуль в общем вполне практически полезный. Для себя делал. Базовую идею я придумал еще во времена Communiware, где картинки хранились на диске, а текст в базе данных, и требовалось сделать чтобы картинкам можно было сделать rollback. Тогда соответствующий код, конечно же был на перле написан, а не на питоне.

Сейчас использую этот модуль для работы с репозиториями пакетов. Поэтому оно умеет не только коммиты-роллбэки но и сериализацию доступа к дереву файлов.

И таки да, test suite запускается штатными средствами setuptools. В distutis, когда я там делал поддержку запуска test suite для ctypsecrypto, все руками приходилось делать.

P.S. Надо бы найти время и переписать setup от ctypsecrypto на setuptools, а заодно окончательно починить там работу с бинарными данными в 3-м питоне.

comments

Inter SCM-ное

2019-09-16T07:14:08Z

Выяснил сегодня, что в fossil появилась возможность автоматического миррора в git-репозитории.
Ну то есть возможность экспорта и реэкспорта там была столько. сколько я этот инструмент использую.

А вот теперь в версси 2.9 Ричард Хипп прикрутил туда более автоматическую миррорилку и сам миррорит код fossil на гитхаб.

Подумал и сделал гитхаб миррор vws.

Теперь думаю
а) а не сделать ли фоссиловские мастер-репозитории для dyngo и ctypescrypto у которых сейчас на гитхабе мастер-репозиторий.
б) а не сделать ли на гитхабе клоны фоссиловских репозиториев моей фантастики
в) а не оживить ли гит-репозитории в https://wagner.pp.ru/git/fiction, приделав туда автопуш из соответствующих фоссиловских репозиториев, где идет работа.

comments

Dyngo

2019-09-12T09:02:34Z

Зачем-то взял и написал dyndns клиента, который умеет одновременно ходить к разным dyndns-серверам.

В смысле - смотрим из каких сетей у нас сейчас есть IP-адреса и если этим сетям прописаны разные dns-сервера, апдейтим адреса на всех. Собственно понятно зачем мне это нужно - чтобы при подключении ноутбука к конторской сетке что через VPN, что через wifi в офисе, ему бы выдавалось имя в dns (пусть в моем, который вообще-то для виртуалок). А то по ssh ходить неудобно - не через avahi же имя ssh-хоста резолвить.

Написано на python3 без ГМО, холестирина, лямбды и регулярных выражений.

Надо бы еще собраться в пакет завернуть, а то по всем ноутбукам это раскидывать...

И еще есть мысль закоммитить туда же dyndns-скрипт который работает через nsupdate. У меня такой есть, но он не на том языке написан (и вообще не помню кто его оригинальный автор, и откуда я его надыбал). А то скрипт который работает с dnsmasq я уже закоммитил.

comments

Радикальное

2019-09-06T10:48:19Z

При апгрейде wagner.pp.ru на Debian 10 больше всего сил и нервов сьел маленький radicale, у которого всех данных-то 150 кб телефонной книги и 15 кб календарных событий.

Потому что:
1. Из конфигурации убрали префикс URL для работы за reverse proxy. И блин хоть бы написали
"вместо base-prefix используйет http-заголовгок X-Script-Name".
2. Переехали с python2 на python3. А в модуле vobjects при работе в python3 была бага. (которую я уже зарепортил) из-за которой при попытке сериализовать честно распарсенную vcard оно выдавало
Failed to store item '4c393f45-ae9b-4e32-9720-33118152246c.vcf' in collection 'vitus/2b6f78b0-270c-b45d-6e18-3238dad34b44': a bytes-like object is required, not 'str'
Стэк-трасса конечно никуда не показывалась и догадаться в чем дело было довольно непросто.В конце концов выяснилось что последовательность

import vobject
vcard=vobject.readOne("""....""")
vcard.serialize()

эту ошибку прекрасно воспроизводит.
3. После того как эта проблема решилась, началась фигня с фотографиями. Пришлось довольно долго возиться. прежде чем я понял, что PHOTO;TYPE=JPEG;ENCODING=BASE64 оно понимать перестало. Ему теперь надо PHOTO;TYPE=JPEG;ENCODING=B (и версия VCARD тут абсолютно ни на что не влияет). Кстати PHOTO:data:image/jpeg;base64,.... оно тоже не понимает, хотя в спецификации на VCARD 3.0 это предусмотрено.

А вот оказывается, что жить без синхронизируемых с сервером адресной книжки и календаря я уже отвык. И не столько я, сколько мой телефон, который при попытке отключить синхронизацию вообще перестал показывать контакты.

В общем, я чувствую, что после того как python 2 официально объявят deprecated борьба с кодировками во всех библиотеках для python 3 предстоит куда более суровая чем 20 лет назад в tcl и несколько позже в perl.

Мне вот тут на этой неделе в ctypescrypto баг зарепортили что в python3 оно не умеет работать с бинарными данными в CMS. (Ох, ну когда ж я тесты на этот самый CMS напишу? Судя по багрепортам на гитхабе, CMS это основное для чего народ ctypescrypto использует).

comments