Про Qwen на локальной машине

[vitus_wagner]

Что-то на https://chat.qwen.ai суточные лимиты токенов на бесплатных аккаунтах какие-то совсем негуманные стали.

По этому поводу попробовал запускать qwen локально На CPU, с использованием llama.cpp скомпилированной с OpenBLAS. Ну надо сказать работает. Медленнее в разы, конечно, чем на их серверах. Зато в неограниченных количествах. Прикручивать к локальному инстансу нейронки командлайновый клиент, чтобы оно код писало, пока не пробовал, хотя знаю как. Вообще командлайновый клиент там через API работает, а через API лимиты другие.

Хочу ещё попробовать

1. Локально погенерировать картинки. Интересно, осилит оно это без NVidia-вской видеокарты?
2. Попробовать собрать llama с ROCm и запустить на chara. Там вроде как видеокарата поприличнее. чем на десктопе. Или лучше с Vulcan?
3. Попробовать запустить генерацию картинок на ноутбуке Ирины. Там-то как раз NVidia, правда с небольшой памятью. (4гига уже небольшая считается. А я ведь помню времена когда 1Мб считалась большая, а маленькая - 256Кб, но и на ней мы ухитрялись режим 640x400x8bit запускать).

Comments

[z3vv5yqifqx6]

Vulkan скорее всего заработает, ROCm — не факт, что легко заработает, и не факт, что будет быстрее Vulkan. Наверное, лучше сначала собрать вариант с Vulkan, потом посмотреть, легко ли заработает ROCm, если легко не получится, то бросить.

stable-diffusion.cpp с Vulkan работает, и с CPU работает (с ROCm, говорят, тоже). Сколько нужно вычислительных мощностей под всё это — вопрос того, с какой точностью хочется контролировать результат, и сколько есть терпения. Некоторые совсем продвинутые методы управления генерацией (ControlNets и далее) s-d.cpp поддерживает между наполовину и скорее нет (и есть ощущение, что полностью поддерживающее эти изыски ПО с ROCm запустить можно, но тяжело, а с Vulkan не судьба сейчас).

4GiB VRAM, видимо, позволит перенести на GPU ощутимую часть, но не всю, работу.