AI на старом железе

[vitus_wagner]

Я тут когда-то писал, что современные LLM имеют ба-а-альшие резервы для оптимизации на уровне алгоритмов. То есть можно заставить их работать на куда более слабом железе, чем используется сейчас.

Вот накпример, такой пример - запустили llama2 на макбуке 20-летней давности (2005 года!) с процессором PowerPC 1.5ГГц и всего 1Гб памяти.

Так что я думаю мы еще увидим вполне юзабельные LLM на смартфонах 2022 года.

Comments

[fhunter]

Всё равно это упирается в объёмы памяти. Так-то в смартфонах давно (минимум за несколько лет до 2022-го года) уже есть TPU/NPU предназначенный ровно для этого самого. Почему не применяют именно для LLM - это уже другой вопрос (спроса на оффлайн нет? качество результатов от мелкой нейросети плохое?)

[vitus_wagner]

Тут дело в том, что взя экосистема смартфонов заточена на то, что в се что можно - не локально. Даже синтез речи, для которого достаточны жалкие десятки гигабайт словарей, по умолчанию делается server-side, а чтобы работал локально, нужно пароочку кнопок в настройках нажать. Сталкивался с тем, что если это не сделать, то при выезде из зоны покрытия 4G в зону Edge зачитывание fb2-файла вслух затыкаться начинает.

[stiv_sigmal]

FBreader вполне пристойно читает вслух fb2 (и прочие форматы) полностью оффлайн на смартфонах даже десятилетней+ давности. Где дискового пространства всего единицы гигабайт и андроид… Ну, короче, тех времён.

[vitus_wagner]

Вот именно в FBReader-е я на это и натчкался. Он использует системный TTS Engine. А у того бывает, что после обновления меняется формат словарей. И пока не залезешь в настройки и не скажешь, что словарь надо локально выклачать, работает через онлайн.

[stiv_sigmal]

Мда уж. Буду знать. Ни разу на это не натыкался, наверное, потому, что до сих пор с относительно старым телефоном хожу.

[stanislavvv]

На смартфоне 2020-го года запускал в termux. Оно работало, но грелось и тормозило...

UPD: запускал через llama.cpp, модель уже не помню, но где-то в начале 2024 года.