Про вторую ИИ-революцию

[vitus_wagner]

Тут в ходе некоей дискуссии в ЖЖ появилось предсказание о том, какая будет вторая ИИ-революция.

1) Для начала очень многие, если не люди, то фирмы, начнут гонять LLM на своих локальных мощностях, дабы можно было спокойно доверять им конфиденциальную информацию, и она бы никуда не утекла.

2) Как только это явление станет массовым, возникнет спрос на LLM заточенные под конкретные задачи. В принципе уже сейчас крупные производители LLM выкатывают по десятку моделей слегка приспособленных к тем или иным задачам - эта для писания кода, эта для разговоров на общие темы и т.д. Но по идее, количество специализированных дообученных LLM должно быть сравнимо с количеством специальностей, которым сейчас обучает система высшего и среднего персонального образования.

3) Далее, фирмы будут брать профессионально обученную LLM и дообучать ее уже на конкретном "рабочем месте" своим внутренним процессам. Очевидно, что позволить себе вычислительные мощности, на несколько порядков превосходящие те, на которых модель способна отвечать на конкретные вопросы, сможет далеко не каждый пользователь модели. Но это и не надо. Большую часть работы по обучению сделают специализированные организации на двух предыдущих пунктах.

Как мы знаем, человек тратит примерно 17 лет для получения общего образования и базовой социализации, 3-6 лет для получения профессионального образования, и несколько месяцев для того, чтобы вписаться в рабочий коллектив на новом месте. Человек отличается тем, что он использует ровно ту же самоую аппаратную часть и для обучения своей нейросети и для inference. Как мы знаем хорошего геймерского десктопа для inference современных LLM вполне достаточно. А куда большие мощности для обучения нужны потому, что создатели моделей не готовы ждать 15-20 лет, пока модель обучится до уровня выпускника общеобразовательной школы. Им нужно прогнать это за несколько месяцев. Но, в отличие от естественного интеллекта, модель копируется. Соответсвенно скопировав созданную на супер-пупер компьютерах базовую модель, можно на компьютере на порядок слабее за пару месяцев дать ей "профессиональное образование", А там еще раз раскопировать и пусть уже дообучается на рабочем месте малой скоростью.

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек. Сейчас, когда у нас имеется одна модель и миллионы пользователей, вводится искусственное разделение на модель, скиллы, контекст и прочее. Если моделей будет много, такое разделение с возможностью отбросить более специализированные части будет лишним. (в крайнем случае всегда можно на бэкап откатиться).

Comments

[sab123]

Там не только то. Часть проблемы с обучением происходит от того, что его скорость (и вообще успех) сильно зависит от изначального случайного засева нейросети. Поэтому сети тренируют во многих экземплярах, и потом выбирают лучший.

[fhunter]

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек.

Это уже пробовали сделать, и это не работает - модель при этом очень быстро теряет навыки.

[vitus_wagner]

Значит ненправильно пробовали.

Раз не получилось, два нре получилиось, на 50-й раз получится, если делать выводы из предыдущих неудач.

Хотя вообще-то надо для начала подумать - а почему человекк не теряет навыки так быстро?