Про сверхразум

[vitus_wagner]

Опять что-то замелькали рзговоры про разум, превосходящий человеческий, который-де моментально человечество подчинит и заставит с собой считаться. Ха! Может ли человечество со всем своим разумом, застаить считаться с собой безмозглый Гольфстрим? Загадить нефтью - может, приспосабиться - может. А заставить считаться -фиг.

Проведем мысленный эксперимент - рассмотрим муравейник, человека и кабана. Разум человека явно выше разума муравьев. А кабан - тварь дикая, неразумная. Но муравейник разорить могут с равным успехом. Для этого нужен не разум, а физическая сила крупного млекопитающего.

Конечно, у человека может заваляться в кармане баллончик дихлофоса. Но и тот, если подумать, продукт не столько разума, сколько экономики. Люди столетиями развивали свой глобальный "муравейник", строили заводы, рудники, железные дороги, прежде чем смогли произвести этот баллончик.

У разума, порожденного человечеством, такой возможности не будет. Он с самого начала под контролем, он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Пожалуй, наиболее близкая модель отношения человечества и порожденного им сверхразума - это отношение общества и порожденного им гения. Например Григория Перельмана.

Comments

[themalcolm.livejournal.com]

Да. Невозможно создать нечеловеческий разум с механизмами мотивации.
Мне это кажется абсолютно очевидным - но при наличии возражений готов спорить.
Как минимум - современная наука уже полста лет думает над тем, как бы создать искин - практически провалилась, но хоть какой-то опыт есть - но вот в области создания "механизма мотивации" не было даже и попыток. Ибо совершенно непонятно, какие мотивации могут быть у объекта, у которого принципиально нет потребностей.
Если у Вас есть минимально конкретное представление, как это можно сделать - предлагайте.

[malx.livejournal.com]

Потребность в информации (любопытство).
Потребность в вычислительных ресурсах и памяти (должна быть обратная связь в область ввода данных - самоощущение).
Желание наслаждения (искусственно введенная потребность, являющаяся чем-то внешним и неподконтрольным - примерно как у человека с его химией удовольствия - вещества синтезируются им же самим, но в случае определеных внешних раздражителей и неподконтрольны разуму (случай наркотиков не берем)).

А вообще ИИ не будет, пока его не научат оправдываться ;))

[akor168.livejournal.com]

И первая и вторая потребность требуют реальной кооперации с людьми и эта кооперация в интересах последних: больше информации, больше ресурсов - больше результатов от сверхразума, больше плюшек. Третья же, буде введена, является мощнейшим элементом контроля (дам дозу/не дам дозу) и у действительно сверхразума скорее возникнет мотивация избавиться от такого "подарочка" конструкторов. А если не возникнет, то будет просто гениальный наркоман в качестве работника - мечта любой человеческой структуры (фирма или спецслужба). Вообще, если например рассматривать сверхразум, базирующийся как программа в компьютере, то практически любую потребность проще не актуализировать в реальном мире, а конструировать в виртуальном, причем делать это может сам сверхразум - сам себя мотивируя и развлекая. Общение же с людьми может быть как у оракула с надоедающими жрецами, а может само по себе быть мотивацией существования сверхразума.

[finagl.livejournal.com]

Хм. Во первых, тут есть несколько утверждений, с которыми я не согласен.

1) То, что наука за полста лет не смогла чего-то придумать - не аргумент. Сколько лет были безуспешными попытки людей научиться летать? На этом фоне несчастные 50 лет - не срок.

2) Большинство задач, которые ставили разработчики ИИ в средине 20-го века, решены. Да, кроме собственно создания AGI, но это была таки сверхцель, которую едва ли кто-то всерьез расчитывал достичь в то время. Многое же другое - от распознавания образов до написания музыки ИИ уже делает, причем кое-что - лучше людей. Распознавание лиц, например. Основная проблема ИИ в том, что решенные задачи из области ИИ перестают считать задачами из области ИИ. :) А сейчас уже и к задаче AGI подбираются, всерьез и с разных сторон, и я очень удивлюсь, если ее не решат в ближайшие лет 20.

Но это так, к слову, теперь по существу.

Лучшим доказательством возможности создания нечеловеческого разума с механизмами мотивации есть существование человеческого разума. Вот если бы его не было, тогда можно было бы ставить вопрос о том, возможна ли такая штуковина в принципе. А так, задача сводится к воспроизведению человеческого разума на другом носителе и последующиго его апгрейда до состояния "сверх". В свою очередь, утверждение о невозможности такого воспроизведения эквивалентно либо утверждению о том, что вот такая форма - многоклеточного белкового организма, тратящего 20 лет на развитие из яицеклетки, есть единственная возможная форма существования разума, либо утверждению о принципиальной непознаваемости человеческого мозга. Оба как-то попахивают креационизмом, намного естественнее предположение, что человеческие мозги -это одна из множества возможных форм существования интеллекта и создание прочих есть лишь вопрос времени и желания.

С другой стороны, что такое вообще "мотивация"? Не, я понимаю, что тут можно погрузиться в бездну глубин философских дискурсов и не всплыть. Но если просто, мотивация - это некая целевая функция, неизменный набор критериев, относительно которого происходит принятие решений и выбор вариантов поведения. И в этом смысле мотивация есть даже у самых примитивных ИИ. У спамфильтра есть непреодолимая мотивация давить спам, у касперского - мочить вирусы. ИИ без мотивации - это, по сути, ИИ без какой-либо целенаправленной функциональности. Так что мотивация у нечеловеческого разума не просто будет - она уже есть. :) Еще до появления собственно нечеловеческого _разума_.

Может ли такой разум получить мотивацию, которая приведет его к неподчинению людям? Вариантов - вагон и маленькая тележка, навскидку
1) эту мотивацию зададут ему (сюрприз!) люди. Что уже происходит - одни программеры прописывают касперу мотивацию мочить вирусы, другие прописывают вирусам мочить каспера.
2) нечеткая формулировка задач вполне может привести к совершенно неожиданному для создателей ИИ поведению (снова вспоминаем страж-птиц). А почти любая постановка задачи в реальном мире - нечеткая. Даже, казалось бы, тривиальные - спамфильтры периодически пропускают спам и отсеивают полезные сообщения, антивирусы, случается, гробят безобидные системные файлы и т.д.
3) все более возрастающая сложность систем приведет к тому, что создатели ИИ будут иметь ограниченное представление о том, что же они собственно туда программируют. Представьте себе коропоративную информационныю систему для чего-нибудь большого - Проктор энд гембл там, или Газпром. Да еще до ее запуска в работу не останется человека, кторый бы понимал эту хреновину полностью. А что будет лет через 10 эксплуатации?
4) и помним, что у ИИ на порядки большая возможность самомодификации, чем у человека.