Про сверхразум

[vitus_wagner]

Опять что-то замелькали рзговоры про разум, превосходящий человеческий, который-де моментально человечество подчинит и заставит с собой считаться. Ха! Может ли человечество со всем своим разумом, застаить считаться с собой безмозглый Гольфстрим? Загадить нефтью - может, приспосабиться - может. А заставить считаться -фиг.

Проведем мысленный эксперимент - рассмотрим муравейник, человека и кабана. Разум человека явно выше разума муравьев. А кабан - тварь дикая, неразумная. Но муравейник разорить могут с равным успехом. Для этого нужен не разум, а физическая сила крупного млекопитающего.

Конечно, у человека может заваляться в кармане баллончик дихлофоса. Но и тот, если подумать, продукт не столько разума, сколько экономики. Люди столетиями развивали свой глобальный "муравейник", строили заводы, рудники, железные дороги, прежде чем смогли произвести этот баллончик.

У разума, порожденного человечеством, такой возможности не будет. Он с самого начала под контролем, он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Пожалуй, наиболее близкая модель отношения человечества и порожденного им сверхразума - это отношение общества и порожденного им гения. Например Григория Перельмана.

Comments

[finagl.livejournal.com]

У вас все еще остается картина, в которой есть множество атомарных однотипных солидарно и рационально действующих человеческих существ, контролирующих полностью пассивные эффекторы с одной стороны и, пусть даже возникший в сети, но тоже атомарный и отдельный от сети, эффекторов и людей интеллект, которому нужно перехватить контроль, причем сделать это за один раз и немедленно после появления. Но это же не так!

* Люди очень отличаются друг от друга по способностям и уровню развития. Верх человечества по уровню интеллекта относительно низа вполне себе смотрится weakly godlike intelligences. :) Так что "человеческий интеллект" - понятие несколько размытое. При этом одним носителям разума без всяких приставок "сверх" удается контролировать массы других носителей.

* У разных людей разные цели, часто конфликтующие друг с другом. Так что вполне возможен союз человека и новорожденного ИИ - против других людей, в собственных эгоистических или идеалистических целях, вплоть до целенаправленного его создания и выпуска на волю.

* Люди не владеют полной информацией о мире и часто действуют иррационально. Они могут просто не догадаться, что вот эта штуковина чем-то им угрожает или наплевать - "а, на этот раз пронесет, срублю бабла еще разок, потом выключу".

* Человеческие разумы нифига не атомарны, они всегда существуют в коллективах, что еще больше размывает понятие "человеческий интеллект" и дает нам целый спектр возможных нечеловеческих, но включающих в себя людей (как вариант - "и людей тоже")

* Эффекторы в наше время нифига не пассивны. Спам-фильтр у вас в почте, это и эффектор и очень примитивный, специализированный, но таки интеллект. Каспер на компьютере - это эффектор, интеллект, или рабочая особь коллективного организма "Kaspersky Lab"? Естественно ожидать, что со временем эффекторы будут умнеть, так что не исключено, что новый разум зародится в той самой системе информационной безопасности (что и произошло в "Терминаторе", кстати)

* Нет четкой границы - вот тут разума не было, а вот он появился, ату, мочить его. То, в чем он возникнет, существует уже какое-то время, делает что-то полезное... и первым проявлением "оразумления" будет то, что оно начнет делать полезное еще больше и лучше - и с чего б это все кинулись его убивать? Да за него компания-владелец сама активистов-антиэйайщиков поубивает нахрен. Так что возможности учиться, расти и развиваться у него будет сколько угодно.

* Новорожденная штуковина почти наверняка будет юрлицом или существовать с составе какого-то юрлица, от его имени она имеет возможность совершенно законно действовать в мире. В том числе, нанимать юристов для своей защиты, программистов - для развития, технику - для воздействия на материальный мир и работяг - чтобы жать на рычаги этой техники.

Где-то так.