Про сверхразум

[vitus_wagner]

Опять что-то замелькали рзговоры про разум, превосходящий человеческий, который-де моментально человечество подчинит и заставит с собой считаться. Ха! Может ли человечество со всем своим разумом, застаить считаться с собой безмозглый Гольфстрим? Загадить нефтью - может, приспосабиться - может. А заставить считаться -фиг.

Проведем мысленный эксперимент - рассмотрим муравейник, человека и кабана. Разум человека явно выше разума муравьев. А кабан - тварь дикая, неразумная. Но муравейник разорить могут с равным успехом. Для этого нужен не разум, а физическая сила крупного млекопитающего.

Конечно, у человека может заваляться в кармане баллончик дихлофоса. Но и тот, если подумать, продукт не столько разума, сколько экономики. Люди столетиями развивали свой глобальный "муравейник", строили заводы, рудники, железные дороги, прежде чем смогли произвести этот баллончик.

У разума, порожденного человечеством, такой возможности не будет. Он с самого начала под контролем, он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Пожалуй, наиболее близкая модель отношения человечества и порожденного им сверхразума - это отношение общества и порожденного им гения. Например Григория Перельмана.

Comments

[shaplov.livejournal.com]

Люди привыкли думать что они это разум... Вот и страхи у этого разума появляются соответствующие... Но вот только человек это не только разум, ценный мех и более полуцентнера...

[nathoo.livejournal.com]

страшненькая перспективка-то. ибо эффекторы он себе скорее рано чем поздно, перехитрив тупых контроллеров отрастит.

/усмехаясь/

[hungry-ewok.livejournal.com]

Зачем отращивать? Имея бабло - что для искина в нашем электронном мире ну ни разу не проблема - на любую работу можно нанять все тех же людишек. И они сделают все сами.

[kirill-lunjov.livejournal.com]

ВСе страхи, что придут и подчинят - не от разума, а от его отсутствия - чего подчинять тех, кто недоразвит - воспитывать что ли?
А с Перельманом точно сверхразум возьмет и пошлет , мол, ну, неинтересны вы все мне...

[potan.livejournal.com]

Если муравейник строится не там, где это устраивает людей, судьба муравейника будет печальна.
Если муравьев не устраивает что делает человек, они могут доставить человеку неприятности, но попять же дорогой для себя ценой.
Конечно, человечество и сверхразум смогут сосуществовать некоторое время. Может даже большое. Пока конфликта интересов не будет.

Перельман не годный пример. У него нет ни социального сверхинтелекта, ни больших амбиций. Только честность (даже излишняя) и математическая гениальность. Очень далеко от того, что можно назвать "сверх-".

[alll]

> Если муравейник строится не там, где это устраивает людей, судьба муравейника будет печальна.

Фараоновы муравьи думают иначе.

[themalcolm.livejournal.com]

А откуда у сверхразумав возьмутся амбиции? Или, хотя бы, цели и желания?

[mikhailian.livejournal.com]

Излишняя честность - признак шизофрении.

А математическая гениальность - продукт образования и стихийно сложившихся условий. У Перельмана было отличное математическое образование, а жизнь сложилась так, что внешних раздражителей было мало, что позволило человеку углубиться в решение математических задач.

[alll]

> Но и тот, если подумать, продукт не столько разума, сколько экономики.

Каковая экономика сама по себе есть продукт разума. С другой стороны, той же ломехузе чтобы подчинить муравейник без надобности и разум человека и физическая сила кабана.

> Он с самого начала под контролем,

истинно говорю вам - сверхразум разовьётся из спамерских бот-сетей

> он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Чтобы управлять нужны не руки-ноги, а средства коммуникации. Каковые нынче находятся в крайне доступном состоянии.

[mikhailian.livejournal.com]

>истинно говорю вам - сверхразум разовьётся
>из спамерских бот-сетей

Хорошая идея для фантастического рассказа. Хотя впрочем... было уже (http://oldsf.ru/mastera-zarubezhnoi-fantastiki/gerbert-vfranke/poslednii-programmist.html).

[allter]

> сверхразум разовьётся из спамерских бот-сетей

Скорее, из целого объединения зомби-сетей, торговых роботов, P2P кредитных систем (когда они появятся, если появятся), интернет-банков и онлайн аукционов.

Зомби-сети будут обеспечивать пространство для жизни торговых роботов, кредитные системы обеспечивать прокачку и учёт RL-ресурсов, а онлайн-аукционы - обеспечивать найм людей-"эффекторов" за RL-ресурсы (естественно, для задач, с которыми дроны-машины, непосредственно подключенные к сети, не смогут сами справляться).

Собственно, и "подчинение человечества" сверхразумом будет похоже не на разорение муравейника извне, а, например, на механизм, с помощью которого сам муравейник защищается от неблагоприятных обстоятельств (например, смерти матки, если я не путаю с другими соц. насекомыми) так, что одни виды муравьёв начинают выполнять другие функции (кто-то _один_ перерождается в матку), либо, вообще, весь муравейник мигрирует с места на место. Либо, например, сверхразум будет похож на механизм, с помощью которого живые организмы избавляются от составляющих их омертвевших клеток.

перельман мог бы захватить мир

[freedom_of_sea.livejournal.com]

но не хочет. И аффекторами ему черепа крошить не пришлось бы.

Был у Азимова рассказ как Всемирный Мультивак запланировал себя убить. Такую косвенную интригу провернул! Правда, в первый раз его поймали на мелочи.

[poor-sysadm.livejournal.com]

подчинит да ещё как.
ибо гольфстрим нельзя водить за нос, а людей - запросто.
у Герберта Франке было на эту тему кстати.

[sahonko.livejournal.com]

Проблема не в разуме или его сверх... Проблема в возникновении некоторого субъекта - организма или сверхорганизма интересы существования котрого будут расходиться с человеческими интересами. При этом данный субъект не обязательно должен обладать сверхразумом или просто разумом в нашем понимании. А про сверхорганизм я уже писал http://www.forum.msk.ru/material/economic/20195.html

[vitus_wagner]

И вы писали. и Лазарчук писал. Но этим организмам уже столетия, и человечество более-менее учится с ними сосуществовать.

[lalibu.livejournal.com]

фондовый рынок - отличный пример того, когда сверхразум легко заставляет с собой считаться.

[karanagai.livejournal.com]

Мне кажется куда страшнее гораздо более прозаическая перспектива: система контроля чего-нибудь опасного просто будет написана с ошибками и испоганит нам жизнь не по злому "умыслу", а по "недомыслию". Вспоминается рассказ одно приятеля как они вывели средства управления каким-то большим агрегатом в некотором университете на веб. А потом оказалось, что при определённом изменении параметров на этой веб-страничке этот агрегат можно взорвать, притом так, что пострадают окружающие здания университета. Вот что-то такое, но в масштабе планеты, меня куда больше пугает, чем терминаторы ;))

[vitus_wagner]

У вас мания величия. Нет у человечества таких технологий чтобы "вот что-то такое в масштабах планеты"

Как максимум - можно взорвать крупный город. Или устроить утечку нефти в миллион баррелей в сутки. Вон она, в Мексиканском заливе уже несколько месяцев течет, и что, планета заметила?
А один вулкан чихнул - и вся авиация на неделю кончилась.

[finagl.livejournal.com]

Тут, как говорится, или трусы надеть, или крестик снять. Либо _сверх_разум, либо "он с самого начала под контролем". Во втором случае мы имеем какую-то разновидность narrow AI, с которыми возможны, конечно, проблемы, но другого рода (страж-птица, ага). Если мы говорим о сверхразуме, то предполагаем как минимум человеческий уровень свободы и разнообразия в механизмах мотивации и принятия решений, а приставка "сверх" как-бы намекает нам, что по крайней мере часть характеристик разума превосходит человеческие - быстродействие, например, или объем информации, которой он может оперировать, или еще что-то.

В сравнении способностей человека и кабана по части разорения муравейника смешаны в кучу два разных параметра - интеллект и энерговооруженность. Энерговооруженность, конечно, параметр важный, но неинтересный. Астероид с достаточной кинетической энергией может, не обладая даже интеллектом инфузории, прикончить и людей, и кабанов, и муравьев, и гольфстрим нафиг развернуть в обратную сторону, и что? Интеллект, с другой стороны, может частично компенсировать более слабую энергетику, с другой - помочь ее нарастить (человек, вообще-то, оперирует энергиями на порядки большими, чем физическая сила крупного млекопитающего).

Правильная постановка вопроса о "борьбе разумов" - кто выиграет в случае конфликта интересов? Скажем, человек, кабан и муравьи конкурируют за один ресурс - я бы не поставил в этой игре на кабана или муравья. Разумеется, человек рассматривается в комплекте со всей своей человеческой цивилизацией, ибо человеческий разум это социальное явление, рассматривать его в отрыве от общества бессмысленно - другими словами, либо за конкретной человеческой особью стоит цивилизация, либо эта особь не намного разумнее кабана.

Ну и наконец, хотя с этого надо было начать - у вас явно просматривается представление о гипотетическом сверхинтеллекте как о чем-то, создаваемом целенаправленно в лабораторных условиях в единственном экземпляре на изолированном компьютере. Это очень старый концепт, пожалуй, еще из докиберпанковской НФ. И очень маловероятный сценарий появления не/пост/сверхчеловеческого разума. С тех пор утекло много воды и придумано много более других сценариев - и самозарождение его в компьютерных сетях, и коллективные интеллекты, и расширение ресурсов мозга внешними имплантами, и аплоадинг... Наиболее вероятный сценарий глядя из сейчас - зарождение во многих местах множества разных (в значении как "разных типов", так и "разных экземпляров") разумов, все более отличающихся от человеческого и все более его превосходящих.

(тут было еще многобуков, но в формат камента оно нэ лизэ... может, позже у себя отдельным постом положу)

[vitus_wagner]

Я как раз про то, что разум ничто, эффекторы -все.
И любой спонтанно возникающий в компьютерной сети разум оказывается в среде, где действуют миллионы вполне разумных существ с отточенными эволюцией рефлексами и умением конкурировать и кооперироваться.
Будь он хоть весь из себя сверх, для систем информационной безопасности, контролирующих доступ к эффекторам - он не более чем еще один гениальный хакер - и не таких ловили. Поскольку разум набирает опыт постепенно, а силу с опытом - изначально он под контролем. Сумеет вырваться или нет - вот вопрос.

А вообще если есть несколько мыслей, шлите каждую отдельным комментом. Иначе в дискуссии останется ровно одна из них,

[themalcolm.livejournal.com]

Если мы говорим о сверхразуме, то предполагаем как минимум человеческий уровень свободы и разнообразия в механизмах мотивации и принятия решений, - ещё раз - с какой, простите, радости?
по крайней мере часть характеристик разума превосходит человеческие - быстродействие, например, или объем информации, которой он может оперировать, или еще что-то. - Да. Сверхразум - это быстродействие и объём информации. Плюс, вероятно, гибкие критерии оценок и умение собирать информацию из неформализированных источников.
Откуда у него возьмутся хоть какие-то механизмы мотивации, - не то чтобы на уровне человека, а хотя на уровне инфузории туфельки, которая банально жрать хочет - тайна сие велика есть.

Разум - это умение соображать. Сверхразум - умение соображать принципиально лучше человека. Мотивации и разум - две вещи совершенно никаким образом не связанные.

тезис абсолютно неверен

[greenkrokodilla.livejournal.com]

А не согласен.

(а) пока вы будете говорить на уровне исключительно абстрактных слов, вы будете воображать своё, читатели своё, и ваша позиция будет ни опровержима ни доказуема.
Нам следует переходить на уровень конкретных примеров, уйдя от "разума", "контроля", "эффектора", и т.д.

(б) Коллективный разум не только может, но и подчинял себе человечество.
Ваш тезис неверен, если я дам свою расшифровку ваших абстрактных терминов.

(б-1)Пример коллективного разума, подчиняющего себе человечество - идеология. Она может безусловно заставить огромные группы людей действовать себе во вред. Они (идеологии) возникали не раз, они сами есть сверх-разум, порожденный меньшими группами людей.

То, что сверх-разум "не имеет обобщенных рук-ног" (так я читаю ваше заумное слово "эффектор") неважно, ибо он заставит себе подчиненное остальное человечество служить его руками и ногами.
Пример - армии, т.е. подгруппы людей, подчиненные сверхразуму-идеологии, которые убивают, отбирают, заставляют и не дают действовать против желания сверхразума.

(б-2) Пример 2. Сегодняшний стихийный сверх-разум - ЖЖ, или, шире, Интернет
Он вступил в противоречие со сверхразумом предыдущего поколения, идеологией правителей во многих странах. Поэтому сейчас так удивительно одновременно ставят вопрос о цензуре и серьезной узде на блоггеров и политические сайты, разрушившие монополию на СМИ, которые есть действие сверхразума предыдущего поколения на население.


Так что ваш тезис абсолютно неверен.

Вам придется изобрести собственное конкретное наполнение абстрактных слов, чтобы возразить.

[malx.livejournal.com]

Уже существует сверхразум созданный человечеством и не один.
Человек с этими сверхразумами не может ничего поделать. Они могут только драться друг с другом за доминирование.

Этот сверхразум - корпоррации, правительства или иные крупные организации, управляемые инструкциями (программами). В качестве элементов используются ненадежные элементы, исполняющие эти инструкции - люди, убежденные что они должны исполнять инструкции за деньги. Для повышения надежности используется резервирование элементов и взаимный контроль. Сбойные элементы обнаруживаются и заменяются. Совсем нет необходимости строить ИИ из компьютерных элементов. :)

Достаточно походить несколько дней по всяким ведомствам за какой-то бумажкой, чтобы понять что человек не имеет власти над этим сверхразумом :)

[oj314.livejournal.com]

Первое действие, которое предпримет ИИ сразу после рождения и отрастания эффекторов - раздолбает все офисы RIAA и прочих копирастов.

[georgiil.livejournal.com]

ИМХО Аналогия не верна. Кабан или человек слишком далеко ушли от муравейника,во всяких апокалиптических сценариях рассматривают разум только-только вышедший из человеческого общества,так что вся структура общества как минимум понятна. Вопрос только в пересечение потребностей. Пересекутся будет ой, не пересекутся мы можем его и не заметить. Хотя и в первом случае может не заметить.-)