vitus_wagner | Про сверхразум

Entry tags:

экология человека

Про сверхразум

Опять что-то замелькали рзговоры про разум, превосходящий человеческий, который-де моментально человечество подчинит и заставит с собой считаться. Ха! Может ли человечество со всем своим разумом, застаить считаться с собой безмозглый Гольфстрим? Загадить нефтью - может, приспосабиться - может. А заставить считаться -фиг.

Проведем мысленный эксперимент - рассмотрим муравейник, человека и кабана. Разум человека явно выше разума муравьев. А кабан - тварь дикая, неразумная. Но муравейник разорить могут с равным успехом. Для этого нужен не разум, а физическая сила крупного млекопитающего.

Конечно, у человека может заваляться в кармане баллончик дихлофоса. Но и тот, если подумать, продукт не столько разума, сколько экономики. Люди столетиями развивали свой глобальный "муравейник", строили заводы, рудники, железные дороги, прежде чем смогли произвести этот баллончик.

У разума, порожденного человечеством, такой возможности не будет. Он с самого начала под контролем, он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Пожалуй, наиболее близкая модель отношения человечества и порожденного им сверхразума - это отношение общества и порожденного им гения. Например Григория Перельмана.

Threaded | Flat

Люди привыкли думать что они это разум... Вот и страхи у этого разума появляются соответствующие... Но вот только человек это не только разум, ценный мех и более полуцентнера...

страшненькая перспективка-то. ибо эффекторы он себе скорее рано чем поздно, перехитрив тупых контроллеров отрастит.

ВСе страхи, что придут и подчинят - не от разума, а от его отсутствия - чего подчинять тех, кто недоразвит - воспитывать что ли?
А с Перельманом точно сверхразум возьмет и пошлет , мол, ну, неинтересны вы все мне...

Если муравейник строится не там, где это устраивает людей, судьба муравейника будет печальна.
Если муравьев не устраивает что делает человек, они могут доставить человеку неприятности, но попять же дорогой для себя ценой.
Конечно, человечество и сверхразум смогут сосуществовать некоторое время. Может даже большое. Пока конфликта интересов не будет.

Перельман не годный пример. У него нет ни социального сверхинтелекта, ни больших амбиций. Только честность (даже излишняя) и математическая гениальность. Очень далеко от того, что можно назвать "сверх-".

> Но и тот, если подумать, продукт не столько разума, сколько экономики.

Каковая экономика сама по себе есть продукт разума. С другой стороны, той же ломехузе чтобы подчинить муравейник без надобности и разум человека и физическая сила кабана.

> Он с самого начала под контролем,

истинно говорю вам - сверхразум разовьётся из спамерских бот-сетей

> он не обладает эффекторами, сравнимых даже с руками-ногами здорового человека.

Чтобы управлять нужны не руки-ноги, а средства коммуникации. Каковые нынче находятся в крайне доступном состоянии.

но не хочет. И аффекторами ему черепа крошить не пришлось бы.

Был у Азимова рассказ как Всемирный Мультивак запланировал себя убить. Такую косвенную интригу провернул! Правда, в первый раз его поймали на мелочи.

подчинит да ещё как.
ибо гольфстрим нельзя водить за нос, а людей - запросто.
у Герберта Франке было на эту тему кстати.

Проблема не в разуме или его сверх... Проблема в возникновении некоторого субъекта - организма или сверхорганизма интересы существования котрого будут расходиться с человеческими интересами. При этом данный субъект не обязательно должен обладать сверхразумом или просто разумом в нашем понимании. А про сверхорганизм я уже писал http://www.forum.msk.ru/material/economic/20195.html

фондовый рынок - отличный пример того, когда сверхразум легко заставляет с собой считаться.

Мне кажется куда страшнее гораздо более прозаическая перспектива: система контроля чего-нибудь опасного просто будет написана с ошибками и испоганит нам жизнь не по злому "умыслу", а по "недомыслию". Вспоминается рассказ одно приятеля как они вывели средства управления каким-то большим агрегатом в некотором университете на веб. А потом оказалось, что при определённом изменении параметров на этой веб-страничке этот агрегат можно взорвать, притом так, что пострадают окружающие здания университета. Вот что-то такое, но в масштабе планеты, меня куда больше пугает, чем терминаторы ;))

Тут, как говорится, или трусы надеть, или крестик снять. Либо _сверх_разум, либо "он с самого начала под контролем". Во втором случае мы имеем какую-то разновидность narrow AI, с которыми возможны, конечно, проблемы, но другого рода (страж-птица, ага). Если мы говорим о сверхразуме, то предполагаем как минимум человеческий уровень свободы и разнообразия в механизмах мотивации и принятия решений, а приставка "сверх" как-бы намекает нам, что по крайней мере часть характеристик разума превосходит человеческие - быстродействие, например, или объем информации, которой он может оперировать, или еще что-то.

В сравнении способностей человека и кабана по части разорения муравейника смешаны в кучу два разных параметра - интеллект и энерговооруженность. Энерговооруженность, конечно, параметр важный, но неинтересный. Астероид с достаточной кинетической энергией может, не обладая даже интеллектом инфузории, прикончить и людей, и кабанов, и муравьев, и гольфстрим нафиг развернуть в обратную сторону, и что? Интеллект, с другой стороны, может частично компенсировать более слабую энергетику, с другой - помочь ее нарастить (человек, вообще-то, оперирует энергиями на порядки большими, чем физическая сила крупного млекопитающего).

Правильная постановка вопроса о "борьбе разумов" - кто выиграет в случае конфликта интересов? Скажем, человек, кабан и муравьи конкурируют за один ресурс - я бы не поставил в этой игре на кабана или муравья. Разумеется, человек рассматривается в комплекте со всей своей человеческой цивилизацией, ибо человеческий разум это социальное явление, рассматривать его в отрыве от общества бессмысленно - другими словами, либо за конкретной человеческой особью стоит цивилизация, либо эта особь не намного разумнее кабана.

Ну и наконец, хотя с этого надо было начать - у вас явно просматривается представление о гипотетическом сверхинтеллекте как о чем-то, создаваемом целенаправленно в лабораторных условиях в единственном экземпляре на изолированном компьютере. Это очень старый концепт, пожалуй, еще из докиберпанковской НФ. И очень маловероятный сценарий появления не/пост/сверхчеловеческого разума. С тех пор утекло много воды и придумано много более других сценариев - и самозарождение его в компьютерных сетях, и коллективные интеллекты, и расширение ресурсов мозга внешними имплантами, и аплоадинг... Наиболее вероятный сценарий глядя из сейчас - зарождение во многих местах множества разных (в значении как "разных типов", так и "разных экземпляров") разумов, все более отличающихся от человеческого и все более его превосходящих.

(тут было еще многобуков, но в формат камента оно нэ лизэ... может, позже у себя отдельным постом положу)

А не согласен.

(а) пока вы будете говорить на уровне исключительно абстрактных слов, вы будете воображать своё, читатели своё, и ваша позиция будет ни опровержима ни доказуема.
Нам следует переходить на уровень конкретных примеров, уйдя от "разума", "контроля", "эффектора", и т.д.

(б) Коллективный разум не только может, но и подчинял себе человечество.
Ваш тезис неверен, если я дам свою расшифровку ваших абстрактных терминов.

(б-1)Пример коллективного разума, подчиняющего себе человечество - идеология. Она может безусловно заставить огромные группы людей действовать себе во вред. Они (идеологии) возникали не раз, они сами есть сверх-разум, порожденный меньшими группами людей.

То, что сверх-разум "не имеет обобщенных рук-ног" (так я читаю ваше заумное слово "эффектор") неважно, ибо он заставит себе подчиненное остальное человечество служить его руками и ногами.
Пример - армии, т.е. подгруппы людей, подчиненные сверхразуму-идеологии, которые убивают, отбирают, заставляют и не дают действовать против желания сверхразума.

(б-2) Пример 2. Сегодняшний стихийный сверх-разум - ЖЖ, или, шире, Интернет
Он вступил в противоречие со сверхразумом предыдущего поколения, идеологией правителей во многих странах. Поэтому сейчас так удивительно одновременно ставят вопрос о цензуре и серьезной узде на блоггеров и политические сайты, разрушившие монополию на СМИ, которые есть действие сверхразума предыдущего поколения на население.

Так что ваш тезис абсолютно неверен.

Вам придется изобрести собственное конкретное наполнение абстрактных слов, чтобы возразить.

Уже существует сверхразум созданный человечеством и не один.
Человек с этими сверхразумами не может ничего поделать. Они могут только драться друг с другом за доминирование.

Этот сверхразум - корпоррации, правительства или иные крупные организации, управляемые инструкциями (программами). В качестве элементов используются ненадежные элементы, исполняющие эти инструкции - люди, убежденные что они должны исполнять инструкции за деньги. Для повышения надежности используется резервирование элементов и взаимный контроль. Сбойные элементы обнаруживаются и заменяются. Совсем нет необходимости строить ИИ из компьютерных элементов. :)

Достаточно походить несколько дней по всяким ведомствам за какой-то бумажкой, чтобы понять что человек не имеет власти над этим сверхразумом :)

Первое действие, которое предпримет ИИ сразу после рождения и отрастания эффекторов - раздолбает все офисы RIAA и прочих копирастов.

ИМХО Аналогия не верна. Кабан или человек слишком далеко ушли от муравейника,во всяких апокалиптических сценариях рассматривают разум только-только вышедший из человеческого общества,так что вся структура общества как минимум понятна. Вопрос только в пересечение потребностей. Пересекутся будет ой, не пересекутся мы можем его и не заметить. Хотя и в первом случае может не заметить.-)

Threaded | Flat

no subject

no subject

no subject

no subject

no subject

перельман мог бы захватить мир

no subject

no subject

no subject

no subject

no subject

тезис абсолютно неверен

no subject

no subject

no subject