Хм. Во первых, тут есть несколько утверждений, с которыми я не согласен.
1) То, что наука за полста лет не смогла чего-то придумать - не аргумент. Сколько лет были безуспешными попытки людей научиться летать? На этом фоне несчастные 50 лет - не срок.
2) Большинство задач, которые ставили разработчики ИИ в средине 20-го века, решены. Да, кроме собственно создания AGI, но это была таки сверхцель, которую едва ли кто-то всерьез расчитывал достичь в то время. Многое же другое - от распознавания образов до написания музыки ИИ уже делает, причем кое-что - лучше людей. Распознавание лиц, например. Основная проблема ИИ в том, что решенные задачи из области ИИ перестают считать задачами из области ИИ. :) А сейчас уже и к задаче AGI подбираются, всерьез и с разных сторон, и я очень удивлюсь, если ее не решат в ближайшие лет 20.
Но это так, к слову, теперь по существу.
Лучшим доказательством возможности создания нечеловеческого разума с механизмами мотивации есть существование человеческого разума. Вот если бы его не было, тогда можно было бы ставить вопрос о том, возможна ли такая штуковина в принципе. А так, задача сводится к воспроизведению человеческого разума на другом носителе и последующиго его апгрейда до состояния "сверх". В свою очередь, утверждение о невозможности такого воспроизведения эквивалентно либо утверждению о том, что вот такая форма - многоклеточного белкового организма, тратящего 20 лет на развитие из яицеклетки, есть единственная возможная форма существования разума, либо утверждению о принципиальной непознаваемости человеческого мозга. Оба как-то попахивают креационизмом, намного естественнее предположение, что человеческие мозги -это одна из множества возможных форм существования интеллекта и создание прочих есть лишь вопрос времени и желания.
С другой стороны, что такое вообще "мотивация"? Не, я понимаю, что тут можно погрузиться в бездну глубин философских дискурсов и не всплыть. Но если просто, мотивация - это некая целевая функция, неизменный набор критериев, относительно которого происходит принятие решений и выбор вариантов поведения. И в этом смысле мотивация есть даже у самых примитивных ИИ. У спамфильтра есть непреодолимая мотивация давить спам, у касперского - мочить вирусы. ИИ без мотивации - это, по сути, ИИ без какой-либо целенаправленной функциональности. Так что мотивация у нечеловеческого разума не просто будет - она уже есть. :) Еще до появления собственно нечеловеческого _разума_.
Может ли такой разум получить мотивацию, которая приведет его к неподчинению людям? Вариантов - вагон и маленькая тележка, навскидку 1) эту мотивацию зададут ему (сюрприз!) люди. Что уже происходит - одни программеры прописывают касперу мотивацию мочить вирусы, другие прописывают вирусам мочить каспера. 2) нечеткая формулировка задач вполне может привести к совершенно неожиданному для создателей ИИ поведению (снова вспоминаем страж-птиц). А почти любая постановка задачи в реальном мире - нечеткая. Даже, казалось бы, тривиальные - спамфильтры периодически пропускают спам и отсеивают полезные сообщения, антивирусы, случается, гробят безобидные системные файлы и т.д. 3) все более возрастающая сложность систем приведет к тому, что создатели ИИ будут иметь ограниченное представление о том, что же они собственно туда программируют. Представьте себе коропоративную информационныю систему для чего-нибудь большого - Проктор энд гембл там, или Газпром. Да еще до ее запуска в работу не останется человека, кторый бы понимал эту хреновину полностью. А что будет лет через 10 эксплуатации? 4) и помним, что у ИИ на порядки большая возможность самомодификации, чем у человека.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
branchandroot
no subject
Date: 2010-07-21 06:25 pm (UTC)1) То, что наука за полста лет не смогла чего-то придумать - не аргумент. Сколько лет были безуспешными попытки людей научиться летать? На этом фоне несчастные 50 лет - не срок.
2) Большинство задач, которые ставили разработчики ИИ в средине 20-го века, решены. Да, кроме собственно создания AGI, но это была таки сверхцель, которую едва ли кто-то всерьез расчитывал достичь в то время. Многое же другое - от распознавания образов до написания музыки ИИ уже делает, причем кое-что - лучше людей. Распознавание лиц, например. Основная проблема ИИ в том, что решенные задачи из области ИИ перестают считать задачами из области ИИ. :) А сейчас уже и к задаче AGI подбираются, всерьез и с разных сторон, и я очень удивлюсь, если ее не решат в ближайшие лет 20.
Но это так, к слову, теперь по существу.
Лучшим доказательством возможности создания нечеловеческого разума с механизмами мотивации есть существование человеческого разума. Вот если бы его не было, тогда можно было бы ставить вопрос о том, возможна ли такая штуковина в принципе. А так, задача сводится к воспроизведению человеческого разума на другом носителе и последующиго его апгрейда до состояния "сверх". В свою очередь, утверждение о невозможности такого воспроизведения эквивалентно либо утверждению о том, что вот такая форма - многоклеточного белкового организма, тратящего 20 лет на развитие из яицеклетки, есть единственная возможная форма существования разума, либо утверждению о принципиальной непознаваемости человеческого мозга. Оба как-то попахивают креационизмом, намного естественнее предположение, что человеческие мозги -это одна из множества возможных форм существования интеллекта и создание прочих есть лишь вопрос времени и желания.
С другой стороны, что такое вообще "мотивация"? Не, я понимаю, что тут можно погрузиться в бездну глубин философских дискурсов и не всплыть. Но если просто, мотивация - это некая целевая функция, неизменный набор критериев, относительно которого происходит принятие решений и выбор вариантов поведения. И в этом смысле мотивация есть даже у самых примитивных ИИ. У спамфильтра есть непреодолимая мотивация давить спам, у касперского - мочить вирусы. ИИ без мотивации - это, по сути, ИИ без какой-либо целенаправленной функциональности. Так что мотивация у нечеловеческого разума не просто будет - она уже есть. :) Еще до появления собственно нечеловеческого _разума_.
Может ли такой разум получить мотивацию, которая приведет его к неподчинению людям? Вариантов - вагон и маленькая тележка, навскидку
1) эту мотивацию зададут ему (сюрприз!) люди. Что уже происходит - одни программеры прописывают касперу мотивацию мочить вирусы, другие прописывают вирусам мочить каспера.
2) нечеткая формулировка задач вполне может привести к совершенно неожиданному для создателей ИИ поведению (снова вспоминаем страж-птиц). А почти любая постановка задачи в реальном мире - нечеткая. Даже, казалось бы, тривиальные - спамфильтры периодически пропускают спам и отсеивают полезные сообщения, антивирусы, случается, гробят безобидные системные файлы и т.д.
3) все более возрастающая сложность систем приведет к тому, что создатели ИИ будут иметь ограниченное представление о том, что же они собственно туда программируют. Представьте себе коропоративную информационныю систему для чего-нибудь большого - Проктор энд гембл там, или Газпром. Да еще до ее запуска в работу не останется человека, кторый бы понимал эту хреновину полностью. А что будет лет через 10 эксплуатации?
4) и помним, что у ИИ на порядки большая возможность самомодификации, чем у человека.