22 ДЖОН Р. СИРЛ Разум, мозг и программы

22

ДЖОН Р. СИРЛ

Разум, мозг и программы

Какое психологическое и философское значение имеют недавние попытки компьютерного моделирования познавательных способностей человека? При ответе на этот вопрос я буду проводить различие между “сильным” ИИ и “слабым” или “осторожным” ИИ (Искусственным Интеллектом). Согласно слабой версии ИИ, компьютеры — могучий инструмент для изучения разума. Они позволяют нам более точно формулировать и проверять гипотезы. Однако сильная версия ИИ утверждает, что компьютер — не только орудие для познания разума. По этой версии, должным образом запрограммированный компьютер является разумом, в том смысле, что компьютеры, снабженные соответствующей программой, не только в буквальном смысле слова понимают, но испытывают и другие когнитивные состояния. В сильном варианте ИИ программы — не только инструменты для тестирования психологических объяснений; скорее, они сами являются этими объяснениями.

Я не возражаю против слабой версии ИИ, по крайней мере, в этой статье. Дискуссия будет направлена против сильной версии ИИ, в особенности, против утверждения, что должным образом запрограммированный компьютер выказывает когнитивные состояния и что это объясняет человеческое познание. В дальнейшем под ИИ я буду подразумевать его сильную версию, придерживающуюся этих двух убеждений.

Я обсуждаю здесь труд Роджера Шенка и его коллег из Йелльского университета (Шенк и Абельсон, 1977), поскольку знаком с ним лучше, чем с другими работами на эту тему, и поскольку он представляет из себя яркий пример работы, которую я хотел бы проанализировать. Однако дальнейшее обсуждение не зависит от деталей программы Шенка. Те же самые аргументы приложимы и к программе Винограда ШРДЛУ (Виноград, 1973), программе Вайценбаума ЭЛИЗА (Вайценбаум, 1965) и любой попытке симулировать с помощью машин Тьюринга феномен человеческого мышления.

Вкратце программа Шенка может быть описана следующим образом: Цель программы — имитация человеческого умения понимать рассказы. Для человека характерно умение отвечать на вопросы о рассказе, давая в ответе информацию, которая прямо в рассказе не упоминалась. Представьте себе, что вы услышали следующий рассказ: “Человек пришел в кафе и заказал гамбургер. Когда ему принесли заказанное, гамбургер оказался подгоревшим дочерна, и разгневанный клиент выбежал из кафе, не заплатив по счету и не оставив чаевых.” Если вас спросят, съел ли тот человек гамбургер, вы, скорее всего, ответите: “Разумеется, нет!” Аналогично, если вы услышите следующий рассказ: “Человек пришел в кафе и заказал гамбургер. Когда ему принесли заказанное, гамбургер оказался превосходным, и довольный клиент, оплатив счет, оставил щедрые чаевые,” на вопрос “Съел ли он гамбургер?” вы, вероятно, ответите “Да, съел.” Машины Шенка могут отвечать на вопросы о ресторанах подобным образом. Для этого они снабжены “представлением” о той информации, которую люди имеют о ресторанах; поэтому на подобные вопросы эти программы способны ответить удовлетворительно. Когда в машину вводят рассказ и затем задают вопрос, подобный вышеприведенному, машина печатает ответ, который дал бы в похожей ситуации человек. Сторонники ИИ утверждают, что (1) при этом машина не только подражает человеческой способности, но в буквальном смысле слова понимает рассказанное и отвечает на вопросы, и (2) машина и ее программа объясняют человеческую способность понимать рассказы и отвечать на вопросы о них.

Мне кажется, что ни одно из этих двух утверждений совершенно не следует из работы Шенка. Я попытаюсь это доказать.

Один из способов проверить любую теорию разума состоит в том, чтобы представить себе, что было бы, если бы мой интеллект действительно работал так, как, согласно данной теории, работает любой разум. Давайте проверим теорию Шенка при помощи следующего мысленного эксперимента. Представьте себе, что меня заперли одного, дав мне большой китайский текст. Представьте себе, что я не знаю ни письменного, ни разговорного китайского (так это в действительности и есть), и что я не уверен даже в том, что смогу отличить китайское письмо от, скажем, японского или от бессмысленных каракулей. Для меня китайское письмо выглядит как бессмысленные каракули! Теперь представьте, что я снова получаю китайский текст, на этот раз вместе с набором правил, объясняющих, как соотнести этот текст с первым. Правила написаны по-английски, и я понимаю их, как понял бы любой носитель этого языка. Правила помогают мне соотносить между собой два набора формальных символов; “формальных” означает здесь то, что я могу идентифицировать эти символы исключительно по их форме. Далее, мне дают третий китайский текст, опять с инструкциями по-английски, позволяющими мне соотнести его с первыми двумя. Более того, они объясняют, как отвечать китайскими символами определенной формы на те или иные китайские символы, содержащиеся в третьем тексте. Я ничего не знаю о том, что люди, дающие мне все это, называют первый кусок “текстом”, второй — “рассказом”, а третий — “вопросами.” Они называют символы, которые я даю им после работы с третьим куском, “ответами на вопросы”, а набор правил, которые у меня имеются, — “программой”. Чтобы немного усложнить дело, представьте себе, что эти люди дают мне также рассказы по-английски, задают о них вопросы по-английски, и я отвечаю на них по-английски. Представьте также, что через некоторое время я так натренировался в работе с китайскими символами, а программисты — в составлении программ, что стороннему наблюдателю — то есть, наблюдателю, находящемуся вне комнаты, в которой я заперт, — мои ответы кажутся неотличимыми от ответов китайцев. Никто, глядя только на мои ответы, не предположил бы, что я не знаю ни слова по-китайски. Представьте себе также, что мои ответы на вопросы по-английски будут неотличимы от ответов других носителей языка, просто потому, что я сам — носитель английского языка. С точки зрения того, кто читает мои “ответы”, китайские ответы так же хороши, как английские. Однако, в отличие от английского, в случае китайского я произвожу ответы путем манипуляции с неинтерпретированными формальными символами. Я веду себя в этом случае, как компьютер; я произвожу действия с формально определенными элементами. При работе с китайским я становлюсь воплощением компьютерной программы.

Сильная версия ИИ утверждает, что запрограммированные должным образом компьютеры понимают рассказы и могут в какой-то мере объяснить человеческое понимание. Благодаря нашему мысленному эксперименту мы можем теперь проанализировать эти утверждения.

1. Что касается первого утверждения, из нашего примера совершенно очевидно следует, что я не понимаю ни слова в китайских рассказах. Все, что у меня есть, это вводные и выходные данные, неотличимые от тех, что производят сами китайцы. Какой бы формальной программой я ни был снабжен, я все равно не понимаю ни слова! Точно так же компьютер Шенка не понимает ни слова в рассказах, написаны ли они по-китайски, по-английски или на каком-либо другом языке, поскольку в случае китайского компьютер — это я, а в остальных случаях у компьютера есть только та информация, которая была у меня, когда я ничего не понимал.

2. Что касается второго утверждения, что программа объясняет человеческое понимание, мы видим, что компьютер вместе с программой не создают достаточных условий понимания, поскольку они действуют, ничего при этом не понимая. Но помогают ли они пониманию? Одно из утверждений сторонников сильной версии ИИ заключается в том, что, когда я понимаю рассказ по-английски, я делаю точно то же самое, — или даже в большей степени — как когда я манипулирую китайскими символами. Разница в том, что в случае английского, который я понимаю, в голове у меня происходит большее количество формальных манипуляций, чем в случае китайского, которого я не понимаю. Я не доказал, что это утверждение ошибочно, но в приведенном примере оно кажется достаточно невероятным. Сторонники этого утверждения исходят из того, что мы можем создать программу с точно такими же входными и выходными данными, как у носителя языка, и что на каком-то уровни носители языка также могут быть описаны как воплощения некой программы. На основе этих двух предположений они заключают, что, хотя программа Шенка и не совершенна, это все же шаг вперед в нужном направлении. Думаю, что, хотя это эмпирически возможно, пока не было представлено ни одно доказательство того, что это верно. Наш мысленный эксперимент предполагает — но, разумеется, не доказывает — что компьютерная программа не имеет никакого отношения к моему пониманию рассказа. В случае с китайским, у меня имеется все, что может мне предоставить ИИ, и тем не менее, я ничего не понимаю; в случае с английским, я понимаю все, и у меня нет никаких оснований предположить, что мое понимание каким-то образом связано с компьютерной программой, то есть с вычислительными операциями на чисто формально определенных элементах. Если мы определяем программу как вычислительные операции на чисто формально определенных элементах, то из нашего примера вытекает, что сами по себе программы не имеют связи с пониманием. Они безусловно не являются достаточным условием понимания, и у нас нет ни малейшего основания полагать, что они являются его необходимым условием. Мы не можем заключить даже того, что они вообще способствуют пониманию. Обратите внимание на то, что сила этого аргумента — не в том, что разные машины могут иметь одинаковые входные и выходные данные, когда они работают по различным формальным принципам — суть совсем не в этом. Какие бы формальные принципы вы ни вложили в компьютер, они будут недостаточны для понимания, поскольку человек может следовать тем же формальным принципам, ничего при этом не понимая. Не существует никаких доказательств того, что подобные принципы необходимы или в какой-то мере полезны, поскольку не существует никаких доказательств того, что, когда я понимаю английский текст, я действую в соответствии с какой-либо формальной программой.

Но что же есть у меня в случае с английским текстом такого, что отсутствует в случае с текстом китайским? Очевидный ответ состоит в том, что я знаю, что означает первый, и понятия не имею о значении последнего. Но в чем это заключается, и почему мы не можем дать это нечто, чем бы оно ни было, машине? Я еще вернусь к этому вопросу, но сначала мне бы хотелось продолжить мой пример.

Мне приходилось представлять этот пример нескольким специалистам по Искусственному Интеллекту; интересно, что они не смогли сойтись в мнениях о том, как на него следует отвечать. Я получил самые разнообразные ответы; здесь я приведу основные из них (вместе с их географическим происхождением).

Но сначала я хочу заблокировать обычные недоразумения, связанные с “пониманием”. В этих дискуссиях можно найти попытки дать сложнейшие, причудливые определения слова “понимание”. Мои критики указывают на то, что бывают различные степени понимания; на то, что “понимание” не является простым двучленным предикатом; на то, что существуют даже различные типы и уровни понимания и что закон исключенного третьего нельзя прямо применить к высказываниям типа “X понимает У”, поскольку во многих случаях это не является фактом, но требует принятия решения, и так далее. На все эти возражения мне хочется ответить: “Ну разумеется, разумеется. Но все это не имеет отношения к обсуждаемым вопросам. Существуют бесспорные случаи того, когда понимание имеет место, и бесспорные случаи того, когда никакого понимания нет; именно эти случаи нужны мне для моего доказательства.[4] Я понимаю рассказы по-английски, в меньшей степени, по-французски и в еще меньшей степени, по-немецки. По-китайски я не понимаю ничего. С другой стороны, моя машина и мой калькулятор не понимают ничего — это не их дело. Мы часто метафорически приписываем “понимание” и другие когнитивные предикаты машинам, калькуляторам и другим приспособлениям, но это ничего не доказывает. Мы говорим: “Дверь знает, когда нужно открыться, благодаря своим фотоэлектрическим элементам”, “Калькулятор может складывать и вычитать, но не способен умножать” и “термостат воспринимает изменения температуры”. Причина, по которой мы приписываем все это машинам, довольно интересна — мы наделяем их собственной интенциональностью.[5] Наши инструменты — продолжение наших целей, и мы находим естественным метафорически приписывать им интенциональность. Однако такие примеры не режут философский лед. То, как дверь “понимает инструкции” своего фотоэлемента, не имеет ничего общего с тем, как я понимаю английский. Если бы предполагалось, что компьютер Шенка понимает рассказы в том же метафорическом смысле, в каком дверь понимает инструкции фотоэлемента, а не так, как я понимаю английский, то вопрос не стоил бы обсуждения. Но Ньюман и Саймон (1963) пишут, что понимание компьютеров идентично пониманию человека. Мне нравится прямолинейность подобного утверждения, и именно такие утверждения я и буду рассматривать. Я попытаюсь доказать, что в буквальном смысле запрограммированный компьютер понимает столько же, сколько автомобиль или калькулятор, то есть совершенно ничего. Понимание компьютера не частично или неполно (как мое понимание французского или немецкого) — оно равно нулю.

Перейдем теперь к ответам.

1. Ответ систем (Беркли). “Верно, что один человек, запертый в комнате, не понимает рассказа — но он является частью целой системы, которая этот рассказ понимает. Перед человеком лежит толстый том, в котором написаны правила, у него полно бумаги и карандашей, чтобы делать вычисления, у него есть “банк данных” в виде китайских иероглифов. Но понимание не приписывается только этому индивиду; скорее, оно приписывается всей системе, частью которой он является.”

Мой ответ на теорию систем очень прост. Пусть индивид усвоит все элементы системы, запомнит правила в книге и банк данных — китайских иероглифов, так что теперь он сможет производить все вычисления в уме. В таком случае индивид будет представлять всю систему, поскольку больше в системе ничего нет. Мы можем даже отказаться от комнаты и представить, что он работает на свежем воздухе. Так или иначе, он не понимает ничего по-китайски, а следовательно, ничего не понимает и система, потому что в системе нет ничего такого, чего не было бы в нем. Если он не понимает, то и система никак не может понимать, поскольку является лишь частью его.

В действительности, мне неловко давать даже этот ответ на теорию систем, потому что эта теория с самого начала казалась мне малоубедительной. Человек не понимает китайского, но каким-то образом сочетание этого человека с кусочками бумаги может его понимать — странная мысль! Мне трудно представить себе, чтобы кто-нибудь, не одурманенный определенной идеологией, мог найти подобную идею хоть сколько-нибудь правдоподобной. И все же я думаю, что многие сторонники сильной версии ИИ в конце концов захотят сказать что-нибудь подобное; поэтому давайте поговорим об этом еще немного. Согласно одной из версий этого аргумента, хотя человек, усвоивший всю систему, и не понимает китайского так, как китайцы (поскольку он, например, не понимает, что рассказ повествует о ресторане, гамбургерах и т.д.), он действительно понимает его в качестве системы, манипулирующей формальными символами. Подсистему этого человека, манипулирующую формальными китайскими символами, не следует путать с его же подсистемой, манипулирующей английским.

Таким образом, у человека имеется две подсистемы: одна понимает китайский, другая — английский, и “эти две системы почти не связаны между собой”. На это мне хочется ответить, что они не только мало чем связаны, но и совершенно непохожи друг на друга. Подсистема, понимающая английский (если мы на время согласимся говорить на жаргоне “подсистем”), знает, что речь идет о ресторанах и гамбургерах, знает, что у нее спрашивают нечто о ресторанах, что она отвечает наилучшим образом, делая выводы на основании содержания рассказа и так далее. Китайская подсистема ничего этого не знает. В то время как английская подсистема знает, что “гамбургеры” обозначают гамбургеры, китайская подсистема знает лишь то, что за “сквиггл-сквиггл” следует “сквоггл-сквоггл”. Она знает только то, что на одном конце вводятся некие китайские символы, которыми надо манипулировать согласно написанным по-английски правилам так, что на другом конце получатся иные символы. Весь смысл первоначального примера состоял в том, чтобы показать, что сама по себе подобная манипуляция символами не может быть достаточной для понимания китайского в буквальном смысле, поскольку можно сколько угодно писать “сквиггл-сквиггл” и “сквоггл-сквоггл”, не понимая при этом китайского. Не спасут дела и гипотетические подсистемы внутри человека, поскольку они находятся не в лучшем положении, чем был сам человек — у них нет ничего такого, что есть у англо-говорящего человека (или подсистемы). В описанном случае китайская подсистема на самом деле является лишь частью английской подсистемы, и эта часть занимается бессмысленной манипуляцией китайскими символами согласно правилам, написанным по-английски.

Давайте спросим себя, что вообще вызвало к жизни ответ систем, то есть какие независимые основания имеются для того, чтобы предположить, что внутри того человека имеется некая подсистема, действительно понимающая китайский? Насколько я понимаю, единственное основание заключается в том, что в приведенном примере — те же входные и выходные данные, как и у говорящих по-китайски, и программа, соединяющая оба конца. Но весь смысл примеров и состоял в том, что этого не может быть достаточно для понимания в том смысле, в каком я понимаю рассказы по-английски, поскольку человек и все составляющие его подсистемы могут иметь правильную комбинацию входных и выходных данных вкупе с программой, и все еще не понимать ничего в буквальном смысле, в каком я понимаю английский. Единственным поводом, чтобы утверждать, что во мне должна иметься подсистема, понимающая китайский, является то, что у меня есть программа, помогающая мне пройти тест Тьюринга и одурачить китайцев. Но речь здесь идет именно о том, насколько адекватен тест Тьюринга! Наш пример показывает, что могут существовать две системы, каждая из которых способна пройти тест Тьюринга, но лишь одна из них действительно понимает, что делает. Утверждение, что, поскольку они обе прошли тест Тьюринга, обе должны понимать, не годится как аргумент против моего возражения, поскольку игнорирует тот факт, что подсистема, понимающая английский, сильно отличается от подсистемы, манипулирующей китайскими символами. Короче говоря, ответ систем, не приводя никаких аргументов, просто голословно утверждает, что система должна понимать китайский.

Более того, этот ответ приводит к абсурдным последствиям. Если заключить, что во мне имеется некое понимание, поскольку имеются входные и выходные данные и программа между ними, то множество некогнитивных систем внезапно подпадут под рубрику когнитивных. Например, на определенном уровне переработкой информации занимается мой желудок. Этим он походит на компьютерные программы, но я не думаю, что стоит приписывать ему какое бы то ни было понимание.[6] Однако, если мы согласимся с ответом систем, то нам придется считать сердце, печень, желудок и т.п. понимающими подсистемами, поскольку эти подсистемы принципиально невозможно отличить от подсистемы, “понимающей” китайский. Возражение, что китайская подсистема в качестве входных и выходных данных имеет информацию, а желудок — пищу и продукты ее переработки, не помогает, поскольку с точки зрения действующего лица информации нет ни в том, ни в другом — ведь для него китайский — лишь набор бессмысленных закорючек! В случае с китайским, информация находится лишь в мозгу программистов и интерпретаторов, и ничто не мешает им считать информацией входные и выходные данные моих органов пищеварения.

Последнее утверждение затрагивает некоторые независимые от этого аргумента проблемы ИИ, и нам стоит на минуту отвлечься и кое-что объяснить. Если сильная версия ИИ претендует на то, чтобы стать ветвью психологии, она должна уметь отличать ментальные системы от систем, таковыми не являющихся. Она должна отличать принципы, по которым работает разум, от принципов, по которым работают нементальные системы, иначе она будет неспособна объяснить специфику ментального. Различие между ментальным-нементальным не может быть только в мозгу наблюдателя; оно должно быть неотъемлемой частью самих систем, иначе любой наблюдатель сможет обращаться с людьми, как с неодушевленными предметами, а ураганы считать разумными существами. Однако в литературе по ИИ это различие до такой степени смазано, что в конце концов ИИ может потерять право называться исследованием когнитивного. Например, Маккарти пишет: “Можно сказать, что даже такие простые механизмы, как термостаты, имеют убеждения, а наличие убеждений, как нам кажется, является характеристикой большинства механизмов, способных к решению задач” (McCarthy, 1979). Любой, кто считает что сильная версия ИИ заслуживает называться теорией разума, должен подумать над тем, что следует из подобных утверждений. Нам предлагают принять за открытие ИИ утверждение о том, что висящий на стене кусок металла, которым мы пользуемся для регулирования температуры, имеет убеждения точно так же, как мы, наши супруги и наши дети, и более того, о том, что “большинство” других механизмов в комнате — телефон, магнитофон, калькулятор, электрический выключатель — тоже имеют убеждения в буквальном смысле слова. В этой статье я не собираюсь спорить с Маккарти, поэтому привожу это утверждение без доказательств. Изучение разума начинается с утверждения о том, что люди имеют убеждения, а термостаты, телефоны и калькуляторы — нет. Если ваша теория оспаривает это утверждение, вы получили контрпример и ваша теория оказывается неверной. Складывается впечатление, что сторонники ИИ, пишущие подобные вещи, думают, что могут себе это позволить, поскольку не принимают этого всерьез и не думают, что кто-либо относится к этому серьезно. Я предлагаю, по крайней мере на время, отнестись к этому с полной серьезностью. Что понадобилось бы для того, чтобы представить, что эта кучка металла на стене обладает настоящими убеждениями; убеждениями направленными и интенциональными; желаниями, могущими быть удовлетворенными; убеждениями, могущими быть слабыми или сильными; убеждениями нервными, тревожными или уверенными; догматическими, рациональными или полными предрассудков убеждениями — любым типом убеждений. Термостат исключается из кандидатов. Также не являются возможными кандидатами желудок, печень, калькулятор или телефон. Тем не менее, поскольку мы принимаем эту идею всерьез, заметьте, что ее истинность была бы смертельной для утверждения сильной версии ИИ о том, что она является наукой о разуме, поскольку теперь разум оказался бы повсюду. Мы же хотели узнать, что отличает разум от термостатов и желудков. Если бы Маккарти был прав, сильная версия ИИ никогда не смогла бы ответить на этот вопрос.

2. Ответ роботов (Иель). “Предположим, что мы написали бы программу, отличную от программы Шенка. Представьте, что мы вставили бы компьютер внутрь робота. Этот компьютер не только принимал бы формальные символы в качестве входных данных и выдавал бы формальные символы в качестве выходных данных — он управлял бы роботом таким образом, что робот делал бы нечто, напоминающее восприятие, ходьбу, разнообразные движения, еду, питье — все, что вы хотите. В робота, например, может быть встроена телекамера, позволяющая ему видеть; у него могут быть руки и ноги, позволяющие ему “действовать”, и все это будет контролироваться его компьютерным “мозгом”. Подобный робот, в отличие от компьютера Шенка, будет способен на действительное понимание и другие ментальные состояния”.

Первое, что бросается в глаза в этом ответе, это то, что он молча соглашается с тем, что понимание — это нечто большее, чем манипуляция формальными символами, поскольку этот ответ добавляет множество каузальных отношений с миром (Fodor, 1980). Наш ответ на это заключается в том, что добавление “моторных” или “сенсорных” возможностей не добавляет ничего к когнитивным или интенциональным возможностям первоначальной программы Шенка. Чтобы в этом убедиться, достаточно заметить, что тот же мысленный эксперимент приложим и в случае с роботом. Представьте, что вместо компьютера, помещенного в робота, вы поместите меня в комнату и снова, как и в первоначальном китайском эксперименте, дадите мне китайские символы и инструкции по-английски для соотношения одних китайских символов с другими китайскими символами и выдачи “на-гора” третьих китайских символов. Представьте, что, хотя мне об этом ничего не известно, некоторые китайские символы поступают ко мне из телевизионной камеры, прикрепленной к роботу, а некоторые китайские символы, произведенные мной, приводят в действие моторы внутри робота, двигающие его руками и ногами. Важно подчеркнуть, что я лишь манипулирую формальными символами. Я получаю “информацию” от “перцептуального” аппарата робота и даю инструкции его “моторному” аппарату, ничего об этом не подозревая. Я являюсь “гомункулюсом” этого робота, но, в отличие от традиционного гомункулюса, я не знаю, что происходит. Я не понимаю ничего, кроме правил манипуляции символами. Я утверждаю, что в этом случае робот лишен какой бы то ни было интенциональности; он просто передвигается в результате действия его электрических соединений и программы. Кроме того, представляя в данном случае эту программу, я также лишен относящихся к делу интенциональных состояний. Я только следую формальным инструкциям по манипуляции формальными символами.

3. Ответ имитации мозга (Беркли и Массачуссеттский Технологический институт). “Предположим, что мы разработали программу, которая не представляет информацию о мире, подобную информации в текстах Шенка. Вместо этого программа в точности симулирует процесс нервной деятельности в мозгу китайца, когда тот понимает рассказы по-китайски и отвечает на вопросы о них. Машина принимает в качестве входных данных рассказы и вопросы о них, симулирует формальную структуру мозгов китайца, понимающего эти рассказы, и производит в качестве выходных данных китайские символы. Мы можем даже вообразить, что вместо одной-единственной программы в машине работают множество параллельных программ, подобно тому, как предположительно работает человеческий мозг в процессе понимания человеческого языка. В таком случае нам придется признать, что машина понимает рассказы. Если мы откажемся это сказать, не придется ли нам отказать в понимании и самому китайцу? На уровне синапсов, какая разница между программой нашего компьютера и программой мозга китайца?”

Прежде, чем ответить на это возражение, я замечу, что это очень странное возражение для любого сторонника ИИ (или функционализма и т.п.). Мне казалось, что идея сильной версии ИИ состоит именно в том, что для понимания работы разума не обязательно понимать, как работает мозг. Я думал, что основная гипотеза сторонников этой версии состоит в том, что существует некий уровень мыслительной деятельности, на котором производятся манипуляции с формальными элементами. Именно это является основой разума и может быть реализовано в различных мозговых процессах, так же, как любая компьютерная программа может работать на различной аппаратуре. Сильная версия ИИ считает, что программа для компьютера — то же, что разум для мозга. Таким образом мы можем понять разум, не вдаваясь в нейрофизиологию. Если бы для занятий ИИ нам было бы необходимо понять, как работает мозг, то нам вообще не понадобилась бы такая наука, как ИИ. И все же такой близкий подход к работе мозга еще не достаточен, чтобы произвести понимание. Чтобы в этом убедиться, представьте себе, что вместо человека, работающего с формальными символами, в комнате сидит человек, оперирующий системой водопроводных труб, соединенных клапанами. Когда он получает китайские символы, он сверяется с написанной по-английски программой, и начинает открывать и закрывать определенные клапаны. Каждое соединение соответствует синапсу в мозгу китайца, и вся система настроена так, что после всех манипуляций с клапанами нужные китайские символы появляются с другого конца труб.

Где в этой системе понимание? Она принимает в качестве входных данных китайские символы, симулирует формальную структуру китайских синапсов и выдает другой набор китайских символов. Но человек явно не понимает китайского, так же, как не понимают его водопроводные трубы; если мы примем гипотезу, кажущуюся мне абсурдной, что каким-то образом человек в сочетании с трубами начинает понимать, вспомните, что в принципе человек может проделывать все эти манипуляции с трубами в своем воображении. Проблема с симулятором мозга заключается в том, что он подражает не тому, чему следует. Пока он имитирует лишь формальную структуру синапсов и нейронного возбуждения, он не отражает того, что действительно важно в мозгу — а именно, его каузальные свойства и его способность порождать интенциональные состояния. То, что формальные свойства недостаточны для порождения каузальных свойств, мы показали на примере водопроводных труб. Мы можем вывести все формальные свойства из относящихся к делу нейробиологических каузальных свойств.

4. Комбинированный ответ (Беркли и Стэнфорд). “Хотя сами по себе три предыдущих ответа не являются достаточно убедительным опровержением контрпримера китайской комнаты, взятые в совокупности, они весьма убедительны и решают дело. Представьте себе человекообразного робота с компьютером в виде мозга, расположенном в его черепной коробке, представьте, что программа этого компьютера в точности имитирует синапсы мозга, представьте, что поведение этого робота неотличимо от поведения человека. Теперь представьте все это как единую систему, а не как компьютер с входными и выходными данными. Безусловно, в таком случае вы должны будете согласиться с тем, что система имеет интенциональность”.

Я совершенно согласен с тем, что в таком случае гипотеза о том, что робот обладает интенциональностью, кажется вполне рациональной — если мы больше ничего не знаем об этой системе. В действительности другие элементы этой комбинации, кроме внешнего вида и поведения, к делу не относятся. Если бы мы могли построить робота, чье поведение было бы в течение долгого времени неотличимо от человеческого поведения, мы могли бы приписать ему интенциональность. Нам вовсе не нужно было бы знать заранее, что его компьютерный мозг представляет собой формальную аналогию с человеческим мозгом.

Но я не вижу, как это может помочь утверждениям сторонников сильной версии ИИ. И вот почему: согласно этой версии формальная программа с правильными входными и выходными данными является достаточным условием и составной частью интенциональности. Как писал Ньюэлл (Newell, 1979), основой ментального является деятельность системы физических символов. Но наше признание интенциональности робота в этом примере не имеет ничего общего с формальными программами. Оно основано на предположении, что если робот выглядит и действует достаточно похоже на нас, то мы должны предположить, пока не доказано обратное, что у этого робота есть ментальные состояния, подобные нашим; что эти состояния обуславливают его поведение и им выражаются; что робот имеет некий внутренний механизм, способный производить эти состояния. Если бы мы знали, как иначе можно объяснить его поведение, мы бы не стали приписывать ему интенциональность, в особенности если бы мы знали о наличии у него формальной программы. И именно в этом — смысл моего предыдущего ответа на возражение II.

Представьте, что нам было бы известно, что поведение робота полностью определяется спрятанным внутри него человеком, который получает неинтерпретированные формальные символы от сенсорных рецепторов робота и посылает неинтерпретированные формальные символы его двигательному аппарату. Человек производит эти формальные манипуляции согласно неким правилам. Далее, представьте себе, что человеку ничего не известно о роботе — он знает лишь то, какое действие производить с данными бессмысленными символами. В этом случае мы рассматривали бы робота как хитроумное механическое приспособление. Гипотеза о том, что у этого приспособления есть разум, оказалась бы необоснованной и ненужной. У нас больше не было бы причины приписывать интенциональность роботу или системе, частью которой тот является (за исключением, разумеется, интенциональности человека, манипулирующего символами). Формальная манипуляция символами продолжается, входные данные соотносятся с выходными согласно правилам, но единственным реальным фокусом интенциональности является человек, и человек этот понятия не имеет ни о каком относящемся к делу интенциональном состоянии. Например, он не видит того, на что направлены глаза робота, он не намеревается пошевелить рукой робота и не понимает замечаний, которые робот слышит и отпускает. То же самое можно сказать о системе, частью которой робот и человек являются.

Чтобы понять это последнее утверждение, сравним этот случай с теми, где мы естественно приписываем интенциональность членам некоторых других человекообразных групп, таким как различные обезьяны и приматы, и домашним животным, таким как собаки. Существуют, грубо говоря, две причины, по которым мы находим это естественным. Во-первых, мы не можем объяснить поведения животного, не приписав ему интенциональности. Во-вторых, мы видим, что эти животные сделаны из того же материала, что и мы сами — вот глаз, вот нос, вот кожа и так далее. Принимая во внимание последовательность поведения животного и предположение о том, что в его основе лежит каузальность, мы предполагаем, что поведение животного обусловлено наличием у того ментальных состояний и что механизмы, порождающие эти состояния, напоминают соответствующие механизмы человека. Мы безусловно предположили бы то же самое о роботе, если бы у нас не было оснований этого не делать; однако, если бы мы узнали, что его поведение — результат формальной программы и что действительные каузальные характеристики физического материала к делу не относятся, мы бы отказались от гипотезы интенциональности.

Существуют еще два ответа на мой пример — поскольку они встречаются часто, их стоит обсудить, хотя они и не улавливают сути проблемы.

5. Ответ другого разума (Иель). “Откуда вы знаете, что другие люди понимают китайский или вообще что-либо? На это указывает только их поведение. В принципе, компьютер может пройти тест на адекватное поведение не хуже человека; поэтому, если вы приписываете разумность человеку, вы в принципе обязаны признать разумность компьютера”. На это возражение вполне достаточно короткого ответа. Проблема состоит не в том, откуда я узнаю, что другие люди нечто понимают, но в том, что я приписываю этим людям, когда я уверен в их понимании. Основа моего аргумента в том, что это не могут быть лишь вычислительные процессы вкупе с выходными данными, поскольку и эти процессы и их результат могут существовать помимо когнитивных состояний. Притворяться, что при понимании отсутствуют другие чувства, не является ответом на мои доводы. В “когнитивных науках” предполагается, что ментальное реально и познаваемо, так же, как в естественных науках предполагается, что физические объекты реальны и познаваемы.

6. Ответ многих жилищ. “Вся ваша аргументация предполагает, что ИИ имеет дело только с цифровыми и аналоговыми компьютерами. Но это всего лишь сегодняшняя технология. Каковы бы ни были те каузальные процессы, которые вы полагаете основными для интенциональности (если вы правы), когда-нибудь мы сможем создать механизмы, обладающие этими каузальными свойствами — это и будет искусственный разум. Поэтому ваши аргументы не направлены против способности искусственного разума производить и объяснять когнитивные состояния”.

В действительности, у меня нет возражений против такого ответа, кроме одного: он делает сильную версию ИИ тривиальной, определяя искусственный интеллект как что-либо, что искусственно порождает и объясняет когнитивные состояния. Первоначальная гипотеза сильной версии ИИ была интересна тем, что она выдвигала четкий, хорошо определенный тезис: мыслительные процессы есть вычислительные процессы, манипулирующие формальными символами. Я пытался оспаривать именно это утверждение. Если утверждение изменяется, мои возражения, разумеется, становятся неприменимы.

Теперь вернемся к вопросу, на который я обещал дать ответ. Предположим, что в первоначальном примере я понимаю английский и не понимаю китайского, и что машина, таким образом, не понимает ни того ни другого. Тем не менее, во мне может иметься нечто, что позволяет мне понимать английский, и отсутствовать нечто, позволившее бы мне понимать китайский. Нельзя ли дать эти свойства, какими бы они ни были, машине?

В принципе я не вижу причины, по которой мы не могли бы дать машине способности понимать китайский или английский, поскольку в некотором важном смысле наше тело с нашим мозгом и есть такая машина. Но я решительно возражаю против того, что мы могли наделить подобным свойством машину, чья деятельность определяется только в терминах вычислительных процессов в приложении к формальным символам — то есть машину, эквивалентную компьютерной программе. Я понимаю английский и обладаю другими формами интенциональности вовсе не благодаря тому, что являюсь воплощением компьютерной программы (вероятно, я являюсь воплощением целого ряда программ). Насколько я знаю, мое понимание объясняется тем, что я принадлежу к определенному типу организмов с определенной биологической (то есть физической и химической) структурой, и эта структура в определенных условиях каузально способна порождать восприятие, действие, понимание, обучение и другие интенциональные феномены. Часть смысла моих доводов в том, что только то, что обладает подобной каузальностью, способно порождать подобную интенциональность. Может быть, другие физические и химические процессы могут производить точно такое же действие; например, марсиане имеют интенциональность, хотя их мозги сделаны из другого материала. Это эмпирический вопрос, подобный вопросу о том, может ли фотосинтез осуществляться с помощью вещества, химически отличного от хлорофилла.

Основной смысл моего аргумента в том, что никакая чисто формальная модель сама по себе не будет достаточна для интенциональности, поскольку формальные свойства сами по себе не являются составляющими интенциональности и не имеют каузальных свойств, кроме свойства переходить к следующему формальному шагу в процессе работы машины. Любые другие каузальные свойства, которые может иметь данное воплощение формальной модели, не имеют прямого отношения к этой формальной модели, поскольку та же формальная модель может быть воплощена в механизме, не имеющем этих каузальных свойств. Даже если, по чудесному стечению обстоятельств, китайцы являются точным воплощением программы Шенка, мы можем снабдить той же программой англо-говорящих людей, водопроводные трубы или компьютеры, и никто из них не будет понимать китайского, несмотря на программу.

В работе мозга важен не призрак формальности, появляющийся благодаря последовательности синапсов, а действительные свойства этих последовательностей. Все доводы в пользу сильной версии ИИ, которые мне встречались, обводят тени, отброшенные когнитивными процессам, и затем утверждают, что эти тени и есть сами процессы.

В заключение я хочу сформулировать некоторые общие философские идеи, которые в неявной форме встретились в этом аргументе. Для ясности я сделаю это в форме вопросов и ответов, начав с классического вопроса:

“Может ли машина думать?”

Ответ на этот вопрос, разумеется, положительный. Мы и есть такие машины.

“Да, но может ли думать искусственная машина, созданная человеком?”

Если предположить, что возможно создать машину с нервной системой, нейронами с аксонами и дендритами и всем остальным, достаточно похожим на то, чем обладаем мы, ответ, очевидно, снова будет положительным. Если вы сможете повторить причины, вы сможете повторить и следствия. На самом деле возможно, что сознание, интенциональность и все остальное удастся получить, используя химические принципы, отличные от тех, на которых основан человек. Как я говорил, вопрос это чисто эмпирический.

“Хорошо, но может ли думать цифровой компьютер?”

Если под “цифровым компьютером” мы понимаем нечто, что может быть на определенном уровне верно описано как воплощение действующей компьютерной программы, то ответ снова будет положительным, поскольку мы сами — воплощение множества компьютерных программ, а мы способны думать.

“Но может ли нечто думать, чувствовать и так далее, всего лишь будучи компьютером с соответствующей программой? Может ли работа программы — верной программы, разумеется — быть достаточным условием возникновения понимания?”

Думаю, что это правильный вопрос, хотя обычно его путают с предыдущими. Ответ на него — отрицательный.

“Почему?”

Потому что сама по себе манипуляция формальными символами не обладает интенциональностью и не имеет смысла. Нельзя даже сказать, что это манипуляция символами, поскольку символы ничего в данном случае не символизируют. Говоря языком лингвистов, они обладают только синтаксисом, но лишены семантического наполнения. Кажущаяся интенциональность компьютеров находится в головах тех, кто их запрограммировал и использует, кто вводит некие данные и интерпретирует ответ.

Цель моего примера с китайской комнатой в том, чтобы показать, что как только в систему вводится компонент, действительно обладающий интенциональностью (человек) и снабженный формальной программой, мы видим, что формальная программа не несет никакой дополнительной интенциональности. В данном примере она ничего не добавляет к способности человека понимать китайский язык.

То самое свойство ИИ, которое казалось таким привлекательным — различение между программой и ее реализацией — оказывается роковым для гипотезы о том, что симуляция может быть идентичной копией. Различие между программой и ее реализацией на определенной аппаратуре повторяет различие между уровнем мышления и уровнем мозговой деятельности. Если бы нам удалось описать мыслительные процессы в виде формальной программы, возможно, удалось бы описать основные характеристики разума, не прибегая к интроспективной психологии или нейрофизиологии мозга. Однако уравнение “разум для мозга = программа для аппаратуры” имеет слабые стороны.

Например, одна и та же программа могла бы иметь любые странные воплощения, некоторые из которых не имели бы интенциональности. Так, Вайценбаум (1976, гл. 2) описывает в деталях, как можно сделать компьютер из рулона туалетной бумаги и горсти маленьких камешков. Точно так же, программа, понимающая китайский рассказ, может быть воплощена в системе водопроводных труб или в англо-говорящем человеке, не понимающем китайского языка. Камни, туалетная бумага, водопроводные трубы и тому подобные материалы не могут иметь интенциональности, поскольку ею может обладать только нечто, приводимое в действие теми же каузальными силами, что и мозг. С другой стороны, хотя англо-говорящий человек и обладает нужным для интенциональности аппаратом, легко увидеть, что зазубрив программу, он не добавит себе интенциональности, поскольку его понимание китайского не улучшится.

Во-вторых, программа чисто формальна, в то время как интенциональные состояния этим типом формальности не обладают. Они определяются своим содержанием, а не формой. Например, убеждение в том, что на улице дождь, определяется не как некая формальная структура, но как содержание мыслей, обладающее условием удовлетворения, направленностью (см. Сирл 1979) и тому подобными характеристиками. В действительности, само убеждение вообще не обладает формальной структурой в синтаксическом смысле, поскольку одно и то же убеждение может быть выражено множеством различных способов в различных языковых системах.

В-третьих, как я уже говорил, ментальные состояния и события являются продуктами деятельности мозга, в то время как программа — не результат деятельности компьютера.

Но если программы не являются составляющими ментальных процессов, почему такое количество людей убеждены в обратном?

На этот вопрос у меня нет ответа. Идея о том, что компьютерная модель может быть тождественна реальному объекту, сомнительна уже потому, что компьютер ни в коем случае не ограничен симуляцией ментальных процессов. Никто не полагает, что компьютерная симуляция пожара может сжечь окрестные постройки или что компьютерная модель ливня промочит присутствующих насквозь. Почему же тогда мы должны считать, что компьютерная симуляция понимания что-либо понимает на самом деле? Иногда говорят, что компьютер очень трудно научить чувствовать боль или любовь, но боль и любовь ничуть не сложнее познания и других ментальных процессов. Для симуляции требуются всего-навсего правильные входные и выходные данные и программа, которая превращает первые во вторые. Это все, что делает компьютер. Принимать симуляцию за идентичную копию в случае боли, любви и познания ошибочно так же, как в случае пожаров или ливней.

Тем не менее, существует несколько причин того, что ИИ должен был казаться — и кажется многим до сих пор — воспроизведением и объяснением феномена мышления. Нам не удастся развеять это заблуждение, пока мы не выясним причин, по которым оно возникло.