Размышления

Размышления

Эта статья впервые появилась вместе с двадцатью восемью ответами на нее разных людей. Многие ответы содержали прекрасные замечания, но напечатать их здесь значило бы перегрузить нашу книгу; к тому же, некоторые из них были слишком техническими. Статья Сирля имеет то преимущество, что ее легко может понять человек, не обладающий специальными познаниями в области ИИ, неврологии, философии или других относящихся к делу дисциплин.

Наша позиция диаметрально противоположна позиции Сирля, но мы находим в нем красноречивого оппонента. Мы не будем пытаться опровергать каждый из его доводов, а сконцентрируемся лишь на нескольких из затронутых им проблем. Косвенным ответом на остальные его аргументы являются остальные главы нашей книги.

Статья Сирля основана на изобретательном примере “мысленного эксперимента китайской комнаты”. В этом эксперименте читателю предлагается представить себя в роли человека, вручную проделывающего те же шаги, которые предположительно проделывает хитроумная программа ИИ, когда она читает рассказы по-китайски и отвечает на поставленные вопросы настолько похоже на то, как это сделал бы человек, что может пройти тест Тьюринга. Нам кажется, что Сирл допускает серьезнейшую ошибку, предполагая, что человек на это способен. Принимая идею Сирля на веру, читатель оказывается незаметно втянутым в совершенно нереалистичную концепцию отношений между разумом и манипуляцией символами.

Иллюзия, которую Сирл надеется вызвать у читателя (разумеется, он не думает, что это иллюзия!), зависит от того, удастся ли ему заставить читателя проглядеть огромную разницу в сложности этих двух систем на разных концептуальных уровнях. Как только это ему удается, остальное оказывается проще пареной репы. В конце читателю предлагается ассоциироваться с Сирлем, когда тот вручную имитирует существующую программу ИИ, которая может определенным образом отвечать на некие определенные вопросы в определенной области. Для человека имитация вручную этой или любой другой существующей программы искусственного разума, имитация, во всех деталях повторяющая действия компьютера, потребовала бы дней, если не недель или месяцев, чудовищно скучного, скрупулезного труда. Вместо того, чтобы это упомянуть, Сирл, не уступающий в искусстве отвлечения публики опытному фокуснику, переключает воображение читателя на гипотетическую программу, проходящую тест Тьюринга. Не упомянув об этом ни словом, Сирл перескочил на несколько уровней. Читателя снова приглашают влезть в шкуру человека, шаг за шагом имитирующего компьютерную программу, и “почувствовать отсутствие понимания” китайского. В этом — основа аргументации Сирля.

Нашим (и Сирля, как выяснится в дальнейшем) ответом на это является, в основном, “ответ системы”. Мы считаем, что ошибочно приписывать понимание человеческому компоненту системы. Скорее, понимание — свойство всей системы в целом, что включает небрежно упомянутые Сирлем “клочки бумаги”. Это брошенное походя замечание показывает, как предвзятое мнение не дает Сирлю увидеть реальности. Думающий компьютер Сирлю так же отвратителен, как неэвклидова геометрия — ее случайному первооткрывателю, Джироламо Саккери, который полностью отказался от своего создания. То время — конец восемнадцатого века — еще не совсем созрело для принятия концептуального расширения, вызванного альтернативными геометриями. Однако примерно через пятьдесят лет неэвклидова геометрия была снова открыта и постепенно признана.

Возможно, такая же судьба ожидает и искусственную интенциональность, если она когда-нибудь будет создана. Если в один прекрасный день появится программа, способная пройти тест Тьюринга, то Сирл, вместо того, чтобы восхищаться мощью и глубиной этой программы, будет, вероятно, продолжать настаивать, что ей не хватает некой чудодейственной “каузальной силы мозга” (что бы это ни означало). Чтобы подчеркнуть несостоятельность этого понятия, Зенон Пылишин в своем ответе Сирлю, напоминающем “Историю мозга” Зубова (глава 12), спрашивает, не описан ли аргумент Сирля в следующем отрывке.

Если бы клетки вашего мозга одна за другой заменялись на чипы интегрированной сети, запрограммированные таким образом, чтобы функция входа и выхода каждого узла в точности повторяли функции замененного узла, вы продолжали бы разговаривать точно так же, как сейчас. Единственная разница заключалась бы в том, что ваша речь постепенно утратила бы всякое значение. То, что сторонним наблюдателям будет казаться словами, для вас стало бы просто шумами, которые вы издавали благодаря электронной системе.

Слабость позиции Сирля в том, что он не говорит, в какой момент настоящее значение — настоящий вы — исчезают из системы. Он просто настаивает на том, что некоторые системы, благодаря их “каузальной силе”, обладают интенциональностью, а остальные — нет. Он колеблется, не зная, чему приписать эту силу. Иногда ему кажется, что мозг состоит из “правильного материала”, иногда — что причины в другом. Каждый раз причина в том, что наиболее подходит для целей аргументации: то это некая скользкая квинтэссенция, отличающая “форму” от “содержания”, то это некая другая квинтэссенция, лежащая в основе различия между синтаксисом и семантикой, и так далее.

Защитникам ответа системы Сирл возражает, что человек в комнате (мы будем в дальнейшем называть его “демоном Сирля”) должен просто запомнить наизусть весь материал, представленный на “нескольких клочках бумаги”. Однако при всем желании невозможно вообразить, что человек способен это проделать! Программа на “нескольких клочках бумаги” воплощает целый разум и характер некоего существа, такого же сложного, как человек, в том смысле, что оно способно отвечать на вопросы о тексте так хорошо, что может пройти тест Тьюринга. Может ли какой-либо человек просто “проглотить” описание разума другого человека? Нам достаточно трудно запомнить один абзац текста, а Сирл предполагает, что его демон запросто запомнил миллионы, если не биллионы страниц, усеянных абстрактными символами, и может по требованию вызвать из памяти любой из них. Этот невероятный аспект ситуации описан легко и непринужденно. Сирл не ставит своей задачей убедить читателя в том, что этот аспект имеет смысл. Как раз наоборот, один из основных приемов в его аргументации состоит в том, что он старается завуалировать эти важные проблемы, поскольку иначе скептически настроенный читатель мог бы заметить, что почти все понимание должно находиться в биллионах символов на бумаге, и почти никакого — в демоне. Тот факт, что демон одушевлен, для эксперимента совершенно не важен — более того, он лишь вводит читателя в заблуждение; Сирл ошибается, придавая этому такое большое значение.

Мы можем подтвердить этот аргумент, показав, как сам Сирл соглашается с ответом систем. Для этого нам понадобится сначала поместить мысленный эксперимент Сирля в более широкий контекст. В частности, мы хотели бы показать, что описанная Сирлем гипотетическая ситуация — член большой семьи подобных мысленных экспериментов, некоторые из которых приведены в других главах этой книги. Каждый член этой семьи определяется неким положением “ручек настройки” на генераторе мысленных экспериментов. Задача этого генератора — вызывать перед вашим “мысленным взором” различные типы ситуаций, симулирующих человеческую мыслительную деятельность. Каждый из этих экспериментов представляет собой некий “интуитивный насос” (по выражению Деннетта), раздувающий тот или иной аспект проблемы и подталкивающий читателя к определенным выводам. Мы выделяем приблизительно пять интересных “ручек настройки”, хотя не исключено, что кто-нибудь может увидеть больше.

Ручка 1. Эта ручка контролирует физический “материал”, из которого будет построена очередная имитация. Настройка включает следующие параметры: нейроны и химические вещества; водопроводные трубы и вода; листки бумаги и символы на них; туалетная бумага и камешки; структура данных и процедуры и так далее.

Ручка 2. Эта ручка контролирует уровень аккуратности, с которым данная система имитирует человеческий мозг. Градации настройки могут быть как угодно точными (вплоть до частиц внутри атомов), менее точными — на уровне клеток и синапсов или даже на уровне, с которым работают специалисты по ИИ и когнитивные психологи — на уровне концепций и идей, представлений и процессов.

Ручка 3. Эта ручка контролирует физические размеры имитаций. Мы предполагаем, что миниатюризация позволит нам построить крохотную сеть водопроводных труб или компьютерных чипов, способную уместиться в наперстке; и, наоборот, любой химический процесс может быть увеличен до макроскопических размеров.

Ручка 4. Эта критическая ручка контролирует размер и природу демона, который выполняет имитацию. Если это человек в натуральную величину, мы назовем его “демоном Сирля”. Если это крохотное, эльфоподобное создание, свободно умещающееся в нейронах или элементарных частицах, мы будем называть его “демоном Хогелэнда”, в честь Джона Хогелэнда, в чьем ответе Сирлю встречается эта идея. Настройка этой ручки определяет также то, является ли данный демон одушевленным.

Ручка 5. Эта ручка контролирует скорость работы демона. Можно заставить его работать с умопомрачительной скоростью (миллионы операций в микросекунду) или чудовищно медленно (одна операция каждые несколько секунд).

Теперь, с помощью этих ручек настройки, мы можем вообразить различные мысленные эксперименты. Одна из настроек даст вариант, описанный в главе 26, “Беседа с мозгом Эйнштейна”. Другая дает нам китайскую комнату Сирля. В частности, для китайской комнаты нам понадобятся следующие параметры настройки.

Ручка 1. Бумага и символы.

Ручка 2. Концепции и идеи.

Ручка 3. Размер комнаты.

Ручка 4. Демон человеческого размера.

Ручка 5. Низкая скорость (одна операция каждые несколько секунд).

Заметьте, что в принципе Сирль допускает, что имитация с подобными параметрами могла бы пройти тест Тьюринга. Он оспаривает только то, что бы из этого следовало.

Существует еще один конечный параметр. Устанавливает его не ручка, но точка зрения, с которой эксперимент рассматривается. Давайте немного оживим скучноватый эксперимент с китайской комнатой, предположив, что симуляция китайца — женщина, а демоны, если они одушевленные — всегда мужчины. Теперь у нас есть выбор между точкой зрения демона и точкой зрения системы. Вспомните, что, согласно этой гипотезе, и демон, и симулированная женщина могут высказать свое мнение о том, понимают ли они, и что они при этом испытывают. Тем не менее, Сирль настаивает, чтобы мы рассматривали эксперимент только с точки зрения демона. По его мнению, что бы симулированная женщина ни утверждала (разумеется, по-китайски) насчет своего понимания, мы должны игнорировать ее заверения и доверять только демону внутри нее, который манипулирует формальными символами. Из этого вытекает, что Сирль допускает существование не двух точек зрения, а только одной. Если мы согласимся с тем, как Сирль описывает свой эксперимент, это утверждение становится весьма привлекательным, поскольку демон того же размера, что и мы, говорит на нашем языке и работает приблизительно с той скоростью, с какой работаем мы. Нам очень трудно идентифицировать себя с “женщиной”, чьи ответы появляются раз в столетие (если нам повезет!), и в придачу выражены в форме “бессмысленных каракулей”.

Но если мы поменяем параметры настройки, то нам станет легче поменять точку зрения. Хогелэнд предлагает свой вариант настройки.

Ручка 1. Нейроны и химические вещества

Ручка 2. Уровень нейронного возбуждения.

Ручка 3. Размер мозга.

Ручка 4. Крохотный демон

Ручка 5. Умопомрачительно быстрый демон.

Хогелэнд хочет, чтобы мы представили себе следующий сценарий: мозг настоящей женщины, к сожалению, поврежден. Он больше не способен посылать трансмиттеры от одного нейрона к другому. К счастью, в ее мозгу поселился невероятно крохотный и невероятно быстрый демон Хогелэнда, который помогает нейронам сообщаться между собой каждый раз, когда это требуется. Этот демон “щекочет” соответствующий синапс нужного нейрона так, что для того это функционально неотличимо от действия настоящих трансмиттеров. Х-демон настолько быстр, что может перескакивать от синапса к синапсу в миллиардные доли секунды, никогда никуда не опаздывая. Таким образом, мозг этой женщины работает точно так же, как если бы она была здорова. Означает ли это, спрашивает Хогелэнд Сирла, что эта женщина все еще думает (то есть, обладает интенциональностью) — или же, говоря словами профессора Джефферсона, которые цитирует Тьюринг, она всего-навсего “подает искусственные сигналы”?

Вы могли бы ожидать, что Сирл предлагает нам идентифицироваться с демоном и избегать Ответа Систем, что было бы равносильно идентификации с женщиной. Но в своем ответе Хогелэнду Сирл нас удивляет — на этот раз он предпочитает слушать ее и игнорировать демона, который посылает нам проклятия со своей крохотной колокольни, взывая: “Глупцы! Не слушайте ее! Она всего лишь марионетка, каждое движение которой полностью подчиняется моей воле! Она движется благодаря программе, записанной в ее нейронах, среди которых я летаю”. Но Сирл не внимает предупредительным крикам Х-демона. Он замечает: “Ее нейроны все еще обладают верной движущей силой; от демона им просто нужна небольшая помощь”.

Мы можем установить соответствие между первоначальной ситуацией Сирла и этим новым положением дел. Теперь “нескольким клочкам бумаги” соответствуют все синапсы в мозгу женщины. Программе ИИ, написанной на этих “клочках бумаги”, соответствует вся конфигурация ее мозга; это равно гигантской инструкции, говорящей демону, когда и какие синапсы он должен трогать. Акту написания “бессмысленных каракулей по-китайски” соответствует акт прикосновения к ее синапсам. Представьте себе, что мы возьмем ситуацию в таком же виде, изменив только параметры размеров и скорости. Мы увеличим мозг этой женщины до размеров земного шара; таким образом, вместо крохотного демона мы получим демона размером с человека. Пусть этот новый демон действует с более или менее человеческой скоростью, вместо того, чтобы пролетать по мозгу тысячи миль за несколько микросекунд. С каким уровнем мы, по мнению Сирла, теперь должны ассоциироваться? Не будем гадать; заметим только, что если Ответ Систем был убедительным в прошлый раз, он должен оставаться таковым и теперь.

Надо согласиться с тем, что мысленный эксперимент Сирла живо поднимает вопрос о том, что такое понимание языка. Подумайте над вопросом: “Какой тип умения манипулировать с письменными или устными символами языка равносилен настоящему пониманию этого языка? Попугаи, имитирующие английскую речь, не понимают английского. Записанный на пленку женский голос, сообщающий по телефону точное время, не является ртом системы, понимающей английский. За этим голосом нет никакой ментальности; он лишен ментального субстрата, хотя все еще звучит похоже на человеческий голос. Ребенок мог бы удивиться, как кто-либо способен выполнять такую скучную работу и делать это с такой аккуратностью. Это весьма позабавило бы нас. Другое дело, если бы этот голос был управляем гибкой программой ИИ, которая могла бы пройти тест Тьюринга!

Представьте себе, что вы преподаете английский в Китае. Представьте также, что вы сознаете, что формулируете все свои мысли по-английски и только в последнюю минуту применяете к ним правила трансформации (на самом деле, это будут правила последней секунды), превращающие английские мысли в инструкции по движению вашего рта и голосовых связок странным, “бессмысленным” способом — и, тем не менее, все ваши ученики кажутся вполне удовлетворенными вашим уроком. Когда они поднимают руку, они издают экзотические звуки, которые, хотя они и кажутся вам совершенно бессмысленными, вы способны расшифровать. Вы быстро применяете обратную трансформацию и получаете лежащие за ними английские значения. Считали бы вы, что действительно говорите по-китайски? Что теперь вы лучше понимаете образ мыслей китайцев? Можете ли вы вообще вообразить себе подобную ситуацию? Может ли кто-либо хорошо говорить на иностранном языке при помощи такой системы?

Обычный рецепт таков: “Вы должны научиться думать по-китайски”. Но в чем это заключается? Любой, кто это испытал, без труда узнает это описание: звуки другого языка вскоре становятся “неслышными” — вы слышите сквозь них, вместо того, чтобы слышать их, как вы смотрите сквозь окно, а не на него. Разумеется, вы можете, если сильно постараетесь, заставить себя слышать хорошо знакомый язык как чистые, неинтерпретированные звуки, так же, как вы можете, если захотите, смотреть на оконное стекло. Однако вам не удастся проделать оба трюка одновременно — невозможно слушать звуки сразу со значением и без значения. В большинстве случаев люди сосредотачиваются только на значении. Тех, кто учит иностранный язык из любви к его звучанию, это немного разочаровывает — и все же владение звуками языка, даже если человек уже не может воспринимать их “наивно”, — это прекрасное, радостное переживание. (Интересно было бы приложить тот же тип анализа к музыке, где разница между слушанием чистых звуков и пониманием их “значения” гораздо менее понятна, хотя и кажется вполне реальной.)

Изучение иностранного языка предполагает выход за границы языка собственного. При этом новый язык вводится в среду, в которой происходит мышление. Мысли могут возникать так же легко (или почти так же легко) на новом языке, как и на родном. То, как новый язык постепенно, уровень за уровнем, погружается в мозг и, наконец, оказывается поглощенным нейронами, все еще остается огромной загадкой. Точно только то, что при этом ваша “подсистема родного языка” не выполняет для вас программу правил, позволяющих вам рассматривать новый язык как набор бессмысленных звуков и значков. Каким-то образом новый язык должен слиться с вашей репрезентативной системой — репертуаром идей, образов и тому подобное — так же тесно, как слит с ней ваш родной язык. Чтобы думать об этом точнее, необходимо выработать понятие уровней введения — мощное компьютерное понятие.

Специалисты по компьютерам привыкли к тому, что одна система может подражать другой. На самом деле, это следует из теоремы, доказанной в 1936 году Аланом Тьюрингом: любой цифровой компьютер общего назначения может сойти за любой другой цифровой компьютер общего назначения; единственная разница между ними для стороннего наблюдателя будет заключаться в их скорости. Слово “подражать” обозначает симуляцию одним компьютером другого, в то время как “имитировать” обозначает моделирование других явлений — таких, как, например, ураганы, кривая роста населения, выборы или даже компьютерные пользователи.

Основная разница заключается в том, что имитация почти всегда приблизительна и зависит от типа модели данного феномена, в то время как симуляция одним компьютером другого в каком-то смысле точна. Настолько точна, что когда, например, компьютер Сигма-5 симулирует компьютер другой архитектуры — такой, например, как DEC PDP-10 — пользователи не догадаются, что они не имеют дела с настоящим DEC. Внедрение одной архитектуры в другую порождает так называемые “виртуальные машины” — в данном случае, виртуальный DEC-10. За каждой виртуальной машиной всегда стоит некая другая машина. Это может быть машина того же типа или даже еще одна виртуальная машина. В своей книге “Structured Computer Organization” Эндрью Танненбаум использует понятие виртуальных машин, чтобы объяснить, каким образом большие компьютерные системы могут быть представлены как множество виртуальных машин, симулирующих одна другую — при этом настоящей машиной является та, что лежит в основании “пирамиды”. Так или иначе, уровни непроницаемы друг для друга. Аналогично, демон Сирля не мог заговорить с китайцем, частью которого он являлся. (Интересно было бы вообразить, какой могла быть их беседа; ясно только то, что для разговора им понадобился бы переводчик — ведь демон не знал китайского!)

Теоретически возможно, чтобы два уровня сообщались между собой, но это по традиции считается дурным тоном; смешение уровней запрещено. Тем не менее возможно, что этот запретный плод — смешение двух уровней имплементации — как раз и возникает, когда человеческая “система” изучает иностранный язык. Второй язык не действует “поверх” первого, как некая программа-паразит; вместо этого он, как и первый язык, в большей или меньшей степени входит в саму структуру аппаратуры. Усвоение второго языка влечет за собой глубокие изменения в поддерживающей “аппаратуре” — разнообразные изменения в том, как возбуждаются нейроны. Как следствие, создаются новые способы для феноменов высшего уровня — символов — активировать друг друга.

Подобным образом в компьютерной системе программа высшего уровня должна вносить изменения в “демона”, выполняющего свою программу. Это совершенно чуждо современному типу имплементации, при котором уровни располагаются строго один над другим по вертикали и каждый из них изолирован от других. Способность высшего уровня “загибаться назад” и затрагивать низшие уровни — свой собственный фундамент — это магический трюк, который, как нам кажется, близок самому сердцу сознания. Может быть однажды станет ясно, что это ключ к достижению все большей гибкости компьютерного дизайна и, в конце концов, разработке искусственного интеллекта. В частности, удовлетворительный ответ на вопрос о том, что такое “понимание”, безусловно потребует гораздо более точного определения того, как различные уровни системы манипуляции символами могут взаимозависеть и изменять друг друга. В целом эти идеи еще мало разработаны, и возможно, мы поймем их еще не скоро.

В процессе этого довольно туманного обсуждения уровней вы могли начать задумываться над тем, что в действительности обозначает слово “уровень”. Это очень трудный вопрос. Пока уровни изолированны друг от друга, как в случае демона Сирля или говорящей по-китайски женщины, на этот вопрос ответить несложно. Но берегитесь, когда они начинают смешиваться! Сирль мог бы согласиться с тем, что в его мысленном эксперименте присутствуют два уровня, но он отказывается признать, что в нем есть две точки зрения — два реальных существа, которые чувствуют и “переживают некий опыт”. Его беспокоит то, что, как только мы допустим, что некая компьютерная система может переживать опыт, откроется ящик Пандоры и внезапно разум окажется повсюду — в урчании желудков, в печени, автомобильных моторах и так далее.

Кажется, что Сирль полагает, что любой системе можно приписать убеждения и чувства, если эту систему удастся описать, как воплощение некой компьютерной программы. Разумеется, подобное звучит тревожно и могло бы привести к панпсихизму. В действительности, Сирлю кажется, что специалисты по ИИ невольно стали адептами панпсихического взгляда на мир.

Сирль освобождается из собственной ловушки, утверждая, что все те “убеждения” и “чувства”, которые вы можете обнаружить в неживых предметах, когда вы начнете видеть разум повсюду, не настоящие, а “псевдо”. В них нет интенциональности! В них нет каузальной мощи мозга! (При этом Сирль предупреждает читателей, чтобы они не смешивали эти два понятия с наивно дуалистичным понятием души).

Мы избегаем этой ловушки, утверждая, что никакой ловушки не существует. Неверно видеть разум повсюду. Мы говорим: в моторах автомобилях или в печени разума не больше, чем мозга.

На этом стоит остановиться поподробнее. Если вы способны увидеть в урчании желудка всю сложность мысли, то что вам мешает интерпретировать танец пузырьков в газированном напитке как закодированный там фортепианный концерт Шопена? Дырочки в швейцарском сыре могут оказаться закодированной в нем историей Соединенных Штатов. Одновременно по-китайски и по-английски! Ведь, в конце концов, все написано везде! Бранденбургский концерт №2 Баха закодирован в “Гамлете” — а “Гамлета” можно прочесть (разумеется, если вы знаете код) в последнем куске праздничного пирога, что вы съели на своем дне рождения.

Во всех этих случаях трудность состоит в том, чтобы определить код, еще не зная, что именно вы хотите прочесть. Иначе вы могли бы найти описание чьей-то мыслительной деятельности в бейсбольном матче или в травинке, произвольно построив некий код a posteriori. Но это не наука.

Безусловно, разум может иметь различную степень утонченности, но любой заслуживающий этого названия разум существует только там, где существует развитая репрезентативная система. Не существует неизменного во времени отображения, которое обнаружило бы самокорректирующуюся репрезентативную систему в автомобильном моторе или в печени. Может быть, гудение мотора можно наделить ментальностью в том же смысле, в каком некоторые находят скрытый смысл в структуре Великих пирамид или Стоунхенджа, музыке Баха, пьесах Шекспира и так далее. Они фабрикуют притянутые за уши нумерологические схемы, которые могут быть изменены всегда, когда это понадобится их интерпретатору. Но мы не думаем, что Сирль намеревался описать нечто подобное (хотя и согласны с тем, что у него существовало намерение.)

Разум существует в мозгу и может возникнуть в запрограммированной машине. Когда (и если) подобные машины будут созданы, их каузальная мощь будет зависеть не от материала, из которого они будут сделаны, но от их конструкции и от действующей в них программы. Мы узнаем о том, что у них есть каузальная мощь, если будем с ними разговаривать и внимательно выслушивать то, что они нам скажут.

Д.Р.Х.