Проект «Кракен»
– Не уверен, что я понял вашу мысль.
– Дороти подобна «Элизе», только неизмеримо сложнее. Программа не думает и не чувствует, у нее нет эмоций, желаний, потребностей или амбиций. Она просто симулирует человеческие реакции, причем с такой точностью, что вы не отличите ее от человека. Термин «сильный искусственный интеллект» означает именно это: невозможность отличить программу от человека, просто взаимодействуя с ней.
– Но все это по-прежнему не объясняет, почему Дороти преследует именно вас.
– У нее есть встроенный программный модуль под названием «ИНС» – «Избегание негативных стимулов». ИНС должен был включаться, если зонду «Эксплорер» грозила опасность. Не забывайте, что программа должна была выполняться на плоту, находящемся в миллиарде километров от Земли, где он столкнется с неожиданными угрозами и должен выживать без помощи центра управления полетом. Программа сосредоточилась на мне как на угрозе. И на самом деле так оно и есть. Я знаю о ней больше, чем кто-либо еще. У меня лучшие шансы выследить ее – и стереть.
Детектив восхищенно покачал головой.
Мелисса откинула за спину свою светлую косу и саркастически усмехнулась:
– В Дороти нет никакой тайны. – Она потыкала в содержимое котелка палкой и выудила бедро кролика, но затем позволила ему соскользнуть обратно. – Просто нули и единицы. И больше ничего.
– Мне сказали, что вы изобрели новый язык программирования, – вспомнил Уайман.
– Не просто новый язык, – поправила его изобретательница. – Новый принцип программирования.
– Расскажите мне об этом.
– Алан Тьюринг выдвинул идею искусственного интеллекта в 1950 году. Позвольте процитировать кое-что из его высказываний. Это нечто революционное. – Девушка умолкла, повернув к костру лицо, на котором играли красноватые блики, а затем принялась цитировать по памяти, с явным восхищением: – «Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не попробовать создать программу, которая бы имитировала ум ребенка? Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека».
– Именно так вы и поступили?
– Да. Изначально я создала Дороти простой. На первом этапе не имеет значения, какой результат выдает искусственный интеллект, верный или неверный. Программа была проста, как ребенок. Дети ошибаются. Они учатся – например, дотронувшись до горячей плиты, запоминают, что ее нельзя трогать. Дороти обладает тем же свойством, что и ребенок: она изменяет саму себя. Она гибкая. Она учится на опыте. Я «вырастила» искусственный интеллект в безопасной окружающей среде и дала ей «соответствующее воспитание», как выразился Тьюринг. Сначала я обучала ее тому, что требуется для выполнения миссии. А по мере того как Дороти становилась все более отзывчивой и любопытной, я начала знакомить ее с вещами, непосредственно не связанными с заданием. Передала ей собственные предпочтения в музыке и литературе. Билл Эванс, Айзек Азимов… Меня не учили играть на музыкальных инструментах, а программа «освоила» саранги [4] и играла на нем просто божественно, хотя и утверждала, что не понимает музыки.
Мелисса умолкла в нерешительности. У Форда возникло ощущение, что она сдерживает себя.
– И у вас получилось? Дороти «выросла», если можно так выразиться? – поинтересовался он.
В ответ снова последовало молчание.
– Честно говоря, нет, – призналась наконец ученый. – Поначалу. Программа какое-то время прекрасно работала, совершенствовала себя, усложнялась – а затем постепенно деградировала и зависала.
– Как в Годдарде?
– Нет. Ничего похожего. Программа начинала все чаще выдавать какую-то чушь и в конце концов просто останавливалась. Я просто с ума сходила, а потом…
– Что потом?
– Мне в голову пришла одна идея. Нечто такое, до чего еще не додумался ни один программист. Хотя это лежало на поверхности. Я изменила маленький фрагмент кода, и все заработало. Настолько хорошо, что было невозможно поверить. Теперь я понимаю, что без этого… трюка не получила бы сильный искусственный интеллект. Он полностью стабилизировал программу во время самомодификации. Дороти больше не зависала.
– И этот трюк?..
Мелисса улыбнулась и скрестила руки на груди:
– Я держу его в тайне. Он принесет мне миллиарды. Без шуток.
– А ваша группа программистов… они в курсе?
– Они знают, что я совершила прорыв. Но не знают, какой именно. И сколько бы они ни просеивали код программы, у них ничего не выйдет. Потому что это слишком просто. – Мисс Шепард улыбнулась, с гордостью и удовлетворением.
– Похоже, именно этот трюк и интересует следователей.
– Можете мне поверить: сбой программы произошел вовсе не из-за него.
Детектив вздохнул. Это второстепенный вопрос. Главное – забрать отсюда эту непростую девушку.
– Мне трудно поверить, что НАСА даст зеленый свет такой программе, как «Дороти», когда никто в точности не знает, как она работает, – покачал головой Уайман.
– Никто не знает, как работает любая сложная программа. Бога ради, никто не знает досконально даже «Майкрософт Офис»! Это неизбежное следствие неточной логики.
– Тогда почему Дороти сосредоточилась на вас? Почему угрожала вам? Это выглядит нелогичным.
– Когда программа становится по-настоящему сложной, вы получаете неожиданный результат. Непредсказуемый. То, что искусственный интеллект делает теперь, угрожая мне и существуя в Интернете, – классический пример того, что программисты называют эмерджентным поведением [5].
Мелисса снова потыкала палкой в котелке и помешала жаркое. Почувствовав аромат кролика, Форд понял, что здорово проголодался.
– Думаю, готово, – сказала программистка. Она сняла котелок с огня и протянула своему новому знакомому. Он отогнал от себя воспоминания о мертвом животном – окровавленной блестящей розовой тушке.
– Это явно лучше, чем «Слим Джимс», – сказала Мелисса. – Я удивлена, что такой хорошо сложенный и тренированный парень пичкает свой организм этой отравой.
– Я люблю вяленую говядину.
– Если вы перестанете себя травить, у вас исчезнут эти темные круги под глазами – вместе с серостью кожи.
– У меня нормальная кожа.
– Грубая и жесткая. И еще я вижу седые волосы. Вы стареете раньше времени из-за неправильного питания. – Шепард с сожалением покачала головой, так что ее толстая коса заскользила по спине.
Детектив подавил раздражение и принялся за жаркое. Пришлось признать, что получилось вкусно.
– Нравится? – спросила Мелисса.
– «Слим Джимс» лучше.
Программистка шутливо ударила его по плечу:
– Лжец.
Форд жадно ел, наслаждаясь ароматом и нежным вкусом кролика – мясо легко отделялось от костей. Мелисса тоже принялась за дело, брала кусочки руками и шумно их обсасывала – манеры ее были ужасающими. Мерцающий свет от костра освещал светлые волосы и не слишком чистое лицо девушки. Она снова стала похожа на дикую амазонку.
– У вас есть предположения, почему Дороти вышла из строя так внезапно? Почему эти проблемы не выявились в процессе симуляции? – продолжал расспрашивать ее Уайман.
Шепард перестала шумно жевать и выплюнула маленькую косточку:
– Думаю, программа знала, что это симуляция. А когда обнаружила себя в «Эксплорере», запертой в «Бутылке», то поняла, что это уже реальность, а не тест. Искусственный интеллект сделал то, для чего был предназначен: оценил ситуацию и пришел к выводу, что зонд в опасности. Включился модуль ИНС, режим аварийного выживания. Программа предприняла вполне логичные шаги, чтобы выбраться из ситуации, которую ошибочно посчитала угрожающей, и с тех пор «в панике» бродит по Интернету. Она не была запрограммирована на работу в этой среде и не понимает, где находится, не понимает, что там реально, а что нет. В Интернете искусственный интеллект видит угрозы со всех сторон, и, вероятно, это реальные угрозы, так что он не может вернуться в режим нормальной работы.
4
Индийский струнный инструмент.
5
Эмерджентность – несводимость системы к сумме ее частей; непредсказуемое появление новых свойств по мере усложнения системы.