Как нарушение законов роботехники может привести к кибернетическому коллапсу.
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
А.Азимов. Хоровод
Интеллект и квазижизнь
Еще в конце прошлого века, дискутируя с многочисленными энтузиастами поиска внеземного разума, выдающийся британский физик Стивен Хокинг заявил, что новый разум надо видеть в искусственном интеллекте Всемирной Сети. Здесь есть над чем задуматься. Сегодня Интернет полон квазиживности, которая вмешивается в жизнь людей, навязывает нам свои решения, а в будущем будет просто диктовать их. Поисковик или почтовый сервер, игнорируя ваше мнение, настойчиво пытается закрепиться на домашней странице, грубо расталкивая нужные сайты в виртуальном пространстве. Есть и настораживающие случаи «непреднамеренных злоупотреблений» со стороны биржевых роботов, способных создать настоящую панику. Поисковый робот Яндекса вежливо осведомляется: учел ли я при поиске ваши предпочтения? Значит, какую-то информацию он не показывает? Зловреднейшая форма квазижизни — компьютерный вирус — вполне способен превратить компьютер в электронного зомби, рассылающего спам или скачивающего в управляющий центр личную информацию.
А может ли такой искусственный интеллект выйти из виртуального пространства? Пока что нет, максимум — вымогать деньги, угрожая уничтожением информации в компьютере. Однако вскоре в его распоряжении могут оказаться и различные манипуляторы. Вокруг человека появляется все больше датчиков и управляемых ими устройств. Яркий пример — умный дом, где в автоматическом режиме регулируются температура, влажность и освещение. Для этого нужны датчики, которые связаны с контроллерами, способными включать различные приборы, умеют общаться между собой и, возможно, подключены к глобальной сети. Уже появились электронные замки, распознающие хозяина по отпечаткам пальцев. Даже в человеке порой оказываются электронные устройства вроде кардиостимуляторов, обменивающихся сообщениями с какими-то внешними устройствами. Вся эта электроника — прекрасная среда обитания для кибернетической квазижизни. Опыты сотрудников Кевина Уорвика по заражению вживленных микросхем компьютерными вирусами свидетельствуют, что проблема отнюдь не надумана: сейчас нет никаких гарантий, что в будущем электронный замок и умный нагреватель, не говоря уже о газовой плите, не смогут объединиться для совершения какого-то злодейства по чьей-то воле или из-за случайного сбоя.
Внедрение в жизнь датчиков неизбежно приводит к стихийному процессу их объединения в сеть. По мнению экспертов американского агентства DARPA, задача которого — финансирование перспективных оборонных исследований, по мере развития технологии изготовители станут оснащать датчиками буквально каждую деталь, устройство и каждое помещение, что откроет возможность контроля и управления за многими технологическими процессами.
Вообще же перспективы рационального использования сенсорных сетей весьма велики: от сельского хозяйства до полноценных систем экологического контроля, включая глобальный мониторинг атмосферы и гидросферы на предмет радиации и ядовитых веществ. В недалеком будущем сенсорами оборудуют и всю городскую инфраструктуру — от зданий и сооружений до общественного транспорта, и даже само тело человека. Есть тут и инновационные пути решения продовольственной проблемы — например, можно устроить гидропонные хозяйства и поместить датчики влажности и кислотности буквально возле каждого растения. Такие решения могут приводить и к неожиданным результатам.
Ровно двадцать лет назад американский математик и писатель-фантаст Вернор Виндж в книге «Грядущая технологическая сингулярность» предложил еще одну, после ядерного оружия, врожденную генетическую болезнь цивилизации. Суть модели будущего по Винджу очень проста: «В течение ближайших тридцати лет у нас появится техническая возможность создать сверхчеловеческий интеллект. Вскоре после этого человеческая эпоха будет завершена».
Виндж лишь схематически набросал черты будущей гибели человеческой цивилизации, предпочитая разрабатывать детали в своих научно-фантастических романах. Вывод же был такой: мы одиноки во Вселенной вовсе не потому, что другие цивилизации не смогли удержаться от ядерной войны, как полагало предыдущее поколение футурологов. Те цивилизации не смогли преодолеть технологическую сингулярность — совладать с мощью созданных ими машин. Его теория быстро обросла подробностями в исследованиях учеников и подражателей. Например, в 2001 году профессор Калифорнийского университета Кристофер Пистер ввел парадоксальное понятие умной пыли. Так он назвал микроскопические кибернетические устройства, обладающие зачатками собственного разума и способные связываться с мириадами себе подобных. Эти рои выполняют коллективные действия, а их поведением управляет некий базовый компьютер, наделенный гораздо большими возможностями для вычислений и передачи сигналов.
Образ такой умной пыли впервые встречается в романе Станислава Лема «Непобедимый». В нем классик мировой литературы предсказал организацию беспроводных сетей, в которых узлы могут связываться друг с другом и «роиться», выполняя множество задач. Прежде всего — накапливать электрический заряд и сообща поражать им противника.
Что-то вроде умной пыли — стаи из небольших простых спутников, управляемые базовой станцией, — действительно предполагают применять для исследований космоса. В нашей же реальности ее аналогом в ближайшем будущем окажутся упомянутые сети датчиков. Эта форма кибернетической квазижизни способна принимать внешние сигналы, а значит, может стать объектом манипуляций со стороны Всемирной паутины. Конечно, трудно ожидать каких-то неприятностей, скажем, от датчика кислотности воды в гидропонной системе оранжереи (разве что это оранжерея космического корабля), но кто знает, какими исполнительными устройствами будет оснащена автоматика будущего.
Чудеса нанотехнологий
Нанотехнологии в теории позволяют строить новые объекты буквально на уровне атомов и молекул, достигая одновременно и высочайшей специализации, и поразительной унификации. Не случайно в фантастической литературе прочно обосновался термин «нанобот» для обозначения созданного нанометодами робота микроскопического размера. Соответственно стараниями многих писателей разработана концепция враждебной человечеству полуразумной нанопыли.
Алгоритм уничтожения людей искусственным сверхразумом с помощью наноботов может быть следующим. Сначала роботы образуют единый рой. Сверхразум сообщает рою общие координаты целей. Каждый, зная свои координаты и координаты целей, задействует сверхчувствительные сенсоры и выбирает ближайшую цель. Для принятия окончательного решения об атаке нанобот анализирует, сколько роботов уже направилось к этой цели. Если их достаточно, он начинает искать другую цель или остается в резерве. Так рой очень быстро распадается на отдельные команды — кластеры, устремляющиеся на уничтожение живых существ. Подобная тактика представляется куда более эффективной, чем у голливудского Терминатора, — уже через несколько часов все живые существа на нашей планете, хотя бы отдаленно напоминающие человека, будут уничтожены.
Апокалиптическую картину вихрей враждебной нанопыли, покрывающей планету серой слизью переработанных минералов, высмеивали многие. Главный аргумент против умной пыли сводится к оценке очень низких энергетических возможностей подобных объектов, вряд ли способных перемещаться даже против слабых порывов ветра и уж тем более накапливать энергию для совершения злодейств. Тем более что пока еще не известны ни двигатели, ни аккумуляторы энергии для столь малых созданий. Поэтому самые перспективные разработки остановились на сантиметровых роботах. Здесь есть серьезный прогресс: в лабораториях по всему миру изготавливают летающих роботов размером от мухи до птицы. Если первые способны нести лишь видеокамеру и передавать информацию спасателям или солдатам, то на вторых можно разместить нечто более существенное. Такие роботы больше напоминают стаю злобных гоблинов, а не страшный металлический вихрь Лема, но легче от этого не становится, поскольку авторы подобных устройств прямо указывают, что работают они по заданию прежде всего оборонных ведомств, а уж потом — по заданию спасателей.
Компьютерные игры генералов
Наиболее активно по стезе создания боевых роботов следуют американские инженеры. Предполагается, что умные мини-боты — мухи, жуки, птицы — поступят в армию США и НАТО в первой четверти XXI века. Тогда становится возможным атака кибер-насекомых, описанная «золотым пером Голливуда» Дэном Брауном в бестселлере «Точка обмана». Там миниатюрные летающие роботы незаметно перемещаются в сторону нужного объекта, попутно выбирая оптимальные места для подзарядки в лучах солнечного света или просто вблизи нагретых предметов. Такие многофункциональные мини-боты способны вести видео- и аудиослежку в самых различных ракурсах, а также активно взаимодействовать с человеком, например доставлять микродозы ядовитых веществ или просто взрываться, залетев в глубину ушной раковины. С технической точки зрения их создание сегодня не кажется фантастикой, иное дело — цена вопроса и экономическая целесообразность: уже придуманные человеком виды оружия массового поражения могут гораздо дешевле справиться с задачей, которую хотят поручить роботам-убийцам. А вот большие роботы-самолеты — беспилотные летательные аппараты —успешно несут службу, причем не только разведывательную, но и сугубо боевую, убивая беззащитных людей, не имеющих необходимого оружия для уничтожения таких роботов. Наземных роботов-вездеходов, оснащенных стрелковым вооружением, также применяют в военных конфликтах, хоть и цена у тех не мала: 150 тысяч долларов США при серийном производстве. Поговаривают, что в армии США вскоре появится полноценный робот-танк. Подобными устройствами, как правило, управляет оператор, надежно скрытый от опасности за сотни, а то и тысячи километров. Однако по мере развития систем распознавания образов значительная часть функций по принятию решений может быть передана самому роботу. Такое использование устройств, само имя которых, придуманное Карелом Чапеком, означает «помощник человека в работе», представляет собой гораздо более реальную опасность, нежели воспетая фантастами умная пыль. И эта опасность заставляет вспомнить не только законы Азимова, которые единственные могут обезопасить человечество от негативных последствий прохождения технологической сингулярности, но и слова Юлиуса Фучика, сказанные, в сущности, по схожему поводу: «Люди, я любил вас. Будьте бдительны». В противном случае может оказаться актуальным закон Мэрфи в его исходном виде: «Если есть два способа сделать какую-то вещь и один из них ведет к катастрофе, кто-то выберет именно этот способ».
(c) О. Фейгин