Часть II

Новая физика, необходимая для понимания разума. В поисках невычислительной физики разума

8. Возможные последствия

8.4. Опасности компьютерных технологий

Любые широкоприменяемые технологии несут с собой как блага, так и опасности. Так, помимо тех очевидных преимуществ, которые дают нам компьютеры, с быстрым развитием этой технологии связано и множество потенциальных угроз обществу. Одной из главных проблем, по-видимому, является чрезвычайная сложность всех совокупностей взаимосвязей, с которыми мы сталкиваемся благодаря компьютерам, — она приводит к тому, что ни один отдельно взятый индивидуум сегодня просто не в состоянии охватить разумом ни происходящее в целом, ни его последствия. И дело не только в самих компьютерах и их технических возможностях, но еще и в почти мгновенной глобальной связи между объединенными в сеть компьютерами по всему миру. Часть возможных проблем находит отражение в нестабильном поведении фондового рынка, где сделки теперь совершаются практически мгновенно на основании общемировых компьютерных прогнозов. Здесь, пожалуй, проблема заключается не столько в недостатке понимания каждым отдельным человеком всей взаимосвязанной системы как единого целого, сколько в нестабильности (не говоря уже о несправедливости), изначально заложенной в систему, которая идеально приспособлена для того, чтобы отдельные ее пользователи мгновенно сколачивали себе состояния путем опережения соперников в скорости счета или быстроте получения информации. Впрочем, вполне вероятно и то, что причиной различного рода нестабильностей и потенциальных опасностей станет одна лишь сложность системы как целого.

Подозреваю, что найдутся люди, которым возможный в недалеком будущем выход уровня сложности системы взаимосвязей за пределы человеческого понимания не покажется такой уж серьезной проблемой. Такие люди, возможно, верят в то, что когда-нибудь компьютеры и сами приобретут необходимое понимание системы. Однако, как мы могли убедиться, понимание отнюдь не относится к тем качествам, на которые компьютеры когда-либо окажутся способны, так что помощи с той стороны ждать не приходится.

Из одного лишь факта чрезвычайно быстрого развития компьютерных технологий (приводящего к тому, что компьютерная система чуть ли не на следующий день после своего появления на рынке становится морально устаревшей) вытекают и многие другие дополнительные проблемы. Необходимость в непрерывной модернизации и использование систем, зачастую не прошедших под давлением конкуренции надлежащих испытаний. — это лишь малая их часть, и в будущем ситуация вряд ли изменится к лучшему.

Глубинные же проблемы, с которыми мы только начинаем сталкиваться в новом высокотехнологичном, компьютеризованном и стремительно меняющемся мире, слишком многочисленны, и было бы безрассудством с моей стороны пытаться охватить их здесь все. Среди прочего в голову приходят разглашение частной информации, промышленный шпионаж и компьютерные диверсии. Еще одна тревожная возможность — «подделка» внешнего вида человека с целью использования, скажем, в телевизионной передаче для выражения мнений, какие «оригинал» ни в коем случае выражать не собирался^{100}. Возникают и всевозможные социальные проблемы, не являющиеся непосредственно компьютерными, но с компьютерами так или иначе связанные — например, благодаря способности компьютеров замечательно точно записывать и затем воспроизводить музыку и изображение, таланты небольшой избранной группы исполнителей можно без труда распространить по всему миру, что, вероятно, поставит в весьма невыгодное положение остальных, не столь именитых артистов. С аналогичной проблемой мы сталкиваемся и в случае с так называемыми «экспертными системами», позволяющими поместить мастерство и опыт нескольких избранных специалистов — скажем, от юриспруденции или медицины — в код компьютерной программы, что может привести к нанесению ущерба остальным практикующим врачам и юристам. Впрочем, думаю, что заменить специалиста-человека такие компьютерные экспертные системы вряд ли смогут (их удел — специалисту помогать), поскольку они не способны на понимание, которое может дать только личное общение.

Разумеется, есть у всех этих разработок и «светлая сторона» — если все сделано правильно. Плоды мастерства других (неважно, художников или ремесленников) сегодня более доступны, и их может оценить гораздо большее количество людей. Что касается проблемы сохранности частной информации, то уже сейчас существуют так называемые «шифры с открытым ключом» (см. [138]), которыми могут пользоваться как отдельные индивидуумы, так и небольшие компании (при этом не менее эффективно, нежели компании крупные), и которые, по-видимому, обеспечивают абсолютную защиту от «подслушивания». Использование таких шифров стало возможным лишь теперь, при наличии быстрых и мощных компьютеров — хотя эффективность этого способа шифрования до сих пор ограничена вычислительной сложностью факторизации больших чисел (возможно, здесь на смену обычным придут квантовые вычисления; некоторые идеи, указывающие на возможность создания в будущем квантовых компьютеров, изложены в §7.3, см. также [277, 278]). Как я упоминал в §8.1, возможно, что скоро для защиты от подслушивания мы будем использовать квантовую криптографию, эффективность которой также зависит от скорости выполнения значительных объемов вычислений. Очевидно, что нет однозначного способа оценить преимущества и опасности, порождаемые любой новой технологией, будь она непосредственно связана с компьютерами или нет.

В качестве заключительного комментария к таким компьютерно-социальным проблемам я хочу представить читателю небольшую вымышленную историю, которая в некотором роде выражает то беспокойство, которое я ощущаю в связи с возникновением целой новой области потенциальных проблем. Насколько мне известно, об этом новом классе «компьютерных» опасностей еще никто не говорил, однако мне они представляются весьма серьезными.