ИИ в зеркале литературы: вопросы, которые писатели задали раньше нас ( 2 фото )

Искусственный интеллект ставит перед человечеством вопросы, которые кажутся совершенно новыми. Однако литература задолго до появления технологий успела их сформулировать — от ответственности творца перед своим созданием до тонкой грани между настоящим разумом, имитацией и эмпатией. Авторы XIX и XX веков, от Шелли до Лема, переосмысляются сегодня как провидцы, писавшие об ИИ задолго до его возникновения.

Ответственность за созданное

В 1818 году Мэри Шелли опубликовала роман, ставший метафорой отношений человека с его творением. Виктор Франкенштейн наделил существо жизнью, но, ужаснувшись результату, немедленно бросил его, отказавшись от ответственности. Отвергнутое создателем, чудовище становится чудовищем по-настоящему.

Виктор Франкенштейн отвечает: «Прочь! Я не буду тебя слушать. Между нами не может быть общности; мы враги». Корень проблемы — именно в этом отказе от диалога. Шелли показывает: учёный может создать жизнь, но оказаться неспособным или не желающим взять на себя ответственность за своё творение.

Герберт Уэллс в «Острове доктора Моро» идёт дальше. Его персонаж ставит эксперименты над животными, превращая их в человекоподобных существ. Ответственность им осознаётся, но извращается: любопытство и дикие, бесцельные исследования увлекают его, и каждое новое существо выбрасывается в жизнь на несколько лет, чтобы бороться, ошибаться, страдать и в конце концов умереть мучительной смертью. Моро не воспринимает свои создания как личности, относясь к ним как к задаче: «Перед вами уже больше не животное, не создание единого творца, а только загадка. Жалость... я вспоминаю о ней, как о чём-то давно забытом. Я желал — это было единственное, чего я желал, — изучить до конца пластичность живого организма».

Здесь прослеживается параллель с современными дискуссиями об AI alignment — о том, как сделать, чтобы система делала только то, что мы хотим. Романы Шелли и Уэллса предупреждают: технология, оторванная от ответственности, неизбежно оборачивается против создателя.

Виктория Михайлова

Формализованная этика: три закона Азимова

В 1950 году Айзек Азимов сформулировал три закона робототехники, которые должны были стать абсолютной гарантией безопасности:

• Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
• Робот должен подчиняться приказам человека, если эти приказы не противоречат Первому закону.
• Робот должен защищать своё существование, если это не противоречит Первому и Второму законам.

При этом Азимов тонко продемонстрировал в своих рассказах, как любая формализованная мораль может давать сбой. Три закона сталкиваются друг с другом: правило повиновения конфликтует с правилом безопасности, правило самосохранения — с приказами.

Ирония в том, что люди редко следуют этим законам буквально. Человеческий разум учитывает широкий контекст, который выходит за пределы рациональной инструкции. Именно поэтому мы не можем требовать от машин невозможного. Формальная этика у человека дополняется эмпатией и способностью учитывать множество вариантов человеческого взаимодействия. Когда мы внедряем алгоритмические решения в найме, кредитовании или медицине, мы сталкиваемся с той же проблемой: система следует правилам, но правила не покрывают всех нюансов человеческой жизни.

Имитация против понимания: андроиды и китайская комната

Где проходит граница между «отвечает правильно» и «понимает»? Филип К. Дик в романе «Мечтают ли андроиды об электроовцах?» предлагает свой ответ: быть человеком — значит обладать эмпатией. В мире Дика эмпатия — то, что отличает человека от андроида. Это не только эмоции, но и в более широком смысле понимание человеческого бытия изнутри: эмпатия, очевидно, существовала только внутри человеческого сообщества, тогда как интеллект в некоторой степени можно было найти во всех типах и порядках, включая паукообразных.

Но Дик сталкивает нас с границами нашего понимания эмпатии. Его герой, охотник за андроидами Рик Декард, начинает сомневаться: «В вашей способности к эмпатии есть дефект. Тот, который мы не проверяем. Ваши чувства к андроидам». Декард осознаёт: он сам убивает андроидов без эмпатии. Значит ли это, что он сам не вполне человек?

Кадзуо Исигуро в романе «Клара и Солнце» подходит к той же проблеме с другой стороны. Клара — искусственный друг, созданный, чтобы присматривать за ребёнком. У неё нет человеческого сознания, но она наблюдает, учится, имитирует. Мистер Капальди говорит о том, что наука уже доказала: нет в его дочери ничего уникального, такого, чего современными средствами нельзя извлечь, скопировать, передать. Что люди жили друг с другом всё это время, веками, любили и ненавидели друг друга — основываясь на ложной предпосылке. На суеверии своего рода, которое поддерживалось, пока не узнали, как всё на самом деле.

Но в финале романа читателю предлагается неожиданный ответ. Клара понимает: «Было что-то очень особенное, но это было не внутри Джози. Это было внутри тех, кто её любил». Любовь не является свойством объекта и, возможно, даже не сводится к отношению между людьми. Это нечто большее — то, что придаёт смысл всей жизни. ИИ может имитировать аффект, но вопрос о том, может ли он любить и быть любимым так, как человек, остаётся открытым.

Проблема того, что именно может делать ИИ, напрямую связана с мысленным экспериментом Джона Сёрля «Китайская комната» (1980). Человек, который не знает китайского, может правильно отвечать на вопросы на китайском, следуя правилам. Но понимает ли он? ИИ генерирует правильные ответы без понимания, хотя некоторые современные мыслители и технологические предприниматели считают обратное.

Технология как неравенство

Ричард Морган в романе «Видоизменённый углерод» показывает социальные аспекты технологий: они доступны не всем. В мире Моргана сознание можно переносить между телами, а богатые могут жить вечно. Но это создаёт новое неравенство — более радикальное, чем классовое или расовое.

В романе есть ключевая фраза: «Где тот, кто сказал, что видоизменённый углерод освободит нас от клеток нашего тела? Где тот, кто сказал, что мы станем ангелами?» Обещание технологического освобождения оборачивается новой формой порабощения. Бессмертие становится привилегией, а не всеобщим правом.

Когда сегодня мы говорим о доступе к ИИ, о цифровом неравенстве, о том, кто владеет вычислительными мощностями, — это та же проблема. Технология не освобождает всех, а может создавать новую элиту. Литература напоминает: любая мощная технология способна из инструмента превратиться в фактор социального неравенства.

В романе «TRANSHUMANISM INC.» Виктор Пелевин рисует мир посткарбонового будущего, где человечество разделено на две касты. Финансово-интеллектуальная элита, чьи мозги извлечены из тел и помещены в стеклянные банки с раствором, существует вечно в виртуальных симуляциях. Здесь можно увидеть прямую отсылку к «Голове профессора Доуэля» Александра Беляева. Бессмертие в этой парадигме становится товаром, доступным только избранным. Остальные люди живут с имплантами в мозгу, их сознание форматируется корпорацией через нейролингвистическое программирование, а социальный статус определяется рекламным бюджетом, который может «подсветить» в сознании нужную концепцию.

Пелевин показывает существование в мире симуляций и симулякров. В нём вымерла литература, остались только нейросети, генерирующие тексты по алгоритмам. Автор поднимает онтологический вопрос: если можно оцифровать, скопировать и продать сознание, что остаётся от человека? Его ответ разочаровывает: ничего, кроме бесконечного цикла перерождений, из которого нельзя вырваться, потому что сама идея «освобождения» тоже часть симуляции. Как говорит один из персонажей: «Не ищи во всём символического значения, а то ведь найдешь на свою голову». Это квинтэссенция пелевинского трансгуманизма: технологии не освобождают, они создают новые, ещё более изощрённые формы рабства.

Непознаваемый разум: Лем и большой язык

Станислав Лем в «Солярисе» создаёт глубокую метафору отношений с иным разумом. Океан на планете Солярис — это разум, но совершенно иной, нечеловеческий. Учёные пытаются установить с ним контакт, но их попытки обречены. Возможно, не потому, что океан враждебен, а потому, что он недоступен для человеческого мышления.

Лем ставит вопрос: способны ли мы понять и распознать разум, который не похож на наш? Большие языковые модели сегодня — не Солярис и не «первые шаги» к нему, но этот сюжет помогает думать о том, как мы описываем системы, чье устройство не до конца понимаем. Знаем ли мы, что происходит внутри нейросетей с миллиардами параметров? Они генерируют связные ответы, но это не значит, что они «понимают» так, как понимаем мы.

Литература показывает возможные картины будущего и учит сомневаться в том, что кажущиеся очевидными сейчас ответы являются правильными. Шелли напоминает об ответственности. Азимов — о том, что формальная этика упрощает реальность. Дик и Исигуро — о том, что имитация и понимание не одно и то же. Морган и Пелевин — о том, что технологии могут усиливать неравенство. Лем — о том, что разум может быть радикально иным.

Не все вопросы человека и человечества решаются инженерией. Именно поэтому тем, кто строит и развивает ИИ, сегодня как никогда нужны литература и философия.

Способна ли литература предсказать реальные последствия ИИ, или это лишь красивые метафоры, не имеющие отношения к инженерии?