DakaN
«Есть код? Можно взломать». Хакеры проверяют культовую System Shock на прочность ( 10 фото + 2 видео )
В этом году отмечает юбилей System Shock — прародительница культовой серии BioShock и одна из ключевых игр в жанре киберпанка. Студия Looking Glass создала фантастическую историю о корпоративной алчности, взбесившемся искусственном интеллекте и смелом хакере, который бросил вызов безумной машине SHODAN. Скажете, сплошной вымысел? Попробуем разобраться.
Наши собеседники:
Хакер
Главный герой первой System Shock — безымянный хакер. Известно, что родом он из Новой Атланты — человеческой колонии на спутнике Сатурна. В начале игры персонажа арестовывают сотрудники корпорации TriOptimum. Всё потому, что Хакеру удалось получить доступ к информации о станции Цитадель. Взломщику предлагают сделку: свободу и ценный нейроимплант в обмен на обход защиты SHODAN — искусственного интеллекта, управляющего Цитаделью.
Хакер потрошит серверы TriOptimum в одиночку. Насколько это реалистичный сценарий сегодня?
Алексей Иванов: Вполне реалистичен, если этот смельчак достаточно настойчив. Например, компании Hacking Team и Gamma International взломал один человек. Причём он даже подробно описал, как это удалось. К тому же не надо забывать, что команда Уоррена Спектора создавала свой шедевр в начале 90-х.
Тогда во многих министерствах и ведомствах стояли компьютеры, которые не были рассчитаны на атаки извне. Потому и было очень много историй в духе «школьник вскрыл Пентагон».
«Ты нас взломал, но мы будем с тобой сотрудничать» — сценарий, популярный и в играх, и в кино. Но правдоподобен ли он? Вам известны такие случаи?
Алексей: Случаи есть, но они крайне редки. По соображениям безопасности. Зачастую люди, которые, например, занимаются взломом ради кражи денег, сами по себе довольно странные. Доверять им ответственную работу не будут — очень рискованно.
С другой стороны, у многих компаний сейчас есть программы bug bounty: они готовы платить деньги за информацию об уязвимостях в их ПО и системах. На работу не факт что возьмут, но денег можно заработать прилично. Несколько лет назад, кстати, Microsoft осчастливила так пятилетнего мальчика, который случайно нашёл способ обходить возрастную защиту Xbox Live.
Хакер не хочет публичности, поэтому отказывается от престижной должности. Всегда ли при работе на корпорацию приходится выходить из тени?
Алексей: Заставлять светить лицом вряд ли будут. Сейчас IT — сфера популярная, тут хватает и интровертов, и общительных людей. Так что в кибербезопасности есть как массовики-затейники, которые вовсю выступают на конференциях, так и те, кто сидят где-то у себя и тихонечко хакают.
Какими средствами Хакер мог бы воспользоваться в наше время, чтобы сохранить анонимность?
Алексей: Таких способов множество: TOR, различные VPN, прокси. Выход в сеть через взломанные системы других пользователей и организаций. Оплата всего биткоинами. Покупка биткоинов в тёмной подворотне, перед выходом на улицу обязательно надеть тёмные очки и чёрный худи!
Полностью уйти с радаров герою System Shock не удалось: он всё-таки прославился. Много ли сегодня шансов стать знаменитым у сотрудников информационной безопасности (ИБ)?
Алексей: Широкая публика знает мало фамилий. Но в самой среде ИБ довольно много известных личностей. Например, Маркус Хитчинс, который зарегистрировал killswitch-домен для вируса wannacry, тем самым остановив эпидемию.
Правда, сейчас его ждёт суд из-за якобы причастности к разработке и продаже банковского трояна Kronos для Android.
SHODAN
SHODAN — саморазвивающийся искусственный интеллект и главный антагонист дилогии System Shock. Корпорация TriOptimum разработала этот ИИ как полуразумную самодостаточную сеть передачи данных. Её задача — выполнять рутинные обязанности на борту космических станций. Для этого ИИ снабдили сложной системой логических и моральных программ и личностью, которая может принять верное решение в экстренной ситуации. ПО позволяло SHODAN защищать саму себя. Хакер взломал разумную сеть, удалив её этические ограничители. После этого программа начала перехватывать сообщения с Земли, захватила управление системами Цитадели, роботами и защитой.
Изначально у SHODAN были моральные ограничители. Есть ли у современных компьютеров или нейросетей нечто подобное?
Азат Шамсутдинов: Сегодня похожей системы ценностей точно нет. Всё зависит от создателей: чему обучат программу, так она и будет поступать впоследствии.
Если выборка окажется однобокой или автор изначально (сознательно или нет) заложит своё предвзятое отношение, то этого же стоит ожидать от ИИ.
Недавно Amazon обвинили в разработке сексистского алгоритма искусственного интеллекта для поиска сотрудников: нейросеть чаще выбирала кандидатов-мужчин. Оказалось, в программу вложили все присланные за 10 лет резюме. И большая часть их приходила от мужчин. Выборка была сильно несбалансированной, что сказалось на результате — система часто игнорировала соискательниц. Это довольно типичная, но при этом показательная ошибка, как ненамеренно можно обучить нейросеть совершать неправильные с общечеловеческой точки зрения поступки.
Есть ли сегодня программы, похожие на SHODAN? Возможно, системы управления фабриками или космической станцией.
Алексей: С подобием ИИ? Вряд ли. Системы управления вполне есть — различные АСУ ТП, и они позволяют управлять техпроцессами на заводах. Однако это довольно консервативная область — там главное, чтобы всё работало. Поэтому в сфере АСУ ТП так много проблем с безопасностью — об этом просто никто не задумывался. А вот ближе всего к интеллектуальным компьютерным системам будут умные автомобили.
Азат: Существуют системы, которые автоматизируют отдельные производства. Так функционируют завод экскаваторов Hitachi в Тверской области и Челябинский трубопрокатный завод. О самодостаточном умном заводе пока только идут разговоры. Например, Microsoft два года назад заявляла о намерениях построить нечто похожее. Подождём новостей.
Полностью автоматизированное производство контроллеров Steam от Valve. Люди нужны только для того, чтобы приглядывать за роботами.
Хакеру в System Shock удалось обойти защиту ИИ и отключить этику. Есть ли способы этого избежать? Или полностью защищённых программ не существует?
Азат: Если есть код, его можно и взломать. Не бывает защищённых на 100% программ, и к этому всегда нужно быть готовым. Многое зависит от цены того, что стоит за хаком. Если цена взлома больше цены результата, то очевидно, что смысл преступления теряется. Поэтому чем более ценная/опасная/важная программа, тем сильнее должны быть меры защиты.
Есть ли какой-то свод правил, которым руководствуются учёные, работающие сегодня с ИИ?
Азат: Единого свода правил точно нет. Что заложит конструктор, то и станет руководящим принципом у электронного разума. Объясняется это просто — все проекты на данный момент не столь масштабные. Пока нет необходимости закладывать глобальные ценности в духе «убивать — преступление, все люди — равны».
Единственное исключение — ситуация с Tesla. Как обучают машины Илона Маска? Создаётся виртуальный город, туда подгружается цифровой мозг Tesla и начинает обучаться. Моделируются миллиарды различных ситуаций. В том числе моменты, в которых перед объектом «человек» нужно притормаживать или останавливаться. Когда Tesla научится хорошо справляться с ситуациями в виртуальном мегаполисе, её начнут тестировать в реальной среде.
Фактически, формируется установка того, как можно делать. Как в воспитании ребёнка задают принципы поведения, аналогично происходит и в обучении ИИ.
Сеть, которая сходит с ума и уничтожает людей, — расхожий сюжет в научной фантастике. Даже Илон Маск и Стивен Хокинг высказывали опасения на эту тему. Как думаете, оправданные страхи?
Азат: Отчасти, думаю, страхи оправданы, особенно страхи Маска. Всё-таки он точно должен представлять, какие последствия могут быть, если «Теслы» взбунтуются.
Однако нужно помнить, что это программа, выполняющая ровно то, что в неё заложил кодер. Чтобы ИИ сошёл с ума, алгоритм должен иметь не просто интеллект, у него должен быть разум. А это более широкое и сложное понятие, это вообще иная история.
Компьютеры и нейросети уже обыгрывают нас в шахматы, го, StarCraft и Super Mario Bros. Может, пора запретить соответствующие исследования, чтобы машины нас не поработили?
Азат: Избегать точно не стоит. Всё, что мы делаем в этом направлении, предпринимается исключительно для облегчения жизни. Создатели ИИ всегда помнят о потенциальных последствиях, поэтому обучают сети по принципу «если заложить, что так нельзя делать, то машина и не будет это делать».
Если цифровой мозг нарушает правила игры в го, значит, машине не сказали, что так нельзя.
Дискуссии об этике в эру нейросетей ведутся очень активно. Вероятно, в скором времени общественность вынесет вердикт по этому вопросу.
Технологии
Мультифункциональный нейроинтерфейс
В System Shock нейроинтерфейс связан с военным киберимплантом, которым Хакер обзаводится уже в начале игры. Эта система выводит на дисплей важную информацию: карту, состояние здоровья, положение окружающей среды и запас энергии в скафандре.
Нейроинтерфейс получает информацию из организма Хакера — ранен ли, устал ли и так далее. Насколько мы далеки от похожего сценария?
Антонина Есакова: Начнём с того, что такое устройство уже есть, — это наш мозг. Он как раз постоянно собирает информацию о состоянии организма и подаёт сигнал. Вы же испытываете чувство голода, жажды, усталости? Это мозг собрал информацию от других органов и тканей и передаёт её вам.
А о повреждениях — даже совсем незначительных — сообщат нервные окончания. Причём очень быстро.
Такая информация необходима в игре, а вот в жизни — избыточна. Что было бы полезно в реальной жизни? Компактное носимое устройство, которое сообщало бы об изменении окружающей среды: наличии радиации или отравляющих веществ. Представить такую технологию в имплантируемом чипе затруднительно. Но если фантазировать, то было бы очень полезно, если бы устройство отслеживало белковые сигналы клеток, говорящие об их повреждении или разрушении.
Героя System Shock после установки импланта вводят в лечебную кому на полгода, чтобы организм адаптировался. Современная медицина занимается подобным?
Антонина: Конечно, сам имплант — фантастика, да и кома — состояние, свидетельствующее о тяжёлом повреждении мозга. Медикаментозная кома, в которую погружают тяжёлых пациентов, — это, скорее, глубокая седация. Логичнее предположить управляемую гибернацию или анабиоз, но у человека таких состояний не наблюдается. Но в медицине применяется терапевтическая гипотермия. В этом случае температуру тела специально понижают, чтобы не допустить смерть мозга во время операции из-за недостаточного кровоснабжения. Правда, не понятно, как этот прибор будет соединяться непосредственно с нейронами человека. Но тут и работает фантастическое допущение.
Стимулятор выносливости, универсальный антидот и прочие пластыри
Пластыри, прикрепляющиеся непосредственно к коже. Активное вещество доставляется в организм путём осмоса. На время действия пластыря персонаж получает определённые перки: увеличение выносливости, интеллекта, силы и других характеристик (в зависимости от типа препарата).
Насколько эффективна такая технология? Практикуют ли в современной медицине нечто похожее?
Антонина: Трансдермальные системы — давно не редкость в современном мире. Пластыри вроде тех, что применяются в System Shock, существуют и считаются эффективными способами приёма некоторых препаратов. Достаточно вспомнить никотиновые пластыри: их используют, чтобы избавиться от пагубной привычки курения. В такой форме выпускают гормоны и анальгетики. Поэтому сами пластыри — не фантастика, а реальность. Но как с их помощью улучшить выносливость или интеллект, да ещё и моментально, наука ещё не знает.
Разве что изготовить пластырь с мельдонием — но эффективность этого препарата под сомнением.
Теоретически за силу и выносливость отвечает тестостерон — и пластыри с ним существуют. Правда, в такой дозировке на силу он никак не повлияет, такие средства служат для борьбы с эректильной дисфункцией. Есть и препараты вроде модафинила — их часто прописывают для повышения работоспособности мозга. Но сделать из дурака академика они, конечно, не могут.
Мы привыкли улыбаться при виде того, как в старых фильмах и играх изображают будущее: неоновые огни и блестящий хром мало похожи на то, что мы наблюдаем сегодня. Но если отвлечься от внешних признаков, становится понятно: Looking Glass Studios смогла заглянуть в будущее с пугающей точностью. Возможно, именно нейросеть, похожую на SHODAN, нам и следует опасаться в будущем.
Наши собеседники:
Алексей Иванов (имя изменено по просьбе спикера) — специалист по компьютерной безопасности
Азат Шамсутдинов — руководитель проекта и директор по цифровым технологиям платформы Sever.AI.
Антонина Есакова — врач-генетик
Хакер
Главный герой первой System Shock — безымянный хакер. Известно, что родом он из Новой Атланты — человеческой колонии на спутнике Сатурна. В начале игры персонажа арестовывают сотрудники корпорации TriOptimum. Всё потому, что Хакеру удалось получить доступ к информации о станции Цитадель. Взломщику предлагают сделку: свободу и ценный нейроимплант в обмен на обход защиты SHODAN — искусственного интеллекта, управляющего Цитаделью.
Хакер потрошит серверы TriOptimum в одиночку. Насколько это реалистичный сценарий сегодня?
Алексей Иванов: Вполне реалистичен, если этот смельчак достаточно настойчив. Например, компании Hacking Team и Gamma International взломал один человек. Причём он даже подробно описал, как это удалось. К тому же не надо забывать, что команда Уоррена Спектора создавала свой шедевр в начале 90-х.
Тогда во многих министерствах и ведомствах стояли компьютеры, которые не были рассчитаны на атаки извне. Потому и было очень много историй в духе «школьник вскрыл Пентагон».
«Ты нас взломал, но мы будем с тобой сотрудничать» — сценарий, популярный и в играх, и в кино. Но правдоподобен ли он? Вам известны такие случаи?
Алексей: Случаи есть, но они крайне редки. По соображениям безопасности. Зачастую люди, которые, например, занимаются взломом ради кражи денег, сами по себе довольно странные. Доверять им ответственную работу не будут — очень рискованно.
С другой стороны, у многих компаний сейчас есть программы bug bounty: они готовы платить деньги за информацию об уязвимостях в их ПО и системах. На работу не факт что возьмут, но денег можно заработать прилично. Несколько лет назад, кстати, Microsoft осчастливила так пятилетнего мальчика, который случайно нашёл способ обходить возрастную защиту Xbox Live.
Хакер не хочет публичности, поэтому отказывается от престижной должности. Всегда ли при работе на корпорацию приходится выходить из тени?
Алексей: Заставлять светить лицом вряд ли будут. Сейчас IT — сфера популярная, тут хватает и интровертов, и общительных людей. Так что в кибербезопасности есть как массовики-затейники, которые вовсю выступают на конференциях, так и те, кто сидят где-то у себя и тихонечко хакают.
Какими средствами Хакер мог бы воспользоваться в наше время, чтобы сохранить анонимность?
Алексей: Таких способов множество: TOR, различные VPN, прокси. Выход в сеть через взломанные системы других пользователей и организаций. Оплата всего биткоинами. Покупка биткоинов в тёмной подворотне, перед выходом на улицу обязательно надеть тёмные очки и чёрный худи!
Полностью уйти с радаров герою System Shock не удалось: он всё-таки прославился. Много ли сегодня шансов стать знаменитым у сотрудников информационной безопасности (ИБ)?
Алексей: Широкая публика знает мало фамилий. Но в самой среде ИБ довольно много известных личностей. Например, Маркус Хитчинс, который зарегистрировал killswitch-домен для вируса wannacry, тем самым остановив эпидемию.
Правда, сейчас его ждёт суд из-за якобы причастности к разработке и продаже банковского трояна Kronos для Android.
SHODAN
SHODAN — саморазвивающийся искусственный интеллект и главный антагонист дилогии System Shock. Корпорация TriOptimum разработала этот ИИ как полуразумную самодостаточную сеть передачи данных. Её задача — выполнять рутинные обязанности на борту космических станций. Для этого ИИ снабдили сложной системой логических и моральных программ и личностью, которая может принять верное решение в экстренной ситуации. ПО позволяло SHODAN защищать саму себя. Хакер взломал разумную сеть, удалив её этические ограничители. После этого программа начала перехватывать сообщения с Земли, захватила управление системами Цитадели, роботами и защитой.
Изначально у SHODAN были моральные ограничители. Есть ли у современных компьютеров или нейросетей нечто подобное?
Азат Шамсутдинов: Сегодня похожей системы ценностей точно нет. Всё зависит от создателей: чему обучат программу, так она и будет поступать впоследствии.
Если выборка окажется однобокой или автор изначально (сознательно или нет) заложит своё предвзятое отношение, то этого же стоит ожидать от ИИ.
Недавно Amazon обвинили в разработке сексистского алгоритма искусственного интеллекта для поиска сотрудников: нейросеть чаще выбирала кандидатов-мужчин. Оказалось, в программу вложили все присланные за 10 лет резюме. И большая часть их приходила от мужчин. Выборка была сильно несбалансированной, что сказалось на результате — система часто игнорировала соискательниц. Это довольно типичная, но при этом показательная ошибка, как ненамеренно можно обучить нейросеть совершать неправильные с общечеловеческой точки зрения поступки.
Есть ли сегодня программы, похожие на SHODAN? Возможно, системы управления фабриками или космической станцией.
Алексей: С подобием ИИ? Вряд ли. Системы управления вполне есть — различные АСУ ТП, и они позволяют управлять техпроцессами на заводах. Однако это довольно консервативная область — там главное, чтобы всё работало. Поэтому в сфере АСУ ТП так много проблем с безопасностью — об этом просто никто не задумывался. А вот ближе всего к интеллектуальным компьютерным системам будут умные автомобили.
Азат: Существуют системы, которые автоматизируют отдельные производства. Так функционируют завод экскаваторов Hitachi в Тверской области и Челябинский трубопрокатный завод. О самодостаточном умном заводе пока только идут разговоры. Например, Microsoft два года назад заявляла о намерениях построить нечто похожее. Подождём новостей.
Полностью автоматизированное производство контроллеров Steam от Valve. Люди нужны только для того, чтобы приглядывать за роботами.
Хакеру в System Shock удалось обойти защиту ИИ и отключить этику. Есть ли способы этого избежать? Или полностью защищённых программ не существует?
Азат: Если есть код, его можно и взломать. Не бывает защищённых на 100% программ, и к этому всегда нужно быть готовым. Многое зависит от цены того, что стоит за хаком. Если цена взлома больше цены результата, то очевидно, что смысл преступления теряется. Поэтому чем более ценная/опасная/важная программа, тем сильнее должны быть меры защиты.
Есть ли какой-то свод правил, которым руководствуются учёные, работающие сегодня с ИИ?
Азат: Единого свода правил точно нет. Что заложит конструктор, то и станет руководящим принципом у электронного разума. Объясняется это просто — все проекты на данный момент не столь масштабные. Пока нет необходимости закладывать глобальные ценности в духе «убивать — преступление, все люди — равны».
Единственное исключение — ситуация с Tesla. Как обучают машины Илона Маска? Создаётся виртуальный город, туда подгружается цифровой мозг Tesla и начинает обучаться. Моделируются миллиарды различных ситуаций. В том числе моменты, в которых перед объектом «человек» нужно притормаживать или останавливаться. Когда Tesla научится хорошо справляться с ситуациями в виртуальном мегаполисе, её начнут тестировать в реальной среде.
Фактически, формируется установка того, как можно делать. Как в воспитании ребёнка задают принципы поведения, аналогично происходит и в обучении ИИ.
Сеть, которая сходит с ума и уничтожает людей, — расхожий сюжет в научной фантастике. Даже Илон Маск и Стивен Хокинг высказывали опасения на эту тему. Как думаете, оправданные страхи?
Азат: Отчасти, думаю, страхи оправданы, особенно страхи Маска. Всё-таки он точно должен представлять, какие последствия могут быть, если «Теслы» взбунтуются.
Однако нужно помнить, что это программа, выполняющая ровно то, что в неё заложил кодер. Чтобы ИИ сошёл с ума, алгоритм должен иметь не просто интеллект, у него должен быть разум. А это более широкое и сложное понятие, это вообще иная история.
Компьютеры и нейросети уже обыгрывают нас в шахматы, го, StarCraft и Super Mario Bros. Может, пора запретить соответствующие исследования, чтобы машины нас не поработили?
Азат: Избегать точно не стоит. Всё, что мы делаем в этом направлении, предпринимается исключительно для облегчения жизни. Создатели ИИ всегда помнят о потенциальных последствиях, поэтому обучают сети по принципу «если заложить, что так нельзя делать, то машина и не будет это делать».
Если цифровой мозг нарушает правила игры в го, значит, машине не сказали, что так нельзя.
Дискуссии об этике в эру нейросетей ведутся очень активно. Вероятно, в скором времени общественность вынесет вердикт по этому вопросу.
Технологии
Мультифункциональный нейроинтерфейс
В System Shock нейроинтерфейс связан с военным киберимплантом, которым Хакер обзаводится уже в начале игры. Эта система выводит на дисплей важную информацию: карту, состояние здоровья, положение окружающей среды и запас энергии в скафандре.
Нейроинтерфейс получает информацию из организма Хакера — ранен ли, устал ли и так далее. Насколько мы далеки от похожего сценария?
Антонина Есакова: Начнём с того, что такое устройство уже есть, — это наш мозг. Он как раз постоянно собирает информацию о состоянии организма и подаёт сигнал. Вы же испытываете чувство голода, жажды, усталости? Это мозг собрал информацию от других органов и тканей и передаёт её вам.
А о повреждениях — даже совсем незначительных — сообщат нервные окончания. Причём очень быстро.
Такая информация необходима в игре, а вот в жизни — избыточна. Что было бы полезно в реальной жизни? Компактное носимое устройство, которое сообщало бы об изменении окружающей среды: наличии радиации или отравляющих веществ. Представить такую технологию в имплантируемом чипе затруднительно. Но если фантазировать, то было бы очень полезно, если бы устройство отслеживало белковые сигналы клеток, говорящие об их повреждении или разрушении.
Героя System Shock после установки импланта вводят в лечебную кому на полгода, чтобы организм адаптировался. Современная медицина занимается подобным?
Антонина: Конечно, сам имплант — фантастика, да и кома — состояние, свидетельствующее о тяжёлом повреждении мозга. Медикаментозная кома, в которую погружают тяжёлых пациентов, — это, скорее, глубокая седация. Логичнее предположить управляемую гибернацию или анабиоз, но у человека таких состояний не наблюдается. Но в медицине применяется терапевтическая гипотермия. В этом случае температуру тела специально понижают, чтобы не допустить смерть мозга во время операции из-за недостаточного кровоснабжения. Правда, не понятно, как этот прибор будет соединяться непосредственно с нейронами человека. Но тут и работает фантастическое допущение.
Стимулятор выносливости, универсальный антидот и прочие пластыри
Пластыри, прикрепляющиеся непосредственно к коже. Активное вещество доставляется в организм путём осмоса. На время действия пластыря персонаж получает определённые перки: увеличение выносливости, интеллекта, силы и других характеристик (в зависимости от типа препарата).
Насколько эффективна такая технология? Практикуют ли в современной медицине нечто похожее?
Антонина: Трансдермальные системы — давно не редкость в современном мире. Пластыри вроде тех, что применяются в System Shock, существуют и считаются эффективными способами приёма некоторых препаратов. Достаточно вспомнить никотиновые пластыри: их используют, чтобы избавиться от пагубной привычки курения. В такой форме выпускают гормоны и анальгетики. Поэтому сами пластыри — не фантастика, а реальность. Но как с их помощью улучшить выносливость или интеллект, да ещё и моментально, наука ещё не знает.
Разве что изготовить пластырь с мельдонием — но эффективность этого препарата под сомнением.
Теоретически за силу и выносливость отвечает тестостерон — и пластыри с ним существуют. Правда, в такой дозировке на силу он никак не повлияет, такие средства служат для борьбы с эректильной дисфункцией. Есть и препараты вроде модафинила — их часто прописывают для повышения работоспособности мозга. Но сделать из дурака академика они, конечно, не могут.
Мы привыкли улыбаться при виде того, как в старых фильмах и играх изображают будущее: неоновые огни и блестящий хром мало похожи на то, что мы наблюдаем сегодня. Но если отвлечься от внешних признаков, становится понятно: Looking Glass Studios смогла заглянуть в будущее с пугающей точностью. Возможно, именно нейросеть, похожую на SHODAN, нам и следует опасаться в будущем.
Взято: Тут
0