От диалогов о базовом применении ИИ Казахстан довольно стремительно шагнул в реальность, где эксперты уже обсуждают, как защититься от нейросетей и не захватят ли нас «умные города». На прошедшем форуме Digital Qazaqstan в Шымкенте специалисты в области кибербезопасности порассуждали о сложных этических вопросах. Глава MSSP.GLOBAL Даурен Салипов оценил сценарий «восстания умных городов» и рассказал о применении ИИ в его компании, а депутат мажилиса Екатерина Смышляева и зампред комитета по информационной безопасности министерства искусственного интеллекта и цифрового развития Умитжан Арыкбекова рассказали о борьбе с рисками с позиции госаппарата,сообщает digitalbusiness.kz.
Фото: Катерина Малама
К чему приводит гонка вендоров за хайпом вокруг ИИ
Участники панели, которую модерировал сопредседатель комитета по информационной безопасности Альянса Qaztech Евгений Питолин, задавались главным вопросом: ИИ — наш соратник или главная уязвимость?
Генеральный директор MSSP.GLOBAL Даурен Салипов предложил собственную метафору, в которой искусственный интеллект — это 2000 студентов, которым можно дать любую задачу и получить быструю обработку внушительного объема. Но, по его мнению, компаниям не стоит спешить занимать роль пионеров в этом вопросе.
«Чаще всего компании-пионеры делают самые большие ошибки. Многие вендоры, которые на волне хайпа экстренно применили искусственный интеллект, столкнулись с проблемами. Поэтому мы к вопросу относимся осторожно. Сейчас у нас нейросети используются для помощи первой линии в SOC — центре управления безопасностью, неэтичные ИИ-шки используются для помощи в пентестах (санкционированная имитация реальной кибератаки на IT-инфраструктуру компании — прим. Digital Business) или в брейкинге (агрессивное тестирование системы «на взлом», чтобы найти уязвимости — прим. Digital Business)», — поделился спикер.
Его метафора о 2000 студентов подразумевает быстрый осмотр инфраструктуры без принятия автономных решений искусственным интеллектом. Эксперт считает, что все необходимо регулировать, потому что иногда проблемы возникают из-за широких возможностей, которые нейросети дал сам вендор. Поэтому он советует не спешить, особенно если речь идет о передаче прав на действие искусственному интеллекту.
ИИ ошибается — и иногда это «выстрел в ногу»
В этой же дискуссии руководитель Security Operations Center (SOC) PS Cloud Services Александр Косенков привел в пример любопытный кейс: в инструменте мирового вендора ИИ, призванный фиксировать критические инциденты, устроил ложную тревогу.
«В инструменте использовались функции ИИ, которые позволяли определять и классифицировать инциденты, давать им описание, обогащать информацией и формулировать рекомендации по дальнейшим действиям. И в один прекрасный момент мы подпрыгнули — из инфраструктуры клиента шло обращение к IP-адресу, при проверке которого по публичным базам все было красным-красно. Это один из признаков того, что инфраструктура скомпрометирована и нужно принимать срочные меры. Но после перепроверки оказалось, что ИИ перепутал источник сетевого обращения с целью. Они были поменяны местами — и это просто выстрел себе в ногу. Но он выстрелил, не зная кому, и создал лишнюю суету и работу», — объяснил Александр.
По мнению эксперта, ИИ все-таки можно использовать для реагирования на инциденты, но необходимо соблюдать осторожность при использовании.
Президент TSARKA Group Олжас Сатиев поддержал мнение о том, что ИИ может «галлюцинировать», но отметил и возможность бесконечно обучать нейросети. Но, по его мнению, есть другой важный аспект — неготовность рынка к прозрачности и обсуждению сложных кейсов.
«Посередине будет тот, кто получает процент за ответственность»
И искусственный интеллект, и кибербезопасность уже довольно давно в фокусе внимания законотворцев. Но суть этих явлений настолько подвижна и динамична, что некоторые аспекты довольно сложно зафиксировать в законе и зарегулировать. Особенно, если речь идет не о бытовом использовании, а о сложных кейсах, связанных с кибербезопасностью.
«Мы знаем, что практически все граждане регистрируются в социальных сетях, чьи юрисдикции не подпадают под наши требования в сфере защиты персональных данных. Очевидно, что во взаимоотношения пользователей с глобальными платформами государство не может вмешаться. Но тем не менее все идем в Facebook и Instagram и доверяем свои персональные данные. И с продуктами нейросетей будет то же самое. Даже если мы некие регуляторные позиции внедрим в отношении глобальных моделей, кто на самом деле будет прислушиваться? Так что на бытовом уровне вопрос субъектного регулирования не стоит остро», — считает секретарь комитета по экономической реформе и региональному развитию мажилиса РК Екатерина Смышляева.
А вот аспект, связанный с бизнесом, по ее словам, пока оставили в законе об ИИ на уровне гражданско-правовых отношений. Потому что с нынешним уровнем развития моделей искусственного интеллекта сложно определить конечный круг акторов в этом процессе.
«Чтобы четко обозначить ответственность, мы должны знать, кто конкретно и в какой степени участвует в этом процессе. А для каждого бизнес-кейса с ИИ-моделью этот круг акторов свой. Поэтому на сегодняшний день на законодательном уровне что-то фундаментальное и статичное, на мой взгляд, невозможно. Думаю, что в ближайшее время однозначного ответа для всех кейсов не будет, все будет определяться гражданско-правовыми отношениями», — уточнила Екатерина Смышляева.
Даурен Салипов озвучил свое мнение: пока не появится субъектность, рынок будет работать в формате «третьего лица», которое примет на себя ответственность.
«Допустим, появился искусственный интеллект, который очень хорошо юридически консультирует. Вместо того, чтобы мне, как компании, купить подписку на эту нейросеть, я подпишу договор с человеком или компанией, которые будут оформлять это на себя. И брать риски. Думаю, рынок пока так себя и отрегулирует — посередине будет тот, кто получает процент за ответственность», — объяснил эксперт.
Контролировать ИИ, чтобы избежать «восстания умных городов» и не только
Обсуждая природу искусственного интеллекта, эксперты заговорили и о потенциальной «кибервойне» — ждет ли нас технократическая революция и не станут ли «умные города» источником опасности для государства?
Умитжан Арыкбекова считает, что системы с доступом к критически важной информации должны создавать в Казахстане — и обязательно отечественные разработчики.
«У нас создан институт развития информационной безопасности, который будет анализировать все международные стандарты. Будем смотреть, как мир движется в отношении искусственного интеллекта. Пока нет стандарта, как он должен работать и как можно защищаться. Но мы должны прийти к этому», — добавила она.
Но может ли случиться «восстание умного города», если ИИ станет частью всех систем жизнеобеспечения города? Евгений Питолин напомнил про страшные голливудские фильмы, где подобный сценарий уже давно предлагают зрителям. Даурен Салипов считает, что риск развития таких событий можно контролировать.
«Самое главное в этом вопросе — не упускать управление ИИ, контролировать, кто дает доступ, какие решения и до какого уровня он может автономно принимать. Тогда риск развития такого сценария меньше. Но регуляторика в разных странах отличается. И те, кто атакуют, во избежание проблем неэтичного использования ИИ могут делать это в локациях с максимально низким регулированием этой сферы. А после начать уже «практиковаться» на странах и с высокой регуляторикой. Такой сценарий вполне возможен. Но в любом случае нам нельзя забывать об управлении искусственным интеллектом и контролировать это как на уровне государства, так и на этапе внедрения в ту или иную компанию», — уверен эксперт.
Что делает MSSP.GLOBAL для прикладного использования ИИ в сфере кибербезопасности
Напоследок Даурен Салипов поделился своими главными опасениями в отношении ИИ в ближайшем будущем. На его взгляд, большую опасность представляет переизбыток вендоров и дефицит собственных разработок.
«Полностью согласен с тем, что надо разрабатывать свои ИТ-решения в части средств защиты информации. Самое страшное — это то, что мы, наверное, недооцениваем, к чему могут привести инциденты», — поделился он.
После завершения панельной сессии глава MSSP.GLOBAL в беседе с журналистом Digital Business отметил, что в казахстанских реалиях особенно возрастает значение прикладного использования ИИ в сфере информационной безопасности. И заодно поделился планами компании в этом направлении.
«Мы уже пробуем подобные решения и готовы реализовать полноценный контур: локальная модель, в которую передаются данные о сетевой топологии, конфигурациях коммутаторов, политиках межсетевых экранов и других источников, включая доменную инфраструктуру. На выходе — не просто отчет, а своего рода рентген инфраструктуры: платформа подсвечивает архитектурные пробелы, уязвимые зоны и позволяет моделировать сценарии развития APT-атак с выдачей адресных рекомендаций по укреплению защиты. Это тот уровень аналитики, к которому рынку нужно двигаться», — подытожил Даурен Салипов.
Автор Катерина Мостовая
Источник digitalbusiness.kz