И для атакующих, и для защитников нейросети стали мощным инструментом ускорения и упрощения работы. Например, ИИ позволяет за несколько промптов превратить известную антивирусным системам вредоносную программу в нечто новое и труднообнаружимое.
То же касается и поиска уязвимостей — нейросеть способна не только найти брешь в защите компании, но и написать подробный алгоритм ее эксплуатации вплоть до реализации риска или нанесения ущерба. При этом атакующему необязательно понимать, как устроен процесс и что — с точностью до каждой команды — он делает.
Но эта схема работает в обе стороны — нейросети также используются для детектирования вредоносных программ и хакерской активности. Сейчас ML-системы применяются, например, для анализа исходного кода и поиска ошибок в нем, а также для борьбы с телефонными мошенниками.
Итак, кто больше выигрывает от использования ИИ в сфере информационной безопасности?
ИИ как оружие киберпреступников
Хакеры нулевых добывали знания буквально по крупицам — на собственном опыте, из общения на немногочисленных форумах или из специальной литературы, а также исследований, которые часто распространялись на внешних носителях. Сейчас нейросеть за пару минут может сгенерировать вредоносный код, эксплойт или фишинговое письмо, адаптировать его под любой язык и другие требования.
ИИ используют на всех этапах хакерской атаки. Например, он может:
-
Собрать информацию о планируемой жертве из открытых источников — от списка публичных портов до информации о сотрудниках компании, а также проанализировать ее и расставить приоритеты.
-
Создать эффективное фишинговое письмо или написать скрипт для эксплуатации уязвимости на периметре компании.
-
Написать инструкцию по закреплению в инфраструктуре, помочь найти вектор для дальнейшего перемещения и повышения привилегий.
-
Проанализировать украденные данные, выбрать наиболее интересные для злоумышленника или найти повод для шантажа жертвы и дальнейшего вымогательства.
Список задач, где могут применяться нейросети, сегодня ограничен только фантазией и возможностью доступа к тем или иным ИИ-моделям, а также возможностями обучения этих моделей на конкретных датасетах.
ИИ на страже безопасности
Модули продуктов, составляющих экосистему SOC, активно применяются в различных средствах защиты, где требуется анализ данных, телеметрии и сетевого трафика. Они используются для выявления аномальных событий, подозрительных пакетов трафика и других потенциальных угроз.
На основе этой аналитики формируются правила детектирования и корреляции событий, которые могут разрабатываться как специалистами, так и с применением алгоритмов машинного обучения, включая, но не ограничиваясь нейросетями.
Также нейросети широко применяются там, где есть рутинные задачи и стандартизированные процессы. Например, проведение анализа защищенности или поиск артефактов после инцидентов.
Генеративный ИИ применяется для непосредственного написания кода при условии, что задавать промпты и анализировать их содержимое будет специалист с высоким уровнем квалификации и при соблюдении строгих требований безопасности.
В отличие от хакеров, специалисты по ИБ осваивают нейросети и продукты их работы медленнее в силу того, что цена ошибки заметно выше — погрешности на этапе написания кода или правил корреляции могут привести к инциденту, ответственность за которую на искусственный интеллект списать не получится.
Атаки на искусственный интеллект
Несмотря на впечатляющие возможности нейросетей — это такой же софт, как и любой другой. Они подвержены самым разным атакам. В качестве примера можно привести недавнее исследование, в рамках которого специалисты смогли замедлить новейшие модели, такие как Claude 3.7 и DeepSeek R1, в 12 раз.
Основные виды уязвимостей для LLM описаны в разных фреймворках, можно выделить пользующийся популярностью OWASP top-10 for LLMS. Все связанные с нейросетями уязвимости можно условно поделить на четыре большие группы угроз:
-
Отравление датасетов.
-
Эксплуатация уязвимостей стороннего ПО.
-
Утечка информации, исходных данных или пользовательской активности.
-
Обход логики или промпт-инъекции с целью вызвать сбой или некорректный ответ.
Как и в случае с обычными программными продуктами защищенность нейросети во многом зависит от человеческого фактора. В этом контексте особенно показателен пример DeepSeek, где исследователи смогли найти множество конфиденциальной информации буквально через несколько недель после запуска. Но кейсов с реальными взломами нейросетей на сегодняшний день практически нет. Как правило, инциденты безопасности ИИ — это работа исследовательских групп.
Именно поэтому год от года растет и будет расти спрос на специалистов, которые занимаются безопасностью ИИ, в частности — специалистов MLSecOps, которые могут защитить как собственные ML-модели, так и обеспечить безопасное взаимодействие с внешними продуктами.
Туманное будущее: кто выиграет от гонки нейросетей?
Нейросети и алгоритмы ИИ все активнее используются как киберпреступниками, так и специалистами по информационной безопасности. Однако на сегодняшний день атаковать ИИ-компоненты защитных систем — сложная и малоизученная задача. Гораздо проще найти готовые инструменты и инструкции для взлома традиционных решений, которые давно применяются в бизнесе и хорошо изучены злоумышленниками.
При этом внедрение ИИ в киберзащиту требует больше времени на тестирование, согласование и интеграцию, что пока делает специалистов по ИБ догоняющей стороной.
Однако в перспективе ситуация изменится: развитие ИИ-инструментов в сфере кибербезопасности даст защитникам ключевое преимущество, позволяя опережать атакующих за счет автоматизированного выявления угроз и быстрой адаптации к новым сценариям атак.
Атака и защита на автопилоте
Несмотря на перспективы использовании ИИ для кибератак и защиты от них сегодня эти процессы находятся под контролем человека — хакера или специалиста по ИБ. Полностью переложить свои задачи на нейросети не может ни одна из сторон. Так, киберзащитники не готовы доверить свою работу нейросети и тем более оставить ее без контроля — слишком высока цена ошибки.
С другой стороны, кибератака — это творческий процесс. Популярные нейросети хорошо умеют исполнять стандартизированные задачи, где есть минимальный разброс вариантов. На креатив, к которому можно отнести анализ защищенности, они пока не способны — это остается прерогативой человека.
При этом отдельные нейросети, обученные на специализированных датасетах под конкретный диапазон задач, способны выходить за рамки стандартных решений. Вполне вероятно, что со временем появятся и полноценные наборы из таких инструментов, которые смогут работать в режиме полной автоматизации.
Однако развитие ИИ идет не только в сторону повышения его возможностей, но и в направлении ограничения его использования в недобросовестных целях. ИИ-сообщество активно работает над тем, чтобы искусственный интеллект следовал человеческим ценностям и использовался во благо, а не во вред. Этот подход называется AI Alignment — его цель в том, чтобы модели ИИ не могли участвовать в создании вредоносных решений и оставались безопасными для общества.Крупные компании, такие как OpenAI, Google DeepMind и IBM, уже внедряют специальные механизмы, ограничивающие возможности ИИ, не позволяя ему генерировать вредоносный код или помогать в разработке атак. Например, OpenAI запустила проект Superalignment, направленный на создание безопасных и управляемых суперразумных ИИ-систем. Однако проект не смог развиться из-за внутренних разногласий и был закрыт.
Эти меры делают использование ИИ в кибератаках значительно сложнее. Большинство популярных моделей уже имеют встроенные ограничения, и это заставляет злоумышленников искать обходные пути или разрабатывать собственные модели, что требует больше времени и ресурсов. В результате, несмотря на стремительное развитие ИИ, использование нейросетей для атак остается менее доступным, чем применение традиционных методов взлома, основанных на давно изученных уязвимостях.
Выводы
Прогресс не получится «откатить назад». Нейросети увеличили возможности хакеров по скорости и широте атак, но одновременно вложили в руки киберзащитников мощные инструменты для обеспечения безопасности. Вредоносные программы становятся сложнее, но развиваются и техники их обнаружения. При этом сами нейросети становятся целями для хакеров и объектами защиты со стороны специалистов по ИБ.
Вместе с тем, сейчас ИИ выполняет функцию второго пилота, который снимает с обеих сторон рутинные задачи, но не способен реализовывать цели самостоятельно. С одной стороны, он позволяет начать защищать или взламывать людям с минимальными знаниями. С другой — повышает ценность высококвалифицированных кадров, которые становятся на порядок эффективнее с таким мощным инструментом под рукой.
Вопрос будущего — сможет ли ИИ действовать автономно, управляя всей кибербезопасностью без участия человека? Возможность атак на сам ИИ и потенциальные кибервойны между интеллектуальными системами ставят перед обществом важные этические и технологические вызовы. Кто выигрывает в этой гонке — атакующие или защитные алгоритмы — пока остается открытым вопросом.
