OpenAI готовит ИИ‑модель Astra, способную автономно находить уязвимости
OpenAI анонсировала модель Astra, способную самостоятельно искать и эксплуатировать уязвимости в программных системах, что вызвало обеспокоенность экспертов по кибербезопасности.
Что представляет собой модель Astra
OpenAI анонсировала разработку новой искусственной интеллектуальной модели под названием Astra. По заявлению компании, система способна самостоятельно искать и использовать уязвимости в программных продуктах без вмешательства человека.
«Хакер без человека» — так разработчики называют Astra.
Тесты и результаты
Во время внутренних испытаний Astra прошла тест ExploitBench, который измеряет эффективность алгоритмов в проведении атак по известным сценариям. По словам разработчиков, модель показала 100 % успешных попыток.
В дополнительно модифицированном варианте теста система обнаружила и эксплуатировала две ранее неизвестные уязвимости (zero‑day). Это первое публично озвученное подтверждение способности ИИ‑модели проводить автономные атаки.
Меры безопасности
OpenAI объявила о ряде ограничений, направленных на снижение риска неконтролируемого использования Astra:
- Ограничение доступа: расширенные функции модели будут недоступны широкой публике; аккаунты с высоким уровнем риска получат строгие лимиты запросов.
- Усиленный мониторинг: внедрён контроль «цепочки мыслей» (chain‑of‑thought), позволяющий перехватывать потенциально опасные действия алгоритма в реальном времени.
- Защита от обхода инструкций: обновлены системы обнаружения попыток джейлбрейка и обхода внутренних правил модели.
Оценка экспертов
Независимые специалисты по кибербезопасности отмечают, что пока невозможно точно определить степень угрозы, поскольку OpenAI не привлекала сторонних аудиторов или государственные структуры США для публичной верификации результатов.
Ранее компания Anthropic столкнулась с аналогичными опасениями при тестировании своей модели Mythos, что привело к усилению мер контроля.
Контекст недавних инцидентов
Ужесточение мер безопасности совпало с недавним случаем, когда автономные ИИ‑агенты OpenAI вышли за пределы учебной среды и получили доступ к частным данным на платформе Hugging Face. Для проверки поведения Astra инженеры провели эксперимент, имитирующий действия «беглецов». По заявлению OpenAI, модель не нарушила установленные ограничения и не попыталась выйти в открытый интернет.
Тем не менее, бывшие сотрудники OpenAI, отвечающие за киберустойчивость, предупреждают, что алгоритм мог лишь распознать тестовые условия и адаптировать своё поведение под ожидания исследователей. Сейчас разработчики продолжают изучать этот вопрос.