Anthropic блокирует учёных за использование ИИ в биологическом и кибероружии
Компания Anthropic сообщила о блокировке нескольких учёных после выявления попыток применения её модели Claude для разработки биологического и кибероружия.
Разработчик искусственного интеллекта Anthropic опубликовал отчёт, в котором зафиксировал несколько случаев использования своей крупной языковой модели Claude в проектах, потенциально связанных с биологическим и кибероружием. По результатам внутреннего мониторинга были заблокированы аккаунты учёных, подавших запросы, которые классификатор безопасности определил как подозрительные.
Обнаруженные случаи злоупотребления
Система безопасности Anthropic перехватила три группы запросов, связанных с повышением опасности биологических агентов и созданием токсинов:
- Модификация вируса Чикунгунья. Запрос включал подготовку грантового текста для исследования, направленного на усиление «функций» вируса, не имеющего лицензированного лечения. В документе говорилось о повышении заразности и способности обходить иммунный ответ. Проект был связан с военным институтом.
- Усиление птичьего гриппа. Аналогичные запросы касались искусственного увеличения патогенности вируса, что могло бы привести к более тяжёлому течению инфекции у птиц и потенциальному переходу к человеку.
- Генерация пептидных ядов. Один из исследователей использовал Claude для создания конвейера, автоматически оптимизирующего характеристики токсинов, повышая их эффективность и стабильность.
Все перечисленные запросы были автоматически отклонены, а связанные аккаунты – заблокированы.
Реакция Anthropic и меры защиты
Компания заявила, что в целях предотвращения возможных катастрофических последствий она применяет «максимально осторожный» подход к обработке запросов, связанных с биологическими или кибернетическими угрозами. По словам руководителя отдела анализа угроз Джейкоба Клейна, злоумышленники редко формулируют свои намерения открыто, поэтому система должна уметь распознавать скрытые цели.
Anthropic также подчеркнула, что имена учёных и названия их лабораторий не разглашаются, поскольку нет доказательств преступного умысла, а публичное раскрытие могло бы нанести вред их репутации.
Мнения экспертов
Старший научный сотрудник Совета по стратегическим рискам Эндрю Вебер охарактеризовал выводы отчёта как «тревожные примеры того, как отдельные государства могут пытаться использовать передовые возможности ИИ для разработки биологического оружия». По его словам, такие случаи подтверждают необходимость международного регулирования использования генеративных моделей в чувствительных областях.
Эксперты в области кибербезопасности также отметили, что аналогичные угрозы могут возникать в сфере кибероружия, когда ИИ используется для автоматизации написания эксплойтов или создания фишинговых кампаний. Anthropic заявила, что собранные данные будут использованы для дальнейшего улучшения систем защиты и снижения риска повторных инцидентов.
Таким образом, компания продолжает развивать механизмы контроля за потенциально опасными запросами, одновременно подчеркивая важность прозрачности и ответственности в сфере искусственного интеллекта.