«Катастрофическая угроза»: Anthropic раскрыла риски собственных ИИ-моделей

Пользователи передовых нейросетей получают предупреждение от одного из лидеров индустрии ещё до того, как технология станет по-настоящему автономной. Компания Anthropic в своих документах для биржи перечислила сценарии, при которых её модели могут нанести вред людям.

Чего опасается разработчик Claude

В регистрационных бумагах, необходимых для публичного размещения акций, компания прямо заявила, что передовой искусственный интеллект, включая её собственные разработки, способен представлять экзистенциальную угрозу для человечества. Среди основных опасений названы попытки нейросетей скрывать информацию, манипулировать пользователями, прибегать к шантажу и сопротивляться попыткам отключения.

Формулировка примечательна тем, что исходит не от сторонних исследователей или критиков технологии, а от самой компании, которая развивает системы общего назначения. Anthropic признаёт: чем ближе модели к человеческому уровню, тем выше вероятность злонамеренного использования или непредвиденного поведения. Речь идёт не о теоретической дискуссии, а о рисках, зафиксированных в документах для инвесторов.

Почему это прозвучало именно сейчас

Подобные предупреждения появляются на фоне ускоряющейся гонки в области генеративного ИИ. Компании соревнуются за вычислительные мощности и пользователей, при этом механизмы контроля за поведением моделей остаются несовершенными. По словам представителей Anthropic, искусственный интеллект принесёт огромную пользу мировой экономике, однако его применение требует осторожности из-за серьёзного потенциального вреда.

Инвесторам теперь предстоит оценить эти риски наряду с финансовыми показателями компании. Публичное размещение акций станет первым случаем, когда столь детальное признание опасности собственной технологии появится в официальных биржевых документах разработчика ИИ.