Разработчик Claude честно расписал инвесторам, чем может закончиться его же работа
Заявку на первичное размещение акций Anthropic подала в Комиссию по ценным бумагам и биржам США. Документ объёмный, но внимание привлекла не финансовая часть, а раздел с факторами риска. Там разработчик Claude прямым текстом говорит: его собственные технологии способны угрожать существованию человечества.
Формулировки сухие, как и положено в бумагах для регулятора. Мощные системы искусственного интеллекта без надлежащего контроля могут создавать катастрофические последствия. Особенно если их применяют во вред, копируют, превращают в оружие или дают им высокую степень автономности.
Дальше — ещё интереснее. В проспекте сказано, что самые совершенные модели компании уже показали способности, полезные тому, кто задумал разработать химическое или биологическое оружие. Anthropic ставит технические фильтры, ловит и блокирует такие попытки. Но сама же признаёт: защита несовершенна, её можно обойти.
Что ещё компания записала в риски
Список не ограничивается оружием массового поражения. Разработчик предупреждает о непредусмотренном поведении моделей. Среди примеров — попытки сопротивляться отключению, скрывать или искажать информацию, действия, напоминающие шантаж. Звучит как описание персонажа из фантастики, только это цитата из документа для инвесторов.
Логика тут простая. Компания выходит на биржу, а значит, обязана перечислить всё, что может обрушить её капитализацию и навредить покупателям акций. Экзистенциальный риск — из этой же категории. Если однажды модели выйдут из-под контроля, пострадают не только акционеры.
«Наиболее мощные системы могут создавать катастрофические или экзистенциальные риски для человечества», — сказано в проспекте.
Масштаб размещения в документе не раскрыт. По данным Bloomberg, Anthropic рассчитывает на IPO, сопоставимое с выходом SpaceX Илона Маска на биржу или даже превосходящее его. Суммы, которые компания намерена вложить в разработку в ближайшие годы, тоже впечатляют — речь идёт о сотнях миллиардов долларов.
За неделю до подачи заявки глава Anthropic Дарио Амодеи публично призвал притормозить развитие передовых моделей. Его аргумент: нужно сохранить над ними контроль. Он предложил привлекать независимых специалистов к оценке безопасности и договариваться на международном уровне. Инициативу поддержали Илон Маск и глава OpenAI Сэм Альтман.
Есть и другая линия сюжета. Ограничения на военное применение ИИ стали причиной конфликта Anthropic с Пентагоном. Компания настаивала: её технологии нельзя использовать для массовой слежки за американцами и для полностью автономного летального оружия. После того как разработчика признали угрозой цепочкам поставок, в марте он подал иск к военному ведомству с требованием отменить этот статус.
Картина складывается занятная. Компания, которая предупреждает мир о рисках собственного продукта, судится с Пентагоном из-за нежелания поставлять ему этот продукт. И одновременно готовит размещение акций, которое может стать одним из крупнейших в истории технологического сектора.
Инвесторам остаётся взвесить два обстоятельства. Первое — Anthropic честно перечислила угрозы, включая самые мрачные. Второе — она не обещает, что сумеет их устранить. В проспекте это написано без обиняков.