Автономность упирается не в интеллект, а в гарантии. Без формальной проверки поведения ИИ не пустят в критические контуры.
О событииГлавная проблема долгих задач — ошибка без сигнала об ошибке: система уверенно выдаёт неверный результат.
У агента ошибка одного шага становится входом для следующего, поэтому на длинной траектории небольшие промахи складываются. Надёжность требует не только более сильной модели, но и явных проверок состояния, ограничений действий, журналирования и возможности безопасно остановить процесс.
Источник: METR · длинные задачиО событииПроверки на биориски и кибероперации стали штатной частью выпуска фронтир-модели, а не жестом доброй воли.
Фронтир-лаборатории уже публикуют рамки, связывающие уровень измеренной опасной способности с обязательными защитными мерами. Это ещё не сертификат безопасности: сами оценки развиваются, а результаты зависят от сценариев тестирования и качества внешней проверки.
Источник 1: OpenAI · Preparedness FrameworkИсточник 2: Anthropic · Responsible Scaling PolicyО событииПопытка увидеть, что происходит внутри модели, а не судить только по её выходу. Пока работает на игрушечных масштабах.
О событииРегулирование превращает проверяемость из добродетели в требование к поставке.
О событииФормальная гарантия, что система не выйдет за очерченные границы, — аналог сертификации самолёта.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.