Молчаливые отказы

Главная проблема долгих задач — ошибка без сигнала об ошибке: система уверенно выдаёт неверный результат.

У агента ошибка одного шага становится входом для следующего, поэтому на длинной траектории небольшие промахи складываются. Надёжность требует не только более сильной модели, но и явных проверок состояния, ограничений действий, журналирования и возможности безопасно остановить процесс.

Источники

METR · длинные задачиОткрыть первоисточник