SWE-bench
Отраслевая мера: доля реальных задач из открытых репозиториев, закрытых без участия человека.
ИИ перестал подсказывать по одной строчке. Он читает проект целиком, планирует изменение, вносит его в десятки файлов и сам прогоняет тесты.
Самая продвинутая ветвь таймлайна: именно здесь автономность окупается быстрее всего, потому что результат немедленно проверяется тестами.
Отраслевая мера: доля реальных задач из открытых репозиториев, закрытых без участия человека.
Системы планируют и тестируют цельные изменения, а не дописывают строки.
Разбор упавших сборок, правка тестов и обновление зависимостей ушли в автоматический контур.
Писать код стало дешевле, чем его проверять. Это меняет структуру инженерной работы сильнее, чем сама генерация.
Код, который никто не читал, накапливается быстрее, чем раньше. Отрасль ещё не поняла, чем это обернётся через три года.
Перейти от закрытия задач к владению архитектурой: выбирать компромиссы, а не только исполнять решённое.
Продукт, который описан требованиями и тестами, а код к нему пересобирается автоматически и никем не читается.