Самая продвинутая ветвь таймлайна: именно здесь автономность окупается быстрее всего, потому что результат немедленно проверяется тестами.
О событииОтраслевая мера: доля реальных задач из открытых репозиториев, закрытых без участия человека.
SWE-bench проверяет не генерацию отдельной функции, а исправление настоящей задачи в существующем репозитории с тестами и зависимостями. Verified-версия дополнительно отфильтрована людьми, но результат всё равно не равен работе разработчика: тест может не покрывать архитектуру, безопасность и сопровождаемость изменения.
Источник: SWE-benchО событииСистемы планируют и тестируют цельные изменения, а не дописывают строки.
О событииРазбор упавших сборок, правка тестов и обновление зависимостей ушли в автоматический контур.
О событииПисать код стало дешевле, чем его проверять. Это меняет структуру инженерной работы сильнее, чем сама генерация.
О событииКод, который никто не читал, накапливается быстрее, чем раньше. Отрасль ещё не поняла, чем это обернётся через три года.
О событииПерейти от закрытия задач к владению архитектурой: выбирать компромиссы, а не только исполнять решённое.
О событииПродукт, который описан требованиями и тестами, а код к нему пересобирается автоматически и никем не читается.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.