Миллион токенов перестал быть демонстрацией и стал рабочим режимом. Модель держит в голове весь проект, а не отдельный файл.
О событииОбходной путь, которым индустрия жила, пока контекст был коротким. Сейчас — дополнение, а не костыль.
RAG отделяет знания от параметров модели: перед ответом система находит релевантные документы и добавляет их во вход. Это упрощает обновление фактов и ссылок, но качество зависит от поиска, разбиения документов и способности модели отличить найденное свидетельство от собственного предположения.
Источник: arXiv · RAGО событииМиллион токенов в проде — впервые в модель целиком помещалась книга или час видео.
О событииКодовые системы читают проект целиком.
О событииОдна двадцатая вычислений на токен, prefill вдевятеро и декодирование в пятнадцать раз быстрее на миллионном контексте.
О событииДлинный контекст помещается, но внимание к его середине проседает: модель помнит начало и конец лучше, чем то, что между ними.
О событииКонтекст обнуляется с каждым новым разговором. Память, которая живёт годами и не растёт бесконечно, — отдельная нерешённая задача.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.