Развитие стало можно планировать инженерно: оценивать бюджет обучения и ожидаемый результат. Это запустило гонку ускорителей и дата-центров, но не гарантирует появление каждой новой способности.
О событииОбучение в контексте: модель решает задачу по паре примеров.
GPT-3 показала, что одна большая предобученная модель может переключаться между задачами по инструкции и нескольким примерам прямо во входном тексте. Веса при этом не меняются: «обучение» происходит внутри контекста, что превратило универсальный языковой интерфейс в практический способ программировать поведение модели.
Источник: OpenAIО событииКачество связали степенными законами с размером модели, объёмом данных и вычислениями.
О событииДанные важнее размера: пересборка всех бюджетов обучения.
О событииЧасть навыков появляется скачком после порога масштаба, а не растёт плавно.
О событииКачественный человеческий текст в интернете близок к исчерпанию. Дальше — синтетика, видео и собственные данные компаний.
О событииСледующая ось роста — не размер модели, а объём обучения на собственных попытках и ошибках.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.