Transformer отказался от последовательного прохода рекуррентных сетей и позволил сопоставлять элементы входа через внимание. Это резко улучшило параллельное обучение и дало одну архитектурную основу, которую затем перенесли с текста на код, изображения, звук и видео. Работа стала центральной развилкой современной истории ИИ: почти все последующие большие языковые и мультимодальные модели используют её прямых наследников.
Источник: arXiv2017-06
Attention Is All You Need
О событииTransformer заменил рекуррентную обработку вниманием и лучше масштабировался на параллельных вычислениях.