BERT

Двунаправленное предобучение сделало контекст слова доступным сразу слева и справа и изменило поиск, классификацию и извлечение ответов.

Источники