ИИ начал воспринимать ситуацию целиком: видеть экран, слышать речь и отвечать почти в реальном времени. Следующая задача — устойчиво понимать длинное видео и причинные связи.
О событииОбщее пространство для текста и изображений — фундамент, на котором выросла вся генерация картинок.
CLIP обучалась сопоставлять изображения с текстовыми описаниями из интернета и тем самым поместила две модальности в общее пространство признаков. Это позволило задавать визуальные категории словами без отдельной разметки под каждую задачу и стало важной опорой для последующих генеративных и мультимодальных систем.
Источник: OpenAIО событииРаспознавание речи дошло до уровня, при котором звук стал обычным входом, а не отдельной задачей.
О событииОдна модель научилась выделять произвольные объекты по точке, рамке или текстовой подсказке без обучения под каждый класс.
О событииЗрение как штатная часть большой модели.
О событииGoogle представила семейство моделей, изначально рассчитанное на совместную работу с текстом, изображениями, звуком и видео.
О событииОдна модель начала работать с текстом, изображением и звуком в реальном времени.
О событииЧас записи модель уже принимает, но следить за сюжетом и причинами внутри него ещё не умеет.
О событииМодальности, для которых пока нет ни дешёвых датчиков, ни больших наборов данных.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.