Машинное восприятие

Работа Маккаллоха и Питтса не дала обучаемую нейросеть, но впервые связала работу нервной системы с вычислением. Искусственный нейрон стал формальным строительным блоком: он принимает несколько сигналов, сравнивает сумму с порогом и выдаёт результат. Эта абстракция пережила десятилетия и до сих пор лежит в основе языка, которым описывают нейросети.

Перцептрон добавил к формальному нейрону главное практическое свойство — обучение на данных. Алгоритм корректировал веса после ошибки и постепенно строил линейную границу между классами. Возможности были ограничены, но именно здесь возникла современная схема «данные — ошибка — обновление параметров».

Обратное распространение сделало обучение многослойной сети вычислимо удобным: ошибка на выходе последовательно превращалась в поправки для каждого слоя. Метод был известен в разных формах и раньше, но работа 1986 года показала его как общий способ изучать внутренние представления, а не только настраивать последний слой.

LeNet собрала свёртки, совместное использование весов и обратное распространение в прикладную систему распознавания документов. Это был важный мост между лабораторной идеей и промышленным применением: сеть сама извлекала локальные визуальные признаки и работала с реальным потоком чеков.

AlexNet не изобрела нейросети, но собрала в работающий масштаб три компонента: большой размеченный набор, глубокую свёрточную архитектуру и обучение на GPU. Результат сделал извлечение признаков частью обучения и стал практической точкой отсчёта нынешнего бума глубокого обучения.

Word2vec показал, что полезные отношения между словами можно получить из задачи предсказания контекста, без ручного словаря признаков. Векторные представления стали переносимым внутренним языком нейросетей и подготовили переход от отдельных классификаторов к большим предобученным моделям.

Seq2Seq отделила понимание входной последовательности от генерации выхода и показала, что один обучаемый контур может переводить текст без вручную заданных лингвистических правил. Ограничение фиксированного вектора памяти позже подтолкнуло развитие внимания.