Сеть узнаёт предмет, глядя всего на пару направлений вместо тысяч
Разброс внутри одного класса у сетей оказался не случайным шумом: он выстроен вдоль центра самого класса и его главных конкурентов. Из этого выводится теория, предсказывающая точность распознавания по горстке координат — тех, что смотрят на верный ответ и на пару ближайших соперников, и это одинаково работает у моделей для картинок, звука и текста. Мост в биологию прямой: похоже на принцип экономного кодирования, который давно наблюдают в живых нервных цепях, а среди авторов — один из ведущих теоретиков мозга.
Заметки