Google нашла способ решить кризис оперативной памяти

Акции производителей оперативной памяти уже полетели вниз.

Google не самым внезапным образом представила алгоритм сжатия памяти для нейросетей TurboQuant. Технология снизила требования к объему оперативной памяти в 6 раз и позволяет увеличить скорость работы искусственного интеллекта до 8 раз на популярных ускорителях HGX H100. При этом точность вычислений и качество генерации ответов остались прежними.


Разработчики алгоритма использовали решение на базе векторного квантования с применением технологий PolarQuant и QJL. Инструмент оптимизировал так называемый KV-кэш – рабочую память LLM, которая используется для сохранения предыдущих токенов во время генерации текста. Такое решение позволило запускать требовательные модели на относительно слабом и дешевом оборудовании.

Анонс технологии привел к настоящей панике на финансовом рынке. Инвесторы устроили массовый слив акций крупных производителей чипов памяти, таких как Micron и SK Hynix. Акции, разумеется, упали на фоне этих новостей и реакции инвесторов.


Вот только реакция скорее ошибочная – эксперты считают, что новая технология приведет к ускорению развития нейросетей, к более широкому их распространению. В таком случае технологическим гигантам потребуется еще больше памяти – TurboQuant решает проблему функционирования, а не обучения. Для обучения моделей все еще потребуется огромное количество оперативки.

---

Полноценный анонс TurboQuant состоится на ICLR 2026 и AISTATS 2026. Однако энтузиасты уже активно экспериментируют с данными из статей, опубликованных Google.

По всей видимости, шестикратного снижения требований к памяти алгоритм достигает при сравнении с немного устаревшими методами 16-битного сжатия, однако даже по отношению к актуальным продуктам разница может достигнуть двукратных значений.