Учёные
Яндекса
разработали
и
опубликовали
в
свободном
доступе
новые
методы
сжатия
больших
языковых
моделей.
По
мнению
специалистов
Yandex
Research,
они
позволят
бизнесу
сократить
расходы
на
вычислительные
ресурсы
до
восьми
раз.
Разработка
будет
полезна
корпорациям,
стартапам
и
исследователям,
которые
запускают
нейросети
на
своём
оборудовании.
Чтобы
большая
языковая
модель
отвечала
качественно
и
быстро,
требуется
множество
дорогостоящих
мощных
графических
процессоров.
Решение
Яндекса
позволяет
уменьшить
модель
в
несколько
раз,
сократить
количество
необходимых
процессоров
и
запустить
её
на
устройствах
с
меньшей
вычислительной
мощностью.
А
значит
внедрение
нейросетей
и
обслуживание
оборудования
станет
дешевле
для
бизнеса.
Решение
Яндекса
включает
в
себя
два
инструмента.
Первый
позволяет
получить
уменьшенную
до
восьми
раз
нейросеть,
которая
быстрее
работает
и
может
быть
запущена,
например,
на
одном
графическом
процессоре
вместо
четырёх.
Второй
инструмент
исправляет
ошибки,
которые
возникают
в
процессе
сжатия
большой
языковой
модели.
Качество
ответов
оригинальной
и
сжатой
версии
нейросети
сравнивали
на
англоязычных
бенчмарках.
Новый
подход
показал
лучший
результат
среди
всех
существующих
методов
сжатия,
отмечают
в
Яндексе.
Метод,
созданный
в
Yandex
Research,
сохраняет
в
среднем
95%
качества
ответов
нейросети,
а
другие
популярные
инструменты
сохраняют
для
тех
же
моделей
лишь
59%
—
90%
качества.
Код
нового
метода
опубликован
на
GitHub,
также
можно
скачать
уже
сжатые
с
его
помощью
популярные
модели
с
открытым
исходным
кодом
и
обучающие
материалы.
