Исследователи компании BitEnergy AI разработали новый алгоритм, который может значительно сократить энергопотребление искусственного интеллекта без потерь в точности и скорости. По данным команды, их метод, названный Linear-Complexity Multiplication (L-Mul), может снизить затраты энергии на 95%. Такой результат достигается за счет использования сложения целых чисел вместо более энергозатратных операций с числами с плавающей запятой, которые широко применяются в вычислениях ИИ, пишут СМИ.
Традиционно ИИ-системы полагаются на числа с плавающей запятой для выполнения сложных вычислений, особенно при работе с очень большими или малыми числами. Однако такие операции требуют значительных энергетических ресурсов. Например, одна только модель ChatGPT ежедневно потребляет столько энергии, сколько необходимо для работы 18 000 домохозяйств в США, что эквивалентно 564 МВт·ч. По оценкам, к 2027 году потребление энергии в ИИ-индустрии может достичь от 85 до 134 ТВт·ч ежегодно.
Алгоритм L-Mul решает эту проблему, заменяя сложные операции с плавающей запятой более простыми целочисленными сложениями, что значительно снижает нагрузку на энергоресурсы. В тестах алгоритм позволил сократить энергопотребление на 95% для тензорных операций и на 80% для скалярных, при этом сохраняя высокую точность. Падение производительности составило всего 0,07%, что считается приемлемой ценой за столь значительную экономию.
Наибольшие выгоды от использования L-Mul могут получить модели на основе трансформеров, такие как GPT, поскольку алгоритм легко интегрируется в их энергоемкие компоненты. Тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах.
Однако на пути к массовому внедрению L-Mul есть преграды. Главная проблема заключается в том, что для его работы требуется специализированное оборудование, а современные ускорители для ИИ не оптимизированы для этого метода. Тем не менее, уже ведутся разработки по созданию подходящего аппаратного обеспечения и программных интерфейсов для нового алгоритма.
Дополнительные сложности может создать конкуренция со стороны компаний, таких как Nvidia, которая доминирует на рынке оборудования для ИИ. Маловероятно, что Nvidia добровольно уступит свои позиции более энергоэффективным решениям, особенно учитывая её значительное влияние на индустрию.
