LLaMA 在 CPU 上的运行速度显著改进

2024-04-01 15:21 by 记忆残留

大模型如 LLaMA 通常需要高端 GPU 才能流畅运行。Mozilla 支持的 llamafile 项目旨在本地运行大模型。开发者刚刚为 llamafile 编写了 84 个新的矩阵乘法内核，显著改进了 CPU 运行性能，让普通 CPU 流畅运行大模型成为可能。ARMv8.2+（如 Raspberry Pi 5） 、英特尔 CPU 以及支持 AVX512 指令集的 AMD Zen 4 CPU 上的运行速度增幅最为突出。

https://justine.lol/matmul/

#人工智能

via Solidot - Telegram Channel