算力直降97%，GPT-3存储只用20MB？！这篇新论文火了

导读：

正值圣诞节山东泰山队外租前锋莱昂纳多晒出了自己的全家福并祝大家圣诞快乐莱昂纳多写道我和我的家人祝愿大家圣诞快乐愿上帝保佑大家赛季莱昂纳多被山东泰山队租借至浙江队他在各项赛事中代...

正值圣诞节，山东泰山队外租前锋莱昂纳多晒出了自己的全家福，并祝大家圣诞快乐。莱昂纳多写道：“我和我的家人祝愿大家圣诞快乐！愿上帝保佑大家❤️”2024赛季，莱昂纳多被山东泰山队租借至浙江队，他在各项赛事中代表浙江队出场31次，打进22球送出6次助攻。

一水发自凹非寺
量子位 | 公众号 QbitAI

好家伙！1750亿参数的GPT-3只需2 B存储空间了？！

基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。

最近，从事机器学习的Will小哥发了一篇论文，直接引来几十万网友or同行围观。

他提出了一项名为“noise_step”的新技术，允许模型直接在1.58-bit低精度下训练，且无需反向传播或动量（Momentum）加速，从而降低算力和存储消耗。

对此，网友们也纷纷发来祝贺，表示很高兴看到模型越来越具有性价比。

话不多说，来看具体内容。