华体汇电竞-华体汇(中国):
谷歌发布新开原模型:260亿参数,本地生成速度快约4倍
6月11日消息,谷歌DeepMind发布DiffusionGemma,Gemma开放权重模型家族的新成员。它不沿用主流聊天机器人的自回归路线,而是借鉴图像扩散模型的思路并行生成和修正文本,换来更快的本地推理速度。
DiffusionGemma总参数约260亿,采用混合专家架构(MoE),支持多模态输入、文本输出。谷歌称,在专用GPU的低延迟本地推理场景下,其文本生成速度最高可比传统自回归模型快约4倍:单张NVIDIA H100超过1,000 token/秒,GeForce RTX 5090上超过700 token/秒。
不再逐字生成,而是铺出再修正
多数聊天机器人按顺序生成文本:前一个token出来后才能预测下一个,用户看到的是一行字慢慢往外跳。DiffusionGemma的做法更接近图像扩散模型——先用占位符铺出一段文本,再经多轮修正逐步得到最终结果,一次最多可并行处理256个token。硬件算力够用时,生成速度因此明显提高。
对本地AI使用者来说,这意味着:隐私敏感、网络不稳定或需要低延迟的场景,可以更多依赖本机显卡完成文本生成,不必把所有请求都发到云端。
260亿总参数,推理时只激活38亿
DiffusionGemma不是一个极小模型,但混合专家架构让每次推理只激活约38亿参数。谷歌称这使它有机会在18GB显存级别的GPU上运行,门槛低于完整加载同等总参数的密集模型。
谷歌把DiffusionGemma放进Gemma开放权重体系,延续了用可本地部署模型争夺开发者生态的策略。
速度优势明确,文本质量仍待独立验证
扩散文本模型不是第一次出现。它长期未成为主流路线,关键原因是自然语言比图像更依赖语法顺序、上下文连贯和事实约束。生成得快,不等于写得稳。
DiffusionGemma证明了扩散路线可以在开放权重文本模型上跑出明显速度优势。它能否在长文本、复杂问答和事实准确性上接近主流自回归模型,还需要更多独立评测给出答案。(易句)
(本文由AI翻译,网易编辑负责校对)
@周依源:惩罚校花扒开 往下摸,漆黑隧道突遇羊群 车主撞死32只@怀雅惠:5月高频数据折射经济向新向优
@萧佳颖:近15元配送费骑手挣5元店家打抱不平
华体汇电竞-华体汇(中国):热门排行
- 1 国产永久盗摄一二区
- 2 M曼曼紫色安装教程
- 3 香蕉文化漫画书阅读下拉式最新
- 4 99r精品
- 5 一区色
- 6 bbs.hjd核基地发布
- 7 扒开退
- 8 鲍满满
- 9 撕开 让摸 咬奶头动漫视频