谁在闷头做中国的Mythos 速度暴涨4倍

1个月前 (06-21)热点话题9

  别再只盯着“AO”两家的新模型大战了!谷歌刚刚发布了一款名为DiffusionGemma的新模型,这款模型将生成图片的扩散模型应用到了文字生成上,并实现了4倍加速。

  

  DiffusionGemma抛弃了传统的自回归模式,即逐个token生成的方式,而是采用类似“印刷机”的工作方式。它一次铺开256个token的“画布”,从随机噪声出发,通过多轮去噪,使整段文字同时浮现。这种新模式在生成速度方面表现出色:单块H100上每秒可生成1000多个tokens,在消费级RTX 5090上也能达到700多个tokens,比同规格自回归模型快了4倍。此外,这个26B参数的MoE模型在推理时只需激活3.8B参数,量化后仅需18GB显存即可运行,一张4090显卡就能本地跑。

  

  目前,DiffusionGemma采用了允许商用的Apache 2.0开源协议,权重可在Hugging Face直接下载。

  

  DiffusionGemma的最大优势在于其生成速度。在同一块H100上(fp8,batch size=1),DiffusionGemma的速度达到了1000+ tokens/s,而标准自回归的Gemma 4 26B A4B加上MTP加速也只有300+ tokens/s,速度差距近4倍。谁在闷头做中国的Mythos 速度暴涨4倍

“谁在闷头做中国的Mythos 速度暴涨4倍” 的相关文章

寒潮来袭怎么穿衣才保暖 专家推荐“洋葱式”穿衣法

  今日大寒节气,寒潮全面影响浙江,全省将迎来显著降温和雨雪天气。浙江省气象台持续发布寒潮警报,预计浙西北高山区局部将有中到大雪,浙北地区最高气温仅2至4℃。随着寒潮入侵,浙中北地区和丽水...

越南U23后卫:向越南球迷诚恳致歉 球迷送上安慰与鼓励

  在U23亚洲杯半决赛中,越南队以0-3的比分输给中国队,无缘决赛。替补上场的前锋阮庭北赛后在个人社交媒体上公开道歉。他写道:“阿北想说的第一句话是,向大家道歉!”并附上了一张自己跪倒在...

永辉超市一年关店381家 转型阵痛持续

  1月20日,永辉超市发布2025年业绩预亏公告,预计归母净利润为-21.4亿元,扣非净利润为-29.4亿元。永辉超市持续深入学习胖东来,全年关闭了381家与公司未来战略定位不相符的门店...

特朗普不会参加七国集团峰会 拒绝马克龙提议

  美国总统特朗普在白宫记者会上表示,他不会参加法国总统马克龙提议近期在巴黎举行的七国集团首脑紧急会议。当天凌晨,特朗普在社交媒体上转发了马克龙发给他的信息。马克龙在信息中提到,他对特朗普...

《愤怒的小鸟》宣布回归中国市场 经典IP再度启航

  今日,愤怒的小鸟宣布回归中国市场。      《愤怒的小鸟》系列由Rovio开发并发行,自2009年推出以来,凭借独特的玩法...

A股成交2.6万亿缩量1771亿 市场震荡分化

  1月21日,A股三大股指集体低开后快速走高,深成指和创指很快涨超1%。午后市场出现震荡下行趋势,沪指一度转跌。   从盘面上看,半导体、AI算力产业链表现突出,GPU...