DeepSeek新模型曝光 Model1核心演进方向揭晓

3个月前 (01-21)热点话题5

  DeepSeek新模型曝光 Model1核心演进方向揭晓!1月21日,DeepSeek-R1在GitHub上的代码提交疑似剧透了DeepSeek的下一代模型。开发者发现,DeepSeek旗下的FlashMLA优化库近期迎来了一波密集更新。

  

  在一堆C++代码中出现了一个从未见过的代号“Model1”。与以往的小修小补不同,代码逻辑将Model1置于了与当前旗舰V3.2完全独立的平行分支。技术社区普遍认为这是下一代大模型DeepSeek-V4的内部开发代号。根据对相关代码提交的解读,Model1展示了DeepSeek下一代技术架构的几个核心演进方向。

  

  在架构层面,Model1回归到512维。DeepSeek V3曾以独特的576维非对称MLA惊艳四座,这在当时是为了极致压缩KV Cache的非常规手段。但在Model1中,head_dim参数被重新设定为512维。这一回归标准的动作能更完美地对齐GPU的Tensor Core计算特性。DeepSeek可能已经找到了无需依赖非标维度也能实现高压缩率的新方法热点话题,或许是代码中提及的Engram机制,从而换取更高的计算通用性。

  

  此外,Model1的代码库中出现了大量针对SM100,即英伟达最新算力硬件NVIDIA Blackwell B200的专用接口。这表明DeepSeek或许基本完成了对2026年旗舰显卡的指令集适配。测试数据显示,Model1的稀疏算子在B200上的算力利用率已达350 TFlops,显示出其准备充分。

  

  代码中还出现了FP8格式的KV Cache支持,并引入了test_flash_mla_sparse_decoding测试脚本。这意味着DeepSeek正在将MLA机制从“全量计算”进化为“Token级稀疏计算”,允许模型在处理超长上下文时动态忽略不重要的Token,从而在显存占用和推理速度上实现数量级的优化。

  DeepSeek曾在2025年1月20日发布R1模型,开启了新的开源LLM时代。今天是R1发布一周年,Model1有望给AI领域带来新的变化。DeepSeek新模型曝光 Model1核心演进方向揭晓

“DeepSeek新模型曝光 Model1核心演进方向揭晓” 的相关文章

嫣然医院护理师说我们也是在坚持 站好最后一班岗

  嫣然医院护理师说我们也是在坚持 站好最后一班岗!近日,演员李亚鹏在社交平台上发布了一段采访视频,详细解释了他名下的北京嫣然天使儿童医院因拖欠2000多万元租金而面临迁址甚至关停的情况。...

小英自曝被打 小英曝上拉如出轨亲表妹还被打?

  网红小英在直播中爆料,丈夫上拉如出轨的对象竟是他的亲表妹。小英对着镜头吐露心声,语气中充满了委屈和无奈:“姐妹们,何止见过啊,还是亲戚,我就说两个字——表妹,亲表妹!”她表示曝光不是最...

山羊绒实为绵羊毛 起诉发现卖家去世 消费者维权遇阻

  四川乐山的李先生在淘宝上花费3500元购买了四件标称为“100%山羊绒”的大衣。收到货后,他感觉手感不对,于是将其中一件送检,结果显示面料为“100%绵羊毛”。李先生随后起诉卖家索赔,...

天然钻石为何卖不动了 市场需求疲软冲击行业

  自2022年见顶以来,钻石行业面临现代史上最严重、持续时间最长的危机之一。主要消费国奢侈品消费降温以及培育钻石日益走俏等因素导致市场需求下滑。美国对全球最大钻石出口国印度加征关税,进一...

11岁女孩捐200元零花钱给嫣然医院 人间有真情!

  11岁女孩捐200元零花钱给嫣然医院 人间有真情!近日,嫣然儿童医院因拖欠房租无力支付一事引发广泛关注。李亚鹏表示医院面临关停,这一消息迅速在网络上传播开来,大量网友涌入“嫣然天使基金...

信用卡分期能领“国补”了 政策覆盖面扩大

  信用卡分期能领“国补”了 政策覆盖面扩大!近日,财政部、中国人民银行、金融监管总局三部门发布《关于优化实施个人消费贷款财政贴息政策有关事项的通知》,进一步优化个人消费贷款财政贴息政策。...