2.8万亿参数!月之暗面正式开源Kimi K3模型
发布于:07-28
作者:太平洋快讯

【太平洋科技快讯】7月27日晚间,月之暗面Kimi K3大模型正式开源,官方一并放出了模型权重、技术报告,以及开源支撑Kimi K3模型训练的关键Infra技术:MoonEP、FlashKDA和AgentEnv。

7月16日,月之暗面在WAIC 2026前夕正式发布了全新大模型Kimi K3(详情可查看此前太平洋科技的报道内容:《月之暗面发布全球首个3万亿级开源大模型Kimi K3》)。据官方介绍,Kimi K3是首款参数规模突破2.8万亿的开源大模型,参数规模是Kimi K2.5的3倍左右,具备原生视觉理解能力,并支持100万token的上下文窗口。过去十二个月里,Kimi系列模型有九个月持续维持全球开源模型参数规模峰值。

该模型并不是单纯地依靠堆砌参数提升性能,在算力资源有限的前提下,依托Kimi Delta Attention、Attention Residuals、MoonEP等技术,叠加训练策略、训练数据集优化调整,相比前代K2模型,整体算力拓展效率提升约2.5倍,算力资源利用转化效率得到明显优化。

官方称,该模型为Kimi迄今能力最强的模型。根据官方发布的技术报告, Kimi K3进一步提升了MoE混合专家模型稀疏性能,依托Stable LatentMoE架构可在896个专家模块中动态激活16个参与运算;视觉编码器MoonViT-V2从零采用next-token prediction方式训练,省去对比预训练流程,在对标SigLIP基准效果的同时,训练收敛过程更稳定。

Kimi K3的开源不只是单一模型权重开放,更是一套包含模型能力、训练算法、底层工程框架的全栈技术体系对外释放,将进一步丰富国内开源大模型生态。月之暗面表示,每个人都可以下载并部署Kimi K3模型——无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用。

另外,官方还介绍了支撑Kimi K3训练的三项Infra技术:MoonEP、FlashKDA 和 AgentEnv,覆盖从高性能通信、高性能算子到分布式RL环境的关键链路。

月之暗面表示,开源权重能够降低大模型开发准入门槛,同时让使用者拥有数据自主、隐私管控、模型所有权等自主权限;通用人工智能技术影响深远,开放共享的产业生态更利于行业长期发展。

网友评论