7月27日晚，月之暗面宣布Kimi K3模型正式开源，同步发布模型文件及技术报告，并开源三项基础设施技术。开发者可通过Hugging Face社区下载模型进行本地部署和二次开发。
Kimi K3是一款混合专家架构大语言模型，总参数规模2.8万亿，采用896个路由专家，每个Token激活16个专家。
架构上采用自研的Kimi Delta Attention混合线性注意力机制与Attention Residuals技术，原生支持视觉理解，上下文窗口100万Token。
相较上一代Kimi K2.5，参数规模提升约3倍，规模化效率提升约2.5倍。
技术报告披露了模型训练与架构设计的多项细节，包括KDA与Gated MLA混合注意力结构、Stable LatentMoE专家路由机制、MoonViT-V2视觉编码器训练方案以及后训练和评测方法。
报告显示，Kimi K3在编程、智能体、推理与视觉等多项基准测试中的得分超过大部分开源模型和部分闭源模型。报告同时指出，其整体性能仍落后于Claude Fable 5和GPT-5.6 Sol。
同步开源的三项基础设施技术包括：MoonEP，面向大规模MoE模型的高性能专家并行通信库；FlashKDA，Kimi Delta Attention的计算算子，官方称在英伟达H20上的Prefill速度相比基线提升1.72至2.22倍。
AgentEnv，与KVCache.ai合作开发的Agent沙箱系统，支持快速快照、恢复及Fork。
Kimi K3于7月17日发布，面向长程编程、知识工作及复杂推理等场景，发布后，Arena Intelligence的WebDev Arena榜单显示其得分1679 Elo，Artificial Analysis Intelligence Index v4.1得分57.1。
英国《自然》杂志网站刊文介绍了该模型的规模和技术特点。
月之暗面表示，此次开放旨在推动开放模型生态发展，降低开发者部署和开发门槛。
匿名用户
