罗福莉官宣小米 MiMo-V3 采用全新架构，核心 HySparse 2 今日发布

IT之家 9 月 23 日音讯，小米 MiMo 大模型负责人罗福莉今日发布消息，确认 MiMo-V3 将采用全新设计。其核心组件 HySparse 2 于今日上线，实现了预填充量减少、KV 缓存占用降低以及长上下文检索性能提升。

• 在 1M（100 万）Token 长度条件下，预填充计算量（FLOPs）下降 5.02 倍
• 在 1M Token 长度条件下，KV 缓存缩小 4.5 倍
• 获得更高的 MRCRv2 和 RULER-v2 评分，同时 AgentPPL 与 LongPPL 数值下降

罗福莉指出，智能体（Agentic）推理属于一种差异较大的工作负载。每次交互过程中，简短动作可能带来需预填充的长文本观察结果，且上下文不断累积。这导致预填充成本、KV 缓存大小与检索准确率同时成为关键环节。

• KV 桥接（KV Bridging）： 依照 YOCO 思路，交叉解码器（cross-decoder）中的全注意力层借助自解码器（self-decoder）的隐藏状态构建其 K/V。
• KV 重用（KV Reuse）： 在每个混合块内部，稀疏层重复利用前一层全注意力层的 KV 缓存与选择索引。

此外，还有两项优化：采用 Token 级别的选择替代块（block）级别的选择，并用近期 Token 的强制窗口取代独立的 SWA 分支，使本地与全局 Token 共享同一个 KV 缓存。由于所有交叉解码器 KV 缓存现在均来源于自解码器，预填充可在自解码器完成时终止。

值得一提的是，昨日凌晨，小米刚发布并开源了全新的 Xiaomi MiMo-V2.6 系列，包括 Pro 与 Flash 两个原生全模态模型。小米表示，这是其探索 RSI（递归自我改进）路径的关键举措，通过规模化扩展强化学习算力，使模型在持续的探索与反馈中拓展智能边界。

IT之家附论文地址如下：

• https://arxiv.org/pdf/2609.26368