deepseek-v4-pro · 官方_95

DeepSeek-V4-Pro 是 DeepSeek-V4 系列中的旗舰 MoE 语言模型，拥有 1.6T 总参数、49B 激活参数，原生支持 100 万 tokens 的超长上下文。该模型采用创新的混合注意力架构，结合压缩稀疏注意力（CSA）与高度压缩注意力（HCA），在 1M 上下文下仅需 DeepSeek-V3.2 的 27% 单 token 推理 FLOPs 和 10% KV 缓存。模型还引入流形约束超连接（mHC）增强层间信号传播稳定性，并采用 Muon 优化器加速收敛。DeepSeek-V4-Pro 在超过 32T 高质量多样化 tokens 上预训练，后训练采用“领域专家独立培养 + 在线策略蒸馏统一整合”的两阶段范式。其最大推理强度模式 DeepSeek-V4-Pro-Max 在编程基准上取得顶尖表现，并在推理与 Agentic 任务上大幅缩小与领先闭源模型的差距，是目前最强的开源模型之一，支持 Non-think、Think High、Think Max 三种推理强度模式。