5月前后，DeepSeek动作频繁，尽管没有推出大家期待的R2，但一系列前期活动已经为R2做了充分铺垫。5月14日，一篇关于DeepSeek V3的论文揭示了梁文峰如何实现“极致降本”。这篇论文让业界得以了解这家以技术立身的公司其技术实力达到了何种水平。
与之前发布的V3技术报告不同，这篇论文详细阐述了DeepSeek在硬件资源有限的情况下，通过精妙的“软硬一体”协同设计，将成本效益优化到极致。在AI大模型这条烧钱的赛道上，算力至关重要，但也可能是压垮骆驼的最后一根稻草。DeepSeek V3论文的核心在于解决一个行业痛点：如何让大模型不再是少数巨头的专属游戏？
论文中，DeepSeek分享了其“降本增效”的几大秘籍，展示了对现有硬件潜能的极致利用，并预示着未来DeepSeek系列模型在性能与效率上的野心。首先，他们通过给模型的“记忆系统”瘦身来降低显存占用。具体来说，使用“多头隐注意力机制”（MLA）将冗长的信息浓缩成精华，从而大幅减少显存需求。这意味着即使处理越来越长的上下文，模型也能更加从容不迫，这对于解锁更多复杂应用场景至关重要。
其次，DeepSeek V3沿用并优化了“混合专家模型”（MoE）架构。这一架构类似于将一个庞大的项目分解给一群各有所长的专家，遇到具体问题时，系统会自动激活最相关的几位专家协同作战。这样一来，不仅运算效率提升，还能控制模型的有效规模，避免不必要的资源浪费。
此外，DeepSeek大胆采用低精度数字格式FP8进行训练。这种低精度格式在对精度要求不高的环节可以“粗略”计算，直接效果是计算量和内存占用大幅下降，训练速度更快且更省电。关键在于，这种“偷懒”并不会明显牺牲模型的最终性能。
最后，DeepSeek V3采用了“多平面网络拓扑结构”，优化了GPU集群内部的数据传输路径，减少了拥堵和瓶颈，确保信息流转顺畅。