兴中资讯

要闻

DeepSeek专注研究NSA技术,不急于融资和商业活动

时间:2025-02-21 11:45

  中国AI新创DeepSeek发表“原生稀疏注意力”(NSA)技术,可大幅提升AI模型处理大数据的效率。据悉,DeepSeek目前专注于研究,不急于融资或展开新商业活动。

  NSA机制通过优化现代运算硬件设计,可在不牺牲效能的前提下,加速大型语言模型的推论过程,降低预训练成本。

  据论文指出,NSA最高可将LLM处理6.4万个token的速度提升11.6倍,效能超越传统“全注意力”LLM。

  该研究由DeepSeek创始人兼CEO梁文锋等15人共同发表。DeepSeek新研究发布次日,另一AI公司月之暗面也发布稀疏注意力技术MoBA的研究论文。

  该技术将长文本分成小区块,让AI专注当前最相关的段落,提升处理效率。在处理100万个token的测试中,MoBA比“全注意力”模型快6.5倍,文本越长优势越明显,最快可加速16倍以上。