NewsSource:BlockBeats
2025-02-18 08:58:11
DeepSeek推出NSA,用於超快速的長上下文訓練和推理
This article belongs to original author
BlockBeats 消息,2 月 18 日,DeepSeek 宣布推出 NSA,這是一種與硬件一致且本機可訓練的稀疏註意力機製,用於超快速的長上下文訓練和推理。通過針對現代硬件的優化設計,NSA 加快了推理速度,同時降低了預訓練成本,而不會影響性能。在一般基準測試、長上下文任務和基於指令的推理上,它的表現與完全註意力模型相當甚至更好。(金十)
LIKE
0/200
0 COMMENT

There are no comments yet
Top views