DeepSeek-AI團(tuán)隊(duì)梁文鋒及其同事17日在《自然》雜志上發(fā)表了開源人工智能（AI）模型DeepSeek-R1所采用的大規(guī)模推理模型訓(xùn)練方法。研究表明，大語言模型（LLM）的推理能力可通過純強(qiáng)化學(xué)習(xí)來提升，從而減少增強(qiáng)性能所需的人類輸入工作量。訓(xùn)練出的模型在數(shù)學(xué)、編程競(jìng)賽和STEM領(lǐng)域研究生水平問題等任務(wù)上，比傳統(tǒng)訓(xùn)練的LLM表現(xiàn)更好。

DeepSeek-R1包含一個(gè)在人類監(jiān)督下的深入訓(xùn)練階段，以優(yōu)化推理過程。梁文鋒團(tuán)隊(duì)報(bào)告稱，該模型使用了強(qiáng)化學(xué)習(xí)而非人類示例來開發(fā)推理步驟，減少了訓(xùn)練成本和復(fù)雜性。DeepSeek-R1在被展示優(yōu)質(zhì)的問題解決案例后，會(huì)獲得一個(gè)模板來產(chǎn)生推理過程，即這一模型通過解決問題獲得獎(jiǎng)勵(lì)，從而強(qiáng)化學(xué)習(xí)效果。團(tuán)隊(duì)總結(jié)說，未來研究可以聚焦優(yōu)化獎(jiǎng)勵(lì)過程，以確保推理和任務(wù)結(jié)果更可靠。

在評(píng)估AI表現(xiàn)的數(shù)學(xué)基準(zhǔn)測(cè)試中，DeepSeek-R1-Zero和DeepSeek-R1得分分別為77.9% 和 79.8%，在編程競(jìng)賽及研究生水平的生物學(xué)、物理和化學(xué)問題上同樣表現(xiàn)優(yōu)異。

關(guān)鍵詞：