Meta超級智能實驗室（MSL）又被送上爭議的風(fēng)口浪尖了。

不過，這次不是人事風(fēng)波，而是他們的第二篇論文《Language Self-Play For Data-Free Training》被質(zhì)疑忽視前人研究、缺乏創(chuàng)新。

究竟是啥論文？

讓模型在博弈中學(xué)習(xí)

總的來說，MSL這篇新論文的核心思想是通過一種Language Self-Play（LSP)的方法，讓大型語言模型在沒有額外訓(xùn)練數(shù)據(jù)的情況下實現(xiàn)自我提升。

這一方法旨在應(yīng)對當(dāng)前大語言模型高度依賴大規(guī)模、高質(zhì)量訓(xùn)練數(shù)據(jù)，且訓(xùn)練數(shù)據(jù)有限所帶來的困境。

為此，LSP將模型的學(xué)習(xí)過程設(shè)計成一個博弈框架，讓同一個語言模型扮演兩個角色進(jìn)行對抗，從而實現(xiàn)無數(shù)據(jù)訓(xùn)練。

具體來說，這兩個角色分別是：

• 挑戰(zhàn)者：負(fù)責(zé)生成越來越有挑戰(zhàn)性的問題或指令。
• 解決者：負(fù)責(zé)回答或執(zhí)行這些指令。

在對抗過程中，挑戰(zhàn)者不斷生成越來越刁鉆的問題或指令，以降低解決者的預(yù)期回報；而解決者則必須努力理解并回答這些指令，以最大化自身回報——這其實就是我們熟悉的極小極大博弈（minimax game）。

通過這樣的對抗訓(xùn)練，模型能夠在不斷博弈中持續(xù)改進(jìn)，逐步提升能力。

此外，與傳統(tǒng)對抗訓(xùn)練不同，LSP讓單個語言模型同時扮演“挑戰(zhàn)者”和“解決者”兩個角色，研究人員給模型設(shè)計了一個特殊的“挑戰(zhàn)者提示”（Challenger Prompt）：當(dāng)接收到該提示時，模型進(jìn)入挑戰(zhàn)者模式，生成難題；否則，它就扮演解決者角色，回答問題。

這種單一模型的設(shè)計避免了訓(xùn)練獨立對抗模型所帶來的額外開銷和不穩(wěn)定性。整個過程完全自主，模型在自我對抗中不斷迭代，從而在沒有外部數(shù)據(jù)輸入的情況下提升自身能力。

為了將這個博弈轉(zhuǎn)化成模型強化學(xué)習(xí)的過程，研究中采用了GRPO技巧，讓模型在每輪訓(xùn)練中進(jìn)行如下操作：

• 挑戰(zhàn)者生成問題：每輪生成N個問題。

• 解決者回答問題：對于每個問題，解決者生成一定數(shù)量的答案，并分別計算獎勵。

• 計算組價值與優(yōu)勢：把解決者對同一個問題的所有答案的獎勵進(jìn)行平均，得到這個問題整體的難度或表現(xiàn)水平。然后用每個答案的實際獎勵減去組價值，判斷這個答案比平均水平高還是低。 - 更新挑戰(zhàn)者優(yōu)勢：通過計算優(yōu)勢函數(shù)獲得問題和答案的反饋，優(yōu)化自己出題的策略。

通過這種獎勵機制，挑戰(zhàn)者生成的問題會針對解決者的薄弱環(huán)節(jié)，從而推動模型不斷改進(jìn)。

研究將這一方法稱為Language Self-Play Zero（LSP-Zero），其中 Zero 表示零和。

此外，在實踐中，研究者發(fā)現(xiàn)LSP-Zero有時會退化，例如模型為了獲取獎勵而生成無意義但能獲得高分的內(nèi)容（即獎勵 hacking）。

針對解決這個問題，他們在LSP算法中引入了“自我質(zhì)量獎勵”(RQ)，引導(dǎo)博弈朝高質(zhì)量交互發(fā)展，使訓(xùn)練可長期進(jìn)行。

（注：LSP的具體算法如下表）

最后，為了驗證LSP算法的有效性，研究者使用Llama-3.2-3B-Instruct模型在Alpaca Eval基準(zhǔn)上進(jìn)行了兩組實驗。

實驗一將算法與基礎(chǔ)模型本身以及一個通過傳統(tǒng)強化學(xué)習(xí)微調(diào)的大語言模型進(jìn)行比較。

實驗結(jié)果顯示，沒有使用任何數(shù)據(jù)的LSP和LSP-Zero和使用了數(shù)據(jù)的GRPO相當(dāng)，并且顯著優(yōu)于原始模型。而在 Vicuna這類對話型和開放式指令的數(shù)據(jù)集上，LSP 的表現(xiàn)遠(yuǎn)超GRPO。

實驗二以實驗一中通過數(shù)據(jù)驅(qū)動 RL（GRPO）訓(xùn)練得到的模型為起點，進(jìn)一步使用 LSP-Zero 和 LSP 進(jìn)行訓(xùn)練，計算這些模型相對于Llama-3.2-3B-Instruct的勝率，并與初始的 RL 模型進(jìn)行對比。

實驗顯示，經(jīng)過LSP的進(jìn)一步訓(xùn)練后，模型的整體勝率從40.9%顯著提升到了43.1%。

同樣的，LSP在Vicuna數(shù)據(jù)集上的提升尤為明顯。這表明 LSP 可以作為一種有效的方法，在數(shù)據(jù)驅(qū)動的訓(xùn)練之后繼續(xù)挖掘模型潛力。

總的來說，實驗結(jié)果表明，LSP-Zero和LSP算法能夠在無需訓(xùn)練數(shù)據(jù)的情況下提升預(yù)訓(xùn)練LLM的性能，尤其是在對話類任務(wù)上表現(xiàn)顯著，而這可能意味著AI正在從依賴人類數(shù)據(jù)過渡到自主學(xué)習(xí)系統(tǒng)。

網(wǎng)友：感覺忽略了大量前人研究？

雖然（……）但是，LSP一經(jīng)發(fā)布后，在網(wǎng)友們這倒是出了些小插曲。

一位推特網(wǎng)友直言：LSP自稱是突破性工作，但實際上忽視了大量前人研究，還順帶翻了一些舊賬。

抱歉了，Meta“超級智能”實驗室，但 @_AndrewZhao 等人的工作做得更好，而你們卻沒有引用。其實很多人都做過類似研究（比如 @Benjamin_eecs），無論是聯(lián)合最大化還是極小極大，不管是驗證器還是獎勵模型。為什么要把這說成是突破呢？你們在Vicuna上的評測確實做得不錯，簡直是2023年LLaMA社區(qū)的典型操作。

而且，就連失敗的模型也大同小異。

評論區(qū)有網(wǎng)友表示這可能是一篇老工作，然后拿到MSL發(fā)的：