如何克服大型語言模型中的非目標翻譯問題

2024年3月21日，悉尼大學、中國石油大學、南洋理工大學和JD Explore Academy的研究團隊共同推出了一項革命性的技術——兩階段微調技術，旨在解決大型語言模型（LLM）在翻譯任務中常見的偏離目標翻譯問題。這一問題在零快照翻譯設置中尤為突出，即模型需要在訓練期間未曾接觸過的語言對之間進行翻譯。

盡管LLM在翻譯任務中展現(xiàn)出強大的能力，有時甚至可以媲美商業(yè)廣告機器翻譯（MT）系統(tǒng)，但非目標翻譯仍然是一個亟待解決的難題，特別是在涉及低資源語言時。為了解決這一挑戰(zhàn)，研究人員提出了一種創(chuàng)新的兩階段微調方法，專注于提升LLM對指令的遵循能力，特別是確保其嚴格遵循語言翻譯方向。

在第一階段，研究團隊利用多語言翻譯數(shù)據(jù)集，通過最大似然損失（MLE）對LLM進行微調。MLE損失函數(shù)旨在評估模型根據(jù)給定輸入和參數(shù)生成正確輸出的可能性。通過最小化這種損失，模型能夠基于訓練數(shù)據(jù)以及提供的說明和目標輸出，生成更為準確的翻譯。這一階段的微調旨在初步釋放LLM內在的翻譯潛能。

進入第二階段，研究團隊創(chuàng)建了與指令相沖突的樣本，即提供的指令與實際需要執(zhí)行的內容或任務之間存在矛盾的示例。這些樣本通過用不正確的語言翻譯指令替換原本的指令來構建，從而模擬模型在實際應用中可能遇到的沖突情境。

在這一階段，團隊引入了一個額外的不可能性損失，以針對這些指令沖突樣本對模型進行訓練。通過整合這一額外的損失函數(shù)，模型被鼓勵為錯誤的翻譯分配更低的概率。這一過程有助于模型學會處理沖突的指令，進而增強其遵循正確語言翻譯方向的能力，并在零快照場景中生成精確無誤的翻譯。

為了驗證該技術的有效性，研究人員將這一方法應用于LLaMA模型，并在16個語言翻譯方向上進行了實驗。結果表明，在IWSLT和WMT基準測試中，偏離目標的翻譯率顯著下降，分別實現(xiàn)了高達92.2%和29.9%的改善。研究人員進一步指出，這一改進顯著提升了翻譯質量，IWSLT/WMT數(shù)據(jù)集中BLEURT和SacreBLEU的平均增長率分別為23.0/12.4和5.2/6.1。