如何克服大型語(yǔ)言模型中的非目標(biāo)翻譯問題
2024年3月21日,悉尼大學(xué)、中國(guó)石油大學(xué)、南洋理工大學(xué)和JD Explore Academy的研究團(tuán)隊(duì)共同推出了一項(xiàng)革命性的技術(shù)——兩階段微調(diào)技術(shù),旨在解決大型語(yǔ)言模型(LLM)在翻譯任務(wù)中常見的偏離目標(biāo)翻譯問題。這一問題在零快照翻譯設(shè)置中尤為突出,即模型需要在訓(xùn)練期間未曾接觸過的語(yǔ)言對(duì)之間進(jìn)行翻譯。
盡管LLM在翻譯任務(wù)中展現(xiàn)出強(qiáng)大的能力,有時(shí)甚至可以媲美商業(yè)廣告機(jī)器翻譯(MT)系統(tǒng),但非目標(biāo)翻譯仍然是一個(gè)亟待解決的難題,特別是在涉及低資源語(yǔ)言時(shí)。為了解決這一挑戰(zhàn),研究人員提出了一種創(chuàng)新的兩階段微調(diào)方法,專注于提升LLM對(duì)指令的遵循能力,特別是確保其嚴(yán)格遵循語(yǔ)言翻譯方向。
在第一階段,研究團(tuán)隊(duì)利用多語(yǔ)言翻譯數(shù)據(jù)集,通過最大似然損失(MLE)對(duì)LLM進(jìn)行微調(diào)。MLE損失函數(shù)旨在評(píng)估模型根據(jù)給定輸入和參數(shù)生成正確輸出的可能性。通過最小化這種損失,模型能夠基于訓(xùn)練數(shù)據(jù)以及提供的說明和目標(biāo)輸出,生成更為準(zhǔn)確的翻譯。這一階段的微調(diào)旨在初步釋放LLM內(nèi)在的翻譯潛能。
進(jìn)入第二階段,研究團(tuán)隊(duì)創(chuàng)建了與指令相沖突的樣本,即提供的指令與實(shí)際需要執(zhí)行的內(nèi)容或任務(wù)之間存在矛盾的示例。這些樣本通過用不正確的語(yǔ)言翻譯指令替換原本的指令來(lái)構(gòu)建,從而模擬模型在實(shí)際應(yīng)用中可能遇到的沖突情境。
在這一階段,團(tuán)隊(duì)引入了一個(gè)額外的不可能性損失,以針對(duì)這些指令沖突樣本對(duì)模型進(jìn)行訓(xùn)練。通過整合這一額外的損失函數(shù),模型被鼓勵(lì)為錯(cuò)誤的翻譯分配更低的概率。這一過程有助于模型學(xué)會(huì)處理沖突的指令,進(jìn)而增強(qiáng)其遵循正確語(yǔ)言翻譯方向的能力,并在零快照?qǐng)鼍爸猩删_無(wú)誤的翻譯。
為了驗(yàn)證該技術(shù)的有效性,研究人員將這一方法應(yīng)用于LLaMA模型,并在16個(gè)語(yǔ)言翻譯方向上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明,在IWSLT和WMT基準(zhǔn)測(cè)試中,偏離目標(biāo)的翻譯率顯著下降,分別實(shí)現(xiàn)了高達(dá)92.2%和29.9%的改善。研究人員進(jìn)一步指出,這一改進(jìn)顯著提升了翻譯質(zhì)量,IWSLT/WMT數(shù)據(jù)集中BLEURT和SacreBLEU的平均增長(zhǎng)率分別為23.0/12.4和5.2/6.1。