加持Transformer系統,Google翻譯突出解決語義問題

Lynn 8年前 (2017-09-01)

優化后的系統將會利用單詞之間的關聯性來提高正確率。

據了解,9月1日,Google表示,他們利用Transformer系統完成了對Google翻譯的優化,解決了同一單詞在文章中出現不同翻譯結果的問題。

加持Transformer系統,Google翻譯突出解決語義問題

對于Google翻譯此前存在的問題,Google自然語言部門的Jakob Uszkoreit舉例做出了解釋,他用了兩個句子,如下:

I arrived at the bank after crossing the street.

I arrived at the bank after crossing the river.

顯然,兩句中“bank”的意思不同,但是對于Google翻譯系統的算法來說,它很難辨別出對于該單詞的哪一種翻譯是正確的,正常翻譯情況下,Google翻譯會根據前后語義最終決定句子的不確定單詞的釋義。

雖然,研究人員可以通過修改神經網絡,讓其在翻譯過程中進行反復查錯,但這樣是十分低效的。

加持Transformer系統,Google翻譯突出解決語義問題

對此,Google采取的解決方案是采用注意力機制,他們將其內置一個稱為Transformer的系統來解決這個問題。

具體來看,它將每個單詞與句子中的其他單詞進行比較,以查看其中的任何一個是否會以某種關鍵的方式相互影響。

當句子在翻譯的過程中,該機制會將每個單詞與相關單詞組合在一起的意思進行匹配比較,如下動圖所示:

 

最后Transformer系統會根據該單詞與其相關單詞之間的相關性打分,從而挑選出最佳釋義。

加持Transformer系統,Google翻譯突出解決語義問題

昨天,若有人嘗試利用Google翻譯,會發現頁面是無法打開的,筆者原以為是網站維護出現問題,不曾料想Google已經悄然完成了對其翻譯系統的一次升級。不過,雖然Google翻譯已經進行了優化,但如果我們想要看見明顯的效果,還需耐心等待系統自己學習一段時間。

最后,記得關注微信公眾號:鎂客網(im2maker),更多干貨在等你!

鎂客網


科技 | 人文 | 行業

微信ID:im2maker
長按識別二維碼關注

硬科技產業媒體

關注技術驅動創新

分享到