Diving Fun

2023/08/29巴別魚-100種語言任意翻譯Meta用AI實現了 ! 回上一頁

 

       40年前，英國科幻作家道格拉斯·亞當斯（Douglas Adams）在他的《銀河便車指南》中描述巴別魚（bable fish）：迷你黃色生物，水蛭狀，以聲音中的語言概念為食，消化後排出跟寄主同頻的腦波。只要塞到耳朵裡去，就可以聽懂各種語言。自小說誕生，「巴別魚」便成為了即時語音翻譯的代名詞。但在當時，人類的翻譯技術距離這一目標仍遙不可及。自從小說問世以來，「巴別魚」便成為了即時語音翻譯的象徵。然而，當時人類的翻譯技術距離這一設想仍有很大的差距，始終未出現統一的語音到語音翻譯模型。 

 

 

       如今，科幻電影中的「巴別魚」，Meta 用AI真的實現了。Meta推出大規模多語言和多模態機器翻譯模型-SeamlessM4T。 據介紹，SeamlessM4T 可以在語音和文字之間做到即時翻譯和轉錄，支援以下五種功能： 近 100 種語言的自動語音辨識、近 100 種輸入和輸出語言的語音到文字翻譯、語音到語音翻譯，支援近 100 種輸入語言和 35 種輸出語言、近 100 種語言的文字到文字翻譯、文字到語音翻譯，支援近 100 種輸入語言和 35 種輸出語言。 此外，Meta 還構建了一個可涵蓋 200 種語言的多語言多模態文字嵌入空間 - SONAR。將其擴展到語音領域，涵蓋 36 種語言。透過在網路資料和語音資料中進行挖掘，他們自動對齊了超過 443000 小時的語音和文字，並創造了 29000 小時的語音對齊資料。這個名為 SeamlessAlign 的語料庫是迄今最大的開放式語音、語音和語音以及文字平行語料庫。