默默有聲
人工智能為本的手語學習，構建共融世界
現時全球每一千名初生嬰兒中，就有一名患有聽障。手語不僅是聾人溝通時打的手勢，有獨特的語言系統和文化。家中有聾人的健聽人士學習手語，有助於打破聾健溝通隔膜。
健聽人士通常難以掌握手語語法的細微差別，包括手掌與手指的協調、面部表情、頭部位置和嘴形，任何誤讀都會影響訊息傳遞。一般人或認為以紙筆交流或文字訊息已可滿足聾健溝通需要，但中大手語及聾人研究中心副主任施婉萍教授卻不以為然。
她認為聾人要掌握書面語並不容易，因為手語語法與中文語法不同，「中文句子『我沒有書』，在手語中則表達為『我書沒有』，若要不諳中文讀寫的聾人按中文語法表達手語，猶如要常人按英文語法表達中文。」因此，要體現真正的共融社會，務必要理解聾人的溝通需要。
寓手語學習於遊戲
中大與Google、日本財團和關西學院大學聯手推出「手語村」，是全球首個結合人工智能和手語語言學理論的多語言網絡遊戲。遊戲應用人工智能機器學習，可識別3D手語動作，讓玩家在線上輕鬆學習香港和日本手語。
觀看短片，了解「手語村」的詳情
「手語村」虛擬小鎮以手語為官方語言，玩家進入小鎮後，須於電腦鏡頭前打手語，並完成各種日常生活任務，包括準備旅行用品、尋找住宿、在咖啡室點餐等。遊戲開始時，螢幕上會出現兩個視窗，顯示兩個與任務相關的手語動作，由玩家任選其一並在鏡頭前模仿該動作，人工智能識別系統會即時評估和回應玩家打手語的準確度。「手語村」的卡通人物「手形」更會不時現身，向玩家講解「手語」、「聾人」和「聾人文化」的定義及概念。
「手語村」是「Shuwa計劃」的首個國際跨學科協作項目，由中大、Google、日本合作夥伴共同策劃，並於2021年9月23日「國際手語日」推出，旨在活用先進科技打破聾健溝通隔膜。Shuwa是日語漢字「手話」的拼音，意即手語。
人工智能偵測手語動作
以往的手語識別技術難以分析視覺及姿勢語言訊息，未能精準解讀手語。手語除了手部動作，身體動作、面部表情、嘴形等在手語語法中同樣重要，忽略任何細微特徵，都可導致手語不合文法或無法詮釋。
雖然世界各地的手語有所不同，但當中的語言特徵如手形、方向、動作等卻是相通的，而且組合變化有限，可以透過電腦識別。由於手語是3D空間運動，包括上下左右移動以及前後深度，以往手語識別需要採用特殊3D攝像鏡頭和帶傳感器的手套等複雜設備，令技術難以普及。
「Shuwa計劃」團隊解決了舊有技術的不足，成功研發首個機器學習模型，可透過一般攝影鏡頭識別、追蹤及分析不同肢體信息，包括3D手部和肢體動作，以及面部表情特徵，將其應用在「手語村」。現時，玩家可選擇香港及日本手語，團隊計劃日後會加入其他地區的手語。
中大手語及聾人研究中心為「Shuwa計劃」提供手語語言學專業知識及香港手語語法特徵，以訓練機器學習模型識別手語。施教授說：「我們應用手語語言學研究所得，幫助協作夥伴研發可自動識別手語的工具，讓玩家實時知道自己能否打出準確的手語。」
計劃的下一步是創建包含搜索功能的手語詞典平台，透過人工智能技術協助用戶學習和紀錄手語。團隊冀開發一個自動翻譯模型，利用電腦或智能手機常用的鏡頭識別手語中的自然對話，將其翻譯為口語。
關西學院大學手語研究中心主任松岡克尚教授表示：「我們很高興能夠參與『Shuwa計劃』的技術開發，盼望將來或可開發為醫療界和法律界專家而設的手語學習工具。這些新發明都非常值得我們探索。」
施教授說：「我們的長遠目標是建設一個無障礙社會，能夠真正包容聾人和惠及手語交流人士。雖然長路漫漫，但『手語村』無分疆界，提供學習和了解手語的機會，打開了首道手語溝通之門。」未來，「手語村」將加入不同國家的手語，各地玩家不僅可以學到更多手語，亦能分辨它們之間的差異。科技不斷推陳出新，有利於建構包容及和諧的社會，讓人人享有平等機會。
文／Jenny Lau
文刊於《吐露．永續》
