默默有声
人工智能为本的手语学习，构建共融世界
现时全球每一千名初生婴儿中，就有一名患有听障。手语不仅是聋人沟通时打的手势，有独特的语言系统和文化。家中有聋人的健听人士学习手语，有助于打破聋健沟通隔膜。
健听人士通常难以掌握手语语法的细微差别，包括手掌与手指的协调、面部表情、头部位置和嘴形，任何误读都会影响讯息传递。一般人或认为以纸笔交流或文字讯息已可满足聋健沟通需要，但中大手语及聋人研究中心副主任施婉萍教授却不以为然。
她认为聋人要掌握书面语并不容易，因为手语语法与中文语法不同，「中文句子『我没有书』，在手语中则表达为『我书没有』，若要不谙中文读写的聋人按中文语法表达手语，犹如要常人按英文语法表达中文。」因此，要体现真正的共融社会，务必要理解聋人的沟通需要。
寓手语学习于游戏
中大与Google、日本财团和关西学院大学连手推出「手语村」，是全球首个结合人工智能和手语语言学理论的多语言网络游戏。游戏应用人工智能机器学习，可识别3D手语动作，让玩家在在线轻松学习香港和日本手语。
观看短片，了解「手语村」的详情
「手语村」虚拟小镇以手语为官方语言，玩家进入小镇后，须于计算机镜头前打手语，并完成各种日常生活任务，包括准备旅行用品、寻找住宿、在咖啡室点餐等。游戏开始时，屏幕上会出现两个窗口，显示两个与任务相关的手语动作，由玩家任选其一并在镜头前模仿该动作，人工智能识别系统会实时评估和响应玩家打手语的准确度。「手语村」的卡通人物「手形」更会不时现身，向玩家讲解「手语」、「聋人」和「聋人文化」的定义及概念。
「手语村」是「Shuwa计划」的首个国际跨学科协作项目，由中大、Google、日本合作伙伴共同策划，并于2021年9月23日「国际手语日」推出，旨在活用先进科技打破聋健沟通隔膜。Shuwa是日语汉字「手话」的拼音，意即手语。
人工智能侦测手语动作
以往的手语识别技术难以分析视觉及姿势语言讯息，未能精准解读手语。手语除了手部动作，身体动作、面部表情、嘴形等在手语语法中同样重要，忽略任何细微特征，都可导致手语不合文法或无法诠释。
虽然世界各地的手语有所不同，但当中的语言特征如手形、方向、动作等却是相通的，而且组合变化有限，可以透过计算机识别。由于手语是3D空间运动，包括上下左右移动以及前后深度，以往手语识别需要采用特殊3D摄像镜头和带传感器的手套等复杂设备，令技术难以普及。
「Shuwa计划」团队解决了旧有技术的不足，成功研发首个机器学习模型，可透过一般摄影镜头识别、追踪及分析不同肢体信息，包括3D手部和肢体动作，以及面部表情特征，将其应用在「手语村」。现时，玩家可选择香港及日本手语，团队计划日后会加入其他地区的手语。
中大手语及聋人研究中心为「Shuwa计划」提供手语语言学专业知识及香港手语语法特征，以训练机器学习模型识别手语。施教授说：「我们应用手语语言学研究所得，帮助协作伙伴研发可自动识别手语的工具，让玩家实时知道自己能否打出准确的手语。」
计划的下一步是创建包含搜索功能的手语词典平台，透过人工智能技术协助用户学习和纪录手语。团队冀开发一个自动翻译模型，利用计算机或智能手机常用的镜头识别手语中的自然对话，将其翻译为口语。
关西学院大学手语研究中心主任松冈克尚教授表示：「我们很高兴能够参与『Shuwa计划』的技术开发，盼望将来或可开发为医疗界和法律界专家而设的手语学习工具。这些新发明都非常值得我们探索。」
施教授说：「我们的长远目标是建设一个无障碍社会，能够真正包容聋人和惠及手语交流人士。虽然长路漫漫，但『手语村』无分疆界，提供学习和了解手语的机会，打开了首道手语沟通之门。」未来，「手语村」将加入不同国家的手语，各地玩家不仅可以学到更多手语，亦能分辨它们之间的差异。科技不断推陈出新，有利于建构包容及和谐的社会，让人人享有平等机会。
文／Jenny Lau
原文刊于《吐露．永续》
