推动无障碍社会建设,腾讯3D手语数智人服务首次落地公益场景
2022-05-24 18:40 腾讯

为助力听障人士了解和融入高速发展的信息化社会,腾讯3D手语数智人“聆语”正走入更多场景,推动无障碍服务升级。

5月20日,以“数字有新益”为主题的2022中国互联网公益峰会线上开幕,106位来自民政部、社科院、联合国、全球科技企业及顶尖高校的嘉宾展开跨界对话。本次峰会首次启用手语数智人进行解说,由腾讯3D手语数智人“聆语”与著名主持人杨澜共同主持,向全球超过100万观众提供了专业、实时、准确的手语解说服务,让处于无声世界中的特殊人群更好地参与公益事业共建。

依托于交互智能技术,3D手语数智人“聆语”在为听障人士解说冰雪赛事后,再次在公益场景提供直播解说服务,通过数字技术助力公益进程持续加速,为听障人士提供无差别参会体验。

(腾讯3D手语数智人聆语与杨澜同台主持)

12406个手语动作实时解说公益峰会,“聆语”助力听障人士参与公益共建

“今天‘她’将和我搭档,为线上的听障朋友提供全程手语翻译。”在主持人杨澜介绍后,“聆语”用标准的手语动作向在线的听障人士进行了礼貌问候。

这是“聆语”首次在公益场景提供直播解说服务。本次峰会聚焦公益数字化,来自公益和互联网领域的代表们就技术公益、公益人才建设、企业社会责任实践等垂直议题在线进行了深入探讨。

随着峰会进程不断推进,各类互联网行业的技术名词不断涌现,“聆语”将这些词实时转换为方便听障人士理解的手语动作,用12406个手语动作,将时长120分钟的峰会主论坛信息准确地传递给听障观众,为听障观众了解公益动态、参与公益共建提供了更便捷的途径。

今年年初,“聆语”作为“央视频AI手语翻译官”,曾为听障观众提供手语直播赛事服务。在本届峰会上,“聆语”与冰雪赛事健儿再次相遇。在中国男子短道速滑队运动员,奥运冠军,短道速滑男子 500 米世界纪录、奥运纪录保持者武大靖的分享中,“聆语”将其拍卖金墩墩捐助大靖冰雪公益计划,为小朋友创造冰雪运动体验的故事,“翻译”传递给听障人士。

(武大靖在 2022 中国互联网公益峰会分享公益故事)

腾讯3D手语数智人“聆语”是由腾讯云小微联合腾讯多个技术团队共同打造,整合了多模态交互技术,包含3D数字人建模、机器翻译、语音识别和自然语言理解等技术,也是公益数字化的又一落地实践。

截至目前,腾讯3D手语数智人“聆语”词汇和语句覆盖量已经超过160万,此次针对互联网和公益行业实现了词汇定向优化,让“聆语”在翻译峰会内容时的手语可懂度达90%以上,技术水准行业领先。

从技术创新到产业应用,数智人走入更多场景提供服务

依靠在冰雪赛事播报中的出色表现,聆语不仅成功入围了新智元发布的数字虚拟人Top榜单,更入选了中国互联网公益峰会“技术公益”云展馆,让观众可以在线上重温运动健儿和“聆语”的精彩表现。

据介绍,针对不同的服务场景,基于《国家通用手语词典》规范,“聆语”会首先通过健听人语言与听障者手语的机器翻译能力,将解说内容低延迟生成高准确率的手语语言表征,再通过腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业、易懂度高的手语效果。

在信息准确率方面,“聆语”可以快速学习时下的新词热词,还可以快速完成各种行业、业务场景和相关知识的学习,提升手语翻译准确性。

在外观上,“聆语”的外观依托腾讯领先的3D光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技术,形象高度还原真人发肤,动作也更加自然生动;而为了让“聆语”的手语表达能力接近真人,腾讯还自主研发了一套可视化动作编辑平台,为更专业的手语老师提供了友好的工具平台,让手语老师高效率实现对全量手语动作进行精修。

回顾今年举办的冰雪赛事,“聆语”用了将近2000个手语动作,为超过216万人提供了准确的实时手语解说服务,与众多观众共同见证了中国队九枚金牌的诞生时刻,让处于无声世界中的特殊人群感受到冰雪赛事的盛况,在提升听障人士观赛体验的同时,也为推动新闻传媒行业数字化转型提供助力。

伴随交互智能技术的不断发展,数智人也加速向智能化、便捷化、精细化、多样化发展,从技术创新走向产业应用,广泛落地于各行各业的业务场景中。

依托于腾讯深厚的NLP、知识图谱、视觉等全栈AI底层能力,以“聆语”为代表的全新数智人矩阵产品,拥有强大的形象表现力、识别力和感知理解能力,已经在金融、传媒、政务、文旅、公共服务等场景落地应用,承担了坐席客服、审核面签、理财顾问、资讯播报、会展主持、导游导览、多语种及手语主播等多种角色,用“听得清、听得懂、会表达”的交互智能服务助力产业实现数字化转型。

此次“聆语”以手语翻译的身份为公益场景提供无障碍服务,不仅展现了腾讯云小微在智能交互领域的深厚积累,也为数智人产品在更多领域提供智能化服务打下坚实基础。未来,腾讯云小微将继续深耕 AI 技术,积极探索前沿技术及应用研究,让交互智能为社会带来更多便利,为各行业的数字化、智能化转型升级提供助力。