在湖北省咸寧市藝萌聽(tīng)力語(yǔ)言康復(fù)中心，一堂特別的AI繪圖課正在進(jìn)行。

佩戴助聽(tīng)設(shè)備的孩子們圍坐在屏幕前，隨著一幅幅人工智能生成的卡通圖像顯現(xiàn)，華中科技大學(xué)金蟬子公益團(tuán)隊(duì)成員柏一茗用放大的口型和緩慢的語(yǔ)速引導(dǎo)孩子們操作AI繪圖工具，鼓勵(lì)他們嘗試描述畫(huà)面內(nèi)容。

“媽媽……漂亮……穿裙子……”一名聽(tīng)障兒童在志愿者的耐心引導(dǎo)下逐步開(kāi)口描述出媽媽的模樣，AI根據(jù)描述生成一位穿裙子的“卡通媽媽”形象，孩子高興地笑了。

該團(tuán)隊(duì)由來(lái)自華中科技大學(xué)新聞與信息傳播學(xué)院、人工智能與自動(dòng)化學(xué)院、多譜信息智能處理技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室、未來(lái)技術(shù)學(xué)院等的師生組成。他們通過(guò)自主研發(fā)唇語(yǔ)輔助訓(xùn)練系統(tǒng)，結(jié)合志愿者的伴讀講解，幫助聽(tīng)障人士理解唇語(yǔ)、學(xué)習(xí)說(shuō)話，開(kāi)展公益發(fā)聲教學(xué)。

“蟬鳴悅耳，我們給團(tuán)隊(duì)取名‘金蟬子’，就是希望用科技和公益的力量，彌補(bǔ)他們聽(tīng)覺(jué)上的缺憾。”團(tuán)隊(duì)創(chuàng)始人之一、華中科技大學(xué)新聞與信息傳播學(xué)院副教授王然說(shuō)。

故事還要從4年前說(shuō)起。

2021年，王然在調(diào)研中發(fā)現(xiàn)，多數(shù)聽(tīng)障者發(fā)聲器官完好，卻因缺乏聽(tīng)覺(jué)反饋陷入“能發(fā)聲，但不敢說(shuō)、不會(huì)說(shuō)”的困境。

視覺(jué)能否成為語(yǔ)言學(xué)習(xí)的“另一雙耳朵”？沿著這個(gè)思路，王然聯(lián)合人工智能與自動(dòng)化學(xué)院、多譜信息智能處理技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室教授肖陽(yáng)，在全校招募不同學(xué)科背景的學(xué)生組建團(tuán)隊(duì)，開(kāi)啟基于人工智能的唇語(yǔ)輔助訓(xùn)練系統(tǒng)的研發(fā)探索。

團(tuán)隊(duì)收集了數(shù)萬(wàn)條面部視頻數(shù)據(jù)，通過(guò)語(yǔ)音識(shí)別和人工標(biāo)注對(duì)這些數(shù)據(jù)進(jìn)行清洗，再利用算法精準(zhǔn)定位并裁剪出說(shuō)話人不同狀態(tài)下的唇動(dòng)細(xì)節(jié)。

王然介紹，當(dāng)聽(tīng)障用戶(hù)練習(xí)發(fā)聲時(shí)，系統(tǒng)會(huì)完整記錄他們的唇部動(dòng)作，從中提取唇形變化的細(xì)節(jié)特征，再將量化后的結(jié)果與標(biāo)準(zhǔn)唇形特征庫(kù)進(jìn)行模擬比對(duì)、打分，讓用戶(hù)即時(shí)獲知發(fā)聲口型正誤，“借助AI，讓聲音能‘被看見(jiàn)’，讓聽(tīng)障者便捷學(xué)習(xí)唇語(yǔ)”。

湖北省聾兒康復(fù)中心，是團(tuán)隊(duì)的常駐服務(wù)點(diǎn)之一。

“早上好……”孩子們跟隨金蟬子公益團(tuán)隊(duì)隊(duì)長(zhǎng)、新聞與信息傳播學(xué)院研二學(xué)生陳星宇的引導(dǎo)，借助唇語(yǔ)輔助訓(xùn)練系統(tǒng)，通過(guò)模仿基礎(chǔ)音素和漢字的口型，進(jìn)行發(fā)聲訓(xùn)練。

“他們學(xué)一個(gè)字要付出十倍甚至百倍的努力，當(dāng)看到他們能完整地進(jìn)行自我介紹時(shí)，我感到無(wú)比滿(mǎn)足。”陳星宇說(shuō)。

聽(tīng)障人士觸摸聲帶振動(dòng)、感受氣息流動(dòng)，使發(fā)聲學(xué)習(xí)更加直觀和有效。4年多來(lái)，金蟬子公益團(tuán)隊(duì)在北京、武漢、長(zhǎng)沙等地的50多個(gè)社區(qū)、20多所聾校開(kāi)展公益教學(xué)，累計(jì)服務(wù)時(shí)長(zhǎng)超4萬(wàn)小時(shí)，惠及3200多人次。經(jīng)數(shù)據(jù)對(duì)比，在志愿者教學(xué)與智能系統(tǒng)協(xié)同配合下，聽(tīng)障人士唇語(yǔ)學(xué)習(xí)效率提升了3倍。

“理工科背景的學(xué)生攻關(guān)系統(tǒng)的研發(fā)迭代，播音與主持藝術(shù)專(zhuān)業(yè)的學(xué)生教授聽(tīng)障人士準(zhǔn)確的發(fā)聲技巧，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。”團(tuán)隊(duì)指導(dǎo)教師、新聞與信息傳播學(xué)院副教授龔超說(shuō)。“我們始終高度重視創(chuàng)新創(chuàng)業(yè)工作，持續(xù)推進(jìn)人文學(xué)科、社會(huì)科學(xué)與自然科學(xué)、技術(shù)科學(xué)的交叉融合。”團(tuán)隊(duì)指導(dǎo)教師、新聞與信息傳播學(xué)院副院長(zhǎng)李華君介紹。

線下，為了進(jìn)一步提升與聽(tīng)障者的溝通效率，團(tuán)隊(duì)定期與聽(tīng)障朋友開(kāi)展手語(yǔ)交流與科普活動(dòng)。

線上，團(tuán)隊(duì)搭建起科普全媒體矩陣，發(fā)布內(nèi)容涵蓋無(wú)障礙設(shè)施使用、求職技巧等，契合聽(tīng)障群體的實(shí)際所需，提供更精準(zhǔn)的服務(wù)。

“科技助殘不僅關(guān)乎技術(shù)進(jìn)步，更關(guān)乎社會(huì)溫度。”在陳星宇看來(lái)，更重要的是教會(huì)聽(tīng)障人士生存和職業(yè)技能，幫助他們更好融入社會(huì)。

華中科技大學(xué)“AI助聾，讓愛(ài)發(fā)聲”志愿服務(wù)項(xiàng)目入選2024年度全國(guó)志愿服務(wù)“四個(gè)100”先進(jìn)典型名單。未來(lái)，團(tuán)隊(duì)將持續(xù)優(yōu)化系統(tǒng)適殘化設(shè)計(jì)，將服務(wù)推廣至更多地區(qū)。

“我們的目標(biāo)是讓聽(tīng)障人士突破溝通壁壘，像健聽(tīng)人一樣自如交流，真正實(shí)現(xiàn)‘殘健融合’。”面對(duì)未來(lái)，王然充滿(mǎn)信心。

 

《人民日?qǐng)?bào)》（2025年10月11日 第 07 版）

（責(zé)編：張若涵）