新聞資訊
DeepMind最近做了個能讀懂唇語新軟件,為失聰者提供有力工具
日期:2016-11-11 09:04:48 閱讀數(shù):2446
專業(yè)唇語閱讀者識別唇語的準確率只有20%到60%。人類在日常說話過程中嘴唇的微小移動很難被可靠地解讀,尤其是在有一定距離,或畫面不清晰的情況下。不過,唇語并不只是美劇《海軍罪案調(diào)查科》中的噱頭,對全球的失聰者來說,這是一項有用的工具。如果能可靠地解讀,那么將給數(shù)百萬人帶來幫助。
牛津大學的*新研究描述了一種名為LipNet的人工智能系統(tǒng)。通過“觀看”人類說話的視頻,以及輸入相應(yīng)文字,這一軟件對唇語的解讀準確率高達93.4%。這項研究得到了谷歌(微博)旗下DeepMind的資助。
此前*佳的唇語解讀工具只能實現(xiàn)逐個單詞的解讀,準確率只有79.6%。牛津大學研究員表示,新系統(tǒng)獲得成功的關(guān)鍵在于通過不同方式去思考這一問題。這一系統(tǒng)不再利用可視元素,即說話者嘴型的變化去訓(xùn)練人工智能,而是每次都處理一整個句子。這使得人工智能可以學會單詞對應(yīng)于什么樣的嘴型變化。
為了訓(xùn)練這一系統(tǒng),研究員向人工智能展示了2.9萬條帶文字標簽的視頻,每段視頻長度為3秒。而為了觀察專業(yè)唇語閱讀者做得如何,該團隊還邀請了“牛津?qū)W生殘疾人社團”的3名成員,用300條隨機視頻去進行類似的測試。這些專家的平均錯誤率為47.7%,而人工智能的錯誤率只有6.6%。
盡管這一項目取得了成功,但也暴露出了當代人工智能研究的局限。在指導(dǎo)人工智能如何閱讀唇語的過程中,牛津大學團隊使用了經(jīng)過設(shè)計的視頻。視頻中的所有人物都面向前方,光線明亮,說出標準結(jié)構(gòu)的語句。
視頻中的典型語句時長為3秒鐘,例如:“Place blue in m 1 soon?!边@其中包括命令、顏色、介詞、字母、數(shù)字,以及副詞。所有語句都采用這樣的模式。因此,人工智能的超高準確率只是在一種極端情況下取得的。如果要求人工智能從隨機的YouTube視頻中閱讀唇語,那么結(jié)果可能很不準確。
有其他研究人員指出,利用這種特殊視頻去訓(xùn)練并不符合真實世界場景。不過,論文作者南多·德弗雷塔斯(Nando de Freitas)為自己的成果進行了辯護。他指出,該團隊曾嘗試過其他視頻,但這些視頻帶來了太多“噪音”。這些視頻各不相同,因此人工智能無法取得有意義的結(jié)論。這也意味著,完美的數(shù)據(jù)集可能并不存在。德弗雷塔斯認為,考慮到這一人工智能的準確率,*終情況如何將取決于任務(wù)本身。
OpenAI的杰克·克拉克(Jack Clark)表示,如果希望在現(xiàn)實世界中得到應(yīng)用,那么這一人工智能還需要三方面的優(yōu)化:人們在現(xiàn)實世界場景中大量的說話視頻;讓人工智能可以從多個不同角度去閱讀唇語;以及讓人工智能可預(yù)測的短語類型更多樣化。
克拉克表示:“這項技術(shù)具備顯而易見的應(yīng)用,但這看起來似乎并不可能?!比绻斯ぶ悄芸梢詫W會閱讀唇語,那么將適用于多種場景。此類系統(tǒng)可以被用于幫助聽力障礙人士了解周圍發(fā)生的對話,或是讓其他人工智能更好地辨別視頻中的聲音,生成準確的字幕。
- 12.7新品推薦:多種軟件系統(tǒng)招商,適合醫(yī)院等醫(yī)療機構(gòu),總有一款適合您
- 關(guān)節(jié)置換手術(shù)模擬軟件獲批上市
- 關(guān)于征求《康復(fù)類數(shù)字療法軟件產(chǎn)品分類界定指導(dǎo)原則(征求意見稿)》意見的通知
- 【國藥監(jiān)】關(guān)于發(fā)布肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則的通告
- 超聲影像智能輔助診斷系統(tǒng):用于腫瘤輔助診斷的AI醫(yī)療軟件
- 關(guān)于公開征求《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則(第二版征求意見稿)》意見的通知