以往的手語識別技術難以分析視覺及姿勢語言訊息，未能精準解讀手語。手語除了手部動作，身體動作、面部表情、嘴形等在手語語法中同樣重要，忽略任何細微特徵，都可導致手語不合文法或無法詮釋。

雖然世界各地的手語有所不同，但當中的語言特徵如手形、方向、動作等卻是相通的，而且組合變化有限，可以透過電腦識別。由於手語是3D空間運動，包括上下左右移動以及前後深度，以往手語識別需要採用特殊3D攝像鏡頭和帶傳感器的手套等複雜設備，令技術難以普及。

「Shuwa計劃」團隊解決了舊有技術的不足，成功研發首個機器學習模型，可透過一般攝影鏡頭識別、追蹤及分析不同肢體信息，包括3D手部和肢體動作，以及面部表情特徵，將其應用在「手語村」。現時，玩家可選擇香港及日本手語，團隊計劃日後會加入其他地區的手語。

中大手語及聾人研究中心為「Shuwa計劃」提供手語語言學專業知識及香港手語語法特徵，以訓練機器學習模型識別手語。施教授說：「我們應用手語語言學研究所得，幫助協作夥伴研發可自動識別手語的工具，讓玩家實時知道自己能否打出準確的手語。」

計劃的下一步是創建包含搜索功能的手語詞典平台，透過人工智能技術協助用戶學習和紀錄手語。團隊冀開發一個自動翻譯模型，利用電腦或智能手機常用的鏡頭識別手語中的自然對話，將其翻譯為口語。

關西學院大學手語研究中心主任松岡克尚教授表示：「我們很高興能夠參與『Shuwa計劃』的技術開發，盼望將來或可開發為醫療界和法律界專家而設的手語學習工具。這些新發明都非常值得我們探索。」