許多人日常在用的智能手表它的文本輸入要么靠語音要么靠打字或手寫

許多人日常在用的智能手表，它的文本輸入要么靠語音，要么靠打字或手寫。

但有時你可能不方便說話，或者在那么小的屏幕上戳鍵盤實在有點局促。

那咋辦。在智能手表誕生的日子里，很多用戶會認為未來智能手表可以成功取代智能手機，但現在只能起到輔助作用，手表的所謂“智能”更多體現在附加應用上。

也許可以試試隔空打字法。

浙江大學就開發了這樣一個名叫 AirText 的應用，只需你動動手指和手腕，手表就確識別空中字符，錯誤率低至 3.9%。

還配備聯想和推薦功能，讓拼寫速度更快。

給智能手表配上隔空打字功能

開發 AirText 的一個主要挑戰在于如何讓它理解手腕運動和指尖拼寫動作的對應關系。

就像下面這張圖所展示的，拼寫時手腕呈現出來的軌跡和正常字母差得還挺多的。

為此，研究團隊先借助了一個現成工具 Leap Motion，它可以用紅外傳感器跟蹤手勢。

然后八名志愿者使用五種不同的智能手表拼出超過 25000 個字符，用 Leap Motion 收集相關的手腕和手指運動數據。

再將數據輸入神經網絡模型，進行訓練，最終 AirText 可以根據用戶手腕微小的動作變化推斷指尖的軌跡。

然后，僅通過智能手表就可以高效，準確地將推斷出的軌跡識別為相應的字符。

為了加快拼寫速度，他們還給系統配上了單詞預測和推薦功能。

預測單詞會顯示在手表屏幕的四個方向，我們可以將手表向上下左右傾斜就能進行選擇。

詞錯誤率為 3.9%

首先來看 AirText 的準確性測試。

衡量指標為 WER，計算方法就是將錯誤字 / 識別正確的字。

其中錯誤字涉及三種類型:漏字，多字，錯字。

將 AirText 與倆基線方法相比，最終 AirText 得分最低，也就是準確性最高。

三者平均分分別為 3.9%，30.9% 和 57.1%。

以上是單用戶在單設備上的測評結果。

為了更準確，他們還測試了多用戶和多設備，結果如下:

左圖中，同一個用戶使用 5 種不同智能手表測試 AirText 獲得的準確率得分分別為:8.3%，7.5%，6.5%，7.7% 和 3.9%。

研究人員表示，7% 的 WER 意味著平均每 15 個單詞中有一個識別錯誤，這對于隔空手寫來說還是可以接受的。

右圖中，8 位不同用戶使用同一手表獲得了 11.2%，5.9%，4.3%，4.0%，3.6%，5.9%，4.7% 和 3.9% 的 WER。

從中我們可以看出，與不同的設備相比，不同的用戶對準確性的影響更大。。

不過研究人員表示，借助模型更新組件，AirTex 仍然可以針對不同用戶實現較高的準確率。

然后是速度測試。

由于 BLSTM 基線的 WER 約為 57%，錯誤率太高，研究人員只比較了 AirText 和 IMU—CNN 兩者的速度。

衡量指標是 WPM，其計算方式為用總體輸入字數—錯誤字數 / 時間。

結果 AirText 的平均 WPM 為 8.1，而 IMU—CNN 基線的 WPM 僅為 4.6。

研究人員指出，此輸入速度與一些基于雙手觸摸屏的文本輸入方法相當。

總體來看，AirText 的準確率不錯，但速度還需要進步。

慢的主要原因還是因為它每拼寫一個字符就需停頓一會兒。

研究人員正在研究破解辦法，并表示最終有興趣將 AirText 商業化。

一作為浙江大學計算機學院助理教授高藝，浙江大學博士畢業，研究方向包括嵌入式軟件，無線和移動計算，傳感器網絡和信息物理系統。

其谷歌學術引用次數總計 3000+。

論文地址:

參考鏈接: