TW201826234A

TW201826234A - 手語辨識方法

Info

Publication number: TW201826234A
Application number: TW106100983A
Authority: TW
Inventors: 姚智原; 吳曉平
Original assignee: 台灣盈米科技股份有限公司
Priority date: 2017-01-12
Filing date: 2017-01-12
Publication date: 2018-07-16

Abstract

一種手語辨識方法。多個觸碰感測裝置設置於手勢資料擷取手套的指尖上，藉由感測指尖上的觸碰而輸出多個觸碰感測值。手勢資料擷取手套將包括觸碰感測值的多個感測值傳送至雲端伺服器。雲端伺服器比對接收到的感測值與手語資料庫中的標準感測值，並據以將手語資料庫中的多個典範手語手勢其中之一作為辨識結果。雲端伺服器將辨識結果回傳至資料輸出裝置，致使資料輸出裝置依據辨識結果顯示文字或輸出語音。

Description

手語辨識方法

本發明是有關於一種動作感測與辨識技術，且特別是有關於一種應用於手語辨識系統的手語辨識方法。

對聾啞人士而言，一切的外來資訊主要都是能靠視覺來接收，而手語便是聾啞人士最主要的溝通工具。可想而知的是，雖然聾啞人士之間可以透過手語直接溝通，但大多數不懂手語的人還是無法直接藉由手語與聾啞人士進行溝通。一般來說，大多數不懂手語的人必須透過紙筆與聾啞人士進行交談。由此可見，聾啞人士與他人溝通上的困難度依然存在，與他人的溝通不易也將造成生活上的許多的不便利。

專業的手語翻譯員雖然可協助聾啞人士與正常人進行溝通，但手語翻譯員的培養耗時且人力明顯不足。因此，如何透過科技與電子裝置的發展來幫助聾啞人士實為一個重要的議題。由於手語是利用雙手的位置與手勢來表達各種詞彙，因此如何準確的偵測出雙手的位置與手勢實為一個重要的關鍵。目前市售的資料手套不僅成本昂貴，且這些資料手套上之感測器的設置也不適於用來感測細膩且多樣化的手語手勢。再者，一個完整地雙向溝通系統可讓聾啞人士直接面對面與他人溝通，從而大大的改善聾啞人士的生活品質。

有鑑於此，本發明提供一種手語辨識方法，其係應用於手語辨識系統，並藉由手勢資料擷取手套來感測手語手勢以大幅提升手語手勢的辨識精確度。

本發明提供一種手語辨識方法，可根據手勢資料擷取手套產生的感測值與完善的手語資料庫而準確地辨識出手語手勢，致使聾啞人士可直接與不懂手語的人進行溝通。

本發明提出一種手語辨識方法，適用於一手語辨識系統，所述包括下列步驟。藉由雲端伺服器執行多元樹演算法對多個動作片段(motion clip)進行編碼，以建立一手語資料庫。此手語資料庫記錄各個動作片段的標準感測值與這些動作片段的多個索引值，且手語資料庫更記錄多個典範手語手勢與分別對應於典範手語手勢的多個索引序列。藉由手勢資料擷取手套感測一手勢的多個感測值，並透過無線連線傳送感測值至雲端伺服器。藉由雲端伺服器比對感測值與標準感測值，以從這些索引值中獲取多個相近索引值。藉由雲端伺服器利用這些相近索引值從索引序列中搜尋出一最相似索引序列，並將最相似索引序列對應的典範手語手勢其中之一作為手勢的辨識結果。

在本發明的一實施例中，上述的藉由雲端伺服器比對感測值與標準感測值，以從索引值中獲取相近索引值的步驟包括：藉由雲端伺服器執行搜尋演算法，以依據感測值從紀錄有標準感測值的手語資料庫中搜尋出相近索引值。上述感測值包括多個彎曲感測值、多個觸碰感測值、至少一旋轉量以及至少一座標值。藉由雲端伺服器執行搜尋演算法，以依據感測值從紀錄有標準感測值的手語資料庫中搜尋出相近索引值的步驟包括：藉由雲端伺服器利用彎曲感測值、觸碰感測值以及旋轉量執行搜尋演算法，以從紀錄有標準感測值的手語資料庫中搜尋出相近索引值中的至少一第一類相近索引值。藉由雲端伺服器利用彎曲感測值、觸碰感測值以及座標值執行搜尋演算法，以從紀錄有標準感測值的手語資料庫中搜尋出相近索引值中的至少一第二類相近索引值。藉由雲端伺服器利用彎曲感測值、觸碰感測值、旋轉量以及座標值執行搜尋演算法，以從紀錄有標準感測值的手語資料庫中搜尋出相近索引值中的至少一第三類相近索引值。

在本發明的一實施例中，上述的藉由雲端伺服器利用相近索引值從索引序列中搜尋出最相似索引序列的步驟包括：藉由雲端伺服器組合相近索引值而獲取多個相近索引序列，且上述相近索引序列由相似索引值組成。藉由雲端伺服器對相近索引序列執行最佳化演算法而獲取最相似索引序列。

在本發明的一實施例中，上述的藉由雲端伺服器組合相近索引值而獲取相近索引序列的步驟包括：藉由雲端伺服器利用相近索引值與相近索引值相對應的時間點建立惰性相鄰圖(Lazy Neighborhood Graph)。藉由雲端伺服器對惰性相鄰圖執行路徑搜尋演算法而獲取相近索引序列，且相近索引序列包括連續的相近索引值。

在本發明的一實施例中，上述的手語資料擷取手套包括手套本體、多個觸碰感測器以及控制器。這些觸碰感測器分別設置於手套本體的多個指尖上，並感測這些指尖上的觸碰以輸出多個觸碰感測值。控制器設置於手套本體上並耦接這些觸碰感測器。控制器包括無線傳輸模組，並從這些觸碰感測器接收觸碰感測值。控制器透過無線傳輸模組將觸碰感測值傳輸至雲端伺服器，致使雲端伺服器依據觸碰感測值進行手語辨識。

在本發明的一實施例中，上述的手勢資料擷取手套更包括多個彎曲感測器、陀螺儀以及加速度感測器。彎曲感測器設置於手套本體的多個關節部上並耦接控制器，感測關節部的彎曲狀態以輸出多個彎曲感測值。陀螺儀設置於手套本體上並耦接控制器，感測手套本體相對於至少一軸向的旋轉狀態，以輸出對應於上述軸向的至少一旋轉量。加速度感測器設置於手套本體上並耦接控制器，感測手套本體於空間中的位置，以輸出對應於上述的至少一座標值。

在本發明的一實施例中，上述的手語辨識系統更包括行動電子裝置以及資料輸出裝置。此行動電子裝置經由無線近端連線連結至無線傳輸模組以從無線傳輸模組接收感測值，並將感測值傳送至雲端伺服器。資料輸出裝置從雲端伺服器接收手勢的辨識結果，以依據辨識結果顯示文字或輸出語音。

在本發明的一實施例中，上述的手語辨識系統更包括電子眼鏡。此電子眼鏡包括語音接收裝置，而語音接收裝置接收語音訊息而產生語音資料。語音接收裝置將語音資料傳送至雲端伺服器以接收關聯於語音資料的語音辨識結果，電子眼鏡將語音辨識結果顯示於電子眼鏡的鏡片上。

基於上述，藉由設置觸碰感測器於手勢資料擷取手套的各個指尖上，手勢資料擷取手套可進一步產生用來辨識手語手勢的觸碰感測參數。對於細膩且多樣化的手語手勢來說，由於這些觸碰感測參數可進一步表現出指尖是否碰觸手語比畫者的臉部或身體其他部位，因此所述的觸碰感測參數可提升手語辨識的精確度。此外，本發明的手語辨識系統可將手勢資料擷取手套所感測的多個感測值傳送至雲端伺服器，致使雲端伺服器可依據不同種類的感測值從手語資料庫中搜尋到對應的辨識結果。藉由雲端伺服器即時地將辨識結果傳送至一資料輸出裝置，他人可快速且精準的了解手語比畫者所欲表達的訊息。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

請同時參照圖1及圖2，圖1為依照本發明一實施例所繪示的手勢資料擷取手套的方塊示意圖，圖2為依照本發明一實施例所繪示的手勢資料擷取手套的示意圖。手勢資料擷取手套10a包括手套本體100、多個觸碰感測器110_1、110_2、110_3、110_4、110_5、控制器120、多個彎曲感測器130_1、…、130_M、陀螺儀140以及加速度感測器150。手套本體100適於穿戴於人體的手部上，且手套本體100的材質可以是軟性材質。所述的軟性材質例如是聚酯、尼龍或是聚氨酯等材質製作而成的布料，但本發明對此並不限制。手套本體100上設置有各類感測器，以偵測手套穿戴者的手部動作與手部位置。

進一步來說，彎曲感測器130_1、…、130_M設置於手套本體100的多個關節部上且耦接控制器120，並感測關節部的彎曲狀態以輸出多個彎曲感測值。具體來說，彎曲感測器130_1、…、130_M是一種會隨著彎曲度而改變電阻值的特殊感測元件。因此，根據彎曲感測器130_1、…、130_M的電阻值變化可得知各個關節部的彎曲程度。於一實施例中，彎曲感測器130_1、…、130_M可一對一地設置於手套本體100的各個關節部上，但本發明並不以此為限。對於具有三個指節的手指頭來說，離掌心較遠的第一關節與第二關節通常一同彎曲，因此單一指頭的第一關節與第二關節上可配置單一個彎曲感測器即可。也就是說，本發明對於彎曲感測器130_1、…、130_M的數量並不加以限制。

陀螺儀140設置於手套本體100上並耦接控制器120，感測手套本體100相對於至少一軸向的旋轉狀態，以輸出對應於上述軸向的至少一旋轉量。加速度感測器150設置於手套本體100上並耦接控制器120，感測手套本體於空間中的位置，以輸出對應於上述軸向的至少一座標值。於一實施例中，軸向包括相互垂直的X軸向、Y軸向與Z軸向。也就是說，陀螺儀140可分別感測出對應至X軸向、Y軸向與Z軸的三個旋轉量，且加速度感測器150可分別感測對應至X軸向、Y軸向與Z軸向的三個座標值。

觸碰感測器110_1、110_2、110_3、110_4、110_5分別設置於手套本體100的多個指尖上，並感測這些指尖上的觸碰以輸出多個觸碰感測值。觸碰感測器110_1、110_2、110_3、110_4、110_5經配置而感測手套本體100的指尖是否碰觸到任何物體，而觸碰感測器110_1、110_2、110_3、110_4、110_5例如是電容式觸碰感測器、電阻式觸碰感測器、光學式觸碰感測器、表面聲波觸碰感測器、電磁觸碰感測器或近場成像觸碰感測器，本發明對此並不限制。

然而，圖1與圖2所示的實施例是以各指尖分別配置一個觸碰感測器為例進行說明，但本發明並不以此為限。於另一實施例中，手套本體100的各指尖上的觸碰感測器的數量可以是一個以上。值得一提的是，於一實施例中，觸碰感測器可以是壓力感測器。當操作者穿戴手勢資料擷取手套10a時，壓力感測器可依據手套本體100的指尖與其他物體之間相互作用力大小而據以輸出對應的壓力感測值。

控制器120例如是具有運算功能的晶片組、微處理器或微控制器（microcontroller，MCU），在此並不限制其種類。控制器120耦接觸碰感測器110_1、110_2、110_3、110_4、110_5，且包括無線傳輸模組121。無線傳輸模組121可依據無線通訊協定發射無線通信訊號，其可提供網路通訊連結功能，使得手勢資料擷取手套10a可經由一無線網路連接至其他電子裝置。所述的無線網路可包括無線個人網路(Wireless Personal Area Network，WPAN)、無線區域網路(Wireless Local Area Network，WLAN)或無線廣域網路(Wireless Wide Area Network，WAN)，本發明對此不限制。

舉例來說，無線個人網路連線例如是基於IEEE 802.15標準來建立連線；無線區域網路連線例如是基於IEEE 802.11標準來建立連線；無線廣域網路例如是基於3G標準或4G標準來建立連線。進一步來說，無線傳輸模組121可為支援無線個人網路連線的藍芽（Bluetooth）無線通訊技術的元件，也可以是支援無線區域網路連線的無線相容認證（Wireless Fidelity，Wi-Fi）通訊技術的元件，也可以是支援無線廣域網路連線的3G/4G通訊技術的元件，本發明對此不限制。再者，無線傳輸模組121可包括一或多個支援不同種通訊技術的元件。

觸碰感測器110_1、110_2、110_3、110_4、110_5將各自感測到的觸碰感測值傳送給控制器120，而控制器120可從這些觸碰感測器110_1、110_2、110_3、110_4、110_5接收到分別對應至各個指尖的觸碰感測值。此外，控制器120也從彎曲感測器130_1、…、130_M接收彎曲感測值、從陀螺儀140接收旋轉量以及從加速度感測器接收座標值，並透過無線傳輸模組121將對應於同一時間點的觸碰感測值、彎曲感測值、旋轉量以及座標值傳送至雲端伺服器。

也就是說，控制器120透過無線傳輸模組121將包括觸碰感測值的多個感測值傳輸至雲端伺服器，致使雲端伺服器可依據觸碰感測值進行手語辨識。可以知道的是，手語的手勢會有手指之間及手指與身體其他器官之間的觸碰行為。因此，於手套穿戴者比畫手語時，手指頭的指尖可能碰觸到身體其他部位或手部上的其他區域。由於本發明之手勢資料擷取手套可以利用觸碰感測器來偵測手指的觸碰情況，因此本發明的手勢資料擷取手套所擷取到的觸碰感測值可進一步提升手語手勢的辨識精確度。

圖3為依據本發明一實施例所繪示的手語辨識系統的示意圖。請參照圖3，手語辨識系統30包括手勢資料擷取手套10a、手勢資料擷取手套10b、雲端伺服器400、行動電子裝置500、資料輸出裝置600以及電子眼鏡700。手勢資料擷取手套10a包括手套本體、多個感測器以及控制器。這些感測器設置於手套本體上，並根據施於手套本體的一手勢而輸出多個感測值。控制器設置於手套本體上並耦接這些感測器，以從這些感測器接收感測值。手勢資料擷取手套10a的構造與功能已於圖1與圖2詳細說明，於此不再贅述。另外需要說明的是，手語是一種透過雙手比畫的肢體語言，因此本實施例之手語辨識系統30包括分別適於穿戴於左手與右手的資料擷取手套10a與手勢資料擷取手套10b，手勢資料擷取手套10b的構造與功能與資料擷取手套10a相似或相同，於此不再贅述。

雲端伺服器400為一種架設在遠端的伺服器系統，其具有基本的網路連線及運算能力。雲端伺服器400可由一個或多個節點裝置來實現，而每個節點裝置例如為電腦主機或伺服器等實體裝置。這些節點裝置還可分類成計算節點裝置與儲存節點裝置。計算節點裝置用以提供計算服務。儲存節點裝置用以提供儲存服務，例如儲存節點裝置中包括一個或多個資料儲存中心。然而，為了清楚說明本發明，本實施例將以雲端伺服器400為單一個節點裝置為例進行說明，但本發明並不以此為限。

於本實施例中，雲端伺服器400包括儲存裝置410與處理器420。儲存裝置410儲存有手語資料庫411，而處理器420耦接儲存裝置410。儲存裝置410例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。至少一程序或程式存儲在儲存裝置4100中且經配置以由處理器420執行。具體而言，所述程序包括多個指令，而上述指令是由處理器420來執行。簡單來說，處理器420運行程序或程式，以依據手勢資料擷取手套10a、10b所擷取的感測值進行手語辨識。手語辨識方法的詳細流程將於後配合圖示再做說明。

處理器420例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他具備運算能力的硬體裝置。

行動電子裝置500例如是筆記型電腦、平板電腦（Tablet PC）、個人數位助理（personal digital assistant，PDA）、智慧型手機、電子書、遊戲機等可透過網路N1與雲端伺服器400建立網路連線的電子裝置，本發明並不對此限制。於本實施例中，行動電子裝置500經由無線近端連線L1連結至手勢資料擷取手套10a、10b的無線傳輸模組，以從手勢資料擷取手套10a、10b的無線傳輸模組接收感測值。如此，行動電子裝置500可經由網路N1將包括觸碰感測值的多個感測值傳送至雲端伺服器400。在雲端伺服器400根據手勢資料擷取手套10a、10b的感測值而獲取辨識結果後，雲端伺服器400經由網路N1將辨識結果回傳至行動電子裝置500。行動電子裝置500再經由無線近端連線L2將辨識結果傳送至資料輸出裝置600。無線近端連線L1、L2例如是基於藍芽通訊協定或近場通訊協定等短距離通訊協定而建立的連線，但本發明並不限制於此。

於是，資料輸出裝置600可從雲端伺服器400接收手勢的辨識結果，以依據辨識結果顯示文字或輸出語音。具體來說，資料輸出裝置600例如是用以顯示文字的顯示螢幕或輸出語音訊號的揚聲器。如此一來，施於手勢資料擷取手套10a、10b之手勢所對應的辨識結果可藉由語音或文字而輸出，好讓他人與手勢資料擷取手套10a、10b的手套穿戴者進行溝通。舉例來說，資料輸出裝置600可實施為一電子眼鏡，此電子眼鏡可提供予不識手語的正常人配戴。基此，雲端伺服器400進行手語辨識而獲取的辨識結果可顯示於電子眼鏡的鏡片上，好讓不識手語的正常人可即時地了解手套穿戴者所比畫的手語。

值得一提的是，於一實施例中，資料輸出裝置600可以是行動電子裝置500的螢幕或喇叭。當資料輸出裝置600是行動電子裝置500的螢幕或喇叭時，資料輸出裝置600可不需要透過無線近端連線L2而是直接經由網路N1接收手勢的辨識結果。此外，於另一實施例中，為揚聲器的資料輸出裝置600可直接設置於手勢資料擷取手套10a、10b之上。當資料輸出裝置600為設置於手勢資料擷取手套10a、10b之上的揚聲器時，而無線近端連線L2與無線近端連線L1為同一網路連線。

然而，圖3係以行動電子裝置500為雲端伺服器400與資料擷取手套10a、10b、資料輸出裝置600之間的通訊橋梁為例進行說明，但本發明並不以此為限。當手勢資料擷取手套10a、10b與資料輸出裝置600具有自行連結至廣域網路或蜂巢網路的能力時，手勢資料擷取手套10a、10b與資料輸出裝置600可在不存在行動電子裝置500的情況下直接與雲端伺服器400進行資料交換，以提供即時手語辨識的功能。

值得一提的是，除了手勢資料擷取手套10a、10b與資料輸出裝置600所建構的訊息表達管道，本實施例之手語辨識系統30更位聾啞人士提供一個訊息接收管道。進一步來說，手語辨識系統30更包括電子眼鏡700。電子眼鏡700包括語音接收裝置710。語音接收裝置710可實施為指向性麥克風或助聽器，用以接收週遭環境的語音訊息。語音接收裝置710接收語音訊息而產生語音資料。語音接收裝置710同樣可經由行動電子裝置500將語音資料傳送至雲端伺服器400，以接收關聯於語音資料的語音辨識結果。詳細來說，當雲端伺服器400接收到語音接收裝置710所傳送的語音資料時，雲端伺服器400可進行語音辨識並將語音辨識結果回傳給電子眼鏡700。之後，電子眼鏡700可將語音辨識結果顯示於電子眼鏡700的鏡片720上。如此一來，當聾啞人士穿戴手勢資料擷取手套10a、10b、資料輸出裝置600與電子眼鏡700時，聾啞人士可藉由資料擷取手套10a、10b、資料輸出裝置600向外表達訊息，並透過電子眼鏡700接收外來語音訊號並顯示外來語音訊號所代表的訊息意義。

圖4為依照本發明一實施例所繪示之手語辨識方法的流程圖。請同時參照圖1、圖3及圖4，本實施例的方法適用於上述的資料擷取手套與手語辨識系統，以下即搭配圖1中資料擷取手套以及圖3中的手語辨識系統來說明本實施例方法的詳細流程。

需說明的是，本實施例的手勢辨識方法是利用動作檢索(motion retrieval)的概念。本實施例的手勢辨識方法將手語資料庫411中每個典範手語手勢視為動作序列(motion sequence)，而每個典範手語手勢具有對應的辭彙。換言之，每個典範手語手勢可視為由多個動作片段(motion clip)構成，而各個動作片段分別對應的一套標準感測值。在者，由於每個典範手語手勢視為動作序列，因此這些典範手語手勢分別對應至相異且連續的索引值序列。如此，雲端伺服器400可比對資料擷取手套10a、10b感測到的感測值與手語資料庫411中的標準感測值，以辨識出手套穿戴者所比畫的手語。

於步驟S401，藉由雲端伺服器400的處理器420執行多元樹(KD-Tree)演算法對多個動作片段進行編碼，以建立手語資料庫411。詳細來說，手語資料庫411記錄各個動作片段的標準感測值與這些動作片段的多個索引值，且手語資料庫411更記錄多個典範手語手勢與分別對應於典範手語手勢的多個索引序列。於建立手語資料庫411時，手語示範人員可穿戴手勢資料擷取手套10a、10b並比畫各個典範手語手勢。與此同時，雲端伺服器400將手語示範人員比對各個典範手語手勢所感測到的標準感測值紀錄於手語資料庫412中。

更詳細來說，手語資料庫411的建立包括對取樣典範手語手勢的動作片段、紀錄每個動作片段的標準感測值與建立索引(Indexing)。也就是說，典範手語手勢可視為由多個動作片段組成，而每一個動作片段具有對應的多個標準感測值並被賦予一索引值。於是，每一個典範手語手勢具有對應的索引序列，而上述的索引序列係由連續的多個索引值所組成。

手語資料庫411建立後，於步驟S402，藉由手勢資料擷取手套10a、10b感測一手勢的多個感測值，並透過無線連線傳送感測值至雲端伺服器400。舉例來說，手勢資料擷取手套10a、10b可先將這些感測值透過藍芽傳輸傳送至行動電子裝置500，而行動電子裝置500再經由3G網路介面將這些感測值傳送至雲端伺服器400。之後，於步驟S403，藉由雲端伺服器400的處理器420比對接收到的感測值與標準感測值，以從手語資料庫411中的索引值中獲取多個相近索引值。舉例而言，表1為單一個動作片段所對應之標準感測值的範例。表1 需先說明的是，為了清楚說明本發明，表1是以單手的動作片段為例進行說明，並非用以限定本發明。請參照表1，假設索引值為‘10’的動作片段具有21個標準感測值，分別為彎曲感測值、、、、、、、、、，觸碰感測值、、、、，旋轉量、、，以及座標值、、。對應的，依據表1所記錄的內容可知，手勢資料擷取手套10a至少可感測到21個感測值，分別為對應至五個手指的兩個彎曲感測值、對應至五個指尖的觸碰感測值以及相對於三個軸向的旋轉量與座標值。如此，藉由比對各動作片段的標準感測值與手勢資料擷取手套10a感測到的彎曲感測值、觸碰感測值、旋轉量以及座標值，處理器420可從多個索引值中檢索出至少一個相似索引值。然而，表1僅為用以示範性說明，並非用以限定本發明。

在一實施例中，雲端伺服器可400執行一搜尋演算法，以依據手勢資料擷取手套10a所傳送的感測值從紀錄有標準感測值的手語資料庫411中搜尋出相近索引值。以表1為例，上述感測值包括多個彎曲感測值、多個觸碰感測值、多個旋轉量以及多個座標值。雲端伺服器400例如可利用最鄰近搜索法(K-nearest neighbor algorithm，KNN)作為搜尋手語資料庫411的演算法，以從多元樹結構(KD-Tree)中搜尋出相近索引值。

值得一提的是，在一實施例中，雲端伺服器可400可以彎曲感測值與觸碰感測值為主，並分別搭配旋轉量、座標值及所有資訊而形成的三種檢索條件進行檢索。詳細來說，雲端伺服器400可先利用彎曲感測值、觸碰感測值以及旋轉量執行搜尋演算法，以從紀錄有標準感測值的手語資料庫411中搜尋出相近索引值中的至少一第一類相近索引值。接著，雲端伺服器400再利用彎曲感測值、觸碰感測值以及座標值執行搜尋演算法，以從紀錄有標準感測值的手語資料庫411中搜尋出相近索引值中的至少一第二類相近索引值。之後，雲端伺服器400更利用彎曲感測值、觸碰感測值、旋轉量以及座標值執行搜尋演算法，以從紀錄有標準感測值的手語資料庫412中搜尋出相近索引值中的至少一第三類相近索引值。

回到圖4的流程，於步驟S404，藉由雲端伺服器400的處理器420利用這些相近索引值從索引序列中搜尋出一最相似索引序列，並將此最相似索引序列對應的典範手語手勢其中之一作為手勢的辨識結果。可以知道的是，典範手語手勢所對應的索引序列是由多個連續的索引值組成，因此處理器420可依據這些相似索引值與相似索引值各自對應的時間點而搜尋出最相似索引序列。

舉例來說，圖5為依照本發明一實施例所繪示的搜尋出最相似索引序列的流程圖。於步驟S501，雲端伺服器400組合相近索引值而獲取多個相近索引序列，且上述的相近索引序列由相似索引值組成。步驟501更可分為子步驟S5011~S5012而實施之。首先，於子步驟S5011，雲端伺服器400的處理器420利用相近索引值與相近索引值相對應的時間點建立惰性相鄰圖(Lazy Neighborhood Graph)。於步驟S5012，雲端伺服器400的處理器420對惰性相鄰圖執行路徑搜尋演算法而獲取相近索引序列，且相近索引序列包括連續的相近索引值。之後，於步驟S502，藉由雲端伺服器400的處理器420對多個相近索引序列執行最佳化演算法而獲取最相似索引序列。如此，最相似索引序列所對應的典範手語手其中之一可視為辨識結果，而辨識出來的典範手語手其中之一所對應的語句詞彙便可回傳給資料輸出裝置600。

舉例而言，圖6為依據本發明一實施例所繪示的惰性相鄰圖的範例示意圖。請參照圖6，惰性相鄰圖包括分別對應至時間點V₀ 、V₁ 、V₂ 、V₃ 、V₄ 的多個相近索引值。對應至同一個時間點的相近索引值紀錄為一個資料行(column)。即，資料行C1、C2、C3、C4、C5分別對應至時間點V₀ 、V₁ 、V₂ 、V₃ 、V₄ ，且資料行C1、C2、C3、C4、C5分別包括五個相近索引值。需說明的是，本發明並不限制單一資料行內之相近索引值的個數，圖6僅用以做為示範性說明。舉例來說，資料行C1包括相近索引值‘3’、相近索引值‘1’、相近索引值‘15’、相近索引值‘21’以及相近索引值‘20’。換言之，藉由比較手勢資料擷取手套10a、10b於時間點V₀ 所回傳的感測值與標準感測值，雲端伺服器400搜尋出相近索引值‘3’、相近索引值‘1’、相近索引值‘15’、相近索引值‘21’以及相近索引值‘20’。可以知道的是，相近索引值‘3’、相近索引值‘1’、相近索引值‘15’、相近索引值‘21’以及相近索引值‘20’分別對應至不同的動作片段。

雲端伺服器400可將時間上相互相鄰的資料行中的連續的相似索引值相連成一邊(edge)。舉例來說，雲端伺服器400可將資料行C1內的相近索引值‘1’與資料行C2內的相近索引值‘2’相連成一邊。雲端伺服器400也可將資料行C2內的相近索引值‘2’與資料行C3內的相近索引值‘3’相連成一邊。之後，雲端伺服器400可利用迪科斯徹(Dijkstra)演算法找出包括多個連續的相近索引值的相近索引序列。舉例來說，雲端伺服器400可利用迪科斯徹演算法找出相近索引序列‘1,2,3,4,5’以及相近索引序列‘13,14,15,16’。之後，雲端伺服器對400的處理器420對相近索引序列執行最佳化演算法而獲取最相似索引序列。

圖7A與圖7B為依照本發明一實施例所繪示的手語辨識系統的應用情境示意圖。請先參照圖7A，手套穿戴者A的雙手分別穿戴手勢資料擷取手套10a、10b，並配戴電子眼鏡700。當手套穿戴者A比畫手語時，手勢資料擷取手套10a、10b上的感測器進行感測而獲取多個感測值。手勢資料擷取手套10a、10b將包括觸碰感測值的這些感測值傳送至雲端伺服器400，致使雲端伺服器400依據這些感測值與手語資料庫412進行手語辨識而獲取辨識結果。之後，雲端伺服器400將辨識結果回傳至設置於電子眼鏡700上的揚聲器，而揚聲器可依據辨識結果播放語音訊息S1，致使溝通者B因為聽到語音訊息S1而直接瞭解手套穿戴者A所比畫的手語。

請參照圖7B，當溝通者B說話而發出語音訊息S2時，電子眼鏡700上的語音接收裝置710可將錄製語音訊息S2而產生的語音資料傳送至雲端伺服器400。雲端伺服器400根據接收到的語音資料進行語音辨識而獲取語音辨識結果，更將語音辨識結果回傳給電子眼鏡700。如此，電子眼鏡700可將語音辨識結果顯示於鏡片上，而讓手套穿戴者A因為看到鏡片上顯示的文字而了解溝通者B的談話內容。由此可見，透過本發明的手語辨識系統，聾啞人士可無障礙地與不識手語的人進行雙向溝通。

綜上所述，由於本發明的手勢資料擷取手套的指尖設置有觸碰感測器，因此觸碰感測器產生的觸碰感測參數可進一步表現出指尖是否碰觸手語比畫者的臉部或身體其他部位，從而提升手語辨識的精確度。此外，藉由設置將資料量龐大的手語資料庫於雲端伺服器中，手勢資料擷取手套會將感測的多個感測值傳送至雲端伺服器，好讓雲端伺服器依據接收到的感測值進行運算量龐大的手語辨識。如此，透過儲存能力與計算能力強大的雲端伺服器，手語辨識結果可更為準確地被辨識並即時地回傳至資料輸出裝置。如此一來，即便是不識手語的正常人也可了解手語比畫者所比畫的手語。再者，於本發明的實施例，雲端伺服器可以手指的彎曲角度與觸碰為主，再分別搭配手部旋轉、手部位置及綜合所有資訊而形成的三種檢索條件進行檢索，從而進一步提升手語辨識的準確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10a、10b‧‧‧手勢資料擷取手套

100‧‧‧手套本體

110_1~110_5‧‧‧觸碰感測器

120‧‧‧控制器

121‧‧‧無線傳輸模組

130_1~130_M‧‧‧彎曲感測器

140‧‧‧陀螺儀

150‧‧‧加速度感測器

400‧‧‧雲端伺服器

410‧‧‧儲存裝置

411‧‧‧手語資料庫

420‧‧‧處理器

500‧‧‧行動電子裝置

600‧‧‧資料輸出裝置

700‧‧‧電子眼鏡

710‧‧‧語音接收裝置

720‧‧‧鏡片

N1‧‧‧網路

L1、L2‧‧‧無線近端連線

S401～S404、S501～S502、S5011～S5012‧‧‧步驟

圖1為依照本發明一實施例所繪示的手勢資料擷取手套的方塊示意圖。圖2為依照本發明一實施例所繪示的手勢資料擷取手套的示意圖。圖3為依照本發明一實施例所繪示的手語辨識系統的示意圖。圖4為依照本發明一實施例所繪示之手語辨識方法的流程圖。圖5為依照本發明一實施例所繪示的搜尋出最相似索引序列的流程圖。圖6依照本發明一實施例所繪示的惰性相鄰圖的範例示意圖。圖7A與圖7B為依照本發明一實施例所繪示的手語辨識系統的應用情境示意圖。

Claims

一種手語辨識方法，適用於一手語辨識系統，包括：藉由一雲端伺服器執行多元樹演算法對多個動作片段(motion clip)進行編碼，以建立一手語資料庫，其中該手語資料庫記錄該些動作片段的多個標準感測值與該些動作片段的多個索引值，該手語資料庫更記錄多個典範手語手勢與分別對應於該些典範手語手勢的多個索引序列；藉由一手勢資料擷取手套感測一手勢的多個感測值並透過無線連線傳送該些感測值至該雲端伺服器；藉由該雲端伺服器比對該些感測值與該些標準感測值，以從該些索引值中獲取多個相近索引值；以及藉由該雲端伺服器利用該些相近索引值從該些索引序列中搜尋出一最相似索引序列，並將該最相似索引序列對應的該些典範手語手勢其中之一作為該手勢的辨識結果。
如申請專利範圍第1項所述的手語辨識方法，其中藉由該雲端伺服器比對該些感測值與該些標準感測值，以從該些索引值中獲取該些相近索引值的步驟包括：藉由該雲端伺服器執行一搜尋演算法，以依據該些感測值從紀錄有該些標準感測值的該手語資料庫中搜尋出該些相近索引值，其中該些感測值包括多個彎曲感測值、多個觸碰感測值、至少一旋轉量以及至少一座標值，其中藉由該雲端伺服器執行該搜尋演算法，以依據該些感測值從紀錄有該些標準感測值的該手語資料庫中搜尋出該些相近索引值的步驟包括：藉由該雲端伺服器利用該些彎曲感測值、該些觸碰感測值以及該至少一旋轉量執行該搜尋演算法，以從紀錄有該些標準感測值的該手語資料庫中搜尋出該些相近索引值中的至少一第一類相近索引值；藉由該雲端伺服器利用該些彎曲感測值、該些觸碰感測值以及該至少一座標值執行該搜尋演算法，以從紀錄有該些標準感測值的該手語資料庫中搜尋出該些相近索引值中的至少一第二類相近索引值；以及藉由該雲端伺服器利用該些彎曲感測值、該些觸碰感測值、該至少一旋轉量以及該至少一座標值執行該搜尋演算法，以從紀錄有該些標準感測值的該手語資料庫中搜尋出該些相近索引值中的至少一第三類相近索引值。
如申請專利範圍第1項所述的手語辨識方法，其中藉由該雲端伺服器利用該些相近索引值從該些索引序列中搜尋出該最相似索引序列的步驟包括：藉由該雲端伺服器組合該些相近索引值而獲取多個相近索引序列，其中該些相近索引序列由該些相似索引值組成；以及藉由該雲端伺服器對該些相近索引序列執行一最佳化演算法而獲取該最相似索引序列。
如申請專利範圍第3項所述的手語辨識方法，其中藉由該雲端伺服器組合該些相近索引值而獲取該些相近索引序列的步驟包括：藉由該雲端伺服器利用該些相近索引值與該些相近索引值相對應的時間點建立一惰性相鄰圖(Lazy Neighborhood Graph)；以及藉由該雲端伺服器對該惰性相鄰圖執行一路徑搜尋演算法而獲取該些相近索引序列，其中該些相近索引序列包括連續的相近索引值。
如申請專利範圍第2項所述的手語辨識方法，其中該手勢資料擷取手套包括：一手套本體；多個觸碰感測器，分別設置於該手套本體的多個指尖上，感測該些指尖上的觸碰，以輸出該些觸碰感測值；以及一控制器，設置於該手套本體上並耦接該些觸碰感測器，包括一無線傳輸模組，從該些觸碰感測器接收該些觸碰感測值，並透過該無線傳輸模組將該些觸碰感測值傳輸至該雲端伺服器，致使該雲端伺服器依據該些觸碰感測值進行手語辨識。
如申請專利範圍第5項所述的手語辨識方法，其中該手勢資料擷取手套更包括：多個彎曲感測器，設置於該手套本體的多個關節部上並耦接該控制器，感測該些關節部的彎曲狀態，以輸出該些彎曲感測值；一陀螺儀，設置於該手套本體上並耦接該控制器，感測該手套本體相對於至少一軸向的旋轉狀態，以輸出對應於該至少一軸向的該至少一旋轉量；以及一加速度感測器，設置於該手套本體上並耦接該控制器，感測該手套本體於空間中的位置，以輸出對應於該至少一軸向的該至少一座標值。
如申請專利範圍第6項所述的手語辨識方法，其中該手語辨識系統更包括：一行動電子裝置，經由一無線近端連線連結至該無線傳輸模組以從該無線傳輸模組接收該些感測值，並將該些觸控感測值傳送至該雲端伺服器；以及一資料輸出裝置，從該雲端伺服器接收該手勢的該辨識結果，以依據該辨識結果顯示文字或輸出語音。如申請專利範圍第7項所述的手語辨識方法，其中該手語辨識系統更包括一電子眼鏡，其中該電子眼鏡包括一語音接收裝置，該語音接收裝置接收語音訊息而產生語音資料，該語音接收裝置將該語音資料傳送至該雲端伺服器以接收關聯於該語音資料的語音辨識結果，該電子眼鏡將該語音辨識結果顯示於該電子眼鏡的鏡片上。