TW201635196A - 三維手勢影像辨識方法及其系統 - Google Patents

Abstract

一種三維手勢影像辨識系統包含一光場攝影單元、一演算單元及一輸出單元。利用該光場攝影單元攝取一手勢動作，以獲得一3D手勢影像。該演算單元連接至該光場攝影單元，再將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量，再將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該3D手勢影像，以便辨識該3D手勢影像之種類。該輸出單元連接至該演算單元，以便輸出該3D手勢影像之種類。

Description

三維手勢影像辨識方法及其系統

本發明係關於一種三維手勢影像辨識方法及其系統；特別是關於一種採用各種光場攝影〔light field capturing〕之三維手勢影像辨識方法及其系統。

習用手勢影像辨識之相關應用裝置，例如：中華民國專利公告第M382675號之〝以手勢辨識為基礎之監控攝影機操控裝置〞新型專利，其揭示有關於一種可以下達監控攝影機鏡頭上下左右轉向、拉近及拉遠等動作指令的操控裝置。利用手勢取像攝影機所拍攝使用者的手勢影像，辨識出使用者手勢的上、下、左、右、前、後移動情形，並對監控攝影機發出鏡頭往上、往下、往左、往右、拉近、拉遠的操控訊息，而不需藉由操作滑鼠或操縱桿來下達上述操控訊息。

前述第M382675號先利用手勢取像攝影機拍攝使用者手部影像，再利用手勢位移偵測模組偵測與辨識使用者的手部位置與趨勢，進而計算出欲控制監控攝影機的方向，再傳遞訊號控制監控攝影機之鏡頭執行往上、往下、往左、往右、拉近及拉遠的動作。該手勢位移偵測模組先計算出手勢取像攝影機中之手部出現的位置與面積，做為手勢辨識的原點，此部份亦可以在手勢取像攝影機的畫面上預先設定一手勢辨識的原點，做為後續手勢辨識的位移偵測參考點，並分別定義出一個手勢最小面積的門檻值、一個手勢最小移動距離的門檻值及一個手勢最小面積 變化的門檻值。

前述第M382675號在使用者的手勢面積大小大於預先設定之手勢最小面積門檻值後，裝置便會開始啟動手勢辨識功能，利用該手勢位移偵測模組偵測目前手勢位置與手勢原點的位移量。當手勢移動的位移量大於預先設定的門檻值時，則視為有手勢移動發生，反之，當手勢移動的位移量小於門檻值時，則視為沒有手勢移動發生；又，該手勢位移偵測模組亦會偵測目前手勢位置與手勢原點的位移方向，若手勢往上、下、左或右移動，則觸發一控制訊號以驅動監控攝影機鏡頭往上、下、左或右移動。另外，該手勢位移偵測模組以影像辨識技術判斷手勢在活動範圍內的前後移動；手勢往前移時其面積會比面積門檻值大，則觸發一控制訊號以驅動監控攝影機鏡頭拉近影像；手勢往後移時其面積會比面積門檻值小，則觸發一控制訊號以驅動監控攝影機鏡頭拉遠影像。

另一習用手勢影像辨識之相關應用裝置，例如：中華民國專利公告第I298461號之〝手勢辨識系統及其方法〞發明專利，其揭示一種手勢辨識系統及其方法應用於一具有影像擷取器之筆記型電腦。使用者可直接對準此影像擷取器比出一預設的手勢，而筆記型電腦即會執行此手勢動作相對應之應用程式或是功能選項，以增加使用者執行應用程式或是功能選項時之方便性。

另一習用手勢影像辨識之相關應用裝置，例如：中華民國專利公開第201030630號之〝手勢辨識系統及其方法〞發明專利，其揭示一種手勢辨識系統包括：一攝影裝置用於取得可能含有自然手勢的影像；一處理器用以從影像中找出膚色部份的膚色輪廓〔edge〕，再將膚色輪廓分類為多個不同角度的輪廓碎片；一運算引擎具有數個平行運算單元及數個不同角度類別的手勢模板庫，該數 個平行運算單元分別在不同角度類別的手勢模板庫中找出和輪廓碎片最近似的手勢模板；一最佳模板選取手段，自由該數個平行運算單元找出的數個近似的手勢模板中再選出一個最佳的手勢模板；及一顯示終端用以顯示最佳的手勢模板的影像；藉此達到無需使用任何標記〔marker less〕且能夠即時辨識手勢的目的。

另一習用手勢影像辨識相關方法及系統，例如：中華民國專利第I431538號之〝基於影像之動作手勢辨識方法及系統〞發明專利，其揭示一種基於影像之動作手勢辨識方法及系統。該方法包含下列步驟：接收複數張影像畫面；根據複數張影像畫面執行一手勢偵測，以得到一第一手勢，如果該第一手勢符合一預設開始手勢，則根據複數張影像畫面中手部位置執行一移動追蹤，以取得一移動手勢；於執行移動追蹤之過程中，根據複數張影像畫面執行手勢偵測，以得到一第二手勢，若該第二手勢符合一預設結束手勢，停止移動追蹤。

另一習用手勢影像辨識相關方法及系統，例如：發明人提出中華民國專利第I444907號之〝採用奇異值分解處理複雜背景之手勢影像辨識方法及其系統〞發明專利，其揭示一種採用奇異值分解處理複雜背景之手勢影像辨識方法。該方法包含：利用一奇異值分解法分解一原始手勢影像，以獲得一增益手勢影像；自該增益手勢紋影像去除深色背景，以獲得至少一類皮膚圖素區塊；及利用一膚色偵測方法於該類皮膚圖素區塊進行膚色偵測，以去除該類皮膚圖素區塊之剩餘背景。該手勢影像辨識系統包含一輸入單元、一演算單元及一輸出單元。該輸入單元用以輸入該原始手勢影像，該演算單元用以自該增益手勢紋影像去除深色背景及剩餘背景，而該輸出單元用以輸出一膚色手勢影像。

另一習用手勢影像辨識相關方法及系統，例如：發明人提出中華民國專利第I444908號之〝採用影像方向對正處理之手勢影像辨識方法及其系統〞發明專利，其揭示一種採用影像方向對正處理之手勢影像辨識方法。該方法包含：輸入一膚色手勢影像；於該膚色手勢影像計算一全域性質心；於該膚色手勢影像選擇一感興趣區塊；利用該感興趣區塊選擇一子區域；於該子區域計算一區域性質心；利用該全域性質心及區域性質心計算一對正角度。該手勢影像辨識系統包含一輸入單元、一演算單元及一輸出單元。該輸入單元用以輸入該膚色手勢影像，該演算單元於該膚色手勢影像選擇該感興趣區塊及子區域，以計算該全域性質心及區域性質心，再計算該對正角度，而該輸出單元用以輸出該對正角度。

另一習用手勢影像辨識相關方法及系統，例如：發明人提出中華民國專利第I444909號之〝採用奇異值分解進行光線補償處理之手勢影像辨識方法及其系統〞發明專利，其揭示一種採用奇異值分解光線補償處理之手勢影像辨識方法。該方法包含：輸入一手勢影像；利用一奇異值分解法應用於該手勢影像；以一光線補償法計算至少一光線補償係數；及利用該光線補償係數進行光線補償處理該手勢影像，以獲得一光線補償手勢影像。該手勢影像辨識系統包含一輸入單元、一演算單元及一輸出單元。該輸入單元用以輸入該原始手勢影像，該演算單元以該光線補償法計算該光線補償係數，並利用該光線補償係數進行光線補償處理該手勢影像，以獲得該光線補償手勢影像，而該輸出單元用以輸出該光線補償手勢影像。

另外，習用手勢影像辨識之相關應用技術已揭示於部分美國專利，例如：美國專利第7,702,130號之〝User interface apparatus using hand gesture recognition and method thereof〞、第7,680,295號之〝Hand-gesture based interface apparatus〞、第6,215,890號之〝Hand gesture recognizing device〞、第6,002,808號之〝Hand gesture control system〞及第5,594,469號之〝Hand gesture machine control system〞等。前述中華民國專利及美國專利僅為本發明技術背景之參考及說明目前技術發展狀態而已，其並非用以限制本發明之範圍。

雖然前述專利已揭示相關手勢影像辨識技術，但其並未提供三維手勢影像辨識之相關技術。事實上，就手勢影像辨識技術而言，其必然需要簡化複雜的系統架構或省略複雜的前置處理程序，否則其影響手勢影像辨識的可靠度。因此，習用手勢影像辨識技術必然存在進一步提供三維手勢影像辨識的需求。

有鑑於此，本發明為了滿足上述需求，其提供一種三維手勢影像辨識方法及其系統，其利用一光場攝影單元攝取一手勢動作，以獲得一3D手勢影像，而將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量，且將該特徵向量與數個樣本特徵向量進行比對分類，即可完成手勢影像辨識，以提升習用手勢影像辨識技術之可靠度。

本發明較佳實施例之主要目的係提供一種三維手勢影像辨識方法及其系統，其利用一光場攝影單元攝取一手勢動作，以獲得一3D手勢影像，而將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量，且將該特徵向量與數個樣本特徵向量進行比對分類，以達成提升手勢影像辨識可靠度之目的。

為了達成上述目的，本發明較佳實施例之三維手勢影像辨識方法包含：利用一光場攝影單元攝取一手勢動作，以獲得 一3D手勢影像；將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量；及將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該3D手勢影像，以便辨識該3D手勢影像之種類。

本發明較佳實施例之該3D手勢影像包含一平面影像資訊及一深度資訊。

本發明較佳實施例之該3D手勢影像為一3D手勢輪廓影像或一3D手勢實心影像。

本發明較佳實施例利用投影色彩空間方式將一3D手勢實心RGB影像進行投影色彩空間轉換，以獲得一R通道影像資訊、一G通道影像資訊及一B通道影像資訊。

本發明較佳實施例在將該3D手勢影像投影至該預定辨識空間時，採用主成分分析進行投影。

本發明較佳實施例在將該特徵向量與數個樣本特徵向量以進行比對分類時，採用最近鄰居法進行比對分類。

為了達成上述目的，本發明較佳實施例之三維手勢影像辨識系統包含：一光場攝影單元，其攝取一手勢動作，以獲得一3D手勢影像；一演算單元，其連接至該光場攝影單元，將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量，再將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該3D手勢影像，以便辨識該3D手勢影像之種類；及一輸出單元，其連接至該演算單元，以便輸出該3D手勢影像之種類。

本發明較佳實施例之該3D手勢影像為一3D手勢輪廓影像或一3D手勢實心影像。

本發明較佳實施例利用投影色彩空間方式將一3D手勢實心RGB影像進行投影色彩空間轉換，以獲得一R通道影像資訊、一G通道影像資訊及一B通道影像資訊。

本發明較佳實施例在將該3D手勢影像投影至該預定辨識空間時，採用主成分分析進行投影，而在將該特徵向量與數個樣本特徵向量以進行比對分類時，採用最近鄰居法進行比對分類。

S1‧‧‧步驟

S2‧‧‧步驟

S3‧‧‧步驟

10‧‧‧光場攝影單元

20‧‧‧演算單元

30‧‧‧輸出單元

第1圖：本發明較佳實施例之三維手勢影像辨識方法之流程示意圖。

第2圖：本發明較佳實施例之三維手勢影像辨識系統之方塊示意圖。

第3A及3B圖：本發明較佳實施例之三維手勢影像辨識方法及其系統攝取九個3D手勢輪廓影像及九個3D手勢實心影像之示意圖。

第4A及4B圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種平面旋轉變異條件分別進行測試3D手勢輪廓影像及3D手勢實心影像後，其辨識率與特徵向量關係之曲線示意圖。

第5A及5B圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種深度旋轉變異條件分別進行測試3D手勢輪廓影像及3D手勢實心影像後，其辨識率與特徵向量關係之曲線示意圖。

第6A圖：本發明另一較佳實施例之三維手勢影像辨識方法及其系統攝取九個3D手勢實心RGB影像之示意 圖。

第6B圖：本發明另一較佳實施例之三維手勢影像辨識方法及其系統對3D手勢實心RGB影像進行投影色彩空間轉換後，產生九個PCS投影影像之示意圖。

第7(a)至7(d)圖：本發明另一較佳實施例之三維手勢影像辨識方法及其系統由原始3D手勢實心RGB影像處理後，產生一R通道影像、一G通道影像及一B通道影像，再產生一PCS投影影像之示意圖。

第8圖：本發明另一較佳實施例之三維手勢影像辨識方法及其系統進行投影色彩空間轉換後，將灰階手勢影像及PCS投影影像之辨識率與特徵向量關係之曲線比較示意圖。

第9(a)至9(f)圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，將原始3D手勢輪廓影像與一系列測試3D手勢輪廓影像之比較示意圖。

第10圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，一系列3D手勢輪廓影像之辨識率與特徵向量關係之示意圖。

第11(a)至11(f)圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，將原始3D手勢實心影像與一系列測試3D手勢實心影像之比較示意圖。

第12(a)至12(f)圖：本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試，並進行投影色彩空間轉換後，將原始PCS投影影像與一系列測試PCS投影影像之比較示意圖。

第13圖：本發明較佳實施例之三維手勢影像辨識方法 及其系統採用添加各種高斯雜訊變異條件進行測試後，一系列3D手勢輪廓影像之辨識率與特徵向量關係之示意圖。

為了充分瞭解本發明，於下文將舉例較佳實施例並配合所附圖式作詳細說明，且其並非用以限定本發明。

本發明較佳實施例之三維手勢影像辨識方法及其系統適用於各種手勢辨識裝置及其相關應用設備，例如：各類型電腦系統、家電產品控制系統〔如物聯網〕、自動化控制系統、醫療照護系統或保全系統，但其並非用以限定本發明之範圍。

第1圖揭示本發明較佳實施例之三維手勢影像辨識方法之流程示意圖。第2圖揭示本發明較佳實施例之三維手勢影像辨識系統之方塊示意圖，其對應於第1圖。請參照第1及2圖所示，舉例而言，本發明較佳實施例之三維手勢影像辨識系統包含一光場攝影〔light field capturing〕單元10、一演算單元20及一輸出單元30，而該演算單元20適當連接至該光場攝影單元10，且該輸出單元30適當連接至該演算單元20。

請再參照第1及2圖所示，本發明較佳實施例之三維手勢影像辨識方法包含步驟S1：首先，利用該光場攝影單元10或具類似功能的光場影像輸入單元攝取一手勢動作，以獲得一3D手勢影像。舉例而言，該3D手勢影像包含一平面影像資訊及一深度資訊。該3D手勢影像為一3D手勢輪廓〔contour〕影像或一3D手勢實心〔solid〕影像。

第3A圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統攝取九個3D手勢輪廓影像之示意圖，其包含零至八的3D手勢影像。相對的，第3B圖揭示 本發明較佳實施例之三維手勢影像辨識方法及其系統攝取九個3D手勢實心影像之示意圖。

請再參照第1及2圖所示，本發明較佳實施例之三維手勢影像辨識方法包含步驟S2：接著，將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量。舉例而言，本發明較佳實施例採用主成分分析〔PCA，principal component analysis〕方法將該3D手勢影像之特徵投影至比較容易辨別的空間。

該主成分分析可運用於高維資料的降維，且保留資料的變異程度，由於一維PCA需要將輸入訓練影像的維度變直。就(m×n)大小的影像為例，在進行共變異矩陣進算時，會產生(m×n)×(m×n)大小的矩陣，對計算特徵向量的步驟上需要極大的計算時間。因此i將原本的共變異矩陣改為下式：

其中C _i 為改變過的共變異矩陣，L為訓練樣本數量，X _tr 為訓練影像，X為全部訓練影像的平均值。如此，將共變異矩陣維度大小降為L×L，且大幅減少計算投影基底所需的時間。本發明較佳實施例採用奇異值分解〔SVD〕對共變異矩陣進行運算如下式：

上式所求得的特徵值矩陣Σ _i 與原本的共變異矩陣C經奇異值分解所得特徵值矩陣Σ相同，而特徵向量矩陣 則須以(X _tr -)＊U _i 方形成特徵向量矩陣U。接著，利用特徵向量矩陣將原本的訓練資料投影至PCA空間，以獲得經過PCA處理過後的訓練樣本特徵向量F _tr 。

請再參照第1及2圖所示，本發明較佳實施例之三維手勢影像辨識方法包含步驟S3：接著，將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該3D手勢影像，以便辨識該3D手勢影像之種類。舉例而言，在將該特徵向量與數個樣本特徵向量以進行比對分類時，採用最近鄰居法〔KNN，k-nearest neighbors〕進行比對分類。利用在特徵空間中最接近測試影像的k個訓練樣本進行分類，將測試影像投影至PCA空間，並與訓練樣本比較，以便進行相似度的計算如下式：

其中S _k 為計算出的相似度矩陣，k為所設定最鄰近的訓練樣本數量，N為特徵根數的最大值，F _te 、F _tr 為測試及訓練樣本的特徵向量，依照k值選擇相似度最近的k個訓練樣本，判斷測試資料與選定訓練樣本中的哪一類最相近，以進行分類的預測。

第4A圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種平面旋轉〔in-plane rotation〕變異條件分別進行測試3D手勢輪廓影像後，其辨識率與特徵向量關係之曲線示意圖。請參照第4A圖所示，本發明較佳實施例採用旋轉角度分別為±3、±5、±8及±10度。雖然該3D手勢輪廓影像在k=1及k=3的最高辨識率皆為100%，但其依特徵向量〔特徵根數，eigen vector〕上升的辨識率趨勢卻以k=1較快收斂，比較兩者的 辨識率下降程度也約略相等。在此種情形下，判定k=1為最適合平面旋轉輪廓手勢的k值，且在取到第17根時可達到最高100%的辨識率。

相對的，第4B圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種平面旋轉變異條件分別進行測試3D手勢實心影像後，其辨識率與特徵向量關係之曲線示意圖。請參照第4B圖所示，本發明較佳實施例採用旋轉角度分別為±3、±5、±8及±10度。該3D手勢實心影像在k=2時的曲線震盪幅度較大，且在辨識率達到最高後也呈現衰減的趨勢。因此，於此僅對k=1與k=3進行比較，且在k=3時，較快收斂且能保持其穩定度，於是判定k=3為最適合平面旋轉輪廓手勢的k值，且在取到第7根時可達到最高100%的辨識率。

第5A圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種深度旋轉〔out-of-plane rotation〕變異條件分別進行測試3D手勢輪廓影像後，其辨識率與特徵向量關係之曲線示意圖。請參照第5A圖所示，本發明較佳實施例採用旋轉角度分別為±15及±30度。在加入深度旋轉變異條件後，該3D手勢輪廓影像的辨識率下降為在k=1時達到最高為94.07%，且在特徵取至第3根時即可達到最高辨識率，而後則呈現逐步緩慢下降的趨勢。

相對的，第5B圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用各種深度旋轉變異條件分別進行測試3D手勢實心影像後，其辨識率與特徵向量關係之曲線示意圖。請參照第5B圖所示，本發明較佳實施例採用旋轉角度分別為±15及±30度。該3D手勢實心影像在深度旋轉變異上辨識率有明顯的下降，且其最高辨識率在k=1時僅剩下78.89%。由於將該3D手勢實心影像僅以 深度的灰階圖進行特徵萃取，因此其無法完整保留所有的深度資訊。當深度旋轉時，類別內的間距因而加大，並造成PCA投影後其特徵分布與其他類別影像混雜。

為了解決上述問題，本發明另一較佳實施例採用在擷取該3D手勢實心影像的原始RGB影像，以投影色彩空間〔PCS〕方法將RGB三通道的影像資訊投影至同一空間，藉此保有更多影像資訊。

就該3D手勢輪廓影像而言，深度的變化對辨識率的影響並不像實心手勢那麼大，因為在僅依輪廓資訊進行辨識時，深度的改變不會對輪廓線條造成太大的變化。反之，就該3D手勢實心影像而言，深度旋轉的變異造成了同一類別內不同深度間特徵分布的間距加大，導致辨識率的下降。

第6A圖揭示本發明另一較佳實施例之三維手勢影像辨識方法及其系統攝取九個3D手勢實心RGB影像之示意圖。第6B圖揭示本發明另一較佳實施例之三維手勢影像辨識方法及其系統對3D手勢實心RGB影像進行投影色彩空間轉換後，產生九個PCS投影影像之示意圖，其對應於第6A圖。

第7(a)至7(d)圖揭示本發明另一較佳實施例之三維手勢影像辨識方法及其系統由原始3D手勢實心RGB影像處理後，產生一R通道影像、一G通道影像及一B通道影像，再產生一PCS投影影像之示意圖。請參照第7(a)至7(d)圖所示，本發明另一較佳實施例之三維手勢影像辨識方法將選擇擷取至少一3D手勢實心RGB影像，如第7(a)圖所示。接著，將該3D手勢實心RGB影像以投影色彩空間方法取得RGB三通道的影像資訊，如第7(b)、7(c)、7(d)所示。接著，將該RGB三通道的影像資訊投影至同一空間，以獲得一PCS手勢實心投影影像，如第7(d)圖所示。

第8圖揭示本發明另一較佳實施例之三維手勢影像辨識方法及其系統進行投影色彩空間轉換後，將灰階手勢影像及PCS投影影像之辨識率與特徵向量關係之曲線比較示意圖。請參照第8圖所示，該PCS手勢實心投影影像在第14根的辨識率達到96.67%，其後下降趨勢呈現穩定，且整體而言辨識率都高於灰階實心手勢影像。在將該灰階實心手勢影像與PCS手勢實心投影影像進行比較時，其辨識率顯著提升。由於該PCS手勢實心投影影像保留了RGB三個通道的深度資訊，因此不致隨深度變化而遺失太多資訊。對於深度旋轉的變異而言，可產生較高容忍度。

第9(a)至9(f)圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊〔Gaussian noise〕變異條件進行測試後，將原始3D手勢輪廓影像與一系列測試3D手勢輪廓影像之比較示意圖。請參照第9(a)至9(f)圖所示，將該原始3D手勢輪廓影像〔如第9(a)圖所示〕添加的高斯雜訊平均值均為0，以1%、5%、10%、20%、30%的變異數進行辨識，如第9(b)至9(f)圖所示。

第10圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，一系列3D手勢輪廓影像之辨識率與特徵向量關係之示意圖，其對應於第9(b)至9(f)圖。請參照第10圖所示，在將該原始3D手勢輪廓影像〔如第9(a)圖所示〕分別加入1%、5%、10%、20%、30%的高斯雜訊〔如第9(b)至9(f)圖所示〕時，添加5%雜訊為止仍保有90%以上的最高辨識率，且趨勢也較為平穩；而當添加雜訊高於10%時，雖然最高辨識率的下降程度不是非常明顯，且在添加30%高斯雜訊時仍有82.22%的最高辨識率，但在所選取的特徵根數增加時，其辨識率的下降速度過快，可顯示其辨識率 較不穩定。

第11(a)至11(f)圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，將原始3D手勢實心影像與一系列測試3D手勢實心影像之比較示意圖。請參照第11(a)至11(f)圖所示，將該原始3D手勢實心影像〔如第11(a)圖所示〕添加的高斯雜訊平均值均為0，以1%、5%、10%、20%、30%的變異數進行辨識，如第11(b)至11(f)圖所示。

第12(a)至12(f)圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試，並進行投影色彩空間轉換後，將原始PCS投影影像與一系列測試PCS投影影像之比較示意圖，其對應於第11(a)至11(f)圖。

第13圖揭示本發明較佳實施例之三維手勢影像辨識方法及其系統採用添加各種高斯雜訊變異條件進行測試後，一系列3D手勢輪廓影像之辨識率與特徵向量關係之示意圖。請參照第10及13圖所示，將該原始3D手勢實心影像〔如第11(a)圖所示〕添加1%至30%的高斯雜訊，再以投影色彩空間進行處理，雖然最高辨識率同樣呈現下降的趨勢，但縱使添加30%的高斯雜訊，其辨識率仍保持震盪在85%以上。由於該3D手勢輪廓影像〔如第9(b)至9(f)圖所示〕僅保留原始手勢的輪廓資訊，因此在對抗雜訊方面並不如該3D手勢實心影像〔如第11(b)至11(f)圖所示〕保有完整手勢的深度資訊優勢。

前述較佳實施例僅舉例說明本發明及其技術特徵，該實施例之技術仍可適當進行各種實質等效修飾及/或替換方式予以實施；因此，本發明之權利範圍須視後附申請專利範圍所界定之範圍為準。本案著作權限制使用於中華民國專利申請用途。

10‧‧‧光場攝影單元

20‧‧‧演算單元

30‧‧‧輸出單元

Claims (10)

1. 一種三維手勢影像辨識方法，其包含：利用一光場攝影單元攝取一手勢動作，以獲得一3D手勢影像；將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量；及將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該3D手勢影像，以便辨識該3D手勢影像之種類。
2. 依申請專利範圍第1項所述之三維手勢影像辨識方法，其中該3D手勢影像包含一平面影像資訊及一深度資訊。
3. 依申請專利範圍第1項所述之三維手勢影像辨識方法，其中該3D手勢影像為一3D手勢輪廓影像或一3D手勢實心影像。
4. 依申請專利範圍第3項所述之三維手勢影像辨識方法，其中利用投影色彩空間方式將一3D手勢實心RGB影像進行投影色彩空間轉換，以獲得一R通道影像資訊、一G通道影像資訊及一B通道影像資訊。
5. 依申請專利範圍第1項所述之三維手勢影像辨識方法，其中在將該3D手勢影像投影至該預定辨識空間時，採用主成分分析進行投影。
6. 依申請專利範圍第1項所述之三維手勢影像辨識方法，其中在將該特徵向量與數個樣本特徵向量以進行比對分類時，採用最近鄰居法進行比對分類。
7. 一種三維手勢影像辨識系統，其包含：一光場攝影單元，其攝取一手勢動作，以獲得一3D手勢影像；一演算單元，其連接至該光場攝影單元，將該3D手勢影像投影至一預定辨識空間，以獲得一特徵向量，再將該特徵向量與數個樣本特徵向量以進行比對分類，以分類該 3D手勢影像，以便辨識該3D手勢影像之種類；及一輸出單元，其連接至該演算單元，以便輸出該3D手勢影像之種類。
8. 依申請專利範圍第7項所述之三維手勢影像辨識系統，其中該3D手勢影像為一3D手勢輪廓影像或一3D手勢實心影像。
9. 依申請專利範圍第8項所述之三維手勢影像辨識系統，其中利用投影色彩空間方式將一3D手勢實心RGB影像進行投影色彩空間轉換，以獲得一R通道影像資訊、一G通道影像資訊及一B通道影像資訊。
10. 依申請專利範圍第7項所述之三維手勢影像辨識系統，其中在將該3D手勢影像投影至該預定辨識空間時，採用主成分分析進行投影，而在將該特徵向量與數個樣本特徵向量以進行比對分類時，採用最近鄰居法進行比對分類。