TW201324235A - 手勢輸入的方法及系統 - Google Patents

Abstract

本發明提供一種手勢輸入系統。該系統耦接於一顯示裝置。第一影像擷取裝置及第二影像擷取裝置擷取使用者的手部並分別產生第一灰階影像畫面及第二灰階影像畫面。處理單元包括物體偵測單元、三角定位單元、記憶單元及手勢判斷單元。物體偵測單元分別偵測取得手部於第一灰階影像畫面與該第二灰階影像畫面之第一成像位置及第二成像位置。三角定位單元藉由第一成像位置及第二成像位置計算手部之三維空間座標。記憶單元，記錄手部於三維空間座標中的一移動軌跡以及手勢判斷單元識別該移動軌跡並產生一手勢命令。

Description

手勢輸入的方法及系統

本發明係有關於一種輸入裝置，且特別有關於一種手勢輸入裝置，其主要係應用於一具有人機介面且以資料運算處理為基礎之空間的系統。

隨著電腦及其他電子裝置在我們的日常生活中變得更普遍，對更方便、直觀及可攜式輸入裝置的需求也在增長。一指向裝置是一類輸入裝置，其通常用來同與電子顯示器相關聯之電腦及其它電子裝置互動。已知的指向裝置及機器控制機制包括電子滑鼠、軌跡球(trackball)、指標鼠(pointing stick)及觸控板、觸控螢幕及其他裝置。已知的指向裝置用來控制顯示於相關聯電子顯示器上之游標的位置及/或運動。藉由啟動指向裝置上的開關，指向裝置亦可傳送命令，例如特定位置命令。

在一些實例中，需要在一距離之外來控制電子裝置，在此情況中，使用者無法觸摸該裝置。這些實例的一些範例為收看電視、觀看個人電腦上的視訊等等。在這些情況下，解決方案是使用一遠端控制裝置。最近，諸如手勢之人類姿勢已被提議作為一使用者介面輸入工具，其即使在遠離控制器裝置的一距離也可使用。

現有以人類姿勢在一距離之外操控電子裝置(例如，一體成型電腦(all in one,AIO)、智慧型電視(Smart TV)等裝置)的系統有兩類。一種是二維影像感應器，另外一種則是利用支援立體影像之3D立體攝影機。但二維影像感應器僅能偵測肢體的於二維平面的移動向量，並無法偵測肢體相對於感應器進行前後方向之動作，例如推/拉的動作。而支援立體影像之3D立體攝影機，雖可得到整個影像的深度資訊，再追蹤肢體(例如手部)於三維空間的動作變化。但是以結構光源(structured light)或時差測距(time of flight)技術為主能支援立體影像之3D攝影機系統成本昂貴，機構巨大且不利於整合。

此外，先前技術例如台灣專利TW I348127案，亦有使用於工作空間中隨機取數個取樣點的機率分佈方式而以複雜的機率統計分析來偵測手勢之指向。先前技術例如國立成功大學資訊工程學系於2007年7月發表之碩士論文「藕合隱藏式馬可夫模型於雙手手勢辨識(Recognition of Two-Handed Gestures via Couplings of Hidden Markov Models)」，或是財團法人工業技術研究院所發表之Depth Camera Technology(Passive)，則介紹了以辨識手部膚色的方式來辨識手勢動作。此外，先前技術例如國立中央大學資訊工程研究所2009年發表之「基於立體視覺手勢辨識的人機互動系統(Human-Machine Interaction Using Stereo Vision-based Gesture Recognition)」碩士論文，則有揭露利用類神經網路求得像差與影像深度的映射模型來追蹤與偵測手勢動作。惟如採用膚色偵測辨識的解決方案時，容易因環境光源的改變而影響膚色的判別準確度。而若採需預先建立深度映射模型的解決方案，則要產生像差則二台攝影機必須平行擺放，且係將最接近之物體當作是手勢物件而會有誤認或誤判之風險。

因此，本發明提供了一種手勢輸入的方法及系統，其具有設計成本低廉與符合人體工學需求等特性，並且增加使用的簡易性與方便性。特別是本發明可不受環境光線明暗強弱影響，也毋須先建立深度映射模型，更不用複雜的採樣機率統計分析，而為一簡單實用之手勢動作偵測解決方案。

本發明提供一種手勢輸入的方法及系統。

本發明提供實施例之一種手勢輸入方法，用於一手勢輸入系統中以控制一顯示裝置的內容，其中該手勢輸入系統包括一第一影像擷取裝置、一第二影像擷取裝置、一物體偵測單元、一三角定位單元、一記憶單元、一手勢判斷單元以及一顯示裝置。該方法包括：藉由該第一影像擷取裝置擷取一使用者的一手部並產生一第一灰階影像畫面；藉由該第二影像擷取裝置擷取該使用者的該手部並產生一第二灰階影像畫面；藉由該物體偵測單元分別偵測取得該手部於該第一灰階影像畫面與該第二灰階影像畫面之一第一成像位置及一第二成像位置；藉由該三角定位單元根據該第一成像位置及該第二成像位置計算該手部之一三維空間座標；藉由該記憶單元記錄該手部於該三維空間座標中的一移動軌跡；以及藉由該手勢判斷單元用以識別該移動軌跡並據以產生一手勢命令。

本發明更提供實施例之一種手勢輸入系統，耦接於一顯示裝置，包括：一第一影像擷取裝置，擷取一使用者的一手部並產生一第一灰階影像畫面；一第二影像擷取裝置，擷取該使用者的該手部並產生一第二灰階影像畫面；一物體偵測單元，耦接於該第一影像擷取裝置及該第二影像擷取裝置，分別偵測取得該手部於該第一灰階影像畫面與該第二灰階影像畫面之一第一成像位置及一第二成像位置；一三角定位單元，耦接於該物體偵測單元，藉由該第一成像位置及該第二成像位置計算該手部之一三維空間座標；一記憶單元，耦接於該三角定位單元，記錄該手部於該三維空間座標中的一移動軌跡；以及一手勢判斷單元，耦接於該記憶單元，用以識別該移動軌跡並產生一手勢命令。

為使本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下。

為了讓本發明之目的、特徵、及優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖示第1圖至第6C圖，做詳細之說明。本發明說明書提供不同的實施例來說明本發明不同實施方式的技術特徵。其中，實施例中的各元件之配置係為說明之用，並非用以限制本發明。且實施例中圖式標號之部分重複，係為了簡化說明，並非意指不同實施例之間的關聯性。

本發明實施之手勢輸入系統為一具有人機介面的系統，其具有二影像擷取裝置。該手勢輸入系統利用二影像擷取裝置擷取一肢體(即，一使用者之手部)之影像後，利用一處理單元對該影像擷取裝置所擷取到肢體影像的成像位置執行運算，以回推該肢體於空間中之三維座標或二维投影座標，並根據計算所得之座標資訊紀錄手部運動之一移動軌跡，以控制一顯示裝置。

下文以數個實施例分別說明本發明之手勢輸入系統及其方法流程。

第1圖係顯示本發明一種實施例之手勢輸入系統的架構示意圖。

參考第1圖，手勢輸入系統包括一第一影像擷取裝置110、一第二影像擷取裝置120、一處理單元130及一顯示裝置140。其中顯示裝置140泛指電腦螢幕、個人數位助理(Personal Digital Assistant,PDA)、行動電話、投影機、電視螢幕等裝置。第一影像擷取裝置110及第二影像擷取裝置120可以是二維影像攝影機(例如，連接監控攝影機(CCTV camera)、數位攝影機(Digital Video,DV)、網路攝影機(WebCam)等)。而第一影像擷取裝置110及第二影像擷取裝置120可以在能擷取到一使用者150之手部151的條件下，擺放於具有適當角度之位置，但不必一定平行對應擺放，且第一影像擷取裝置110及第二影像擷取裝置120也可使用不同的焦距。但在使用之前，第一影像擷取裝置110及第二影像擷取裝置120需先經過校正程序(Calibration)以得到影像擷取裝置內部參數矩陣、旋轉矩陣與位移矩陣。

第2圖係顯示本發明之手勢輸入系統100之區塊圖。處理單元130耦接至第一影像擷取裝置110、第二影像擷取裝置120及顯示裝置140。其中，處理單元130更包括一物體偵測單元131、一三角定位單元132、一記憶單元133、一手勢判斷單元134及一傳輸單元135。

首先，物體偵測單元131包含有一影像辨識分類器1311，該影像辨識分類器1311必須接受預先訓練(Pre-training)以產生辨認識手部的能力。其中影像辨識分類器1311可以利用一影像特徵訓練學習器1312，例如Intel公司所發展之Open CV軟體，以大量的手部灰階影像與非手部灰階影像並藉由支持向量機(Support Vector Machine,SVM)或Adaboost技術做離線訓練(Off-line Training)，以預先訓練學習辨識手部特徵的能力。值得注意的是，由於此物體偵測單元131僅需使用灰階影像，所以在一般環境中，不同的光源、色溫、色彩(例如，日光燈白光、鎢絲燈黃光、太陽光)均不影響物體偵測單元131偵測可能會隨環境光源而變化膚色呈現之手部。此外，本實施例為預先訓練好大量的手部灰階影像與非手部灰階影像，該手部影像可以是五指張開之掌形影像，也可以是五指縮合之拳頭影像。然而，除以上所述之手部肢體外，熟習本技術領域人士亦可事先訓練其他人體五官四肢之灰階影像。

使用者150一開始揮動手部151，同時間第一影像擷取裝置110及第二影像擷取裝置120開始擷取在其前方之物件灰階畫面，先經由上述已預先訓練學習過之物體偵測單元131中之影像辨識分類器1311作比對，若確認是手部影像則擷取使用者150的手部151的灰階影像畫面並分別產生手部之一第一灰階影像畫面210及一第二灰階影像畫面220(如第3圖所示)。接著，根據第一灰階影像畫面210及第二灰階影像畫面220的影像資訊，利用滑動視窗211及221(sliding window)得到使用者手部151經由第一灰階影像畫面210及一第二灰階影像畫面220成像於第一灰階影像畫面210及第二灰階影像畫面220中的區域，並取滑動視窗211及221的重心作為使用者手部151的成像位置，即第3圖中之第一成像位置212及第二成像位置222。此外，本實施例為選取滑動視窗的重心作為手部的成像位置。然而，除以上所述之重心外，熟習本技術領域人士亦可使用其他代表物體成像於影像畫面上的形狀重心、幾何中心、或任一點可代表該物體的二維座標。

接者，根據第一成像位置212、第二成像位置222、影像擷取裝置的內部參數矩陣、旋轉矩陣與位移矩陣等資訊，三角定位單元132利用三角測量演算法(Triangulation)計算得到手部151在某一時間點之成像位置重心152的三維空間座標。詳細技術內容例如可參照Multiple View Geometry in Computer Vision,Second Edition,Richard Hartley and Andrew Zisserman,Cambridge University Press,March 2004。

記憶單元133接著記錄該手部151之重心152於三維空間座標中的一移動軌跡。而手勢判斷單元134識別該移動軌跡並產生一手勢命令。最後，手勢判斷單元134將該手勢命令傳送給傳輸裝置135，在由傳輸裝置135傳送該手勢命令至顯示裝置140中以控制該顯示裝置140中之手勢對應元件，例如，一電腦游標或是為一圖形使用者介面(Graphics User Interface,GUI)。

需注意的是，雖然本發明之前述處理單元中各單元為單獨組件，但此等組件可被整合至一起，因而降低處理單元內的組件數。

第4A~4B圖係顯示本發明之手勢輸入方法的步驟流程圖。

參考第1圖~第3圖，首先，在步驟S301中，利用一影像特徵訓練學習器以大量手部及非手部灰階影像並藉由支持向量機或Adaboost技術做離線訓練以產生辨認識手部的能力。

在步驟S302中，在一顯示裝置上設置一第一影像擷取裝置、一第二影像擷取裝置及一處理單元。在步驟S303中，一使用者揮動手部，同時間第一影像擷取裝置及第二影像擷取裝置開始偵測並擷取在其前方之手部灰階畫面。接著，在步驟S304中，經由上述已預先訓練學習過之物體偵測單元之影像辨識分類器比對是否為手部影像，若否則不處理而重回步驟S303繼續偵測。在步驟S305中，該第一影像擷取裝置與該第二影像擷取裝置擷取該使用者的手部灰階畫面後產生手部之第一灰階影像畫面與第二灰階影像畫面。在步驟S306中，物體偵測單元分別取得該手部於第一灰階影像畫面與第二灰階影像畫面之一第一成像位置及一第二成像位置。在步驟S307中，三角定位單元根據該第一成像位置及該第二成像位置計算該手部之一三維空間座標。在步驟S308中，記憶單元記錄該手部於該三維空間座標中之一移動軌跡。在步驟S309中，手勢判斷單元識別該移動軌跡並據以產生一手勢命令。最後，在步驟S310中，傳輸單元輸出該手勢命令控制該顯示裝置中之手勢對應元件。

第5A~5C圖係顯示本發明之手勢輸入實際應用的示意圖。使用者可預先輸入對應不同移動軌跡的手勢命令於手勢判斷單元中。舉例但不侷限於如表1：

如第5A圖所示，使用者可藉由手部輸入一「推」的移動軌跡(使用者之手部延z軸方向從使用者向顯示裝置移動)執行一手勢命令「選擇」，以以操控手勢對應元件選擇顯示裝置內所顯示的某一內容。如第5B圖所示，使用者可藉由手部輸入一「拉」(使用者之手部延z軸方向從顯示裝置向使用者移動)的移動軌跡執行一手勢命令「移動」，以移動顯示裝置內所顯示的某一內容。如第5C圖所示，使用者可藉由手部輸入一「推+向左平移」(使用者之手部延z軸方向從使用者向顯示裝置移動，接著向左延x軸平移)的移動軌跡執行一手勢命令「刪除」，以刪除顯示裝置內所顯示的某一內容。

第6A~6C圖係顯示本發明之手勢輸入實際應用的示意圖。使用者可進一步輸入更複雜之手勢命令。如圖所示，使用者可藉由手部輸入一「平面旋轉」、「立體龍捲風」等複雜的移動軌跡來執行手勢命令。可進一步地提升設定手勢輸入的親切性，也可讓使用者運用更複雜的手勢做更多的應用。

因此，透過本發明之手勢輸入之方法及系統，利用物體於左右影像擷取裝置中影像的位置，可以快速得的到物體的3維座標以及移動軌跡。此外，本發明採用物體偵測單元預先訓練學習辨識手部灰階影像之方式，因此並不受外部環境光源、色溫、色彩之干擾影響。利用本發明之系統也不用如習知技術需採複雜的機率統計方析方式或是建立深度映射模型，而二影像擷取裝置亦無須平行擺放而僅需擺放於適當角度之位置並事先經過校正程序校正即可。因此，利用本發明之系統不需高成本且系統本身機構輕薄短小，利於整合到其他裝置上。再者，系統所需之計算量低，更利於在嵌入式平台實現。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．手勢輸入系統

110．．．第一影像擷取裝置

120．．．第二影像擷取裝置

130．．．處理單元

131．．．物體偵測單元

1311．．．影像辨識分類器

1312．．．影像特徵訓練學習器

132．．．三角定位單元

133．．．記憶單元

134．．．手勢判斷單元

135．．．傳輸單元

140．．．顯示裝置

150．．．使用者

151．．．手部

152．．．手部重心

210．．．第一影像畫面

211．．．滑動視窗

212．．．第一成像位置

220．．．第二影像畫面

221．．．滑動視窗

222．．．第二成像位置

S301~S310．．．步驟

第1圖係顯示本發明實施例之手勢輸入系統的架構示意圖；

第2圖係顯示本發明實施例之手勢輸入系統之區塊圖；

第3圖係顯示本發明實施例之成像畫面與位置的示意圖；

第4A~4B圖係顯示本發明之手勢輸入方法的步驟流程圖；

第5A~5C圖係顯示本發明之手勢輸入實際應用的示意圖；

第6A~6C圖係顯示本發明之手勢輸入實際應用的示意圖。

100．．．手勢輸入系統

110．．．第一影像擷取裝置

120．．．第二影像擷取裝置

130．．．處理單元

131．．．物體偵測單元

1311．．．影像辨識分類器

1312．．．影像特徵訓練學習器

132．．．三角定位單元

133．．．記憶單元

134．．．手勢判斷單元

135．．．傳輸單元

140．．．顯示裝置

Claims (13)

1. 一種手勢輸入方法，用於一手勢輸入系統中以控制一顯示裝置的內容，其中該手勢輸入系統包括一第一影像擷取裝置、一第二影像擷取裝置、一物體偵測單元、一三角定位單元、一記憶單元、一手勢判斷單元以及一顯示裝置，該方法包括：藉由該第一影像擷取裝置擷取一使用者的一手部並產生一第一灰階影像畫面；藉由該第二影像擷取裝置擷取該使用者的該手部並產生一第二灰階影像畫面；藉由該物體偵測單元分別偵測取得該手部於該第一灰階影像畫面與該第二灰階影像畫面之一第一成像位置及一第二成像位置；藉由該三角定位單元根據該第一成像位置及該第二成像位置計算該手部之一三維空間座標；藉由該記憶單元記錄該手部於該三維空間座標中的一移動軌跡；以及藉由該手勢判斷單元用以識別該移動軌跡並據以產生一手勢命令。
2. 如申請專利範圍第1項所述之手勢輸入方法，更包括輸出該手勢命令控制該顯示裝置內容之一手勢對應元件。
3. 如申請專利範圍第1項所述之手勢輸入方法，其中該物體偵測單元藉由一滑動視窗(sliding window)在該第一灰階影像畫面及該第二灰階影像畫面中偵測該手部於該第一灰階影像畫面與該第二灰階影像畫面之該第一成像位置及該第二成像位置。
4. 如申請專利範圍第1項所述之手勢輸入方法，其中該三角定位單元藉由該第一影像擷取裝置及該第二影像擷取裝置的複數內部參數、一旋轉矩陣、一位移矩陣、該第一成像位置以及該第二成像位置計算該手部之一三維空間座標。
5. 如申請專利範圍第1項所述之手勢輸入方法，在該第一及該第二影像擷取裝置擷取手部灰階影像時，更包括：藉由該物件偵測單元辨識所擷取之物件影像是否為手部灰階影像。
6. 如申請專利範圍第5項所述之手勢輸入方法，在該第一及該第二影像擷取裝置擷取手部灰階影像時，更包括：藉由該物體偵測單元中一影像辨識分類器用以辯識該使用者之該手部灰階畫面。
7. 如申請專利範圍第6項所述之手勢輸入方法，該影像辨識分類器辯識該使用者之該手部灰階畫面時，更包括：利用一影像特徵訓練學習器以大量的手部灰階影像與非手部灰階影像並藉由支持向量機(Support Vector Machine,SVM)或Adaboost技術做離線訓練(Off-line Training)以預先訓練學習辨識手部特徵的能力。
8. 一種手勢輸入系統，耦接於一顯示裝置，包括：一第一影像擷取裝置，擷取一使用者的一手部並產生一第一灰階影像畫面；一第二影像擷取裝置，擷取該使用者的該手部並產生一第二灰階影像畫面；一處理單元，耦接該第一影像擷取裝置、該第二影像擷取裝置及該顯示裝置，包括：一物體偵測單元，耦接於該第一影像擷取裝置及該第二影像擷取裝置，分別偵測取得該手部於該第一灰階影像畫面與該第二灰階影像畫面之一第一成像位置及一第二成像位置；一三角定位單元，耦接於該物體偵測單元，藉由該第一成像位置及該第二成像位置計算該手部之一三維空間座標；一記憶單元，耦接於該三角定位單元，記錄該手部於該三維空間座標中的一移動軌跡；以及一手勢判斷單元，耦接於該記憶單元，用以識別該移動軌跡並產生一手勢命令。
9. 如申請專利範圍第8項所述之手勢輸入裝置，其中該處理單元更包括：一傳輸單元，耦接於該手勢判斷單元，輸出該手勢命令控制該顯示裝置內容之一手勢對應元件。
10. 如申請專利範圍第8項所述之手勢輸入裝置，其中該物體偵測單元藉由一滑動視窗(sliding window)在該第一灰階影像畫面及該第二灰階影像畫面中偵測該手部於該第一灰階影像畫面與該第二灰階影像畫面之該第一成像位置及該第二成像位置。
11. 如申請專利範圍第8項所述之手勢輸入裝置，其中該三角定位單元藉由該第一影像輸入擷取裝置及該第二影像擷取輸入裝置的複數內部參數、一旋轉矩陣、一位移矩陣、該第一成像位置以及該第二成像位置計算該手部之一三維空間座標。
12. 如申請專利範圍第8項所述之手勢輸入裝置，其中該物體偵測單元更包括一影像辨識分類器，用以辯識該使用者之該手部灰階畫面。
13. 如申請專利範圍第12項所述之手勢輸入裝置，其中該影像辨識分類器係利用一影像特徵訓練學習器以大量的手部灰階影像與非手部灰階影像並藉由支持向量機(Support Vector Machine,SVM)或Adaboost技術做離線訓練(Off-line Training)以預先訓練學習辨識手部特徵的能力。