TWI544367B

TWI544367B - 手勢辨識與控制方法及其裝置

Info

Publication number: TWI544367B
Application number: TW104134309A
Authority: TW
Inventors: 周家德; 魏守德; 邱煒傑; 黃智皓
Original assignee: 緯創資通股份有限公司
Priority date: 2013-01-29
Filing date: 2013-01-29
Publication date: 2016-08-01
Also published as: TW201604721A

Description

手勢辨識與控制方法及其裝置

本發明是有關於一種辨識與控制方法及其裝置，且特別是有關於一種手勢辨識與控制方法及其裝置。

傳統的人機互動介面為滑鼠、鍵盤和搖桿，隨著科技發展日新月異，為了使人機互動可以更加便利，於是有了觸控、聲控等技術的出現。為了使人機互動可以更加人性化，體感控制提供了一種全新的輸入方式，其中之一為手勢辨識，由於手勢是人與人在日常生活中常用的溝通方式之一，是一種相當直覺且方便的示意方式。手勢辨識應用於人機介面設計、醫療復健、虛擬實境、數位藝術創作與遊戲設計等領域近來漸漸受到消費者的矚目。

辨識手勢的資訊主要有兩種：一是動態手勢，另一則是靜態手勢。動態手勢資訊包括手部移動軌跡、位置資訊與時序關係，靜態手勢資訊則主要為手形變化，藉由分析手勢資訊並根據不同的手勢，來達到人機互動的功能。手勢辨識的方法之一為利用深度攝影機來取得具有深度資訊的影像，每張影像必須做前置處理，如影像二值化和清除影像背景、消除雜訊等等，再從一連串影像中擷取並分析出使用者手部位置及手勢等相關訊息。再利用手部位置的影像座標數值來控制顯示器之游標的移動。由於前置處理需花費較長時間，使得移動游標的速度與精確度難以與滑鼠相較。因此，對於強調即時人機互動的手勢控制介面來說實為待加強的一環。

有鑑於此，本發明提供一種手勢辨識與控制方法及手勢辨識與控制裝置，藉由分析手部骨架資訊而可直接輸出控制訊號至多媒體影音裝置，減少使用者利用手勢控制游標的步驟。

本發明提出一種手勢辨識與控制方法，包括下列步驟。先擷取具有深度資訊的待處理影像，此待處理影像包括人形影像。分析人形影像，以獲得具有第一骨架與第二骨架的手部骨架資訊。判斷第一骨架與第二骨架是否具有交點。若是，則繼續判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。當夾角在第一預設角度範圍內，則據以輸出控制訊號。

在本發明之一實施例中，上述之手勢辨識與控制方法更包括依據交點在第一骨架中的位置來計算第一比例值，並依據交點在第二骨架中的位置來計算第二比例值。當第一比例值與第二比例值的至少其中之一小於第一臨界值，則輸出用以表示暫停功能的暫停控制訊號。當第一比例值與第二比例值皆屬於預設比例區間之內，則輸出用以表示停止功能的停止控制訊號。

在本發明之一實施例中，其中當第一骨架與第二骨架不具有交點，則上述之手勢辨識與控制方法更包括判斷第一骨架與第二骨架之延伸線上是否具有延伸交點。若是，則判斷延伸交點的夾角是否在第二預設角度範圍內。當延伸交點的夾角在第二預設角度範圍內，則據以輸出另一控制訊號。

在本發明之一實施例中，上述之手勢辨識與控制方法更包括計算第一骨架與第二骨架之中點連線長度。並依據此中點連線長度的變化，據以產生對應的另一控制訊號。

在本發明之一實施例中，上述之依據中點連線長度的變化，據以輸出對應的另一控制訊號的步驟包括當中點連線長度增加時，輸出用以表示提高音量功能的第一音量控制訊號；當中點連線長度縮小時，輸出用以表示降低音量功能的第二音量控制訊號。

本發明另提出一種手勢辨識與控制方法，包括下列步驟。先擷取具有深度資訊的待處理影像。接著採用斑點偵測（Blob detection）法分析此待處理影像，據以判斷待處理影像的連通域個數。當連通域個數為二個，則分析待處理影像之第一連通域之第一重心位置與第二連通域之第二重心位置。並且依據第一與第二重心位置之間的重心連線長度的變化，據以輸出對應的控制訊號。

本發明又提出一種手勢辨識與控制裝置，其包括影像擷取單元、儲存單元以及處理單元。其中，影像擷取單元用以擷取具有深度資訊的待處理影像，此待處理影像包括人形影像。儲存單元用以儲存待處理影像以及電腦可讀寫軟體。處理單元用以執行電腦可讀寫軟體的複數個指令，其中此些指令包括：分析人形影像，以獲得具有第一骨架與第二骨架的手部骨架資訊。判斷第一骨架與第二骨架是否具有交點。若是，判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。當夾角在第一預設角度範圍內，則據以輸出控制訊號。

基於上述，本發明所提供之手勢辨識與控制方法及其裝置直接藉由分析手部骨架資訊來直接輸出控制訊號至多媒體影音裝置，以使多媒體影音裝置直接根據此控制訊號執行預設程式。如此一來，利用手勢操控達到類似快捷鍵的功能，減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的步驟。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明一實施例所繪示之手勢辨識與控制裝置的方塊圖。請參照圖1，在一實施例中，手勢辨識與控制裝置100例如可透過有線或無線的方式連結至具有顯示螢幕的多媒體影音裝置（未繪示），多媒體影音裝置例如是智慧型電視。在另一實施例中，手勢辨識與控制裝置100例如是內嵌整合於多媒體影音裝置之內部。舉例來說，手勢辨識與控制裝置100例如是機上盒（Set-top box，STB）而可外接於智慧型電視。手勢辨識與控制裝置100負責接收並辨別使用者的手勢變化，據以產生相對應的控制訊號，並且將控制訊號傳送至智慧型電視，以控制智慧型電視執行對應於手勢的預設程式。如此一來，便能減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的繁雜步驟。

以下針對手勢辨識與控制裝置100進行說明。手勢辨識與控制裝置100包括影像擷取單元110、儲存單元120以及處理單元130。其功能分述如下：

影像擷取單元110包括深度攝影機，而可用以擷取二維（two-dimensional，2D）影像以及三維（three-dimensional，3D）影像。深度攝影機可用以判斷物體與攝影機之間的距離，進而得出拍攝畫面中物體遠近的深度影像（depth image），或稱為深度圖（depth map）。深度影像為一種採用灰階值0～255來表示距離資料的影像，而可將對應的2D影像立體化，因此，3D影像係為二維影像加上深度影像資訊，稱為「2D＋D」（2D＋Depth）。深度攝影機例如是時差測距（Time-of-flight）攝影機、立體視覺（Stereo vision）深度攝影機、雷射斑點（Laser speckle）攝影機或雷測追蹤（Laser tracking）攝影機等，不限於上述。

儲存單元120可為任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置，而可用以儲存電腦可讀寫軟體、影像及其他資訊。

處理單元130例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）等裝置，而可用以載入電腦可讀寫軟體以執行複數個指令。

圖2是依照本發明一實施例所繪示之手勢辨識與控制方法的流程圖。本實施例的方法適用於圖1的手勢辨識與控制裝置100。在本實施例中，手勢辨識與控制裝置100例如耦接至智慧型電視。以下即搭配手勢辨識與控制裝置100中的各構件說明本實施例的詳細步驟：

在步驟S210中，影像擷取單元110擷取具有深度資訊的待處理影像，待處理影像包括人形影像。其中，影像擷取單元110例如可同時或先後拍攝二維影像以及三維影像。

於步驟S220，處理單元130分析人形影像，以獲得具有第一骨架與第二骨架的手部骨架資訊。在此步驟中，處理單元130至少可採用兩種不同的分析方法來取得手部骨架資訊，手部骨架資訊例如包括手部骨架的長度、形狀、對應於待處理影像中的座標位置、深度資訊等，不限於上述。其中，處理單元130如何利用人形影像來取得手部骨架資訊的分析方法容後詳述。

取得手部骨架資訊之後，便可接續步驟S230，處理單元130依據手部骨架資訊來判斷第一骨架與第二骨架是否具有交點。舉例來說，圖3（a）至圖3（c）繪示為第一種至第三種手部骨架的簡單示意圖。請參照圖3（a），手部骨架310包括第一骨架312以及第二骨架314，其分別對應至人形影像的左手與右手，其中，第一骨架312與第二骨架314具有一個交點N1。同理，請參照圖3（b），手部骨架320包括第一骨架322以及第二骨架324，且具有一個交點N2。再請參照圖3（c），手部骨架330包括第一骨架332以及第二骨架334，手部骨架330並未具有交點。

若第一骨架與第二骨架具有交點，則接續步驟S240；若第一骨架與第二骨架不具有交點，則接續步驟S260。

在步驟S240中，處理單元130繼續判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。詳細地說，第一骨架與第二骨架所形成的夾角例如可預設為開口向下的夾角，且第一預設角度範圍例如設定為80度~100度，但不限於此，其可由本領域具通常知識者依據實際應用情況設定之。以圖3（a）為例，處理單元130例如可判斷第一骨架312與第二骨架314所形成的夾角θ1是否在80度~100度範圍內。以圖3（b）為例，處理單元130例如可判斷第一骨架322與第二骨架324所形成的夾角θ2是否在80度~100度範圍內。

當夾角在第一預設角度範圍內，則接續步驟S250，處理單元130依據交點所在位置的比例值，據以輸出控制訊號。詳細地說，處理單元130先依據交點在第一骨架中的位置來計算第一比例值，並依據交點在第二骨架中的位置來計算第二比例值。當第一比例值與第二比例值的至少其中之一小於第一臨界值，則輸出用以表示暫停功能的暫停控制訊號。當第一比例值與第二比例值皆屬於預設比例區間之內，則輸出用以表示停止功能的停止控制訊號。其中，第一臨界值例如可設定為0.2；預設比例區間R1例如設定為0.3≦R1≦0.7。

圖4（a）是圖3（a）的手部骨架放大示意圖。請參照圖4（a），處理單元130會先以端點A為起點計算端點A與交點N1之間的長度，並除以端點A、B之間的長度，以計算第一比例值。在本實施例中，第一比例值例如為0.3。此外，處理單元130再以端點C為起點計算端點C與交點N1之間的長度，並除以端點C、D之間的長度，以計算第二比例值。在本實施例中，第二比例值例如為0.05。假設在本實施例中，第一臨界值設定為0.2，處理單元130判斷第二比例值小於第一臨界值，因此輸出用以表示暫停功能的暫停控制訊號至智慧型電視。智慧型電視在接收到此暫停控制訊號之後，便可直接執行暫停播放的指令。

圖4（b）是圖3（b）的手部骨架放大示意圖。請參照圖4（b），處理單元130會先以端點E為起點計算端點E與交點N2之間的長度，並除以端點E、F之間的長度，以計算第一比例值。在本實施例中，第一比例值例如為0.45。此外，處理單元130再以端點G為起點計算端點G與交點N2之間的長度，並除以端點G、H之間的長度，以計算第二比例值。在本實施例中，第二比例值例如為0.5。假設在本實施例中，預設比例區間R1設定為0.3≦R1≦0.7，處理單元130判斷第一比例值與第二比例值皆屬於預設比例區間R1之內，因此輸出用以表示停止功能的停止控制訊號至智慧型電視。智慧型電視在接收到此停止控制訊號之後，便可直接執行停止播放的指令。

再回到圖2之步驟S230，若處理單元130判斷第一骨架與第二骨架不具有交點，則接續步驟S260，處理單元130判斷第一骨架與第二骨架之延伸線上是否具有延伸交點。由於使用者所執行的平行操作手勢可能會有些微差距，並非剛好完全平行。因此若第一骨架與第二骨架之延伸線上具有延伸交點，則處理單元130進一步判斷延伸交點所形成的夾角是否在第二預設角度範圍內，第二預設角度範圍例如是10度~-10度範圍內（步驟S270）。倘若延伸交點所形成的夾角在第二預設角度範圍之內，則處理單元130仍判定為平行操作手勢而接續步驟S280。若延伸交點所形成的夾角不在第二預設角度範圍之內，則回到步驟S210，重新擷取待處理影像。

在步驟S280中，處理單元130計算第一骨架與第二骨架之中點連線長度，並依據此中點連線長度的變化，據以產生對應的控制訊號。舉例來說，當中點連線長度增加時，處理單元130輸出用以表示提高音量功能的第一音量控制訊號至智慧型電視；當中點連線長度縮小時，輸出用以表示降低音量功能的第二音量控制訊號至智慧型電視。智慧型電視接收到音量控制訊號則對應執行提高音量或降低音量的指令。

至於提高音量或降低音量的多寡亦可由中點連線長度來進行控制，以下將以圖5（a）至圖5（c）來說明如何利用中點連線長度來對應控制音量調節幅度。圖5（a）至圖5（c）繪示為第一骨架與第二骨架之中點連線長度的變化示意圖。

倘若處理單元130判斷第一骨架與第二骨架之中點連線長度由圖5（a）轉換至圖5（b），也就是圖5（a）之中點連線長度d1縮小為圖5（b）之中點連線長度d2。在一實施例中，若使用者的雙手距離保持不變，也就是中點連線長度持續維持在圖5（b）的中點連線長度d2，則處理單元130可輸出代表持續降低音量的音量控制訊號，直至使用者的雙手結束平行調控姿勢。在另一實施例中，處理單元130可經由事先預設的中點連線長度與音量控制的對應關係來輸出音量控制訊號。舉例來說，若中點連線長度為100公分時對應至音量100%，中點連線長度為50公分時對應至音量50%，依此類推。依據中點連線長度的比例關係來對應調整音量。在又一實施例中，當中點連線長度由圖5（a）轉換至圖5（b）時，處理單元130可輸出縮小一格音量的音量控制訊號；當中點連線長度由圖5（a）轉換至圖5（c）時，處理單元130可輸出提高一格音量的音量控制訊號。由中點連線長度來調節音量的方式不限於上述，可以對於實際的需求而酌予變更上述實施例的內容。

接下來則舉例說明在圖2的步驟S220中，處理單元130如何利用人形影像來取得手部骨架資訊的兩種分析方法。

第一種分析方法主要是利用人臉辨識技術來進行分析。詳細地說，處理單元130先利用影像擷取單元110所取得的二維影像進行人臉偵測，以判斷人臉在二維影像中的位置資訊，並將此位置資訊儲存於儲存單元120。接著，處理單元130根據二維影像中的人臉位置資訊來對應至三維影像，藉以從三維影像中取得人臉位置的深度資訊。然後，處理單元130便可利用人臉位置的深度資訊為基準，輔以找出預設深度區間的雙手影像，預設深度區間可由本領域具通常知識者依實際應用情況設定之。舉例來說，由於使用者的雙手通常會位於使用者臉部的前方，因此，預設深度區間例如可設定為人臉位置的深度往深度較淺的方向的一段深度區間。處理單元130找出預設深度區間的雙手影像之後，便可根據雙手影像獲得雙手的手部骨架資訊。

第二種分析方法主要是利用全身骨架技術來進行分析。詳細地說，處理單元130例如可直接利用影像擷取單元110所擷取的三維影像找出人形的全身骨架，接著，處理單元130再根據全身骨架來找出雙手的手部骨架資訊。舉例來說，處理單元130可先尋找全身骨架的預設特徵，據以判斷為雙手骨架，預設特徵例如設定為由一端點起算第某節的骨架，預設特徵可由本領域具通常知識者依實際應用情況設定之。

圖6是依照本發明另一實施例所繪示之手勢辨識與控制方法的流程圖。本實施例的方法亦適用於圖1的手勢辨識與控制裝置100，以下請配合參照圖6與圖1：

在步驟S610中，影像擷取裝置110擷取具有深度資訊的待處理影像。於步驟S620，處理單元130採用斑點偵測（Blob detection）法分析待處理影像，據以判斷待處理影像的連通域個數。舉例來說，圖7（a）至圖7（c）是依照本發明另一實施例所繪示之連通域個數的示意圖。圖7（a）之待處理影像710具有第一連通域b1以及第二連通域b2；圖7（b）與圖7（c）之待處理影像720以及730則僅具有一個連通域。

於步驟S630，當連通域個數為二個，則處理單元130分析待處理影像之第一連通域b1之第一重心位置與第二連通域b2之第二重心位置。接著，在步驟S640中，依據第一重心位置以及第二重心位置之間的重心連線長度的變化，據以輸出對應的控制訊號。舉例來說，當重心連線長度增加時，處理單元130輸出用以表示提高音量功能的第一音量控制訊號；當重心連線長度縮小時，輸出用以表示降低音量功能的第二音量控制訊號。步驟S640類似於前一實施例之步驟S280，因此利用重心連線長度來控制提高音量或降低音量的多寡的詳細步驟相同或類似於前一實施例之中點連線長度之說明，在此不贅述。

回到圖6之步驟S620，當連通域個數為一個，則接續步驟S650，處理單元130分析待處理影像，以獲得具有第一骨架與第二骨架的手部骨架資訊。由於已知連通域個數為一個，對應圖7（b）與圖7（c）所示，第一骨架與第二骨架一定會產生交點。故在本實施例中，可省略判斷第一骨架與第二骨架是否具有交點的步驟。接續步驟S660，處理單元130直接判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。此步驟例如可用來濾除連通域個數為一個但僅為單一手掌之手勢操作。若步驟S660判斷為否，則回到步驟S610。當夾角在第一預設角度範圍內，則接續步驟S670，處理單元130依據交點所在位置的比例值，據以輸出控制訊號。其中，控制訊號例如包括用以表示暫停功能的暫停控制訊號或是用以表示停止功能的停止控制訊號。本實施例之步驟S650、S660、S670相同或類似於前一實施例之步驟S220、S240、S250，故在此不重複贅述。

本實施例與前述實施例不同的地方在於先利用斑點偵測法來快速判斷待處理影像中的連通域個數，若連通域個數為二個，則可直接判定使用者的雙手進行平行手勢操控，而可直接分析連通域的重心之距離變化進而輸出控制訊號。藉此可省略部份分析手部骨架資訊的運算，減少辨別手勢操控的所需時間。

綜上所述，本發明利用深度資訊以及相應的人體骨架偵測功能，便能省去許多現有手勢辨識所需的步驟，例如節省消除背景以及減少需要過濾的雜訊，從而減少辨識手勢所需花費的時間。並且，直接藉由分析手部骨架資訊來直接輸出控制訊號至多媒體影音裝置，以使多媒體影音裝置直接根據此控制訊號執行預設程式。如此一來，利用手勢操控達到類似快捷鍵的功能，減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的步驟，以達到更為方便且迅速的即時人機互動。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧手勢辨識與控制裝置
110‧‧‧影像擷取單元
120‧‧‧儲存單元
130‧‧‧處理單元
310、320、330‧‧‧手部骨架
312、322、332‧‧‧第一骨架
314、324、334‧‧‧第二骨架
710、720、730‧‧‧待處理影像
A~H‧‧‧骨架端點
d1、d2、d3‧‧‧中點連線長度
b1‧‧‧第一連通域
b2‧‧‧第二連通域
S210~S280‧‧‧一實施例之手勢辨識與控制方法的各步驟
S610~S670‧‧‧另一實施例之手勢辨識與控制方法的各步驟

圖1是依照本發明一實施例所繪示之手勢辨識與控制裝置的方塊圖。圖2是依照本發明一實施例所繪示之手勢辨識與控制方法的流程圖。圖3（a）至圖3（c）繪示為第一種至第三種手部骨架的簡單示意圖。圖4（a）是圖3（a）的手部骨架放大示意圖。圖4（b）是圖3（b）的手部骨架放大示意圖。圖5（a）至圖5（c）繪示為第一骨架與第二骨架之中點連線長度的變化示意圖。圖6是依照本發明另一實施例所繪示之手勢辨識與控制方法的流程圖。圖7（a）至圖7（c）是依照本發明另一實施例所繪示之連通域個數的示意圖。

S610~S670‧‧‧手勢辨識與控制方法的各步驟

Claims

一種手勢辨識與控制方法，包括：擷取具有深度資訊的一待處理影像；採用一斑點偵測法分析該待處理影像，據以判斷該待處理影像的一連通域個數；當該連通域個數為二個，分析該待處理影像之一第一連通域之一第一重心位置與一第二連通域之一第二重心位置；以及依據該第一與該第二重心位置之間的一重心連線長度的變化，據以輸出對應的一控制訊號。
如申請專利範圍第1項所述的手勢辨識與控制方法，其中依據該重心連線長度的變化，據以輸出對應的該控制訊號的步驟包括：當該重心連線長度增加時，輸出用以表示提高音量功能的一第一音量控制訊號；以及當該重心連線長度縮小時，輸出用以表示降低音量功能的一第二音量控制訊號。
如申請專利範圍第1項所述的手勢辨識與控制方法，其中當該連通域個數為一個，該手勢辨識與控制方法更包括：分析該待處理影像中的一人形影像，以獲得具有一第一骨架與一第二骨架的一手部骨架資訊；判斷該第一骨架與該第二骨架是否具有一交點；若是，判斷該第一骨架與該第二骨架所形成的一夾角是否在一第一預設角度範圍內；以及當該夾角在該第一預設角度範圍內，據以輸出另一控制訊號。
如申請專利範圍第3項所述的手勢辨識與控制方法，更包括：計算該交點之位置在該第一骨架中的一第一比例值，並計算該交點之位置在該第二骨架中的一第二比例值；當該第一比例值與該第二比例值的至少其中之一小於一第一臨界值，輸出用以表示暫停功能的一暫停控制訊號；以及當該第一比例值與該第二比例值皆屬於一預設比例區間之內，輸出用以表示停止功能的一停止控制訊號。
一種手勢辨識與控制裝置，包括：一影像擷取單元，擷取具有深度資訊的一待處理影像；一儲存單元，儲存該待處理影像以及一電腦可讀寫軟體；以及一處理單元，執行該電腦可讀寫軟體的複數個指令，其中該些指令包括：採用一斑點偵測法分析該待處理影像，據以判斷該待處理影像的一連通域個數；當該連通域個數為二個，分析該待處理影像之一第一連通域之一第一重心位置與一第二連通域之一第二重心位置；以及依據該第一與該第二重心位置之間的一重心連線長度的變化，據以輸出對應的一控制訊號。
如申請專利範圍第5項所述之手勢辨識與控制裝置，其中該處理單元執行的該些指令更包括：當該重心連線長度增加時，輸出用以表示提高音量功能的一第一音量控制訊號；以及當該重心連線長度縮小時，輸出用以表示降低音量功能的一第二音量控制訊號。
如申請專利範圍第5項所述之手勢辨識與控制裝置，其中當該連通域個數為一個，該處理單元執行的該些指令更包括：分析該待處理影像中的一人形影像，以獲得具有一第一骨架與一第二骨架的一手部骨架資訊；判斷該第一骨架與該第二骨架是否具有一交點；若是，判斷該第一骨架與該第二骨架所形成的一夾角是否在一第一預設角度範圍內；以及當該夾角在該第一預設角度範圍內，據以輸出另一控制訊號。
如申請專利範圍第7項所述之手勢辨識與控制裝置，其中該處理單元執行的該些指令更包括：計算該交點之位置在該第一骨架中的一第一比例值，並計算該交點之位置在該第二骨架中的一第二比例值；當該第一比例值與該第二比例值的至少其中之一小於一第一臨界值，輸出用以表示暫停功能的一暫停控制訊號；以及當該第一比例值與該第二比例值皆屬於一預設比例區間之內，輸出用以表示停止功能的一停止控制訊號。