TW201416911A - 手勢辨識方法與電子裝置 - Google Patents

手勢辨識方法與電子裝置 Download PDF

Info

Publication number
TW201416911A
TW201416911A TW101140343A TW101140343A TW201416911A TW 201416911 A TW201416911 A TW 201416911A TW 101140343 A TW101140343 A TW 101140343A TW 101140343 A TW101140343 A TW 101140343A TW 201416911 A TW201416911 A TW 201416911A
Authority
TW
Taiwan
Prior art keywords
hand
gesture
concentric circles
vector
feature vector
Prior art date
Application number
TW101140343A
Other languages
English (en)
Other versions
TWI475422B (zh
Inventor
Wen-Yung Chang
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Priority to TW101140343A priority Critical patent/TWI475422B/zh
Priority to CN201210471826.7A priority patent/CN103793683B/zh
Priority to US13/688,215 priority patent/US9256777B2/en
Publication of TW201416911A publication Critical patent/TW201416911A/zh
Application granted granted Critical
Publication of TWI475422B publication Critical patent/TWI475422B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種手勢辨識方法，適用於一電子裝置，辨識至少一手的一手勢，該方法包括：擷取該手的一手部影像，其中該手部影像包括一手部區域。計算該手部區域的一重心座標。以該重心座標為一圓心，於該手部影像上配置共一同心圓圈數的至少一同心圓圈。計算每一該些同心圓圈交會該手部區域的一交叉點數量，以決定該手勢的一特徵向量。根據該特徵向量，進行一手勢辨識，以辨識該手的該手勢。

Description

手勢辨識方法與電子裝置
本發明是有關於一種辨識方法與電子裝置，且特別是有關於一種手勢辨識方法與電子裝置。
傳統的人機互動介面為滑鼠、鍵盤和搖桿，隨著科技發展日新月異，近來觸控式螢幕也廣為採用於各項電子產品中，作為人機互動介面。為了使人機互動可以更加人性化，體感控制提供了一種全新的輸入方式，其中之一為手勢辨識，由於手勢是一種相當原始又自然的示意方式，在日常生活裡，手勢為人與人互動中常用的溝通方式之一。手勢辨識應用於人機介面設計、醫療復健、虛擬實境、數位藝術創作與遊戲設計等領域近來漸漸受到消費者的矚目。
辨識手勢的資訊主要有兩種：一是動態手勢，另一則是靜態手勢。動態手勢資訊包括手部移動軌跡、位置資訊與時序關係，靜態手勢資訊則主要為手形變化，藉由分析手勢資訊並根據不同的手勢，來達到人機互動的功能。手勢辨識的方法之一為透過使用攝影鏡頭與深度感應器將影像輸入電腦，每張影像必須做前置處理，如影像二值化和影像中背景的清除等等，再從一連串影像中擷取並分析出使用者手部位置及手勢等相關訊息。所以一般影像之前置處理需花費較長時間，以及所獲得之手勢特徵雜訊也較 高，對於要實現即時的人機互動有相當之挑戰。
本發明提供一種手勢辨識方法，可降低數據處理的複雜度。
本發明提供一種電子裝置，可提高人機互動的即時性。
本發明提出一種手勢辨識方法，適用於一電子裝置，辨識至少一手的一手勢，該方法包括：擷取該手的一手部影像，其中該手部影像包括一手部區域。計算該手部區域的一重心座標。以該重心座標為一圓心，於該手部影像上配置共一同心圓圈數的至少一同心圓圈。計算每一該些同心圓圈交會該手部區域的一交叉點數量，以決定該手勢的一特徵向量。根據該特徵向量，進行一手勢辨識，以辨識該手的該手勢。
在本發明之一實施例中，上述之手勢辨識方法，其中於該手部影像配置該些同心圓圈的步驟包括：以該重心座標至該手部影像中該手的一腕關節的一距離為一最大半徑。以該重心座標為該圓心以及該最大半徑所對應的一範圍內，等量配置該些同心圓圈，其中該最大半徑除以該同心圓圈數大於等於一。
在本發明之一實施例中，上述之手勢辨識方法，其中該特徵向量具有複數個分量值(component)，每一該些分量值分別對應該些同心圓圈其中之一，且每一該些同心圓圈 交會該手部區域的該交叉點數量，等於該特徵向量中相對應該同心圓圈的該分量值。
在本發明之一實施例中，上述之手勢辨識方法，其中該電子裝置具有一儲存裝置，該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一標準向量，而該手勢辨識包括：均分該特徵向量中的該些分量，以分別組成複數個次向量。計算每一該些次向量的一平均分量值。於該些次向量所分別對應的該些平均分量值中，取樣至少其中之一，以組成一平均向量。分別計算該平均向量與每一該些標準向量的一誤差值。根據該些誤差值，確認該手部影像所對應的該手勢。此外，均分該特徵向量中的該些分量的步驟包括：以該同心圓圈數的百分之二十為一均分基準，以將該特徵向量中的該些分量依序分群，以個別組成該次向量。
在本發明之一實施例中，上述之手勢辨識方法，其中該電子裝置具有一儲存裝置，該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一交叉點數量範圍，而該手勢辨識包括：根據該特徵向量，確認該些分量值中的一最大分量值。取樣該最大分量值所對應的該同心圓圈至一次大半徑所對應的該同心圓圈之間的所有該些同心圓圈，其中該次大半徑僅小於以該重心座標至該手部影像中該手的一腕關節的一最大半徑。將所取樣的該些同心圓圈所對應的該些分量值平均，以獲得一平均交叉點數量值。根據該儲存裝置所記錄的該些交叉點數量範圍，確認 該平均交叉點數量值落於該些交叉點數量範圍其中之一內。以所確認的該交叉點數量範圍對應的該標準手勢為該手部影像所對應的該手勢。
本發明另提出一種電子裝置，包括：一影像擷取裝置、一儲存裝置與一處理器。影像擷取裝置擷取至少一手的一手部影像，其中該手部影像包括一手部區域。儲存裝置儲存一電腦可讀寫軟體。處理器執行該電腦可讀寫軟體的複數個指令，其中該些指令包括：計算該手部區域的一重心座標。以該重心座標為一圓心，於該手部影像上配置共一同心圓圈數的至少一同心圓圈。計算每一該些同心圓圈交會該手部區域的一交叉點數量，以決定該手勢的一特徵向量。根據該特徵向量，進行一手勢辨識，以辨識該手的該手勢。
在本發明之一實施例中，上述之電子裝置，其中於該手部影像配置該些同心圓圈的指令還包括：以該重心座標至該手部影像中該手的一腕關節的一距離為一最大半徑。以該重心座標為該圓心以及該最大半徑所對應的一範圍內，等量配置該些同心圓圈，其中該最大半徑除以該同心圓圈數大於等於一。
在本發明之一實施例中，上述之電子裝置，其中該特徵向量具有複數個分量值(component)，每一該些分量值分別對應該些同心圓圈其中之一，且每一該些同心圓圈交會該手部區域的該交叉點數量，等於該特徵向量中相對應該同心圓圈的該分量值。
在本發明之一實施例中，上述之電子裝置，其中該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一標準向量，而該手勢辨識的指令還包括：均分該特徵向量中的該些分量，以分別組成複數個次向量。計算每一該些次向量的一平均分量值。於該些次向量所分別對應的該些平均分量值中，取樣至少其中之一，以組成一平均向量。分別計算該平均向量與每一該些標準向量的一誤差值。根據該些誤差值，確認該手部影像所對應的該手勢。此外，均分該特徵向量中的該些分量的指令包括：以該同心圓圈數的百分之二十為一均分基準，以將該特徵向量中的該些分量依序分群，以個別組成該次向量。
在本發明之一實施例中，上述之電子裝置，其中該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一交叉點數量範圍，而該手勢辨識的指令還包括：根據該特徵向量，確認該些分量值中的一最大分量值。於該最大分量值所對應的該同心圓圈至一次大半徑所對應的該同心圓圈之間的所有該些同心圓圈，其中該次大半徑僅小於以該重心座標至該手部影像中該手的一腕關節的一最大半徑。將所取樣的該些同心圓圈所對應的該些分量值平均，以獲得一平均交叉點數量值。根據該儲存裝置所記錄的該些交叉點數量範圍，確認該平均交叉點數量值落於該些交叉點數量範圍其中之一內。以所確認的該交叉點數量範圍對應的該標準手勢為該手部影像所對應的該手勢。
基於上述，本發明以在手勢的手部區域上配置同心圓 圈，藉由同心圓圈與手部區域的交叉點數量，對應出實際手勢的特徵向量。之後，更藉由特徵向量辨識出此手勢。相較於習知在手部區域上計算出中心點至手部區域邊緣的360個方位上的最遠距離，並根據這些數據取得手勢的特徵，本發明以特徵向量代表手勢的特徵可簡化數據處理的複雜度，並可提高人機互動的即時性。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1繪示為根據本發明一實施例的一種手勢辨識方法流程簡圖。請參照圖1，本實施例適用於以一電子裝置辨識至少一手的手勢。於步驟S101中，擷取手的一手部影像，其中手部影像包括一手部區域。更明確的說，擷取手的手部影像之後，還進行一影像處理(包括讀取手部影像的深度影像(depth image)，調整深度影像之對比、去除背景以及辨識手部資訊等)，以分析出手部影像的手部區域。
之後，於步驟S105中，進行一手部特徵運算，以獲得手勢的一特徵向量。繼之，於步驟S115中，根據所獲得的特徵向量，進行一手勢辨識，以辨識手的手勢。
以下將以一實施例描述上述步驟S105中的手部特徵運算。圖2繪示為根據本發明一實施例的一種手部特徵運算流程簡圖。請參照圖2，於步驟S201中，計算手部區域的一重心座標。舉例而言，在分析出手部區域的一二值圖 之後，首先計算手部區域的重心座標c(xc,yc)(如圖3B所示的手部區域重心c)。當手部區域的二值圖解析度為n×m(如圖3B所示)，則根據公式一計算手部區域的面積A。
其中公式一的i代表二值圖解析度之寬度，j代表二值圖解析度之長度，b(i,j)代表_二值圖中每個像素之值，若是在手部區域上則像素值為1，不在手部區域上則像素值為為0。
之後，根據公式二計算手部區域的重心在X軸的座標xc，且根據公式二計算手部區域的重心在Y軸的座標yc之計算如公式三。
之後，於步驟S205中，以重心座標c(xc,yc)為一圓心，於手部影像上配置至少一同心圓圈。換句話說，例如是配置總共為同心圓圈數的同心圓圈於手部影像上。如圖3B所示，手部影像308上配置五個同心圓圈(包括310a、310b、310c、310d與310e)。
接著，於步驟S211中，計算每一同心圓圈交會手部區域的交叉點數量，以決定手勢的特徵向量。值得注意的是，此特徵向量具有複數個分量值(component)，每一分量 值分別對應同心圓圈其中之一。更明確的說，每一同心圓圈交會該手部區域的交叉點數量，即是特徵向量中相對應此同心圓圈的該分量值。換句話說，沿著遠離手部區域重心c的方向，每一同心圓圈交會手部區域的交叉點數量作為分量值，以組成此手勢的特徵向量。另外，當同心圓圈的數量為k時，則經由計算每一同心圓圈交會手部區域的交叉點數量而決定的手勢的特徵向量則為一k維度的特徵向量。如圖3B所示，手部影像308上配置五個同心圓圈，則此手勢的特徵向量為一五維度特徵向量。
再者，每一同心圓圈與手部區域的交叉點數量的方法例如是沿著一固定方向(順時針方向或逆時針方樣)依序分析同心圓圈的像素，並且比對兩兩相鄰的像素，當相鄰兩像素不同時，則確認此兩相鄰像素為同心圓圈與手部區域的一交叉點。
以下將以一實施例描述上述步驟S205的於手部影像配置同心圓圈的流程。圖3A繪示為根據本發明一實施例的於手部影像上配置心圓的流程簡圖。圖3B繪示為根據本發明一實施例的於手部影像上配置心圓的示意簡圖。請參照圖3A與圖3B，於步驟S301中，以重心座標c(xc,yc)至手部影像中手的一腕關節的一距離為一最大半徑。其中，確認手部影像中手的腕關節的位置，例如是以NITE軟體分析手部影像中的手的骨架而獲得的腕關節位置。於另一實施例中，確認上述最大半徑的方法還包括：以手部區域的具有解析度為n×m的二值圖中(如圖3B所示)，重 心座標c(xc,yc)至手部區域n×m二值圖的四邊的最長距離作為最大半徑。
之後，於步驟S305中，以重心座標c(xc,yc)為圓心以及最大半徑所對應的一範圍內，等量配置同心圓圈(包括圖3B的310a、310b、310c、310d與310e)。值得注意的是，最大半徑除以同心圓圈數大於等於一。更明確的說，即是以最大半徑除以同心圓圈數，以獲得最接近重心座標c(xc,yc)的一最小同心圓圈的半徑(如圖3B的半徑d)，而其他同心圓圈從重心座標c(xc,yc)向外延伸，相鄰兩同心圓圈的半徑差值即是最小同心圓圈的半徑(如圖3B的半徑d)。
以下將以數個實施例搭配圖示，說明前述實施例的圖1中的手勢辨識流程。
圖4繪示為根據本發明一實施例的一種手勢辨識流程簡圖。請參照圖4，本實施例的手勢辨識方法適用於電子裝置，其還配備有一儲存裝置，用以記錄複數個標準手勢以及每一標準手勢所分別對應的一標準向量。請參照圖4，於本實施例中，一手部區域上有n(其中n為正整數)個同心圓圈，而從最小半徑所對應的同心圓圈至最大半徑所對應的同心圓圈之間，每個同心圓圈與手部區域的交叉點數量所組成的特徵向量為(X1,X2,…,Xn)。再者，上述特徵向量(X1,X2,…,Xn)中，X1為最小半徑同心圓圈與手部區域的交叉點數量(以向量的觀點，則X1為特徵向量中的分量之一)，而以此類推，Xn為最大半徑同心圓圈與手部區域的交叉點數量(以向量的觀點，則Xn為特徵向量中的 分量之一)。於本實施例的步驟S405中，均分此特徵向量中的分量，以分別組成數個次向量。例如以所有同心圓圈數量的百分之二十的數量為均分基準，將特徵向量的分量從X1至Xn依序分群成以組成五個次向量。也就是每組次向量中的分量的數量等於同心圓圈數量的百分之二十的數量。
更明確的說，從零圈(亦即同心圓圈圓心)至第20%的同心圓圈數量所分別對應的分量，組成第一次向量(X1,...,Xn/5)，若n/5非整數則取小於n/5之最大整數。以此類推，第20%的同心圓圈數量至40%的的同心圓圈數量所分別對應的分量，組成第二次向量(Xn/5+1,...,X2n/5)、第40%的同心圓圈數量至60%的的同心圓圈數量所分別對應的分量，組成第三次向量(X2n/5+1,...,X3n/5)、第60%的同心圓圈數量至80%的的同心圓圈數量所分別對應的分量，組成第四次向量(X3n/5+1,...,X4n/5)以及第80%的同心圓圈數量至100%的的同心圓圈數量所分別對應的分量，組成第五次向量(X4n/5+1,...,Xn)。
於步驟S411，分別計算每組次向量中分量的平均值(亦即平均分量值)。以上述五組次向量為例，分別計算上述五組次向量中分量的個別平均分量值Y1、Y2、Y3、Y4以及Y5。而各個次向量的平均分量值的等式1-5分別如下：
，i為正整數(等式1)
，i為正整數(等式2)
，i為正整數(等式3)
，i為正整數(等式4)
，i為正整數(等式5)
於步驟S415中，於所有次向量所對應的平均分量值中，取樣至少一個平均分量值組成一平均向量。以上述五組次向量為例，例如取樣最後三組次向量的平均分量值組合成一三維平均向量(Y3,Y4,Y5)。之後，於步驟S421中，以歐式距離公式，分別計算平均向量與儲存裝置中所記錄的標準手勢所分別對應的標準向量的一誤差值d。亦即計算平均向量與各個標準向量之間的歐式距離。以點x(x1,...,xn)和點y(y1,...,yn)之間的距離為例，依照歐式距離公式(等式6)計算出空間中點x與點y之間的距離為：
於步驟S425中，根據所計算出的平均向量與每一標準向量的誤差值，確認手部影像所對應的手勢。於一實施例中，上述確認手部影像所對應的手勢的方法，例如是當所計算出的平均向量與標準向量其中之一的誤差值/歐式距離小於一預設值(例如是介於正負二的一預設範圍內)時，則此標準向量所對應的標準手勢，即是此平均向量所對應的手勢。於又一實施例中，上述確認手部影像所對應的手勢的方法，例如是比較計算出的平均向量與每一標準向量的誤差值/歐式距離，當平均向量與標準向量其中之一的誤差值/歐式距離為最小時，此標準向量所對應的標準手勢，即是此平均向量所對應的手勢。
上述實施例所描述的手勢辨識方法中的從手部區域上的同心圓圈與手部區域的個別交叉點數量所組成的特徵 向量，直至計算出平均值向量與每一標準向量的誤差值等步驟，以下將以圖6的範例實施例作更進一步的說明。圖6繪示為根據本發明又一實施例的交叉點數量與同心圓圈數的關係圖。以配置同心圓圈總數為八的圖6為例，其由最內圈同心圓圈1(亦即最小半徑同心圓圈)至最外圈同心圓圈8(亦即最大半徑同心圓圈)的手勢的特徵向量，例如是(0,0,6,10,10,8,6,0)。
之後，圖6中最小半徑同心圓圈分量值為0所對應的同心圓圈1為例，則在同心圓圈1(亦即最內圈同心圓圈，也就是最小半徑所對應的同心圓圈)至同心圓圈8(亦即最外圈同心圓圈，也就是最大半徑所對應的同心圓圈)之間分群特徵向量中的分量成數等分(圖4的步驟S405)。例如是從最小半徑所對應的同心圓圈至最大半徑所對應的同心圓圈，依序以20%的同心圓圈數分群所有的同心圓圈。更明確的說，請參照圖6，8圈同心圓圈數的20%是為1.6圈。因此將特徵向量中的分量依序每1.6圈分成一組次向量。
接著，計算每一次向量的平均分量值。以圖6所對應的手勢的特徵向量(0,0,6,10,10,8,6,0)為例，同心圓圈0至1.6的平均分量值為0，同心圓圈1.7至3.2的平均分量值為3，同心圓圈3.3至4.8的平均分量值為10，同心圓圈4.9至6.4的平均分量值為9，同心圓圈6.5至8的平均分量值為3(圖4的步驟S411)。於此實施例中，取最後三個次向量的平均分量值組成的平均向量為(10,9,3)(圖4的步驟S415)。之後，分別計算平均向量與儲存裝置中所記 錄的每一標準向量之間的誤差值(亦及歐式距離)(圖4的步驟S421)。
圖5繪示為根據本發明又一實施例的一種手勢辨識流程簡圖。請參照圖5，本實施例的手勢辨識方法適用於電子裝置，其還配備有一儲存裝置，用以記錄複數個標準手勢以及每一標準手勢所分別對應的一交叉點數量範圍。於步驟S501中，根據特徵向量，確認特徵向量中的分量值中的最大分量值。舉例而言，當手部區域上配置有n(n為自然數)個同心圓圈，而同心圓圈分別與手部區域的交叉點數量所組成的特徵向量為(X1,X2,…,Xn)。其中，X1為最小半徑同心圓圈與手部區域的交叉點數量，而以此類推，Xn為最大半徑同心圓圈與手部區域的交叉點數量。因此，於特徵向量(X1,X2,…,Xn)中依序從X1至Xn，確認第一個最大分量值。也就是當最大分量值不止一個時，則根據X1至Xn的順序中，確認排在最靠近X1的最大分量值為最後的最大分量值。換句話說，當特徵向量(X1,X2,…,Xn)中的最大分量值有三個，分別是Xi、Xj以及Xk，其中i、j與k分別代表分量Xi、Xj以及Xk在X1至Xn中的順序，也就是i、j與k均為自然數且大於等於1並小於等於n，而且i小於j，且j小於k。因此則Xi即為特徵向量(X1,X2,…,Xn)中的最大分量值。
於步驟S505中，於該最大分量值所對應的該同心圓圈至次大半徑所對應的該同心圓圈之間，取樣所有同心圓圈。上述的次大半徑例如是數值僅次於最大半徑的半徑大 小。亦即次大半徑僅小於以重心座標至手部影像中手的一腕關節的一最大半徑。更明確的說，次大半徑所對應的同心圓圈所圍出的圓形面積，僅次於最大半徑所對應的同心圓圈所圍出的圓形面積。舉例而言，以前述具有最大分量值Xi的特徵向量(X1,X2,…,Xn)為例，則取樣Xi至Xn-1之間的所有同心圓圈(也就是取樣Xi至Xn-1)。
之後，於步驟S511中，將所取樣的同心圓圈所分別對應的分量值平均，以獲得一平均交叉點數量值。舉例而言，以前述具有最大分量值Xi的特徵向量(X1,X2,…,Xn)為例，計算Xi至Xn-1之平均值Y的等式7如下所示：
於步驟S515中，根據儲存裝置所記錄的交叉點數量範圍，確認平均交叉點數量值落於交叉點數量範圍其中之一內。於步驟S521中，以所確認的交叉點數量範圍對應的標準手勢為手部影像所對應的手勢。
以配置同心圓圈總數為八的圖6為例，請參照圖6，其手勢的特徵向量為(0,0,6,10,10,8,6,0)，而其中最大分量值為同心圓圈4所對應的分量值10(亦即交叉點數量10)(圖5的步驟S501)。之後，取樣同心圓圈4至同心圓圈7(亦即次大半徑所對應的同心圓圈)之間的所有同心圓圈所對應的分量值，其分別為10、10、8、6(圖5的步驟S505)， 而所取樣的分量值的平均值(亦即平均交叉點數量值)為8.5(也就是10、10、8、6的總和34除以4所得到的值)(圖5的步驟S511)。
再者，於本實施例中，儲存裝置所記錄的交叉點數量範圍包括：交叉點數量範圍為大於零且小於等於2時，則對應手勢a(請參照圖7的手勢a)、交叉點數量範圍為大於2且小於等於4時，則對應手勢b(請參照圖7的手勢b)、交叉點數量範圍為大於4且小於等於6時，則對應手勢c(請參照圖7的手勢c)、交叉點數量範圍為大於6且小於等於8時，則對應手勢d(請參照圖7的手勢d)、交叉點數量範圍為大於8且小於等於10時，則對應手勢e(請參照圖7的手勢e)與交叉點數量範圍為大於10且小於等於12時，則對應手勢f(請參照圖7的手勢f)。因此，圖6所計算出的平均交叉點數量值為8.5則落於手勢e所對應的交叉點數量範圍(大於8且小於等於10)(圖5的步驟S515)。因此手部區域所對應的手勢，即是手勢e(請參照圖7的手勢e)(圖5的步驟S521)。
本發明中，藉由統計所有同心圓圈與手部區域的交叉點數量來找出不同手勢間的特徵差異。舉例而言，請參照圖7的部分常用手勢簡圖(二值圖)，當手勢所使用較多手指數時(如手勢f為一般用來表示5的手勢)，則每一同心圓圈與手部區域的交叉點數量較多。而當手勢所使用的手指數較少(如手勢a)，則在特定同心圓上會產生較少的交叉點數量。此外，手勢c與手勢g，雖然都使用兩根手指頭 比出手勢，但由於手指的長短略有差異，所以在不同距離的圈數上也會產生不同的交叉點數量(以及會具有迥然不同的特徵向量)，故可藉此判斷出兩者間之差異。
本發明的手勢辨識方法亦可以藉由一電子裝置具體實行。以下以一實施例搭配圖示，描述執行本發明之手勢辨識方法的電子裝置。
圖8繪示為根據本發明一實施例的一種電子裝置的示意簡圖。請參照圖8，本實施例的電子裝置800包含一影像擷取裝置802、一儲存裝置804以及一處理器806。影像擷取裝置802，擷取至少一手的一手部影像。其中手部影像包括一手部區域，而獲得此手部區域的方法，已經於前述實施例中描述，因此不在此作贅述。儲存裝置804儲存一電腦可讀寫軟體。此外，儲存裝置804還記錄複數個標準手勢以及每一標準手勢所分別對應的一標準向量或每一標準手勢所分別對應的一交叉點數量範圍。處理器806執行電腦可讀寫軟體的複數個指令。這些指令包括進行手部特徵運算(步驟S105、步驟S201~S211、步驟S301~S305)以及進行手勢辨識(步驟S111、步驟S405~S425或步驟S501~S521)。處理器806執行的指令已經於前述實施例中詳述，因此不在此作贅述。
綜上所述，本發明以在手勢的手部區域上配置同心圓圈，藉由同心圓圈與手部區域的交叉點數量，對應出實際手勢的特徵向量。之後，更藉由特徵向量辨識出此手勢。相較於習知在手部區域上計算出中心點至手部區域邊緣的 360個方位上的最遠距離，並根據這些數據取得手勢的特徵，本發明以特徵向量代表手勢的特徵可簡化數據處理的複雜度，並可提高人機互動的即時性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S101~S111、S201~S211、S301~S305、S405~S425、S501~S521‧‧‧方法流程步驟
308‧‧‧手部影像
310a、310b、310c、310d、310e‧‧‧同心圓圈
c‧‧‧重心
d‧‧‧最小同心圓圈半徑
800‧‧‧電子裝置
802‧‧‧影像擷取裝置
804‧‧‧儲存裝置
806‧‧‧處理器
圖1繪示為根據本發明一實施例的一種手勢辨識方法流程簡圖。
圖2繪示為根據本發明一實施例的一種手部特徵運算流程簡圖。
圖3A繪示為根據本發明一實施例的於手部影像上配置心圓的流程簡圖。
圖3B繪示為根據本發明一實施例的於手部影像上配置心圓的示意簡圖。
圖4繪示為根據本發明一實施例的一種手勢辨識流程簡圖。
圖5繪示為根據本發明又一實施例的一種手勢辨識流程簡圖。
圖6繪示為根據本發明又一實施例的交叉點數量與同心圓圈數的關係圖。
圖7繪示為部份手勢簡圖。
圖8繪示為根據本發明一實施例的一種電子裝置的示意簡圖。
S101~S111‧‧‧方法流程步驟

Claims (12)

  1. 一種手勢辨識方法，適用於一電子裝置，辨識至少一手的一手勢，該方法包括：擷取該手的一手部影像，其中該手部影像包括一手部區域；計算該手部區域的一重心座標；以該重心座標為一圓心，於該手部影像上配置共一同心圓圈數的至少一同心圓圈；計算每一該些同心圓圈交會該手部區域的一交叉點數量，以決定該手勢的一特徵向量；以及根據該特徵向量，進行一手勢辨識，以辨識該手的該手勢。
  2. 如申請專利範圍第1項所述之手勢辨識方法，其中於該手部影像配置該些同心圓圈的步驟包括：以該重心座標至該手部影像中該手的一腕關節的一距離為一最大半徑；以及以該重心座標為該圓心以及該最大半徑所對應的一範圍內，等量配置該些同心圓圈，其中該最大半徑除以該同心圓圈數大於等於一。
  3. 如申請專利範圍第1項所述之手勢辨識方法，其中該特徵向量具有複數個分量值，每一該些分量值分別對應該些同心圓圈其中之一，且每一該些同心圓圈交會該手部區域的該交叉點數量，等於該特徵向量中相對應該同心圓圈的該分量值。
  4. 如申請專利範圍第3項所述之手勢辨識方法，其中該電子裝置具有一儲存裝置，該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一標準向量，而該手勢辨識包括：均分該特徵向量中的該些分量，以分別組成複數個次向量；計算每一該些次向量的一平均分量值；於該些次向量所分別對應的該些平均分量值中，取樣至少其中之一，以組成一平均向量；分別計算該平均向量與每一該些標準向量的一誤差值；以及根據該些誤差值，確認該手部影像所對應的該手勢。
  5. 如申請專利範圍第4項所述之手勢辨識方法，其中均分該特徵向量中的該些分量的步驟包括：以該同心圓圈數的百分之二十為一均分基準，以將該特徵向量中的該些分量依序分群，以個別組成該次向量。
  6. 如申請專利範圍第3項所述之手勢辨識方法，其中該電子裝置具有一儲存裝置，該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一交叉點數量範圍，而該手勢辨識包括：根據該特徵向量，確認該些分量值中的一最大分量值；取樣該最大分量值所對應的該同心圓圈至一次大半徑所對應的該同心圓圈之間的所有該些同心圓圈，其中該 次大半徑僅小於以該重心座標至該手部影像中該手的一腕關節的一最大半徑；將所取樣的該些同心圓圈所對應的該些分量值平均，以獲得一平均交叉點數量值；根據該儲存裝置所記錄的該些交叉點數量範圍，確認該平均交叉點數量值落於該些交叉點數量範圍其中之一內；以及以所確認的該交叉點數量範圍對應的該標準手勢為該手部影像所對應的該手勢。
  7. 一種電子裝置，包括：一影像擷取裝置，擷取至少一手的一手部影像，其中該手部影像包括一手部區域；一儲存裝置，儲存一電腦可讀寫軟體；一處理器，執行該電腦可讀寫軟體的複數個指令，其中該些指令包括：計算該手部區域的一重心座標；以該重心座標為一圓心，於該手部影像上配置共一同心圓圈數的至少一同心圓圈；計算每一該些同心圓圈交會該手部區域的一交叉點數量，以決定該手勢的一特徵向量；以及根據該特徵向量，進行一手勢辨識，以辨識該手的該手勢。
  8. 如申請專利範圍第7項所述之電子裝置，其中於該手部影像配置該些同心圓圈的指令還包括： 以該重心座標至該手部影像中該手的一腕關節的一距離為一最大半徑；以及以該重心座標為該圓心以及該最大半徑所對應的一範圍內，等量配置該些同心圓圈，其中該最大半徑除以該同心圓圈數大於等於一。
  9. 如申請專利範圍第7項所述之電子裝置，其中該特徵向量具有複數個分量值，每一該些分量值分別對應該些同心圓圈其中之一，且每一該些同心圓圈交會該手部區域的該交叉點數量，等於該特徵向量中相對應該同心圓圈的該分量值。
  10. 如申請專利範圍第9項所述之電子裝置，其中該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一標準向量，而該手勢辨識的指令還包括：均分該特徵向量中的該些分量，以分別組成複數個次向量；計算每一該些次向量的一平均分量值；於該些次向量所分別對應的該些平均分量值中，取樣至少其中之一，以組成一平均向量；分別計算該平均向量與每一該些標準向量的一誤差值；以及根據該些誤差值，確認該手部影像所對應的該手勢。
  11. 如申請專利範圍第10項所述之電子裝置，其中均分該特徵向量中的該些分量的指令包括：以該同心圓圈數的百分之二十為一均分基準，以將該 特徵向量中的該些分量依序分群，以個別組成該次向量。
  12. 如申請專利範圍第9項所述之電子裝置，其中該儲存裝置記錄複數個標準手勢以及每一該些標準手勢所分別對應的一交叉點數量範圍，而該手勢辨識的指令還包括：根據該特徵向量，確認該些分量值中的一最大分量值；取樣該最大分量值所對應的該同心圓圈至一次大半徑所對應的該同心圓圈之間的所有該些同心圓圈，其中該次大半徑僅小於以該重心座標至該手部影像中該手的一腕關節的一最大半徑；將所取樣的該些同心圓圈所對應的該些分量值平均，以獲得一平均交叉點數量值；根據該儲存裝置所記錄的該些交叉點數量範圍，確認該平均交叉點數量值落於該些交叉點數量範圍其中之一內；以及以所確認的該交叉點數量範圍對應的該標準手勢為該手部影像所對應的該手勢。
TW101140343A 2012-10-31 2012-10-31 手勢辨識方法與電子裝置 TWI475422B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101140343A TWI475422B (zh) 2012-10-31 2012-10-31 手勢辨識方法與電子裝置
CN201210471826.7A CN103793683B (zh) 2012-10-31 2012-11-20 手势辨识方法与电子装置
US13/688,215 US9256777B2 (en) 2012-10-31 2012-11-29 Method for recognizing gesture and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101140343A TWI475422B (zh) 2012-10-31 2012-10-31 手勢辨識方法與電子裝置

Publications (2)

Publication Number Publication Date
TW201416911A true TW201416911A (zh) 2014-05-01
TWI475422B TWI475422B (zh) 2015-03-01

Family

ID=50547227

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101140343A TWI475422B (zh) 2012-10-31 2012-10-31 手勢辨識方法與電子裝置

Country Status (3)

Country Link
US (1) US9256777B2 (zh)
CN (1) CN103793683B (zh)
TW (1) TWI475422B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI662439B (zh) * 2018-01-25 2019-06-11 財團法人資訊工業策進會 虛擬空間定位方法及裝置
US10444932B2 (en) 2018-01-25 2019-10-15 Institute For Information Industry Virtual space positioning method and apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
RU2014108870A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с распознаванием неподвижной позы кисти на основе первого и второго наборов признаков
RU2014108820A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев
DE102014017166A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
TWI618027B (zh) * 2016-05-04 2018-03-11 國立高雄應用科技大學 基因演算三維手勢影像辨識方法及其系統
KR102280408B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 모양 제스처를 인식하여 제어 명령을 실행하는 전자 단말 장치 및 그 동작 방법
KR102280412B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856750B2 (en) * 1997-12-08 2010-12-28 Horus Vision Llc Apparatus and method for calculating aiming point information
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
CN100573548C (zh) * 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
FR2899357B1 (fr) * 2006-03-29 2008-06-20 Sagem Defense Securite Traitement de donnees biometriques dans un referentiel multi dimensionnel.
JP4878209B2 (ja) * 2006-05-15 2012-02-15 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US9042606B2 (en) * 2006-06-16 2015-05-26 Board Of Regents Of The Nevada System Of Higher Education Hand-based biometric analysis
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
CN101110100B (zh) * 2006-07-17 2012-05-02 松下电器产业株式会社 检测包含任意线段组合的形状的方法及装置
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
WO2008078603A1 (ja) * 2006-12-22 2008-07-03 Panasonic Corporation ユーザインターフェイス装置
US7949157B2 (en) * 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
TWI469703B (zh) * 2007-08-17 2015-01-11 Hon Hai Prec Ind Co Ltd 識別圖像中目標物體的裝置和方法
US8194921B2 (en) * 2008-06-27 2012-06-05 Nokia Corporation Method, appartaus and computer program product for providing gesture analysis
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8655084B2 (en) * 2009-06-23 2014-02-18 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Hand-based gender classification
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
CN102063618B (zh) * 2011-01-13 2012-10-31 中科芯集成电路股份有限公司 互动系统中的动态手势识别方法
GB2491473B (en) * 2011-05-31 2013-08-14 Pointgrab Ltd Computer vision based control of a device using machine learning
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
CN102661699A (zh) * 2012-05-15 2012-09-12 贵州红湖发动机零部件有限公司 一种大半径短圆弧零件精密测量方法
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
RU2014108870A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с распознаванием неподвижной позы кисти на основе первого и второго наборов признаков

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI662439B (zh) * 2018-01-25 2019-06-11 財團法人資訊工業策進會 虛擬空間定位方法及裝置
US10444932B2 (en) 2018-01-25 2019-10-15 Institute For Information Industry Virtual space positioning method and apparatus

Also Published As

Publication number Publication date
US20140119596A1 (en) 2014-05-01
TWI475422B (zh) 2015-03-01
CN103793683B (zh) 2016-12-28
CN103793683A (zh) 2014-05-14
US9256777B2 (en) 2016-02-09

Similar Documents

Publication Publication Date Title
TWI475422B (zh) 手勢辨識方法與電子裝置
US10679146B2 (en) Touch classification
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN103226387B (zh) 基于Kinect的视频人手指尖定位方法
CN107818290B (zh) 基于深度图的启发式手指检测方法
CN105210115B (zh) 使用2d图像数据来执行手势识别
WO2010135617A1 (en) Gesture recognition systems and related methods
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP6562752B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
WO2013051681A1 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
KR101559502B1 (ko) 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체
Xu et al. A novel feature extracting method for dynamic gesture recognition based on support vector machine
KR20150121069A (ko) 전자 디바이스에 의한 상호작용적 이미지 캐리커처링을 위한 시스템들 및 방법들
WO2019037257A1 (zh) 密码输入的控制设备、方法及计算机可读存储介质
Zahra et al. Camera-based interactive wall display using hand gesture recognition
Mahmud et al. Recognition of symbolic gestures using depth information
JP2015114762A (ja) 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
Feng et al. An HCI paradigm fusing flexible object selection and AOM-based animation
Elboushaki et al. Improving articulated hand pose detection for static finger sign recognition in RGB-D images
JP6444041B2 (ja) 手書き音楽記号認識装置及び手書き音楽記号認識プログラム
Sarkar et al. A Vision Base Application for Virtual Mouse Interface Using Hand Gesture
Prabhakar et al. AI And Hand Gesture Recognition Based Virtual Mouse
Cong Research on fingertip positioning and human-computer interaction technology based on stereo vision
Vardakis Gesture based human-computer interaction using Kinect.
Hiremath et al. Gesture Recognition System