TWI710973B - 手勢識別方法、手勢識別模組及手勢識別系統 - Google Patents

手勢識別方法、手勢識別模組及手勢識別系統 Download PDF

Info

Publication number
TWI710973B
TWI710973B TW107127973A TW107127973A TWI710973B TW I710973 B TWI710973 B TW I710973B TW 107127973 A TW107127973 A TW 107127973A TW 107127973 A TW107127973 A TW 107127973A TW I710973 B TWI710973 B TW I710973B
Authority
TW
Taiwan
Prior art keywords
pixels
pixel
background
internal
gesture
Prior art date
Application number
TW107127973A
Other languages
English (en)
Other versions
TW202009790A (zh
Inventor
謝佳達
朱庭鋒
呂幗閒
邱志豪
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW107127973A priority Critical patent/TWI710973B/zh
Priority to CN201810987004.1A priority patent/CN110826382A/zh
Priority to US16/260,118 priority patent/US10810417B2/en
Publication of TW202009790A publication Critical patent/TW202009790A/zh
Application granted granted Critical
Publication of TWI710973B publication Critical patent/TWI710973B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一種手勢識別方法，包含有對一影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素；判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素；以及當該多個前景像素包圍該第一背景像素時，判斷一手勢符合一預設手勢。

Description

手勢識別方法、手勢識別模組及手勢識別系統
本發明係指一種手勢識別方法、手勢識別模組及手勢識別系統，尤指一種可判斷手指捏取動作的手勢識別方法、手勢識別模組及手勢識別系統。
手勢辨識技術可提供良好的人機互動性，並提高操作便利性，已受到業界廣泛的重視。目前能夠辨識手勢的鏡頭可區分為遠距離鏡頭與近距離鏡頭兩種，遠距離鏡頭可設置於使用者前方而與使用者面對面，如設置於電視或遊戲機，而近距離鏡頭可設置於使用者身上的穿戴裝置。兩種距離的鏡頭雖然都可以辨識手勢，但距離與位置不同，能取得的手勢資訊與使用習慣當然不同，導致這兩種距離會有不同的手勢。
隨著虛擬實境(Virtual Reality，VR)裝置或擴增實境(Augmented Reality，AR)的開發，近距離鏡頭可裝設於VR裝置或AR裝置上。VR裝置或AR裝置均可利用手勢來進行操作，而目前多以特定的手勢來取代特定的功能，達到如快捷鍵一般的效果。舉例來說，拇指與食指捏取(Pinch)的手勢為使用者很自然就可達成的手勢，其可用來指示VR裝置或AR裝置進行特定操作。
然而，現有技術並未發展出可有效識別捏取手勢的方法。因此，習知技術實有改善之必要。
因此，本發明提供一種可有效識別捏取手勢的手勢識別方法、手勢識別模組及手勢識別系統，以改善習知技術的缺點。
本發明一實施例揭露一種手勢識別方法，應用於一手勢識別模組， 用來判斷一手勢以對應地操作一電子裝置，該手勢識別方法包含提供一取像裝置，該取像裝置用以感測該手勢而產生一影像；有對該影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素，該多個前景像素對應一前景像素值，該多個背景像素對應一背景像素值；判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素，其中該第一背景像素為該多個背景像素的其中之一；以及當判斷該多個前景像素包圍該至少第一背景像素時，判斷該手勢符合一預設手勢。
本發明另一實施例揭露一種手勢識別模組，用以操作一電子裝置，包含有一取像裝置，用以感測一手勢而產生一影像；一影像處理單元，對該影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素，該多個前景像素對應一前景像素值，該多個背景像素對應一背景像素值；一判斷單元，用來執行以下步驟：判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素，其中該第一背景像素為該多個背景像素的其中之一；以及當判斷該多個前景像素包圍該至少第一背景像素時，判斷該手勢符合一預設手勢，以對應地操作該電子裝置。
1:手勢識別系統
10:手勢識別模組
11:取像裝置
12:電子裝置
13:影像處理單元
14:發光元件
16:感光單元
18:判斷單元
30、60、80、90、A0:流程
300~308、600~610、802~806、900~916、A00~A06:步驟
BN、BN4、BN5、BN12、BN13、BN14、BN15:二值化影像
IMG:影像
PX、PXFG、PXBG、PXBG’、PXBG”:像素
第1圖為本發明實施例一手勢識別系統之功能方塊示意圖。
第2圖為第1圖所示電子裝置之外觀示意圖。
第3圖為本發明實施例一流程之示意圖。
第4圖為本發明一影像的二值化影像的示意圖。
第5圖為本發明另一影像的二值化影像的示意圖。
第6圖為本發明實施例一流程之示意圖。
第7圖為本發明實施例多個外圍像素於一二值化影像的示意圖。
第8圖為本發明實施例一流程之示意圖。
第9圖為本發明實施例一流程之示意圖。
第10圖為本發明實施例一流程之示意圖。
第11圖為多個掃描順序之示意圖。
第12圖為執行第9圖所示流程之示意圖。
第13圖為執行第9圖所示流程之示意圖。
第14圖為執行第9圖及第10圖所示流程之示意圖。
第15圖為執行第9圖及第10圖所示流程之示意圖。
請參考第1圖及第2圖，第1圖為本發明實施例一手勢識別系統1之功能方塊示意圖，第2圖為本發明實施例一手勢識別模組10設置於一電子裝置12之外觀示意圖，手勢識別系統1包括手勢識別模組10及電子裝置12。手勢識別模組10可為電子裝置12的一部分而電性耦接於電子裝置12的內部元件，或手勢識別模組10可為電子裝置12的外部附加模組而電性耦接於電子裝置12的內部元件，手勢識別模組10及電子裝置12可形成手勢識別系統1。電子裝置12舉例而言可為一虛擬實境(Virtual Reality，VR)、擴增實境(Augmented Reality，AR)、或混合實境(Mixed Reality，MR)等具有運算與顯示或輸出影像的各種裝置，手勢識別模組10可設置於電子裝置12前方，當使用者穿戴電子裝置12時，手勢識別模組10可辨識使用者的手勢，而電子裝置12可針對手勢識別模組10所辨識的手勢，進行相關運算或操作。
詳細來說，手勢識別模組10包含一取像裝置11、影像處理單元13以及一判斷單元18。在本發明實施例中，取像裝置11以光學方式取得使用者在取像裝置11前方的手勢影像，可以包含一發光元件14及一感光單元16。在本發明其它實施例中，取像裝置11也可以是RGB相機、深度相機或其它可以取得光學 影像之光學相機，或者是超音波或雷達裝置等任何各種可以取得手勢影像的感測裝置。發光元件14用來發射一入射光，其可為一不可見光發光元件，如一紅外線發光二極體(Infrared Light Emitting Diode，IR LED)。感光單元16用來接收對應於發光元件14之入射光的一反射光，其可包含一鏡頭以及一感光元件，該感光元件可為不可見光感光元件(如專門用來接收紅外線的感光二極體(Photo Diode))。於本發明其它實施例中，感光元件也可以是例如是電荷耦合元件(charge coupled device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本發明不在此設限。於本發明實施例中，感光單元16可根據對應於發光元件14之入射光的反射光(如紅外線)，產生一影像IMG，其中影像IMG可為一灰階影像或經影像處理為灰階影像。影像處理單元13接收影像IMG後進行二值化(binarization)處理以產生二值化影像BG利於區隔可能包含手勢之前景以及可能不包含手勢之背景，可以軟體程式或硬體元件或韌體方式實現。如果在本發明其它實施例中前述取像裝置取得的不是灰階影像而是RGB影像或其它影像，則影像處理單元13也包含轉變為灰階影像之處理。但本發明的影像處理單元13不限於只能處理灰階影像，尚可包含其它影像處理的方法，例如侵蝕(erosion)或膨脹(dilation)等方法。影像處理單元13在實作上可以獨立於判斷單元18或是整合於判斷單元18中。
判斷單元18耦接於接收二值化影像BG，並根據二值化影像BG，判斷使用者手勢是否為一捏取(Pinch)手勢。當判斷單元18判斷使用者手勢為捏取手勢後，判斷單元18可產生對應於捏取手勢的辨識結果訊號S_P至電子裝置12，電子裝置12可針對手勢識別模組10所辨識的使用者手勢，進行對應於捏取手勢運算或操作。其中，判斷單元18包含處理器、記憶體以及演算法軟體程式。處理器可以例如是中央處理單元(central processing unit，CPU)、應用處 理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、圖形處理器(graphics processing unit，GPU)或其他類似裝置、積體電路及其組合。記憶體可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。演算法軟體程式則用以載入記憶體中以運行後述的方法流程。本發明的手勢識別模組10的判斷單元18可以是獨立於電子裝置12之外設置，也可以是包含在電子裝置12之內，或是一部分獨立於電子裝置12之外而另一部分包含在電子裝置12之內。
關於判斷單元18根據影像IMG判斷使用者手勢的操作，請參考第3圖，第3圖為本發明實施例一流程30之示意圖。流程30由影像處理單元13及判斷單元18來執行，其包含以下步驟：
步驟300：開始。
步驟302：對影像IMG進行一二值化處理，以取得一二值化影像BN，其中二值化影像BN包括多個前景像素PXFG以及多個背景像素PXBG，多個前景像素PXFG對應一前景像素值，多個背景像素PXBG對應一背景像素值。
步驟304：判斷二值化影像BN中多個前景像素PXFG是否包圍該多個背景像素PXBG中至少一第一背景像素PXBG1？若是，執行步驟306；若否，執行步驟308。
步驟306：判斷手勢為捏取手勢，產生辨識結果訊號S_P至電子裝置以對應地操作該電子裝置。
步驟308：結束。
於步驟302中，影像處理單元13對影像IMG進行二值化處理(Binarization)後的二值化影像BN具有非黑即白的像素。白像素代表感光單元16所接收到的光線(如紅外線)較強，稱之為前景像素；黑像素代表感光單元16所接收到的光線較弱，稱之為背景像素。因此，二值化影像BN包括多個前景像素PXFG以及多個背景像素PXBG，前景像素PXFG對應前景像素值，多個背景像素PXBG對應背景像素值。於一實施例中，在影像的像素值以8位元表示的情況下，背景像素值為0(呈現黑色)而前景像素值為255(呈現白色)。
於步驟304中，判斷單元18判斷二值化影像BN中多個前景像素PXFG是否包圍第一背景像素PXBG1，其中第一背景像素PXBG1為多個背景像素PXBG的其中之一。若二值化影像BN中存在被前景像素PXFG包圍的背景像素PXBG1，判斷單元18判斷影像IMG中具有捏取手勢(步驟306)；若二值化影像BN中不存在被前景像素PXFG包圍的背景像素PXBG1，判斷單元18判斷影像IMG中不具有捏取手勢。
根據流程30，判斷單元18可判斷影像IMG中是否具有捏取手勢。舉例來說，請參考第4圖及第5圖，第4圖及第5圖分別為一二值化影像BN4以及一二值化影像BN5的示意圖，二值化影像BN4、BN5可包括前景像素PXFG以及背景像素PXBG。在第4圖中，由於二值化影像BN4中並未有任一部分的背景像素PXBG被前景像素PXFG包圍，故判斷單元18執行流程30後判斷二值化影像BN4中不包含捏取手勢。相較之下，在第5圖中，二值化影像BN5中有一部分的背景像素PXBG’被前景像素PXFG包圍的，而另一部分的背景像素PXBG”則未被前景像素PXFG包圍。亦即二值化影像BN5的背景像素PXBG包括被前景像素PXFG包圍的背景像素PXBG’以及未被前景像素PXFG包圍的背景像素PXBG”，而前景像素PXFG包圍背景像素PXBG’代表背景像素PXBG’皆位於由前景像素PXFG所形成的封閉區域中。需注意的是，背景像素PXBG’與背景像素PXBG”不相連接，因此，在此狀況下判斷 單元18執行流程30後判斷二值化影像BN5中包含捏取手勢。
關於步驟304的操作細節，請參考第6圖，第6圖為本發明實施例一流程60之示意圖。流程60為步驟304的操作細節之一實施例，其可由判斷單元18來執行，流程60包含以下步驟：
步驟600：開始。
步驟602：取得二值化影像BN中多個外圍像素PXOM。
步驟604：取得二值化影像BN中多個第二背景像素PXBG2，其中多個第二背景像素PXBG2為二值化影像BN的多個背景像素PXBG中與多個外圍像素PXOM相連接者。
步驟606：判斷多個背景像素PXBG中是否存在有既非外圍像素PX-OM亦非第二背景像素PXBG2的一第三背景像素PXBG3？若是，執行步驟608；若否，執行步驟610。
步驟608：判斷多個前景像素PXFG包圍第一背景像素PXBG1。
步驟610：結束。
於步驟602中，判斷單元18取得多個外圍像素PXOM，舉例來說，判斷單元18可取得二值化影像BN中最左側、最上側、最右側以及最下側像素的多個外圍像素PXOM。請參考第7圖，第7圖為多個外圍像素PXOM於二值化影像BN中的示意圖。於第7圖中，斜線方格代表二值化影像BN的外圍像素PXOM，白色方格代表二值化影像BN的多個內部像素PXIN。斜線方格中的數字代表外圍像素PXOM的標籤值(詳述於後)，白色方格代表內部像素PXIN的像素值。由第7圖可知，外圍像素PXOM位於二值化影像BN的四周。另外，二值化影像BN由多個外圍像素PXOM及多個內部(Interior)像素PXIN所組成，即二值化影像BN中不是外圍像素PXOM的像素即為內部像素PXIN。
於步驟604中，判斷單元18取得與多個外圍像素PXOM相連接的多個 第二背景像素PXBG2。與多個外圍像素PXOM相連接的多個第二背景像素PXBG2係由第二背景像素PXBG2_1、PXBG2_2、...、PXBG2_n-1、PXBG2_n所構成，其中，舉例而言，第二背景像素PXBG2_1與外圍像素PXOM直接相鄰，第二背景像素PXBG2_2與第二背景像素PXBG2_1直接相鄰(代表第二背景像素PXBG2_2透過第二背景像素PXBG2,1間接與至少一個外圍像素PXOM相鄰)，以此類推，第二背景像素PXBG2,n與第二背景像素PXBG2,n-1直接相鄰(代表第二背景像素PXBG2,n透過第二背景像素PXBG2,1~PXBG2,n-1間接與至少一個外圍像素PXOM相鄰)。在此情形下，由第二背景像素PXBG2,1~PXBG2,n所構成的多個第二背景像素PXBG2即為與多個外圍像素PXOM直接或間接相連接接。簡言之，「多個第二背景像素PXBG2與多個外圍像素PXOM直接或間接相連接接」代表「每一第二背景像素PXBG2與多個外圍像素PXOM直接相鄰」或「每一第二背景像素PXBG2透過其他第二背景像素PXBG2與多個外圍像素PXOM間接相鄰」。
於步驟606中，判斷單元18判斷多個背景像素PXBG中是否存在有既非外圍像素PXOM亦非第二背景像素PXBG2的第三背景像素PXBG3，換句話說，判斷單元18判斷二值化影像BN的多個背景像素PXBG中是否存在有除了多個外圍像素PXOM以及多個第二背景像素PXBG2外的其它背景像素(若有，該背景像素稱之為第三背景像素PXBG3)。若二值化影像BN存在有不與多個外圍像素PXOM直接或間接相連接的第三背景像素PXBG3，代表第三背景像素PXBG3被多個前景像素PXFG所包圍而因此不與任一第二背景像素PXBG2相連接(此時第三背景像素PXBG3即為步驟304所述的第一背景像素PXBG1)，此時判斷單元18即可判斷至少有一第一背景像素PXBG1被多個前景像素PXFG所包圍(步驟608)。
其中，步驟604的操作細節並未有所限。為便於運算，舉例來說，可利用標籤(tag/class)的方式，將所有的背景像素PXBG賦予不同的標籤值，並將與多個外圍像素PXOM相連接的背景像素PXBG(即第二背景像素PXBG2)賦予與 外圍像素PXOM相同的標籤值，最後檢查是否存在有與外圍像素PXOM標籤值相異的背景像素，若有，即可判斷存在有第三背景像素PXBG3。
具體來說，請參考第8圖，第8圖為本發明實施例一流程80之示意圖。流程80為步驟604的操作細節之一實施例，其可由判斷單元18來執行，流程80包含以下步驟：
步驟802：決定對應於多個外圍像素PXOM的多個最外圍標籤為一第一標籤值TG1，其中多個前景像素PXFG皆對應於一空標籤TGN。
步驟804：依照一掃描順序，逐一判斷二值化影像BN的多個內部像素PXIN的多個內部像素值是否為背景像素值，並逐一決定對應於多個內部像素值PXIN的多個內部標籤，其中於二值化影像BN的多個內部像素PXIN不為多個外圍像素PXOM。
步驟806：根據多個內部像素值PXIN的多個內部標籤，取得與多個外圍像素PXOM相連接的多個第二背景像素PXBG2。
於執行流程80之前，二值化影像BN內所有的像素預設為具有空標籤TGN。於執行流程80之後，二值化影像BN內所有的背景像素及外圍像素皆會被賦予特定標籤值，僅前景像素仍對應於空標籤TGN。
於步驟802中，判斷單元18決定對應於多個外圍像素PXOM的多個最外圍標籤為第一標籤值TG1，而多個前景像素PXFG皆對應於空標籤TGN。於一實施例中，第一標籤值TG1可為1。請再參考第7圖，於第7圖中，判斷單元18對多個外圍像素PXOM標記(Label)為1，另外，第7圖中內部像素PXIN的內部像素值可為0(背景像素值)或255(前景像素值)。
於步驟804中，判斷單元18依照該掃描順序判斷二值化影像BN的所有內部像素PXIN_k(k=1,...,K)是否為背景像素並決定內部像素PXIN_k的內部標籤，其中指標k可代表該掃描順序，K為所有內部像素PXIN的個數。於一實施例 中，判斷單元18可先執行一流程90再執行另一流程A0，以完成步驟804。第9圖為本發明實施例流程90之示意圖，如第9圖所示，流程90包含以下步驟：
步驟900：開始。
步驟901：令k=1。
步驟902：判斷內部像素PXIN_k的內部像素值是否為背景像素值？若是，執行步驟904；若否，執行步驟912。
步驟904：判斷與內部像素PXIN_K往前方向直接相鄰的一第一相鄰像素PXNB1_k是否具有一第一相鄰標籤值TGNB1_k？若是，執行步驟906；若否，步驟905。
步驟905：判斷與內部像素PXIN_k往前方向任一與其直接相鄰的一第二相鄰像素PXNB2_k是否具有一第二相鄰標籤值TGNB2_k？若是，執行步驟908；若否，步驟910。
步驟906：決定對應於第一內部像素PXIN_k的一第一內部標籤TGIN_k為第一相鄰標籤值TGNB1_k。
步驟908：決定對應於第一內部像素PXIN_k的第一內部標籤TGIN_k為第二相鄰標籤值TGNB2_k。
步驟910：決定第一內部標籤TGIN_k為第二標籤值TG2。
步驟912：判斷k是否等於K？若是，執行步驟916；若否，執行步驟914。
步驟914：令k=k+1。
步驟916：結束。
於流程90中，該掃描順序可為水平逐線掃描(Raster Scan)或螺旋形掃描(Circular Scan)，而不限於此，其中水平逐線掃描及螺旋形掃描(由外而內)的順序示範性地繪示於第11圖，第11圖中每一方格代表一像素，方格內的 數字編號代表掃描順序指標k。根據不同的掃描順序，描順序指標k可有不同的排列/分佈情形。
於步驟900中，所有的內部像素PXIN_k(k=1,...,K)一開始先預設為具有空標籤TGN。
於步驟902中，判斷單元18判斷內部像素PXIN_k是否為背景像素。若內部像素PXIN_k為前景像素(且k<K)，判斷單元18跳至步驟912、914，維持前景像素(此時為內部像素PXIN_k)對應於空標籤TGN，並接續判斷下一個內部像素PXIN_k+1是否也為背景像素。若內部像素PXIN_k為背景像素，判斷單元18執行步驟904~910中的部份步驟，以賦予內部像素PXIN_k為第一內部標籤TGIN_k，其中第一內部標籤TGIN_k可為標籤值TG1、TG2、相鄰標籤值TGNB1_k、TGNB2_k其中之一。
於步驟904中，判斷單元18判斷第一相鄰像素PXNB1_k是否已被賦予第一相鄰標籤值TGNB1_k，其等同於判斷第一相鄰像素PXNB1_k是否為背景像素，其中第一相鄰像素PXNB1_k為於第一方向直接相鄰於內部像素PXIN_k的像素，且依照該掃描順序，第一相鄰像素PXNB1_k先於內部像素PXIN_k，即第一相鄰像素PXNB1_k可為先於內部像素PXIN_k的另一內部像素PXIN_k-k’(k’=1,...,k-1)，另外，第一方向可平行於水平方向或垂直方向其中之一。對以左向右的水平逐線掃描來說，與內部像素PXIN_k向前相鄰的第一相鄰像素PXNB1_k可為位於內部像素PXIN_k左方的像素(第一方向可為朝向左方)，第一相鄰像素PXNB1_k也有可能為外圍像素PX-OM。對螺旋形掃描來說，第一相鄰像素PXNB1_k可為前一次迭代(iteration)的內部像素PXIN_k-1。
若向前相鄰的第一相鄰像素PXNB1_k已被標記為第一相鄰標籤值TGNB1_k，於步驟906中，內部像素PXIN_k沿用第一相鄰像素PXNB1_k的第一相鄰標籤值TGNB1_k。若向前相鄰的第一相鄰像素PXNB1_k為外圍像素PXOM，第一相鄰標 籤值TGNB1_k即為第一標籤值TG1。
若向前相鄰的第一相鄰像素PXNB1_k為前景像素(代表第一相鄰像素PXNB1_k未被賦予標籤)，於步驟905中，判斷單元18進一步判斷第二相鄰像素PXNB2_k是否為背景像素，即判斷第二相鄰像素PXNB2_k是否已被賦予第二相鄰標籤值TGNB2_k，第二相鄰像素PXNB2_k亦為依照該掃描順序先於內部像素PXIN_k的像素，其可為於第二方向直接相鄰於內部像素PXIN_k的像素，第二方向可平行於水平方向或垂直方向其中之一，且第二方向與第一方向垂直。對水平逐線掃描來說，第二相鄰像素PXNB2_k可為位於內部像素PXIN_k上方而直接相鄰的像素(第二方向可為朝向上方)，也有可能為外圍像素PXOM。對螺旋形由外而內的掃描順序來說，以「內部像素PXIN_k位於二值化影像BN的右側且前一次迭代的內部像素PXIN_k-1位於本次迭代的內部像素PXIN_k之上方」為例，第一相鄰像素PXNB1_k為位於內部像素PXIN_k上方的內部像素PXIN_k-1，而第二相鄰像素PXNB2_k為內部像素PXIN_k右方的一個像素。
若第二相鄰像素PXNB2_k已被標記為第二相鄰標籤值TGNB2_k，於步驟908中，內部像素PXIN_k沿用第二相鄰像素PXNB2_k的第二相鄰標籤值TGNB2_k。若第二相鄰像素PXNB2_k為外圍像素PXOM，第二相鄰標籤值TGNB2_k即為第一標籤值TG1。
若第一相鄰像素PXNB1_k及第二相鄰像素PXNB2_k皆為前景像素(代表第一相鄰像素PXNB1_k及第二相鄰像素PXNB2_k皆未被賦予標籤)，於步驟910中，判斷單元18將內部像素PXIN_k標記為第二標籤值TG2，即判斷單元18決定第一內部像素PXIN_k的第一內部標籤TGIN_k為第二標籤值TG2，而第二標籤值TG2相異於第一標籤值TG1。於一實施例中，假設第一標籤值TG1等於1，在判斷單元18執行流程90的迴圈中第1次執行步驟910時設定第二標籤值TG2等於2，第2次執行步驟910時設定第二標籤值TG2等於3，以此類推，第n次執行步驟910時設定第二標 籤值TG2等於(1+n)。
為了清楚說明流程90，請參考第12圖至第14圖，第12圖至第13圖分別繪示對二值化影像BN12、BN13執行流程90的中間過程的簡化示範性圖式，第14圖繪示對一二值化影像BN14執行流程90、A0的中間過程及最終結果。於第12圖至第14圖的實施例中，皆採用由左向右的水平逐線掃描(Raster Scan)。第12圖至第14圖中白色方格內的數字代表二值化後的像素值，斜線方格內的數字代表標籤值。
於第12圖所繪示的實施例中，判斷單元18欲對二值化影像BN12的第(2,2)的內部像素(記為PXIN_(2,2))進行步驟904~910的判斷及操作(如子圖12a所示)。由於內部像素PXIN_(2,2)像素值為0而為背景像素(步驟902)且於內部像素PXIN_(2,2)左方相鄰的像素PXIN_(1,2)具有標籤值為1(步驟904)，故內部像素PXIN_(2,2)沿用像素PXIN_(1,2)的標籤值1(步驟906)(如子圖12b所示)，接著判斷下一個像素PXIN_(3,2)(如子圖12c所示)。
於第13圖所繪示的示範性實施例中，判斷單元18欲對二值化影像BN13的第(2,2)的內部像素進行步驟904~910的判斷及操作(如子圖13a所示)。由於內部像素PXIN_(2,2)像素值為255而為前景像素，判斷單元18維持內部像素PXIN_(2,2)的空標籤而對下一個內部像素PXIN_(2,3)進行步驟904~910的判斷及操作(如子圖13b所示)(對應第9圖步驟902至步驟912、914的路徑)。雖然內部像素PXIN_(3,2)左邊相鄰的內部像素PXIN_(2,2)(此時內部像素PXIN_(2,2)對應相鄰於內部像素PXIN_(3,2)的第一相鄰像素)為空標籤(對應第9圖步驟904至步驟905的路徑)，但內部像素PXIN_(3,2)上方相鄰的像素PXIN_(1,3)(此時內部像素PXIN_(1,3)對應相鄰於內部像素PXIN_(3,2)的第二相鄰像素)具有標籤值為1(步驟905)，故內部像素PXIN_(3,2)沿用像素PXIN_(3,1)的標籤值1(步驟908)(如子圖13c所示)(標籤值1對應第一標籤值TG1)。
於第14圖所繪示的示範性實施例中，判斷單元18欲對二值化影像BN14的第(3,3)個內部像素(記為PXIN_(3,3))進行步驟904~910的判斷及操作(如子圖14a所示)。由於左方相鄰的像素PXIN_(2,3)(於PXIN,(3,3)左方，對應第一相鄰像素)及上方相鄰的像素PXIN,(3,3)(於PXIN,(3,3)上方，對應第二相鄰像素)皆為前景像素，此時判斷單元18第1次執行步驟910，判斷單元18賦予內部像素PXIN_(3,3)的標籤值為2(如子圖14b所示)(標籤值2對應第二標籤值TG2)。同理，於判斷內部像素PXIN_(5,3)時，判斷單元18第2次執行步驟910，判斷單元18賦予內部像素PXIN,(5,3)的標籤值為3(如子圖14c所示)(標籤值3亦對應第二標籤值TG2)。此外，子圖14d為判斷單元18完成執行流程90後的結果。
透過流程90，判斷單元18藉由維持前景像素的空標籤，初步排除前景像素，更進一步地，判斷單元18將所有的背景像素皆賦予特定標籤值。接下來，透過流程A0，判斷單元18可判斷所有與外圍像素PXOM相連接的背景像素(即為步驟604所述的多個第二背景像素PXBG2)。
第10圖為本發明實施例流程A0之示意圖。判斷單元18可對二值化影像BN中每個內部背景像素PXBG_IN執行流程A0，其中，內部背景像素PXBG_IN代表「像素PXBG_IN為多個內部像素PXIN的其中之一」且「像素PXBG_IN為多個背景像素PXBG的其中之一」。如第10圖所示，流程A0包含以下步驟：
步驟A00：開始。
步驟A02：判斷二值化影像BN的任一內部背景像素PXBG_IN_m是否與多個外圍像素PXOM相連接？若是，執行步驟A04；若否，執行步驟A06。
步驟A04：決定對應於內部背景像素PXBG_IN_m的一內部背景標籤TGBG_IN_m均為第一標籤值TG1。
步驟A06：結束。
於步驟A02中，內部背景像素PXBG_IN_m與多個外圍像素PXOM相連接 代表「內部背景像素PXBG_IN_m與外圍像素PXOM直接相鄰」或「內部背景像素PXBG_IN_m透過其他內部背景像素PXBG_IN_m’與外圍像素PXOM間接相鄰」。
若內部背景像素PXBG_IN_m與多個外圍像素PXOM相連接，於步驟A04中，判斷單元18將所有對應於內部背景像素PXBG_IN_m的一內部背景標籤TGBG,IN,m全部改寫為與外圍像素PXOM相同的第一標籤值TG1。
對二值化影像BN中所有內部背景像素PXBG_IN執行流程A0後，與外圍像素PXOM相連接的內部背景像素PXBG_IN皆具有與外圍像素PXOM相同的第一標籤值TG1。
請再參考第14圖，由第14圖的子圖14d可知，行流程90後，二值化影像BN14的內部像素PXIN_(2,5)~PXIN_(5,5)的標籤為標籤值1，二值化影像BN14的內部像素PXIN_(3,3)、PXIN_(3,4)~PXIN_(5,4)的標籤為標籤值2，二值化影像BN14的內部像素PXIN_(5,3)的標籤為標籤值3。
由於內部像素PXIN_(2,5)~PXIN,(5,5)與外圍像素PXOM直接相鄰，內部像素PXIN_(3,4)~PXIN_(5,4)透過內部像素PXIN_(3,5)~PXIN_(5,5)間接與外圍像素PXOM相鄰，內部像素PXIN_(3,3)、PXIN_(5,3)透過內部像素PXIN_(3,4)~PXIN_(5,4)、PXIN_(3,5)~PXIN_(5,5)間接與外圍像素PXOM相鄰，因此，內部像素PXIN_(3,3)、PXIN_(5,3)、PXIN_(3,4)~PXIN_(5,4)與多個外圍像素PXOM相連接。根據步驟A04，判斷單元18將內部像素PXIN_(3,3)、PXIN_(5,3)、PXIN_(3,4)~PXIN_(5,4)的標籤全部改寫為與外圍像素PXOM相同的標籤值1，如子圖14e所示。另外，二值化影像BN14中具有標籤值1的內部像素PXIN_(3,3)、PXIN_(5,3)、PXIN_(3,4)~PXIN_(5,4)即為步驟806所述的多個第二背景像素PXBG2。於此例中可見，前景像素(空標籤)並未有完全包圍任何背景像素(標籤值1)，故依據前面第3圖流程30的步驟304~206的判斷，影像中並不具有捏取手勢。
請參考第15圖，第15圖示範性繪示對另一二值化影像BN15執行流程90、A0的結果，其中子圖15a繪示判斷單元18尚未執行流程90前二值化影像BN15 的示意圖，子圖15b繪示判斷單元18完成執行流程90後的示意圖，子圖15c繪示判斷單元18對所有內部背景像素PXBG_IN執行流程A0後的示意圖。同樣地，第15圖中白色方格內的數字代表像素值，斜線方格內的數字代表標籤值，第15圖亦採用自左向右的水平逐線掃描(Raster Scan)
由子圖15b可知，根據流程90，二值化影像BN15的內部像素PXIN_(2,5)~PXIN_(5,5)的標籤為標籤值1，二值化影像BN15的內部像素PXIN_(3,3)的標籤為標籤值2，二值化影像BN15的內部像素PXIN_(5,3)、PXIN_(5,4)的標籤為標籤值3。
由於內部像素PXIN_(5,3)、PXIN_(5,4)與外圍像素PXOM直接相鄰，根據步驟A04，判斷單元18將內部像素PXIN_(5,3)、PXIN_(5,4)的標籤改寫為與外圍像素PXOM相同的標籤值1，如子圖15c所示。其中，標籤為標籤值1的內部像素PXIN_(5,3)、PXIN_(5,4)、PXIN_(2,5)~PXIN_(5,5)代表其與外圍像素PXOM相連接。其中，二值化影像BN15中具有標籤值1的內部像素PXIN_(5,3)、PXIN_(5,4)、PXIN_(2,5)~PXIN_(5,5)即為步驟806所述的多個第二背景像素PXBG2。另一方面，內部像素PXIN_(3,3)不與其他標籤為標籤值1的內部像素相連接，故執行完流程A0之後內部像素PXIN,(3,3)的標籤仍為標籤值2，如子圖15c所示。於此例中可見，前景像素(空標籤)有完全包圍其中一背景像素(內部像素PXIN_(3,3)的標籤值2)，故依據前面第3圖流程30的步驟304~206，判斷影像中將具有捏取手勢。
流程80、90、A0為判斷單元18利用標籤的方式取得步驟604所述的多個第二背景像素PXBG2的操作細節，具體來說，於對每個內部背景像素PXBG_IN執行完流程A0後，二值化影像BN中具有第一標籤值TG1的多個內部背景像素皆為步驟604、806所述的多個第二背景像素PXBG2。以子圖14e、15c為例，二值化影像BN14中具有標籤值1的多個內部背景像素皆為步驟604、806所述的多個第二背景像素PXBG2。
另外，於步驟606中，判斷單元18判斷多個背景像素PXBG中是否存在 有既非外圍像素PXOM亦非第二背景像素PXBG2的第三背景像素PXBG3。判斷單元18可根據對對每個內部背景像素PXBG_IN執行流程A0後的一結果R，判斷二值化影像BN是否存在有第三背景像素PXBG3。例如，子圖14e或子圖15c皆為結果R。簡單來說，判斷單元18可根據結果R判斷多個內部像素PXIN是否存在具有非第一標籤值TG1的一第一內部背景像素PXBG_IN_*，若多個內部像素PXIN存在有具有非第一標籤值TG1的第一內部背景像素PXBG_IN_*，判斷單元18判斷第一內部背景像素PXBG_IN_*為步驟606所述的第三背景像素PXBG3。
以子圖14e為例，二值化影像BN14中不存在標籤不為標籤值1(對應第一標籤值TG1)的多個背景像素，即二值化影像BN14中所有背景像素的標籤皆為標籤值1，判斷單元18根據子圖14e執行步驟606的結果為「否」，而判斷單元18可判斷二值化影像BN14中不具有捏取手勢。
以子圖15c為例，由於內部像素PXIN_(3,3)的標籤仍為標籤值2(內部像素PXIN_(3,3)即為第一內部背景像素PXBG_IN_*，亦為步驟606所述的第三背景像素PXBG3)，故判斷單元18根據子圖15c執行步驟606的結果以及根據子圖15c執行步驟304的結果皆為「是」，因此，根據子圖15c，判斷單元18可於步驟608判斷二值化影像BN15中多個前景像素PXFG包圍第一背景像素PXBG1，並於步驟306判斷手勢為捏取手勢。其中，內部像素PXIN_3_3)為步驟606所述的第三背景像素PXBG3-，內部像素PXIN_(3_3)亦為步驟608、304所述被多個前景像素PXFG包圍的第一背景像素PXBG1。
需注意的是，前述實施例用以說明本發明之概念，本領域具通常知識者當可據以做不同的修飾，而不限於此。舉例來說，多個外圍像素PXOM不限於為二值化影像BN四周的像素，多個外圍像素PXOM可為二值化影像BN最左側、最上側、最右側及最下側其中至少一側的像素，亦符合本發明的要求而屬於本發明的範疇。
此外，本發明上述實施例中皆以判斷手勢是否為捏取手勢為訴求，惟本發明並不以此為限，舉凡可以利用藉由判斷影像中前景像素是否包圍一部分背景像素以作為影像特徵之手勢判斷皆可以適用本發明，亦即製造商或用戶可以自行定義當判斷出前景像素包圍一部分背景像素時是判斷哪一種特定手勢，包含但不限於本發明實施例的捏取手勢、圓圈手勢、正確手勢、Okay手勢、確認手勢、鎖定手勢、瞄準手勢、對焦手勢或其它與上述功能用語同義或類似之功能性手勢等等。
綜上所述，本發明利用判斷是否有背景像素被前景像素包圍，判斷手勢是否為捏取手勢；利用取得與外圍像素相連接的多個第二背景像素並判斷是否有非第二背景像素的第三背景像素的，判斷是否有背景像素被前景像素包圍；利用標籤(tag/class)，取得與外圍像素相連接的多個第二背景像素。因此，本發明可較快速有效率地判斷捏取手勢。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
30:流程
300~308:步驟

Claims (22)

  1. 一種手勢識別方法，應用於一手勢識別模組，用來判斷一手勢以對應地操作一電子裝置，該手勢識別方法包含有：提供一取像裝置，該取像裝置用以感測該手勢而產生一影像；對該影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素，該多個前景像素對應一前景像素值，該多個背景像素對應一背景像素值；判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素，其中該第一背景像素為該多個背景像素的其中之一；以及當判斷該多個前景像素包圍該至少一第一背景像素時，判斷該手勢符合一預設手勢以對應地操作該電子裝置；其中判斷該二值化影像中該多個前景像素是否包圍該至少一第一背景像素的步驟包括：取得該二值化影像中多個外圍像素；取得該二值化影像的該多個背景像素中與該多個外圍像素直接或間接相連接的多個第二背景像素；判斷該多個背景像素中是否存在除了該多個外圍像素以及該多個第二背景像素以外的一第三背景像素；以及當判斷該多個背景像素中存在除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素時，判斷該多個前景像素包圍該第三背景像素，其中該第三背景像素為該第一背景像素之一部分。
  2. 如請求項1所述的手勢識別方法，其中該預設手勢為以下手勢其中之一：捏取手勢、圓圈手勢、正確手勢、Okay手勢、確認手勢、鎖定手勢、瞄準手勢、對焦手勢。
  3. 如請求項1所述的手勢識別方法，其中取得與該多個外圍像素相連接的該多個第二背景像素的步驟另包括：決定對應於該多個外圍像素的多個最外圍標籤為一第一標籤值，且該多個前景像素對應於一空標籤；依照一掃描順序，逐一判斷該二值化影像的多個內部像素的多個內部像素值是否為該背景像素值，並逐一決定對應於該多個內部像素值的多個內部標籤，其中於該二值化影像中該多個內部像素不為該多個外圍像素；以及根據該多個內部像素值的該多個內部標籤，取得與該多個外圍像素相連接的該多個第二背景像素。
  4. 如請求項3所述的手勢識別方法，其中依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤的步驟另包括：當依照該掃描順序判斷該二值化影像的一第一內部像素的一第一內部像素值為該背景像素值時，判斷與該第一內部像素往前相鄰的一第一相鄰像素是否具有一第一相鄰標籤值，其中該第一相鄰像素於該掃描順序中先於該第一內部像素，該第一相鄰標籤值不為該空標籤；以及當判斷該第一相鄰像素具有該第一相鄰標籤值時，決定對應於該第一內部像素的一第一內部標籤為該第一相鄰標籤值。
  5. 如請求項4所述的手勢識別方法，其中依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤的步驟另包括：當該第一相鄰像素具有該空標籤時，判斷與該第一內部像素往前任一與其相鄰的一第二相鄰像素是否具有一第二相鄰標籤值，其中該第二相鄰 像素於該掃描順序中先於該第一內部像素，該第一相鄰像素及該第二相鄰像素分別於一第一方向及一第二方向直接相鄰於該第一內部像素，該第一方向與該第二方向垂直，該第二相鄰標籤值不為該空標籤；以及當判斷該第二相鄰像素具有該第二相鄰標籤值時，決定該第一內部標籤為該第二相鄰標籤值。
  6. 如請求項5所述的手勢識別方法，其中依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤的步驟另包括：當判斷該第一相鄰像素及該第二相鄰像素皆具有該空標籤時，決定對應於該第一內部標籤為一第二標籤值。
  7. 如請求項6所述的手勢識別方法，其中根據該多個內部像素值的該多個內部標籤，取得與該多個外圍像素相連接的該多個第二背景像素的步驟另包括：判斷該二值化影像的一內部背景像素是否與該多個外圍像素相連接，其中該內部背景像素與該多個外圍像素相連接代表該內部背景像素與該多個外圍像素直接相鄰或該內部背景像素透過其他內部背景像素與該多個外圍像素間接相鄰，該內部背景像素為一內部像素且為一背景像素；以及當判斷該內部背景像素與該多個外圍像素相連接時，決定對應於該內部背景像素的一內部背景標籤為該第一標籤值。
  8. 如請求項7所述的手勢識別方法，其中取得該多個背景像素中與該多個外圍像素相連接的該多個第二背景像素的步驟另包括：取得該多個背景像素中與該多個外圍像素相連接的該多個第二背景像素為 該多個內部像素中所有具有該第一標籤值的多個內部背景像素。
  9. 如請求項7所述的手勢識別方法，其中判斷該多個背景像素中是否存在除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素的步驟另包括：判斷該多個內部像素中是否存在具有非該第一標籤值的一第一內部背景像素；以及當判斷該多個內部像素中存在具有非該第一標籤值的該第一內部背景像素時，判斷該多個背景像素中存在有除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素，其中該第三背景像素為具有該第二標籤值的該第一內部背景像素。
  10. 一種手勢識別模組，用以操作一電子裝置，包含有：一取像裝置，用以感測一手勢而產生一影像；一影像處理單元，對該影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素，該多個前景像素對應一前景像素值，該多個背景像素對應一背景像素值；一判斷單元，用來執行以下步驟：判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素，其中該第一背景像素為該多個背景像素的其中之一；以及當判斷該多個前景像素包圍該至少一第一背景像素時，判斷該手勢符合一預設手勢，以對應地操作該電子裝置；其中，該判斷單元另用來執行以下步驟，以判斷該二值化影像中該多個前景像素是否包圍該至少一第一背景像素：取得該二值化影像中多個外圍像素；取得該二值化影像的該多個背景像素中與該多個外圍像素直接或間接 相連接的多個第二背景像素；判斷該多個背景像素中是否存在除了該多個外圍像素以及該多個第二背景像素以外的一第三背景像素；以及當判斷該多個背景像素中存在除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素時，判斷該多個前景像素包圍該第三背景像素，其中該第三背景像素為該第一背景像素之一部分。
  11. 如請求項10所述的手勢識別模組，其中該取像裝置包含有：一發光元件，用來發射一入射光至該手勢；一感光單元，用來接收對應於該入射光投射至該手勢之一反射光，以產生對應於該手勢之該影像。
  12. 如請求項10所述的手勢識別模組，其中該預設手勢為以下手勢其中之一：捏取手勢、圓圈手勢、正確手勢、Okay手勢、確認手勢、鎖定手勢、瞄準手勢、對焦手勢。
  13. 如請求項10所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以取得與該多個外圍像素相連接的該多個第二背景像素：決定對應於該多個外圍像素的多個最外圍標籤為一第一標籤值，且該多個前景像素對應於一空標籤；依照一掃描順序，逐一判斷該二值化影像的多個內部像素的多個內部像素值是否為該背景像素值，並逐一決定對應於該多個內部像素值的多個內部標籤，其中於該二值化影像中該多個內部像素不為該多個外圍像素；以及根據該多個內部像素值的該多個內部標籤，取得與該多個外圍像素相連接的該多個第二背景像素。
  14. 如請求項13所述的手勢識別模組，其中該判斷單元另用來執行以下 步驟，以依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤：當依照該掃描順序判斷該二值化影像的一第一內部像素的一第一內部像素值為該背景像素值時，判斷與該第一內部像素往前相鄰的一第一相鄰像素是否具有一第一相鄰標籤值，其中該第一相鄰像素於該掃描順序中先於該第一內部像素，該第一相鄰標籤值不為該空標籤；以及當判斷該第一相鄰像素具有該第一相鄰標籤值時，決定對應於該第一內部像素的一第一內部標籤為該第一相鄰標籤值。
  15. 如請求項14所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤：當該第一相鄰像素具有該空標籤時，判斷與該第一內部像素往前任一與其相鄰的一第二相鄰像素是否具有一第二相鄰標籤值，其中該第二相鄰像素於該掃描順序中先於該第一內部像素，該第一相鄰像素及該第二相鄰像素分別於一第一方向及一第二方向直接相鄰於該第一內部像素，該第一方向與該第二方向垂直，該第二相鄰標籤值不為該空標籤；以及當判斷該第二相鄰像素具有該第二相鄰標籤值時，決定該第一內部標籤為該第二相鄰標籤值。
  16. 如請求項15所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以依照該掃描順序逐一判斷該多個內部像素值是否為該背景像素值並逐一決定對應於該多個內部像素的該多個內部標籤：當判斷該第一相鄰像素及該第二相鄰像素皆具有該空標籤時，決定對應於該第一內部標籤為一第二標籤值。
  17. 如請求項16所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以根據該多個內部像素值的該多個內部標籤，取得與該多個外圍像素相連接的該多個第二背景像素：判斷該二值化影像的一內部背景像素是否與該多個外圍像素相連接，其中該內部背景像素與該多個外圍像素相連接代表該內部背景像素與該多個外圍像素直接相鄰或該內部背景像素透過其他內部背景像素與該多個外圍像素間接相鄰，該內部背景像素為一內部像素且為一背景像素；以及當判斷該內部背景像素與該多個外圍像素相連接時，決定對應於該內部背景像素的一內部背景標籤為該第一標籤值。
  18. 如請求項17所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以取得該多個背景像素中與該多個外圍像素相連接的該多個第二背景像素：取得該多個背景像素中與該多個外圍像素相連接的該多個第二背景像素為該多個內部像素中所有具有該第一標籤值的多個內部背景像素。
  19. 如請求項17所述的手勢識別模組，其中該判斷單元另用來執行以下步驟，以判斷該多個背景像素中是否存在除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素：判斷該多個內部像素中是否存在具有非該第一標籤值的一第一內部背景像素；以及當判斷該多個內部像素中存在具有非該第一標籤值的該第一內部背景像素時，判斷該多個背景像素中存在有除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素，其中該第三背景像素為具有該第二標籤值的該第一內部背景像素。
  20. 一種手勢識別系統，包含：一電子裝置；一手勢識別模組，電性耦接於電子裝置並用以操作該電子裝置，包含：一取像裝置，用以感測一手勢而產生一影像；一影像處理單元，對該影像進行一二值化處理，以取得一二值化影像，其中該二值化影像包括多個前景像素以及多個背景像素，該多個前景像素對應一前景像素值，該多個背景像素對應一背景像素值；一判斷單元，用來執行以下步驟：判斷該二值化影像中該多個前景像素是否包圍至少一第一背景像素，其中該第一背景像素為該多個背景像素的其中之一；以及當判斷該多個前景像素包圍該至少一第一背景像素時，判斷該手勢符合一預設手勢，以對應地操作該電子裝置；其中，該判斷單元另用來執行以下步驟，以判斷該二值化影像中該多個前景像素是否包圍該至少一第一背景像素：取得該二值化影像中多個外圍像素；取得該二值化影像的該多個背景像素中與該多個外圍像素直接或間接相連接的多個第二背景像素；判斷該多個背景像素中是否存在除了該多個外圍像素以及該多個第二背景像素以外的一第三背景像素；以及當判斷該多個背景像素中存在除了該多個外圍像素以及該多個第二背景像素以外的該第三背景像素時，判斷該多個前景像素包圍該第三背景像素，其中該第三背景像素為該第一背景像素之一部分。
  21. 如請求項20所述的手勢識別系統，其中該取像裝置包含有：一發光元件，用來發射一入射光至該手勢；一感光單元，用來接收對應於該入射光投射至該手勢之一反射光，以產生對應於該手勢之該影像。
  22. 如請求項20所述的手勢識別系統，其中該預設手勢為以下手勢其中之一：捏取手勢、圓圈手勢、正確手勢、Okay手勢、確認手勢、鎖定手勢、瞄準手勢、對焦手勢。
TW107127973A 2018-08-10 2018-08-10 手勢識別方法、手勢識別模組及手勢識別系統 TWI710973B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107127973A TWI710973B (zh) 2018-08-10 2018-08-10 手勢識別方法、手勢識別模組及手勢識別系統
CN201810987004.1A CN110826382A (zh) 2018-08-10 2018-08-28 手势识别方法、手势识别模块及手势识别系统
US16/260,118 US10810417B2 (en) 2018-08-10 2019-01-29 Method, module and system of gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107127973A TWI710973B (zh) 2018-08-10 2018-08-10 手勢識別方法、手勢識別模組及手勢識別系統

Publications (2)

Publication Number Publication Date
TW202009790A TW202009790A (zh) 2020-03-01
TWI710973B true TWI710973B (zh) 2020-11-21

Family

ID=69405074

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127973A TWI710973B (zh) 2018-08-10 2018-08-10 手勢識別方法、手勢識別模組及手勢識別系統

Country Status (3)

Country Link
US (1) US10810417B2 (zh)
CN (1) CN110826382A (zh)
TW (1) TWI710973B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232217B (zh) * 2020-10-16 2022-08-02 怀化新大地电脑有限公司 手势识别系统
CN113238650B (zh) 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164818A1 (en) * 2004-08-20 2011-07-07 Fuji Xerox Co., Ltd. Method of generating a labeled image and image processing system with pixel blocks
US20120062736A1 (en) * 2010-09-13 2012-03-15 Xiong Huaixin Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
TWM474185U (zh) * 2013-12-13 2014-03-11 Zun-Hong Cai 遠距手勢操控系統
US20160091975A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Hand-gesture-based region of interest localization
TW201626166A (zh) * 2014-09-30 2016-07-16 惠普發展公司有限責任合夥企業 以手勢爲基礎之三維影像操控技術

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP5206503B2 (ja) * 2009-03-03 2013-06-12 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101298024B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN102855461B (zh) * 2011-07-01 2016-05-25 株式会社理光 在图像中检测手指的方法及设备
EP2769335B1 (en) * 2011-10-18 2018-04-18 Nokia Technologies Oy Methods and apparatuses for gesture recognition
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
KR101472455B1 (ko) * 2013-07-18 2014-12-16 전자부품연구원 손동작 기반 사용자 인터페이스장치 및 그 방법
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9857881B2 (en) * 2015-12-31 2018-01-02 Microsoft Technology Licensing, Llc Electrical device for hand gestures detection
US10599919B2 (en) * 2015-12-31 2020-03-24 Microsoft Technology Licensing, Llc Detection of hand gestures using gesture language discrete values
US20170255821A1 (en) * 2016-03-02 2017-09-07 National Taiwan University Gesture recognition system and related method
KR101745651B1 (ko) * 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법
WO2018157286A1 (zh) * 2017-02-28 2018-09-07 深圳市大疆创新科技有限公司 一种识别方法、设备以及可移动平台
WO2018184233A1 (zh) * 2017-04-07 2018-10-11 深圳市柔宇科技有限公司 一种手势识别方法及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164818A1 (en) * 2004-08-20 2011-07-07 Fuji Xerox Co., Ltd. Method of generating a labeled image and image processing system with pixel blocks
US20120062736A1 (en) * 2010-09-13 2012-03-15 Xiong Huaixin Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
TWM474185U (zh) * 2013-12-13 2014-03-11 Zun-Hong Cai 遠距手勢操控系統
US20160091975A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Hand-gesture-based region of interest localization
TW201626166A (zh) * 2014-09-30 2016-07-16 惠普發展公司有限責任合夥企業 以手勢爲基礎之三維影像操控技術

Also Published As

Publication number Publication date
US20200050841A1 (en) 2020-02-13
TW202009790A (zh) 2020-03-01
US10810417B2 (en) 2020-10-20
CN110826382A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
JP6371553B2 (ja) 映像表示装置および映像表示システム
CN109565551B (zh) 对齐于参考帧合成图像
US10311295B2 (en) Heuristic finger detection method based on depth image
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
US20150089453A1 (en) Systems and Methods for Interacting with a Projected User Interface
KR101923320B1 (ko) 디스플레이에서의 지문 인식이 가능한 사용자 단말기 및 지문 인식 방법
US10516820B2 (en) Electronic device for controlling focus of lens and method for controlling the same
TWI710973B (zh) 手勢識別方法、手勢識別模組及手勢識別系統
US8625896B2 (en) Image matting
CN111242084B (zh) 机器人控制方法、装置、机器人及计算机可读存储介质
US11081516B2 (en) Display screen, electronic device and method for three-dimensional feature recognition
US11039118B2 (en) Interactive image processing system using infrared cameras
KR102337257B1 (ko) 케이블 조작을 위한 케이블 분리 인식을 위한 장치 및 이를 위한 방법
CN111754594A (zh) 特征擦除
JP2020177618A (ja) 深度エンジンとデジタル信号プロセッサを用いた対話型画像処理の方法、装置、媒体
KR102605451B1 (ko) 이미지 내에 포함된 복수의 외부 객체들 각각에 대응하는 복수의 서비스들을 제공하는 전자 장치 및 방법
TWI696981B (zh) 使用紅外線攝影機的互動影像處理系統
CN113676670B (zh) 拍照方法、电子设备、芯片系统及存储介质
CN115623317B (zh) 一种对焦的方法、设备及存储介质
TWI696980B (zh) 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
CN104869374B (zh) 投影装置及投影方法
EP3731175A1 (en) Interactive image processing system using infrared cameras
TW202040513A (zh) 使用深度引擎的互動影像處理方法、裝置及媒體
KR20210077907A (ko) 반사형 헤드 마운트 모바일 증강 현실 장치