TWI701575B

TWI701575B - 手勢辨識方法以及手勢辨識裝置

Info

Publication number: TWI701575B
Application number: TW108107629A
Authority: TW
Inventors: 謝佳達; 朱庭鋒
Original assignee: 緯創資通股份有限公司
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2020-08-11
Also published as: TW202034127A; CN111665931A; CN111665931B; US20200285320A1; US10884506B2

Abstract

本揭露提出一種手勢辨識方法及手勢辨識裝置。手勢辨識方法包括以下步驟：取得手部影像，其中手部影像包含手勢圖形；決定在手勢圖形內的參考點；以參考點為圓心來決定多個圓弧參考線；決定所述多個圓弧參考線分別與手勢圖形的邊界交錯的多個交點；依據所述多個圓弧參考線以及所述多個交點來判斷手勢圖形的多個手指區塊的至少二手指區塊是否符合靠近趨勢，以及步判斷手勢圖形於選定範圍內的所述至少二手指區塊是否形成連續圖形區塊；以及當手勢圖形的所述至少二手指區塊符合靠近趨勢，並且形成連續圖形區塊時，決定手部影像為手部捏取影像。

Description

手勢辨識方法以及手勢辨識裝置

本揭露是有關於一種辨識技術，且特別是有關於一種手勢辨識方法以及手勢辨識裝置。

一般而言，早期的虛擬實境（Virtual Reality, VR）/擴增實境（Augmented Reality, AR）等各式頭戴式顯示設備(Head-mounted Display, HMD)的人機互動功能往往受限於運算處理速度、機體龐大笨重、應用軟體支援少、以及價格昂貴而難以進入一般消費市場。然而，由於近年來電子硬體技術大幅增進，硬體運算處理能力也明顯增強，應用軟體開發也增多，因此近年來HMD設備的相關應用設計呈現蓬勃發展的趨勢。並且，隨著行動裝置的普及化，HMD設備的產品開發大多朝向體積輕便短小，並還能同時具有高處理能力的方向來設計。

而對讓HMD設備達成與虛擬環境有擬真的互動體驗，一般HMD設備會配置有感測器或鏡頭來補捉與判斷使用者的手勢。對此，在HMD設備的人機互動功能中，如何可有效地精準且快速判斷使用者的手勢動作一直是本領域重要的課題之一。舉例而言，以捏取手勢辨識來說，一般的HMD設備的影像分析方式是擷取鏡頭前包含使用者的手部影像的整張影像後對整張影像進行影像辨識處理，以判斷手部是否為捏取手勢，再接著執行其他相對應的軟體互動功能。然而，這對於運算資源受限於體積大小以及有限成本價格的HMD設備而言，HMD設備可能無法負荷如此龐大的資料運算量，或無法提供即時的辨識功能。有鑑於此，如何實現可即時且準確的手勢辨識效果而且無須花費大量的運算資源，以下本揭露將提出至少一個實施例的解決方案。

有鑑於此，本揭露提供一種手勢辨識方法以及手勢辨識裝置可有效地分析使用者的手部影像，以準確地辨識使用者的手勢是否為捏取姿勢。

本揭露的手勢辨識方法的一實施例包括以下步驟：取得手部影像，其中手部影像包含手勢圖形；決定在手勢圖形內的參考點；以參考點為圓心來決定多個圓弧參考線；決定所述多個圓弧參考線分別與手勢圖形的邊界交錯的多個交點；依據所述多個圓弧參考線以及所述多個交點來判斷手勢圖形的多個手指區塊的至少二手指區塊是否符合靠近趨勢，以及判斷手勢圖形於選定範圍內的所述至少二手指區塊是否形成連續圖形區塊；以及當手勢圖形的所述至少二手指區塊符合靠近趨勢，並且形成連續圖形區塊時，決定手部影像為手部捏取影像。

本揭露的手勢辨識裝置的一實施例包括影像擷取裝置以及處理器。影像擷取裝置用以取得手部影像。手部影像包含手勢圖形。處理器電性耦接影像擷取裝置。處理器用以分析手部影像的手勢圖形，以決定在手勢圖形內的參考點。處理器以參考點為圓心來決定多個圓弧參考線，並且決定所述多個圓弧參考線分別與手勢圖形的邊界交錯的多個交點。處理器依據所述多個圓弧參考線以及所述多個交點來判斷手勢圖形的多個手指區塊的至少二手指區塊是否符合靠近趨勢，以及判斷手勢圖形於選定範圍內的所述至少二手指區塊是否形成連續圖形區塊。當手勢圖形的所述至少二手指區塊符合靠近趨勢，並且形成連續圖形區塊時，處理器決定手部影像為手部捏取影像。

基於上述，本揭露的手勢辨識方法以及手勢辨識裝置可即時分析使用者的手部影像，以先判斷在手部影像中的手勢圖形的多個手指區塊是否符合靠近趨勢，再接著判斷這些手指區塊形成一個連續圖形區塊，以決定使用者的手部影像是否為手部捏取影像。因此，本揭露的手勢辨識方法以及手勢辨識裝置可準確地辨識使用者的手勢是否為捏取姿勢。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本揭露之內容可以被更容易明瞭，以下特舉至少一實施例做為本揭露能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本揭露的一實施例的手勢辨識裝置的示意圖。參考圖1，手勢辨識裝置100包括處理器110、影像擷取裝置120、儲存器（Storage）130、以及儲存在儲存器130中而可為處理器110載入並執行之手勢辨識程式131。處理器110電性耦接影像擷取裝置120。在本實施例中，手勢辨識裝置100可例如是應用於各式電子裝置或多媒體裝置，以提供即時的手勢辨識功能。特別是，在特定實施例中，本揭露的手勢辨識裝置100可結合或應用於虛擬實境（Virtual Reality, VR）設備或擴增實境（Augmented Reality, AR）等之頭戴式顯示設備（Head-mounted Display, HMD）當中，但本揭露並不限於此。本實施例的手勢辨識裝置100可提供手勢辨識功能，並將手勢辨識結果提供至後端應用程式或後端裝置來執行其他對相對應的功能或操作。

具體而言，當使用者的手部位於影像擷取裝置120前方，並且手勢辨識裝置100執行手勢辨識功能時，影像擷取裝置120將取得使用者的手部影像，並且手部影像當中包括手勢圖形。接著，影像擷取裝置120將手部影像提供至手勢辨識程式131，以使處理器110執行影像分析。值得注意的是，本實施例的手勢辨識裝置100是用於提供可有效判斷使用者的手勢是否為捏取手勢（例如使用者的拇指的末端與食指的末端相接觸，並且其餘手指為收入掌中的動作，但不以此為限，也以是拇指的末端與其他一或甚至多根手指的末端相接觸）的功能。換言之，處理器110將判斷此手部影像是否為手部捏取影像。此外，在本實施例中，處理器110所分析的手部影像可為灰階或經灰階處裡後再經二值化（Binarization）處理的影像，並且在手部影像當中的手勢圖形內的區域與手勢圖形外的區域具有不同像素值。

在本實施例中，處理器110可為圖形處理單元（Graphics processing unit, GPU）、影像處理器（Image Signal Processor, ISP）、中央處理單元（Central Processing Unit, CPU）或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor, DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits, ASIC）、可程式化邏輯裝置（Programmable Logic Device, PLD）、其他類似處理器或這些處理器電路的組合。並且，本實施例的手勢辨識裝置100可進一步包括記憶體（Memory）140。記憶體140可用於儲存影像擷取裝置120所取得的影像資料141以及手勢辨識程式處理時暫存的影像資料141。

在本實施例中，影像擷取裝置120可為深度影像擷取裝置（Depth Camera）、紅外線影像擷取裝置（Infrared Camera）或彩色影像擷取裝置（RGB Camera）。以深度影像擷取裝置為例，當使用者的手部位於深度影像擷取裝置前方時，深度影像擷取裝置可藉由距離門檻值的判斷而以距離較近的前景來取得使用者的手部影像。以紅外線影像擷取裝置為例，當使用者的手部位於紅外線影像擷取裝置前方時，紅外線影像擷取裝置可以藉由判斷反射亮度最高的區域來取得手部影像。以彩色影像擷取裝置為例，當使用者的手部位於紅外線影像擷取裝置前方時，彩色影像擷取裝置可以藉由預先設計的訓練模型或相關學習演算法來找出最相似於手部的區域，以取得手部影像。

更進一步而言，在一實施例中，若影像擷取裝置120為深度影像擷取裝置或彩色影像擷取裝置，則處理器110先對由影像擷取裝置120提供的手部影像進行影像數據簡化。也就是說，處理器110可先對手部影像進行二值化處理，以便於後續的影像分析。然而，在另一實施例中，若影像擷取裝置120為紅外線影像擷取裝置，則由於紅外線影像擷取裝置提供的影像資料即為灰階影像，因此處理器110可先對灰階的手部影像進行快速的二值化處理，再接著執行後續的影像分析。甚至，在又一實施例中，若紅外線影像擷取裝置提供的手部影像已經為二值的黑白影像，則處理器110可直接分析由於紅外線影像擷取裝置提供的手部影像，而處理器110無須執行額外的二值化處理。

圖2是依照本揭露的一實施例的手部影像分析的流程圖。參考圖1以及圖2，手勢辨識裝置100的手勢辨識程式131於載入後可執行圖2的步驟S210~S290以實現手勢辨識功能。在步驟S210中，手勢辨識裝置100藉由影像擷取裝置120取得手部影像，並提供至處理器110，以使處理器110對手部影像進行分析。值得注意的是，處理器110所分析的手部影像為二值化影像。然而，處理器110是否對手部影像執行二值化處理，以影像擷取裝置120的類型而定。在步驟S220中，處理器110分析手部影像，以決定在手部影像的手勢圖形內的參考點。在步驟S230中，處理器110以參考點為圓心來決定多個圓弧參考線。在步驟S240中，處理器110依據所述多個圓弧參考線來判斷手指數量。在步驟S250中，處理器110依據所述多個圓弧參考線來判斷手勢圖形的手指趨勢。在步驟S260中，處理器110判斷手指趨勢中是否存在至少有二根手指相互靠近的趨勢。若否，則處理器110重新執行步驟S210，以取得下一個手部影像。若是，則處理器110執行步驟S270，以辨識手勢圖形的手指區塊的數量。

在步驟S270中，處理器110依據所述多個圓弧參考線來辨識手勢圖形的手指區塊的數量。在步驟S280中，處理器110判斷手勢圖形的手指區塊的數量是否為一個。若否，則處理器110重新執行步驟S210，以取得下一個手部影像。若是，則處理器110執行步驟S290，以輸出手勢辨識結果為捏取手勢。換言之，在本實施例中，手勢辨識裝置100將執行兩階段的辨識。在第一階段中，處理器110將先分析手勢圖形的手指趨勢是否存在至少有二根手指相互靠近的趨勢，以表示使用者的手勢可能為捏取手勢。若在第一階段中，手部影像當中的手勢圖形滿足前述條件，則處理器110執行第二階段。在第二階段中，處理器110將進一步分析手勢圖形的手指區塊數量。若手勢圖形的手指區塊數量為一個，則表示多個手指區塊相連接，以形成一個連續圖形區塊，並且表示使用者的手指動作為捏取動作。反之，若手勢圖形的手指區塊數量非為一個連續圖形區塊，則表示使用者的手指動作非為捏取動作。因此，本實施例的手勢辨識裝置100可提供即時且準確的捏取手勢辨識結果。

為了使本領域技術人員能進一步了解本揭露的手勢辨識的實施細節，以下將提出圖3及圖4的兩個不同的手部影像範例，來詳細說明之。

圖3是依照本揭露的一實施例的針對一手部影像的分析示意圖。參考圖1至圖3，搭配圖2的手勢辨識方法的流程圖。在步驟S210中（對應於分析階段P1），手勢辨識裝置100藉由影像擷取裝置120取得手部影像310，並提供至處理器110，以使處理器110對手部影像310中的手勢圖形311進行分析。二值化手部影像310當中的手勢圖形311的區域內的像素值例如為255，並且手勢圖形311的區域外的像素值例如為0，但本揭露並不限於此。在步驟S220中（對應於分析階段P2），處理器110計算手勢圖形311的多個座標值的平均，以決定在手部影像310的手勢圖形311內的參考點321。換言之，處理器110將手勢圖形311的圖形中心點作為參考點321。在步驟S230中（對應於分析階段P3~P5），處理器110決定在手勢圖形311中對應於參考點321的最遠點331，並且處理器110以參考點321與最遠點331之間的連線（長度例如為r）來決定對應於多個圓弧參考線351_1~351_10的多個不同長度的半徑。在本實施例中，所述多個圓弧參考線351_1~351_10可分別為半圓弧線，並且所述多個圓弧參考線之間為等間距。所述多個圓弧參考線351_1~351_10的半徑可如以下表1所示。然而，本揭露的圓弧參考線的數量以及間距不限於以下表1所示。在一實施例中，圓弧參考線的數量以及間距可依據不同的手勢辨識需求而對應設計之。

參考線	半徑
圓弧參考線351_1	r/10
圓弧參考線351_2	2r/10
圓弧參考線351_3	3r/10
圓弧參考線351_4	4r/10
圓弧參考線351_5	5r/10
圓弧參考線351_6	6r/10
圓弧參考線351_7	7r/10
圓弧參考線351_8	8r/10
圓弧參考線351_9	9r/10
圓弧參考線351_10	r

表1

在步驟S240中（對應於分析階段P6），處理器110例如以逆時針的方式判斷所述多個圓弧參考線351_1~351_10分別與手勢圖形311的邊界交錯的多個交點的交點數量。在本實施例中，手勢圖形311的邊界是指像素值變化的界線，例如由黑（手勢圖形外的區域為像素值為0）轉白（手勢圖形內的區域為像素值為255），或由白轉黑。因此，所述多個圓弧參考線351_1~351_10分別與手勢圖形311的邊界交錯的多個交點的交點數量可如以下表2所示。在本實施例中，處理器110可選擇所述多個圓弧參考線351_1~351_10當中與手勢圖形311的邊界具有最多交點數量的其中之一者，來判斷手指數量。並且，以表2為例，處理器110可判斷圓弧參考線351_6與手勢圖形311的邊界具有最多交點。例如，圓弧參考線351_6與手勢圖形311的邊界之間具有由黑轉白的三個交點361、363、365，並且具有由白轉黑的三個交點362、364、366。因此處理器110可基於圓弧參考線351_6的所述多個交點361~366來決定手勢圖形311的手指數量為三個。然而，在其他實施例中，若所述多個圓弧參考線351_1~351_10當中具有同樣具有最多交點的多個圓弧參考線，則處理器110將選擇最遠離參考點321的一者來作為判斷手指數量的基準。

參考線	交點數量（黑轉白）	交點數量（白轉黑）
圓弧參考線351_1	0	0
圓弧參考線351_2	0	0
圓弧參考線351_3	0	0
圓弧參考線351_4	1	1
圓弧參考線351_5	2	2
圓弧參考線351_6	3	3
圓弧參考線351_7	2	2
圓弧參考線351_8	2	2
圓弧參考線351_9	2	2
圓弧參考線351_10	1	0

表2

在步驟S250中（對應於分析階段P7），處理器110選擇具有最多交點數量的圓弧參考線351_6來作為第一辨識邊界，並且選擇距離參考點最遠的圓弧參考線351_10的前一個圓弧參考線351_9來作為第二辨識邊界。在本實施例中，處理器110自第一辨識邊界及第二辨識邊界之間的每一圓弧參考線的所有交點中選擇相鄰且位於手勢圖形內的二交點的座標計算其中心點座標予以定義為手指骨架點，因此多個圓弧參考線351_6~351_9將可產生多個手指骨架點B1~B7。換言之，處理器110僅需分析手部影像310的一部分。接著，處理器110依據所述多個手指骨架點B1~B7的多個骨架點連線來判斷手勢圖形311的所述多個手指區塊是否符合至少有二個骨架點連線相互靠近趨勢。靠近趨勢例如是指一手指區塊的形狀朝向另一手指區塊的形狀靠近，但本揭露並不限於此。然而，關於趨勢分析（Trend Analysis）的判斷（例如多個數據隨時間的發散或聚合）為各種工程或財務數據統計分析常見的慣用技術手段，在一般試算表軟體中亦有提供趨勢分析功能，而為習知公開技術，故在此不另做贅述。在本實施例中，處理器110是分別串連每一所述手指區塊中的所述多個手指骨架點B1~B7，以決定所述多個骨架點連線。舉例而言，骨架點B1~B4形成一個連線，並且骨架點B5~B7形成另一個連線。

在步驟S260中（對應於分析階段P7），當所述多個骨架點連線至少有二骨架點連線彼此相互靠近時，處理器110判斷手勢圖形311的所述多個手指區塊符合靠近趨勢，並且執行步驟S270。反之，當所述多個骨架點連線均沒有相互靠近時，處理器110判斷手勢圖形311的所述多個手指區塊不符合靠近趨勢，並且處理器110重新執行步驟S210以取得下一個手部影像。

在步驟S270中（對應於分析階段P8~P9），處理器110選擇具有最多交點數量的圓弧參考線351_6的下一個圓弧參考線351_7來作為第三辨識邊界，並且選擇距離參考點321最遠的圓弧參考線351_10來作為第四辨識邊界。在步驟S280中，處理器110判斷在第三辨識邊界以及第四辨識邊界之間的手勢圖形311的所述多個手指區塊的數量是否連成為一個。對此，如同在第三辨識邊界以及第四辨識邊界之間被切割出的部分手部影像320所示，由於在第三辨識邊界以及第四辨識邊界之間被切割出的手勢圖形311的所述多個手指區塊非為連成一個（部分手部影像320當中有兩個區塊），因此表示在第三辨識邊界以及第四辨識邊界之間的手勢圖形311的所述多個手指區塊並未形成一個連續圖形區塊。因此，處理器110判斷手部影像310的手勢圖形311非為捏取手勢（因為一般而言，捏取手勢中的拇指末端與另一手指末端會相接觸而連接在一起），並且處理器110重新執行步驟S210以取得下一個手部影像。據此，本實施例的手勢辨識裝置100可藉由分析手部影像310的一部分（僅需分析兩個辨識邊界之間的影像內容），即可準確且即時地辨識手部影像310的手勢圖形311非為捏取手勢，而無需連續運算或處理整體手部影像310。

圖4是依照本揭露的一實施例針對另一手部影像的分析示意圖。參考圖1、圖2以及圖4，搭配圖2的手勢辨識方法的流程圖。在步驟S210中（對應於分析階段P1’），手勢辨識裝置100藉由影像擷取裝置120取得手部影像410，並提供至處理器110，以使處理器110對手部影像410中的手勢圖形411進行分析。手部影像310當中的手勢圖形411的區域內的像素值例如為255，並且手勢圖形411的區域外的像素值例如為0，但本揭露並不限於此。在步驟S220中（對應於分析階段P2’），處理器110計算手勢圖形411的多個座標值的平均，以決定在手部影像410的手勢圖形411內的參考點421。換言之，處理器110將手勢圖形411的圖形中心點作為參考點421。在步驟S230中（對應於分析階段P3’~P5’），處理器110決定在手勢圖形311中對應於參考點421的最遠點431，並且處理器110以參考點421與最遠點431之間的連線（長度例如為r）來決定對應於多個圓弧參考線451_1~451_10的多個不同長度的半徑。在本實施例中，所述多個圓弧參考線451_1~451_10可分別為半圓弧線，並且所述多個圓弧參考線之間為等間距。所述多個圓弧參考線451_1~451_10的半徑可如以下表3所示。然而，本揭露的圓弧參考線的數量以及間距不限於以下表3所示。在一實施例中，圓弧參考線的數量以及間距可依據不同的手勢辨識需求而對應設計之。

參考線	半徑
圓弧參考線451_1	r/10
圓弧參考線451_2	2r/10
圓弧參考線451_3	3r/10
圓弧參考線451_4	4r/10
圓弧參考線451_5	5r/10
圓弧參考線451_6	6r/10
圓弧參考線451_7	7r/10
圓弧參考線451_8	8r/10
圓弧參考線451_9	9r/10
圓弧參考線451_10	r

表3

在步驟S240中（對應於分析階段P6’），處理器110例如以逆時針的方式判斷所述多個圓弧參考線451_1~451_10分別與手勢圖形411的邊界交錯的多個交點的交點數量。在本實施例中，手勢圖形411的邊界是指像素值變化的界線，例如由黑（手勢圖形外的區域為像素值為0）轉白（手勢圖形內的區域為像素值為255），或由白轉黑。因此，所述多個圓弧參考線451_1~451_10分別與手勢圖形411的邊界交錯的多個交點的交點數量可如以下表4所示。在本實施例中，處理器110可選擇所述多個圓弧參考線451_1~451_10當中與手勢圖形411的邊界具有最多交點數量的其中之一者，來判斷手指數量。並且，以表4為例，處理器110可判斷圓弧參考線451_7與手勢圖形411的邊界具有最多交點。例如，圓弧參考線451_7與手勢圖形411的邊界之間具有由黑轉白的三個交點461、463、465，並且具有由白轉黑的三個交點462、464、466。因此處理器110可基於圓弧參考線451_7的所述多個交點461~466來決定手勢圖形411的手指數量為三個。然而，在其他實施例中，若所述多個圓弧參考線451_1~451_10當中具有同樣具有最多交點的多個圓弧參考線，則處理器110將選擇最遠離參考點421的一者來作為判斷手指數量的基準。

參考線	交點數量（黑轉白）	交點數量（白轉黑）
圓弧參考線451_1	0	0
圓弧參考線451_2	0	0
圓弧參考線451_3	0	0
圓弧參考線451_4	1	1
圓弧參考線451_5	1	1
圓弧參考線451_6	1	2
圓弧參考線451_7	3	3
圓弧參考線451_8	2	2
圓弧參考線451_9	1	1
圓弧參考線451_10	1	0

表4

在步驟S250中（對應於分析階段P7’），處理器110選擇具有最多交點數量的圓弧參考線451_7來作為第一辨識邊界，並且選擇距離參考點最遠的圓弧參考線451_10的前一個圓弧參考線451_9來作為第二辨識邊界。在本實施例中，處理器110自第一辨識邊界及第二辨識邊界之間的每一圓弧參考線的所有交點中選擇相鄰且位於手勢圖形內的二交點的座標計算其中心點座標予以定義為手指骨架點，因此所述多個圓弧參考線451_7~451_9將可產生多個手指骨架點C1~C6。換言之，處理器110僅需分析手部影像410的一部分。接著，處理器110依據所述多個手指骨架點C1~C6的多個骨架點連線來判斷手勢圖形411的所述多個手指區塊是否符合至少有二個骨架點連接相互靠近趨勢。在本實施例中，靠近趨勢例如是指一手指區塊的形狀朝向另一手指區塊的形狀靠近，但本揭露並不限於此。在本實施例中，處理器110是分別串連每一所述手指區塊中的所述多個手指骨架點C1~C6，以決定所述多個骨架點連線。舉例而言，骨架點C1為單獨一個點、C2~C4形成一個連線，並且骨架點C5~C6形成另一個連線。

在步驟S260中（對應於分析階段P7’），當所述多個骨架點連線至少有二骨架點連線彼此相互靠近時，處理器110判斷手勢圖形411的所述多個手指區塊符合靠近趨勢，並且執行步驟S270。反之，當所述多個骨架點連線均沒有相互靠近時，處理器110判斷手勢圖形411的所述多個手指區塊不符合靠近趨勢，並且處理器110重新執行步驟S210以取得下一個手部影像。

在步驟S270中（對應於分析階段P8’~P9’），處理器110選擇具有最多交點數量的圓弧參考線451_7的下一個圓弧參考線451_8來作為第三辨識邊界，並且選擇距離參考點421最遠的圓弧參考線451_10來作為第四辨識邊界。在步驟S280中，處理器110判斷在第三辨識邊界以及第四辨識邊界之間的手勢圖形411的所述多個手指區塊的數量是否連成為一個。對此，如在第三辨識邊界以及第四辨識邊界之間被切割出的部分手部影像420所示，由於在第三辨識邊界以及第四辨識邊界之間被切割出的手勢圖形411的所述多個手指區塊連成為一個，因此表示在第三辨識邊界以及第四辨識邊界之間的手勢圖形411的所述多個手指區塊形成一個連續圖形區塊。因此，處理器110判斷手部影像410的手勢圖形411為捏取手勢。處理器110執行步驟S290以輸出手勢辨識結果，以供後端應用程式或後端裝置來執行其他相對應的功能或操作。據此，本實施例的手勢辨識裝置100可藉由分析手部影像410的一部分（僅需分析兩個辨識邊界之間的影像內容），即可準確且即時地辨識手部影像410的手勢圖形411為捏取手勢，而無需連續運算或處理整體手部影像410。

圖5是依照本揭露的一實施例的手勢辨識方法的流程圖。參考圖1以及圖5，本實施例的手勢辨識方法可至少適用於圖1實施例的手勢辨識裝置100，以使手勢辨識裝置100執行步驟S510~S560。在步驟S510中，手勢辨識裝置100藉由影像擷取裝置120取得手部影像。在步驟S520中，手勢辨識裝置100藉由處理器110分析手部影像，以決定在手部影像的手勢圖形內的參考點。在步驟S530中，處理器110以參考點為圓心來決定多個圓弧參考線。在步驟S540中，處理器110決定所述多個圓弧參考線分別與手勢圖形的邊界交錯的多個交點。在步驟S550中，處理器110依據所述多個圓弧參考線以及所述多個交點來判斷手勢圖形的多個手指區塊是否符合靠近趨勢，以進一步判斷手勢圖形的所述多個手指區塊是否形成連續圖形區塊。在步驟S560中，當手勢圖形的所述多個手指區塊符合靠近趨勢，並且形成連續圖形區塊時，處理器110決定手部影像為手部捏取影像。因此，本實施例的手勢辨識方法可使手勢辨識裝置100即時且準確地辨識使用者的手勢。

另外，關於本實施例的各個步驟的詳細實施細節以及手勢辨識裝置100的其他實施特徵，可參考上述圖1至圖4實施例的內容，而獲致足夠的教示、建議以及實施說明，因此不再加以贅述。

綜上所述，本揭露的手勢辨識方法以及手勢辨識裝置可即時分析使用者的手部影像，以先判斷在部分手部影像中的手勢圖形的多個手指區塊是否符合靠近趨勢，再接著判斷在部分手部影像中的這些手指區塊是否形成一個連續圖形區塊，以決定使用者的手部影像是否為手部捏取影像。因此，本揭露的手勢辨識方法以及手勢辨識裝置無需連續運算整個手部影像資料，即可實現手勢辨識功能。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:手勢辨識裝置 110:處理器 120:影像擷取裝置 310、410:手部影像 311、411:手勢圖形 320、420:部分手部影像 321、421:參考點 331、431:最遠點 351_1~351_10、451_1~451_10:圓弧參考線 361~366、461~466:交點 B1~B7、C1~C6:手指骨架點 P1~P9、P1’~P9’:分析階段 S210~S290、S510~S560:步驟

圖1是依照本揭露的一實施例的手勢辨識裝置的示意圖。圖2是依照本揭露的一實施例的手部影像分析的流程圖。圖3是依照本揭露的一實施例的針對一手部影像的分析示意圖。圖4是依照本揭露的一實施例針對另一手部影像的分析示意圖。圖5是依照本揭露的一實施例的手勢辨識方法的流程圖。

S510~S560:步驟

Claims

一種手勢辨識方法，包括：取得一手部影像，其中該手部影像包含一手勢圖形；決定在該手勢圖形內的一參考點；以該參考點為圓心來決定多個圓弧參考線；決定該些圓弧參考線分別與該手勢圖形的一邊界交錯的多個交點；依據該些圓弧參考線以及該些交點來判斷該手勢圖形的多個手指區塊的至少二手指區塊是否符合一靠近趨勢，以及判斷該手勢圖形於一選定範圍內的該至少二手指區塊是否形成一連續圖形區塊；以及當該手勢圖形的該至少二手指區塊符合該靠近趨勢，並且形成該連續圖形區塊時，決定該手部影像為一手部捏取影像。
如申請專利範圍第1項所述的手勢辨識方法，其中決定在該手勢圖形內的該參考點的步驟包括：計算該手勢圖形的多個座標值的平均，以取得該參考點。
如申請專利範圍第1項所述的手勢辨識方法，其中以該參考點為圓心來決定該些圓弧參考線的步驟包括：決定在該手勢圖形中對應於該參考點的一最遠點；以及以該參考點與該最遠點之間的一連線來決定對應於該些圓弧參考線的多個不同長度的半徑。
如申請專利範圍第3項所述的手勢辨識方法，其中該些圓弧參考線分別為半圓弧線，並且該些圓弧參考線之間為等間距。
如申請專利範圍第1項所述的手勢辨識方法，其中判斷該手勢圖形的該至少二手指區塊是否符合該靠近趨勢的步驟包括：選擇具有最多交點數量的該些圓弧參考線的其中之一，來作為一第一辨識邊界；選擇該些圓弧參考線當中距離該參考點第二遠的圓弧參考線，來作為一第二辨識邊界；以及判斷在該第一辨識邊界以及該第二辨識邊界之間的該手勢圖形的該至少二手指區塊是否符合該靠近趨勢。
如申請專利範圍第5項所述的手勢辨識方法，其中更包括：自該第一辨識邊界及該第二辨識邊界之間的每一該圓弧參考線的所有該交點中選擇相鄰且位於該手勢圖形內的二交點的座標計算其中心點座標予以定義為手指骨架點；以及依據該些手指骨架點的多個骨架點連線來判斷該手勢圖形的該至少二手指區塊是否符合該靠近趨勢。
如申請專利範圍第6項所述的手勢辨識方法，其中依據該些手指骨架點的該些骨架點連線來判斷該手勢圖形的該至少二手指區塊是否符合該靠近趨勢的步驟包括：分別串連每一該手指區塊中的該些手指骨架點，以決定該些骨架點連線。
如申請專利範圍第6項所述的手勢辨識方法，其中依據該些手指骨架點的該些骨架點連線來判斷該手勢圖形的該至少二手指區塊是否符合該靠近趨勢的步驟包括：當該至少二骨架點連線為相互靠近時，判斷該手勢圖形的該至少二手指區塊符合該靠近趨勢。
如申請專利範圍第1項所述的手勢辨識方法，其中判斷該手勢圖形於選定範圍內的該至少二手指區塊是否形成該連續圖形區塊的步驟包括：選擇具有最多交點數量的該些圓弧參考線的其中之一的下一個圓弧參考線，來作為一第三辨識邊界；選擇該些圓弧參考線當中距離該參考點最遠的圓弧參考線，來作為一第四辨識邊界；以及判斷在該第三辨識邊界以及該第四辨識邊界之間的該手勢圖形的該至少二手指區塊是否形成該連續圖形區塊。
如申請專利範圍第1項所述的手勢辨識方法，其中該手部影像為一二值化影像，並且該手部影像的該手勢圖形內的區域與該手勢圖形外的區域具有不同像素值。
一種手勢辨識裝置，包括：一影像擷取裝置，用以取得一手部影像，其中該手部影像包含一手勢圖形；以及一處理器，電性耦接該影像擷取裝置，用以分析該手部影像的該手勢圖形，以決定在該手勢圖形內的一參考點，其中該處理器以該參考點為圓心來決定多個圓弧參考線，並且決定該些圓弧參考線分別與該手勢圖形的一邊界交錯的多個交點，其中該處理器依據該些圓弧參考線以及該些交點來判斷該手勢圖形的多個手指區塊的至少二手指區塊是否符合一靠近趨勢，以及判斷該手勢圖形於一選定範圍內的該至少二手指區塊是否形成一連續圖形區塊，其中該手勢圖形的該至少二手指區塊符合該靠近趨勢，並且形成該連續圖形區塊時，該處理器決定該手部影像為一手部捏取影像。
如申請專利範圍第11項所述的手勢辨識裝置，其中該處理器計算該手勢圖形的多個座標值的平均，以取得該參考點。
如申請專利範圍第11項所述的手勢辨識裝置，其中該處理器決定在該手勢圖形中對應於該參考點的一最遠點，並且該處理器以該參考點與該最遠點之間的一連線來決定對應於該些圓弧參考線的多個不同長度的半徑。
如申請專利範圍第13項所述的手勢辨識裝置，其中該些圓弧參考線分別為半圓弧線，並且該些圓弧參考線之間為等間距。
如申請專利範圍第11項所述的手勢辨識裝置，其中該處理器選擇具有最多交點數量的該些圓弧參考線的其中之一，來作為一第一辨識邊界，並且該處理器選擇該些圓弧參考線當中距離該參考點第二遠的圓弧參考線，來作為一第二辨識邊界，其中該處理器判斷在該第一辨識邊界以及該第二辨識邊界之間的該手勢圖形的該至少二手指區塊是否符合該靠近趨勢。
如申請專利範圍第15項所述的手勢辨識裝置，其中該處理器自該第一辨識邊界及該第二辨識邊界之間的每一該圓弧參考線的所有該交點中選擇相鄰且位於該手勢圖形內的二交點的座標計算其中心點座標予以定義為手指骨架點，並且該處理器依據該些手指骨架點的多個骨架點連線來判斷該手勢圖形的該至少二手指區塊是否符合該靠近趨勢。
如申請專利範圍第16項所述的手勢辨識裝置，其中該處理器分別串連每一該手指區塊中的該些手指骨架點，以決定該些骨架點連線。
如申請專利範圍第16項所述的手勢辨識裝置，其中當至少二該骨架點連線為相互靠近時，該處理器判斷該手勢圖形的該至少二手指區塊符合該靠近趨勢。
如申請專利範圍第11項所述的手勢辨識裝置，其中當該處理器選擇具有最多交點數量的該些圓弧參考線的其中之一的下一個圓弧參考線，來作為一第三辨識邊界，並且該處理器選擇該些圓弧參考線當中距離該參考點最遠的圓弧參考線，來作為一第四辨識邊界，其中該處理器判斷在該第三辨識邊界以及該第四辨識邊界之間的該至少二手勢圖形的該些手指區塊是否形成該連續圖形區塊。
如申請專利範圍第11項所述的手勢辨識裝置，其中該手部影像為一二值化影像，並且該手部影像的該手勢圖形內的區域與該手勢圖形外的區域具有不同像素值。