TWI625678B - 電子設備及其手勢識別方法 - Google Patents

電子設備及其手勢識別方法 Download PDF

Info

Publication number
TWI625678B
TWI625678B TW106120799A TW106120799A TWI625678B TW I625678 B TWI625678 B TW I625678B TW 106120799 A TW106120799 A TW 106120799A TW 106120799 A TW106120799 A TW 106120799A TW I625678 B TWI625678 B TW I625678B
Authority
TW
Taiwan
Prior art keywords
hand
depth information
block
module
image
Prior art date
Application number
TW106120799A
Other languages
English (en)
Other versions
TW201905757A (zh
Inventor
楊榮浩
蔡東佐
莊志遠
郭錦斌
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW106120799A priority Critical patent/TWI625678B/zh
Priority to US15/652,698 priority patent/US10282601B2/en
Application granted granted Critical
Publication of TWI625678B publication Critical patent/TWI625678B/zh
Publication of TW201905757A publication Critical patent/TW201905757A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一種電子設備，包括：影像獲取模組，用於獲取包含一手部且具有深度資訊的影像；第一過濾模組，用於過濾影像中所包含的靜態物件；第一建立模組，用於獲取手部在影像中的座標，並依據該座標建立包含手部的第一區塊；統計模組，用於獲取第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數；第二建立模組，用於根據該統計結果來獲取手部的深度資訊，並利用手部的深度資訊建立一第二區塊；及識別模組，獲取手部在所述第二區塊的移動軌跡並根據該移動軌跡來識別手部的手勢。本發明還提供一種手勢識別方法。

Description

電子設備及其手勢識別方法
本發明涉及電子通信技術領域，尤其涉及一種電子設備及其手勢識別方法。
目前的影像識別技術可以識別影像中的手勢及當前手勢位置在何處，但是偵測到的區塊通常包含的物件不只有手勢，常涵蓋其他非手的物件，例如牆壁、傢俱、頭部、軀幹等等，此時獲得的手勢深度資訊可能存在誤差。 這些誤差將導致無法建立精準的手勢偵測區域，如此一來會造成使用者利用手勢操作裝置的不準確，降低用戶使用體驗。
有鑑於此，有必要提供一種手勢識別方法及運用該手勢識別方法的電子設備，其能實現精準建立手勢偵測區域。
本發明一實施方式提供一種手勢識別方法，應用於電子設備，所述手勢識別方法包括以下步驟：獲取包含一手部且具有深度資訊的影像；過濾所述影像中所包含的靜態物件；獲取所述手部在所述影像中的座標，並依據所述座標建立包含所述手部的第一區塊；獲取所述第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數；根據所述統計結果獲取所述手部的深度資訊，並利用所述手部的深度資訊建立一第二區塊；及獲取所述手部在所述第二區塊的移動軌跡並根據所述移動軌跡來識別所述手部的手勢。
本發明一實施方式提供一種電子設備，記憶體；至少一個處理器；及一個或複數模組，所述一個或複數模組存儲在所述記憶體中，並由所述至少一個處理器執行，所述一個或複數模組包括：影像獲取模組，用於獲取包含一 手部且具有深度資訊的影像；第一過濾模組，用於過濾所述影像中所包含的靜態物件；第一建立模組，用於獲取所述手部在所述影像中的座標，並依據所述座標建立包含所述手部的第一區塊；統計模組，用於獲取所述第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數；第二建立模組，用於根據所述統計模組的統計結果來獲取所述手部的深度資訊，並利用所述手部的深度資訊建立一第二區塊；及識別模組，獲取所述手部在所述第二區塊的移動軌跡並根據所述移動軌跡來識別所述手部的手勢。
與現有技術相比，上述電子設備及其手勢識別方法，能夠在獲取手部的深度資訊時過濾掉非手部的物件，使得獲取的手部深度資訊誤差小，實現精準建立手勢偵測區域，可提高手勢操作電子設備的準確性，增強使用者使用體驗。
1‧‧‧手勢識別系統
2‧‧‧處理器
3‧‧‧記憶體
4‧‧‧深度攝像頭
11‧‧‧影像獲取模組
12‧‧‧第一過濾模組
13‧‧‧第一建立模組
14‧‧‧統計模組
15‧‧‧第二建立模組
16‧‧‧識別模組
20‧‧‧手部
100‧‧‧電子設備
200‧‧‧第一區塊
300‧‧‧第二區塊
圖1是本發明一實施方式的電子設備的功能模組圖。
圖2是本發明一實施方式的手勢識別系統的功能模組圖。
圖3是本發明一實施方式的第一建立模組建立的第一區塊的示意圖。
圖4是本發明一實施方式的用於統計不同深度值所包含的圖元點個數的長條圖。
圖5是本發明一實施方式的第二建立模組建立的第二區塊的示意圖。
圖6是本發明一實施方式的手勢識別方法的步驟流程圖。
請參閱圖1，在一實施方式中，一種電子設備100包括手勢識別系統1、處理器2及記憶體3。上述各個元件之間電氣連接。電子設備100可以是電視、手機、平板電腦等設備。
手勢識別系統1用於即時檢測並識別一手部20的手勢，進而實現藉由手勢來控制電子設備100。記憶體3可以用於存儲電子設備100的各種資料， 例如存儲手勢識別系統1的程式化代碼。手勢識別系統1包括一個或複數模組，所述一個或複數模組存儲在記憶體3中並由處理器2執行，以完成本發明提供的功能。
請同時參閱圖2-5，手勢識別系統1包括影像獲取模組11、第一過濾模組12、第一建立模組13、統計模組14、第二建立模組15及識別模組16。 本發明所稱的模組可以是完成一特定功能的程式段。
影像獲取模組11用於獲取包含一手部20且具有深度資訊的影像。 舉例而言，影像獲取模組11可以啟動深度攝像頭4來取得包含手部20的RGB影像及該RGB影像中每一物件的深度資訊。RGB影像中每一幀畫面中的每一圖元點可以用一位於XY坐標系統的座標來表示，深度資訊可以用Z座標進行表示，進而可以藉由三維座標來表示每一圖元點。
第一過濾模組12用於過濾影像獲取模組11獲取的影像中所包含的靜態物件。在一實施方式中，第一過濾模組12可以將影像獲取模組11獲取的影像送入高斯混合模型(Gaussian Mixture Model，GMM)，進而藉由GMM來過濾掉影像中的靜態物件(拍攝時的背景物，例如牆壁、座椅等)，從而來保留影像中的動態物件(例如人的頭部、手部、身軀等)。
第一建立模組13用於獲取手部20在影像中的座標，並依據獲取的座標建立包含手部20的第一區塊200。在一實施方式中，第一建立模組13可以藉由深度學習演算法從經過GMM過濾後的影像中查找到手部20的座標。具體地，第一建立模組13可以藉由深度學習演算法來學習並建立手部20的特徵值，並利用手部20的特徵值從經過GMM過濾後的影像中查找到手部20的座標，在根據手部20的座標建立包含手部20的第一區塊200(如圖3所示)。第一區塊200中手部20的面積的佔比優選大於一預設比值，避免由於佔比太小而導致識別速度低下。預設比值可以根據實際的識別精度需求進行調整。在本實施方式中，預設比值為40%，即第一區塊200中手部20的面積的佔比優選大於40%。 在第一區塊200中，每一圖元點同樣具有相對應的XY座標及深度資訊(Z座標)。
統計模組14用於獲取第一區塊200中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數。由於每一圖元點具有相對應的XY座標及深度資訊，統計模組14可以直接藉由每一圖元點的XY座標來查詢每一圖元點的深度 資訊。進一步地，統計模組14可以利用長條圖來統計不同深度值所包含的圖元點個數。
舉例而言，如圖4所述，第一區塊200為5(行)*5(列)的區塊，第一區塊200包括25個圖元點，每個圖元點均具有一深度值，深度值的範圍為0~255。在圖4中，長條圖的X座標為0~255的數值(深度值)，Y座標為圖元點個數，利用長條圖可以統計得出深度值為50的圖元點個數為10個，深度值為90的圖元點個數為12個，深度值為240的圖元點個數為2個，深度值為8的圖元點個數為1個。
第二建立模組15用於根據統計模組14的統計結果來獲取手部20的深度資訊，並利用手部20的深度資訊建立一第二區塊300。在一實施方式中，深度資訊小於預設深度值的圖元點可以被視為雜訊，第二建立模組15可以先將第一區塊200中深度資訊小於預設深度值的圖元點過濾掉。預設深度值可以根據實際的識別精度需求進行調整，在本實施方式中，預設深度值可以是10。即第二建立模組15將第一區塊200中深度資訊小於10的圖元點過濾掉，進而圖4中深度值為8的圖元點被過濾，剩餘深度值為50、90、240的圖元點。
第二建立模組15從長條圖中提取出兩組包含圖元點個數最多的深度資訊並從中選擇深度值較低的一組深度資訊作為手部20的深度資訊。例如，在圖4中，深度值為50與90的圖元點個數最多(深度值為50的圖元點個數為10個，深度值為90的圖元點個數為12個)，且深度值50屬於深度值相對較低的一組(50<90)，因此，第二建立模組15選擇深度值50作為手部20所在位置的深度資訊。
在一實施方式中，第二建立模組15還用於在獲得手部20的深度資訊後過濾掉其他物件(例如頭部、身軀等)，進而只保留手部20。具體地，第二建立模組15可以根據手部20的深度資訊建立一深度資訊區間，並過濾第一區塊200中不在所述深度資訊區間內的圖元點，以建立包含手部20的區塊平面。 舉例而言，第二建立模組15以深度值50為中值建立一深度資訊區間(48~52)，第二建立模組15將深度值小於48及深度值大於52的圖元點濾除，進而可以製作一個即可以涵蓋手部20同時區塊面積又盡可能小的區塊平面。第二建立模組15再以所述區塊平面為面，手部20的深度資訊為深度(圖5中以“H”表示手部20的深度資訊)建立一個具有立體空間區域的第二區塊300，第二建立模組15建 立的第二區塊300如圖5所示。
識別模組16用於獲取手部20在第二區塊300中的移動軌跡並根據偵測到的移動軌跡來識別手部20的手勢。在一實施方式中，記憶體3可以預先存儲不同手勢對應的軌跡，識別模組16可以藉由深度學習演算法來學習並完善不同手勢對應的不同軌跡，進而可以提高手勢識別的準確性。
圖6為本發明一實施方式中手勢識別方法的流程圖。本方法可以使用在圖2所示的手勢識別系統1中。
步驟S600，影像獲取模組11獲取包含手部20且具有深度資訊的影像。
步驟S602，第一過濾模組12過濾獲取的影像中所包含的靜態物件。
步驟S604，第一建立模組13獲取手部20在過濾後的影像中的座標，並依據獲取的座標建立包含手部20的第一區塊200。
步驟S606，統計模組14獲取第一區塊200中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數。
步驟S608，第二建立模組15根據統計結果來獲取手部20的深度資訊，並利用手部20的深度資訊建立第二區塊300。
步驟S610，識別模組16獲取手部20在第二區塊300中的移動軌跡並根據所述移動軌跡來識別手部20的手勢，以實現控制電子設備100。
在一實施方式中，影像獲取模組11可以藉由啟動深度攝像頭4來取得包含手部20的RGB影像及該RGB影像中每一物件的深度資訊。
在一實施方式中，第一過濾模組12可以藉由GMM來過濾掉影像中的靜態物件，從而來保留影像中的動態物件。
在一實施方式中，第一建立模組13可以藉由深度學習演算法來學習並建立手部20的特徵值，並利用手部20的特徵值從經過GMM過濾後的影像中查找到手部20的座標，在根據手部20的座標建立包含手部20的第一區塊200。
第一區塊200中手部20的面積的佔比優選大於一預設比值，避免由於佔比太小而導致識別速度低下。預設比值可以根據實際的識別精度需求進行調整。
在一實施方式中，統計模組14可以藉由每一圖元點的XY座標來查詢每一圖元點的深度資訊並利用長條圖來統計不同深度值所包含的圖元點個數。
在一實施方式中，第二建立模組15可以先將第一區塊200中深度資訊小於預設深度值的圖元點過濾掉。預設深度值可以根據實際的識別精度需求進行設定並調整。
在一實施方式中，第二建立模組15從長條圖中提取出兩組包含圖元點個數最多的深度資訊並從中選擇深度值較低的一組深度資訊作為手部20的深度資訊。
在一實施方式中，第二建立模組15可以根據手部20的深度資訊建立一深度資訊區間，並過濾第一區塊200中不在所述深度資訊區間內的物件，以建立包含手部20的區塊平面，再以所述區塊平面為面，手部20的深度資訊為深度建立一個具有立體空間區域的第二區塊300。
在一實施方式中，記憶體3可以預先存儲不同手勢對應的軌跡，識別模組16可以藉由深度學習演算法來學習並完善不同手勢對應的不同軌跡，進而可以提高手勢識別的準確性。
上述電子設備及其手勢識別方法，能夠在獲取手部的深度資訊時過濾掉非手部的物件，使得獲取的手部深度資訊誤差小，實現精準建立手勢偵測區域，可提高手勢操作電子設備的準確性，增強使用者使用體驗。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應
涵蓋於以下申請專利範圍內。

Claims (12)

  1. 一種手勢識別方法，應用於電子設備，所述手勢識別方法包括以下步驟：獲取包含一手部且具有深度資訊的影像；過濾所述影像中所包含的靜態物件；獲取所述手部在所述影像中的座標，並依據所述座標建立包含所述手部的第一區塊，其中所述獲取所述手部在所述影像中的座標，並依據所述座標建立包含所述手部的第一區塊的步驟包括：利用深度學習演算法建立所述手部的特徵值；根據所述手部的特徵值獲取所述手部在所述影像中的座標；及依據所述座標建立包含所述手部的第一區塊；其中，所述第一區塊中手部的面積的佔比大於一預設比值；獲取所述第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數；根據所述統計結果獲取所述手部的深度資訊，並利用所述手部的深度資訊建立一第二區塊；及獲取所述手部在所述第二區塊的移動軌跡並根據所述移動軌跡來識別所述手部的手勢。
  2. 如申請專利範圍第1項所述之手勢識別方法，其中所述獲取包含一手部且具有深度資訊的影像的步驟包括：獲取包含一手部的RGB影像及所述RGB影像中每一物件的深度資訊。
  3. 如申請專利範圍第2項所述之手勢識別方法，其中所述過濾所述影像中所包含的靜態物件的步驟包括：利用高斯混合模型過濾所述RGB影像中所包含的靜態物件。
  4. 如申請專利範圍第1項所述之手勢識別方法，其中所述獲取所述第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數的步驟包括：根據所述第一區塊中每一圖元點的座標來提取每一圖元點的深度資訊；及利用長條圖統計每一深度資訊的圖元點個數。
  5. 如申請專利範圍第4項所述之手勢識別方法，其中所述根據所述統計結果獲取所述手部的深度資訊，並利用所述手部的深度資訊建立一第二區塊 的步驟包括：過濾所述長條圖中深度資訊小於預設深度值的圖元點；從所述長條圖中提取出兩組包含圖元點個數最多的深度資訊並從中選擇深度值較低的一組深度資訊作為所述手部的深度資訊；及利用所述手部的深度資訊建立所述第二區塊。
  6. 如申請專利範圍第5項所述之手勢識別方法，其中所述利用所述手部的深度資訊建立所述第二區塊的步驟包括：根據所述手部的深度資訊建立一深度資訊區間；過濾所述第一區塊中不在所述深度資訊區間內的物件，以建立包含所述手部的區塊平面；根據所述區塊平面及所述手部的深度資訊建立所述第二區塊。
  7. 一種電子設備，包括：記憶體；至少一個處理器；及一個或複數模組，所述一個或複數模組存儲在所述記憶體中，並由所述至少一個處理器執行，所述一個或複數模組包括：影像獲取模組，用於獲取包含一手部且具有深度資訊的影像；第一過濾模組，用於過濾所述影像中所包含的靜態物件；第一建立模組，用於獲取所述手部在所述影像中的座標，並依據所述座標建立包含所述手部的第一區塊，其中所述第一建立模組用於藉由深度學習演算法來建立所述手部的特徵值，並根據所述手部的特徵值獲取所述手部在所述影像中的座標並依據所述座標建立包含所述手部的第一區塊；其中，所述第一區塊中手部的面積的佔比大於一預設比值；統計模組，用於獲取所述第一區塊中每一圖元點的深度資訊並統計每一深度資訊的圖元點個數；第二建立模組，用於根據所述統計模組的統計結果來獲取所述手部的深度資訊，並利用所述手部的深度資訊建立一第二區塊；及識別模組，用於獲取所述手部在所述第二區塊的移動軌跡並根據所述移動軌跡來識別所述手部的手勢。
  8. 如申請專利範圍第7項所述之電子設備，其中所述影像獲取模組用 於獲取包含所述手部的RGB影像及所述RGB影像中每一物件的深度資訊。
  9. 如申請專利範圍第8項所述之電子設備，其中所述第一過濾模組用於藉由高斯混合模型來過濾所述RGB影像中所包含的靜態物件。
  10. 如申請專利範圍第7項所述之電子設備，其中所述統計模組用於根據所述第一區塊中每一圖元點的座標來提取每一圖元點的深度資訊，並利用長條圖來統計每一深度資訊的圖元點個數。
  11. 如申請專利範圍第10項所述之電子設備，其中所述第二建立模組用於過濾所述長條圖中深度資訊小於預設深度值的圖元點，再從所述長條圖中提取出兩組包含圖元點個數最多的深度資訊並從中選擇深度值較低的一組深度資訊作為所述手部的深度資訊，並利用所述手部的深度資訊建立所述第二區塊。
  12. 如申請專利範圍第11項所述之電子設備，其中所述第二建立模組還用於根據所述手部的深度資訊建立一深度資訊區間，並過濾所述第一區塊中不在所述深度資訊區間內的物件，以建立包含所述手部的區塊平面，所述第二建立模組還用於根據所述區塊平面及所述手部的深度資訊建立所述第二區塊。
TW106120799A 2017-06-21 2017-06-21 電子設備及其手勢識別方法 TWI625678B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106120799A TWI625678B (zh) 2017-06-21 2017-06-21 電子設備及其手勢識別方法
US15/652,698 US10282601B2 (en) 2017-06-21 2017-07-18 Electronic device and gesture recognition method applied therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106120799A TWI625678B (zh) 2017-06-21 2017-06-21 電子設備及其手勢識別方法

Publications (2)

Publication Number Publication Date
TWI625678B true TWI625678B (zh) 2018-06-01
TW201905757A TW201905757A (zh) 2019-02-01

Family

ID=63255702

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106120799A TWI625678B (zh) 2017-06-21 2017-06-21 電子設備及其手勢識別方法

Country Status (2)

Country Link
US (1) US10282601B2 (zh)
TW (1) TWI625678B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167005A1 (en) * 2018-11-28 2020-05-28 Seiko Epson Corporation Recognition device and recognition method
CN111382592B (zh) * 2018-12-27 2023-09-29 杭州海康威视数字技术股份有限公司 活体检测方法和设备
CN109961462A (zh) * 2019-03-25 2019-07-02 华瑞新智科技（北京）有限公司 目标跟踪方法、装置和系统
US10510155B1 (en) 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
WO2021098587A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 手势分析方法、装置、设备及计算机可读存储介质
EP3839855B1 (de) * 2019-12-17 2024-04-03 Diebold Nixdorf Systems GmbH Selbstbedienungs-registrierterminal und verfahren

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201426413A (zh) * 2012-12-24 2014-07-01 Ind Tech Res Inst 三維互動裝置及其操控方法
CN103630877B (zh) * 2012-08-29 2015-11-11 凌通科技股份有限公司 位置识别系统、方法以及使用其的姿势识别系统、方法
TW201619752A (zh) * 2014-11-17 2016-06-01 緯創資通股份有限公司 手勢辨識方法及其裝置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242255B2 (en) * 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
WO2013063767A1 (en) * 2011-11-01 2013-05-10 Intel Corporation Dynamic gesture based short-range human-machine interaction
US10048765B2 (en) * 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630877B (zh) * 2012-08-29 2015-11-11 凌通科技股份有限公司 位置识别系统、方法以及使用其的姿势识别系统、方法
TW201426413A (zh) * 2012-12-24 2014-07-01 Ind Tech Res Inst 三維互動裝置及其操控方法
TW201619752A (zh) * 2014-11-17 2016-06-01 緯創資通股份有限公司 手勢辨識方法及其裝置

Also Published As

Publication number Publication date
US20180373927A1 (en) 2018-12-27
TW201905757A (zh) 2019-02-01
US10282601B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
TWI625678B (zh) 電子設備及其手勢識別方法
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
US20160154469A1 (en) Mid-air gesture input method and apparatus
CN108519812B (zh) 一种基于卷积神经网络的三维微多普勒手势识别方法
CN103839040B (zh) 基于深度图像的手势识别方法和装置
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN106598227A (zh) 基于Leap Motion和Kinect的手势识别方法
CN102937850B (zh) 实时手写笔迹的美化方法及美化装置
US9436872B2 (en) System and method for detecting and tracking multiple parts of an object
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN107589850A (zh) 一种手势移动方向的识别方法及系统
WO2022042566A1 (zh) 基于标记点的三维手势的识别方法、装置及设备
US20160104037A1 (en) Method and device for generating motion signature on the basis of motion signature information
CN104268864B (zh) 卡片边缘提取方法和装置
CN103218601B (zh) 检测手势的方法及装置
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN107526994A (zh) 一种信息处理方法、装置及移动终端
CN105589552A (zh) 基于手势的投影交互方法及投影交互设备
CN109753883A (zh) 视频定位方法、装置、存储介质和电子设备
CN106067031A (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN106875465A (zh) 基于rgbd图像的三维操控空间的建立方法及设备
CN105022579A (zh) 基于图像处理的虚拟键盘的实现方法和装置
CN106406507B (zh) 图像处理方法以及电子设备