TW201413497A - 互動系統及移動偵測方法 - Google Patents
互動系統及移動偵測方法 Download PDFInfo
- Publication number
- TW201413497A TW201413497A TW101135487A TW101135487A TW201413497A TW 201413497 A TW201413497 A TW 201413497A TW 101135487 A TW101135487 A TW 101135487A TW 101135487 A TW101135487 A TW 101135487A TW 201413497 A TW201413497 A TW 201413497A
- Authority
- TW
- Taiwan
- Prior art keywords
- target object
- predetermined threshold
- processing unit
- images
- calculated
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明係提供一種移動偵測方法，用於一互動系統，該方法包括下列步驟：取得複數張影像；辨識所取得的該等影像中之一目標物件；由該等影像計算該目標物件在一第一方向之一位置變化量對時間的一積分值；判斷所計算的該積分值是否大於一預定閥值；以及當所計算的該積分值大於一預定閥值，決定該目標物件移動。
Description
本發明係有關於互動系統，特別是有關於利用手部的位置變化量及時間之關係來降低手勢誤判機率的互動系統及方法。
目前利用手勢的互動系統，均是利用手部的動作輸入信號，互動系統中的處理單元再根據信號執行預設的動作。而前述手勢動作，通常是指手部的上下左右前後等動作。對人來說，分辨手部的移動方向很容易，然而對互動系統來說，僅能得知接收到手部移動的信號，必需再加入其他的邏輯判斷才能得知手勢動作。
在傳統互動系統中，只要手部有移動，均會依手部移動的信號取得其移動方向，並直接輸出。換言之，只要是傳統互動系統可偵測的微小移動量，均會在所對應的各方向執行互動處理。然而，對使用者來說，手部的細微移動或震動並不表示使用者輸入手勢信號。舉例來說，使用者將手部向右方揮動，當手部停止時，使用者會施加反方向的力量讓手部停止，因此手部會略為向左移動。然而向左移動並不是使用者所想要的手勢動作，而傳統互動系統仍然會將該向左移動的手勢動作列入判斷條件，因此會造成誤判。
有鑑於此，本發明提供一種移動偵測方法，用於一互動系統，該方法包括下列步驟：取得複數張影像；辨識所
取得的該等影像中之一目標物件；由該等影像計算該目標物件在一方向之一位置變化量對時間的一積分值；判斷所計算的該積分值是否大於一預定閥值；以及當所計算的該積分值大於一預定閥值，決定該目標物件移動。
本發明更提供一種互動系統，包括：一影像擷取單元，用以擷取複數影像並儲存於一影像緩衝器；一處理單元，用以由該影像緩衝器取得該等影像，並由該等影像辨識一目標物件；其中該處理單元更由該等影像計算該目標物件在一第一方向之一位置變化量對時間的一積分值，並判斷所計算的該積分值是否大於一預定閥值；其中當所計算的該積分值大於一預定閥值，該處理單元決定該目標物件移動。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。
第1圖係顯示依據本發明一實施例之互動系統的功能方塊圖。在一實施例中，互動系統100包括一影像擷取單元110、一處理單元120及一影像緩衝器(frame buffer)130。影像擷取單元110係用以擷取複數影像，並將所擷取的該等影像儲存於影像緩衝器130中。處理單元120係取得儲存於影像緩衝器130中的該等影像，並據以取得至少一操作特徵，例如一使用者的手部。在一實施例中，若影像擷取單元110為一數位相機並擷取複數張二維影像，處理單元120可由利用物件辨識(object recognition)技術在所擷取
的二維影像中辨識出一目標物件的形狀及其座標，目標物件例如是使用者的手部或是一特定物件。當影像擷取單元110為二並列的數位相機，在取得目標物件的深度資訊後，處理單元120更可透過由二維影像轉換為三維影像之習知技術將所擷取的二維影像轉換為三維影像(例如二維影像搭配其深度影像)，因三維影像即帶有深度資訊，處理單元120可在三維影像中直接找出目標物件之座標。
在另一實施例中，影像擷取單元110係可為一深度攝影機，並取得複數張三維影像(例如二維影像搭配其深度影像)。因三維影像中即帶有深度資訊，處理單元120可利用物件辨識(object recognition)技術由所擷取的三維影像中辨識出一目標物件，目標物件例如是使用者的手部或是一特定物件。處理單元120並可直接由三維影像中取得目標物件的形狀及其座標。舉例來說，無論是透過直接擷取的三維影像或是經由二維影像轉換而得的三維影像，處理單元120均可透過使用者自訂的方式來取得目標物件，例如取得深度最淺的物件做為目標物件。
第2A~2G圖係顯示依據本發明一實施例之計算目標物件之位移量及時間關係的示意圖。當取得目標物件後，處理單元120更進一步計算目標物件的位移量(displacement)及時間之間的關係以判斷目標物件是否移動。更詳細而言，處理單元120係計算目標物件在同一方向(例如X軸、Y軸或Z軸)之位置變化量(位移量)對時間之一積分值，例如第2A圖中的區域201之面積即為位置變化量及經過時間t1的積分值。若目標物件在X、Y、Z軸
三個維度(意即水平方向、垂直方向及深度方向)均有一候選位置變化量，則處理單元120會由上述候選位置變化量中判斷一最大位置變化量，並據以決定欲進行計算的方向及其位置變化量，接著再計算該方向的積分值。處理單元120更判斷所計算的該積分值是否大於一預定閥值，若是，處理單元120則判斷該目標物件移動。若否，處理單元120則判斷該目標物件為靜止。
如第2B圖所示，當目標物件往一方向(例如X軸)移動，接著又往反方向移動，則處理單元120需先判斷區域202之面積是否大於一預定閥值，若無，則由時間t2開始重新計算區域203之面積。當區域203之面積大於預定閥值，處理單元120則判斷該目標物件移動。
如第2C、2D圖所示，在本發明中之目標物件的移動速度並不影響處理單元120之判斷結果。舉例來說，在第2C圖中的目標物件移動速度較慢，而在第2D圖中的目標物件移動速度較快，處理單元120均是計算目標物件之位置變化量對時間(例如經過時間t3及t4)的積分值，意即處理單元120係依據所計算的區域203及204之面積來判斷目標物件是否移動。
如第2E圖所示，處理單元120並不一定要等到目標物件之位置停止變化後才計算目標物件之位置變化量對時間的積分。更進一步而言，處理單元120係可持續地計算目標物件之位置變化量對時間(例如經過時間t5)的積分，例如第2E圖中之區域205之面積，當區域205之面積超過預定閥值，處理單元120即可判斷目標物件移動，而不需等
到目標物件靜止後才開始計算。需注意的是，目標物件以手部為例，手勢動作通常是指手部的上下左右前後等動作，亦即X軸、Y軸及/或Z軸三個方向的動作。處理單元120係分別計算目標物件在X軸、Y軸及Z軸三個方向之位置變化量對時間的積分，無論是X軸、Y軸或Z軸，均可用上述實施例之方法進行計算積分值並判斷目標物件是否移動。
對於目標物件在X軸及Y軸方向的位置變化量，可利用焦距及在影像中的移動距離(以像素為單位)而計算出目標物件實際的移動距離。關於Z軸(深度)方向的位置變化量，因深度影像一般可用0~255之灰階值來表示物體在場景中的深度。舉例來說，灰階值0可表示物體的深度最淺，意即最接近鏡頭，灰階值255可表示物體的深度最深，意即最遠離鏡頭。本發明亦可用相反的方式表示深度，例如灰階值255可表示物體的深度最淺，意即最接近鏡頭，灰階值0可表示物體的深度最深，意即最遠離鏡頭。當取得目標物件在深度影像中所對應的深度之灰階值後，可將所取得之深度的灰階值轉換為實際在Z軸的位置。更詳細而言，深度影像中的灰階值0~255僅能表示一特定的深度範圍，例如目標物件距離鏡頭0m~30m或0m~50m，而將目標物件所對應之深度值轉換為Z軸之位置可用一線性方式或一非線性方式進行轉換。無論是採用何種方式進行計算，均不影響本案技術。
在另一實施例中，目標物件可能並不是只延著同一方向進行移動。舉例來說，以使用者之手部作為一目標物件，
當使用者揮動手部時，手部會先延著一方向(例如X軸)移動，當使用者欲停止揮動，手部往往會有一反作用力朝著反方向稍微移動一段距離，而使用者亦可左右揮動手部。此時，處理單元120並不能僅針對目標物件的初始移動方向進行計算，更需考量目標物件反向回來的移動。如第2F圖所示，處理單元120係持續計算目標物件延著一第一方向移動之位置變化量對時間的積分(意即計算位置p1之前的區域206之面積)，當區域206之面積未超過預定閥值且處理單元120由影像中判斷目標物件已朝相反於第一方向之一第二方向移動，則重新計算該目標物件在該第二方向之位置變化量對時間之積分，例如計算在時間t6~t7之間之區域207的面積，其中時間t7可視為一當前時間。
在又一實施例中，如第2G圖所示，處理單元120係持續計算目標物件延著同一方向移動之位置變化量對時間的積分(意即計算位置P2之前的區域208之面積)，當區域208之面積未超過預定閥值且處理單元120由影像中判斷目標物件已朝相反於第一方向之一第二方向移動，則重新計算該目標物件在該第二方向之位置變化量對時間之積分。與第2F圖不同之處，在於第2G圖中之時間t8，目標物件正朝反方向移動時，處理單元120並不會立即計算第二方向之位置變化量對時間的積分值，而會稍待一段時間後，例如由時間t9才開始計算目標物件之位置變化量至時間t10的積分值，意即計算區域209之面積。上述實施例係用以避免目標物件之移動停止後的震動會被判斷為反方向的移動。
第3圖係顯示依據本發明中用於互動系統100之移動偵測方法的流程圖。在步驟S300，互動系統100中之影像擷取單元110係擷取複數張影像，並將所擷取的該等影像儲存於影像緩衝器130中。處理單元120則由影像緩衝器130中取得該等影像。在步驟S310，處理單元120由所取得的該等影像中辨識一目標物件。在步驟S320，處理單元120係由該等影像計算該目標物件在一第一方向之一位置變化量對時間的一積分值。在步驟S330，處理單元120判斷所計算的該積分值是否大於一預定閥值。在步驟S340，當所計算的該積分值大於該預定閥值，處理單元120則決定該目標物件移動。
綜上所述，本發明採用目標物件之位置變化量對時間之積分值為準來判斷目標物件是否移動，目標物件(例如使用者之手部)之移動速度較慢或是移動距離較短均不會影響判斷結果。舉例來說，當使用者做出一往右的手勢動作時，女生可能僅會小幅移動手部，而男生的手部移動距離可能較大，然而不表示手部小幅移動就無法操作互動系統100。因本案係採用目標物件之位置變化量對時間之積分值為準來判斷目標物件是否移動，雖然位置變化量較少，但經過一段時間後，其積分值仍然可大於預定閥值，互動系統100即可判斷使用者正在進行互動動作。除此之外，本發明亦可避免目標物件動作停止後的震動造成誤判。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤
飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧互動系統
t1-t10‧‧‧時間
110‧‧‧影像擷取單元
S300-S340‧‧‧步驟
120‧‧‧處理單元
P1-P3‧‧‧位置
130‧‧‧影像緩衝器
201-209‧‧‧區域
第1圖係顯示依據本發明一實施例之互動系統的功能方塊圖。
第2A~2G圖係顯示依據本發明一實施例之計算目標物件之位移量及時間關係的示意圖。
第3圖係顯示依據本發明中用於互動系統100之移動偵測方法的流程圖。
S300-S340‧‧‧步驟
Claims (10)
- 一種移動偵測方法，用於一互動系統，包括：取得複數張影像；辨識所取得的該等影像中之一目標物件；由該等影像計算該目標物件在一第一方向之一位置變化量對時間的一積分值；判斷所計算的該積分值是否大於一預定閥值；以及當所計算的該積分值大於一預定閥值，決定該目標物件移動。
- 如申請專利範圍第1項所述之移動偵測方法，更包括：由所取得的該等影像產生對應的複數深度影像；依據該等深度影像決定該目標物件所對應的一深度值；以及將該深度值轉換為該目標物件在一深度方向之一位置。
- 如申請專利範圍第2項所述之移動偵測方法，其中計算該積分值之步驟更包括：由該等影像計算該目標物件在一水平方向、一垂直方向及該深度方向所分別對應的一候選位置變化量；由該水平方向、該垂直方向及該深度方向所分別對應的該候選位置變化量中決定一最大位置變化量；以及依據該最大位置變化量，決定該第一方向及該位置變化量。
- 如申請專利範圍第1項所述之移動偵測方法，更包 括：當所計算的該積分值不大於該預定閥值，判斷該目標物件是否朝相反於該第一方向之一第二方向移動；當該目標物件朝該第二方向移動，由該等影像計算該目標物件在該第二方向之一第二位置變化量對時間的一第二積分值；判斷所計算的該第二積分值是否大於一預定閥值；以及當所計算的該第二積分值大於該預定閥值，決定該目標物件移動。
- 如申請專利範圍第1項所述之移動偵測方法，更包括：當所計算的該積分值不大於該預定閥值，判斷該目標物件是否朝相反於該第一方向之一第二方向移動；當該目標物件朝該第二方向移動，由該等影像計算該目標物件在該第二方向之一第三位置變化量對時間的一第三積分值；判斷所計算的該第三積分值是否大於一預定閥值；以及當所計算的該第三積分值大於該預定閥值，決定該目標物件移動。
- 一種互動系統，包括：一影像擷取單元，用以擷取複數影像並儲存於一影像緩衝器；以及一處理單元，用以由該影像緩衝器取得該等影像，並 由該等影像辨識一目標物件；其中該處理單元更由該等影像計算該目標物件在一第一方向之一位置變化量對時間的一積分值，並判斷所計算的該積分值是否大於一預定閥值；其中當所計算的該積分值大於一預定閥值，該處理單元決定該目標物件移動。
- 如申請專利範圍第6項所述之互動系統，其中該處理單元更由所取得的該等影像產生對應的複數深度影像，並依據該等深度影像決定該目標物件所對應的一深度值，以及將該深度值轉換為該目標物件在一深度方向之一位置。
- 如申請專利範圍第7項所述之互動系統，其中該處理單元更由該等影像計算該目標物件在一水平方向、一垂直方向及該深度方向所分別對應的一候選位置變化量，並據以決定一最大位置變化量，其中該處理單元更依據該最大位置變化量，決定該第一方向及該位置變化量。
- 如申請專利範圍第6項所述之互動系統，其中當所計算的該積分值不大於該預定閥值，該處理單元判斷該目標物件是否朝相反於該第一方向之一第二方向移動；其中當該目標物件朝該第二方向移動，該處理單元更由該等影像計算該目標物件在該第二方向之一第二位置變化量對時間的一第二積分值；其中該處理單元判斷所計算的該第二積分值是否大於一預定閥值；以及其中當所計算的該第二積分值大於該預定閥值，該處 理單元決定該目標物件移動。
- 如申請專利範圍第6項所述之互動系統，其中當所計算的該積分值不大於該預定閥值，該處理單元更判斷該目標物件是否朝相反於該第一方向之一第二方向移動；其中當該目標物件朝該第二方向移動，該處理單元由該等影像計算該目標物件在該第二方向之一第三位置變化量對時間的一第三積分值；其中該處理單元更判斷所計算的該第三積分值是否大於一預定閥值；以及其中當所計算的該第三積分值大於該預定閥值，該處理單元決定該目標物件移動。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101135487A TWI590099B (zh) | 2012-09-27 | 2012-09-27 | 互動系統及移動偵測方法 |
| CN201210379902.1A CN103699212B (zh) | 2012-09-27 | 2012-10-09 | 互动系统及移动检测方法 |
| US13/750,908 US9053381B2 (en) | 2012-09-27 | 2013-01-25 | Interaction system and motion detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101135487A TWI590099B (zh) | 2012-09-27 | 2012-09-27 | 互動系統及移動偵測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201413497A true TW201413497A (zh) | 2014-04-01 |
| TWI590099B TWI590099B (zh) | 2017-07-01 |
Family
ID=50338891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101135487A TWI590099B (zh) | 2012-09-27 | 2012-09-27 | 互動系統及移動偵測方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9053381B2 (zh) |
| CN (1) | CN103699212B (zh) |
| TW (1) | TWI590099B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9789392B1 (en) * | 2010-07-09 | 2017-10-17 | Open Invention Network Llc | Action or position triggers in a game play mode |
| CN104410387A (zh) * | 2014-09-27 | 2015-03-11 | 奇瑞汽车股份有限公司 | 一种信号变化量计算方法 |
| KR20240046628A (ko) * | 2018-09-17 | 2024-04-09 | 스냅 인코포레이티드 | 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성 |
| CN111754559A (zh) * | 2019-03-26 | 2020-10-09 | 群光电子股份有限公司 | 监控装置与监控方法 |
| CN112393724B (zh) * | 2019-08-15 | 2024-04-02 | 阿里巴巴集团控股有限公司 | 一种针对目标对象的跟随方法及装置 |
| US11178375B1 (en) | 2019-10-21 | 2021-11-16 | Snap Inc. | Input parameter based image waves |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
| US5638300A (en) * | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
| US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| KR100960577B1 (ko) * | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
| CN101479782B (zh) * | 2006-05-04 | 2011-08-03 | 美国索尼电脑娱乐公司 | 多输入游戏控制混合器 |
| WO2009069531A1 (ja) * | 2007-11-26 | 2009-06-04 | Sony Corporation | 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置 |
| US9092071B2 (en) * | 2008-02-13 | 2015-07-28 | Logitech Europe S.A. | Control device with an accelerometer system |
| TW201019241A (en) * | 2008-11-14 | 2010-05-16 | Topseed Technology Corp | Method for identifying and tracing gesture |
| CN101739122A (zh) * | 2008-11-24 | 2010-06-16 | 玴荣科技股份有限公司 | 手势辨识及追踪的方法 |
| US8351651B2 (en) * | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
| JP5703703B2 (ja) * | 2010-11-11 | 2015-04-22 | ソニー株式会社 | 情報処理装置、立体視表示方法及びプログラム |
| US8448056B2 (en) * | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
-
2012
- 2012-09-27 TW TW101135487A patent/TWI590099B/zh active
- 2012-10-09 CN CN201210379902.1A patent/CN103699212B/zh active Active
-
2013
- 2013-01-25 US US13/750,908 patent/US9053381B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103699212B (zh) | 2016-08-31 |
| CN103699212A (zh) | 2014-04-02 |
| TWI590099B (zh) | 2017-07-01 |
| US20140086449A1 (en) | 2014-03-27 |
| US9053381B2 (en) | 2015-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI590099B (zh) | 互動系統及移動偵測方法 | |
| KR101706365B1 (ko) | 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 | |
| TWI515605B (zh) | 手勢辨識與控制方法及其裝置 | |
| JP5454570B2 (ja) | 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム | |
| JP6259545B2 (ja) | ３ｄシーンでジェスチャーを入力するシステム及び方法 | |
| JP2016521894A5 (zh) | ||
| EP2688287A2 (en) | Photographing apparatus, photographing control method, and eyeball recognition apparatus | |
| JP2013235373A5 (zh) | ||
| JP2016109758A5 (zh) | ||
| TWI496094B (zh) | 手勢辨識模組及手勢辨識方法 | |
| TW201407420A (zh) | 改善之視訊追蹤 | |
| KR20130070340A (ko) | 모션인식에서 광흐름 처리 가속기 및 방법 | |
| JP6141108B2 (ja) | 情報処理装置およびその方法 | |
| JP2017038777A (ja) | 動作認識装置 | |
| JP2014170368A (ja) | 画像処理装置、方法及びプログラム並びに移動体 | |
| JP2014238727A5 (zh) | ||
| TWI544367B (zh) | 手勢辨識與控制方法及其裝置 | |
| TWI510082B (zh) | 用於影像辨識之影像擷取方法及其系統 | |
| JP2009211563A (ja) | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム | |
| JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US9261974B2 (en) | Apparatus and method for processing sensory effect of image data | |
| CN104065949A (zh) | 一种电视虚拟触控方法及系统 | |
| US20130342718A1 (en) | Devices and methods involving enhanced resolution image capture | |
| US20140301603A1 (en) | System and method for computer vision control based on a combined shape | |
| Bakar et al. | Real-time rotation invariant hand tracking using 3D data |