TW201430617A - 懸浮及點擊手勢偵測裝置 - Google Patents

懸浮及點擊手勢偵測裝置 Download PDF

Info

Publication number
TW201430617A
TW201430617A TW102103852A TW102103852A TW201430617A TW 201430617 A TW201430617 A TW 201430617A TW 102103852 A TW102103852 A TW 102103852A TW 102103852 A TW102103852 A TW 102103852A TW 201430617 A TW201430617 A TW 201430617A
Authority
TW
Taiwan
Prior art keywords
image
image sensor
brightness
sensor
detecting device
Prior art date
Application number
TW102103852A
Other languages
English (en)
Other versions
TWI493382B (zh
Inventor
Shu-Sian Yang
Han-Ping Cheng
Ming-Tsan Kao
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW102103852A priority Critical patent/TWI493382B/zh
Priority to US14/149,115 priority patent/US9423893B2/en
Publication of TW201430617A publication Critical patent/TW201430617A/zh
Application granted granted Critical
Publication of TWI493382B publication Critical patent/TWI493382B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種手勢偵測裝置，包含兩線性影像感測陣列及一處理單元。該處理單元用以比較該兩影像感測器於同一時間區間或不同時間區間所擷取之影像圖框中的指示物影像尺寸以判定一點擊事件。

Description

懸浮及點擊手勢偵測裝置
本發明係關於一種人機介面裝置，特別是關於一種能夠進行懸浮偵測及點擊偵測之光學式手勢偵測裝置。
手勢控制因為係根據人類直覺的操作，因此被廣泛應用於家電產品及可攜式電子產品上，使用者只需執行預設的動作即可執行特定功能，其可於傳統的按鍵功能之外提供更廣泛的操作功能。
手勢控制於操作方式上可被區分為觸控式以及懸浮式，其中觸控式系統通常需搭配一觸控面板，使用者可於該觸控面板上進行滑動控制以及點擊控制。然而，觸控面板本身即具有較高的成本。
懸浮式手勢控制系統通常可利用影像感測器來偵測懸浮手勢，即所謂的光學式手勢控制系統。例如一照相機可被用以擷取二維影像圖框，並根據連續的二維影像圖框中手指的位置變化判斷移動資訊。然而，懸浮式手勢控制系統並不容易進行點擊事件的偵測，其也為本領域中一個重要的課題。
有鑑於此，本發明另提出一種手勢偵測裝置，其可利用至少兩影像感測器同時偵測懸浮動作以及點擊動作，並可排除環境光所造成的干擾。
本發明之一目的在提供一種手勢偵測裝置，其使用線性影像感測陣列以降低成本並提高每秒可感測的影像數目。
本發明另一目的在提供一種手勢偵測裝置，其可透過計算差分影像來排除環境光的影響，以增進判斷精確度。
本發明提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器以及一處理單元。該偵測面具有一法線方向。該第一影像感測器設置於該偵測面，用以朝向該法線方向擷取一第一影像。該第二影像感測器設置於該偵測面並於一Z軸向與該第一影像感測器偏移一預設距離，用以朝向該法線方向擷取一第二影像。該處理單元用以根據該第一影像或該第二影像中一指示物影像之一位置計算一X軸向座標，根據該第一影像及該第二影像中指示物影像之一視差計算一Y軸向座標以及當該第一影像與該第二影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
本發明另提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器及一處理單元。該偵測面具有一法線方向。該第一影像感 測器設置於該偵測面，用以朝向該法線方向擷取一第一影像。該第二影像感測器平行該第一影像感測器設置於該偵測面，用以朝向該法線方向擷取一第二影像。該處理單元用以根據該第一影像或該第二影像中一指示物影像之一位置計算一X軸向座標，根據該第一影像及該第二影像中指示物影像之一視差計算一Y軸向座標以及當不同時間所擷取之該第一影像及/或該第二影像中指示物影像尺寸之一尺寸變化大於等於一變化門檻值時判斷一點擊事件。
本發明另提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器、一第三影像感測器以及一處理單元。該偵測面具有一法線方向。該第一影像感測器設置於該偵測面，用以朝向該法線方向擷取一第一影像。該第二影像感測器平行該第一影像感測器設置於該偵測面，用以朝向該法線方向擷取一第二影像。該第三影像感測器設置於該偵測面並於一Z軸向與該第一影像感測器及該第二影像感測器偏移一預設距離，用以朝向該法線方向擷取一第三影像。該處理單元用以根據該第一影像及該第二影像計算一二維座標以及當該第一影像與該第三影像中或該第二影像與該第三影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
本發明另提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器以及一處理單元。該偵測面具有一法線方向。該第一影像感測器設置於該偵測面，用以朝向偏離該法線方向一預設角度方向擷取一第一影像。該第二影像感測器設置於該偵測面並於一Z軸向與該第一影像感測器偏移一預設距離，用以朝向偏離該法線方向負數該預設角度方向擷取一第二影像。該處理單元用以根據該第一影像及該第二影像中指示物影像之位置計算一二維座標以及當該第一影像與該第二影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
本發明另提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器及一處理單元。該偵測面具有一法線方向。該第一影像感測器設置於該偵測面，用以朝向偏離該法線方向一預設角度方向擷取一第一影像。該第二影像感測器平行該第一影像感測器設置於該偵測面，用以朝向偏離該法線方向負數該預設角度方向擷取一第二影像。該處理單元用以根據該第一影像及該第二影像中指示物影像之位置計算一二維座標以及當不同時間所擷取之該第一影像及/或該第二影像中指示物影像尺寸之一尺寸變化大於等於一變化門檻值時判斷一點擊事件。
本發明另提供一種手勢偵測裝置，包含一偵測面、一第一影像感測器、一第二影像感測器、一第三影像感測器以及一處理單元。該偵測面具有一法線方向。該第一影像感測器設置於該偵測面，用以朝向偏離該法線方向一預設角度方向擷取一第一影像。該第二影像感測器平行該第一影像感測器設置於該偵測面，用以朝向偏離該法線方向負數該預設角度方向擷取一第二影像。該第三影像感測器設置於該偵測面並於一Z軸向與該第一影像感測器及該第二影像感測器偏移一預設距離，用以朝向該法線方向擷取一第三影像。該處理單元用以根據該第一影像及該第二影像計算一二維座標以及當該第一影像與該第三影像中或該第二影像與該第三影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
一實施例中，當該第一影像及該第二影像中該指示物影像尺寸大致相同並大於等於一預設尺寸時，表示該指示物影像並非手指影像，因此該處理單元不計算懸浮座標且不判斷點擊事件。
一實施例中，該手勢偵測裝置另可包含一紅外光光源用以照明該等影像感測器之視野範圍；其中，該紅外光光源可輪流以一第一亮度及一第二亮度發光，該等影像感測器分別相對該第一亮度擷取 一亮影像並分別相對該第二亮度擷取一暗影像。該處理單元可計算每一影像感測器所擷取之該亮影像及該暗影像之一差分影像以消除環境光的影響；其中，該第一亮度可大於該第二亮度且該第二亮度可為零亮度或非零亮度。
一實施例中，該等影像感測器包含一線性影像感測陣列，例如長度為750個像素(pixel)而寬度為1~6個像素等呈類似直線的影像感測陣列以形成一線性感測視野(linear field of view)。
本發明實施例之手勢偵測裝置可形成為獨立的一偵測裝置以透過無線通訊(例如，但不限於，藍牙通訊或微波通訊)或有線介面(例如，但不限於，USB介面)的方式耦接於包含一顯示幕之電子裝置，例如一智慧型電視。此外，本發明實施例之手勢偵測裝置亦可直接內建於包含一顯示幕之可攜式電子裝置，例如一筆記型電腦、一數位行動助理或一手機。
本發明實施例之手勢偵測裝置中，可根據影像感測器間的間距設計該等影像感測器係大致朝向該法線方向擷取影像圖框或向內側偏離該法線方向一預設角度擷取影像圖框，以使指示物影像能同時出現在所有影像感測器之視野範圍內。
為了讓本發明之上述和其他目的、特徵、和優 點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。
請參照圖1所示，其顯示本發明實施例之手勢偵測裝置1之方塊圖。該手勢偵測裝置1包含至少兩影像感測器、一處理單元12及一光源13。影像感測器之數目可根據不同實施方式決定；一實施例中，該手勢偵測裝置1可包含一第一影像感測器(S1)111及一第二影像感測器(S2)112；另一實施例中，該手勢偵測裝置1可包含一第一影像感測器(S1)111、一第二影像感測器(S2)112及一第三影像感測器(S3)113。該處理單元12例如可為一數位處理器(DSP)，其接收該至少兩影像感測器輸出之影像圖框並進行後處理，以判斷一懸浮操作之二維座標及一點擊事件(click event)。該光源13用以照明該至少兩影像感測器之視野範圍，其較佳發出不可見光，例如紅外光；一實施例中，為了消除環境光的影響，該光源13例如可對應該至少兩影像感測器之影像擷取以不同亮度來發光(詳述於後)。
此外，為了降低成本並提高每秒可感測的影像數目，該至少兩影像感測器均可為主動式影像感測器，例如CMOS影像感測器且包含一線性影像感測陣列(linear image sensing matrix)；其中，此處所謂 線性係指長度遠大於寬度之影像感測陣列，例如長度為750個像素而寬度為1~6個像素以形成一線性感測視野(linear field of view)。此外，該光源13可由複數主動光源排列而成或可為單一主動光源(例如LED)，只要能提供足夠亮度即可。
請參照圖2A及圖2B所示，其顯示本發明第一實施例之手勢偵測裝置1之示意圖，其包含一偵測面10且該偵測面10具有一法線方向n。該第一影像感測器111及該第二影像感測器112設置於該偵測面10，用以大致朝向該法線方向n擷取影像圖框；亦即，該第一影像感測器111及該第二影像感測器112係設置成其感測面係大致平行該偵測面10。一實施例中，該第一影像感測器111、該第二影像感測器112及該光源13可設置於該偵測面10內部，如圖2A所示；另一實施例中，該第一影像感測器111、該第二影像感測器112及該光源13可設置於該偵測面10上，如圖2B所示。本實施例中，該第一影像感測器111及該第二影像感測器112之視野中心線可與該法線方向n具有一夾角，例如0~20度間，以利用後述本發明第一實施例之懸浮操作演算法計算懸浮座標；其中，該夾角較佳朝向兩影像感測器的中間方向偏離。
請參照圖3A及圖3B所示，其顯示本發明第二 實施例之手勢偵測裝置1之示意圖，其包含一偵測面10且該偵測面10具有一法線方向n。該第一影像感測器111及該第二影像感測器112設置於該偵測面10，用以往偏離該法線方向n一預設角度的方向擷取影像圖框；亦即，該第一影像感測器111及該第二影像感測器112係設置成其感測面係大致與該偵測面10旋轉該預設角度。一實施例中，該第一影像感測器111、該第二影像感測器112及該光源13可設置於該偵測面10內部，如圖3A所示；另一實施例中，該第一影像感測器111、該第二影像感測器112及該光源13可設置於該偵測面10上，如圖3B所示。本實施例中，該第一影像感測器111及該第二影像感測器112之視野中心線較佳與該法線方向n具有一預設角度，例如θ=30~60度間，以利用後述本發明第二實施例之懸浮操作演算法計算懸浮座標；其中，該預設角度較佳朝向兩影像感測器的中間方向偏離。例如圖3A及3B中，該第一影像感測器111旋轉+θ角度而該第二影像感測器112旋轉-θ角度；其中，正負號係表示旋轉方向相反。
可以了解的是，當該等影像感測器設置於該偵測面10內部時，該偵測面10至少一部分較佳相對該光源13所發出的光為透明，例如可利用一透明蓋體覆蓋於其上以保護其內部元件；當該等影像感測器及光源設置於該偵測面10上時，同樣較佳利用一 透明蓋體覆蓋該等元件以進行保護。
本發明實施例之手勢偵測裝置1可結合於一可攜式電子裝置，例如一筆記型電腦、一平板電腦、一行動電話或一個人數位助理上，用以偵測一指示物(例如手指)之一懸浮座標及一點擊事件，如圖4A所示。此外，該手勢偵測裝置1另可形成一獨立元件並透過有線(如圖4B)或無線(如圖4C)的方式耦接於包含一顯示幕之一電子裝置9，例如一電腦系統、一電視或一投影系統等。可以了解的是，該手勢偵測裝置1包含一傳輸單元用以將偵測結果有線或無線地傳輸至該電子裝置9。一實施例中，該手勢偵測裝置1所偵測之懸浮座標例如可用以操作一游標91之動作，而該點擊事件(例如可為單擊或多擊)可用以執行所點選相對一圖示(icon)之應用程式。
請參照圖2A、2B及5所示，圖5顯示本發明第一實施例之手勢偵測裝置1之第一實施態樣之上視圖。本實施態樣中，該第一影像感測器111設置於該偵測面10，用以大致朝向該法線方向n擷取一第一影像IF1；該第二影像感測器112設置於該偵測面10並於一Z軸向與該第一影像感測器111偏移一預設距離D，用以大致朝向該法線方向n擷取一第二影像IF2；該處理單元12用以根據該第一影像IF1或該第二影像IF2中一指示物影像之一位置計算一 X軸向座標，根據該第一影像IF1及該第二影像IF2中指示物影像之一視差計算一Y軸向座標以及當該第一影像IF1與該第二影像IF2中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時，判斷該Z軸向之一點擊事件。接著說明本實施態樣中判斷該X軸向座標、該Y軸向座標以及該點擊事件的方式。
請參照圖8所示，當該第一影像IF1或該第二影像IF2中包含一指示物影像Ip時，該指示物影像Ip可能涵蓋複數像素。該處理單元12可計算該指示物影像Ip之一位置(例如該指示物影像Ip之一中心位置或一重心位置)以作為所述X軸向座標。例如一實施例中，假設該等影像感測器為750×1之線性影像感測陣列，故可設定成一可操作範圍0~Rx(此處例如為0~750)的每一個像素位置分別相對應一X軸向座標。因此，該處理單元12可透過計算該指示物影像Ip位於該可操作範圍0~Rx的位置以作為該X軸向座標。
如果該X軸向座標接著要被映射(map)至一投影幕上時，該處理單元12另根據該投影幕之一X軸向解析度與該可操作範圍之一比例關係將該X軸向座標映射至該投影幕之正確位置；其中，所述映射方式已為習知，故於此不再贅述。可以了解的是，本實施例中，該可操作範圍亦可僅為該線性影像感 測陣列的中間一部分而不包含兩側像素(例如，但不限於，第50個像素至第700個像素)，以避免該指示物影像Ip位於邊緣時無法正確計算該位置。
請參照圖9所示，當該第一影像IF1及該第二影像IF2中均包含一指示物影像時，該處理單元12則先分別計算該第一影像IF1中一第一指示物影像Ip1及該第二影像IF2中一第二指示物影像Ip2之一位置(例如一中心位置或一重心位置)。接著，該處理單元12則計算該第一指示物影像Ip1之位置與該第二指示物影像Ip2之位置的位置差以作為一視差值(disparity)。例如，當一指示物較遠離該等影像感測器時，第一指示物影像Ip1及第二指示物影像Ip2則相距較近而當該指示物較接近該等影像感測器時，第一指示物影像Ip1 '及第二指示物影像Ip2 '則相距較遠。因此，可設定成每一視差值對應一Y軸向座標，該處理單元12可透過計算該視差值以作為該Y軸向座標。
可以了解的是，本發明實施例之手勢偵測裝置1可包含一儲存單元用以儲存X軸向座標與指示物影像Ip之位置的關係及Y軸向座標與視差值的關係。
請參照圖10A所示，本實施態樣中該第一影像感測器111及該第二影像感測器112主要係用以偵測一手指之懸浮操作及點擊事件。例如時間t1時， 該第一影像IF1中第一指示物影像Ip1與該第二影像IF2中第二指示物影像Ip2具有大致相同的面積或寬度，此時表示使用者之手指介於該第一影像感測器111與該第二影像感測器112間，此時即執行懸浮操作；懸浮操作時則利用圖8及圖9的方式計算X軸向座標及Y軸向座標以作為懸浮二維座標。時間t2時，該第一影像IF1中第一指示物影像Ip1 '與該第二影像IF2中第二指示物影像Ip2 '具有不相同的面積或寬度，此時表示使用者已將手指向前推進而使得該第一影像感測器111仍感測到手指影像而該第二影像感測器112卻感測到拳頭或手掌部分影像，此時則可判定時間t2時發生一點擊事件。本實施例中，當該處理單元12判斷同一時間(即相同取樣時間)所擷取之該第一影像IF1及該第二影像IF2中指示物影像尺寸之一尺寸差異(例如Ip2 '與Ip1 '的尺寸差異)大於等於一差異門檻值時，則可判斷該Z軸向之一點擊事件。
此外，本實施態樣中該處理單元12是判斷不同影像感測器在相同取樣時間所擷取的影像圖框中指示物影像的尺寸差異，其主要是區別手指影像及拳頭或手掌影像之差異。然而，當該第一影像感測器111及該第二影像感測器112感測到的是其他部分影像(例如手腕影像)，該第一影像IF1中第一指示物影像Ip1與該第二影像IF2中第二指示物影像Ip2也 可能具有大致相同的寬度或面積。為避免此種情形，當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸(例如可根據實際手指影像來設計一上限值)，該處理單元12則不動作，亦即不計算該X軸向座標、該Y軸向座標及判斷該點擊事件，以避免誤動作的情形。
此外，為了排除環境光的影響，該光源13於該第一影像感測器111及該第二影像感測器112擷取影像時可以不同亮度發光。例如圖12所示，該光源13相對該等影像感測器之影像擷取，輪流以一第一亮度B1及一第二亮度B2發光，該第一影像感測器111及該第二影像感測器112分別相對該第一亮度B1擷取一亮影像IFB並分別相對該第二亮度B2擷取一暗影像IFD，該處理單元12另計算每一影像感測器所擷取的該亮影像IFB及該暗影像IFD之一差分影像(IFB-IFD)以消除環境光的影響；其中，該第二亮度B2可為零亮度或非零亮度。換句話說，上述實施態樣中，該第一影像IF1及該第二影像IF2均為一差分影像。本實施態樣中，亮影像係指相對光源13點亮時所擷取的影像圖框而暗影像係指相對光源13熄滅或以較低亮度點亮時所擷取的影像圖框。
請參照圖2A、2B及6所示，圖6顯示本發明第一實施例之手勢偵測裝置1之第二實施態樣之上 視圖。本實施態樣中，該第一影像感測器111設置於該偵測面10，用以大致朝向該法線方向n擷取一第一影像IF1；該第二影像感測器112平行(即於該Z軸向無位置偏移)該第一影像感測器111設置於該偵測面10，用以大致朝向該法線方向n擷取一第二影像IF2；該處理單元12用以根據該第一影像111或該第二影像112中一指示物影像之一位置計算一X軸向座標，根據該第一影像IF1及該第二影像IF2中指示物影像之一視差計算一Y軸向座標以及當不同時間所擷取之該第一影像IF1及/或該第二影像IF2中指示物影像尺寸之一尺寸變化大於等於一變化門檻值時，判斷一點擊事件。第二實施態樣與第一實施態樣的差異在於，該第一影像感測器111與該第二影像感測器112在Z軸向上沒有距離偏移。本實施態樣中，計算該X軸向座標及該Y軸向座標的方式與第一實施態樣相同(參照圖8及圖9)，故於此不再贅述。此處僅針對判斷點擊事件的方式進行說明。
請參照圖10B所示，本實施態樣中該第一影像感測器111及該第二影像感測器112同樣係用以偵測一手指之懸浮操作及點擊事件。例如時間t1時，該第一影像IF1中第一指示物影像Ip1與該第二影像IF2中第二指示物影像Ip2具有大致相同的面積或寬度時，表示使用者之手指介於該第一影像感測器111與該第二影像感測器112間，此時即執行懸浮操 作；懸浮操作時則可利用圖8及圖9的方式計算X軸向座標及Y軸向座標以作為懸浮二維座標。時間t2時，該第一影像IF1中第一指示物影像Ip1 '與該第二影像IF2中第二指示物影像Ip2 '的面積或寬度發生變化，表示使用者已將手指向前推進而使得該第一影像感測器111及/或該第二影像感測器112感測到拳頭或手掌部分影像，則可判定時間t2時發生一點擊事件。本實施例中，當該處理單元12判斷不同時間(即不同取樣時間，例如t1、t2)所擷取該第一影像IF1及/或該第二影像IF2中的指示物影像尺寸之一尺寸變化(例如Ip1與Ip1 '的尺寸變化及/或Ip2與Ip2 '的尺寸變化)大於等於一變化門檻值時，則可判斷該Z軸向之一點擊事件；其中，該第一影像IF1及該第二影像IF2之尺寸變化可能不同。本實施態樣中，時間t1及t2較佳為兩相鄰的取樣時間。
如前所述，為了避免誤動作的情形，本實施態樣中當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸時，該處理單元12不動作。
同理，為了排除環境光的影響，本實施態樣中該光源13同樣可相對該等影像感測器111、112之影像擷取輪流以不同亮度發光，例如圖12所示，以使該處理單元12能夠據以計算差分影像。
請參照圖2A、2B及7A所示，圖7A顯示本發 明第一實施例之手勢偵測裝置1之第三實施態樣之上視圖。本實施態樣包含一第一影像測器111、一第二影像測器112及一第三影像測器113；其中，該第一影像感測器111設置於該偵測面10，用以大致朝向該法線方向n擷取一第一影像IF1；該第二影像感測器112平行(即於該Z軸向無位置偏移)該第一影像感測器111設置於該偵測面10，用以大致朝向該法線方向n擷取一第二影像IF2；該第三影像感測器113設置於該偵測面10並於一Z軸向與該第一影像感測器111及該第二影像感測器112偏移一預設距離D，用以大致朝向該法線方向n擷取一第三影像IF3。本實施態樣中，該處理單元12用以根據該第一影像IF1及該第二影像IF2計算一二維座標，亦即X軸向座標及Y軸向座標；其中，計算該二維座標的方式相同於第一實施樣態(參照圖8及圖9)，故於此不再贅述。此外，該處理單元12另用以當該第一影像IF1與該第三影像IF3中或該第二影像IF2與該第三影像IF3中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時，判斷該Z軸向之一點擊事件；其中，判斷一點擊事件的方式相同於第一實施樣態(參照圖10A)，故於此不再贅述。
更詳而言之，第三實施態樣中，該處理單元12根據兩平行設置之影像感測器計算二維座標(類似圖6)並根據於Z軸向上有距離偏移的兩影像感測器 判斷點擊事件(類似圖5)。然而，該等影像感測器之排列方式並不限於圖7A所示，例如亦可排列成圖7B及圖7C的方式；其中，圖7A~7C均利用該第一影像感測器111及該第二影像感測器112所擷取的影像圖框計算懸浮座標。此外，圖7B中，該處理單元12根據該第二影像感測器112及該第三影像感測器113所擷取的影像圖框判斷點擊事件；圖7C中，該處理單元12根據該第一影像感測器111及該第三影像感測器113所擷取的影像圖框判斷點擊事件。
如前所述，為了避免誤動作的情形，本實施態樣中當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸時，該處理單元12不動作。
同理，為了排除環境光的影響，本實施態樣中該光源13同樣可相對該等影像感測器111~113之影像擷取輪流以不同亮度發光，例如圖12所示，以使該處理單元12能夠據以計算差分影像。
請參照圖3A、3B及5所示，圖5顯示本發明第二實施例之手勢偵測裝置1之第一實施態樣之上視圖。本實施態樣中，該第一影像感測器111設置於該偵測面10，用以朝向偏離該法線方向n一預設角度(例如+θ)方向擷取一第一影像IF1；該第二影像感測器112設置於該偵測面10並於一Z軸向與該第一影像感測器111偏移一預設距離D，用以朝向偏 離該法線方向n負數該預設角度(例如-θ)方向擷取一第二影像IF2；該處理單元12用以根據該第一影像IF1及該第二影像IF2中指示物影像之位置計算一二維座標以及當該第一影像IF1與該第二影像IF2中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時，判斷該Z軸向之一點擊事件。本實施態樣與第一實施例之第一實施態樣之差異在於該等影像感測器係朝向彼此傾斜一預設角度(θ角度)擷取影像，以避免當影像感測器距離過大而使得指示物無法同時進入所有影像感測器之視野範圍的情形。本實施態樣中，判斷點擊事件的方式與第一實施例之第一實施態樣相同(參照圖10A)；亦即，當該處理單元12判斷相同取樣時間所擷取之該第一影像IF1及該第二影像IF2中指示物影像尺寸之一尺寸差異(例如Ip2 '與Ip1 '的尺寸差異)大於等於一差異門檻值時，則可判斷該Z軸向之一點擊事件。接著針對計算二維座標的方式進行說明。
請參照圖11所示，本實施態樣中X軸向座標及Y軸向座標係同時根據該第一影像IF1及該第二影像IF2來求得。例如，該第一影像IF1及該第二影像IF2的每一個位置均對應指示物位置之一相對角度，因此當一指示物進入該第一影像感測器111及該第二影像感測器112之視野範圍時，該處理單元12則可根據該第一影像感測器111及該第二影像感 測器112中之指示物影像計算一指示物影像位置(例如中心或重心)，每一指示物影像位置則對應一角度，例如此處顯示為30度以及60度。此時，若以該第一影像感測器111及該第二影像感測器112其中之一作為原點，即平面座標為(0,0)，則可決定兩直線方程式L1及L2。該處理單元12可計算兩直線方程式L1及L2之交點座標以作為指示物位置之二維座標。另一實施例中，亦可先預先建立指示物影像位置所對應的兩個角度與二維座標之一查找表(lookup table)，該處理單元12則根據該第一影像IF1及該第二影像IF2中的指示物影像位置及該查找表決定該二維座標。
如前所述，為了避免誤動作的情形，本實施態樣中當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸時，該處理單元12不動作。
同理，為了排除環境光的影響，本實施態樣中該光源13同樣可相對該等影像感測器111、112之影像擷取輪流以不同亮度發光，例如圖12所示，以使該處理單元12能夠據以計算差分影像。
請參照圖3A、3B及6所示，圖6顯示本發明第二實施例之手勢偵測裝置1之第二實施態樣之上視圖。本實施態樣中，該第一影像感測器111設置於該偵測面10，用以朝向偏離該法線方向n一預設 角度(例如+θ)方向擷取一第一影像IF1；該第二影像感測器112平行(即於該Z軸向無位置偏移)該第一影像感測器111設置於該偵測面10，用以朝向偏離該法線方向n負數該預設角度(例如-θ)方向擷取一第二影像IF2；該處理單元12用以根據該第一影像IF1及該第二影像IF2中指示物影像之位置計算一二維座標以及當不同時間(即不同取樣時間)所擷取之該第一影像IF1及該第二影像IF2中指示物影像尺寸之一尺寸變化大於等於一變化門檻值時判斷一點擊事件。本實施態樣與第一實施例之第二實施態樣之差異在於該等影像感測器係朝向彼此傾斜一預設角度(θ角度)擷取影像，以避免當影像感測器距離過大而使得指示物無法同時進入所有影像感測器之視野範圍的情形。本實施態樣中，判斷點擊事件的方式與第一實施例之第二實施態樣相同(參照圖10B)；亦即，當該處理單元12判斷不同取樣時間所擷取該第一影像IF1及/或該第二影像IF2中的指示物影像尺寸之一尺寸變化(例如Ip1與Ip1 '的尺寸變化及/或Ip2與Ip2 '的尺寸變化)大於等於一變化門檻值時，則可判斷該Z軸向之一點擊事件。計算二維座標的方式與第二實施例之第一實施態樣(參照圖11)相同，故於此不再贅述。
簡而言之，該處理單元12係根據該等影像感測器於不同取樣時間所擷取影像圖框中指示物影像的 變化來判斷點擊事件，並根據該第一影像IF1及該第二影像IF2中指示物影像之位置所形成之兩直線方程式或根據該第一影像IF1及該第二影像IF2中指示物影像之位置及一查找表決定該二維座標。
如前所述，為了避免誤動作的情形，本實施態樣中當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸時，該處理單元12不動作。
同理，為了排除環境光的影響，本實施態樣中該光源13同樣可相對該等影像感測器111、112之影像擷取輪流以不同亮度發光，例如圖12所示，以使該處理單元12能夠據以計算差分影像。
請參照圖3A、3B及7A所示，圖7A顯示本發明第二實施例之手勢偵測裝置1之第三實施態樣之上視圖。本實施態樣包含一第一影像測器111、一第二影像測器112及一第三影像測器113；其中，該第一影像感測器111設置於該偵測面10，用以朝向偏離該法線方向n一預設角度(例如+θ)方向擷取一第一影像IF1；該第二影像感測器112平行(即於該Z軸向無位置偏移)該第一影像感測器111設置於該偵測面10，用以朝向偏離該法線方向n負數該預設角度(例如-θ)方向擷取一第二影像IF2；該第三影像感測器113設置於該偵測面10並於一Z軸向與該第一影像感測器111及該第二影像感測器112偏移一預 設距離D，大致朝向該法線方向n擷取一第三影像IF3。本實施態樣中，該處理單元12用以根據該第一影像IF1及該第二影像IF2計算一二維座標，亦即X軸向座標及Y軸向座標；其中，計算該二維座標的方式相同於第二實施例之第一實施樣態(參照圖11)，故於此不再贅述。此外，該處理單元12另用以當該第一影像IF1與該第三影像IF3中或該第二影像IF2與該第三影像IF3中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時，判斷該Z軸向之一點擊事件；其中，判斷一點擊事件的方式相同於第一實施例之第一實施樣態(參照圖10A)，故於此不再贅述。此外，該第三影像感測器113之視野中心線與該法線方向偏離方向可根據其設置位置而定，例如圖7B中該第三影像感測器113可朝向右側偏離(例如+θ)而圖7C中可朝向左側偏離(例如-θ)。
簡而言之，本實施態樣中，該處理單元12係根據於Z軸向上有距離偏移的兩影像感測器於相同取樣時間所擷取影像圖框中指示物影像的差異來判斷點擊事件，並根據兩平行設置之影像感測器中指示物影像之位置所形成之兩直線方程式或根據兩平行設置之影像感測器中指示物影像之位置及一查找表決定該二維座標。
如前所述，為了避免誤動作的情形，本實施態 樣中當該第一影像IF1及該第二影像IF2中指示物影像尺寸大於一預設尺寸時，該處理單元12不動作。
同理，為了排除環境光的影響，本實施態樣中該光源13同樣可相對該等影像感測器111~113之影像擷取輪流以不同亮度發光，例如圖12所示，以使該處理單元12能夠據以計算差分影像。
本發明各實施態樣中，該至少兩影像感測器(例如111~113)較佳係同步的擷取影像圖框。必須說明的是，圖5~圖7C所示XYZ軸的方向僅用以說明，並非用以限定本發明。
綜上所述，習知光學式手勢辨識系統並不容易進行點擊事件的判斷而限制了可應用的功能。本發明另提出一種手勢偵測裝置(圖1、圖2A~2B及圖3A~3B)，其可同時執行懸浮操作及點擊操作，並可透過計算差分影像來排除環境的干擾。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧手勢偵測裝置
10‧‧‧偵測面
111‧‧‧第一影像感測器
112‧‧‧第二影像感測器
113‧‧‧第三影像感測器
12‧‧‧處理單元
13‧‧‧光源
9‧‧‧電子裝置
91‧‧‧游標
IF1~IF3‧‧‧影像圖框
n‧‧‧偵測面之法線方向
B1、B2‧‧‧亮度
Ip、Ip1~Ip2、Ip1 '~Ip2 '‧‧‧指示物影像
圖1顯示本發明實施例之手勢偵測裝置之方塊圖。
圖2A及2B顯示本發明第一實施例之手勢偵測裝置之示意圖。
圖3A及3B顯示本發明第二實施例之手勢偵測裝置之示意圖。
圖4A至4C顯示本發明實施例之手勢偵測裝置搭配一電子裝置使用之示意圖。
圖5顯示本發明實施例之第一實施態樣之手勢偵測裝置之上視圖。
圖6顯示本發明實施例之第二實施態樣之手勢偵測裝置之上視圖。
圖7A至7C顯示本發明實施例之第三實施態樣之手勢偵測裝置之上視圖。
圖8顯示本發明實施例之手勢偵測裝置中，計算X軸向座標之示意圖。
圖9顯示本發明實施例之手勢偵測裝置中，計算Y軸向座標之示意圖。
圖10A至10B顯示本發明實施例之手勢偵測裝置中，判斷點擊事件之示意圖。
圖11顯示本發明實施例之手勢偵測裝置中，計算懸浮指示物之二維座標之示意圖。
圖12顯示本發明實施例之手勢偵測裝置中，影像感測器之影像擷取及光源點亮之示意圖。
1‧‧‧手勢偵測裝置
111‧‧‧第一影像感測器
112‧‧‧第二影像感測器
113‧‧‧第三影像感測器
12‧‧‧處理單元
13‧‧‧光源

Claims (19)

  1. 一種手勢偵測裝置，包含：一偵測面，具有一法線方向；一第一影像感測器，設置於該偵測面，朝向該法線方向擷取一第一影像；一第二影像感測器，設置於該偵測面並於一Z軸向與該第一影像感測器偏移一預設距離，朝向該法線方向擷取一第二影像；以及一處理單元，用以根據該第一影像或該第二影像中一指示物影像之一位置計算一X軸向座標，根據該第一影像及該第二影像中指示物影像之一視差計算一Y軸向座標以及當該第一影像與該第二影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
  2. 依申請專利範圍第1項之手勢偵測裝置，其中當該第一影像及該第二影像中該指示物影像尺寸大於等於一預設尺寸時，該處理單元不計算該X軸向座標、該Y軸向座標及判斷該點擊事件。
  3. 依申請專利範圍第1項之手勢偵測裝置，另包含一紅外光光源用以照明該第一影像感測器及該第二影像感測器之視野範圍。
  4. 依申請專利範圍第3項之手勢偵測裝置，其中該紅外光光源輪流以一第一亮度及一第二亮度發光，該第一影像感測器及該第二影像感測器分別相對該第 一亮度擷取一亮影像並分別相對該第二亮度擷取一暗影像，該處理單元另計算該亮影像及該暗影像之一差分影像。
  5. 依申請專利範圍第4項之手勢偵測裝置，其中該第二亮度為零亮度或非零亮度。
  6. 依申請專利範圍第1至5項其中一項之手勢偵測裝置，其中該第一影像感測器及該第二影像感測器包含一線性影像感測陣列。
  7. 一種手勢偵測裝置，包含：一偵測面，具有一法線方向；一第一影像感測器，設置於該偵測面，朝向該法線方向擷取一第一影像；一第二影像感測器，平行該第一影像感測器設置於該偵測面，朝向該法線方向擷取一第二影像；以及一處理單元，用以根據該第一影像或該第二影像中一指示物影像之一位置計算一X軸向座標，根據該第一影像及該第二影像中指示物影像之一視差計算一Y軸向座標以及當不同時間所擷取之該第一影像及/或該第二影像中指示物影像尺寸之一尺寸變化大於等於一變化門檻值時判斷一點擊事件。
  8. 依申請專利範圍第7項之手勢偵測裝置，其中當該第一影像及該第二影像中該指示物影像尺寸大於等於一預設尺寸時，該處理單元不計算該X軸向座標、該Y軸向座標及判斷該點擊事件。
  9. 依申請專利範圍第7項之手勢偵測裝置，另包含一紅外光光源用以照明該第一影像感測器及該第二影像感測器之視野範圍。
  10. 依申請專利範圍第9項之手勢偵測裝置，其中該紅外光光源輪流以一第一亮度及一第二亮度發光，該第一影像感測器及該第二影像感測器分別相對該第一亮度擷取一亮影像並分別相對該第二亮度擷取一暗影像，該處理單元另計算該亮影像及該暗影像之一差分影像。
  11. 依申請專利範圍第10項之手勢偵測裝置，其中該第二亮度為零亮度或非零亮度。
  12. 依申請專利範圍第7至11項其中一項之手勢偵測裝置，其中該第一影像感測器及該第二影像感測器包含一線性影像感測陣列。
  13. 一種手勢偵測裝置，包含：一偵測面，具有一法線方向；一第一影像感測器，設置於該偵測面，朝向該法線方向擷取一第一影像；一第二影像感測器，平行該第一影像感測器設置於該偵測面，朝向該法線方向擷取一第二影像；一第三影像感測器，設置於該偵測面並於一Z軸向與該第一影像感測器及該第二影像感測器偏移一預設距離，朝向該法線方向擷取一第三影像；以及 一處理單元，用以根據該第一影像及該第二影像計算一二維座標以及當該第一影像與該第三影像中或該第二影像與該第三影像中指示物影像尺寸之一尺寸差異大於等於一差異門檻值時判斷該Z軸向之一點擊事件。
  14. 依申請專利範圍第13項之手勢偵測裝置，其中該二維座標包含一X軸向座標及一Y軸向座標，該處理單元根據該第一影像或該第二影像中一指示物影像之一位置計算該X軸向座標並根據該第一影像及該第二影像中指示物影像之一視差計算該Y軸向座標。
  15. 依申請專利範圍第13項之手勢偵測裝置，其中當該第一影像及該第二影像中該指示物影像尺寸大於等於一預設尺寸時，該處理單元不計算該二維座標及判斷該點擊事件。
  16. 依申請專利範圍第13項之手勢偵測裝置，另包含一紅外光光源用以照明該第一影像感測器、該第二影像感測器及該第三影像感測器之視野範圍。
  17. 依申請專利範圍第16項之手勢偵測裝置，其中該紅外光光源輪流以一第一亮度及一第二亮度發光，該第一影像感測器、該第二影像感測器及該第三影像感測器分別相對該第一亮度擷取一亮影像並分別相對該第二亮度擷取一暗影像，該處理單元另計算該亮影像及該暗影像之一差分影像。
  18. 依申請專利範圍第17項之手勢偵測裝置，其中該第二亮度為零亮度或非零亮度。
  19. 依申請專利範圍第13至18項其中一項之手勢偵測裝置，其中該第一影像感測器、該第二影像感測器及該第三影像感測器包含一線性影像感測陣列。
TW102103852A 2013-01-31 2013-01-31 懸浮及點擊手勢偵測裝置 TWI493382B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102103852A TWI493382B (zh) 2013-01-31 2013-01-31 懸浮及點擊手勢偵測裝置
US14/149,115 US9423893B2 (en) 2013-01-31 2014-01-07 Gesture detection device for detecting hovering and click

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102103852A TWI493382B (zh) 2013-01-31 2013-01-31 懸浮及點擊手勢偵測裝置

Publications (2)

Publication Number Publication Date
TW201430617A true TW201430617A (zh) 2014-08-01
TWI493382B TWI493382B (zh) 2015-07-21

Family

ID=51222350

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102103852A TWI493382B (zh) 2013-01-31 2013-01-31 懸浮及點擊手勢偵測裝置

Country Status (2)

Country Link
US (1) US9423893B2 (zh)
TW (1) TWI493382B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI531954B (zh) * 2014-11-14 2016-05-01 中強光電股份有限公司 觸控及手勢控制系統與觸控及手勢控制方法
CN105868683A (zh) * 2015-11-24 2016-08-17 乐视致新电子科技（天津）有限公司 台标识别方法及装置
CN111623392A (zh) * 2020-04-13 2020-09-04 华帝股份有限公司 一种带有手势识别组件的烟机及其控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US9046962B2 (en) * 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
TWM423406U (en) * 2011-09-14 2012-02-21 Tlj Intertech Inc Object-depth calculation device
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法

Also Published As

Publication number Publication date
TWI493382B (zh) 2015-07-21
US20140210715A1 (en) 2014-07-31
US9423893B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
JP6539816B2 (ja) １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
TWI464640B (zh) 手勢感測裝置及具有手勢輸入功能的電子系統
TWI501121B (zh) 手勢辨識方法及使用該方法之觸控系統
TWI412975B (zh) 手勢辨識方法及使用該方法之互動系統
WO2013035554A1 (ja) 入力体の動き検出方法およびそれを用いた入力デバイス
US9454260B2 (en) System and method for enabling multi-display input
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
TW201214243A (en) Optical touch system and object detection method therefor
US10884518B2 (en) Gesture detection device for detecting hovering and click
US9213440B2 (en) System and method for remote touch detection
TWI553508B (zh) 物件感測裝置與方法
TWI533010B (zh) 光學感測裝置以及偵測光學感測裝置周遭之物件的方法
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
TWI468997B (zh) 具有較大可操作範圍的指向系統及影像系統
US8760437B2 (en) Sensing system
TWI552026B (zh) 手持式指向裝置
KR101588021B1 (ko) 헤드 마우스
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
CN103970364B (zh) 用于检测悬浮及点击的手势检测装置
CN103970365B (zh) 用于检测悬浮及点击的手势检测装置
JP2013164736A (ja) 携帯型情報機器用入力装置
TWM486800U (zh) 可變更角度的雙用途體感偵測攝像裝置