TWI501121B - 手勢辨識方法及使用該方法之觸控系統 - Google Patents

手勢辨識方法及使用該方法之觸控系統 Download PDF

Info

Publication number
TWI501121B
TWI501121B TW098124545A TW98124545A TWI501121B TW I501121 B TWI501121 B TW I501121B TW 098124545 A TW098124545 A TW 098124545A TW 98124545 A TW98124545 A TW 98124545A TW I501121 B TWI501121 B TW I501121B
Authority
TW
Taiwan
Prior art keywords
panel
image
touch system
change
panel surface
Prior art date
Application number
TW098124545A
Other languages
English (en)
Other versions
TW201104519A (en
Inventor
Cho Yi Lin
Yao Ching Hsu
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW098124545A priority Critical patent/TWI501121B/zh
Priority to US12/775,838 priority patent/US20110018822A1/en
Priority to JP2010157980A priority patent/JP5657293B2/ja
Publication of TW201104519A publication Critical patent/TW201104519A/zh
Application granted granted Critical
Publication of TWI501121B publication Critical patent/TWI501121B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Description

手勢辨識方法及使用該方法之觸控系統
本發明係關於一種觸控系統，特別係關於一種手勢辨識方法及使用該方法之觸控系統。
請參照第1a及1b圖所示，其顯示一種習知觸控系統9之操作示意圖。該觸控系統9包含一觸控面90及至少2個攝影機91、92，該等攝影機91、92之視野涵蓋整個觸控面90用以擷取橫跨該觸控面90表面之影像。當一使用者8使用單一手指81碰觸該觸控面90時，該等攝影機91、92分別擷取包含該手指81尖端之遮蔽光影I81 的影像視窗W91 、W92 。一處理單元則可根據該等影像視窗W91 、W92 中，該手指81尖端之遮蔽光影I81 的一維位置計算出該手指81碰觸該觸控面90之二維位置座標。藉此，該手指81相對於該觸控面90之位置及位移均可被求得，處理單元則根據該手指81之二維位置座標變化相對控制一顯示器進行相應的動作。
當該使用者8同時使用兩手指81及82碰觸該觸控面90時，該等攝影機91、92所擷取之影像視窗W91 ' 、W92 ' 則分別包含相對於兩手指81、82之遮蔽光影I81 、I82 。處理單元根據該等影像視窗W91 ' 、W92 ' 中遮蔽光影I81 、I82 之一維位置分別計算出兩手指81、82相對於該觸控面90之二維位置座標，並根據兩手指81、82之座標位置變化進行手勢辨識。
然而，該觸控系統9之動作原理是根據每一影像視窗中手指尖端之遮蔽光影的一維位置計算手指碰觸該觸控面90之二維位置座標。當一使用者利用複數手指，例如手指81、82，碰觸該觸控面90時，由於手指相對於攝影機92彼此互相遮蔽，攝影機92所擷取之影像視窗W92 ' 中有可能不會出現所有手指尖端之遮蔽光影，如第1b圖所示。因此，可能產生無法正確計算每一手指之二維位置座標的情形。雖然可透過另外設置攝影機以解決此一問題，然而卻會增加系統成本。
有鑑於此，本發明另提出一種手勢辨識方法及使用該方法之觸控系統，以解決上述習知觸控系統所存在之問題。
本發明之目的在提出一種手勢辨識方法及使用該方法之觸控系統，其可根據單一手指與一面板之接觸狀態變化以進行模式切換。
本發明提出一種觸控系統之手勢辨識方法，包含下列步驟：以至少一影像感測器連續擷取橫跨一面板表面之影像；處理該影像以判定單一指示物與該面板表面之一接觸狀態變化；及當該接觸狀態變化大於一門檻值，辨識該單一指示物與該面板表面之一相對變化是否符合一預設手勢。
本發明另提出一種觸控系統之手勢辨識方法，包含下列步驟：以至少一影像感測器連續擷取橫跨一面板表面之影像；處理該影像以偵測單一指示物於該面板表面之一接觸點；及根據該接觸點之一狀態變化及一位置變化辨識該單一指示物與面板表面之接觸是否符合一預設手勢。
本發明另提出一種觸控系統，包含一面板、至少一光源、至少一影像感測器及一處理單元。該面板具有一面板表面。該光源設置於該面板表面。該影像感測器沿著該面板表面連續擷取包含單一指示物遮蔽該光源之一遮蔽光影之影像視窗。該處理單元判定該影像視窗中之遮蔽光影之一寬度或面積變化是否大於一門檻值，當判定該寬度或面積變化大於該門檻值時辨識該單一指示物與該面板表面之一位置變化是否符合一預設手勢。
根據本發明之手勢辨識方法及使用該方法之觸控系統，於第一模式中，該觸控系統可根據一指示物之座標變化(位置變化)控制一游標之動作；於第二模式中，該觸控系統可根據該指示物之座標變化(位置變化)更新一影像顯示器之顯示畫面，例如顯示物件選取(object select)、畫面捲動(scroll)、物件拖曳(dragging)、物件縮放(zoom in/out)或物件旋轉(rotation)等，其中該物件包含圖示(icon)及視窗。
本發明之手勢辨識方法及使用該方法之觸控系統中，由於可以僅根據單一指示物進行手勢辨識，因此可避免因複數指示物彼此互相遮蔽所導致無法正確計算指示物座標之情形。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，作詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此合先敘明。
請同時參照第2a及2b圖所示，第2a圖顯示本發明實施例之觸控系統10之立體圖，第2b圖顯示第2a圖中影像感測器13之部分視野及所擷取之影像視窗20之示意圖。該觸控系統10包含一面板100、一發光單元11、一第一光源121、一第二光源122、一影像感測器13、一處理單元14及一影像顯示器15。
該面板100包含一第一邊100a、一第二邊100b、一第三邊100c、一第四邊100d及一面板表面100s。該面板100之實施例包括一白板(white board)或一觸控螢幕(touch screen)。該面板表面100s係作為該觸控系統10之輸入區。
此實施例中，該發光單元11設置於該面板100之第一邊100a之面板表面100s上。該發光單元11可為一主動光源(active light source)或一被動光源(passive light source)。當該發光單元11為一主動光源時，其較佳為一線光源。當該發光單元11為一被動光源時，其用以反射其他光源，例如該第一光源121及該第二光源122，所發出之光；此時，該發光單元11包含一反射面11a面向該面板之第三邊100c，其中該反射面11a可利用一適當材質形成。該第一光源121設置於該面板之第二邊100b之面板表面100s上，且較佳朝向該面板之第四邊100d發光。該第二光源122設置於該面板之第三邊100c之面板表面100s上，且較佳朝向該面板之第一邊100a發光；其中該第一光源121及該第二光源122較佳為主動光源，例如為一線光源，但並不限於此。
該影像感測器13較佳設置於該面板100之一角落，例如於此實施例中該影像感測器13係被設置於該第二光源122及該面板之第四邊100d交界處之角落，而該發光單元11可設置於該面板表面100s上該影像感測器13之非相鄰邊。該影像感測器13沿著該面板表面100s擷取橫跨該面板表面100s並包含該發光單元11、第一光源121、第二光源122及該面板之第四邊100d所界定空間之影像。當一指示物(pointer)，例如一手指81，接觸該面板表面100s時，該影像感測器13之視野內會出現該手指81之尖端影像，如第2b圖之上圖所示，其中BA表示強光區域且該強光區域BA之高度通常係由發光單元11及光源121、122之尺寸所決定。因此，該影像感測器13可連續擷取包含該手指81尖端遮蔽發光單元11或光源121之遮蔽光影I81 的影像視窗20，如第2b圖之下圖所示。該影像感測器13之實施例包括一CCD影像感測器及一CMOS影像感測器，但並不限於此。可以了解的是，指示物亦可為其他適當物件代替，並不限定為手指。
該處理單元14耦接該影像感測器13，用以處理該影像感測器13所擷取之影像以辨識相對於一指示物之遮蔽光影的寬度或面積變化以控制該觸控系統10操作於第一模式或第二模式。當該處理單元14辨識出一指示物接觸該面板表面100s時，則啟動該觸控系統10運作於一第一模式；此時，該處理單元14根據影像視窗中指示物之遮蔽光影的位置相對計算出該指示物碰觸該面板表面100s之二維位置座標，並根據連續影像視窗所求得之二維位置座標變化控制該影像顯示器15上游標151之動作；其中該面板表面100s之二維位置座標係相對於該影像顯示器15顯示畫面之位置座標。
當該處理單元14辨識出相對於該指示物之遮蔽光影之寬度或面積變化，可為變大或變小，超過一門檻值時，則控制該觸控系統10操作於第二模式；此時，該處理單元14則根據影像視窗中指示物之遮蔽光影的位置相對計算出該指示物碰觸該面板表面100s之二維位置座標，根據連續影像視窗所求得之二維位置座標變化進行手勢辨識，並根據所辨識出之手勢相對控制一影像顯示器之顯示畫面更新，例如顯示物件選取、畫面捲動、物件拖曳、物件縮放或物件旋轉等，其詳細內容將詳述於後。此外，本發明中，可透過動態地調整該門檻值之大小以調整切換第一模式及第二模式的靈敏度(sensitivity)；其中，門檻值愈大則愈不靈敏，門檻值愈小則愈靈敏。
第2a圖中，為清楚顯示本發明之觸控系統10，該面板100係獨立於該影像顯示器15之外，但其並非用以限定本發明。其他實施例中，該面板100亦可結合於該影像顯示器15之顯示幕150上。此外，當該面板100為一觸控螢幕時，該影像顯示器15之顯示幕150亦可用作為該面板100，而該發光單元11、該第一光源121、該第二光源122及該影像感測器13則設置於該顯示幕150之表面上。
可以了解的是，雖然第2a圖中該面板100係顯示為一矩形且該發光單元11、第一光源121及第二光源122顯示為互相垂直地設置於該面板100之三個邊，但其僅為本發明之一種實施例，並非用以限定本發明。其他實施例中，該面板100可製作成其他形狀；該發光單元11、該第一光源121、該第二光源122及該影像感測器13亦可以其它的空間關係設置於該面板表面100s上。
第一實施例
請參照第3圖所示，其顯示本發明第一實施例之觸控系統10之上視圖。於此實施例中，該發光單元11為一被動光源(例如反射元件)，並具有一反射面11a面向該面板之第三邊100c。藉此，該第一光源121可相對該反射面11a鏡射一第二鏡像121' ，該第二光源122可相對該反射面11a鏡射一第三鏡像122' ，該面板之第四邊100d可相對該反射面11a鏡射一第四鏡像100d' ；其中該發光單元11、該第一光源121、該第二光源122及該面板之第四邊100d共同界定一實像空間RS；該發光單元11、該第二鏡像121' 、該第三鏡像122' 及該第四鏡像100d' 共同界定一虛像空間IS。
該影像感測器13設置於該第二光源122及該面板之第四邊100d交界處之角落。該影像感測器13之視野VA橫跨該面板表面100s並包含該實像空間RS及該虛像空間IS，用以擷取包含該實像空間RS、該虛像空間IS及位於該實像空間RS內之指示物(pointer)尖端，例如一手指81，遮敝該光源121及發光單元11之遮蔽光影的影像視窗。一實施例中，該影像感測器13包含一透鏡(或透鏡組)用以調整該影像感測器13之視野範圍VA以使該影像感測器13能夠擷取該實像空間RS及虛像空間IS之完整影像。
請參照第4a及4b圖所示，第4a圖顯示本發明第一實施例之觸控系統之操作示意圖；第4b圖顯示第4a圖中之影像感測器13所擷取一影像視窗20之示意圖。如圖所示，當一指示物，例如一手指81之尖端碰觸該實像空間RS內之面板表面100s上時，此處以一接觸點T81 表示，該指示物相對該發光單元11(於此實施例為一反射元件)之反射面11a鏡射一第一鏡像於該虛像空間IS中，此處以一接觸點T81 ' 表示。該影像感測器13根據該第一感測路線R81 擷取該指示物之尖端影像以於該影像視窗20內形成一遮蔽光影I81 ；並根據該第二感測路線R81 ' 擷取該第一鏡像之尖端影像以於該影像視窗20內形成一遮蔽光影I81 ' ，如第4b圖所示。於此實施例中，該處理單元14內預先儲存有一遮蔽光影位於該影像視窗20之一維位置與一感測路線與該面板之第三邊100c間夾角之相對關係。因此，當該影像感測器13擷取該指示物及其第一鏡像之尖端影像而形成該影像視窗20時，該處理單元14則可根據該影像視窗中20遮蔽光影I81 、I81 ' 的一維位置分別求出一第一夾角A81 及一第二夾角A81 ' 。接著，根據三角函數關係，該處理單元14可求出該指示物碰觸該面板表面100s之接觸點T81 之二維位置座標。
例如於一種態樣中，該面板表面100s構成一直角坐標系，該第三邊100c作為該直角坐標系之X軸，該第四邊100d作為該直角坐標系之Y軸並以該影像感測器13所在位置作為原點。因此，一接觸點T81 位於該直角坐標系的座標則可表示為(相對該第四邊100d之距離，相對該第三邊100c之距離)。此外，該處理單元14中預先儲存有該面板之第一邊100a與第三邊100c間的距離D1 。藉此，該處理單元根據下列步驟可求出該指示物81之接觸點T81 的二維位置座標：(a)該處理單元14求出該第一感測路線R81 與該面板之第三邊100c間之第一夾角A81 及該第二感測路線R82 與該面板之第三邊100c間之第二夾角A81 ' ；(b)根據方程式D2 =2D1 /(tanA81 +tanA81 ' )求出該指示物81之接觸點T81 與該面板之第四邊100d間之距離D2 ；(c)根據D2 ×tanA81 求出該接觸點T81 之y座標。因此，該接觸點T81 之二維位置座標則可表示為(D2 ,D2 ×tanA81 )。
第二實施例
請參照第5a及5b圖所示，第5a圖顯示本發明第二實施例之觸控系統10' 之立體圖，第5b圖顯示第5a圖中之影像感測器13、13' 所分別擷取之影像視窗之示意圖。本實施例與上述第一實施例之差異在於，該發光單元11' 於此實施例中為一主動光源，且該觸控系統10' 包含兩影像感測器13及13' 。
第二實施例中，該觸控系統10' 包含一面板100、一發光單元11' 、一第一光源121、一第二光源122、兩影像感測器13、13' 及一處理單元14。該發光單元11' 設置於該面板之第一邊100a之面板表面100s上，其較佳朝向該面板之第三邊100c發光。該第一光源121設置於該面板之第二邊100b之面板表面100s上，其較佳朝向該面板之第四邊100d發光。該第二光源122設置於該面板之第四邊100c之面板表面100s上，其較佳朝向該面板之第二邊100b發光。該影像感測器13設置於該面板之第三邊100c及第四邊100d之交界處，其視野橫跨該面板表面100s。該影像感測器13' 設置於該面板之第二邊100b及第三邊100c之交界處，其視野橫跨該面板表面100s。當一指示物，例如手指81碰觸該面板表面100s時，該影像感測器13擷取包含該手指81尖端之遮蔽光影I81 的影像視窗W13 ；而該影像感測器13' 擷取包含該手指81尖端之遮蔽光影I81 ' 的影像視窗W13 ' 。可以了解的是，該觸控系統10' 同樣可包含一影像顯示器耦接於該處理單元14。
該處理單元14耦接該影像感測器13及13' ，用以處理該等影像感測器13及13' 所擷取之影像以辨識相對一指示物之遮蔽光影I81 、I81 ' 的寬度或面積變化以控制該觸控系統10' 操作於第一模式或第二模式。當該處理單元14辨識出一指示物接觸該面板表面100s時，則啟動該觸控系統10' 運作於一第一模式；此時，該處理單元14根據影像視窗W13 及W13 ' 中指示物之遮蔽光影I81 、I81 ' 的位置相對計算出該指示物碰觸該面板表面100s之二維位置座標，並根據連續影像視窗W13 及W13 ' 所求得之二維位置座標變化控制一影像顯示器上一游標之動作。當該處理單元14辨識出該指示物之遮蔽光影I81 、I81 ' 之寬度或面積變化超過一門檻值時，則控制該觸控系統10' 運作於第二模式；此時，該處理單元14則根據影像視窗W13 及W13 ' 中指示物之遮蔽光影的位置以相對計算出該指示物碰觸該面板表面100s之二維位置座標，根據連續影像視窗W13 及W13 ' 所求得之二維位置座標變化進行手勢辨識，並根據所辨識出之手勢相對控制一影像顯示器之顯示畫面更新，例如顯示物件選取、畫面捲動、物件縮放、物件拖曳或物件旋轉等。二維位置座標之計算方式可同樣透過三角函數來計算，其詳細計算方式類似於第一實施例之計算方式，故於此不再贅述。
接著說明本發明實施例之觸控系統之運作方法。必須說明的是，下述手勢辨識方法係同時適用於本發明第一及第二實施例之觸控系統10及10' 。
請同時參照第2a及6a至6c圖所示，當使用者利用一指示物，例如手指81碰觸該面板表面100s，該影像感測器13擷取該手指81尖端之遮蔽光影I81 後形成一影像視窗20，其中該影像視窗20中之遮蔽光影I81 的寬度例如為L，該處理單元14辨識出該觸碰動作後則啟動觸控系統10並控制該觸控系統10進入第一模式。於第一模式中，該處理單元14根據該影像視窗20中之遮蔽光影I81 的位置計算該手指81觸碰該面板表面100s之二維座標，並根據二維座標之變化相對控制該影像顯示器15上一游標151之動作，如第6b圖所示。
當該面板100為一觸控螢幕時，使用者可使用手指81直接觸碰一物件O所在位置之面板表面100s以啟動觸控系統，如第6c圖所示。該處理單元14同樣根據該影像視窗20中遮蔽光影I81 的位置計算出該手指81相對於該面板表面100s之二維座標。
請同時參照第2a及7a至7c圖所示，當使用者改變手指81與該面板表面100s之接觸狀態，例如接觸面積，則可使該影像視窗20中之遮蔽光影I81 之寬度及面積改變，例如第7a圖中該影像感測器13所擷取之影像視窗20中之遮蔽光影I81 的寬度增加為L' 。當該處理單元14判定遮蔽光影之寬度變化超過一門檻值時，例如L' /L或∣L' -L∣超過一預設門檻值，則控制該觸控系統10進入第二模式。同理，遮蔽光影之面積變化可根據兩接觸狀態之面積絕對值差或比例求得。亦即，該門檻值可為該遮蔽光影之寬度或面積之變化比例或變化值。
第二模式中，該處理單元14同樣根據該影像視窗20中之遮蔽光影I81 的位置計算該手指81相對於該面板表面100s之二維座標，並將二維座標之變化與預先儲存於該處理單元14之預設手勢資料比對以進行手勢判定；亦即，於第二模式中，該處理單元14所求得之座標變化並非用以控制游標151之動作，而是用以判定使用者手勢以進行預設功能之操作，例如物件選取、畫面捲動、物件拖曳、物件縮放及物件旋轉，但並不限於此。本發明中，所述物件包含圖示(icon)及視窗(window)。
本發明中，欲使該觸控系統10於第一模式及第二模式間切換時，於模式切換期間該手指81相對於該面板表面100s可為移動或靜止，且改變該遮蔽光影I81 之寬度或面積後較佳至少維持一預設時間，例如1秒，但並不限於此。
請同時參照第6a-8c所示，接著說明使用者手勢與各運作功能之關係，可以了解的是，後述手勢與各運作功能之關係僅為例示性的，並非用以限定本發明。
物件選取：當該面板100為一白板時，使用者先以一指示物接觸該觸控系統之面板表面100s以啟動該觸控系統並控制該觸控系統10進入第一模式。接著，透過改變手指與面板表面100s之相對位置以控制一游標151至一欲選取之物件O，如第6b圖所示。接著，該使用者改變手指81與該面板表面100s之接觸狀態，如第7a圖所示，以進入第二模式，此時該物件O' 可被顯示為具有特性變化，例如顏色或外框線寬變化，表示已被選取，如第7b圖所示。
當該面板100為一觸控螢幕時，該使用者先碰觸該物件O上方之面板表面100s以啟動該觸控系統10，如第6c圖所示。接著該使用者改變手指81與該面板表面100s之接觸狀態以使該觸控系統10進入第二模式以選取該物件O' ，如第7c圖所示。
畫面捲動：首先一使用者先以手指81接觸該面板表面100s以啟動該觸控系統10並控制該觸控系統10進入第一模式，例如第6a或7a圖所示。接著，使用者改變手指81與該面板表面100s之接觸狀態，例如從第6a圖改變為第7a圖或從第7a圖改變為第6a圖，一預設時間以使該觸控系統10進入第二模式。接著，當該處理單元14偵測出該手指81相對於該面板表面100s進行上下左右之移動時，如第8a圖所示，則判定該使用者正在執行畫面捲動手勢。該處理單元14則控制該影像顯示器15之顯示幕150進行畫面更新以顯示相對應之顯示畫面。
物件拖曳：首先一使用者先以手指81接觸該面板表面100s以啟動該觸控系統10並控制該觸控系統10進入第一模式，接著透過改變手指81與該面板表面100s之相對位置以控制一游標151至一欲選取之物件O。接著，該使用者改變手指81與該面板表面100s之接觸狀態以進入第二模式，此時該物件O' 顯示為被選取。接著，當該處理單元14偵測出該手指81相對於該面板表面100s進行上下左右之移動時，如第8a圖所示，則判定該使用者正在執行物件拖曳手勢。該處理單元14則控制該影像顯示器15之顯示幕150進行畫面更新以顯示相對應之顯示畫面。
物件縮放：首先一使用者先以手指81接觸該面板表面100s以啟動該觸控系統10並控制該觸控系統10進入第一模式，接著透過改變手指81與該面板表面100s之相對位置以控制一游標151至一欲選取之物件O。接著，該使用者改變手指81與該面板表面100s之接觸狀態以進入第二模式，此時該物件O' 顯示為被選取。接著，當該處理單元14偵測出該手指81相對於該面板表面100s進行斜向之移動時，如第8b圖所示，則判定該使用者正在執行物件放大縮小手勢。該處理單元14則控制該影像顯示器15之顯示幕150進行畫面更新以顯示相對應之顯示畫面。
物件旋轉：首先一使用者先以手指81接觸該面板表面100s以啟動該觸控系統10並控制該觸控系統10進入第一模式，接著透過改變手指81與該面板表面100s之相對位置以控制一游標151至一欲選取之物件O。接著，該使用者改變手指81與該面板之接觸狀態以進入第二模式，此時該物件O' 顯示為被選取。接著，當該處理單元14偵測出該手指81相對於該面板表面100s進行旋轉移動時，如第8c圖所示，則判定該使用者正在執行物件旋轉手勢。該處理單元14則控制該影像顯示器15之顯示幕150進行畫面更新以顯示相對應之顯示畫面。
如前所述，由於習知觸控系統於進行複數指示物辨識時會出現因指示物互相遮蔽而無法正確計算接觸點座標之情形。本發明另提出一種僅利用單一指示物即可進行兩種操作模式之觸控系統(第2a、3及5a圖)，本發明之觸控系統僅需改變指示物與面板表面之接觸狀態即可輕易地進行操作模式切換，並具有降低系統成本之功效。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10、10' ．．．觸控系統
100．．．面板
100a．．．面板之第一邊
100b．．．面板之第二邊
100c．．．面板之第三邊
100d．．．面板之第四邊
100d' ．．．第四鏡像
100s．．．面板之表面
11、11' ．．．發光單元
11a．．．反射面
121．．．第一光源
121' ．．．第二鏡像
122．．．第二光源
122' ．．．第三鏡像
13、13' ．．．影像感測器
14．．．處理單元
15．．．影像顯示器
150．．．顯示幕
151．．．游標
20．．．影像視窗
RS．．．實像空間
IS．．．虛像空間
T81 ．．．指示物之接觸點
T81 ' ．．．第一鏡像之接觸點
A81 ．．．第一夾角
A81 ' ．．．第二夾角
D1 ．．．第一邊與第三邊之距離
D2 ．．．接觸點與第四邊之距離
R81 ．．．第一感測路徑
R81 ' ．．．第二感測路徑
I81 、I82 ．．．遮蔽光影
I81 ' ．．．遮蔽光影
L、L' ．．．遮蔽光影寬度
BA．．．強光區域
O、O' ．．．物件
W13 、W13 ' ．．．影像視窗
8．．．使用者
81、82．．．手指
9．．．觸控系統
90．．．攝影機
91~92．．．觸控面
W91 、W92 ．．．影像視窗
W91 ' 、W92 ' ．．．影像視窗
VA．．．視野
第1a圖顯示一種習知觸控系統之操作示意圖。
第1b圖顯示第1a圖之觸控系統之另一操作示意圖。
第2a圖顯示本發明實施例之觸控系統之立體圖。
第2b圖顯示第2a圖之影像感測器之部分視野及所擷取一影像視窗之示意圖。
第3圖顯示本發明第一實施例之觸控系統之上視圖。
第4a圖顯示本發明第一實施例之觸控系統之操作示意圖。
第4b圖顯示第4a圖之影像感測器所擷取一影像視窗之示意圖。
第5a圖顯示本發明第二實施例之觸控系統之立體圖。
第5b圖顯示第5a圖之兩影像感測器所分別擷取之影像視窗之示意圖。
第6a~6c圖顯示本發明實施例之觸控系統之第一模式之操作示意圖。
第7a~7c圖顯示本發明實施例之觸控系統之第二模式之操作示意圖。
第8a-8c圖顯示本發明實施例之觸控系統之不同手勢之示意圖。
10．．．觸控系統
100．．．面板
100a．．．面板之第一邊
100b．．．面板之第二邊
100c．．．面板之第三邊
100d．．．面板之第四邊
100s．．．面板表面
11．．．發光單元
11a．．．反射面
121．．．第一光源
122．．．第二光源
13．．．影像感測器
14．．．處理單元
15．．．影像顯示器
150．．．顯示幕
8．．．使用者
81．．．手指

Claims (18)

  1. 一種觸控系統之手勢辨識方法，包含下列步驟：以至少一影像感測器連續擷取橫跨一面板表面之影像；處理該等影像以判定單一指示物與該面板表面之一接觸狀態變化，其中該接觸狀態變化係不同影像中相對於該單一指示物之一遮蔽光影之一寬度或面積變化；及當該接觸狀態變化大於一門檻值，辨識該單一指示物與該面板表面之一相對變化是否符合一預設手勢。
  2. 根據申請專利範圍第1項之手勢辨識方法，其中當該接觸狀態變化大於該門檻值且變化後維持一預設時間，則辨識該單一指示物與該面板表面之該相對變化是否符合該預設手勢。
  3. 根據申請專利範圍第1項之手勢辨識方法，其中該預設手勢為畫面捲動、物件拖曳、物件縮放或物件旋轉。
  4. 根據申請專利範圍第1項之手勢辨識方法，另包含下列步驟：當根據該影像判定該單一指示物接觸該面板表面，啟動該觸控系統之運作。
  5. 根據申請專利範圍第1項之手勢辨識方法，另包含下列步驟：當該接觸狀態變化小於該門檻值，根據該單一指示物與該面板表面之該相對變化控制一影像顯示器上一游標之動作。
  6. 根據申請專利範圍第5項之手勢辨識方法，其中當該接觸狀態變化大於該門檻值時該觸控系統操作於第一模式，當該接觸狀態變化小於該門檻值時該觸控系統操作於第二模式，該手勢辨識方法另包含下列步驟：動態調整該門檻值以調整模式切換之靈敏度。
  7. 一種觸控系統之手勢辨識方法，包含下列步驟：以至少一影像感測器連續擷取橫跨一面板表面之影像；處理該等影像以偵測單一指示物於該面板表面之一接觸點；及根據該接觸點之一狀態變化及一位置變化辨識該單一指示物與面板表面之接觸是否符合一預設手勢，其中該狀態變化係不同影像中相對於該單一指示物之一遮蔽光影之一寬度或面積變化。
  8. 根據申請專利範圍第7項之手勢辨識方法，另包含下列步驟：根據該影像中相對於該單一指示物之一遮蔽光影的位置計算該接觸點之該位置變化。
  9. 根據申請專利範圍第7項之手勢辨識方法，其中當該遮蔽光影之該寬度或面積變化大於一門檻值，根據該接觸點之該位置變化辨識該單一指示物與面板表面之接觸是否符合該預設手勢。
  10. 根據申請專利範圍第7項之手勢辨識方法，其中該預設手勢為畫面捲動、物件拖曳、物件縮放或物件旋轉。
  11. 根據申請專利範圍第7項之手勢辨識方法，另包含下列步驟：根據所辨識出之手勢更新一影像顯示器之顯示畫面。
  12. 一種觸控系統，包含：一面板，具有一面板表面；至少一光源，設置於該面板表面；至少一影像感測器，沿著該面板表面連續擷取包含單一指示物遮蔽該光源之一遮蔽光影之影像視窗；及一處理單元，判定不同影像視窗中之遮蔽光影之一寬度或面積變化是否大於一門檻值，當判定該寬度或面積變化大於該門檻值時辨識該單一指示物與該面板表面之一位置變化是否符合一預設手勢。
  13. 根據申請專利範圍第12項之觸控系統，其中該面板為一白板或觸控螢幕。
  14. 根據申請專利範圍第12項之觸控系統，其中該影像感測器設置於該面板表面之兩邊所交界之角落，該觸控系統另包含一反射元件設置於該面板表面上該影像感測器之非相鄰邊。
  15. 根據申請專利範圍第14項之觸控系統，其中該影像感測器連續擷取包含單一指示物遮蔽該光源及該反射元件之兩遮蔽光影之影像視窗，該處理單元根據該等影像視窗中兩遮敝光影的位置計算該單一指示物與該面板表面之該位置變化。
  16. 根據申請專利範圍第12項之觸控系統，其中該觸控系統包含兩影像感測器分別連續擷取包含該單一指示物遮蔽該光源之一遮蔽光影之影像視窗，該處理單元根據該等影像視窗中遮敝光影的位置計算該單一指示物與該面板表面之該位置變化。
  17. 根據申請專利範圍第12項之觸控系統，另包含一影像顯示器耦接該處理單元，其中當該處理單元辨識該單一指示物與該面板表面之該位置變化符合該預設手勢時，控制該影像顯示器進行畫面更新。
  18. 根據申請專利範圍第12項之觸控系統，其中該預設手勢為畫面捲動、物件拖曳、物件縮放或物件旋轉。
TW098124545A 2009-07-21 2009-07-21 手勢辨識方法及使用該方法之觸控系統 TWI501121B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098124545A TWI501121B (zh) 2009-07-21 2009-07-21 手勢辨識方法及使用該方法之觸控系統
US12/775,838 US20110018822A1 (en) 2009-07-21 2010-05-07 Gesture recognition method and touch system incorporating the same
JP2010157980A JP5657293B2 (ja) 2009-07-21 2010-07-12 ジェスチャ認識方法及び同方法を用いたタッチシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098124545A TWI501121B (zh) 2009-07-21 2009-07-21 手勢辨識方法及使用該方法之觸控系統

Publications (2)

Publication Number Publication Date
TW201104519A TW201104519A (en) 2011-02-01
TWI501121B true TWI501121B (zh) 2015-09-21

Family

ID=43496864

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098124545A TWI501121B (zh) 2009-07-21 2009-07-21 手勢辨識方法及使用該方法之觸控系統

Country Status (3)

Country Link
US (1) US20110018822A1 (zh)
JP (1) JP5657293B2 (zh)
TW (1) TWI501121B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102835125B (zh) * 2010-04-21 2016-11-23 Lg电子株式会社 图像显示设备和用于操作图像显示设备的方法
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
US20120133579A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Gesture recognition management
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
US8982061B2 (en) * 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US8773377B2 (en) 2011-03-04 2014-07-08 Microsoft Corporation Multi-pass touch contact tracking
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
US8773374B2 (en) * 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
US9378389B2 (en) 2011-09-09 2016-06-28 Microsoft Technology Licensing, Llc Shared item account selection
CN103064548A (zh) * 2011-10-24 2013-04-24 联咏科技股份有限公司 可滤除误触面板的手势判断方法
TW201319921A (zh) * 2011-11-07 2013-05-16 Benq Corp 觸控螢幕畫面控制方法及觸控螢幕畫面顯示方法
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US9652132B2 (en) * 2012-01-27 2017-05-16 Google Inc. Handling touch inputs based on user intention inference
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
US9317147B2 (en) 2012-10-24 2016-04-19 Microsoft Technology Licensing, Llc. Input testing tool
TWI479393B (zh) * 2012-11-21 2015-04-01 Wistron Corp 切換方法、使用其之光學觸控裝置、以及其電腦程式產品
US9213448B2 (en) 2012-11-29 2015-12-15 Pixart Imaging Inc. Positioning module, optical touch system and method of calculating a coordinate of a touch medium
TWI475448B (zh) * 2012-11-29 2015-03-01 Pixart Imaging Inc 座標定位模組、光學式觸控系統及其計算觸控媒介之座標的方法
CN111475059A (zh) * 2013-03-14 2020-07-31 视力移动科技公司 基于近距离传感器和图像传感器的手势检测
US10649555B2 (en) * 2017-09-28 2020-05-12 Htc Corporation Input interface device, control method and non-transitory computer-readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918262A (en) * 1989-03-14 1990-04-17 Ibm Corporation Touch sensing display screen signal processing apparatus and method
US20020015024A1 (en) * 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US20070229477A1 (en) * 1998-05-15 2007-10-04 Ludwig Lester F High parameter-count touchpad controller
US20090015555A1 (en) * 2007-07-12 2009-01-15 Sony Corporation Input device, storage medium, information input method, and electronic apparatus
US7515141B2 (en) * 2005-04-15 2009-04-07 Canon Kabushiki Kaisha Coordinate input apparatus, control method therefor, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4553842A (en) * 1983-05-09 1985-11-19 Illinois Tool Works Inc. Two dimensional optical position indicating apparatus
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JP2002351615A (ja) * 2001-05-24 2002-12-06 Ricoh Co Ltd ディスプレイ装置
JP4429083B2 (ja) * 2004-06-03 2010-03-10 キヤノン株式会社 遮光型座標入力装置及びその座標入力方法
JP2006099468A (ja) * 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム
JP2008140182A (ja) * 2006-12-01 2008-06-19 Sharp Corp 入力装置、送受信システム、入力処理方法、および制御プログラム
JP2008191791A (ja) * 2007-02-01 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2008257454A (ja) * 2007-04-04 2008-10-23 Toshiba Matsushita Display Technology Co Ltd 表示装置、画像データ処理方法及び画像データ処理プログラム
US8144126B2 (en) * 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
JP5282661B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918262A (en) * 1989-03-14 1990-04-17 Ibm Corporation Touch sensing display screen signal processing apparatus and method
US20020015024A1 (en) * 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US20070229477A1 (en) * 1998-05-15 2007-10-04 Ludwig Lester F High parameter-count touchpad controller
US7515141B2 (en) * 2005-04-15 2009-04-07 Canon Kabushiki Kaisha Coordinate input apparatus, control method therefor, and program
US20090015555A1 (en) * 2007-07-12 2009-01-15 Sony Corporation Input device, storage medium, information input method, and electronic apparatus

Also Published As

Publication number Publication date
JP2011028746A (ja) 2011-02-10
JP5657293B2 (ja) 2015-01-21
TW201104519A (en) 2011-02-01
US20110018822A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
TWI501121B (zh) 手勢辨識方法及使用該方法之觸控系統
TWI412975B (zh) 手勢辨識方法及使用該方法之互動系統
TWI483143B (zh) 混合式指向裝置
CA2748881C (en) Gesture recognition method and interactive input system employing the same
CN108664173B (zh) 投影型影像显示装置
TWI420357B (zh) 觸控系統及其指示物座標偵測方法
US7880720B2 (en) Gesture recognition method and touch system incorporating the same
KR20070036075A (ko) 3-ｄ 터치 상호작용에서의 터치-다운 피드-포워드
US9342190B2 (en) Optical touch apparatus and optical touch method for multi-touch
US20130088462A1 (en) System and method for remote touch detection
US20150035800A1 (en) Information terminal apparatus
CN102999158B (zh) 互动系统的手势辨识方法及互动系统
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
CN101989150A (zh) 手势辨识方法以及使用该方法的触控系统
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
TWI479363B (zh) 具有指向功能的可攜式電腦及指向系統
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
TWI534688B (zh) 光學觸控系統、光學感測模組及其運作方法
TW201305853A (zh) 混合式指向裝置
JP5530887B2 (ja) 電子ボードシステム、座標点補正装置、座標点補正方法及びプログラム
TW201504925A (zh) 使用者介面的操作方法與電子裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees