TWI569171B - 手勢辨識 - Google Patents

手勢辨識 Download PDF

Info

Publication number
TWI569171B
TWI569171B TW100137408A TW100137408A TWI569171B TW I569171 B TWI569171 B TW I569171B TW 100137408 A TW100137408 A TW 100137408A TW 100137408 A TW100137408 A TW 100137408A TW I569171 B TWI569171 B TW I569171B
Authority
TW
Taiwan
Prior art keywords
gesture
finger
gestures
regions
touch sensitive
Prior art date
Application number
TW100137408A
Other languages
English (en)
Other versions
TW201224850A (en
Inventor
安索彼德約翰
義沙迪夏瑞
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201224850A publication Critical patent/TW201224850A/zh
Application granted granted Critical
Publication of TWI569171B publication Critical patent/TWI569171B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks

Description

手勢辨識
本發明係關於手勢辨識。
許多計算設備允許基於觸摸的輸入,如筆記型電腦、智慧型電話以及平板電腦。該等設備中的一些亦提供基於手勢的輸入,其中手勢涉及使用者的手、手指、身體等的運動。基於手勢的輸入的實例是在觸摸感測器上向下劃,此可被解釋成滾動訊窗。
多觸摸的基於手勢的互動技術亦變得日益流行,其中使用者使用大於一個手指與圖形化使用者介面進行互動以控制和操縱電腦程式。多觸摸的基於手勢的輸入的實例是觸摸感測器上的收聚移動,此可被用來調整所顯示的圖像的大小(以及可能旋轉該圖像)。
為了啟用基於手勢的互動,該等計算設備包括軟體形式的手勢辨識器,其將觸摸感測器資訊轉換成隨後可被映射成軟體命令(例如,滾動、縮放等)的手勢。該等手勢辨識器經由追蹤使用者在觸摸感測器上作出的筆劃的形狀並將該等與庫中的手勢範本進行匹配來操作。然而,此技術是複雜的並且因此或者使用大量處理或者很緩慢並導致手勢辨識延遲。此外,若形狀匹配不精確,該技術可能不準確,導致執行非預期命令。
另外,隨著多觸摸輸入的流行度的增加,亦開發了新類型的多觸摸輸入設備。例如,已開發了將觸摸輸入與傳統游標輸入組合在桌面計算環境中的多觸摸滑鼠設備。然而,該等新設備帶來了手勢辨識方面的新約束和要求。例如,在多觸摸滑鼠設備的情況下,使用者在正常使用中握住、提起以及移動該設備,此造成在觸摸感測器上的偶然或意外的輸入。當前手勢辨識器不對觸摸感測器上的偶然輸入和有意手勢加以區分。
以下描述的各實施例不限於解決已知手勢辨識技術的缺點中的任一個或全部的實現。
下文提供本發明的簡要概述以便向讀者提供基本的理解。本發明內容不是本發明的詳盡概觀,並且既不標識本發明的關鍵/重要元素,亦不圖示本發明的範圍。其唯一目的是以簡化形式提供在此公開一些概念作為稍後提供的更詳細描述的序言。
描述了手勢辨識。在一個實例中,具有觸敏部分的輸入設備的使用者所執行的手勢使用與該觸敏部分上的各區相對應的多個區域的定義來偵測,每一區域與手勢的不同集合相關聯。接收描述使用者的手指在觸敏部分上的移動的資料,並且決定該資料的相關聯的區域。將該資料與相關聯的區域的手勢集合相比較,並且選擇適用於該資料的手勢。隨後可執行與所選擇的手勢相關聯的命令。在一實例中,將該資料與該手勢集合相比較包括相對於該手指的移動的開始來定位每一手勢的閾值。將手指的位置與每一閾值進行比較以決定是否越過一閾值,並且若是則選擇與該閾值相關聯的手勢。
許多附帶特徵將隨著參考下文的詳細描述並結合附圖進行理解而得到更好的認識。
下文結合附圖提供的詳細描述意欲作為對本實例的描述,而非表示用於解釋或利用本實例的唯一形式。本說明書闡述本實例的功能以及用於構造和操作本實例的步驟序列。然而,相同或等效的功能與序列可由不同的實例來實現。
儘管在本文中將本發明的實例描述並圖示為在使用多觸摸滑鼠的桌上型計算系統中實現,但是所描述的系統只是作為實例而非限制來提供的。如本領域技藝人士將理解的,本發明實例適用於應用在使用各種不同輸入設備的各種不同類型的計算系統中。
首先參考圖1,其圖示具有多觸摸滑鼠輸入設備的計算系統。使用者使用他們的手100來操作輸入設備102。在圖1所示的實例中,輸入設備102是多觸摸滑鼠設備。術語「多觸摸滑鼠設備」在本文中用來描述可經由由使用者移動而作為定點設備來操作並且亦可傳感由使用者的手指所執行的手勢的任何設備。
圖1的輸入設備102在其上表面上包括可以對使用者的一或多個手指106的位置進行傳感的觸敏部分104。該觸敏部分可例如包括電容式或電阻式觸摸感測器。在其他實例中,亦可以使用光學(基於相機)或機械式觸摸感測器。在其他實例中,觸敏區域可以位於另外的位置,如位於輸入設備的側面。
輸入設備102與計算設備108進行通訊。輸入設備102與計算設備108之間的通訊可以採用無線連接(例如,藍芽)或有線連接(例如,USB)的形式。以下參考圖7提供與計算設備的內部結構有關的更多細節。計算設備108連接到顯示設備110,並且被安排成控制顯示設備110向使用者顯示圖形化使用者介面。圖形化使用者介面可例如包括一或多個螢幕上物件112和游標114。
在使用中,使用者可以用他們的手100在支撐表面上移動輸入設備102(在多觸摸滑鼠的情況下),並且計算設備108接收與此運動有關的資料,並將此轉換成顯示在顯示設備110上的螢幕上游標114的移動。另外,使用者可以使用他們的手指106來在輸入設備102的觸敏部分104上執行手勢,並且與手指的移動相關的資料被提供給計算設備108。計算設備108可以分析手指106的移動來辨識手勢,並隨後執行相關聯的命令,例如來操縱螢幕上物件112。
注意,在圖1中圖示的備選實例中,可以使用不同類型的輸入設備。例如,輸入設備可以採用觸摸墊的形式或顯示設備108可以是觸敏螢幕。可以使用能夠提供與使用者所執行的手勢有關的資料的任何類型的輸入設備。
現在參考圖2,其圖示用於辨識在觸敏輸入設備上執行的手勢的程序的流程圖。圖2的流程圖可以例如在計算設備108處的處理器上執行。然而,注意,在其他實例中,圖2的功能的至少一部分可以在輸入設備處執行。
首先,計算設備108載入複數個區域的定義。該複數個區域與位於輸入設備102的觸敏部分104上的各區相對應。輸入設備102的觸敏部分104上的各區與使用者的一或多個手指相關聯。此在圖3中用實例來圖示,其圖示輸入設備102具有被分成多個區的觸敏部分104。
第一區300與觸敏部分上的主要由使用者的拇指觸摸的區域相對應。因此,可以想像,從該第一區300開始的手勢可能由拇指執行(亦可能由某些其他手指執行)。第二區302與觸敏部分上的主要由使用者的拇指以外的手指觸摸的區域相對應。第三區304是第一區和第二區之間的重疊區,在此處或者拇指以外的手指或者拇指可能觸摸該觸敏部分。第四區306與觸敏部分104的使用者在執行精密尺度滾動手勢時可能進行觸摸的區域相對應(例如,處於與一般滑鼠設備上的滾輪相類似的位置)。注意,在一些實例中,各區域可不在輸入設備上被標記出,並且因此可不直接對使用者可見。
圖3亦圖示與觸敏部分104上的各區相對應的複數個區域308的定義。複數個區域308的定義可以採用各區位於觸敏部分104上的何處的電腦可讀取定義或數學定義的形式。例如,可以定義相對於觸敏部分的觸摸感測器的座標系,並且使用該等座標來定義複數個區域。
圖3的實例具有與第一區300(例如,拇指區)相對應的第一區域310、與第二區302(例如,拇指以外的手指區)相對應的第二區域312、與第三區304(例如,重疊區)相對應的第三區域314,以及與第四區306(例如,敏感滾動區)相對應的第四區域316。
因此,經由使用複數個區域308的定義,計算設備108可以根據所偵測到的觸摸的座標來決定偵測到的觸摸位於觸敏部分104的哪一區。注意,在其他實例中,亦可存在許多其他區,並且可以用不同的方式來放置及/或定向它們。亦要注意,儘管複數個區域308的定義在圖3中被示為矩形,但其可以是映射到輸入設備102的觸摸感測器的座標上的任何形狀。
在一個實例中,輸入設備上的各區的形狀、大小和位置可以提前且靜態地決定。例如,可以使用來自輸入設備的使用者的資料來提前最佳化各區的形狀、大小和位置,使得其被定位得對大多數使用者有效。在替換實例中,各區可被動態地定義,使得它們根據個體使用者的行為來改變。
再次返回圖2,複數個區域的定義可例如從計算設備108處的儲存設備或記憶體中載入。此可以在使用者使用輸入設備之前執行(例如,作為載入設備驅動程式的一部分)。
計算設備108接收202來自輸入設備102的描述使用者的一或多個手指106在輸入設備102的觸敏部分104上的位置和移動的資料。該資料可以採用包括與觸敏部分104接觸的每一手指的座標(例如,x和y值)的各訊框的時間序列的形式。觸摸觸敏部分的手指的位置在本文中被稱為接觸點。注意,該資料可以描述大於一個接觸點。
計算設備108處理該資料以決定各訊框之間是否存在接觸點的移動。若是,並且偵測到手指的移動,則儲存該移動的起始座標。相反,若計算設備108決定接觸點沒有移動超過預定義的時間段,則用該接觸點的當前座標替換當前儲存的該接觸點的任何起始座標。此舉幫助對手指在輸入設備上的有意和無意移動加以區分,並幫助補償來自觸摸感測器的信號中的雜訊或信號干擾。
一旦記錄了手指的起始座標,則複數個區域308的定義可被用來決定204接觸點所處的區域。例如,此可以經由定位複數個區域的定義上的起始座標並標識其所處的區域來執行。隨後將此區域與具有該起始座標的接觸點相關聯。
複數個區域中的每一區域與手勢的不同集合相關聯。換言之,每一區域具有在從該區域開始時可在輸入設備上輸入的手勢的集合。不同區域的手勢集合可以相交(亦即,共同具有某些手勢)。存取與該接觸點相關聯的區域的手勢集合,並將該手勢集合與關於該接觸點的移動的資料進行比較206。資料與手勢集合的比較決定接觸點中的一或多個接觸點的移動是否足以偵測到來自該手勢集合的手勢。關於手勢偵測技術的更多細節在下文參考圖4提供。
偵測到的手勢可以是暫態手勢(亦稱為衝擊手勢),如輕敲或輕擊,或連續手勢(亦稱為互動式手勢),如刷、平移,或收聚。若偵測到手勢,則選擇此手勢並且執行208與該手勢相關聯的命令或功能。該命令可以是立即作用於在計算設備108處執行的軟體的暫態命令,如最大化、最小化,或切換訊窗的命令。該命令亦可以是根據變元來控制的連續命令。例如,若命令是縮放、旋轉、按比例縮放,或滾動命令,則計算設備根據與接觸點的移動的大小及/或方向有關的資料產生輸出值,並將此作為變元提供給該命令。在此種情況下,該命令在被觸發後是連續的,並且對使用者手指的移動作出反應。
上述手勢辨識技術提供偵測使用者在輸入設備上作出的手勢並對手勢作出反應的快速且準確的方式。此技術使用輸入設備如何被使用者操作的知識來標識與某些手勢相關聯的區域,並且只搜尋與該移動所發生的區域相關聯的彼等手勢。此舉減少了該辨識技術搜尋的手勢的數量,並加快了偵測。經由在預定義時間段之後將移動的起始座標重置,只對肯定移動作出反應,並且減少了手勢的無意觸發。
現在參考圖4,其圖示可以與以上參考圖3描述的技術一起使用的手勢偵測程序的流程圖。圖4的手勢偵測程序基於「閾值」的概念,該閾值在概念上可被看作在複數個區域308的定義上繪出的線並且要偵測到手勢則必須越過該閾值。該等閾值可以是直線或曲線的形式,並且在本文中被稱為「閾值向量」。
每一手勢集合中的每一手勢與至少一個閾值向量相關聯。當偵測到接觸點在觸敏部分104上的移動並且記錄了起始座標時,決定400適用於該起始座標所處的區域的各手勢中的每一個手勢的閾值向量。閾值向量是參考該起始座標來定義的。在概念上,此可被想像成將該區域中可用的手勢的每一閾值向量置於相對於接觸點的起始座標的預定義位置處。
作為說明性實例,考慮具有起始座標(7,12)的接觸點。點(7,12)所處的區域的手勢集合具有例如兩個閾值向量:第一個具有垂直向上的5單位位移和向左的3單位位移;而第二個具有垂直向下的2單位位移和向右的4單位位移。因此,在該實例中,計算設備決定閾值向量的原點需要位於(12,9)和(5,16)處。閾值向量亦具有從該等原點開始的大小和方向(及/或可任選的曲率)。
在一些實例中,亦可使該組閾值依賴於就現存的接觸點而言的上下文。例如,可以對適合對一手勢作出貢獻的區域中的接觸點的數量進行計數,並且該一個值被用於決定所使用的閾值向量。作為實例,若與滾動手勢相關聯的區域中只有一個適合的接觸點,則滾動手勢的閾值可被放置得距該接觸點的起始座標較近,因為此允許該手勢被更快速地觸發並且不可能意欲作出其他手勢。相反,若此區域中存在兩個手指,則閾值可被放置得距起始座標較遠,以提供用於形成多手指手勢的更大迴旋餘地。
對於正在移動的每一接觸點(亦即,從起始座標移動),將該接觸點的當前座標與適用於該接觸點的每一閾值向量進行比較402。在一個實例中,以任意順序將接觸點的當前座標與每一閾值向量進行比較。在另一實例中,向每一閾值向量分配優先順序值,並且以優先順序值的次序將當前座標與每一閾值向量進行比較。此舉使得更普遍使用的手勢或對時間敏感的手勢被給予更高的優先順序,並且因而與具有較低優先順序的手勢相比被更快速地偵測。
隨後決定404該接觸點在其當前座標處是否越過閾值向量。若否,則該程序在資料中的下一運動訊框之後回頭檢查。若接觸點的當前座標指示該接觸點相對於其起始座標已越過閾值向量,則儲存406與所越過的閾值向量相關聯的手勢(例如,儲存在計算設備108處的記憶體或其他儲存設備中)。
隨後決定408所儲存的手勢是可由單個手指的移動還是來自複數個手指的移動來觸發的手勢。若所儲存的手勢是單手指手勢,則選擇410所儲存的手勢來執行,如以上參考圖3所描述的。然而,若所儲存的手勢是多手指手勢,則決定412同一手勢是否先前亦作為該手勢的閾值向量被足夠的附加接觸點(亦即,不同手指)所越過的結果而被儲存了。
若否,則此指示尚沒有足夠的接觸點越過了與該多手指手勢相關聯的閾值向量,並且該程序回頭尋找所越過的閾值向量,直至另一手指亦越過與該手勢相關聯的閾值向量為止。換言之,對於多手指手勢,在該手勢被觸發之前,該等手指中的每一個的閾值向量被越過。例如,對於兩手指手勢,則在觸發該手勢之前兩個閾值(每一手指一個閾值)被越過。
然而,若決定同一手勢先前已經作為所需數量的不同手指越過與該手勢相關聯的閾值向量的結果而被儲存了,並且對於該手勢不需要更多的手指,則選擇410所儲存的手勢來執行,如以上參考圖3所描述的。
現在參考圖5和6,其圖示圖4中的程序的操作的實例。圖5圖示單手指手勢的實例,並且圖6圖示多手指手勢的實例。
圖5圖示對複數個區域308上的示例性平移手勢的辨識。使用者從輸入設備102的觸敏部分104上的與圖5中所示的起始座標500相對應的點處開始移動他們的手指。起始座標500位於第二(拇指之外的手指)區域312。計算設備108決定第二區域312與特定手勢集合相關聯。如上所述,該手勢集合中的每一手勢與至少一個閾值向量相關聯。計算設備108決定該等手勢中的每一個的該等閾值向量中的每一個相對於起始座標500而言位於何處。
例如,作為說明,圖5圖示一組四個手勢,每一手勢具有一個閾值向量。圖5中圖示具有相關聯的向上平移閾值向量502的向上平移手勢、具有相關聯的向右平移閾值向量504的向右平移手勢、具有相關聯的向下平移閾值向量506的向下平移手勢,以及具有相關聯的向左平移閾值向量508的向左平移手勢。在其他實例中,第二區域312的手勢集合中可存在更多手勢,但在此出於簡明目的未圖示該等手勢。
圖5中所示的四個手勢的組合形成圍起起始座標500的矩形。在使用者手指的運動的每一訊框處,檢查手指的當前座標是否越過該四個閾值向量中的任一個。換言之,決定使用者手指的移動是否使該手指處於由該四個閾值向量形成的矩形之外。
圖5圖示使用者的手指垂直向上移動的實例,並且在點510處,移動的路徑越過向下平移閾值向量510(在該實例中,使用者手指的移動就如同其在操作滾輪一樣來解釋,亦即使用者向上劃產生了向下滾動)。在該實例中,因為向下平移手勢是單手指手勢,所以該手勢可經由該一個手指越過該閾值而被立即觸發。於是偵測到向下平移手勢並執行,以便追蹤使用者手指的後續移動(例如,沿著垂直路徑512)並提供輸入來控制顯示在顯示設備110上的使用者介面。例如,使用者可以在顯示在使用者介面中的圖像上向下平移與由使用者的手指所沿的垂直路徑512(以及可任選地,移動的速度)相關的量。
圖6圖示另一實例,在此種情況下是使用多個手指的示例性收聚手勢。使用者從輸入設備102的觸敏部分104上的與圖6中的起始座標600相對應的點處開始移動第一手指。該第一起始座標600位於第二區域312。計算設備108決定第二區域312與一手勢集合相關聯,該手勢集合中的每一手勢與至少一個閾值向量相關聯。計算設備108決定該等手勢中的每一個的該等閾值向量中的每一個相對於起始座標600而言位於何處。
為簡明起見,圖6只圖示單個手勢的閾值向量,但在其他實例中亦可包括許多其他手勢。圖6中圖示的示例性手勢是收聚手勢,並且此具有相關聯的閾值向量602。因為此是收聚手勢,所以閾值向量602相對於起始座標600而言被定位成朝向觸敏部分的中心。
另外,使用者亦從輸入設備102的觸敏部分104上的與起始座標604相對應的點處開始移動第二手指。該第二起始座標604位於第三區域314。計算設備108決定第三區域314與一手勢集合相關聯,該手勢集合中的每一手勢與至少一個閾值向量相關聯。計算設備108決定該等手勢中的每一個的該等閾值向量中的每一個相對於起始座標602而言位於何處。在該實例中,第三區域314亦與該收聚手勢相關聯(為簡明起見未圖示其他手勢)。在該實例中,收聚手勢具有相對於起始座標604的閾值向量606。同樣,因為此是收聚手勢,所以閾值向量606相對於起始座標604而言被定位成朝向觸敏部分的中心。
在圖6的實例中,使用者從起始座標600沿路徑608移動他們的手指,並且在點610處越過閾值向量602。然而,因為與閾值向量602相關聯的手勢是兩手指手勢,所以該手勢未被立即觸發。相反,計算設備108記錄閾值向量602已被越過,並等待直至與該手勢相關聯的另一閾值被越過為止。
使用者亦可以從起始座標604沿路徑612移動他們的其他手指,並在點612處越過閾值向量606。計算設備108決定此是越過與收聚手勢相關聯的閾值向量的第二手指,並且因此,因為此是兩手指手勢,所以其可觸發該手勢的執行。
在觸發收聚手勢之後,追蹤使用者的手指的進一步移動,例如沿路徑608和612,並提供輸入以控制顯示在顯示設備110上的使用者介面。例如,使用者可以經由與使用者手指所執行的收聚移動的大小及/或速度有關的量來縮小使用者介面中顯示的圖像。
上述手勢辨識技術允許快速且高效地偵測在輸入設備上執行的手勢。使用者如何使用輸入設備的知識使得能夠將該輸入設備的觸敏部分劃分成各區域,每一區域與手勢的不同集合相關聯。此減少了搜尋匹配的手勢所花費的時間量,因為只搜尋可從特定區域執行的彼等手勢。
與形狀匹配技術不同,使用閾值向量來偵測並觸發手勢可被快速且在無需大量計算的情況下執行。此允許在最小計算管理負擔的情況下包括大量手勢。該程序按照簡單「比賽」來操作以發現(在該等實例中由多個手指)所越過的第一閾值向量。另外,使用閾值向量確保必須作出肯定移動才能越過閾值並觸發手勢,從而減少無意的手勢觸發。
注意,一旦接觸的集合被辨識為形成一手勢,則所有其他併發接觸可被標記為被忽略,並且亦使得形成該手勢的各接觸對其他手勢不可用。例如,在滑鼠設備的情況下,若一個手指開始滾動手勢,則所有其餘接觸被認為只是負責把持該滑鼠設備並且不被用於手勢辨識中。類似地,在該實例中,滾動接觸可以只是滾動手勢的一部分,並且不能成為兩個手指手勢的一部分。
現在參考圖7,其圖示計算設備108的各元件。計算設備108可被實現成其中可實現手勢辨識技術的處理的任何形式的計算及/或電子設備。
計算設備108包括一或多個處理器702,該等處理器可以是用於處理電腦可執行指令以控制該設備的操作以便實現手勢辨識技術的微處理器、控制器或任何其他合適類型的處理器。
計算設備108亦包括被安排成接收並處理來自諸如輸入設備102等一或多個設備的輸入的輸入介面704。計算設備108進一步包括被安排成將使用者介面輸出給顯示設備110的輸出介面706。
計算設備108亦包括可被安排成與一或多個通訊網路進行通訊的通訊介面708。例如,通訊介面708可以將計算設備108連接到網路(例如,網際網路)。通訊介面708可以使計算設備108能夠與其他網路元件進行通訊以儲存和取得資料。
可以使用可由計算設備108存取的任何電腦可讀取媒體來提供電腦可執行指令和資料儲存。電腦可讀取媒體可以包括例如諸如記憶體710等電腦儲存媒體和通訊媒體。諸如記憶體710等電腦儲存媒體包括以用於儲存如電腦可讀取取指令、資料結構、程式模組或其他資料等資訊的任何方法或技術實現的揮發性和非揮發性、可移除和不可移除媒體。電腦儲存媒體包括但不限於,RAM、ROM、EPROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存器、磁帶盒、磁帶、磁碟儲存器或其他磁性儲存設備,或者可用於儲存供計算設備存取的資訊的任何其他媒體。相反,通訊媒體可以以諸如載波或其他傳輸機制等已調制資料信號來體現電腦可讀取取指令、資料結構、程式模組或者其他資料。儘管在計算設備108中圖示電腦儲存媒體(諸如記憶體710),但將明白,該儲存可以是分散式的或位於遠處並經由網路或其他通訊鏈路(例如,使用通訊介面708)來存取。
可以在計算設備108的記憶體710處提供包括作業系統712或任何其他合適的平臺軟體的平臺軟體以使得能夠在該設備上執行應用軟體714。記憶體710可以儲存可執行指令,當該可執行指令在處理器702上執行時,實現上述區域映射引擎616(被安排成將輸入設備的觸敏部分的各區域映射到手勢集合)、閾值偵測引擎718(被安排成定位閾值向量並偵測其何時被越過),以及移動和追蹤引擎720(被安排成偵測移動起始並儲存起始座標且追蹤該移動)的功能。記憶體710亦可提供資料儲存724,資料儲存724可被用來提供對處理器702在執行手勢辨識技術時所使用的資料的儲存。
此處使用的術語「電腦」表示具有處理能力以使其能夠執行指令的任何設備。本領域技藝人士將認識到該等處理能力被結合到許多不同設備中,並且因此術語「電腦」包括PC、伺服器、行動電話、個人數位助理和許多其他設備。
本文描述的方法可由有形儲存媒體上的機器可讀取形式的軟體來執行,例如電腦程式的形式,該電腦程式包括在該程式在電腦上執行時適用於執行本文描述的任何方法的所有步驟的電腦程式代碼構件並且其中該電腦程式可被包括在電腦可讀取媒體上。有形(或非暫態)儲存媒體的實例可包括磁碟、拇指型驅動器、記憶體等並且不包括傳播信號。軟體可適於在並行處理器或連續處理器上執行以使得各方法步驟可以按任何合適的次序或同時執行。
此確認了軟體可以是有價值的、可單獨交易的商品。其意欲包含執行於或者控制「啞」或標準硬體以實現所需功能的軟體。其亦意欲包含例如用於設計矽晶片,或者用於配置通用可程式設計晶片的HDL(硬體描述語言)軟體等「描述」或者定義硬體設定以實現期望功能的軟體。
本領域技藝人士將認識到用於儲存程式指令的儲存設備可分佈在網路上。例如,遠端電腦可儲存描述為軟體的該程序的實例。本端或終端電腦可存取遠端電腦並下載該軟體的一部分或全部以執行該程式。或者,本端電腦可依須求下載軟體的片斷,或可以在本端終端處執行一些軟體指令而在遠端電腦(或電腦網路)處執行一些軟體指令。本領域技藝人士將認識到,經由使用本領域技藝人士已知的一般技術,軟體指令的全部或部分可由諸如DSP、可程式設計邏輯陣列等專用電路來執行。
如本領域技藝人士將清楚的,此處提供的任何範圍或者設備值皆可以被擴展或者改變而不失去所尋求的效果。
可以理解,上述各好處和優點可涉及一個實施例或者可涉及若干實施例。各實施例不限於解決所述問題中的任一個或全部的實施例或具有所述好處和優點中的任一個或全部的實施例。進一步可以理解,對「一個」專案的引用指的是該等專案中的一或多個。
本文中描述的各方法步驟可以在適當時按任何合適的次序或同時執行。另外,可從任一種方法中刪除各個區塊,而不背離此處所述的標的的精神和範圍。上述實例中的任一個的各態樣可以與該等其他實例中的任一個的各態樣組合以形成其他實例而不失去所尋求的效果。
術語「包括」此處用來指包括所標識的方法區塊或元素,但該等區塊或元素不構成排他清單,並且方法或裝置可包含附加區塊或元素。
可以理解,上文對一較佳實施例的描述只是作為實例提供並且本領域的技藝人士可以做出各種修改。以上說明、實例和資料提供了對本發明的各示例性實施例的結構和使用的全面描述。儘管上文以一定的詳細度或參考一或多個單個實施例描述了本發明的各實施例,但是,在不偏離本發明的精神或範圍的情況下,本領域的技藝人士可以對所揭示的實施例作出很多更改。
100...手
102...輸入設備
104...觸敏部分
106...手指
108...計算設備
110...顯示設備
112...物件
114...游標
202...步驟
204...步驟
206...步驟
208...步驟
300...第一區
302...第二區
304...第三區
306...第四區
308...複數個區域
310...第一區域
312...第二區域
314...第三區域
316...第四區域
400...步驟
402...步驟
404...步驟
406...步驟
408...步驟
410...步驟
412...步驟
500...起始座標
502...向上平移閾值向量
504...向右平移閾值向量
506...向下平移閾值向量
508...向左平移閾值向量
510...點
512...垂直路徑
600...起始座標
602...閾值向量
604...起始座標
606...閾值向量
608...路徑
610...點
612...路徑
702...處理器
704...輸入介面
706...輸出介面
708...通訊介面
710...記憶體
712...作業系統
714...應用軟體
718...閾值偵測引擎
720...移動和追蹤引擎
根據附圖閱讀以下詳細描述,將更好地理解本發明,在附圖中:
圖1圖示具有多觸摸滑鼠輸入設備的計算系統;
圖2圖示用於辨識在觸敏輸入設備上的手勢的程序的流程圖;
圖3圖示輸入設備上的各區到區域定義的映射;
圖4圖示用於偵測手勢的程序的流程圖;
圖5圖示對示例性平移手勢的辨識;
圖6圖示對示例性收聚手勢的辨識;
圖7圖示可在其中實現手勢辨識器的各實施例的示例性的基於計算的設備。
附圖中使用相同的元件符號來代表相同的部分。
102...輸入設備
104...觸敏部分
300...第一區
302...第二區
304...第三區
306...第四區
308...複數個區域
310...第一區域
312...第二區域
314...第三區域
316...第四區域

Claims (20)

  1. 一種偵測由具有一觸敏部分的一輸入設備的一使用者所執行的手勢的電腦實現的方法,該方法包括以下步驟:在一處理器處載入與該輸入設備的該觸敏部分上的各區相對應的複數個區域的一定義,其中該複數個區域中的每一區域與一不同的手勢集合相關聯,每一手勢具有一分配的優先順序值;在該處理器處接收描述該使用者的至少一個手指橫越於該輸入設備的該觸敏部分的一區域邊界的移動的資料;根據該資料和該複數個區域的該定義來決定該資料的一相關聯的區域;基於該分配的優先順序值來決定一比較次序;將該資料與該相關聯的區域的手勢集合進行比較並選擇適用於該資料的手勢,該資料係以該決定的比較次序與該等手勢作比較;及在該處理器上執行與所選擇的手勢相關聯的一命令。
  2. 如請求項1述及之方法,其中該資料包括該手指或每一手指的一起始座標。
  3. 如請求項2述及之方法,其中該資料進一步包括該手指或每一手指的一當前座標。
  4. 如請求項3述及之方法,其中每一手勢集合中的每一手勢由位於相對於該起始座標的一預定義位置處的至少一個閾值向量來定義。
  5. 如請求項4述及之方法,其中該比較步驟包括以下步驟:對於該手指或每一手指,將該當前座標與該相關聯的區域的手勢集合中的每一閾值向量進行比較以決定該手指的始自該起始座標的該移動是否越過該閾值向量,並且若是,則儲存與該閾值向量相關聯的手勢。
  6. 如請求項5述及之方法,其中在所儲存的該手勢是一單手指手勢的情況下,選擇適用於該資料的一手勢的步驟包括以下步驟:選擇所儲存的該手勢。
  7. 如請求項5述及之方法,其中在所儲存的該手勢是使用來自一預定義數量的手指的輸入的一手勢的情況下,選擇適用於該資料的一手勢的步驟包括以下步驟:在為該預定義數量的手指儲存了同一手勢的情況下選擇該手勢。
  8. 如請求項5述及之方法,其中該手勢的該優先順序值係基於該手勢的使用頻率,且該比較之步驟包含以下步驟:將該當前座標與該相關聯區域的手勢集合中之每一閾值向量進行比較,以決定該手指的始自該起始座標的該移動是否越過該閾值向量。
  9. 如請求項3述及之方法,進一步包括以下步驟:根據該資料偵測一手指尚未從其當前座標移動超過一預定義時間段的步驟,並且若是,則用該手指的該當前座標替換該起始座標。
  10. 如請求項1述及之方法,其中該等手勢包含一暫態手勢和一連續手勢中之至少一者。
  11. 如請求項1述及之方法,其中該手勢的該分配的優先順序值至少部分地基於該手勢的一時間靈敏度。
  12. 如請求項1述及之方法,其中該命令包含以下各項之至少一者:一縮放命令、一滾動命令、最大化一訊窗的一命令、最小化一訊窗的一命令以及切換訊窗的一命令。
  13. 如請求項1述及之方法,進一步包含以下步驟:根據該移動的大小和方向中之至少一者有關的該資料產生一輸出值的步驟。
  14. 如請求項13述及之方法,進一步包含以下步驟:將該輸出值作為一變元提供給與該所選擇手勢相關聯的該命令。
  15. 一種電腦系統,包括:一記憶體;一輸出介面;一輸入介面,該輸入介面被安排成接收來自具有一觸敏部分的一輸入設備的資料,該資料描述一使用者的至少一個手指橫越於該觸敏部分的一區域邊界的移動;及一處理器,該處理器被安排成經由該輸出介面在一顯示設備上顯示一使用者介面,從該記憶體載入與該輸入設備的該觸敏部分上的各區相對應的複數個區域的一定義,其中該複數個區域中的每一區域具有與其相關聯的一不同手勢集合和每一手勢具有一優先順序值,基於該優先順序值來決定一比較次序,根據該資料和該複數個區域的該定義來決定該資料的一相關聯的區域,將該資料與該相關聯的區域的手勢集合進行比較以選擇適用於該資料的手勢,該等手勢係以該決定的比較次序與該資料作比較,以及根據與該所選擇的手勢相關聯的一功能經由該輸出介面更新該使用者介面。
  16. 如請求項15述及之電腦系統,其中該輸入設備是一多觸摸滑鼠設備。
  17. 如請求項15述及之電腦系統,其中該輸入設備的該觸敏部分上的各區與該觸敏部分的關聯於該使用者的手指中的一或多個手指的各區域相對應。
  18. 如請求項17述及之電腦系統,其中該輸入設備中之該觸敏部分上的各區包含主要由該使用者的拇指觸摸的一拇指區。
  19. 如請求項17述及之電腦系統,其中該輸入設備中之該觸敏部分上的各區包含主要由一或多個該使用者的拇指以外的手指觸摸的一拇指以外的手指區域。
  20. 一種具有設備可執行指令的有形的設備可讀取媒體,該設備可執行指令在由一計算系統執行時使得該計算系統執行以下步驟:從一記憶體載入與一滑鼠設備的一觸敏部分上的各區域相對應的複數個區域的一定義,其中該複數個區域中的每一區域與一不同的手勢集合相關聯和每一手勢具有一分配的優先順序值;接收描述一使用者的一手指橫越於該滑鼠設備的該觸敏部分的一區域邊界的移動的資料,其中該資料包括該手指的一起始位置和一當前位置;根據該起始位置和該複數個區域的該定義來決定該資料的一相關聯的區域,並且對於該相關聯的區域的手勢集合中的每一手勢,計算至少一個閾值向量相對於該起始位置的一位置;基於該分配的優先順序值來決定一比較次序; 將該當前位置與該相關聯的區域的手勢集合中的每一閾值向量進行比較以決定該手指的始自該起始位置的移動是否越過該閾值向量,其中該比較係以該決定的比較次序來進行,並且若是,則選擇與該閾值向量相關聯的手勢;及執行與該所選擇的手勢相關聯的一命令。
TW100137408A 2010-11-19 2011-10-14 手勢辨識 TWI569171B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/950,669 US9870141B2 (en) 2010-11-19 2010-11-19 Gesture recognition

Publications (2)

Publication Number Publication Date
TW201224850A TW201224850A (en) 2012-06-16
TWI569171B true TWI569171B (zh) 2017-02-01

Family

ID=46065608

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100137408A TWI569171B (zh) 2010-11-19 2011-10-14 手勢辨識

Country Status (6)

Country Link
US (1) US9870141B2 (zh)
EP (1) EP2641149B1 (zh)
CN (1) CN102541304B (zh)
AR (1) AR083805A1 (zh)
TW (1) TWI569171B (zh)
WO (1) WO2012067881A2 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8347230B2 (en) * 2008-09-30 2013-01-01 Apple Inc. Visual presentation of multiple internet pages
US8640047B2 (en) * 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
TWI493387B (zh) * 2011-11-18 2015-07-21 Primax Electronics Ltd 多點觸控滑鼠
CN103309596B (zh) * 2012-03-13 2016-12-14 深圳市世纪光速信息技术有限公司 一种输入法键盘的调整方法及其移动终端
US20130249808A1 (en) * 2012-03-21 2013-09-26 S. David Silk System for implementing an overlay for a touch sensor including actuators
US9292197B2 (en) * 2012-03-30 2016-03-22 Mckesson Financial Holdings Method, apparatus and computer program product for facilitating the manipulation of medical images
WO2014000184A1 (en) * 2012-06-27 2014-01-03 Nokia Corporation Using a symbol recognition engine
CN103529976B (zh) * 2012-07-02 2017-09-12 英特尔公司 手势识别系统中的干扰消除
CN103529926A (zh) * 2012-07-06 2014-01-22 原相科技股份有限公司 输入系统
US9021380B2 (en) * 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
TWI467467B (zh) * 2012-10-29 2015-01-01 Pixart Imaging Inc 畫面物件移動控制方法及裝置
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US9177362B2 (en) * 2013-08-02 2015-11-03 Facebook, Inc. Systems and methods for transforming an image
KR102209354B1 (ko) 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
CN104049779A (zh) * 2014-06-25 2014-09-17 华东理工大学 在多个显示器之间实现鼠标指针快速切换
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation
CN104216325B (zh) * 2014-09-10 2016-08-31 陈良彬 一种智能笔的智能化监控方法
WO2016053277A1 (en) * 2014-09-30 2016-04-07 Hewlett-Packard Development Company, L.P. Determining unintended touch rejection
TWI550489B (zh) * 2014-12-15 2016-09-21 創為精密材料股份有限公司 背景訊號更新方法及其感測裝置
US9804702B2 (en) 2014-12-15 2017-10-31 Salt International Corp. Refreshing method of background signal and device for applying the method
TWI550466B (zh) * 2014-12-15 2016-09-21 創為精密材料股份有限公司 背景訊號更新方法及其感測裝置
US20180275837A1 (en) * 2017-03-23 2018-09-27 RideOn Ltd. Graphical user interface (gui) controls
US20210096738A1 (en) * 2019-10-01 2021-04-01 Microsoft Technology Licensing, Llc Predictive gesture optimizations for moving objects across display boundaries
TWI775524B (zh) * 2021-07-09 2022-08-21 華碩電腦股份有限公司 手勢判斷方法及電子裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
TW200809591A (en) * 2006-05-12 2008-02-16 Microsoft Corp Multi-touch uses, gestures, and implementation
US20090244032A1 (en) * 1998-01-26 2009-10-01 Wayne Westerman Contact Tracking and Identification Module for Touch Sensing
US20100115473A1 (en) * 2008-10-31 2010-05-06 Sprint Communications Company L.P. Associating gestures on a touch screen with characters

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
US6049328A (en) * 1995-10-20 2000-04-11 Wisconsin Alumni Research Foundation Flexible access system for touch screen devices
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
JP4144947B2 (ja) 1998-04-01 2008-09-03 富士通コンポーネント株式会社 マウス
US6459424B1 (en) * 1999-08-10 2002-10-01 Hewlett-Packard Company Touch-sensitive input screen having regional sensitivity and resolution properties
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US7164410B2 (en) 2003-07-28 2007-01-16 Sig G. Kupka Manipulating an on-screen object using zones surrounding the object
US7250938B2 (en) * 2004-01-06 2007-07-31 Lenovo (Singapore) Pte. Ltd. System and method for improved user input on personal computing devices
JP2008506188A (ja) * 2004-07-09 2008-02-28 ジェスチャーラド インコーポレイテッド ジェスチャ・ベース報告方法およびシステム
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
US7710397B2 (en) 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
JP4388004B2 (ja) 2005-10-04 2009-12-24 株式会社スクウェア・エニックス 画像生成装置及び方法、プログラム、並びに記録媒体
CN101379461A (zh) * 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP4489825B2 (ja) * 2006-09-07 2010-06-23 学校法人 大阪電気通信大学 ジェスチャ入力システム、方法及びプログラム
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20080042979A1 (en) * 2007-08-19 2008-02-21 Navid Nikbin Method and apparatus for executing commands or inputting data based on finger's characteristics and Multi-Finger key
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
TW200941297A (en) 2008-03-26 2009-10-01 Kye Systems Corp Computer input device and method for controlling direction of operation target using the same
US8730169B2 (en) 2009-10-29 2014-05-20 Pixart Imaging Inc. Hybrid pointing device
US20090288889A1 (en) 2008-05-23 2009-11-26 Synaptics Incorporated Proximity sensor device and method with swipethrough data entry
US8375336B2 (en) 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
KR20100034811A (ko) 2008-09-25 2010-04-02 이미지랩(주) 다기능 터치마우스
US9250797B2 (en) * 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
US8610673B2 (en) 2008-12-03 2013-12-17 Microsoft Corporation Manipulation of list on a multi-touch display
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
EP2370878B8 (en) * 2008-12-29 2019-06-19 Hewlett-Packard Development Company, L.P. Gesture detection zones
CN101770332A (zh) * 2009-01-05 2010-07-07 联想(北京)有限公司 一种用户界面方法、用户界面装置及终端
US20100207887A1 (en) * 2009-02-17 2010-08-19 Jepsen Philip M One-handed computer interface device
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8341558B2 (en) * 2009-09-16 2012-12-25 Google Inc. Gesture recognition on computing device correlating input to a template
AU2010297695A1 (en) * 2009-09-23 2012-05-03 Dingnan Han Method and interface for man-machine interaction
WO2011045805A1 (en) * 2009-10-16 2011-04-21 Hewlett-Packard Development Company, L.P. Gesture processing
US8347238B2 (en) * 2009-12-16 2013-01-01 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements by dynamic snapping of user interface elements to alignment guides

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US20090244032A1 (en) * 1998-01-26 2009-10-01 Wayne Westerman Contact Tracking and Identification Module for Touch Sensing
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
TW200809591A (en) * 2006-05-12 2008-02-16 Microsoft Corp Multi-touch uses, gestures, and implementation
US20100115473A1 (en) * 2008-10-31 2010-05-06 Sprint Communications Company L.P. Associating gestures on a touch screen with characters

Also Published As

Publication number Publication date
CN102541304B (zh) 2015-09-30
WO2012067881A2 (en) 2012-05-24
EP2641149A4 (en) 2017-05-17
EP2641149B1 (en) 2020-06-10
EP2641149A2 (en) 2013-09-25
WO2012067881A3 (en) 2012-07-26
TW201224850A (en) 2012-06-16
AR083805A1 (es) 2013-03-20
CN102541304A (zh) 2012-07-04
US20120131514A1 (en) 2012-05-24
US9870141B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
TWI569171B (zh) 手勢辨識
US10592050B2 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US9594504B2 (en) User interface indirect interaction
US9886177B2 (en) Method for increasing GUI response speed of user device through data preloading, and said user device
KR101535320B1 (ko) 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법
JP5702296B2 (ja) ソフトウェアキーボード制御方法
US8810509B2 (en) Interfacing with a computing application using a multi-digit sensor
US20120131513A1 (en) Gesture Recognition Training
US20110221666A1 (en) Methods and Apparatus For Gesture Recognition Mode Control
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
EP3100151B1 (en) Virtual mouse for a touch screen device
JP7233109B2 (ja) タッチ感知面-ディスプレイによる入力方法、電子装置、触覚-視覚技術による入力制御方法及びシステム
US20130106707A1 (en) Method and device for gesture determination
US9477398B2 (en) Terminal and method for processing multi-point input
US9778780B2 (en) Method for providing user interface using multi-point touch and apparatus for same
US9256360B2 (en) Single touch process to achieve dual touch user interface
KR20160019449A (ko) 간접 입력의 명확화 기법
CN109582171A (zh) 使用电容悬停模式的对新触摸姿势的手指标识
US8786569B1 (en) Intermediate cursor touchscreen protocols
KR101294201B1 (ko) 휴대형 장치 및 그 조작 방법
CN104951211A (zh) 一种信息处理方法和电子设备
US20100245266A1 (en) Handwriting processing apparatus, computer program product, and method
US20140035876A1 (en) Command of a Computing Device
TWI522895B (zh) 介面操作方法與應用該方法之可攜式電子裝置
KR101436586B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees