TWI489398B - 基於預測之碰觸追跡 - Google Patents

基於預測之碰觸追跡 Download PDF

Info

Publication number
TWI489398B
TWI489398B TW101100609A TW101100609A TWI489398B TW I489398 B TWI489398 B TW I489398B TW 101100609 A TW101100609 A TW 101100609A TW 101100609 A TW101100609 A TW 101100609A TW I489398 B TWI489398 B TW I489398B
Authority
TW
Taiwan
Prior art keywords
contact
component
tracking
touch
gesture
Prior art date
Application number
TW101100609A
Other languages
English (en)
Other versions
TW201241759A (en
Inventor
趙偉東
史帝芬斯大衛Ａ
尤札萊克艾勒森達
班可赫爾沃耶
米勒約翰Ｌ
Original Assignee
微軟公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟公司 filed Critical 微軟公司
Publication of TW201241759A publication Critical patent/TW201241759A/zh
Application granted granted Critical
Publication of TWI489398B publication Critical patent/TWI489398B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

基於預測之碰觸追跡 【相關申請案之交叉引用】
本申請案主張於2011年2月12日提出申請之Zhao等人的標題為「Prediction-Based Touch Contact Tracking」的美國臨時專利申請案第61/442,222號之優先權權益，該申請案之揭示內容以引用方式整體併入本文。
本發明是關於基於預測之碰觸追跡。
諸如行動電話、可攜式和平板電腦、娛樂裝置、手持導航裝置等之可攜式計算裝置提供更多的功能和特點，此可使得使用者難以瀏覽和選擇與使用者想要在裝置上啟動的功能相關的指令。除了用來與計算裝置互動的諸如滑鼠、鍵盤和其他輸入裝置之傳統技術外，觸控感測器和觸控螢幕通常整合於行動電話和平板電腦中，且兩者皆用於顯示及使用者可選擇的觸控和手勢輸入。該等具有觸控感測器及/或觸控螢幕顯示器之可攜式裝置的持續設計挑戰是觸控訊號處理，以追蹤自感應器圖像資料的連續框架所識別的觸控和手勢輸入。觸控螢幕顯示器上的碰觸表示手勢的移動軌跡，例如當使用者使用他或她的手指接觸觸控螢幕顯示器並作出手勢，同時保持與顯示器的接觸。未能正確 地追蹤和解釋手勢輸入的碰觸移動軌跡可能導致手勢識別操作和手勢追蹤處理的失敗。
對於相對較小或短之手勢的手勢移動，傳統的追蹤處理可靜態匹配自連續框架的空間上共同定位的觸控接觸。然而，此種做法對於相對較大的或較長之手勢的手勢移動不是有效的，例如通常可用於平板電腦或其他類型的平板形式因素，其中涉及諸如閃爍或平移之快速手勢。追蹤處理可能對手勢的完整移動不敏感，此可能會導致一種手勢「休息」，然後可能會被辨識和處理為比實際的手勢動作要短得多的動作範圍。另外，如果追蹤處理對於手勢移動過於敏感，此可能會導致錯誤追蹤碰觸，如當使用者用顯示於觸控螢幕顯示器上的軟體鍵盤或虛擬鍵盤輸入文字時。
本「發明內容」介紹基於預測之碰觸追跡的簡化概念，在下文之「實施方式」及/或圖式中將進一步對該等概念進行描述。本「發明內容」無意於描述所主張標的之關鍵特徵，亦非意欲用作判定或限制所主張標的範圍。
描述基於預測之碰觸追跡。在實施例中，辨識觸控輸入感測器資料為在觸控螢幕顯示器上之觸點之元件序列。識別該觸點之第一元件，並可決定第二元件以相關聯於該觸點。然後可將第一元件與第二元件相關聯以代表該觸點之追蹤。可決定該觸點之後續元件並可與該觸點之先前元 件相關聯，以進一步代表觸點之追蹤。
在其他實施例中，指派相同識別符給該觸點的第一元件和第二元件，以及代表該觸點之追蹤的後續元件，以將所有元件相關聯於該觸點。基於最近鄰居規則，驗證相關聯於該觸點之後續元件的預測元件位置，該最近鄰居規則計算自該所預測元件位置至該觸點之一或更多額外元件之距離。此外，可基於觸點之元件之間的最小最大距離決定，將元件決定為觸點之元件。
描述基於預測之碰觸追跡的實施例。如上所述，在諸如行動電話或可攜式電腦之計算裝置的觸控螢幕顯示器上的觸控和手勢輸入可能無法準確地追蹤及/或處理。基於預測之碰觸追蹤使用自先前框架的觸控位置的元件預測，在高速移動的情況下，可以可靠地實現追蹤，而在同一時間可避免軟體鍵盤的錯誤追蹤。碰觸追蹤可以根據觸點之先前識別元件的預測位置，使用預測所取得之定義追蹤有效性範圍的一組規則。如果不存在預測，則解決方案是透過最小最大距離決定(例如演算法或程序)來啟動預測，並選擇性地使用追蹤跨越的罰條。
基於預測之碰觸追跡的實施例可包括基於預測的兩級別的程序用於元件識別和觸點追蹤。第一級別的程序是用來建立觸點元件的初始關聯用於基於預測的手勢輸入追 蹤，第二級別是用來基於最近鄰居觸點映射規則驗證，以產生觸點元件的最終關聯。定義用於多手指觸控和手勢辨識之操作的一組規則也有關係。此可以實現於任何基於平板的裝置、平板裝置、行動電話或具有觸控螢幕顯示器的電腦，以及諸如表面、間接接觸等的其他類似技術。
實施例還包括觸點映射的最小最大距離決定，以產生碰觸元件的關聯性用於預測殘差，以及當不可預測時產生元件位置的初始預測。此程序也說明跨過或透過選擇初始手勢輸入追蹤的懲罰手勢移動軌跡。實施例還包括處理和分解為單一元件之別名的多個觸控位置的方法，以及當為單一、較大元件之別名的兩或更多個觸控位置處理和分解著陸時合併(land-on-contact)的方法。也可以實施本文所述的技術應用以透過執行超前預測減少接觸延遲。
雖然基於預測之碰觸追跡的功能和概念可以任何數量的不同裝置、系統、環境、網路及/或配置實施，基於預測之碰觸追跡的實施例是以下述範例性裝置、系統和方法的情境描述。
圖1繪示範例性系統100，可於其中實施基於預測之碰觸追跡的各種實施例。範例性系統包括計算裝置102，計算裝置102可為行動電話104、娛樂裝置、導航裝置、使用者裝置、無線裝置、可攜式裝置、平板電腦106、雙螢幕折疊裝置108等的任一者及或組合。計算裝置包括整合觸控螢幕顯示器110，實施整合觸控螢幕顯示器110以感測手勢輸入112，如在觸控螢幕顯示器上顯示的使用者介 面上的使用者發起的手勢。在此例子中，手勢輸入是按箭頭指示的近似方向跨越觸控螢幕顯示器兩個指手勢，但可為單一手指手勢輸入或多手指手勢輸入(例如三或更多的手指手勢輸入)。任何計算裝置可以各種元件實施，如一或更多處理器和記憶體裝置，以及如參考圖14所示之範例性裝置進一步描述之不同元件的任何數量和組合，以實施基於預測之碰觸追跡的實施例。
在範例性系統100中，計算裝置102包括觸控輸入模組114(例如較低層元件)，觸控輸入模組114係實施以辨識觸控輸入感測器資料116為觸控螢幕顯示器110上的手勢輸入112。計算裝置還包括手勢辨識應用程式118(例如更高層元件)，手勢辨識應用程式118自觸控輸入模組接收觸控輸入感測器資料作為HID報告120(即人機介面裝置報告)。HID報告包括與計算裝置的觸控螢幕顯示器上之手勢輸入相關的時間和位置資料及決定的碰觸追蹤。手勢辨識應用程式118係實施以辨識及產生各種手勢，如同決定自與輸入或輸入組合相關之觸控輸入資料(即HID報告120)，如手勢輸入112。手勢辨識應用程式可產生各種手勢，如選擇手勢、拿取手勢、動作手勢、輕拍手勢以及從各種使用者可選擇輸入的其他手勢類型。
計算裝置102的輸入識別系統可能包括任何類型的輸入偵測功能及/或裝置，以區分各種類型的輸入，如感測器(電容或電阻)、光感應像素、觸控感測器、相機及/或解釋使用者互動、手勢、輸入和動作的自然使用者介面。在 實施上，輸入辨識系統可以偵測來自可辨別變量的移動輸入，如來自方向變量、來自開始區域位置變量和結束區域位置變量及/或來自移動速度變量(例如特定的每秒像素數)。
正如本文所述，手勢輸入可辨識為具有一或更多手指在裝置的觸控螢幕顯示器上的使用者輸入，手勢輸入包括一或更多觸點，每者與觸控螢幕顯示器上的手指輸入相關。在圖1的範例中，兩個手指的手勢輸入112包括兩個觸點，該等兩個觸點係識別為與手勢輸入的第一手指相關的第一觸點122，及與手勢輸入的第二手指相關的第二觸點124。
手勢輸入資料是接收為一系列的框架，框架包括代表觸點之一個接觸位置的元件(例如沿一個手指的手勢輸入)。對於兩個手指的手勢輸入，框架可以包括與第一手指的輸入相關的第一觸點的元件，並包括與第二手指的輸入相關的第二觸點的元件(及其他用於多於兩個手指的手勢輸入)。
在圖1的範例中，手勢輸入112的第一觸點122包括連續的元件，如在沿第一觸點的不同觸控位置的元件126、元件128和元件130。類似地，手勢輸入112的第二觸點124包括連續的元件，如在沿第二觸點的不同觸控位置的元件132、元件134和元件136。因此，兩個手指手勢輸入的第一框架包括在一系列元件中N-2處的各別第一和第二觸點的元件126和元件132。類似地，在N-1處的手勢輸入的下一框架包括各別第一和第二觸點的元件128和元件 134，在N處的手勢輸入的當前框架包括各別第一和第二觸點的元件130和元件136。
因此，手勢輸入的觸點跨越多個框架並包括來自每個連續框架的已識別為與該觸點或該觸點之一部分相關的元件。元件代表框架中觸點的接觸位置(例如在元件已識別為與觸點相關之後)。如實施例所述，根據評估元件位置之間距離的最近鄰居觸點映射規則，元件可被識別為與特定觸點相關聯。但是，如果最近鄰居觸點映射未識別元件與現有觸點之一者，則可以產生手勢輸入的新觸點，以代表追蹤用來在觸控螢幕顯示器上作手勢的額外手指。
觸控輸入模組114識別觸控輸入感測器資料116為在計算裝置102的觸控螢幕顯示器110上之手勢輸入112的兩個觸點122、124的元件序列。在實施例中，觸控輸入模組114係實施以自觸控輸入感測器資料116產生感測器地圖138用於每一觸點的每一元件。感測器地圖代表觸點的各個元件，例如當使用者啟動在觸控螢幕顯示器110上的手勢輸入112。在此例子中，感測器地圖包括顯示為8位元十六進制值的元件140，元件140表示在感測器地圖中的元件位置處的訊號強度。觸控輸入感測器資料的更強感測訊號表示與感測器地圖中的元件有更多的碰觸。感測器地圖可以產生為二維陣列，二維網格中元件的陣列索引與自觸控螢幕顯示器上之手勢輸入的感測碰觸相關。可以減去固定的基準位準，使得在感測器地圖周圍區域中未偵測為碰觸之一部分的元件正規化至零位準。
計算裝置102還包括接觸追蹤服務142，接觸追蹤服務142係實施以決定對應觸控螢幕顯示器110上手勢輸入之一或更多觸點的預測碰觸追蹤144，如手勢輸入112。接觸追蹤服務可以實施為電腦可執行指令，如軟體應用程式，並由一或更多處理器執行以實施本文所述的各種實施例。接觸追蹤服務也可以計算裝置中專屬感測裝置硬體上的韌體實施。在此例子中，接觸追蹤服務係實施為觸控輸入模組114的元件。另外，接觸追蹤服務可實施為獨立的軟體應用程式或服務，以預測碰觸追跡。
在實施例中，接觸追蹤服務142係實施以執行基於預測之碰觸追跡的各種程序及/或演算法。接觸追蹤服務可以識別和預測映射(例如關聯、相關)為兩個觸點的手勢輸入的元件。元件126-130代表第一觸點122的追跡，元件132-136代表第二觸點124的追跡。識別為與特定接觸相關聯的元件全部指派相同的識別符。例如，第一觸點122的元件126-130全部指派相同的第一識別符，第二觸點124的元件132-136全部指派相同的第二識別符，其中第一和第二識別符為相異以區分不同的接觸。如下之進一步描述，接觸追蹤服務可以驗證基於最近鄰居規則，預測的元件位置與接觸的後續元件相關聯，該最近鄰居規則評估自預測元件位置至觸點的額外元件的距離。此外，接觸追蹤服務可以決定元件是基於觸點的元件之間的最小最大距離決定而與特定觸點相關聯。
根據基於預測之碰觸追跡的一或更多實施例，參照圖 2、11、12和13描述範例性方法200、1100、1200和1300。一般來說，本文所述之任何服務、功能、方法、程序、元件和模組可使用軟體、韌體、硬體(例如固定邏輯電路)、手動處理或任何組合來實施。軟體實施代表程式代碼，當由電腦處理器執行程式代碼時，程式代碼執行指定的任務。可在電腦可執行指令的一般情境下描述範例性方法，可以包括軟體、應用程式、程序、程式、元件、資料結構、程序、模組、功能等。程式碼可以儲存在一或更多電腦可讀取儲存媒體裝置，電腦處理器的本端及/或遠端皆可。方法也可以由多個電腦裝置在分散式計算環境中實施。此外，本文所述的功能獨立於平台，並可以實施於具有不同處理器的各種計算平台上。
圖2繪示基於預測之碰觸追跡的範例性方法200。描述方法方塊的順序並非旨在作為限制，且所描述方法方塊的任何數量可以任何方式組合以實施方法或替代方法。
在方塊202，在觸控螢幕顯示器上辨識手勢輸入。例如，在計算裝置102的觸控輸入模組114(圖1)辨識各種輸入或輸入組合，例如在範例性裝置104的觸控螢幕顯示器110上的手勢輸入112。在此例子中，手勢輸入112是兩個手指的手勢輸入，兩個手指的手勢輸入包括識別為與手勢輸入的第一手指相關聯的第一觸點122，以及識別為與手勢輸入的第二手指相關聯的第二觸點124。
在方塊204，決定對應於手勢輸入之基於預測之碰觸追跡。在方塊206，基於觸點的一或更多先前元件，預測 觸點的下一元件位置。在方塊208，基於觸點的元件之間的最小最大距離決定，預測觸點的下一元件。在方塊210，映射手勢輸入的觸點元件以代表觸點的追跡。在方塊212，預測元件的初始關聯以建立觸點追跡。在方塊214，基於最近鄰居規則，驗證觸點元件的最後關聯。在方塊216，分解為觸點之單一元件之別名的多觸點位置。在方塊218，分解接觸時合併(merge-on-contact)用於與觸點的元件合併之額外接觸位置。
例如，在計算裝置102的接觸追跡服務142(圖1)決定基於預測之碰觸追跡，該碰觸追跡對應範例性裝置104的觸控螢幕顯示器110上的手勢輸入112。接觸追跡服務亦基於一或更多先前手勢輸入的接觸元件，預測手勢輸入的觸點的下一元件位置；基於觸點的元件之間的最小最大距離決定，預測手勢輸入的觸點的下一元件位置；映射(例如關聯、相關聯)手勢輸入的觸點的元件以代表觸點之追跡；預測元件的初始關聯以建立觸點追跡；基於最近鄰居規則，驗證觸點元件的最終關聯；分解為觸點之單一元件之別名的多個觸點位置；及/或分解接觸時合併(merge-on-contact)用於與觸點的元件合併之額外接觸位置。
圖3繪示參照圖1描述之接觸追跡服務142的範例性實施和各個元件，該範例性實施係實施於觸控訊號處理。圖4繪示範例性架構400用於處理基於預測之碰觸追跡，且參照圖1所示接觸輸入模組114及圖1和圖3所示之接 觸追跡服務142描述。圖5繪示由碰觸追蹤模組300(也稱為「接觸追蹤」)實施之基於預測之碰觸追跡的高級別流程圖500，碰觸追蹤模組300係圖示為圖3的接觸追跡服務142的元件。
在402輸入觸控輸入感測器資料116(圖4)(例如在接觸輸入模組114收到)，接觸輸入模組的感測器單元自觸控輸入感測器資料產生感測器映射302(圖3)用於手勢輸入的觸點的每一元件。可減去或移除基線位準用於在404正規化為零級別的感測器地圖周圍的元件。例如，感測器映射138可產生為間距為5 mm和元件深度為8至16位元的二維網格。經連接元件分析器304係實施用於在406進行經連接元件分析。經連接元件分析器接收正規化感測器映射420為輸入並產生代表由手勢輸入的元件所取代之碰觸的經連接接觸元件的陣列306。碰觸追蹤模組300係實施用於在408進行元件識別和接觸追蹤以使來自先前框架的元件與代表連續手勢動作之追跡(例如追蹤)的在現有框架中之接觸位置的元件相關聯(例如關聯或映射)，如第一觸點122的追跡和第二觸點124的追跡。
在圖5中，在方塊502收到每個新框架時，檢查來自先前框架的碰觸集合用於可預測性。在足夠的碰觸關聯性歷史已經建立時，仍然在初始追蹤階段的碰觸(即方塊502的「是」)被輸入至碰觸映射模組308(也稱為「接觸映射」)用於在方塊504進行最小最大接觸映射。最小最大接觸映射產生經映射接觸元件310的初始關聯，然後經映射接觸 元件310被輸出和緩衝為具有未來框架之關聯歷史的經決定元件312。
例如當已收到至少兩個先前框架時，非初始碰觸的碰觸(即方塊502的「否」)被輸入至動作預測模組314用於在方塊506進行動作預測，以產生碰觸預測位置316。該等碰觸預測位置及當前框架的經連接元件508被輸入至碰觸映射模組308用於在方塊510基於最近鄰居距離匹配演算法而進行最近鄰居接觸映射。最近鄰居距離匹配的結果會以在512的規則來進行檢查，以決定當前框架的元件是否已成功映射到觸點的先前元件。
若元件的映射是成功的(即方塊512為「是」)，則經映射之關聯會在方塊514輸入至碰觸合併模組318。如果元件的映射是不成功的(即方塊512為「否」)，則元件會在方塊516輸入到碰觸映射模組308用於最小最大接觸映射並引發二級別的組合映射。使用來自行動預測模組314的輸入(即方塊506的輸出)和經連接元件508，基於最小最大距離決定，連同涉及手及/或手指移動動力的規則集合，最小最大接觸映射試圖建立此兩個元件位置集合之間的第一級別關聯性。然後在方塊518處理第一級別映射關聯性用於最終決定接觸關聯的最近鄰居距離驗證。
對於彼等沒有在第一級別(例如在方塊518)建立映射的觸點，路由所有的元件用於在方塊520進行觸點別名檢查，以決定可能的別名混淆，別名混淆之觸點可能是合併的觸點，如同由碰觸合併模組318在方塊514所決定之。 單一元件可關聯多個碰觸位置，此可基於觸控輸入感測器資料，當手勢輸入動作的多個手指移近而看來像是單一元件時發生。為了偵測碰觸合併器，對於在第一級別接觸關聯之後的任何未映射元件，對於所有的元件，可起始最近鄰居驗證用於接觸關聯，且任何匹配表示單一元件與多個接觸位置之間的別名關聯性。
碰觸合併模組318處理和分解合併後的元件，如獨立檢查兩個接觸位置是否有相同的[x,y]格點坐標。接觸合併器可能包括為元件之別名的多個觸控位置，以及當第一接觸位置已感測或偵測為在觸控螢幕顯示器上的第一手指接觸及使用者將第二手指置於緊鄰第一手指處時的著陸時合併情境。然後此兩個接觸位置可偵測為一起合併於較大的元件中。
圖6繪示著陸時合併的範例600，使用與先前框架的元件606相關聯的第一接觸追跡604中之當前框架的元件602。此例子也說明別名接觸位置608，別名接觸位置608偵測為與另一元件602合併在一起，以形成一個較大的元件610。著陸時合併可透過評估著陸時合併的條件和特點來偵測。例如，接觸到元件的映射是1到1(即不存在接觸別名)；投射的接觸位置是在元件的領域內；元件的大小是相當較大於接觸的大小；及預測的位置不在元件的質量中心，但仍然是在元件領域內。
另外，當接觸具有較高的速度時，在元件的跨度和接觸的跨度皆投射至與速度正交的方向時，元件的跨度相當 大於接觸的跨度；當接觸具有高速時，預測位置不在元件的質量中心(在投射至與速度正交的方向後所有皆是)。當該等條件都滿足時，可產生另一觸點，該觸點的中心是跨元件的質量中心而置於原觸點的對角位置，此新的觸點是元件的別名。
為了分解著陸時合併，接觸追蹤服務142可試圖分解元件610中的兩個接觸位置並在合併後的狀態追蹤該兩個接觸位置，如下之概率方法所述。另外，接觸追蹤服務可以基於合併後元件的初始觸控輸入感測器資料來決定元件602的第一接觸位置，並分解第二接觸位置608作為合併後元件的任何新觸控輸入感測器資料。
圖7繪示決定區域702的行動預測的範例700，該行動預測代表給定接觸之追跡時，接觸的預測元件位置704，如在範例性裝置104之觸控螢幕顯示器110上的手勢輸入112之接觸(圖1)。在實施例中，當手勢輸入始於位置N-2 的觸控螢幕顯示器上並繼續追蹤接觸至位置N-1 然後至位置N 時，接觸追蹤服務142的行動預測模組314(圖3)係實施用於行動預測。根據與預測元件位置704的接近度，在位置N的元件是決定為與在N-2 和N-1 的元件相關聯的元件。當有識別為先前N -框架中的i 之元件的關聯性時，則在當前框架Xi 中的元件位置可透過接觸之先前元件位置的線性組合來預測，如下所列之方程式：
例如當N =3時，一種解法是透過簡單恆定加速度條件決定的常數a1 =2.5，a2 =-2，a3 =0.5。例如當N =2時，則一種解法是a1 =2，a2 =-1。在一般情況下，該等係數可能是隨時間變化的變量和諸如卡爾曼濾波器之更先進的技術可以用來透過迭代程序決定參數。
對於在上述預測階段產生之第i 接觸位置的每個元件(t)，最近鄰居接觸映射試圖相關聯當前框架的元件X(t) 。可以此處描述及/或其他技術和演算法來解決最近鄰居接觸映射。當當前框架的所有元件被視為利用以預測位置(t)為中心之兩維決定區域702內的X(t) 決定元件時，可以建立映射關聯。首先可使用半徑為r 的圓形來構建決定區域，該區域對應與框架t -1的第i 接觸點的實際接觸形狀匹配的區域。然後使用沿著速度方向與擴展相關的速度及與速度之範數成比例的擴展係數λ來修改圓形區域。此種擴展解釋由速度預測的誤差所引入的錯誤。在一般情況下，λ可以有上限λ max，以避免沿速度方向一起靠近的手勢輸入動作的手指之間的錯誤關聯性。在一個實施例中，λ=(1+λ max|v|)/(1+|v|)，但其他選擇的λ也有可能。
在實施中，確認最近鄰居接觸映射規則的程序可以反向執行。首先計算差向量：d=X(t)-(t)，然後使用因素1/λ 沿速度向量v =X(t-1)-X(t-2)的方向執行d的反向縮放。結果向量d 的範數與決定區域的半徑r 比對，比r 小的值表示已決定關聯性。最近鄰居接觸映射的另一擴展是實施概率方法，其中定義向量d 的概率分佈函數，且取代傳遞X(t) 所屬於之觸點的艱難決定，在所有元件之間傳遞概率分佈。此資訊可以透過HID報告傳遞，因此手勢辨識應用程式118(圖1)(例如更高的級別)可利用該資訊。
在實施例中，可成立最近鄰居接觸映射是成功的規則，例如在方塊512決定成功的映射(圖5)。一般來說，最近鄰居接觸映射產生可靠的觸控元件關聯性。然而，在碰觸速度的一些分佈中，可決定不可靠的關聯性，例如當涉及之接觸位置的速度快且在某些方向有大幅加速時。所產生的預測元件位置與鄰近元件越來越近，而非與應與預測元件相關之追蹤接觸元件。
一種偵測此種不可靠關聯實例的簡單條件是決定在最近鄰居映射後的未關聯元件的總數是大於元件數量與觸點數量之間的差異。請注意此是充分條件，因為從理論上說，好映射有可能歸類為壞映射。由於大多數框架具有可靠的關聯預測，不可靠關聯的實例(例如失敗的情況)可能會是有可忽略不計之計算成本的非常小比例(例如低於5%)。如果偵測到失敗，可引發組合接觸映射的演算法或程序，以決定正確的關聯，例如由接觸追蹤服務的碰觸映射模組308所實施。
組合接觸映射可在先前框架中所建立之給定接觸集合與當前框架中之給定元件集合間建立可靠的映射。當預測 決定且最近鄰居接觸映射失敗時，透過匹配預測位置與元件之間的預測殘差，組合接觸映射可用以建立兩個集合(如觸控位置和元件)之間的第一級別關聯性。在接觸壽命預測的初始階段沒有決定預測時，組合接觸映射也可用來建立初始關聯。如果接觸的初始關聯不存在，則如同可能會發生於新接觸的前兩個框架中，碰觸映射模組308可以設定原位置為預測位置，且不存在預測殘差。碰觸映射模組可包括組合接觸映射演算法、用於距離映射的最小最大距離決定演算法及用於懲罰跨越彼此之手勢輸入動作之軌跡的跨軌跡抑制器。可透過最大最小演算法及/或使用諸如匈牙利演算法之其他技術和演算法，以本文所述方法來實施組合接觸映射演算法。
在實施例中，可實施觸點及元件關聯的最近鄰居驗證。以最小最大距離決定建立之第一級別關聯(進一步說明如下)可以第二級別驗證程序評估，此類似於最近鄰居接觸映射。特別是當前框架的元件X(t) 在最小最大映射階段建立與(t)的初始關聯之後，如果X(t) 落入以第i 觸點之預測位置(t)為中心之兩維預測區域，元件X(t) 是確定屬於第i 觸點。一般而言，最近鄰居接觸映射的差異是選定具有第一級別關聯的元件用於驗證程序，而非評估給定(t)的所有可能元件。
圖8繪示最小最大距離決定的範例800用於多級別最大距離決定。在實施例中，接觸追蹤服務142的碰觸映射模組308(圖3)係實施以決定最佳映射，以將前框架的元 件與當前框架的元件相關聯(例如決定、相關)，使得映射內所有映射對之間的最大距離被最小化。取決於如何應用最小最大距離決定，被映射之前框架的元件位置可能是後續框架中元件的預測位置。
最小最大距離決定旨在決定前框架的元件與當前框架的元件之間具有最小之最大距離的映射。在此例子中，已經識別後續元件從元件804至接觸位置806的最大距離802。然後決定自當前框架中的元件808至前框架中的元件810之映射。例如，第一觸點的決定在於在812選擇由虛線或實線代表的元件關聯，第二觸點的決定在於在814選擇由虛線或實線代表的元件關聯。
在式子中，P(i) 定義從N 到M 的映射，其中N 代表來自前一框架的觸點上的數值標籤集合，M 代表當前框架中元件的標籤。更具體地說，P(i) 是i N (範圍0...N-1)，具有M (範圍0...M-1)中的值，使得i ≠j 時P(i) ≠P(j) 。此外，P 表示所有可能P(i) 的整個集合，P 中最好的P(i) 會被決定，以使映射定義當前元件與先前接觸位置之最有意義的關聯性。
對於P 中的任何P(i) ，陣列D(i,P)：i N 表示映射中的每對i 的距離。更具體地說，對於映射中的每對i ，距離D(i,P)是定義為當前框架的元件的位置與前框架的元件的預測位置之間的L2距離(若預測元件存在時)，或當前框架的元件的位置與前一框架的元件的位置之間的L2距離。然後開始降序陣列D(i,P)，結果表示為SortedD(k,P)，其中 0≦k<N，且：
在解以下最小化問題時可得到最佳的P ：BestP =arg(ED (P )+λ 0 ＊ EC (P ))；其中：
數值ED 是貢獻自最大距離匹配，數值MAXD 是在顯示螢幕上的最大距離(通常是對角線的距離)。一旦具有較大距離的元件已被匹配，在此例子中的分級最大距離匹配解釋配置的退化。
圖9繪示跨越軌跡的範例900，該範例可表示當前框架中的元件902與並前框架的元件904之間的非所欲關聯。最小最大距離決定可能會錯誤地將當前元件與先前元件相關聯。對於映射P 中的所有標籤對，數值EC(P) 是定義為與軌跡中的所有跨越數成比例，在約100 Hz的採樣率，跨越可視為假映射。在此例子中，元件A至元件C及元件B至元件D之映射優於元件A至D和B至C之跨越軌跡。然而，沒有EC(P) ，純ED(P) 可能不正確地關聯元件A至D和B至C的跨越軌跡，此顯然不是想要的情況。
圖10繪示如何計算和解釋跨越軌跡的範例1000，如圖9所示。EC 的計算認為對於軌跡對及，軌跡跨越彼此的條件是下面的不等式同時成立時：0<(b1 ＊ c0 -b0 ＊ c1 )/det<1 0<(a0 ＊ c1 -a1 ＊ c0 )/det<1 (det=b1 ＊ a0 -b0 ＊ a1 )；其中a =(a0 ,a1 )=x 1 -x 0 b =(b0 ,b1 )=x 2 -x 3 c =(c0 ,c1 )=x 2 -x 0
圖11繪示基於預測之碰觸追跡的範例性方法1100。描述方法方塊的順序並非旨在作為限制，且所描述方法方塊的任何數量可以任何方式組合以實施方法或替代方法。
繪示於接觸合併器之範例600(圖6)中之兩個觸點的別名化觸點位置可利用概率分佈以分區一個較大的元件610而解決，使得每個觸點(例如觸點602和觸點608)可以關聯到元件的不同部分。在實施例中，接觸追蹤服務142可以分解第一元件至框架(N)的第一觸點(即重心)，及分解第二元件(不同於第一元件)至框架(N)的第二觸點(即重心)。當第一和第二觸點在後續框架(N+1)中合併到較大的元件中時，較大的合併後元件分解成第一觸點和第二觸點。可分解任何數量的合併觸點。
在方塊1102，利用追蹤方法來分解第一觸點位置為框架(N)的第一重心(N)。在方塊1104，不同於第一觸點位置的第二觸點位置分解為框架(N)的第二重心(N)。如果第一觸點位置和第二觸點位置維持不同，追蹤續行至後續框架(N+1)。然而，如果第一觸點位置和第二觸點位置合併成後續框架(N+1)中的較大元件，如方塊1106所決定，合併後的接觸位置在方塊1108分解為第一重心 (N+1)和第二重心(N+1)。
在方塊1108，可起始方法以識別框架(N+1)中的連續元件，框架(N+1)具有經合併統計，經合併統計約等於框架(N)之第一觸點的個別統計與第二觸點的個別統計的總和。此統計之非限制範例是所有元件的區域。例如，如果框架(N+1)中合併元件的區域約等於框架(N)中個別觸點的組合區域，則可驗證合併後的元件。取代地或此外，如果合併後元件的共變異數是大致等於前框架中個別觸點的組合共變異數，則可驗證連續的接觸。當兩個觸點為單一、較大元件的別名時，也可起始方法1100用於著陸時合併，且當第二觸點不是識別為個別觸點時，跳過方塊1104，被第二次接觸時不作為一個單獨的接觸中發現，而是在較大元件中為第一觸點的別名。
圖12繪示基於預測之碰觸追跡的範例性方法1200，例如用於手勢輸入的單一觸點。描述方法方塊的順序並非旨在作為限制，且所描述方法方塊的任何數量可以任何方式組合以實施方法或替代方法。
在方塊1202，觸控輸入感測器資料是辨識為觸控螢幕顯示器上的觸點的一系列元件。例如，在計算裝置102的觸控輸入模組114(圖1)辨識觸控輸入感測器資料116為觸控螢幕顯示器110上(例如在範例性裝置104上)的手勢輸入112的觸點(例如兩個觸點122、124之任一者)的一系列元件。
在方塊1204，識別觸點的第一元件。在方塊1206，決 定與第一觸點相關聯的第二元件。在方塊1208，相關聯第一元件與至少第二元件以代表接觸的追蹤。例如，在計算裝置102的接觸追蹤服務142(圖1)識別第一框架的觸點的第一元件126，預測位置用於啟動第二框架之觸點的後續元件並決定與第二框架的觸點相關的第二元件128，如果通過了最近鄰居規則，則相關聯第一元件與至少第二元件以代表接觸的追蹤。如果沒通過最近鄰居規則，則起始第二框架的後續元件作為新接觸的接觸位置，並終止先前的接觸。在實施例中，基於接觸的第一和第二元件之間的最小最大距離決定，接觸追蹤服務142決定第二元件與接觸相關聯。
在方塊1210，從接觸的追蹤預測接觸的元件位置。例如，接觸追蹤服務142從接觸的追蹤預測接觸的元件位置(例如根據代表接觸追蹤的先前接觸元件)。在方塊1212，將預測元件位置與接觸的後續元件相關聯。在方塊1214，基於最近鄰居規則，確認預測元件位置為與接觸的後續元件相關聯。例如，基於最近鄰居接觸映射，接觸追蹤服務142確認預測元件位置為與接觸的後續元件相關聯，最近鄰居接觸映射評估自預測元件位置至接觸的一或更多額外元件的距離。在方塊1216，指派相同識別符給與接觸相關的所有元件。例如，接觸追蹤服務142還指派相同識別符給代表接觸追蹤的後續元件。
圖13繪示基於預測之碰觸追跡的範例性方法1300，例如用於手勢輸入的多個觸點。描述方法方塊的順序並非 旨在作為限制，且所描述方法方塊的任何數量可以任何方式組合以實施方法或替代方法。
在方塊1302，辨識觸控輸入感測器資料為包括觸控螢幕顯示器上的至少兩個觸點之手勢輸入的一系列元件。例如，在計算裝置102之觸控輸入模組114(圖1)辨識觸控輸入感測器資料116為手勢輸入112的一系列元件，手勢輸入112包括觸控螢幕顯示器110(例如範例性裝置104)上的兩個觸點122、124。在此例子中，使用者啟動兩個手指的手勢輸入，手勢輸入包括第一觸點122且包括第二觸點124。
在方塊1304，決定第一元件為與手勢輸入的第一觸點的第二元件相關聯。在方塊1306，將第一元件映射到第二元件以代表第一接觸追蹤。在方塊1308，指派第一識別符給第一觸點的第一和第二元件。例如，在計算裝置102的接觸追蹤服務142(圖1)決定第一元件126與手勢輸入112的第一觸點122的第二元件128相關聯，將第一元件映射至第二元件以代表第一觸點的追蹤，並指派識別符給第一觸點的第一和第二元件。
在方塊1310，決定第三元件為與手勢輸入的第二觸點的第四元件相關聯。在方塊1312，將第三元件映射到第四元件以代表第二接觸追蹤。在方塊1314，指派第二識別符給第二觸點的第三和第四元件。例如，在計算裝置102的接觸追蹤服務142(圖1)預測元件132與手勢輸入112的第二觸點124的元件134相關聯，映射元件以代表第二觸 點的追蹤，並指派第二、不同的識別符給第二觸點的元件。
在方塊1316，根據最近鄰居規則，確認接觸的元件為正確地相關聯，最近鄰居規則評估自每個元件至接觸的一或更多額外元件的距離。例如，根據最近鄰居接觸映射，接觸追蹤服務142確認接觸的元件為正確地相關聯，最近鄰居接觸映射評估自每個元件至接觸的一或更多額外元件的距離。
圖14繪示範例性裝置1400的各種元件，參照前圖1-13，範例性裝置1400可以任何裝置或裝置實施之服務來實施。在實施例中，裝置可實施為固定或行動裝置的任何一者或組合，以消費電子產品、電腦、可攜式、使用者、通訊、電話、導航、電視、家電、遊戲、媒體播放及/或電子裝置的任何形式。該裝置也可與操作裝置的使用者(即個人)及/或實體相關聯，使得裝置可描述包括使用者、軟體、韌體、硬體及/或裝置組合的邏輯裝置。
裝置1400包括通訊裝置1402，賦能裝置資料1404的有線及/或無線通訊，裝置資料1404例如為已接收資料、正在接收的資料、排定用於廣播的資料、資料的資料封包等。裝置資料或其他裝置內容可以包括裝置的配置設置、儲存在裝置上的媒體內容及/或與裝置的使用者相關的資訊。儲存在裝置上的媒體內容可以包括任何類型的音頻、視頻及/或圖像資料。該裝置包括一或更多輸入1406，任何類型的資料、媒體內容及/或輸入可透過輸入1406接收，如使用者可選擇輸入和任何其他類型的音頻、視頻及/或接 收自任何內容及/或資料源的圖像資料。
裝置1400亦包括通訊介面1408，如串行、並行、網路或無線介面之任一或更多者。通訊介面提供裝置與通訊網路之間的連接及/或通訊鏈結，其他電子、計算和通訊裝置透過該通訊介面與裝置進行通訊資料。
裝置1400包括一或更多處理器1410(例如任何微處理器、控制器和類似者)，處理器1410處理各種電腦可執行指令以控制裝置的操作。取代地或此外，該裝置可以結合一般在1412識別之處理和控制電路所實施之軟體、硬體、韌體或固定的邏輯電路的任何一者或組合而實施。在實施例中，裝置1400還可以包括觸控輸入模組1414，實施以辨識觸控輸入感測器資料。雖然沒有顯示，該裝置可以包括耦合裝置內各個元件的系統匯流排或資料傳輸系統。系統匯流排可以包括不同匯流排結構的任一者或組合，如記憶體匯流排或者記憶體控制器、周邊匯流排、通用串行匯流排及/或處理器或採用多種匯流排架構之任何一者之本端匯流排。
裝置1400還包括賦能資料儲存之一或更多記憶體裝置1416(例如電腦可讀取儲存媒體)，如隨機存取記憶體(RAM)、非揮發性記憶體(例如唯讀記憶體(ROM)、快閃記憶體等)、磁碟儲存裝置。磁碟儲存裝置可以任何類型的磁性或光學儲存裝置實施，如硬碟機、可錄製及/或可重寫光碟等。該裝置可能還包括大容量儲存媒體裝置。
電腦可讀取媒體可以是由計算裝置存取之任何可用媒 體。舉例而非限制，電腦可讀取媒體可能包括儲存媒體和通訊媒體。儲存媒體包括以任何方法或技術實施用於資訊儲存之揮發性和非揮發性、可移除和非可移除媒體，如電腦可讀取指令、資料結構、程式模組或其他資料。儲存媒體包括但不僅限於RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位光碟(DVD)或其他光學儲存、磁卡帶、磁帶、磁碟儲存或其他磁性儲存裝置，或可用來儲存資訊並可由電腦存取之任何其他媒體。
通訊媒體通常實施電腦可讀取指令、資料結構、程式模組或經調制資料訊號中的其他資料，如載波或其他傳輸機制。通訊媒體還包括任何資訊傳遞媒體。經調制資料訊號具有一或更多特徵經設定或更改，該設定或更改係以編碼資訊於訊號中之方式。舉例而非限制，通訊媒體包括諸如有線網路或直接有線連接之有線媒體，及諸如聲學、射頻、紅外線和其他無線媒體之無線媒體。
記憶體裝置1416提供資料儲存機構以儲存裝置資料1404、其他類型的資訊及/或資料和各種裝置應用程式1418。例如，作業系統1420可維持為軟體應用程式，具有記憶體裝置和程式在處理器上執行。裝置應用程式可能還包括裝置管理器，如任何形式的控制應用程式、軟體應用程式、訊號處理和控制模組、對特定裝置而言為本地之編碼、用於特定裝置之硬體抽象層等。在此例子中，裝置應用程式1418包括手勢辨識應用程式1422和實施本文所述角接觸幾何實施例的接觸追蹤服務1424。
裝置1400也包括音頻及/或視頻處理系統1426，產生音頻資料用於音頻系統1428及/或產生顯示資料用於顯示系統1430。音頻系統及/或顯示系統可包括處理、顯示及/或另外呈現音頻、視頻、顯示及/或圖像資料之任何裝置。顯示資料和音頻訊號可透過RF(射頻)鏈結、S-視頻鏈結、複合視頻鏈結、元件視頻鏈結、DVI(數位視頻介面)、類比音頻連接或其他類似的通訊鏈結而通訊至音頻裝置及/或顯示裝置。在實施中，音頻系統及/或顯示系統是裝置的外部元件。另外，音頻系統及/或顯示系統是範例性裝置的整合元件，如經整合觸控螢幕顯示器。
雖然基於預測之碰觸追跡的實施例已以特定特徵及/或方法的語言描述，後附請求項之標的不一定僅限於所描述之特定特徵或方法。確切而言，所揭示之特定特徵和方法是基於預測之碰觸追跡的範例。
100‧‧‧範例性系統
102‧‧‧計算裝置
104‧‧‧行動電話
106‧‧‧平板電腦
108‧‧‧雙螢幕折疊裝置
110‧‧‧整合觸控螢幕顯 示器
112‧‧‧手勢輸入
114‧‧‧觸控輸入模組
116‧‧‧觸控輸入感測器 資料
118‧‧‧手勢辨識應用程 式
120‧‧‧HID報告
122‧‧‧第一觸點
124‧‧‧第二觸點
126、128、 130‧‧‧元件
132、 134、136‧‧‧元件
138‧‧‧感測器地圖
140‧‧‧8位元十六進制值 的元件
142‧‧‧接觸追蹤服務
144‧‧‧預測碰觸追蹤
200-218‧‧‧步驟方法
300‧‧‧碰觸追蹤模組
302‧‧‧映射
304‧‧‧元件分析器
306‧‧‧陣列
308‧‧‧模組
310‧‧‧元件
312‧‧‧元件
314‧‧‧模組
316‧‧‧位置
318‧‧‧模組
400‧‧‧架構
402‧‧‧步驟
404‧‧‧步驟
406‧‧‧步驟
408‧‧‧步驟
500-522‧‧‧步驟方法
600‧‧‧範例
602‧‧‧觸點/元件
604‧‧‧追跡
606‧‧‧元件
608‧‧‧觸點
610‧‧‧元件
700‧‧‧範例
702‧‧‧決定區域
704‧‧‧預測元件位置
800‧‧‧範例
802‧‧‧最大距離
804‧‧‧元件
806‧‧‧接觸位置
808、810‧‧‧元件
900‧‧‧範例
902、904‧‧‧元件
1000‧‧‧範例
1102-1108‧‧‧方塊
1200‧‧‧方法
1202-1216‧‧‧方塊
1300‧‧‧方法
1302-1316‧‧‧方塊
1400‧‧‧裝置
1402‧‧‧通訊裝置
1404‧‧‧裝置資料
1406‧‧‧輸入
1408‧‧‧通訊介面
1410‧‧‧處理器
1412‧‧‧處理和控制電路
1414‧‧‧觸控輸入模組
1416‧‧‧記憶體裝置
1418‧‧‧裝置應用程式
1420‧‧‧作業系統
1422‧‧‧手勢辨識應用程式
1424‧‧‧接觸追蹤服務
1426‧‧‧音頻及/或視頻處理系統
1428‧‧‧音頻系統
1430‧‧‧顯示系統
參考下面圖式描述基於預測之碰觸追跡的實施例。相同的數標可用於指示圖式中相似的功能和元件：
圖1繪示範例性系統，可於其中實施基於預測之碰觸追跡的實施例。
圖2繪示根據一或更多實施例之基於預測之碰觸追跡的範例性方法。
圖3繪示根據一或更多實施例之觸點追蹤服務的範例 性架構。
圖4繪示根據一或更多實施例之處理基於預測之碰觸追跡的範例性架構。
圖5繪示根據一或更多實施例之基於預測之碰觸追跡的高級別流程圖。
圖6繪示根據一或更多實施例之於著陸時合併(merge-on-landing)的範例。
圖7繪示根據一或更多實施例之決定區域的移動預測的範例。
圖8繪示根據一或更多實施例之多層最大距離決定的最小最大距離決定的範例。
圖9繪示根據一或更多實施例之可指示非所欲元件關聯性的跨越軌跡範例。
圖10繪示根據一或更多實施例之如何計算和解釋如圖9所示之跨越軌跡的範例。
圖11繪示根據一或更多實施例之基於預測之碰觸追跡的範例性方法。
圖12繪示根據一或更多實施例之基於預測之碰觸追跡的範例性方法。
圖13繪示根據一或更多實施例之基於預測之碰觸追跡的範例性方法。
圖14繪示根據一或更多實施例之可實施基於預測之碰 觸追跡實施例的範例性裝置之各個元件。
100‧‧‧範例性系統
102‧‧‧計算裝置
104‧‧‧行動電話
106‧‧‧平板電腦
108‧‧‧雙螢幕折疊裝置
110‧‧‧整合觸控螢幕顯示器
112‧‧‧手勢輸入
114‧‧‧觸控輸入模組
116‧‧‧觸控輸入感測器資料
118‧‧‧手勢辨識應用程式
120‧‧‧HID報告
122‧‧‧第一觸點
124‧‧‧第二觸點
126、128、130‧‧‧元件
132、134、136‧‧‧元件
138‧‧‧感測器地圖
140‧‧‧8位元十六進制值的元件
142‧‧‧接觸追蹤服務
144‧‧‧預測碰觸追蹤

Claims (20)

  1. 一種方法，包括以下步驟：辨識觸控輸入感測器資料為在一觸控螢幕顯示器上之一觸點之一元件序列；識別該觸點之一第一元件；決定一第二元件相關聯於該觸點；將該第一元件與至少該第二元件相關聯以代表該觸點之一追蹤；指派辨識一手勢的一相同識別符給該觸點的該第一元件和該第二元件；自該觸點之該追蹤預測該觸點之一元件位置；將該所預測之元件位置相關聯於該觸點之一後續元件；基於一最近鄰居觸點映射規則，驗證該所預測的元件位置相關聯於該觸點之該後續元件；及將該觸點之該後續元件與辨識該手勢的該相同識別符相關聯。
  2. 如請求項1所述之方法，進一步包括以下步驟：決定一個或更多個其他後續元件相關聯於該觸點；指派該相同識別符給該一個或更多個其他後續元件，該一個或更多個其他後續元件與該第一、第二、及後續元件結合以代表對應於該手勢的該觸點之該追蹤。
  3. 如請求項1所述之方法，其中該所預測之元件位置是基於至少代表該觸點之該追蹤的該先前第一和第二元件而預測。
  4. 如請求項1所述之方法，其中該最近鄰居觸點映射規則計算自該所預測元件位置至該觸點之一個或更多個元件之距離。
  5. 如請求項1所述之方法，其中該決定該第二元件相關聯於該觸點之步驟是基於該觸點之該第一與第二元件之間的一最小最大距離決定。
  6. 如請求項1所述之方法，進一步包括以下步驟：將一單一不相關元件之別名的多個觸點合併成該單一不相關元件。
  7. 如請求項6所述之方法，其中該合併包括以下步驟：基於不相關元件的一總數量大於該等元件之一數量與觸點之一數量之間的一差異，在該最近鄰居觸點映射之後決定一不可靠的關聯性。
  8. 一種計算裝置，包括：一觸控螢幕顯示器； 一觸控輸入模組，配置以辨識觸控輸入感測器資料為在該觸控螢幕顯示器上之一觸點之一元件序列；至少一記憶體和一處理器，實施一觸點追蹤服務，該觸點追蹤服務係配置以：識別該觸點之一第一元件；決定一第二元件相關聯於該觸點；將該第一元件與至少該第二元件相關聯以代表該觸點之一追蹤；指派一相同識別符給該觸點的該第一元件和該第二元件而對應於一手勢；自該觸點之該追蹤預測該觸點之一元件位置；將該所預測之元件位置相關聯於該觸點之一後續元件；基於一最近鄰居觸點映射規則，驗證該所預測的元件位置相關聯於該觸點之該後續元件；及將該觸點之該後續元件與該相同識別符相關聯而對應於一手勢。
  9. 如請求項8所述之計算裝置，其中該觸點追蹤服務進一步配置以：決定一個或更多個額外元件相關聯於該觸點；及指派該相同識別符給該一個或更多個額外元件，該一個或更多個額外元件代表對應於該手勢的該觸點的該追蹤。
  10. 如請求項8所述之計算裝置，其中該觸點追蹤服務進一步配置以基於至少代表該觸點之該追蹤的該先前第一和第二元件而預測該元件位置。
  11. 如請求項8所述之計算裝置，其中該最近鄰居觸點映射規則計算自該所預測元件位置至該觸點之一個或更多個元件之距離。
  12. 如請求項8所述之計算裝置，其中該觸點追蹤服務進一步配置以決定該第二元件相關聯於該觸點是基於該觸點之該第一與第二元件之間的一最小最大距離決定。
  13. 如請求項8所述之計算裝置，其中該觸點追蹤服務進一步配置以將一單一不相關元件之別名的多個觸點合併成該單一不相關元件。
  14. 如請求項13所述之計算裝置，其中將該單一不相關元件之別名的該等多個觸點合併，該觸點追蹤服務進一步配置以：基於不相關元件的一總數量大於該等元件之一數量與觸點之一數量之間的一差異，在該最近鄰居觸點映射之後決定一不可靠的關聯性。
  15. 一種方法，包括以下步驟： 辨識觸控輸入感測器資料為在一觸控螢幕顯示器上之一手勢輸入之一元件序列，該手勢輸入包括至少兩個觸點；決定一第一元件相關聯於該手勢輸入之一第一觸點之一第二元件；映射該第一元件至該第二元件以代表一第一觸點追蹤；決定一第三元件相關聯於該手勢輸入之一第二觸點之一第四元件；映射該第三元件至該第四元件以代表一第二觸點追蹤；自該第一觸點追蹤預測該第一觸點之一元件位置；將該所預測之元件位置相關聯於該第一觸點之一後續元件；基於一最近鄰居觸點映射規則，驗證該所預測的元件位置相關聯於該第一觸點之該後續元件；及將該第一觸點之該後續元件與該手勢輸入相關聯。
  16. 如請求項15所述之方法，其中該所預測之元件位置是基於至少代表該第一觸點追蹤之該第一觸點的該先前第一和第二元件而預測。
  17. 如請求項15所述之方法，其中該最近鄰居觸點映射規則計算自該所預測元件位置至該第一觸點之一個或更多個額外元件之距離。
  18. 如請求項15所述之方法，其中該決定的元件關聯性是基於一最小最大距離決定。
  19. 如請求項15所述之方法，進一步包括以下步驟：基於決定一不可靠的關聯性，在該最近鄰居觸點映射之後將一單一不相關元件之別名的多個觸點合併成該單一不相關元件，該決定係基於不相關元件的一總數量大於該等元件之一數量與觸點之一數量之間的一差異。
  20. 如請求項15所述之方法，進一步包括以下步驟：指派一第一識別符給以下兩者：該第一觸點的該第一及該第二元件；及指派一第二識別符給以下兩者：該第二觸點的該第三及該第四元件。
TW101100609A 2011-02-12 2012-01-06 基於預測之碰觸追跡 TWI489398B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161442222P 2011-02-12 2011-02-12
US13/152,991 US9542092B2 (en) 2011-02-12 2011-06-03 Prediction-based touch contact tracking

Publications (2)

Publication Number Publication Date
TW201241759A TW201241759A (en) 2012-10-16
TWI489398B true TWI489398B (zh) 2015-06-21

Family

ID=46636522

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101100609A TWI489398B (zh) 2011-02-12 2012-01-06 基於預測之碰觸追跡

Country Status (5)

Country Link
US (1) US9542092B2 (zh)
EP (1) EP2673691A4 (zh)
CN (1) CN102622127B (zh)
TW (1) TWI489398B (zh)
WO (1) WO2012109635A2 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617562B1 (ko) * 2008-07-01 2016-05-02 힐크레스트 래보래토리스, 인크. 3ｄ 포인터 매핑
US20130312106A1 (en) * 2010-10-01 2013-11-21 Z124 Selective Remote Wipe
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
US8982061B2 (en) 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US8773377B2 (en) 2011-03-04 2014-07-08 Microsoft Corporation Multi-pass touch contact tracking
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
CN102890576B (zh) * 2011-07-22 2016-03-02 宸鸿科技(厦门)有限公司 触控屏触摸轨迹检测方法及检测装置
US9378389B2 (en) 2011-09-09 2016-06-28 Microsoft Technology Licensing, Llc Shared item account selection
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US9323379B2 (en) * 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US9372829B1 (en) 2011-12-15 2016-06-21 Amazon Technologies, Inc. Techniques for predicting user input on touch screen devices
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
JP5990011B2 (ja) 2012-02-28 2016-09-07 キヤノン株式会社 情報処理装置及びその制御方法
JP5979916B2 (ja) * 2012-03-07 2016-08-31 キヤノン株式会社 情報処理装置およびその制御方法
CN103403665B (zh) * 2012-08-29 2016-08-03 华为终端有限公司 一种终端设备获取指令的方法及终端设备
TWI486837B (zh) * 2012-09-18 2015-06-01 Egalax Empia Technology Inc 基於預測的位置追蹤方法
US9471220B2 (en) * 2012-09-18 2016-10-18 Google Inc. Posture-adaptive selection
US9317147B2 (en) 2012-10-24 2016-04-19 Microsoft Technology Licensing, Llc. Input testing tool
CN103869939A (zh) * 2012-12-13 2014-06-18 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
CN103869960B (zh) * 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
US20160195975A1 (en) * 2012-12-23 2016-07-07 Microsoft Technology Licensing, Llc Touchscreen computing device and method
JP6024466B2 (ja) * 2013-01-16 2016-11-16 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
KR102043148B1 (ko) * 2013-02-19 2019-11-11 엘지전자 주식회사 이동 단말기 및 그의 터치 좌표 예측 방법
US9323358B2 (en) * 2013-04-30 2016-04-26 Google Inc. Correcting location errors in tactile input device
WO2014209335A1 (en) * 2013-06-28 2014-12-31 Intel Corporation Parallel touch point detection using processor graphics
TWI506461B (zh) * 2013-07-16 2015-11-01 Univ Nat Taiwan Science Tech 人體動作的辨識方法與裝置
US9841839B2 (en) * 2013-10-07 2017-12-12 Tactual Labs Co. System for measuring latency on a touch device
KR102159789B1 (ko) 2013-10-28 2020-09-25 삼성전자주식회사 전자 장치 및 이의 사용자 제스처 인식방법
US9372577B2 (en) * 2014-02-21 2016-06-21 Google Technology Holdings LLC Method and device to reduce swipe latency
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
US9406025B2 (en) 2014-06-04 2016-08-02 International Business Machines Corporation Touch prediction for visual displays
CN104035714B (zh) * 2014-06-24 2017-05-03 中科创达软件股份有限公司 一种基于安卓系统的触摸事件处理方法、装置和设备
US10824954B1 (en) * 2014-06-25 2020-11-03 Bosch Sensortec Gmbh Methods and apparatus for learning sensor data patterns of physical-training activities
US9952763B1 (en) 2014-08-26 2018-04-24 Google Llc Alternative gesture mapping for a graphical keyboard
US10114499B2 (en) * 2015-08-24 2018-10-30 Apple Inc. Enhanced handling of remote controller touchpad input data
US9933901B2 (en) * 2015-08-24 2018-04-03 Apple Inc. Reduction of media application response time through prediction of remote controller input data
EP3136208B1 (en) * 2015-08-31 2024-05-15 LG Display Co., Ltd. Display device, method for driving the same, and driving circuit thereof
CN108345415B (zh) * 2017-01-25 2023-06-30 豪威Tddi安大略有限合伙公司 利用对象速度信息的对象追踪
CN111077193B (zh) * 2019-12-31 2021-10-22 北京航空航天大学 一种电容传感器及对其电容信号进行处理的成像定位方法
WO2021221649A1 (en) * 2020-04-30 2021-11-04 Hewlett-Packard Development Company, L.P. Automatic sensor data collection and model generation
US11720205B2 (en) 2021-12-27 2023-08-08 Stmicroelectronics Ltd. Touch report rate of touchscreen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080041639A1 (en) * 1998-01-26 2008-02-21 Apple Inc. Contact tracking and identification module for touch sensing
TW200925966A (en) * 2007-12-11 2009-06-16 J Touch Corp Method of controlling multi-point controlled controller
TWM361674U (en) * 2009-02-19 2009-07-21 Sentelic Corp Touch control module
TW201104513A (en) * 2009-07-23 2011-02-01 Ind Tech Res Inst A trajectory-based control method and apparatus thereof

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4421997A (en) 1978-09-18 1983-12-20 Mcdonnell Douglas Corporation Multiple axis actuator
US5241693A (en) 1989-10-27 1993-08-31 Motorola, Inc. Single-block filter for antenna duplexing and antenna-switched diversity
JP2584564B2 (ja) 1992-04-15 1997-02-26 住友電気工業株式会社 車両位置検出装置
US7489303B1 (en) 2001-02-22 2009-02-10 Pryor Timothy R Reconfigurable instrument panels
US5591945A (en) 1995-04-19 1997-01-07 Elo Touchsystems, Inc. Acoustic touch position sensor using higher order horizontally polarized shear wave propagation
US5856822A (en) 1995-10-27 1999-01-05 02 Micro, Inc. Touch-pad digital computer pointing-device
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JP3052997B2 (ja) 1996-01-12 2000-06-19 日本電気株式会社 手書き入力表示装置
BR9714435B1 (pt) 1996-12-25 2010-07-27 dispositivo sensìvel a toque acústico, substrato para um dispositivo sensìvel acústico e processo de detectar o toque sobre um substrato.
WO1998033163A1 (en) 1997-01-27 1998-07-30 Koninklijke Philips Electronics N.V. Method of manufacturing a liquid crystal display module
US6008636A (en) 1997-09-30 1999-12-28 Motorola, Inc. Test system with robot arm for delivering a device under test
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
DE19939159A1 (de) 1999-08-20 2000-03-02 Axel Schnell Berührungsempfindliches kapazitives Sensormatrixfeld
US20040207606A1 (en) 1999-11-08 2004-10-21 Atwood Stephen P. Sensing the size of a touch point in a touch-sensitive panel employing resistive membranes
US6671406B1 (en) 1999-12-29 2003-12-30 Honeywell International Inc. System, method and apparatus for pattern recognition with application to symbol recognition and regeneration for a caligraphic display
US6741237B1 (en) 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
CA2359269A1 (en) 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US6977646B1 (en) 2001-11-30 2005-12-20 3M Innovative Properties Co. Touch screen calibration system and method
JP3871951B2 (ja) 2002-04-08 2007-01-24 Ｎｅｃインフロンティア株式会社 タッチパネル検査装置
US7746325B2 (en) 2002-05-06 2010-06-29 3M Innovative Properties Company Method for improving positioned accuracy for a determined touch input
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US7362313B2 (en) 2003-01-17 2008-04-22 3M Innovative Properties Company Touch simulation system and method
US9818136B1 (en) 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7236161B2 (en) 2003-03-21 2007-06-26 3M Innovative Properties Company Remote touch simulation systems and methods
CN1242096C (zh) 2003-04-29 2006-02-15 中国科学院金属研究所 一种在镁及其合金构件表面制备防蚀、耐磨镍镀层的方法
DE20309857U1 (de) 2003-06-25 2004-11-04 Doppstadt Calbe Gmbh Trommelsiebmaschine
KR20050003155A (ko) 2003-06-30 2005-01-10 (주)코리아비주얼스 사용자와 디스플레이 시스템의 인터페이스 장치 및 그 방법
US20050046430A1 (en) 2003-09-03 2005-03-03 Jouko Kinnunen RF testing method and arrangement
US7580556B2 (en) 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
US6856259B1 (en) 2004-02-06 2005-02-15 Elo Touchsystems, Inc. Touch sensor system to detect multiple touch events
US7372456B2 (en) 2004-07-07 2008-05-13 Smart Technologies Inc. Method and apparatus for calibrating an interactive touch system
DE102004037296A1 (de) 2004-07-27 2006-03-23 Arnold & Richter Cine Technik Gmbh & Co Betriebs Kg Verfahren zum Fokussieren des Aufnahmeobjektivs einer Laufbild- oder Videokamera
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
CN101044677B (zh) 2004-10-19 2010-09-29 国立大学法人埼玉大学 弹性表面波激励装置
US7705835B2 (en) 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
KR100578523B1 (ko) 2005-08-19 2006-05-12 (주)엠아이케이 이십일 터치판넬의 검사방법
KR100738888B1 (ko) 2005-10-27 2007-07-12 엘지전자 주식회사 로봇 청소기에 장착된 카메라의 제어 장치 및 방법
US7174649B1 (en) 2005-11-08 2007-02-13 Danny Harris Precision shaft alignment system
US7938009B2 (en) 2006-02-03 2011-05-10 Immersion Corporation Haptic device testing
KR100763057B1 (ko) 2006-03-10 2007-10-02 한승국 터치판넬의 터치기능 검사방법 및 검사장치
US8144125B2 (en) 2006-03-30 2012-03-27 Cypress Semiconductor Corporation Apparatus and method for reducing average scan rate to detect a conductive object on a sensing device
JP4729433B2 (ja) 2006-05-10 2011-07-20 アルプス電気株式会社 入力装置
JP5095131B2 (ja) 2006-05-31 2012-12-12 株式会社東芝 半導体記憶装置
KR101190484B1 (ko) 2006-06-09 2012-10-12 애플 인크. 터치 스크린 액정 디스플레이
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
CN200947594Y (zh) 2006-06-23 2007-09-12 丁文龙 一种电容感应式触摸电路
CN101145122B (zh) 2006-09-15 2010-11-10 鸿富锦精密工业（深圳）有限公司 触摸板测试机台
TWI450137B (zh) 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US7978182B2 (en) 2007-01-07 2011-07-12 Apple Inc. Screen rotation gestures on a portable multifunction device
KR20080066416A (ko) 2007-01-12 2008-07-16 삼성전자주식회사 터치 스크린을 갖는 이동 단말기의 사용자 인터페이스 방법
US20090225036A1 (en) 2007-01-17 2009-09-10 Wright David G Method and apparatus for discriminating between user interactions
US20080180399A1 (en) 2007-01-31 2008-07-31 Tung Wan Cheng Flexible Multi-touch Screen
US20100214233A1 (en) 2007-02-02 2010-08-26 Ampnt, Inc. Touch panel having closed loop electrode for equipotential build-up and manufacturing method thereof
US7973778B2 (en) 2007-04-16 2011-07-05 Microsoft Corporation Visual simulation of touch pressure
US8144126B2 (en) 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
US8253425B2 (en) 2007-05-08 2012-08-28 Synaptics Incorporated Production testing of a capacitive touch sensing device
US7916126B2 (en) 2007-06-13 2011-03-29 Apple Inc. Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
US20090009483A1 (en) 2007-06-13 2009-01-08 Apple Inc. Single-chip touch controller with integrated drive system
US9052817B2 (en) 2007-06-13 2015-06-09 Apple Inc. Mode sensitive processing of touch data
US8493332B2 (en) 2007-06-21 2013-07-23 Elo Touch Solutions, Inc. Method and system for calibrating an acoustic touchscreen
KR101526626B1 (ko) 2007-07-12 2015-06-05 아트멜 코포레이션 2차원 터치 패널
US7797115B2 (en) 2007-08-13 2010-09-14 Nuvoton Technology Corporation Time interval measurement for capacitive detection
US8199118B2 (en) 2007-08-14 2012-06-12 Tyco Electronics Corporation Touchscreen using both carbon nanoparticles and metal nanoparticles
US7725014B2 (en) 2007-08-29 2010-05-25 Hong Kong Applied Science and Technology Research Institute Company Limited Actuator for linear motion and tilting motion
KR20090038540A (ko) 2007-10-16 2009-04-21 주식회사 현대오토넷 화면 상의 영상위치 변경 장치 및 방법, 그리고 그를이용한 네비게이션 시스템
US20100073318A1 (en) 2008-09-24 2010-03-25 Matsushita Electric Industrial Co., Ltd. Multi-touch surface providing detection and tracking of multiple touch points
GB0721475D0 (en) 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US8416198B2 (en) 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
US8175728B2 (en) 2007-12-13 2012-05-08 Georgia Tech Research Corporation Detecting user gestures with a personal mobile communication device
US8395587B2 (en) 2007-12-21 2013-03-12 Motorola Mobility Llc Haptic response apparatus for an electronic device
US20090174679A1 (en) 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US8692777B2 (en) 2008-02-08 2014-04-08 Apple Inc. Method for rapidly testing capacitance sensing array fault conditions using a floating conductor
CN101545938B (zh) 2008-03-28 2012-01-25 深圳富泰宏精密工业有限公司 触控式面板的检测装置
US8259081B2 (en) 2008-04-04 2012-09-04 Qualcomm Incorporated Low-power touch screen controller
US8519965B2 (en) 2008-04-23 2013-08-27 Motorola Mobility Llc Multi-touch detection panel with disambiguation of touch coordinates
US8514203B2 (en) 2008-04-30 2013-08-20 Apple Inc. Flexible calibration device for touch sensor panel calibration
EP2300899A4 (en) 2008-05-14 2012-11-07 3M Innovative Properties Co SYSTEM AND METHOD FOR EVALUATING POSITIONS OF MULTIPLE TOUCH INPUTS
US8212795B2 (en) 2008-05-21 2012-07-03 Hypercom Corporation Payment terminal stylus with touch screen contact detection
TWM349000U (en) 2008-06-04 2009-01-11 Tpk Touch Solutions Inc Capacitive touch display panel
US8774793B2 (en) 2008-06-13 2014-07-08 Jot Automation, Ltd. Systems and methods of providing intelligent handset testing
US8368667B2 (en) 2008-06-26 2013-02-05 Cirque Corporation Method for reducing latency when using multi-touch gesture on touchpad
US20100060568A1 (en) 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US8330474B2 (en) 2008-10-15 2012-12-11 Synaptics Incorporated Sensor device and method with at surface object sensing and away from surface object sensing
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
KR101564332B1 (ko) 2008-10-28 2015-10-30 삼성전자주식회사 액정 표시 장치에 일체화된 터치 스크린 패널과 그 제조 방법 및 터치 센싱 방법
US9058066B2 (en) 2008-11-12 2015-06-16 Apple Inc. Suppressing errant motion using integrated mouse and touch information
KR101513440B1 (ko) 2008-12-01 2015-04-22 삼성디스플레이 주식회사 터치 스크린 표시 장치 및 그 제조 방법
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
KR100989786B1 (ko) 2008-12-11 2010-10-29 (주)코아리버 터치 스크린의 멀티 터치 검출 장치 및 방법
KR101007049B1 (ko) 2008-12-15 2011-01-12 주식회사 애트랩 저항막 방식의 터치 패널을 구비하는 입력 장치 및 이 장치의 접촉 위치 계산 방법
US8217909B2 (en) 2008-12-19 2012-07-10 Cypress Semiconductor Corporation Multi-finger sub-gesture reporting for a user interface device
CN102257457A (zh) 2008-12-25 2011-11-23 富士通株式会社 计算机程序、输入装置以及输入方法
KR20100077298A (ko) 2008-12-29 2010-07-08 (주)엑스포전자엔지니어링 터치패널 자동검사장치
DE102009009896B4 (de) 2009-02-20 2011-02-10 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Erfassung von Zielobjekten
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US8624849B2 (en) 2009-04-20 2014-01-07 Apple Inc. Touch actuated sensor configuration integrated with an OLED structure
WO2010127175A2 (en) 2009-04-30 2010-11-04 Synaptics Incorporated Control circuitry and method
CN101644978A (zh) 2009-05-27 2010-02-10 北京中星微电子有限公司 一种触摸屏检测方法及装置
KR20100129015A (ko) 2009-05-29 2010-12-08 (주)캠톤 터치검출장치, 이를 포함하는 표시장치 및 좌표인식방법
US9134848B2 (en) 2009-06-03 2015-09-15 Stmicroelectronics Asia Pacific Pte Ltd Touch tracking on a touch sensitive interface
US20100315372A1 (en) 2009-06-12 2010-12-16 Stmicroelectronics Asia Pacific Pte Ltd. Touch coordinate calculation for a touch-sensitive interface
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
KR20100134153A (ko) 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
US20100328249A1 (en) 2009-06-25 2010-12-30 Stmicroelecronics Asia Pacific Pte Ltd. Capacitive-inductive touch screen
US8729901B2 (en) 2009-07-06 2014-05-20 Merlin Technology, Inc. Measurement device and associated method for use in frequency selection for inground transmission
TWI501121B (zh) 2009-07-21 2015-09-21 Pixart Imaging Inc 手勢辨識方法及使用該方法之觸控系統
KR101630179B1 (ko) 2009-07-28 2016-06-14 삼성전자주식회사 투영정전용량 터치스크린에서의 멀티터치 감지 장치 및 방법
US9069405B2 (en) 2009-07-28 2015-06-30 Cypress Semiconductor Corporation Dynamic mode switching for fast touch response
EP2284654A1 (en) 2009-08-14 2011-02-16 Research In Motion Limited Electronic device including tactile touch-sensitive input device and method of controlling same
TW201132990A (en) 2009-08-24 2011-10-01 Cambrios Technologies Corp Contact resistance measurement for resistance linearity in nanostructure thin films
US8576182B2 (en) 2009-09-01 2013-11-05 Atmel Corporation Methods and apparatuses to test the functionality of capacitive sensors
KR100941441B1 (ko) 2009-09-15 2010-02-11 주식회사 엘디케이 터치스크린패널 테스트장치
CN101661373B (zh) 2009-09-29 2013-02-27 中兴通讯股份有限公司 一种通过接触面型进行识别解锁的方法及装置
US20110080348A1 (en) 2009-10-01 2011-04-07 Apple Inc. Electronic devices with a primary display and a selectively illuminated secondary display
EP2511804A4 (en) 2009-10-09 2014-06-11 Egalax Empia Technology Inc METHOD AND DEVICE FOR DETECTING POSITION
US8645093B2 (en) 2009-11-04 2014-02-04 Qualcomm Incorporated Calibrating multi-dimensional sensor for offset, sensitivity, and non-orthogonality
CN102713793B (zh) 2009-11-17 2016-08-31 意美森公司 用于增加电子设备中的触觉带宽的系统和方法
US8384694B2 (en) 2009-11-17 2013-02-26 Microsoft Corporation Infrared vision with liquid crystal display device
TWM379794U (en) 2009-11-26 2010-05-01 Sentelic Corp Touch screen device
US8194051B2 (en) 2009-12-15 2012-06-05 Silicon Integrated Systems Corp. Multiple fingers touch sensing method using matching algorithm
KR101144724B1 (ko) 2009-12-17 2012-05-24 이성호 터치패널의 터치셀 구조
US8174273B2 (en) 2010-01-07 2012-05-08 3M Innovative Properties Company Capacitance measurement circuit with dynamic feedback
US9092129B2 (en) 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
CN101819496B (zh) 2010-03-22 2012-05-30 苏州瀚瑞微电子有限公司 电容式触摸屏检测方法
US9285929B2 (en) 2010-03-30 2016-03-15 New Vision Display (Shenzhen) Co., Limited Touchscreen system with simplified mechanical touchscreen design using capacitance and acoustic sensing technologies, and method therefor
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US8599167B2 (en) 2010-04-22 2013-12-03 Maxim Integrated Products, Inc. Method and apparatus for improving dynamic range of a touchscreen controller
JP5566176B2 (ja) 2010-04-30 2014-08-06 キヤノン株式会社 雲台システム、及び撮影システム
US8830212B2 (en) 2010-06-01 2014-09-09 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
US8766930B2 (en) 2010-06-02 2014-07-01 Pixart Imaging Inc. Capacitive touchscreen system with drive-sense circuits
US20110304577A1 (en) 2010-06-11 2011-12-15 Sp Controls, Inc. Capacitive touch screen stylus
TWI408587B (zh) 2010-06-14 2013-09-11 Pixart Imaging Inc 觸控系統及其定位方法
US20120030624A1 (en) 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
US20120032891A1 (en) 2010-08-03 2012-02-09 Nima Parivar Device, Method, and Graphical User Interface with Enhanced Touch Targeting
JP5682810B2 (ja) 2010-09-15 2015-03-11 セイコーエプソン株式会社 ロボット
US8615123B2 (en) 2010-09-15 2013-12-24 Identicoin, Inc. Coin identification method and apparatus
JP5895337B2 (ja) 2010-09-15 2016-03-30 セイコーエプソン株式会社 ロボット
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US8884980B2 (en) 2010-09-24 2014-11-11 Taaz, Inc. System and method for changing hair color in digital images
CN101982783B (zh) 2010-10-20 2012-07-04 天津市中环高科技有限公司 电容式触摸屏测试的工艺
CN201828476U (zh) 2010-10-29 2011-05-11 艾利和电子科技(中国)有限公司 触摸屏划线试验机
US20120105334A1 (en) 2010-11-03 2012-05-03 Microsoft Corporation Computing device with flat touch surface
US9122341B2 (en) * 2010-11-08 2015-09-01 Microsoft Technology Licensing, Llc Resolving merged touch contacts
US20120131490A1 (en) 2010-11-22 2012-05-24 Shao-Chieh Lin Touch-controlled device and method for displaying a virtual keyboard on the touch-controlled device thereof
US8996166B2 (en) 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform
JP2012130987A (ja) 2010-12-21 2012-07-12 Seiko Epson Corp ロボット、ロボット用ハンド
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
US8988087B2 (en) 2011-01-24 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen testing
US8982061B2 (en) 2011-02-12 2015-03-17 Microsoft Technology Licensing, Llc Angular contact geometry
US8773377B2 (en) 2011-03-04 2014-07-08 Microsoft Corporation Multi-pass touch contact tracking
US8681122B2 (en) 2011-04-19 2014-03-25 Cypress Semiconductor Corporation Capacitive sensing with programmable logic for touch sense arrays
TWI454978B (zh) 2011-05-02 2014-10-01 Shih Hua Technology Ltd 觸控輸入裝置
US20120280934A1 (en) 2011-05-04 2012-11-08 Apple Inc. Simulating Single and Multi-Touch Events for Testing A Touch Panel
DE102011075276B4 (de) 2011-05-04 2015-10-08 Ident Technology Ag Kapazitive Sensoreinrichtung sowie Verfahren zum Betrieb einer Eingabeeinrichtung
CN202196126U (zh) 2011-05-05 2012-04-18 深圳市科利德光电材料股份有限公司 电阻式触摸屏打点测试装置
CN202093112U (zh) 2011-06-21 2011-12-28 上海晨兴希姆通电子科技有限公司 电容式触摸屏测试装置
US8913019B2 (en) 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution
KR101065014B1 (ko) 2011-07-28 2011-09-15 에스맥 (주) 터치 스크린 패널의 검사장치 및 검사방법
CN202171626U (zh) 2011-08-05 2012-03-21 深圳市精智达技术有限公司 多点点触触摸屏测试机
US8847612B2 (en) 2011-09-08 2014-09-30 Atmel Corporation Integrated test system for a touch sensor
JP2015505999A (ja) 2011-10-25 2015-02-26 エコエーティーエム，インク． 電子デバイスをリサイクルする方法および装置
CN102436334A (zh) 2011-10-27 2012-05-02 苏州瀚瑞微电子有限公司 电容触摸屏系统测试机
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
US9205567B2 (en) 2012-03-08 2015-12-08 Quality Manufacturing Inc. Touch sensitive robotic gripper
US9481084B2 (en) 2012-06-22 2016-11-01 Microsoft Technology Licensing, Llc Touch quality test robot
US20140354310A1 (en) 2013-05-29 2014-12-04 Microsoft Corporation Capacitive Sensor Testing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080041639A1 (en) * 1998-01-26 2008-02-21 Apple Inc. Contact tracking and identification module for touch sensing
TW200925966A (en) * 2007-12-11 2009-06-16 J Touch Corp Method of controlling multi-point controlled controller
TWM361674U (en) * 2009-02-19 2009-07-21 Sentelic Corp Touch control module
TW201104513A (en) * 2009-07-23 2011-02-01 Ind Tech Res Inst A trajectory-based control method and apparatus thereof

Also Published As

Publication number Publication date
US20120206380A1 (en) 2012-08-16
EP2673691A2 (en) 2013-12-18
TW201241759A (en) 2012-10-16
CN102622127A (zh) 2012-08-01
CN102622127B (zh) 2015-10-28
WO2012109635A2 (en) 2012-08-16
US9542092B2 (en) 2017-01-10
EP2673691A4 (en) 2016-11-09
WO2012109635A3 (en) 2012-10-26

Similar Documents

Publication Publication Date Title
TWI489398B (zh) 基於預測之碰觸追跡
TWI537772B (zh) 用於多回合觸控接觸追蹤之方法及計算裝置
US8913019B2 (en) Multi-finger detection and component resolution
US8619036B2 (en) Virtual keyboard based activation and dismissal
CN102246134B (zh) 软键盘控制
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
TW201224850A (en) Gesture recognition
US20090315826A1 (en) Method for identifying a single tap, double taps and a drag and a controller for a touch device employing the method
US20100088595A1 (en) Method of Tracking Touch Inputs
JP2020067999A (ja) ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置
US20130249826A1 (en) Method and apparatus for detecting touch
CN110471610A (zh) 终端控制方法、装置、终端及存储介质
US20130321303A1 (en) Touch detection
CN105474164A (zh) 间接输入的歧义消除
KR20140109926A (ko) 입력 포인터 지연 기법
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
JP2010117748A (ja) 入力装置および入力方法
JP2019516198A (ja) アプリケーションプログラムのデータ処理方法及びデバイス
US9733823B2 (en) View activation via hit testing in an asynchronous windowing system
CN108921129B (zh) 图像处理方法、系统、介质和电子设备
CN111796701A (zh) 模型训练方法、操作处理方法、装置、存储介质及设备
US20120299837A1 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
KR102027649B1 (ko) 교차점의 상대적 위치 정보를 이용한 보안 인증 방법 및 시스템
KR101669077B1 (ko) 터치 스크린을 갖는 이동 단말기에서 터치 처리 장치 및 방법
KR102443782B1 (ko) 미래 상호작용 예측 기반의 타겟 사용자 예측 방법 및 시스템

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees