TWI617949B - 用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體 - Google Patents

用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體 Download PDF

Info

Publication number
TWI617949B
TWI617949B TW104138315A TW104138315A TWI617949B TW I617949 B TWI617949 B TW I617949B TW 104138315 A TW104138315 A TW 104138315A TW 104138315 A TW104138315 A TW 104138315A TW I617949 B TWI617949 B TW I617949B
Authority
TW
Taiwan
Prior art keywords
touch
contact
mode
mouse
virtual mouse
Prior art date
Application number
TW104138315A
Other languages
English (en)
Other versions
TW201643608A (zh
Inventor
任光宇
馬立立
任漢濤
亞范德 庫瑪
約翰 法拉維
約瑟 彼卡多雷法
凱達 唐瑞
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201643608A publication Critical patent/TW201643608A/zh
Application granted granted Critical
Publication of TWI617949B publication Critical patent/TWI617949B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

根據一些實施例，一種諸如觸控螢幕(touch screen)或軌跡板(track pad)或觸控板(touch pad)的觸控輸入裝置，可藉由以超過一個手指同時碰觸螢幕的方式操作於滑鼠模式。在一實施例中，可使用三個手指。在一實施例中，三個手指可為拇指、連同食指及中指。接者，可使用食指及中指來左點擊右點擊以輸入虛擬滑鼠命令。

Description

用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體
此一般有關使用滑鼠命令控制觸控螢幕游標。
在傳統處理器為基的系統(如膝上型電腦、桌上型電腦、蜂巢式電話)、媒體播放裝置(如遊戲裝置)及其他這類裝置中，觸控螢幕輸入的滑鼠命令對使用鍵盤或滑鼠輸入的游標命令以外的替代選擇。例如，可能使用滑鼠命令來移動游標以便在顯示螢幕上做出選擇。通常，滑鼠被握持在使用者的手中且滑鼠的移動使游標移動。點擊滑鼠上的按鍵能選擇被游標覆蓋的顯示物件。
在一些情況下，行動使用者可能發現使用滑鼠不方便，因為它需要攜帶可能比像是蜂巢式電話之實際處理器為基的裝置還大的額外裝置。而且，由於，如可在蜂巢式電話上看到的那些小螢幕裝置，可能沒有足夠的螢幕空間來選取在螢幕上顯示的一些較小特徵。另一項問題 為在顯示螢幕上的小圖標按鈕或連結之情況下，使用者可能難以準確地將滑鼠游標置於特定位置。
10‧‧‧架構
12‧‧‧圖形處理單元(GPU)
14‧‧‧OpenCL碼
16‧‧‧觸控感測器
18‧‧‧觸控積體電路(IC)
20‧‧‧核心
22‧‧‧作業系統(OS)
24‧‧‧人性化介面裝置(HID)封包
25‧‧‧手勢辨識
26‧‧‧核心
30‧‧‧觸控/滑鼠關關
32‧‧‧滑鼠HID封包
34‧‧‧應用程式(APPS)
40‧‧‧篩選器驅動程式
44‧‧‧觸控裝置
46‧‧‧用戶層服務
48‧‧‧觸控控制器
50‧‧‧虛擬滑鼠裝置物件
60‧‧‧觸碰事件資料擷取回呼
62‧‧‧觸碰資料轉換及轉譯
64‧‧‧虛擬滑鼠裝置物件處置器
66‧‧‧是否將觸碰事件資料傳送至OS？
68‧‧‧收件箱模組
70‧‧‧滑鼠驅動程式
72‧‧‧HID類型驅動程式
74‧‧‧驅動程式
80‧‧‧序列/虛擬滑鼠序列
82‧‧‧菱形/是否偵測到特性觸碰？
84‧‧‧方塊/判斷接觸的位置
86‧‧‧方塊/根據該接觸位置調整相對於食指的游標位置
90‧‧‧閒置狀態
92‧‧‧一個手指狀態
94‧‧‧一個手指進入兩個手指狀態
96‧‧‧兩個手指狀態
A‧‧‧箭頭
B‧‧‧箭頭
C‧‧‧游標/箭頭
D‧‧‧圓圈/箭頭
E‧‧‧虛半橢圓
F‧‧‧同心圓
P‧‧‧食指
Yo‧‧‧y軸偏移量
參考以下圖式來說明一些實施例：圖1係根據一實施例之在顯示螢幕上之使用者的右手之俯視圖；圖2係根據一實施例之在顯示螢幕上之使用者的右手之俯視圖；圖3係根據一實施例之在顯示螢幕中心之使用者的食指之俯視圖；圖4係根據一實施例使用者的手右點擊顯示螢幕左側之俯視圖；圖5係根據一實施例使用者的手在顯示螢幕右側之俯視圖；圖6係根據一實施例之使用者的手在顯示螢幕中下之俯視圖；圖7係根據一實施例之顯示螢幕左下緣之俯視圖；圖8係根據一實施例之使用者的手在顯示螢幕右下緣之俯視圖；圖9係根據一實施例之左滑鼠點擊操作之俯視圖；圖10係根據一實施例之右滑鼠點擊操作之俯視圖； 圖11係根據一實施例之篩選器之示意圖；圖12係根據一實施例之篩選器驅動程式架構之示意圖；圖13係圖12之根據一實施例之篩選器驅動程式之示意圖；圖14係根據一實施例之篩選器驅動程式狀態機之流程圖；圖15係根據一實施例之使用者致動虛擬滑鼠模式之俯視圖；圖16係根據一實施例之使用者開始游標移動命令之俯視圖；圖17係根據一實施例之使用者在游標移動命令之過程之俯視圖；圖18A係根據一實施例之左滑鼠點擊操作之俯視圖；圖18B係根據一實施例之右滑鼠點擊操作之俯視圖；以及圖19一實施例之流程圖。
【發明內容及實施方式】
篩選器可插入輸入串流供觸控手勢辨識。接著在某些實施例中串流可切換到滑鼠模仿器。然而，此等概念亦可延伸到其他輸入/輸出裝置。舉例來說，可在音頻輸入串流中使用篩選器以供語音辨識之用，但接著可將 串流切換到執行語音偵測平移的鍵盤模仿器。因此，按照觸控輸入串流的情境的範例不應被視為限制本發明的範圍。
在一實施例中，觸控螢幕可於不同模式操作。在正常模式中，螢幕回應於單一手指、多個手指及筆/尖筆及所有如作業系統定義之關聯的手勢。當偵測到特定手勢(定義如下)之際，觸控螢幕進入虛擬模滑鼠模式。在此模式中，正常觸碰反應被去能，且觸控螢幕作用為虛擬滑鼠/觸控板(touchpad)。在一實施例中，當所有手指抬起時，觸控螢幕馬上回到正常模式。
如此處所使用者，觸控輸入裝置是一種多點觸控輸入裝置，偵測多個手指碰觸輸入裝置。
在一實施例中，為開始虛擬滑鼠模式，使用者使用三個手指手勢，以任何三個手指碰觸螢幕，如圖1所示。在一實施例中，使用者保持該手勢達數毫秒。其中一個稱為食指(pointer finger)的手指控制滑鼠游標。在開始的三個手指手勢中，食指為在碰觸螢幕的三個手指中中間的手指P(藉比較三個手指的位置的x值所得到)。食指在其他手指至少其中一者上面，所以使用者可輕易看到游標C。使用者將食指保持在螢幕上以便留在虛擬滑鼠模式中。
使用者能單單藉由食指繞著螢幕移動來移動游標。游標以些微的距離繞著食指定位以確使使用者看得到它，且使得其亦似乎與食指連接。游標的確實位置取決 於食指在螢幕中的位置。
使用手指接觸作為滑鼠輸入的一個問題在於致能游標涵蓋整個螢幕。此包括邊緣及角落。所以，視游標在螢幕的哪個部分而定，游標動態地移動到相對於食指的不同位置。倘若食指在螢幕中心的上方，如圖2所示，則游標C定位在具有食指P在其中心的虛半橢圓E的中心上方。
取決於沿著x軸延伸過螢幕的食指的位置，游標繞著橢圓定位在一個不同點。食指的接觸點在圖2-8以圓圈D表示。當食指在螢幕的中心時，游標C定位在圖3所示之位在D處的食指上方。當食指接近螢幕的左緣時，游標沿著食指左邊的橢圓定位，如圖4所示。當食指接近右緣時，游標沿著食指右邊的橢圓定位，如圖5所示。若食指在螢幕中心下方，則游標定位如上述，除了y軸偏移量(Yo)加到游標位置的y值以外。此允許游標C到達螢幕的最下面，如圖6所示。
y軸偏移量的值取決於沿著y軸從食指到螢幕中心的距離。當食指移動於上述情形之間時，游標平穩繞著整個半橢圓移動。此方式允許游標到達螢幕中的每一個地方，包括角落，而無需跳越，如圖7和8所示。在圖7中，食指位在螢幕的左下部。在圖8中，食指在螢幕的右下位置。
當處於虛擬滑鼠模式中，使用者能以不是食指的任何手指執行左和右點擊。在食指左側的任何碰觸， 由使用者拇指下的同心圓E所標示，被視為左點擊，如圖9所示。在食指右側的任何碰觸，由使用者中指下的同心圓F所標示，被視為右點擊，如圖10所示。觸碰及保持被視為滑鼠按鍵下，且釋放被視為滑鼠按鍵上。使用者能藉由將食指從螢幕釋放或藉著以任何手指做出四個或更多的觸碰而回到觸控模式(離開虛擬滑鼠模式)。
圖11所示的架構10執行對繪圖引擎或繪圖處理單元核心12的觸控數位處理。在某些實施例中，此允許以較佳的性能及可擴充性來執行觸控處理演算法。觸控處理演算法係實施於初始化期間載入的繪圖核心。在一實施例中，以OpenCL碼14來寫此等核心。
於串流觸碰資料上執行一序列的核心。觸控積體電路(IC)18供應商提供用以處理來自觸控感測器16的原始觸碰資料的核心(演算法)20，以在圖形處理單元(GPU)12中產生最後的觸控X-Y座標。此資料接著到作業系統22作為標準觸控人性化介面裝置(HID)封包24。
此架構允許鏈接額外的後處理核心，其能在觸碰資料到作業系統(OS)之前進一步處理觸碰資料。
在後處理核心26中實施虛擬滑鼠如圖11所示。後處理解決方案允許泛型演算法(generic algorthms)的執行而不管供應商核心為何。由於後處理核心的執行與觸控IC供應商無關，他們為獨立硬體供應商(independent hardware vendor,IHV)不可知論。為統一 在資料格式方面的供應商差異，組態資料將偏及所有的觸控IC供應商的資料結盟。因為此韌體於初始化期間載入、執行於GPU上，且不具有作業系統依賴性，其亦獨立於作業系統供應商(OSV)。
後處理核心遵循鏈接執行模型，其允許資料從一核心流到下一核心，從而允許核心在先前處理過的資料上執行。每一核心可用來適用於特定的作業系統或觸控控制器。核心的位置由使用者指定作為組態的一部分。在硬體上執行的能力允許演算法的執行而不需提出軟體堆疊。後處理核心在同時間執行作為供應商核心，其減緩任何外部介入拷貝資料或執行後處理核心的需要。手勢及觸碰資料篩選除了虛擬滑鼠功能以外還能實施於後處理。
觸控控制器18採取原始感測器資料並將其轉換成能被核心、OS或應用程式所使用的清楚的、數位觸碰點資訊。此資料作為觸控HID封包24傳送。在到OS以前，HID封包通過在GPU上執行的核心20序列，如以上所述。
虛擬滑鼠核心或觸控/滑鼠關關30運作如同狀態機。其保持一個內部狀態，儲存虛擬滑鼠的狀態(開或關)及其他有關游標位置的資訊。
虛擬滑鼠核心26採取HID封包的串流作為輸入，並執行手勢辨識25以偵測用來啟動虛擬滑鼠模式的手勢。當不處於虛擬滑鼠模式時，核心的輸出是觸控HID封包24。當處於虛擬滑鼠模式時，觸控HID封包被開關 30阻隔且核心的輸出是滑鼠HID封包32。觸控HID封包或滑鼠HID封包被傳到OS 22，其並不知道開關30中封包的篩選。OS接著根據應用程式(APPS)34處置滑鼠及觸控模式。
考量螢幕上食指的位置，計算滑鼠正確座標的演算法被融入核心26。
一種實施虛擬滑鼠的替代方法在於透過驅動程式進行觸碰資料處理及觸碰篩選。手勢辨識演算法及觸控HID封包的篩選會非常類似以上所描述者。然而，透過驅動程式進行此使得演算法與OS有關。與OS有關涉及與OS供應商的協調以實施虛擬滑鼠特性。
為使虛擬滑鼠的使用對於使用者而言更加直覺式，當系統處於虛擬滑鼠模式時可顯示滑鼠的輕微透明的覆蓋影像。若使用者把手指放到左邊靠近螢幕處，則會偵測到使用觸碰懸浮能力，且透明影像出現在靠近觸碰點的地方，對使用者而言意味者此觸碰會導致一左點擊。類似地，當一個手指靠近時，一不同的影像會出現在右側。
上述的一替代實施例中，系統一進入虛擬滑鼠模式(即不依賴懸浮能力)，重疊影像馬上指示出左點擊區域以及右點擊區域。
做為針對虛擬滑鼠使用全螢幕以外的其他選擇，可出現較小的長方形並如同虛擬觸控板一樣運作。此觸控板會重疊在該OS或應用程式正在顯示的內容上。使用者使用此觸控板來控制滑鼠，猶如其為實體的觸控板。 亦可提供虛擬左及右鍵。
由於虛擬滑鼠不會區分正針對左點擊及右點擊使用的手指，使用兩手亦屬可行。當系統進入虛擬滑鼠模式時，右手食指能用來移動游標，且人可以使用左手做左點擊。此亦可用於點擊及拖曳。使用者繞著螢幕移動右手食指做出拖曳操作時，能以食指游標選擇一個項目、使用左手點擊、並將該項目保持在螢幕上。
演算法亦考慮到慣用右手及慣用左手的人。偵測是根據進入虛擬滑鼠模式的三個手指的手勢。慣用左手的人的手指定位不同於慣用右手的人的手指定位。比起現今如何處置實體滑鼠而言，這是一個改善。使用者必須做出將滑鼠設定為右手專用或左手專用的選擇(Windows控制台)。在虛擬滑鼠的情況下，此可即時地處置。
根據一個使用裝置驅動程式的實施例，核心模式驅動程式產生與作業系統(OS)介接的一虛擬滑鼠裝置以擷取來自觸控面板(touch panel)的事件、將他們轉譯成滑鼠事件並經由虛擬滑鼠裝置將他們揭露給OS。此外，定義一組特定觸控螢幕手指手勢以致能/禁能並控制滑鼠活動。
在某些實施例中，使用者能更準確地在螢幕指向、能觸發一個「Mouse Move Over」事件、且能輕易觸發「Right Click」事件。使用者不需要攜帶外接滑鼠。某些實施例的優點包括：(1)滑鼠模式與正常觸控面板工作模式之間的無縫切換，不需手動執行/停止任何滑鼠 模擬應用程式；(2)軟體邏輯對OS使用者模式模組(OS User Mode Modules)是透明的，且不依賴任何使用者模式框架；(3)以相同的使用經驗無縫支援Windows經典桌面模式及Modern(Metro)UI。
因此，參見圖19，序列80可以軟體、韌體及/或硬體實施。在軟體及韌體實施例中，可以以儲存於一或多個非暫態電腦可讀媒體(磁性、光學或半導體儲存器)中的電腦執行指令實施。
參見圖19，虛擬滑鼠序列80可以軟體、韌體及/或硬體實作。在軟體及韌體實施例中，可以以儲存於一或多個非暫態電腦可讀媒體(磁性、光學或半導體儲存器)中的電腦執行指令實施。
序列80的開始是藉由判斷是否偵測到特性觸碰，如菱形82中所判斷者。舉例來說，特性觸碰可為圖15所描述的三個手指觸碰，指出欲進入虛擬滑鼠模式。若該觸碰沒有被偵測到，則流程不會繼續且裝置停留在傳統觸控模式。
若已偵測到該觸控模式特性，則判斷接觸的位置如方塊84中所示。精確而言，在一實施例中，偵測到中指接觸螢幕之在螢幕上的位置。此位置在一實施例中，可以是螢幕的一預定區域，包括鄰近上邊緣的區域、鄰近下邊緣的區域、鄰近右邊緣的區域、以及鄰近左邊緣的區域以及最後是中心區域。
接著如方塊86中所指，相對於食指的游標位 置是根據該接觸位置調整。例如，在一實施例中，偵測到中心接觸且游標位置可如圖3中所指示被定位。若偵測到在左邊緣區域的接觸，則可如圖4中所指示調整游標位置。同理，若偵測到右邊緣接觸，則游標的位置可如圖5中所指示。若偵測到底邊緣接觸，則游標的位置可如圖6中所指示。若偵測到左下邊緣，則可使用圖7的組態，且若偵測到右下邊緣，則可使用圖8所示的組態。相同的技術可用於左上及右上邊緣。當然，除了在顯示螢幕上定義不同的區域以外或其以外的其他選擇，還可使用其他慣例。
此外，在某些實施例中，當手指不是在螢幕中心下面就是在螢幕中心上面時，增加一Y軸偏移量。在某些實施例中，Y軸偏移量的值可取決於從食指到螢幕中心沿著Y軸的距離。
根據另一實施例，顯示於圖12中的核心模式裝置篩選器(kernel mode device filter，KMDF)驅動程式40位於觸控裝置物件實體裝置物件(Object Physical Device Object)(PDO)44與用戶層服務46之間。PDO代表Windows作業系統中的邏輯裝置。在某些實施例中，篩選器驅動程式是觸控供應商不可知論但為Windows專用。
此架構使用驅動程式74亦可支援標準HID在I2C協定上。其使用滑鼠驅動程式70亦可支援實體滑鼠。
此篩選器驅動程式擷取在觸控裝置與用戶層服務之間的所有資料交易，特別是來自外部觸控控制器48的觸控事件資料。其處理此資料並辨識在觸控螢幕上的預定義的手指手勢，且接著將他們轉譯成滑鼠事件。此等事件透過虛擬HID滑鼠實體裝置物件(Virtual HID Mouse Physical Device Object)(PDO)50及HID類型驅動程式72被傳送到OS。
此篩選器驅動程式40的內部架構顯示於圖13。顯示於圖13及圖11中的架構意指在觸控解決方案上的兩種不同的滑鼠。圖13顯示中央處理器篩選器驅動程式為基礎的解決方案的架構設計。此架構設計在CPU上執行的Windows軟體驅動程式內部實施。其不使用顯示於圖11中的核心。其包括三個主要部分。觸碰事件資料擷取回呼(Touch Event Data Capature Callbacks)60是註冊成對觸控裝置44物件的每一請求的回呼功能，以及一組資料提取功能。每當觸控裝置物件完成充滿觸碰資料的請求就會呼叫此等功能。此等功能提取感興趣的資料並將該資料傳送到下一收件箱模組68，其包括X/Y座標、在觸控螢幕上的手指數以及個別手指識別符。此外，取決於來自資料轉換及轉譯(Data Conversion and Translation)模組62的虛擬滑鼠有效(Virtual Mouse Active)的結果(是/否)，回呼決定是否將原始觸碰事件資料傳送至OS(菱形66)。
觸碰資料轉換及轉譯62是篩選器的主要邏輯 部分，其辨識預定義的手指手勢，將他們轉譯成滑鼠資料並決定(菱形66)是否進入虛擬滑鼠(Virtual Mouse)模式。此部分為如圖14所示的實施的狀態機。
虛擬滑鼠裝置物件處置器(Virtual Mouse Device Object Handler)64接收轉換的滑鼠事件資料並將其包裝成HID輸入報告，且接著將報告經由虛擬滑鼠裝置物件(Virtual Mouse Device Object)50傳送到OS。
在一實施例中，定義手指手勢用以與圖15、16、17及18所示之虛擬滑鼠作用。三個手指停留在觸控螢幕上不移動一時間長度(例如三秒鐘)會致動如圖15所示的觸碰事件轉譯(touch-to-event translation)。此使篩選器驅動程式無法將原始觸碰事件資料傳到OS。當觸碰事件轉譯為有效時，再次放置三個手指在觸控螢幕上會停用此轉譯並允許原始觸碰事件資料透過圖13中的收件箱模組68傳到篩選器驅動程式。
若一個手指只觸碰並如箭頭A所示地移動，則滑鼠游標在螢幕上移動如圖16中由箭頭B所示。若兩個手指觸碰並一起移動如箭頭C所示，則滑鼠游標移動如由箭頭B所示，猶如左鍵按下(Left Button Down)(拖放圖像I)被啟動如圖17中由箭頭D所示。
若一個手指觸碰，如圖18A及圖18B中由圓圈T所示，且接著在一時間長度(例如200ms)以內另一個手指觸碰且接著移開(輕敲)，則觸發滑鼠按鍵點擊事件。辨識是否意圖右按鍵點擊或左按鍵點擊取決於輕敲的 手指F是否在左邊(圖18A)還是在右邊(圖18B)。
在一實施例中，為支援觸碰滑鼠事件轉譯及手勢如上述，圖14所示的狀態機實施於圖13的觸碰資料轉換及轉譯模組62。
在圖14中所繪示的一實施例中有四個狀態。在閒置狀態(Idle State)90中，無手指在觸控螢幕上且沒有產生滑鼠事件。在一個手指狀態(One Finger State)92中，根據此手指在觸控螢幕上移動的距離和方向，偵測到一個手指在觸控螢幕上且傳送滑鼠移動事件到OS。在一個手指進入兩個手指狀態(One Finger Entering Two Finger State)94中，從一個手指狀態偵測到兩個手指在觸控螢幕上狀態。然而，不確定此是否為一個使用者手指輕敲事件。所以流程等待點擊逾時(Click Timeout)(例如200ms)。如果在此時間用完之前再次偵測到只有一個手指在觸控螢幕上，則流程回到一個手指狀態92並觸發左/右鍵點擊事件(LEFT/RIGHT Button Click Event)。若此逾時發生，則狀態將變成兩個手指狀態(Two Finger State)96。在兩個手指狀態96中，根據此二手指在觸控螢幕上移動的距離和方向偵測到兩個手指在觸控螢幕上且游標移動，左鍵按下事件傳送到OS。
此外，在一實施例中，掃描逾時(Scan Timout)(例如20ms)等於兩倍觸碰掃描間隔(Touch Scan Interval)。若在此掃描逾時之後沒有接收到觸碰事件，則使用者已經自螢幕移開所有手指且流程回到閒置狀 態。
根據某些實施例，諸如觸控螢幕的觸控輸入裝置，藉由同時以一個以上的手指觸碰螢幕，可操作於滑鼠模式中。在一實施例中，可使用三個手指。在一實施例中，三個手指可以是拇指連同食指及中指。接著，食指及中指可用來左點擊及右點擊以輸入虛擬滑鼠命令。
在某些實施例中，系統可偵測以多個手指在觸控輸入裝置上的同時觸碰。在三個手指螢幕觸碰命令的情況下，系統可判斷是否為左或右手在該裝置上，以及三個手指的相對位置。可以辦得到的一種方法在於解析由三個接觸點所界定的三角形的性質及特別是它的形狀，且由此判斷是否為使用者的左手抑或是右手在該裝置上。此種手辨識在判斷是否發出左點擊或右點擊的信號而言可說是重要的。在一實施例中視使用左手或右手的哪一手可藉由在該螢幕上輕敲食指或中指而發出左點擊或右點擊的信號。在一實施例中，左手的食指位於右側位置，且右手的食指位於左側位置。二者皆為左點擊。所以手辨識在某些實施例中可說是重要的。
以下條款及/或範例關於進一步實施例。
一示例實施例可以是一種方法，包含偵測在觸控輸入裝置上的接觸、判斷該接觸的位置、以及顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變。一方法亦可包括回應於朝向螢幕邊緣移動的該接觸，將游標從相對於該接觸之較接近中央的第一位置移到相對 於該接觸之較不接近中央的第二位置。一種方法亦可包括根據接近螢幕邊緣將游標繞著該接觸移動。一種方法亦可包括使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。一種方法亦可包括於初始化期間載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。一種方法亦可包括透過虛擬滑鼠裝置物件展示滑鼠輸入事件給作業系統。一種方法亦可包括使用核心模式驅動程式產生該虛擬滑鼠裝置物件。一種方法亦可包括偵測該輸入裝置是否處於觸控模式或是虛擬滑鼠模式，每一模式與不同的人性介面裝置封包產生關聯。一種方法亦可包括篩選出未偵測到的模式的封包。一種方法亦可包括使用用以實施虛擬滑鼠模式的驅動程式。
另一種示例實施例可包括一或多個非暫態電腦可讀媒體，其儲存指令，該等指令經執行用以實施一序列，包含：偵測在觸控輸入裝置上的接觸、判斷該接觸的位置、以及顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變。該媒體可包括該序列，其包括回應於朝向螢幕邊緣移動的該接觸，將游標從相對於該接觸之較接近中央的第一位置移到相對於該接觸之較不接近中央的第二位置。該媒體可包括根據接近螢幕邊緣將游標繞著該接觸移動。該媒體可包括該序列，其包括使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。該媒體可包括於初始化期間載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。該媒體可包 括該序列，其包括透過虛擬滑鼠裝置物件展示滑鼠輸入事件給作業系統。該媒體可包括該序列，其包括使用核心模式驅動程式產生該虛擬滑鼠裝置物件。該媒體可包括該序列，其包括偵測該輸入裝置是否處於觸控模式或是虛擬滑鼠模式，每一模式與不同的人性介面裝置封包產生關聯。該媒體可包括該序列，其包括篩選出未偵測到的模式的封包。該媒體可包括該序列，其包括使用用以實施虛擬滑鼠模式的驅動程式。
在另一種示例實施例可包括一設備，包含處理器及耦合到該處理器的儲存器，該處理器用以偵測在觸控輸入裝置上的接觸、判斷該接觸的位置、以及顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變。該設備可包括該處理器，其包括回應於朝向螢幕邊緣移動的該接觸，將游標從相對於該接觸之較接近中央的第一位置移到相對於該接觸之較不接近中央的第二位置。該設備可包括該處理器，用以根據接近螢幕邊緣將游標繞著該接觸移動。該設備可包括該處理器，用以使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。該設備可包括該處理器，用以於初始化起期載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。
說明書中所提到的「一實施例」或「某一實施例」是表示配合該等實施例所敘述的特定特徵、結構、或特性包括在本發明至少一實施例。因此，「一實施例」 或「某一實施例」的出現並不一定都是指相同的實施例。此外，特定特徵、結構、或特性可以所說明之特定實施例以外的其他適合形式創建，且所有此種形式可包含在本申請案的申請專利範圍中。
雖然已參照特定實作來敘述某些實施例，但熟於此技藝之人士將可體認到來自前述實施例的眾多修改及變化。所附的申請專利範圍意圖涵蓋在本發明的真正精神與範疇內的所有修改及變化。

Claims (21)

  1. 一種用於多點觸控虛擬滑鼠的電腦實施方法，包含：偵測在觸控輸入裝置上的接觸；判斷該接觸的位置；顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變；以及偵測該輸入裝置是否處於觸控模式或是虛擬滑鼠模式，其中每一模式與不同的人性介面裝置(HID)封包產生關聯，且該HID封包包括用以偵測該觸控模式的觸控HID封包以及用以偵測虛擬滑鼠模式的滑鼠HID封包。
  2. 如申請專利範圍第1項之方法，包括回應於朝向螢幕邊緣移動的該接觸，將該游標從相對於該接觸之較接近中央的第一位置移到相對於該接觸之較不接近中央的第二位置。
  3. 如申請專利範圍第1項之方法，包括根據接近螢幕邊緣將該游標繞著該接觸移動。
  4. 如申請專利範圍第1項之方法，包括使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。
  5. 如申請專利範圍第4項之方法，包括於初始化期間載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。
  6. 如申請專利範圍第1項之方法，包括透過虛擬滑鼠裝置物件展示滑鼠輸入事件給作業系統，該虛擬滑鼠裝置物件由核心模式驅動程式產生。
  7. 如申請專利範圍第1項之方法，包括篩選出未偵測到的模式的封包。
  8. 如申請專利範圍第1項之方法，包括使用用於實施虛擬滑鼠模式的驅動程式。
  9. 一種用於多點觸控虛擬滑鼠的非暫態電腦可讀媒體，其儲存指令，該等指令經執行用以實施以下序列：偵測在觸控輸入裝置上的接觸；判斷該接觸的位置；顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變；以及偵測該輸入裝置是否處於觸控模式或是虛擬滑鼠模式，其中每一模式與不同的人性介面裝置(HID)封包產生關聯，且該HID封包包括用以偵測該觸控模式的觸控HID封包以及用以偵測該虛擬滑鼠模式的滑鼠HID封包。
  10. 如申請專利範圍第9項之媒體，該序列包括回應於朝向螢幕邊緣移動的該接觸，將該游標從相對於該接觸之較接近中央的第一位置移到相對於該接觸之較不接近中央的第二位置。
  11. 如申請專利範圍第9項之媒體，該序列包括根據 接近螢幕邊緣將該游標繞著該接觸移動。
  12. 如申請專利範圍第9項之媒體，該序列包括使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。
  13. 如申請專利範圍第12項之媒體，該序列包括於初始化期間載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。
  14. 如申請專利範圍第9項之媒體，該序列包括透過虛擬滑鼠裝置物件展示滑鼠輸入事件給作業系統，該虛擬滑鼠裝置物件由核心模式驅動程式產生。
  15. 如申請專利範圍第9項之媒體，該序列包括篩選出未偵測到的模式的封包。
  16. 如申請專利範圍第9項之媒體，該序列包括使用用於實施虛擬滑鼠模式的驅動程式。
  17. 一種用於多點觸控虛擬滑鼠的設備，包含：處理器，該處理器用以：偵測在觸控輸入裝置上的接觸；判斷該接觸的位置；顯示在相對於該接觸的位置處的游標，其根據該接觸的位置改變；以及偵測該輸入裝置是否處於觸控模式或是虛擬滑鼠模式，其中每一模式與不同的人性介面裝置(HID)封包產生關聯，且 該HID封包包括用以偵測該觸控模式的觸控HID封包以及用以偵測該虛擬滑鼠模式的滑鼠HID封包；以及儲存器，耦合到該處理器。
  18. 如申請專利範圍第17項之設備，該處理器用以回應於朝向螢幕邊緣移動的該接觸，將該游標從相對於該接觸之較接近中央的第一位置移到相對於該接觸之較不接近中央的第二位置。
  19. 如申請專利範圍第17項之設備，該處理器用以根據接近螢幕邊緣將該游標繞著該接觸移動。
  20. 如申請專利範圍第17項之設備，該處理器用以使用供應商獨立核心來致能獨立於觸控供應商核心操作的機制。
  21. 如申請專利範圍第20項之設備，該處理器用以於初始化期間載入該等供應商獨立核心，在圖形處理單元上執行他們而不依賴任何平台作業系統。
TW104138315A 2014-12-22 2015-11-19 用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體 TWI617949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/US14/71797 2014-12-22
PCT/US2014/071797 WO2016105329A1 (en) 2014-12-22 2014-12-22 Multi-touch virtual mouse

Publications (2)

Publication Number Publication Date
TW201643608A TW201643608A (zh) 2016-12-16
TWI617949B true TWI617949B (zh) 2018-03-11

Family

ID=56151142

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138315A TWI617949B (zh) 2014-12-22 2015-11-19 用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體

Country Status (7)

Country Link
US (1) US20160364137A1 (zh)
EP (1) EP3238008A4 (zh)
JP (1) JP6641570B2 (zh)
KR (1) KR102323892B1 (zh)
CN (1) CN107430430A (zh)
TW (1) TWI617949B (zh)
WO (1) WO2016105329A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014081104A1 (en) * 2012-11-21 2014-05-30 Lg Electronics Inc. Multimedia device for having touch sensor and method for controlling the same
US10088943B2 (en) * 2015-06-30 2018-10-02 Asustek Computer Inc. Touch control device and operating method thereof
CN105630393B (zh) * 2015-12-31 2018-11-27 歌尔科技有限公司 一种触摸屏工作模式的控制方法和控制装置
CN107728910B (zh) * 2016-08-10 2021-02-05 深圳富泰宏精密工业有限公司 电子装置、显示屏控制系统及方法
CN110088720B (zh) * 2016-12-27 2023-09-05 松下知识产权经营株式会社 电子设备、输入控制方法以及存储介质
TWI649678B (zh) * 2017-11-08 2019-02-01 波利達電子股份有限公司 Touch device, touch device operation method and storage medium
JP6857154B2 (ja) * 2018-04-10 2021-04-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2021076959A (ja) * 2019-11-06 2021-05-20 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
CN113282186B (zh) * 2020-02-19 2022-03-11 上海闻泰电子科技有限公司 将hid触摸屏自适应成键盘鼠标的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
TWM408737U (en) * 2011-01-12 2011-08-01 Dexin Corp Mouse device with touch panel

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US8754855B2 (en) * 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
CN106131178A (zh) * 2008-12-05 2016-11-16 社会传播公司 实时内核
US20100214218A1 (en) * 2009-02-20 2010-08-26 Nokia Corporation Virtual mouse
JP2011028524A (ja) * 2009-07-24 2011-02-10 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
WO2012047757A1 (en) * 2010-10-04 2012-04-12 Avocent System and method for monitoring and managing data center resources in real time incorporating manageability subsystem
US8839240B2 (en) * 2010-11-29 2014-09-16 International Business Machines Corporation Accessing vendor-specific drivers for configuring and accessing a self-virtualizing input/output device
US9235340B2 (en) * 2011-02-18 2016-01-12 Microsoft Technology Licensing, Llc Modal touch input
US8643616B1 (en) * 2011-07-29 2014-02-04 Adobe Systems Incorporated Cursor positioning on a touch-sensitive display screen
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
JP5520918B2 (ja) * 2011-11-16 2014-06-11 富士ソフト株式会社 タッチパネル操作方法及びプログラム
US9671880B2 (en) * 2011-12-22 2017-06-06 Sony Corporation Display control device, display control method, and computer program
JP5388246B1 (ja) * 2012-08-31 2014-01-15 Ｎｅｃシステムテクノロジー株式会社 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
CN105210022A (zh) * 2013-03-14 2015-12-30 英特尔公司 在计算装置中提供混合触摸板
US9558133B2 (en) * 2013-04-17 2017-01-31 Advanced Micro Devices, Inc. Minimizing latency from peripheral devices to compute engines
CN103324306A (zh) * 2013-05-11 2013-09-25 李隆烽 一种触屏计算机鼠标模拟系统及方法
CN105431810A (zh) * 2013-09-13 2016-03-23 英特尔公司 多点触摸虚拟鼠标
US20150091837A1 (en) * 2013-09-27 2015-04-02 Raman M. Srinivasan Providing Touch Engine Processing Remotely from a Touch Screen
CN103823630A (zh) * 2014-01-26 2014-05-28 邓湘 一种虚拟鼠标
US9678639B2 (en) * 2014-01-27 2017-06-13 Bentley Systems, Incorporated Virtual mouse for a touch screen device
US20160132139A1 (en) * 2014-11-11 2016-05-12 Qualcomm Incorporated System and Methods for Controlling a Cursor Based on Finger Pressure and Direction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
TWM408737U (en) * 2011-01-12 2011-08-01 Dexin Corp Mouse device with touch panel

Also Published As

Publication number Publication date
JP2018503166A (ja) 2018-02-01
US20160364137A1 (en) 2016-12-15
KR20170095832A (ko) 2017-08-23
WO2016105329A1 (en) 2016-06-30
EP3238008A1 (en) 2017-11-01
EP3238008A4 (en) 2018-12-26
JP6641570B2 (ja) 2020-02-05
KR102323892B1 (ko) 2021-11-08
CN107430430A (zh) 2017-12-01
TW201643608A (zh) 2016-12-16

Similar Documents

Publication Publication Date Title
TWI617949B (zh) 用於多點觸控虛擬滑鼠的設備、電腦實施方法及非暫態電腦可讀媒體
KR101844366B1 (ko) 터치 제스처 인식 장치 및 방법
CN102262504B (zh) 带虚拟键盘的用户交互手势
EP3712758B1 (en) Touch event model
US8842084B2 (en) Gesture-based object manipulation methods and devices
TWI608407B (zh) 觸控裝置及其控制方法
KR101361214B1 (ko) 터치스크린의 제어영역을 설정하는 인터페이스 장치 및 방법
US20170357403A1 (en) Force vector cursor control
TWI451309B (zh) Touch device and its control method
US20110175827A1 (en) Filtering Input Streams in a Multi-Touch System
JPWO2013094371A1 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
WO2011066343A2 (en) Methods and apparatus for gesture recognition mode control
TW201531925A (zh) 多點觸控虛擬滑鼠
WO2018019050A1 (zh) 基于触敏表面—显示器的手势控制交互方法与设备
TWI615747B (zh) 虛擬鍵盤顯示系統及方法
TW201741814A (zh) 視窗控制方法及行動終端
US20140298275A1 (en) Method for recognizing input gestures
TWI497357B (zh) 多點觸控板控制方法
US20180059806A1 (en) Information processing device, input control method for controlling input to information processing device, and computer-readable storage medium storing program for causing information processing device to perform input control method
US20150153925A1 (en) Method for operating gestures and method for calling cursor
WO2016070465A1 (zh) 多事件输入的方法和终端
WO2016206438A1 (zh) 一种触屏控制方法和装置、移动终端
KR101405344B1 (ko) 가상 터치 포인터를 이용한 화면 제어 방법 및 이를 수행하는 휴대용 단말기
KR101706909B1 (ko) 핑거 입력장치
TW201528114A (zh) 電子裝置及其觸控系統、觸控方法