TWI478010B - 使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法 - Google Patents

使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法 Download PDF

Info

Publication number
TWI478010B
TWI478010B TW099112662A TW99112662A TWI478010B TW I478010 B TWI478010 B TW I478010B TW 099112662 A TW099112662 A TW 099112662A TW 99112662 A TW99112662 A TW 99112662A TW I478010 B TWI478010 B TW I478010B
Authority
TW
Taiwan
Prior art keywords
indicator
position signal
control device
input
dynamic
Prior art date
Application number
TW099112662A
Other languages
English (en)
Other versions
TW201101121A (en
Inventor
Philippe Morin
Luca Rigazio
Original Assignee
Panasonic Ip Corp America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Ip Corp America filed Critical Panasonic Ip Corp America
Publication of TW201101121A publication Critical patent/TW201101121A/zh
Application granted granted Critical
Publication of TWI478010B publication Critical patent/TWI478010B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Description

使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法
本發明係有關於使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法。
發明背景
本發明大體上與用以響應於來自一輸入裝置的輸入而在一顯示系統上產生及顯示指標或遊標的方法、控制器及控制裝置有關。較特別的是,本發明與響應於複數個輸入來源且由此產生複數個指標或遊標的方法、控制器及控制裝置有關。
提供新穎及先進的互動方法的各種新無線或有線控制器被引入用於消費性電子產品。該新趨勢旨在脫離傳統的基於按鈕的方法且旨在透過使用諸如觸摸板、觸摸螢幕、迴轉儀、加速度計、電容感測器及類似者的多個感測器來實現一種新的使用者體驗。在電視競爭場所中,此趨勢在某種程度上是新應用市場的一反應,該新應用市場是結合發展中的基於網際網路之服務、多媒體娛樂及遊戲。
應用所需的一種常見且通用的互動與用以指向及選擇顯示於一顯示系統的一圖形使用者介面上的元素的能力有關。此類型的互動依賴該使用者可經由,例如,一觸摸螢幕、觸摸板或迴轉式輸入來控制的一圖形指標或遊標的使用。大多數基於指標的互動系統使用一單一指標且實際上利用一滑鼠指標來模擬電腦世界中產生的互動。
考慮到該單一指標方法被普遍及廣泛採用,在過去的數十年中,的確證明了其便利性及價值。然而,此處認為許多任務可大大得益於一雙指標互動以使使用者之使用便利性增加且互動速度提升。在雙模互動中,使用者通常將使用雙手(一隻手控制一個指標)。用於改良的目標任務尤其包括:
‧ 使用顯示於該介面上的一虛擬鍵盤來輸入文字;及
‧ 從顯示於該介面上的一對象集合中選擇多個對象。
雙指標互動可僅藉由使用二輸入來源(例如,二觸摸板)且藉由獨立管理該等指標(在絕對或相對輸入模式中)來實施。獨立方法包括疊加在整個互動螢幕上的基本指標(即二指標位於一共用區域上)或在一顯示器上顯示為二靜態子區域的該互動區域的基本分離(即針對每個指標定義的一個區域)。
然而,獨立雙指標管理方法具有缺點及局限性當涉及指定之便利性、可用性及/或精度時。此等限制條件與二基本互動觀察有關。首先,使使用者感到混亂的是控制可能彼此交叉的指標。利用右手控制的一指標應該較佳地維持在由左手操作的指標的右手邊且反之亦然。其次,可能令使用者感到失望的是在一指標被局限於一特定區域的情況下被迫使用左指標完成一組動作且被迫使用右手完成另一組動作(例如,一分離式鍵盤)。
此發明使用一新穎的相互依賴(inter-dependent)的雙指標管理方法有效地克服了此等局限性。
發明概要
本文所揭露的該技術藉由定義一種新穎的指標管理方法使用於基於雙指標的輸入的互動能夠更加直觀、更加方便且更加有效率,該技術經由一種有效率的脈絡性動態座標重對映方法在該二輸入來源(例如,二觸摸板、具有二輸入區域的多點式觸摸觸摸板、二搖桿)之間使用一合作模型。
該方法實施不交叉左及右(或上及下)指標同時使使用者能夠利用該等指標中的任一指標隨時指向任何對象,從而為該互動帶來便利性及直觀性。其還使使用者能夠以較高的速度進行互動因為該使用者可針對每種特定情況更加輕易地使指向移動最佳化。
所揭露的該等實施例將特定任務作為目標,諸如,文字輸入及多對象選擇,儘管其他應用也可使用本文所揭露的該技術來實施。該雙指標構想可延伸到具有兩個以上輸入來源及兩個以上指標的多指標應用。
如將在本文中更加全面地加以解釋者,所揭露的該技術具有許多優勢,包括但不限於下列:
1. 定義實施不交叉指標(例如,左及右指標)的雙指標管理協定,
2. 主要目標為絕對雙指標模式但是核心原理也適用於相對指向,
3. 定義使用左及右指標資訊將輸入座標(例如,從一觸摸板)轉換為輸出座標(例如,至螢幕)的一相互依賴的重對映程序,
4. 該等相互依賴的重對映參數在每個左及/或右手指活動之後被重新估計(相對於固定重對映的脈絡性重對映),
5. 該等重對映功能經由脈絡性粘性(contextual stickiness)在該等輸入感測器邊緣處提供動作連續性及平滑性,
6. 本方法支援從單手操作到雙手操作的平滑切換且反之亦然,
依據一層面,所揭露的該技術提供用以在一顯示螢幕上產生複數個指標的一裝置。該裝置包含接收來自複數個輸入裝置的位置輸入資料的一多位置輸入系統,及產生用以在該顯示螢幕上顯示且各位於一不同的指標位置的複數個指標的一指標產生系統。該裝置進一步包含一映射積分處理器,該映射積分處理器經組配在計算每個指標位置的時候考慮到來自所有該等複數個輸入裝置的位置輸入資料來計算該等不同的指標位置。該映射積分處理器進一步經組配以計算該等不同指標位置,使得每個位置位於一動態邊界的一不同邊,該動態邊界由該處理器基於對來自該等複數個輸入裝置之該輸入資料的瞭解來調整。
依據另一層面,所揭露的該技術提供響應於複數個輸入裝置在一顯示螢幕上產生複數個指標的一方法。依據該方法,一第一位置信號自一第一輸入裝置接收;一第二位置信號自一第二輸入裝置接收;額外的位置信號被接收若多於兩個輸入裝置被提供。該等位置信號經電氣處理以計算與一顯示螢幕相關聯的一預定義顯示座標系統內的第一及第二指標位置。額外的指標位置可被計算出來若多於兩個位置信號被接收。該等計算指標位置彼此不同且均基於至少該第一位置信號及該第二位置信號二者。第一及第二指標在該顯示螢幕上產生,該第一指標在該第一指標位置處顯示且該第二指標在該第二指標位置處顯示。額外的指標可產生若多於兩個指標位置被計算出來。
依據該方法,計算該等第一及第二指標位置的處理步驟被執行使得該等第一及第二指標位置被局限於該顯示座標系統的一動態邊界的不同邊,其中該動態邊界基於該等第一及第二位置信號來調整計算。
圖式簡單說明
第1A圖是對實施本發明之該控制技術有用的一示範性遠端控制裝置,其具有兩個單獨的可點擊觸摸板;第1B圖是對實施本發明之該控制技術有用的一示範性遠端控制裝置,其具有一單一的多點式觸摸可點擊觸摸板;第2圖是第1A圖之該控制裝置的一示範性說明,顯示在控制映射到該顯示螢幕之相同螢幕區域的複數個指標方面的用途。此圖說明了為什麽在使用雙指標系統的時候使用者會感到混亂的一個原因;第3圖是第1A圖之該控制裝置的一示範性說明,顯示在控制複數個指標方面的用途,其中該等左及右指標被局限於該螢幕之二固定子區域;子區域可重疊或可不重疊;第4圖是第1A圖之該控制裝置的一示範性說明,顯示在該等左及右指標被局限於該螢幕之二固定子區域的情況下的近接衝突的一範例;第5A及5B圖是第1A圖之該控制裝置的示範性說明,說明用於右手邊指標的定址空間如何被左手邊指標x軸位置限制或局限於左邊;及用於該左手邊指標的該定址空間如何被該右手邊指標x軸位置限制或局限於右邊,其中該等邊界動態地移動;第6圖是第1A圖之該控制裝置的一示範性說明,顯示用於該雙指標管理技術的一第一實施例的邊界條件;第7圖是該雙指標管理技術的一替代實施例的一示範性說明,其中該動態分離准許指標略微重疊;第8圖是該雙指標管理技術的又一實施例的一示範性說明,其中該動態分離實施外部界限限制以增加有效的指標解析度;第9圖是該雙指標管理技術的另一實施例的一示範性說明,其中,在相對模式中,由於右互動區域之較大的動態區域,該螢幕空間中的位移偏移對該右指標比該左指標更重要;第10圖是與一顯示螢幕一起工作的一控制裝置的一示範性實施例的一硬體電路方塊圖;第11圖是一流程圖,顯示由第10圖之該CPU(或處理器)及圖形產生器執行以使由該控制裝置提供的該功能生效的示範性操作;第12圖是一功能方塊圖,說明用以在一顯示螢幕上產生複數個指標的一控制裝置之該示範性功能;第13圖是一功能方塊圖,說明使用一多位置輸入系統的該控制裝置的一替代實施例。
較佳實施例之說明
本發明之該技術可與能夠實現雙指標或多指標輸入的各種輸入裝置一起使用。出於說明的目的,兩個示範性輸入裝置在第1A及1B圖中顯示出來。第1A圖中所說明的該裝置是特徵為具有兩個單獨的可點擊觸摸板的一遠端控制器。第1B圖中所說明的該裝置是特徵為具有可同時鑒別多個觸摸輸入的一單一的多點式觸摸表面的一遠端控制器。將瞭解的是此等裝置僅為兩個可能的示範性實施例;使用其他類型的控制感測器的其他實施例也是可能的。例如,一雙指標裝置可使用多個搖桿、軌跡球、近接感測器或類似者來實施。
為了更好地理解本發明中所涉及的構想,現在將呈現各種指標管理方法的討論。指標管理方法依賴存在於該螢幕之指向裝置空間(例如,觸摸板表面)與該螢幕之目標區域之間的映射的類型。此揭露開始將聚焦於絕對指向方法,但是此處引入的該基本構想也可能與相對指向有關。與均使用一靜態策略的習知方法(重疊方法、基本分離方法)相比,本發明使用一動態方法來管理雙指標或多指標。
將從本文之說明中理解的是,此處所描述的本發明技術適用於提供兩個或兩個以上單獨定址空間的任何輸入裝置;此可,例如,使用兩個或兩個以上單獨感測器(例如,第1A圖之二觸摸板)或使用具有具有兩個邏輯區域的兩個或兩個以上單獨區域的一單一感測器(第1B圖之一多點式觸摸觸摸板),來實施。
參照第1A圖,該示範性遠端控制器的特徵為兩個可點擊觸摸板20、22及一組可定義應用按鈕24。裝置方向(橫擺、直擺)及手部位置經由電容及加速度感測器來自動檢測。參照第1B圖,該示範性遠端控制器的特徵為一單一的多點式觸摸觸摸板26。若需要的話,該觸摸板26上的某些指定區域可指定給一組可定義應用按鈕,當輕擊該組按鈕時,以與第1A圖之該實施例之該等按鈕24相同的方式來發揮作用。
指標重疊方法的問題
如第2圖中所見者,該重疊方法使用一目標螢幕區域30與該二觸摸板區域20、20中的任一區域之間的一1對1映射。該使用者可任意使用右或左指標來指向該螢幕區域中的任何位置。(在第2圖中,且在後續的第2-9圖中,該等右及左指標在圖形上被描述為人的右及左拇指的局部影像:右指標32及左指標34)。該重疊方法的主要缺點為該等左及右指標可輕易地彼此交叉,此可能使該使用者有時感到有點混亂。另一問題是不利的總顯示解析度(designation resolution)因為每個觸摸板覆蓋相同的螢幕區域。在水平空間中,兩個觸摸板寬度(即,用於左及右觸摸板)用以映射成兩個螢幕寬度。
指標分離方法的問題
如第3圖中可見者,該基本分離方法通常在每個觸摸板與目標螢幕區域的一子部分之間建立一個1對1映射。實際上,由右手控制的右手邊指標32及由左手控制的左手邊指標34分別被局限於該螢幕區域的右手邊子部分30R及被局限於該螢幕區域的左手邊子部分30L。使用此方法,該等左及右指標彼此將不交叉,儘管二指標可在中部30M中共存而不交叉。除此之外,該分離指標方法改進了顯示解析度因為二觸摸板寬度被映射成一個目標螢幕區域寬度。因此,該基本分離方法具有優於該重疊方法的明顯優勢。然而,實驗顯示由於第4圖中所說明的察覺到的近接衝突的緣故使用者有時感到有些不舒服。
如第4圖中所示,為了接近目標,有時該使用者自然會發現想使用該右指標來代替該左指標;但是該固定子部分所強加的該固定分離阻止了它,從而產生了一心智近接衝突。儘管對大多數使用者來說使用該右指標32來接近該輸入目標T更自然,但該右指標不能移動到此位置因為其被局限於該顯示器的右邊部分。
前文提到的問題的解決方案
本發明使用一種新穎的動態分離方法來滿足上文所提到的該等需求且該等需求為:
‧ 左及右指標互不交叉
‧ 高顯示解析度
‧ 使用任何手指來指向任何目標座標的能力
利用該新穎的動態分離方法,用於該等左及右指標的該螢幕定址區域未被靜態地定義,而是基於此等指標的實際位置來動態地調整。如第5A及5B圖中所示,用於該右手邊指標的該定址空間R遭該左手邊指標x軸位置限制於左邊。又用於該左手邊指標的該定址空間L遭該右手邊指標x軸位置限制於右邊。此等邊界隨著該等指標的來回移動而即時地動態變動。
使用該動態分離方法,以各種方式來實施本發明從而實現絕對指標管理及相對指標管理是可能的。完成此事的若干方式在下文中加以說明。第6圖中所說明的該基本動態指標管理方法對該動態邊界進行連續地重新估計使得該等右及左指標不能橫越到另一指標的區域中。第7圖中所說明的該指標略微交叉方法大體上實施該絕對指標管理方法之該動態方法,但是准許每個指標在另一指標區域中略微重疊。第8圖中所說明的該指標管理方法實施該基本動態方法,加入了迫使外部界限限制進一步改進有效率的指標解析度的特徵。在下文之詳細解釋中,該絕對指標管理實例首先被考量,之後為該相對指標管理實例的討論。
從以下的描述將理解的是,該動態邊界將共用顯示空間細分為一左區域及一右區域,其中該動態邊界界定了該左區域的一右邊緣及該右區域的一左邊緣。在該基本動態指標管理方法中,該動態邊界可表示為一個大體垂直的一維線,使得該等左及右邊緣彼此重合(即該等左及右區域彼此鄰接)。在該略微重疊動態指標管理方法中,該動態邊界表示將該等左及右區域分開的一個二維邊界區域(例如,諸如一矩形區域)。在此略微重疊實例中,該等左及右邊緣彼此遠離,該動態邊界區域位於其間。
絕對指標管理
基本動態邊界方法
由於動態邊界的原因,觸摸板座標與螢幕座標之間的重對映必須被連續地重新估計。該新穎的重對映方法定義了一組所欲性質及限制條件以提供連續性及動作平滑性。
以下該組表示核心限制條件:
(1) Left_Remap(TLLx(t))==SLLx(t)
(2) Left_Remap(TLRx(t))==SLRx(t)
(3) SLRx(t)==SRx(t)
(4) SRx(t)==Right_Remap(TRx(t))
(5) Right_Remap(TRRx(t))==SRRx(t)
(6) Right_Remap(TRLx(t))==SRLx(t)
(7) SRLx(t)==SLx(t)
(8) SLx(t)==Left_Remap(TLx(t))
(9) SLRx(t)==SRx(t)
(10) SRLx(t)==SLx(t)
上面的該等限制條件(3)及(7)建立能夠實現可達性及連續性的一可變粘性。該左觸摸板之該右手邊以及該右觸摸板之該左手邊處最強。假定,例如,該使用者的手指處於該右觸摸板上的TRLx位置,該左指標的任何移動也將使該右指標移動。當該使用者的手指位於該右觸摸板且向TRRx的位置移動時該粘性逐漸消失。
當一正規化空間用於觸摸板及螢幕座標時,(即分別為TLLx=0.0,TRLx=0.0,SLLx=0.0,TLRx=1.0,TRRx=1.0及SRRx=1.0),此等等式可如下列公式重新表示:
(1) Left_Remap(0.0)==0.0
(2) Left_Remap(1.0)==SLRx(t)
(3) SLRx(t)==SRx(t)
(4) SRx(t)==Right_Remap(TRx(t))
(5) Right_Remap(1.0)==1.0
(6) Right_Remap(0.0)==SRLx(t)
(7) SRLx(t)==SLx(t)
(8) SLx(t)==Left_Remap(TLx(t))
(9) SLRx(t)==SRx(t)
(10) SRLx(t)==SLx(t)
此等限制條件的一重要結果為不允許指標交叉,但是同時允許任何指標為目標螢幕區域之任何所欲位置定址。許多具有此等目標性質的轉換可被設計出來。
此發明之該較佳實施例由用於該左指標及右指標的該等下列轉換來定義當使用該正規化空間時:
Left_Remap(TLx(t))=0.5*TLx(t)+0.5*TRx(t)*TLx(t)
Right_Remap(TRx(t))=0.5*TLx(t)+1.0*TRx(t)-0.5*TRx(t)*TLx(t)
它們可表示為下列矩陣乘積:
其與的一特定二次系統相對應,其中未使用該平方項TLx(t)2 及TRx(t)2 。Clip()函數剪掉了(clip)[0.0:1.0]範圍之外的值。
上面所顯示的該等方程式適用於雙手指互動但可輕易地延伸為單手指互動。在該左手邊的手指從該觸摸板的表面移開時,根據定義,該等方程式仍然有效:
SLX(t)==0.0 t
相對地,在該右手邊的手指從該觸摸板的表面移開時,根據定義,該等方程式仍然有效:
SRX(t)==1.0 t
基於替代限制條件的其他實施例通過放寬該等核心限制條件中的某些限制條件而推導出來。
指標略微交叉選擇
指標略微交叉的一替代實施例將使用下列限制條件:
(1) Left_Remap(TLLx(t))==SLLx(t)
(2) Left_Remap(TLRx(t))==SLRx(t)
(3) SLRx(t)==Min(1,SRx(t)+Offsetx)
(4) SRx(t)==Right_Remap(TRx(t))
(5) Right_Remap(TRRx(t))==SRRx(t)
(6) Right_Remap(TRLx(t))==SRLx(t)
(7) SRLx(t)==Max(0,SLx(t)-Offsetx)
(8) SLx(t)==Left_Remap(TLx(t))
(9) SLRx(t)==SRx(t)
(10) SRLx(t)==SLx(t)
則用於此實施例的該轉換將為:
其中α表示重疊控制因數。
受到外部界限限制的一替代實施例將使用下列限制條件:
(1) Left_Remap(TLLx(t))==SLLx(t)
(2) Left_Remap(TLRx(t))==SLRx(t)
(3) SLRx(t)==Min(SRx(t),LimitLx)
(4) SRx(t)==Right_Remap(TRx(t))
(5) Right_Remap(TRRx(t))==SRRx(t)
(6) Right_Remap(TRLx(t))==SRLx(t)
(7) SRLx(t)==Max(SLx(t),LimitRx)
(8) SLx(t)==Left_Remap(TLx(t))
(9) SLRx(t)==SRx(t)
(10) SRLx(t)==SLx(t)
則用於此實施例的該轉換將為:
其中ω表示邊界控制因數。
相對指標管理
上述該等說明聚焦於絕對指向輸入模式。以下說明將聚焦於相對模式。在相對模式中,相同的不交叉指標限制條件(即動態邊界管理)被保留但觸摸板手指動作被解釋為相對於當前螢幕指標位置的一偏移。在該較佳實施例中該偏移量與當前螢幕區域之寬度成比例,也就是說,與:
針對左指標的WLx(t)=SLRx(t)-SLLx(t)成比例且與:
針對右指標的WRx(t)=SRRx(t)-SRLx(t)成比例
此比例之作用為1)當該螢幕區域較小時能夠實現一較佳的顯示精度及2)當該螢幕區域較大時能夠實現較快的接近。第9圖顯示在該左及右觸摸板上的一相同的刷式(swipe)動作的效果,此使該螢幕空間中產生不同偏移。在相對模式中,針對在各自的觸摸板上的相同的刷式動作而言,所說明的該螢幕空間中的該位移偏移對右指標的影響力是對左指標的兩倍,因為右互動區域之寬度是左互動區域的兩倍。
實施態樣範例
上述該等指標管理技術可以各種不同的實體實施例來實施。藉由舉例的方式,參照第10圖,該圖說明第1A圖之該遠端控制裝置可如何來實施。如所說明者,觸摸板A及觸摸板B與第1A圖之該等可點擊觸摸板20、22相對應。此等觸摸板可作為各安裝在一掣動結構中的電容觸摸表面來實施,該掣動結構允許各自的觸摸表面由正常施加於該觸摸板表面的一推力來點擊。此點擊動作啟動安裝在該觸摸板下的一微開關。該微開關在每次該面板被點擊時提供一瞬時二進信號。
在第1B圖之該多點式觸摸實施例中,該多點式觸摸表面能夠個別地檢測及鑒別來自右及左手的接觸且從而針對每根手指接觸該觸摸板表面提供一單獨的(x,y)位置資料點。使用者選擇一所欲(x,y)位置可由感測,例如,該使用者手指的一瞬時輕擊來實現。
在第10圖之該所說明的實施例中,該等觸摸板A及B各提供表示完成手指接觸的該(x,y)位置的一第一輸出信號及攜帶該微開關點擊資料的一第二輸出信號。此等輸出被饋送至雙埠觸摸板介面50,該雙埠觸摸板介面50提供一數位介面以接收來自各該觸摸板的各該輸出信號。該介面50將識別或位址資料與所接收的該等信號相關聯,以將觸摸板A(即第1A圖之左手觸摸板20)之信號與觸摸板B(即第1A圖之右手觸摸板22)之信號區分開。該等位址關聯資料從介面50饋送至處理器(CPU)52的一串行輸入。處理器(CPU)52可作為一微控制器、微處理器或類似者來實施。耦接至該處理器52的是儲存控制該等處理器如何發揮作用的操作指令的一第一記憶體(例如,EEPROM記憶體)54。說明此等指令的一流程圖在第11圖中顯示出來。為了提供工作記憶體來執行上述該等矩陣轉換,一適合的第二記憶體(例如,RAM記憶體)56被提供。在第10圖中,該轉換矩陣以57來圖形化地說明。
也耦接至該處理器的是按鈕陣列58。該按鈕陣列表示可定義應用按鈕(第1A圖之按鈕24)組。該按鈕陣列可使用適合的微開關、薄膜開關或類似者來實施。該按鈕陣列可如圖所示經由該串列介面耦接至該處理器52,或該陣列之個別按鈕均可經由該處理器之專用數位輸入(圖未示)來耦接。
為了實現對該指標顯示系統的控制,第10圖之該遠端控制裝置包括與一相對應的無線接收器62通訊的一無線發射器60。可使用射頻(RF)信號、紅外線(IR)信號或此二者來實現無線通訊。基於上述該等矩陣轉換,該處理器計算用於各該指標的各自的位置,使用映射積分功能來計算該等位置,使得處於指標之間的一動態邊界基於對該等觸摸板輸出信號之各自的(x,y)位置的瞭解來調整。該處理器經由該發射器60及接收器62將此等指標位置資料傳送至圖形產生電路64。該圖形產生電路經設計以產生用以在一顯示裝置68之顯示空間或顯示區域66內顯示的該各自的指標之圖形影像。該圖形產生器因而提供位元映射或向量圖形資料以呈現該指標之影像。此影像在其上呈現的該螢幕上的該點基於從該遠端控制裝置無線接收的資訊。當然,若需要的話,可在該處理器52與該圖形產生器64之間使用一有線連接。在這樣的實施例中,將不使用無線發射器及無線接收器。
作為上述基於處理器的該實施例的一替代者,上述該控制電路可使用一特定應用積體電路(ASIC)來實施,若需要的話。
在上述該等實施例中,該映射積分功能由該遠端控制裝置內的該處理器來提供。然而,若需要的話,該映射積分功能可可選擇地被置於受控消費性電子裝置(例如,機上盒、電視、電腦系統)中。在這樣的一種替代實施例中,該等位置信號被傳送至該受控裝置且與該受控裝置相關聯的一電路板上處理器或ASIC執行該映射積分功能。
第11圖提供一流程圖,其說明該處理器52如何被規劃且該圖形產生器64如何處理自該處理器接收的該等指令。在步驟100中,該處理器自該等輸入裝置(在此實例中為觸摸板A及B)接收輸入。此等輸入值給定觸摸板座標(x,y)且具有表示哪個觸摸板提供資料的相對應的位址。
在步驟102中,該處理器基於所使用的該轉換矩陣模型藉由在RAM中構造一轉換矩陣57來處理此等輸入資料。上述該說明已詳細地解釋了可基於該系統之所欲性能(絕對-相對;在受到/未受到外部界限限制的條件下能夠實現的基本的指標略微交叉)來使用的各種不同轉換矩陣。將理解的是該處理器基於所使用的該矩陣藉由執行該輸入資料之矩陣乘法來計算該等指標位置。
因此,在步驟104中,該處理器基於經該轉換矩陣處理的該等轉換輸入來計算該各自的指標位置之指標位置。此等指標位置接著使用該顯示空間之共用座標系統來映射到該顯示螢幕之該顯示空間中。
在步驟106中,該等指標位置接著被傳送至該圖形產生器。該圖形產生器64接著執行下列步驟:在步驟108中,圖形影像針對將被顯示出來的每個指標而產生。如上文所述,此等圖形影像可使用位元映射圖形來產生,其中該等指標影像預儲存在記憶體中,或使用向量圖形技術來即時產生該等影像。無論在哪種情況下,基於步驟104中所指定的該等位置,在該螢幕之該共用顯示空間內的多個位置處,該等影像被呈現於該顯示螢幕上,如步驟110所描述者。
動態控制方法之功能分析
從功能性的視角來看,該雙指標(或多指標)管理方法使用來自二(所有)輸入裝置的資料來計算該二(所有)指標之各自的位置。實際上,該輸入資料經由該轉換矩陣而交叉耦合,使得該等計算指標位置是相互依賴的。以此方式,該系統在該共用顯示座標系統內產生一動態邊界,其中該動態邊界由該處理器基於對來自該等輸入裝置的該等各自位置信號的瞭解來調整。
為了說明,請參見第12圖,該圖呈現依據所揭露的該發明的一指標控制裝置的一功能方塊圖。值得注意的是該等輸入裝置(裝置#1及裝置#2)及它們的關聯控制器分別在信號線200及202上提供一位置信號。此等信號被饋送至該映射積分器,該映射積分器分別在資料線206及208上產生用於該左指標及右指標的指標位置資料。此等指標位置資料接著被左指標控制器210及右指標控制器212使用來產生用以在該顯示空間66內顯示的該各自的左及右指標。該映射積分器部分基於該第一輸入裝置之該位置信號且部分基於該第二輸入裝置之該位置信號來計算該顯示座標系統內的該第一指標之位置,且部分基於該第二輸入裝置之該位置信號且部分基於該第一輸入裝置之該位置信號來計算該顯示座標系統內的該第二指標之位置。
作為進一步的說明,參照第13圖,該圖顯示一多裝置系統。在此範例中,三輸入裝置被加以說明,但是將理解的是該多裝置系統可具有任意複數個輸入裝置(即2個或2個以上輸入裝置)。在此實施例中,一單一的多位置輸入系統被加以使用。此系統自輸入裝置222中的每一者接收輸入位置信號且將表示此等輸入信號的資料提供給映射積分器204。該多位置輸入系統接收各該輸入裝置信號且將位址資訊附加給每個使得該資料呈現(addr,x,y)的形式。此等資料接著以一串流形式傳送至該映射積分器204。該映射積分器如上所述來發揮作用以產生該各自的指標位置信號。除此之外,該映射積分器還將指標識別標籤附加給計算出來的該等指標位置中的每一者。該映射積分器之輸出因而呈現(pointer tag(指標標籤),x,y)的形式,其中該指標標籤表示該資料所對應的指標(左、右、中間等)且該等x、y值表示該共用顯示座標系統內(即該顯示空間內)的位置。該指標產生系統205接收該映射積分器之輸出資料,藉由指標標籤來解析該資料且接著在該顯示空間內產生及顯示該等指標影像。
結論
從前文來看,將瞭解的是本發明使用新穎的動態邊界控制技術來解決多指標控制應用中出現的許多問題。本發明能夠實現一更直觀的互動模型,該互動模型用於雙指標為基的輸入,該雙指標為基的輸入是基於一不交叉(或略微交叉)指標方法,且允許使用者使用任何指標到達顯示器的任何區域。該等輸入裝置可以是提供至少一度或一度以上移動的任何指向裝置,諸如觸摸板、觸摸螢幕及搖桿。由於動態精度/靈活性折衷管理,當與傳統輸入方法比較時本發明還提供輸入速度優勢。
雙指標輸入的典型應用為,例如,使用呈現於螢幕上的一虛擬鍵盤的文字輸入,或多個對象選擇任務。該等雙指標技術也能很好地適用於遊戲應用。
本發明之說明的性質僅為示範性的且因此不背離本發明之要點的變化旨在本發明之範圍內。此等變化不應被視為背離本發明之精神及範圍。例如,儘管該矩陣轉換(使用一轉換矩陣)已在本文所描述的該等實施例中的某些實施例中加以使用,執行此等轉換的其他方式可可選擇地加以使用。
20、22...可點擊觸摸板
20...左手觸摸板
22...右手觸摸板
24...可定義應用按鈕/按鈕
26...多點式觸摸觸摸板/觸摸板
30...目標螢幕區域
30M...中部
30L...螢幕區域的左手邊子部分
30R...螢幕區域的右手邊子部分
32...右指標/右手邊指標
34...左指標/左手邊指標
50...雙埠觸摸板介面/介面
52...處理器(CPU)
54...第一記憶體
56...第二記憶體
57...轉換矩陣
58...按鈕陣列
60...無線發射器/發射器
62...無線接收器/接收器
64...圖形產生電路/圖形產生器
66...顯示空間
68...顯示裝置/顯示區域
100~110...步驟
200、202...信號線
204...映射積分器
205...指標產生系統
206、208...資料線
210...左指標控制器
212...右指標控制器
222...輸入裝置
T...輸入目標
R、L...定址空間
第1A圖是對實施本發明之該控制技術有用的一示範性遠端控制裝置,其具有兩個單獨的可點擊觸摸板;
第1B圖是對實施本發明之該控制技術有用的一示範性遠端控制裝置,其具有一單一的多點式觸摸可點擊觸摸板;
第2圖是第1A圖之該控制裝置的一示範性說明,顯示在控制映射到該顯示螢幕之相同螢幕區域的複數個指標方面的用途。此圖說明了為什麽在使用雙指標系統的時候使用者會感到混亂的一個原因;
第3圖是第1A圖之該控制裝置的一示範性說明,顯示在控制複數個指標方面的用途,其中該等左及右指標被局限於該螢幕之二固定子區域;子區域可重疊或可不重疊;
第4圖是第1A圖之該控制裝置的一示範性說明,顯示在該等左及右指標被局限於該螢幕之二固定子區域的情況下的近接衝突的一範例;
第5A及5B圖是第1A圖之該控制裝置的示範性說明,說明用於右手邊指標的定址空間如何被左手邊指標x軸位置限制或局限於左邊;及用於該左手邊指標的該定址空間如何被該右手邊指標x軸位置限制或局限於右邊,其中該等邊界動態地移動;
第6圖是第1A圖之該控制裝置的一示範性說明,顯示用於該雙指標管理技術的一第一實施例的邊界條件;
第7圖是該雙指標管理技術的一替代實施例的一示範性說明,其中該動態分離准許指標略微重疊;
第8圖是該雙指標管理技術的又一實施例的一示範性說明,其中該動態分離實施外部界限限制以增加有效的指標解析度;
第9圖是該雙指標管理技術的另一實施例的一示範性說明,其中,在相對模式中,由於右互動區域之較大的動態區域,該螢幕空間中的位移偏移對該右指標比該左指標更重要;
第10圖是與一顯示螢幕一起工作的一控制裝置的一示範性實施例的一硬體電路方塊圖;
第11圖是一流程圖,顯示由第10圖之該CPU(或處理器)及圖形產生器執行以使由該控制裝置提供的該功能生效的示範性操作;
第12圖是一功能方塊圖,說明用以在一顯示螢幕上產生複數個指標的一控制裝置之該示範性功能;
第13圖是一功能方塊圖,說明使用一多位置輸入系統的該控制裝置的一替代實施例。
20、22...可點擊觸摸板
20...左手觸摸板
22...右手觸摸板
50...雙埠觸摸板介面/介面
52...處理器(CPU)
54...第一記憶體
56...第二記憶體
57...轉換矩陣
58...按鈕陣列
60...無線發射器/發射器
62...無線接收器/接收器
64...圖形產生電路/圖形產生器
66...顯示空間
68...顯示裝置/顯示區域

Claims (31)

  1. 一種指標控制裝置,包含:一第一輸入裝置,提供使用與該第一輸入裝置相關聯的一第一座標系統來表示的一位置信號;一第二輸入裝置,提供使用與該第二輸入裝置相關聯的一第二座標系統來表示的一位置信號;一指標產生系統,產生用以在一共用顯示空間中顯示的一第一指標和一第二指標,該第一指標與該第一輸入裝置相關聯,該第二指標與該第二輸入裝置相關聯,該共用顯示空間具有一共用顯示座標系統;映射積分處理器,基於該第一輸入裝置之該位置信號、及該第二輸入裝置之該位置信號兩者,來計算該顯示座標系統內的該第一指標之位置,且基於該第一輸入裝置之該位置信號、及該第二輸入裝置之該位置信號兩者,來計算該顯示座標系統內的該第二指標之位置;該映射積分處理器基於該第一輸入裝置之位置信號、及該第二輸入裝置之位置信號兩者來調整該共用顯示座標系統內的動態邊界,並計算該等第一及第二指標之位置,使得該等第一及第二指標之位置分別被限定在前述動態邊界的不同側。
  2. 如申請專利範圍第1項所述之指標控制裝置,其中該動態邊界將該共用顯示空間細分為兩個非重疊連續區域,其中該二區域之併集等於該共用顯示空間。
  3. 如申請專利範圍第1項所述之指標控制裝置,其中該動 態邊界將該共用顯示空間細分為兩個部分重疊的連續區域。
  4. 如申請專利範圍第1項所述之指標控制裝置,其中該動態邊界將該共用顯示空間細分為兩個連續區域,該二區域沿著它們的動態極限被靜態地限定。
  5. 如申請專利範圍第1項所述之指標控制裝置,其中該第一輸入裝置提供一左位置信號且該第二輸入裝置提供一右位置信號;其中該動態邊界將該共用顯示空間細分為一左區域及一右區域,該動態邊界界定該左區域的一右邊緣及該右區域的一左邊緣;且其中該映射積分處理器基於該右位置信號來計算該右邊緣且基於該左位置信號來計算該左邊緣。
  6. 如申請專利範圍第5項所述之指標控制裝置,其中該等左及右邊緣彼此重合。
  7. 如申請專利範圍第5項所述之指標控制裝置,其中該等左及右邊緣彼此遠離。
  8. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二輸入裝置彼此獨立操作。
  9. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二輸入裝置使用相同類型的感測器來產生位置信號。
  10. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二輸入裝置使用不同類型的感測器來產生位 置信號。
  11. 如申請專利範圍第1項所述之指標控制裝置,進一步包含提供額外的輸入信號的至少一額外的輸入裝置;其中該指標產生系統產生與該額外的輸入裝置相關聯的一指標;且其中該映射積分處理器基於該等第一及第二輸入裝置之該等位置信號以及該額外的輸入信號,來計算與該額外的輸入裝置相關聯的指標之位置。
  12. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二座標系統中的至少一座標系統是一個一維座標系統。
  13. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二座標系統中的至少一座標系統是一個二維座標系統。
  14. 如申請專利範圍第1項所述之指標控制裝置,其中該等第一及第二座標系統中的至少一座標系統是一個三維座標系統。
  15. 如申請專利範圍第1項所述之指標控制裝置,其中該映射積分處理器執行至少一轉換。
  16. 如申請專利範圍第4項所述之指標控制裝置,其中該映射積分處理器執行包括准許第一及第二指標同時佔據該中間區域的一重疊控制因數的至少一轉換。
  17. 如申請專利範圍第1項所述之指標控制裝置,其中該映射積分處理器執行包括一外部界限限制的至少一轉 換,藉此該等第一及第二輸入裝置之預定義位置不被映射到該顯示座標系統。
  18. 如申請專利範圍第1項所述之指標控制裝置,其中該處理器從由微處理器、微控制器、數位信號處理器、電腦及特定應用積體電路(ASIC)組成的組中選定。
  19. 如申請專利範圍第1項所述之指標控制裝置,其中該處理器嵌入到該等第一及第二輸入裝置中的至少一輸入裝置中。
  20. 如申請專利範圍第1項所述之指標控制裝置,其中該處理器由儲存於耦接至該處理器的機器可讀記憶體中的程式指令來配置。
  21. 一種響應於複數個輸入裝置在一顯示螢幕上產生複數個指標的方法,包含以下步驟:接收步驟,從一第一輸入裝置電子式接收一第一位置信號;接收步驟,從一第二輸入裝置電子式接收一第二位置信號;處理步驟,電子式處理該等第一及第二位置信號,以在與顯示螢幕相關聯的預定義顯示座標系統內,基於該等第一及第二位置信號兩者算出第一指標位置,且基於該等第一及第二位置信號兩者算出第二指標位置;產生顯示步驟,在該顯示螢幕上產生及顯示第一及第二動作中的指標,該第一指標在該第一指標位置處,且將該第二指標在該第二指標位置處顯示; 其中前述處理步驟基於前述第一位置信號及前述第二位置信號兩者來調整前述共用顯示座標系統內的動態邊界,並計算該等第一及第二指標位置,使得該等第一及第二指標位置分別被限制在前述動態邊際的不同側。
  22. 如申請專利範圍第21項所述之方法,其中該第一位置信號是一左位置信號且該第二位置信號是一右位置信號;其中該處理步驟使得該動態邊界將一顯示空間細分為一左區域及一右區域,該動態邊界界定該左區域的一右邊緣及該右區域的一左邊緣;且其中該處理步驟進一步包括基於該右位置信號來計算該右邊緣且基於該左位置信號來計算該左邊緣。
  23. 如申請專利範圍第21項所述之方法,其中該處理步驟藉由應用該等第一及第二位置信號的一轉換來執行。
  24. 如申請專利範圍第21項所述之方法,其中該處理步驟藉由應用定義該第一位置信號與該第二位置信號之間的一平方關係的一轉換來執行。
  25. 如申請專利範圍第21項所述之方法,其中該處理步驟藉由應用一轉換來執行,該轉換定義該第一位置信號與該第二位置信號之間的一平方關係且包括准許該等第一及第二指標位置佔據與該動態邊界相關聯的一共用中間區域的一重疊控制因數。
  26. 如申請專利範圍第21項所述之方法,其中該等第一及第二輸入裝置各具有可選擇位置的一關聯範圍;且 其中該處理步驟藉由應用一轉換來執行,該轉換定義該第一位置信號與該第二位置信號之間的一平方關係且包括一外部界限限制,藉此該等第一及第二輸入裝置之該等關聯範圍之預定義部分不被映射到該顯示座標系統。
  27. 如申請專利範圍第21項所述之方法,其中執行該處理步驟以定義將該顯示螢幕細分為兩個連續區域的一動態線性邊界。
  28. 如申請專利範圍第21項所述之方法,其中執行該處理步驟以定義將該顯示螢幕細分為兩個連續區域的一動態曲線邊界。
  29. 如申請專利範圍第21項所述之方法,其中執行該處理步驟以定義一動態邊界,該動態邊界包含將該顯示螢幕細分為兩個連續區域的一中間區域,該二連續區域位於該中間區域的相對邊。
  30. 如申請專利範圍第21項所述之方法,其中該電子式處理使用從由微處理器、微控制器、數位信號處理器、電腦及特定應用積體電路(ASIC)組成的該組中選定的一裝置來執行。
  31. 一種用以在一顯示螢幕上產生複數個指標的裝置,包含:一多位置輸入系統,從複數個輸入裝置接收複數個位置信號;一指標產生系統,產生用以在該顯示螢幕上分別顯 示複數個指標位置之複數個指標;一映射積分處理器,在與前述顯示畫面相關之預定義顯示座標系統內,基於來自前述複數個輸入裝置之前述複數個位置信號的全部來計算前述複數個指標位置中的每一個;該映射積分處理器基於來自前述複數個輸入裝置之前述複數個位置信號的全部來調整前述顯示座標系統內的動態邊界,並計算前述複數個指標位置,使得前述複數個指標位置被限定在前述動態邊界之不同側。
TW099112662A 2009-06-26 2010-04-22 使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法 TWI478010B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US22072109P 2009-06-26 2009-06-26
US12/687,930 US8188969B2 (en) 2009-06-26 2010-01-15 Dual pointer management method using cooperating input sources and efficient dynamic coordinate remapping

Publications (2)

Publication Number Publication Date
TW201101121A TW201101121A (en) 2011-01-01
TWI478010B true TWI478010B (zh) 2015-03-21

Family

ID=43380125

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099112662A TWI478010B (zh) 2009-06-26 2010-04-22 使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法

Country Status (6)

Country Link
US (2) US8188969B2 (zh)
EP (1) EP2446344B1 (zh)
JP (1) JP5411989B2 (zh)
CN (1) CN102449590B (zh)
TW (1) TWI478010B (zh)
WO (1) WO2010151501A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216014A1 (en) * 2010-03-05 2011-09-08 Chih-Meng Wu Multimedia wireless touch control device
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9159165B2 (en) * 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
TWI456436B (zh) * 2011-09-01 2014-10-11 Acer Inc 觸控板裝置以及其控制方法
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US20130106761A1 (en) * 2011-10-28 2013-05-02 Atmel Corporation Touch Sensor with Lookup Table
JP5452566B2 (ja) * 2011-10-31 2014-03-26 本田技研工業株式会社 車両用入力装置
CN102508604A (zh) * 2011-11-08 2012-06-20 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
US9367230B2 (en) * 2011-11-08 2016-06-14 Microsoft Technology Licensing, Llc Interaction models for indirect interaction devices
US20130127738A1 (en) * 2011-11-23 2013-05-23 Microsoft Corporation Dynamic scaling of touch sensor
FR2986715B1 (fr) * 2012-02-15 2014-10-17 Archos Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9851801B1 (en) * 2012-12-07 2017-12-26 American Megatrends, Inc. Dual touchpad system
US20160062479A1 (en) * 2013-04-23 2016-03-03 Lg Electronics Inc. Image display apparatus and method for operating the same
JP5920839B2 (ja) * 2013-06-12 2016-05-18 Necパーソナルコンピュータ株式会社 情報処理装置
US10328344B2 (en) * 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US10289260B2 (en) 2014-08-27 2019-05-14 Honda Motor Co., Ltd. Systems and techniques for application multi-tasking
CN106020661B (zh) 2014-12-31 2020-11-24 本田技研工业株式会社 具有内部边框的跟踪板
KR101647452B1 (ko) * 2015-05-28 2016-08-10 동서울대학교 산학협력단 터치 스크린 디바이스 기반 복수의 커서 제어 방법
US10402161B2 (en) 2016-11-13 2019-09-03 Honda Motor Co., Ltd. Human-vehicle interaction
TWI663531B (zh) * 2017-08-18 2019-06-21 友達光電股份有限公司 具有觸控面板之電子裝置及其控制電路
CN108052346B (zh) * 2017-10-23 2020-03-27 天芯智能(深圳)股份有限公司 一种控制智能手表的方法、系统及智能手表

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050176505A1 (en) * 2004-02-09 2005-08-11 Stanley Mark J. Method and apparatus for providing computer pointing device input to a video game console
US20050179655A1 (en) * 2004-02-13 2005-08-18 Ludwig Lester F. Electronic document editing employing multiple cursors
TW200807284A (en) * 2006-07-17 2008-02-01 Guan-Lin Chen Programmable touch system
TW200836091A (en) * 2006-12-19 2008-09-01 Ibm Simultaneous view and point navigation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105191A (ja) * 1993-09-30 1995-04-21 Fujitsu Ltd 共有文書表示システム
US5586243A (en) * 1994-04-15 1996-12-17 International Business Machines Corporation Multiple display pointers for computer graphical user interfaces
US6204837B1 (en) * 1998-07-13 2001-03-20 Hewlett-Packard Company Computing apparatus having multiple pointing devices
US20040263484A1 (en) * 2003-06-25 2004-12-30 Tapio Mantysalo Multifunctional UI input device for moblie terminals
US20060090022A1 (en) * 2004-10-22 2006-04-27 Intergraph Hardware Technologies Company Input device for controlling movement in a three-dimensional virtual environment
US20060143571A1 (en) * 2004-12-29 2006-06-29 Wilson Chan Multiple mouse cursors for use within a viewable area for a computer
CN101675410A (zh) * 2007-02-23 2010-03-17 Tp-I股份有限公司 使用数字装置中的指点设备的虚拟键盘输入系统
JP4501018B2 (ja) * 2007-06-13 2010-07-14 株式会社ヤッパ 携帯端末装置および入力装置
US20090184936A1 (en) * 2008-01-22 2009-07-23 Mathematical Inventing - Slicon Valley 3D touchpad

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050176505A1 (en) * 2004-02-09 2005-08-11 Stanley Mark J. Method and apparatus for providing computer pointing device input to a video game console
US20050179655A1 (en) * 2004-02-13 2005-08-18 Ludwig Lester F. Electronic document editing employing multiple cursors
TW200807284A (en) * 2006-07-17 2008-02-01 Guan-Lin Chen Programmable touch system
TW200836091A (en) * 2006-12-19 2008-09-01 Ibm Simultaneous view and point navigation

Also Published As

Publication number Publication date
CN102449590A (zh) 2012-05-09
US8451219B2 (en) 2013-05-28
EP2446344A1 (en) 2012-05-02
TW201101121A (en) 2011-01-01
EP2446344A4 (en) 2013-09-11
US8188969B2 (en) 2012-05-29
WO2010151501A1 (en) 2010-12-29
JP2012531667A (ja) 2012-12-10
EP2446344B1 (en) 2016-03-02
CN102449590B (zh) 2014-01-08
US20100328206A1 (en) 2010-12-30
US20120113005A1 (en) 2012-05-10
JP5411989B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
TWI478010B (zh) 使用合作輸入來源及有效率的動態座標重對映之雙指標管理方法
KR102219912B1 (ko) 원격 호버 터치 시스템 및 방법
US8866750B2 (en) Universal user interface device
US5748185A (en) Touchpad with scroll and pan regions
Ni et al. Design and evaluation of freehand menu selection interfaces using tilt and pinch gestures
US20090278812A1 (en) Method and apparatus for control of multiple degrees of freedom of a display
US20030043113A1 (en) Coordinates input apparatus having divided coordinates input surface
CN106020473A (zh) 界面操作方法及系统
WO2013155735A1 (zh) 具备近接感测投影点坐标指示的离屏触控交互系统
TWI452494B (zh) 將至少兩個觸控訊號結合於電腦系統中的方法
US20130106745A1 (en) Touch pad operable with multi-objects and method of operating same
JP2009276819A (ja) ポインティング装置の制御方法およびポインティング装置、並びにコンピュータプログラム
KR20140113547A (ko) 하이라이트 네이게이션을 위한 가시적 피드백
Rekimoto Organic interaction technologies: from stone to skin
JP2015525927A (ja) 表示装置を制御するための方法及び装置
US20140168165A1 (en) Electronic device with virtual touch function and instant adjusting method for virtual touch
Kim et al. A tangible user interface with multimodal feedback
GB2533777A (en) Coherent touchless interaction with steroscopic 3D images
JP3211484U (ja) 触感型コントローラー
Jeong et al. Appropriate size, spacing, expansion ratio, and location for clickable elements on smart TVs with remote motion control
JP3970906B2 (ja) 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
CN104219587A (zh) 一种用于对应用进行操控的方法和装置
JP2018032122A (ja) 表示操作装置
JP2018032123A (ja) 操作入力装置
Fukuchi Concurrent Manipulation of Multiple Components on Graphical User Interface

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees