TW202202983A - 預測控制方法、輸入系統及電腦可讀取記錄媒體 - Google Patents

預測控制方法、輸入系統及電腦可讀取記錄媒體 Download PDF

Info

Publication number
TW202202983A
TW202202983A TW109124162A TW109124162A TW202202983A TW 202202983 A TW202202983 A TW 202202983A TW 109124162 A TW109124162 A TW 109124162A TW 109124162 A TW109124162 A TW 109124162A TW 202202983 A TW202202983 A TW 202202983A
Authority
TW
Taiwan
Prior art keywords
display
coordinates
block
file
input
Prior art date
Application number
TW109124162A
Other languages
English (en)
Other versions
TWI768407B (zh
Inventor
彭露
錢秋霞
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Publication of TW202202983A publication Critical patent/TW202202983A/zh
Application granted granted Critical
Publication of TWI768407B publication Critical patent/TWI768407B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種預測控制方法包含：接收一指標訊號；以及判斷是否指標訊號從一初始位置往一方向移動；當判斷指標訊號往方向移動時，將初始位置的座標與一顯示器中心的座標疊合，並在指標訊號移動到一預測點並停止移動後，依據顯示器中心的座標與預測點的座標推算一目標點的座標，指標訊號移動到目標點。應用跳躍式移動指標訊號，以控制其它區塊，透過預測指標訊號，也可以更快速的將指標訊號移動到目標點。藉此達到節省使用者移動指標訊號的時間，更提升了在大顯示器上操控指標訊號的精確度。

Description

預測控制方法、輸入系統及電腦可讀取記錄媒體
本發明是關於一種預測方法，特別是關於一種適用於一顯示器的預測控制方法、輸入系統及電腦可讀取記錄媒體。
在筆記型電腦普及的今天，輸入設備有滑鼠、觸控輸入、觸控筆等。近年來，顯示器能製作的尺寸越來越大，也可以由多個大型顯示器拼接成顯示牆，這些大型顯示器通常放置於銀行、醫院或商場，可能具有觸控功能，除了顯示資訊外，有些可讓使用者點選想閱讀的資訊，一般而言，這些大型顯示器通常設置於牆面上，無法讓一般使用者透過外接電腦接到大型顯示器進行操控。
然而，當使用者想要使用輸入設備，實現在大型顯示器上大範圍移動，現有輸入設備的功能存在局限，無論是手指、眼球追蹤輸入技術、滑鼠、觸控筆或目前的其它輸入設備，都難以快速且精準的在大型顯示器上大範圍移動，例如手指、眼球追蹤輸入技術、滑鼠、觸控筆或目前的其它輸入設備，都難以將顯示於大型顯示器右下角的檔案精準且快速的拖曳到左上角的特定位置。
因此，如何快速、準確且大幅度地在大型顯示器上移動指標訊號，已成為本領域待解決的問題之一。
為了解決上述的問題，本揭露內容之一實施例提供了一種預測控制方法。預測控制方法包含：接收一指標訊號；以及判斷是否指標訊號從一初始位置往一方向移動；當判斷指標訊號往方向移動時，將初始位置的座標與一顯示器中心的座標疊合，並在指標訊號移動到一預測點並停止移動後，依據顯示器中心的座標與預測點的座標推算一目標點的座標，指標訊號移動到目標點。
為了解決上述的問題，本揭露內容之一態樣提供了一種輸入系統。輸入系統包含一輸入及輸出介面以及一預測裝置。輸入及輸出介面用以接收一指標訊號。預測裝置包含一建模裝置、一顯示器分塊裝置、一指標定位裝置、一計算預測裝置以及一移動輸出裝置。建模裝置用以判斷是否指標訊號從一初始位置往一方向移動。顯示器分塊裝置，用以定義一顯示器中心。指標定位裝置當建模裝置判斷指標訊號往方向移動時，指標定位裝置將初始位置的座標與顯示器中心的座標疊合。計算預測裝置用以在指標訊號移動到一預測點並停止移動後，依據顯示器中心的座標與預測點的座標推算一目標點的座標，指標訊號移動到目標點。移動輸出裝置用以於一顯示器上顯示移動到目標點的指標訊號。
為了解決上述的問題，本揭露內容之一實施例提供了一種電腦可讀取記錄媒體，用以執行一種預測控制方法，該預測控制方法包含：接收一指標訊號；以及判斷是否指標訊號從一初始位置往一方向移動；當判斷指標訊號往方向移動時，將初始位置的座標與一顯示器中心的座標疊合，並在指標訊號移動到一預測點並停止移動後，依據顯示器中心的座標與預測點的座標推算一目標點的座標，指標訊號移動到目標點。
本發明所示之預測控制方法、輸入系統及電腦可讀取記錄媒體能夠在顯示器較大的情況下，如廣場上大型顯示器、大型牆面光學觸控板、虛擬實境系統的顯示畫面、顯示器牆面等等，使用者可以透過大型顯示器的一部分區塊，例如較低可觸及的區塊，應用非連續式移動指標訊號，以控制其它區塊，透過預測指標訊號，也可以更快速的將指標訊號移動到目標點。藉此達到節省使用者移動指標訊號的時間，更提升了在大顯示器上操控指標訊號的精確度。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
請參照第1及2圖，第1圖係依照本發明一實施例繪示一種輸入系統100之方塊圖。第2圖係依照本發明一實施例繪示一種預測控制方法200之流程圖。
於一實施例中，本案的輸入系統適用於一顯示器30顯示一輸入移動訊號(例如為指標訊號SIG)，輸入系統包含一指標定位裝置23以及一計算預測裝置24。指標定位裝置23用以預測輸入移動訊號(例如為指標訊號SIG)，使顯示器30顯示移動訊號所預測的座標。
以下更進一步以第1及2圖說明本案的細部技術特徵。
於一實施例中，如第1圖所示，輸入系統100包含一電子裝置10及一預測裝置20。於一實施例中，電子裝置10例如是主機、伺服器、平板、筆電、手機或其他可接收訊號進行運算與儲存的裝置。於一實施例中，電子裝置10包含輸入及輸出介面11、處理器12及儲存裝置13。於一實施例中，輸入及輸出介面11例如為滑鼠訊號接收器、觸控面板，或其他可用於接收訊號的介面。於一實施例中，儲存裝置13可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。儲存裝置13可用來儲存每個時點的關於指標訊號SIG的資訊，例如座標資訊。
於一實施例中，預測裝置20包含一建模裝置21、一顯示器分塊裝置22、一指標定位裝置23、一計算預測裝置24及一移動輸出裝置25。
於一實施例中，建模裝置21、顯示器分塊裝置22、指標定位裝置23、計算預測裝置24及移動輸出裝置25可一併或各別由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，建模裝置21、顯示器分塊裝置22、指標定位裝置23、計算預測裝置24及移動輸出裝置25各自所做的運算或達成的功能可以由軟體或韌體實現之，處理器12用以執行此些運算。
於一實施例中，在運算量較小的情況下，處理器12可以執行建模裝置21、顯示器分塊裝置22、指標定位裝置23、計算預測裝置24及移動輸出裝置25各自所做的運算。
於一實施例中，指標訊號SIG例如為滑鼠游標訊號、手指觸控訊號、觸控筆觸控訊號，通常會在顯示器30上顯示物理位置(例如滑鼠實際在桌面上滑動的位置)對應的顯示器位置(例如滑鼠游標在顯示器上的位置)。物理位置對應到顯示器位置的方法為已知技術，故此處不贅述之。
於一實施例中，輸入系統100中的顯示器30可以是大型顯示器。於一實施例中，輸入系統100可以包含多個顯示器30。於一實施例中，大型顯示器例如為拼接式顯示牆、大型互動觸控顯示器(例如86吋)、互動觸控電子顯示看板…等等。
以下敘述預測控制方法200，預測控制方法200可以由輸入系統100實現之。於一實施例中，預測控制方法200可以由韌體、程式碼或軟體以實現之，並將程式碼或軟體儲存於電腦可讀取記錄媒體，電腦可讀取記錄媒體中的處理器可執行此些韌體、程式碼或軟體。
於一實施例中，透過手指或觸控筆按下顯示器30超過三秒，則開啟指標訊號預測功能。於一實施例中，當處理器12接收到滑鼠的左鍵與右鍵同時按兩次的訊號，則處理器12開啟指標訊號預測功能。於一實施例中，預測控制方法200可以一執行檔實現之，輸入系統100安裝此執行檔後，電腦中的設置(Settings)會多出現一個超範圍移動功能(out of range movement)的選項，當超範圍移動功能的選項被點選後，處理器12啟動預測控制方法200。
於一實施例中，當超範圍移動功能的選項被點選後，可以事先設定以自動或系統提示等軟體驅動或硬體驅動方式，將指標訊號SIG投影到不同顯示螢幕。
於步驟210中，輸入及輸出介面11用以接收一指標訊號SIG。
例如，輸入及輸出介面11用以接收滑鼠游標訊號，並將滑鼠游標訊號視為指標訊號SIG。
於步驟220中，建模裝置21或處理器12用以判斷是否指標訊號SIG從一初始位置往一方向移動。
於一實施例中，此方向可以是任何方向，換言之，建模裝置21只要偵測到指標訊號SIG移動(例如，指標訊號SIG的位移距離大於一歐式距離門檻值)，則進入步驟230。
於一實施例中，歐氏距離是一個通常採用的距離定義，它是在m維空間中兩個點之間的真實距離(其中，符號m可以是大於2的值)。在二維和三維空間中的歐氏距離的就是兩點之間的距離。換言之，歐氏距離可用以度量空間中兩點之間的距離。
於一實施例中，顯示器分塊裝置22用以定義一顯示器中心O。第3圖係依照本發明一實施例繪示一種顯示器中心O之示意圖。由第3圖可知，顯示器分塊裝置22是用以分出顯示器30的長度L中線與寬度W中線相連，兩條中線的交接點視為顯示器中心O，並定義顯示器中心O的座標為O(0,0)。本領域具通常知識者應可理解顯示器中心可以依實際操作定義之，直線(不一定是長度L的中線)與橫線(不一定是寬度L的中線)的交接點不一定位於顯示器的中心，但直線與橫線的交接點處視為畫面的原點O(0,0)。
於一實施例中，顯示器分塊裝置22藉由顯示器30的長度L中線與寬度W中線將顯示器30分成四個區塊A~D。
於一實施例中，若建模裝置21沒有偵測到指標訊號SIG有移動，則結束此流程或是再次進入步驟210。
於步驟230中，當建模裝置21或處理器12判斷指標訊號SIG往此方向移動時，指標定位裝置23或處理器12將初始位置21的座標與顯示器中心O的座標O(0,0)疊合。
於一實施例中，指標定位裝置21或處理器12將初始位置P的座標P(xp ,yp )定義為原點O(0,0)，使指標定位裝置SIG將初始位置P的座標P(xp ,yp )與顯示器中心O的座標O(0,0)疊合。此時初始位置P的座標P(xp ,yp )視為P(0,0)。
於一實施例中，第4圖係依照本發明一實施例繪示一種初始位置P的座標P(xp ,yp )與顯示器中心O的座標O(0,0)之示意圖。於第4圖中，指標定位裝置23的初始位置P在顯示器30上的座標為P(xp ,yp )。在此步驟中，將初始位置P的座標P(xp ,yp )視為顯示器中心O的座標O(0,0)，使初始位置P的座標與顯示器中心O的座標O(0,0)疊合。換言之，指標訊號SIG在區塊D的移動會對應到顯示器中心O的座標O(0,0)的移動。例如，指標訊號SIG從初始位置P的座標P(xp ,yp )往方向v移動，則視為指標訊號SIG從顯示器中心O的座標O往方向v’移動，方向v與方向v’的向量相同。
藉此，當顯示器30很大時，在區塊D的指標訊號SIG可以超範圍移動到區塊A。換言之，指標訊號SIG在區塊D的移動相當於指標訊號SIG在區塊A的移動。
於步驟240中，計算預測裝置24或處理器12用以在指標訊號SIG移動到一預測點V’並停止移動後，依據顯示器中心O的座標O(0,0)與預測點V’的座標V’(xv’ ,yv ’ )推算一目標點G的座標，指標訊號SIG移動到目標點G。
於一實施例中，指標訊號SIG依據目標點G的座標以移動到目標點G。
於一實施例中，指標訊號SIG移動到區域D的停頓點V，其座標為V(xv ,yv )，相當於指標訊號SIG移動到區域A的預測點V’，其座標為V’(xv’ ,yv ’ )。藉此，指標訊號SIG在區域D的移動，透過預測控制方法200可以將指標訊號SIG超範圍移動到區塊A，並與區域D發生相同的移動(方向v與方向v’的向量相同)。
因此，當顯示器30很大時，只需在區域D移動指標訊號SIG，不用大幅移動滑鼠、手指或其他輸入設備才能將指標訊號SIG從區塊D移動到區塊A。
於一實施例中，計算預測裝置24或處理器12將預測點V’的座標V’(xv’,yv’)輸入一長短期記憶之循環神經網路(Recurrent Neural Network-Long Short-Term Memory，RNN LSTM)的時間序列預測方法，長短期記憶之循環神經網路的時間序列預測方法輸出目標點G的座標。
於一實施例中，第5圖係依照本發明一實施例繪示一種長短期記憶之循環神經網路的時間序列預測方法500之示意圖。例如，使用者雙擊滑鼠的左右鍵兩次可啟動預測控制方法200，當滑鼠的指標訊號SIG稍微移動時，若指標訊號SIG移動到點Xt ，計算預測裝置24可取得此時指標訊號SIG的座標Xt (xt ,yt )，將前序歷史(前一時點的停頓位置或前次點擊位置)的座標Xt-1 (xt-1 ,yt-1 )代入長短期記憶之循環神經網路A’，則長短期記憶之循環神經網路A’輸出ht-1 ，此代表時間t-1的座標位置，再將ht-1 代入下一個長短期記憶之循環神經網路A’，以預測當前座標Xt 的預測輸出座標位置ht ，此代表時間t的座標位置，並接著重複此些步驟。例如，將前一筆輸出ht 及座標Xt+1 (xt+1 ,yt+1 )代入長短期記憶之循環神經網路A’，則長短期記憶之循環神經網路A’輸出ht ＋ 1 ，此代表時間t+1的預測座標位置，將前一筆輸出ht ＋ 1 及座標Xt+2 (xt +2 ,yt+2 )代入長短期記憶之循環神經網路A’，則長短期記憶之循環神經網路A’輸出ht+2 ，此代表時間t+2的預測座標位置。依此類推，將前一筆輸出ht+n-1 及座標Xt+n (xt+n ,yt + n )代入長短期記憶之循環神經網路A’，則長短期記憶之循環神經網路A’輸出ht+n ，此代表時間t+n的預測座標位置。於一實施例中，當預測座標位置與實際操控指標的位置相同或是歐式距離小於一收斂門檻值，則視為完成訓練長短期記憶之循環神經網路的模型。
於一實施例中，時序預測公式為X(t)=X(t-1)+Er(t)，此公式可以是長短期記憶之循環神經網路A’中的運算之一，其中Er(t)代表當下時點t的噪音。於一實施例中，不同顯示器30的大小、指標訊號SIG移動到不同的目的地、指標訊號SIG的變量(例如初始速度、移動指標訊號SIG的角度不同)，預測控制方法200結合使用者移動指標訊號SIG的習慣，將變量加入深度學習的模型(例如長短期記憶之循環神經網路A’)，進行訓練預測使用者下一個目標點的模型。
由此可知，當指標訊號SIG有目標性的移動趨勢時，計算預測裝置24應用長短期記憶之循環神經網路的時間序列預測方法500，計算並收集指標訊號SIG的座標，並對指標訊號SIG建立模型，取得潛在特徵，並結合時間序列算法，對指標訊號SIG的移動建立預測，例如預測出第4圖中目標點G的座標。長短期記憶之循環神經網路的時間序列預測方法為已知演算法，故此處不贅述之。
於一實施例中，目標點G為計算預測裝置24預測使用者下一步或是最終想要將指標訊號SIG移動到的位置。
於步驟250中，移動輸出裝置25用以於一顯示器30上顯示移動到目標點G的指標訊號SIG。
於一實施例中，目標點G的位置會隨著長短期記憶之循環神經網路的時間序列所運算的資料量越來越多而更準確，同時收集到的每次修正目標點G’的資料可由目標區域R’變化計算。
於一實施例中，計算預測裝置24或處理器12計算目標點G的座標與修正目標點G’的座標的一歐式距離，計算預測裝置24或處理器12將歐式距離視為一目標區域半徑，當目標區域半徑小於一最小半徑門檻值(例如歐式距離為0.1單位)時，計算預測裝置24或處理器12輸出修正目標點G’的座標。
於一實施例中，第6圖係依照本發明一實施例繪示一種第4圖的區塊A的放大圖之示意圖。在第一次應用長短期記憶之循環神經網路的時間序列預測方法500預估目標點G的座標時，可依據目標點G的座標、顯示器中心O的座標O(0,0)的座標計算歐式距離，如第6圖所示，目標點G到顯示器中心O的目標區域半徑為rt-1 =
Figure 02_image001
|GO|t-1 ，其中|GO|代表歐式距離的運算。在下一次應用長短期記憶之循環神經網路的時間序列預測方法500預估下一個目標點之前，使用者可以修正當前的目標點G為修正目標點G’，目標是取目標點G與修正目標點G’之歐式距離的最小值，當歐式距離等於零的時候，代表預測完全準確，目標點G與修正目標點G’為同一點，在時點t的目標點G與修正目標點G’的目標區域半徑為rt =min|GG’|t-1 ，其中|GG’|代表歐式距離的運算。
目標區域R與目標點G會隨著輸入到長短期記憶之循環神經網路的時間序列的資料量越來越多而越準確，目標區域R的範圍會越來越小，目標點G與修正目標點G’的歐式距離也會越來越小，修正區域R’也會越來越小，代表預測目標點G越來越準確。當目標點G與修正目標點G’的歐式距離小於一最小半徑門檻值時，例如目標點G與修正目標點G’重疊，則代表長短期記憶之循環神經網路的時間序列已經被訓練得很準確，可以不須使用者修正目標點G的位置(無須再運算目標點G與修正目標點G’的目標區域半徑)，直接於顯示器30上顯示目標點G。
於一實施例中，第7圖係依照本發明一實施例繪示一種光學觸控應用場景之示意圖。當顯示器30為一觸控顯示器時，觸控筆或手指可長按檔案FL0以產生指標訊號SIG。換言之，當計算預測裝置24或處理器12接收到長按一圖示(icon)(例如圖示表示一檔案FL0或一應用程式)所產生的該指標訊號，且長按時間大於時間門檻值(例如3秒)時，計算預測裝置24或處理器12啟動超範圍移動功能，計算預測裝置24或處理器12促使指標訊號SIG將位於區塊D的檔案FL0從初始位置P移動到停頓點V，當觸控筆或手指離開顯示器30時，超範圍移動功能將檔案FL0自動移動到區塊A中對應區塊D的預測點V’，並再自動移動到目標點G。
於一實施例中，第8A~8C圖係依照本發明一實施例繪示一種光學觸控應用場景之示意圖。當顯示器30為一大型觸控顯示器時，例如顯示器30是一個大型顯示器或是多個大型顯示器拼接成的顯示牆，放置於銀行、醫院、商場或其他空間，可以是觸控式顯示器，用以提供介面顯示資訊並與使用者互動。在此情況下，由於顯示器30過大，觸控筆或手指無法點擊到區塊A，觸控筆或手指可長按位置Pa三秒以產生指標訊號SIG，並由計算預測裝置24或處理器12啟動超範圍移動功能，觸控筆或手指所產生的指標訊號SIG再短距離的從位置Pa移動到位置Pb(如第8A圖所示)，並在位置Pb停留長按三秒，處理器12促使顯示器30在區塊D中顯示小型顯示器區塊Aa(如第8B圖所示)，小型顯示器區塊Aa用以顯示區塊A中的圖示(icon)(例如圖示代表檔案或應用程式)，觸控筆或手指可以在區塊D中的小型顯示器區塊Aa中點擊到區塊A中的檔案FL1或應用程式FL2。藉此，即使觸控筆或手指無法點擊到區塊A，也可以透過此方法在區塊D中點選到區塊A的檔案FL1或應用程式FL2。
於一實施例中，如第8C圖所示，當小型顯示器區塊Aa出現後，觸控筆(觸控裝置皆可使用於此情境)或手指可以產生指標訊號SIG，用以在小型顯示器區塊Aa中點擊區塊A中的檔案FL1或應用程式FL2，以小型顯示器區塊Aa中的檔案FL1為例，指標訊號SIG點擊小型顯示器區塊Aa中的檔案FL1並拖曳檔案FL1到停頓點V，同時處理器12促使顯示器30的區塊C對應小型顯示器區塊Aa中檔案FL1被拖曳的方向，顯示從顯示器中心O以同方向拖曳檔案FL1到預測點V’，計算預測裝置24再自動移動檔案FL1到目標點G。
於一實施例中，預測控制方法200可以應用在有目的性的指標訊號之操作上，例如預測控制方法200可以預測虛擬實境中，控制器欲進行操作的目標區域，將指標訊號快速的移動到虛擬空間的目標區域。
第9圖係依照本發明一實施例繪示一種預測控制方法900之流程圖。於一實施例中，本案的預測控制方法適用於一顯示器30，顯示器30顯示一輸入移動訊號(例如為指標訊號SIG)，預測控制方法包含重合輸入移動訊號(例如為指標訊號SIG)所對應的座標與顯示器30之特定座標(如步驟910)，以及預測輸入移動訊號，使顯示器30顯示移動訊號所預測的座標(如步驟920)。於一實施例中，預測控制方法可以由一種電腦可讀取記錄媒體實現之。
本發明所示之預測控制方法、輸入系統及電腦可讀取記錄媒體能夠在顯示器較大的情況下，如廣場上大型顯示器、大型牆面光學觸控板、虛擬實境系統的顯示畫面、顯示器牆面等等，使用者可以透過大型顯示器的一部分區塊，例如較低可觸及的區塊，應用非連續式移動指標訊號，以控制其它區塊，透過預測指標訊號，也可以更快速的將指標訊號移動到目標點。藉此達到節省使用者移動指標訊號的時間，更提升了在大顯示器上操控指標訊號的精確度。
100:輸入系統 SIG:指標訊號 10:電子裝置 11:輸入及輸出介面 12:處理器 13:儲存裝置 20:預測裝置 21:建模裝置 22:顯示器分塊裝置 23:指標定位裝置 24:計算預測裝置 25:移動輸出裝置 30:顯示器 200、900:預測控制方法 210~250、910~920:步驟 L:長度 W:寬度 A~D:區塊 O:顯示器中心 V’:預測點 v’、v:方向 V:停頓點 P:初始位置 A’:長短期記憶之循環神經網路 G:目標點 rt-1 、rt :目標區域半徑 FL0、FL1:檔案 FL2:應用程式 R:目標區域 R’:修正區域 ht-1 ~ht+n :長短期記憶之循環神經網路的輸出 Xt-1 ~Xt+n :座標 Aa:小型顯示器區塊 Pa、Pb:位置 O(0,0):顯示器中心的座標 P(xp ,yp ):初始位置的座標 V’(xv’ ,yv ’ ):預測點的座標 V(xv ,yv ):停頓點的座標
第1圖係依照本發明一實施例繪示一種輸入系統之方塊圖。 第2圖係依照本發明一實施例繪示一種預測控制方法之流程圖。 第3圖係依照本發明一實施例繪示一種顯示器中心之示意圖。 第4圖係依照本發明一實施例繪示一種初始位置的座標與顯示器中心的座標之示意圖。 第5圖係依照本發明一實施例繪示一種長短期記憶之循環神經網路的時間序列預測方法之示意圖。 第6圖係依照本發明一實施例繪示一種第4圖的區塊A的放大圖之示意圖。 第7圖係依照本發明一實施例繪示一種光學觸控應用場景之示意圖。 第8A~8C圖係依照本發明一實施例繪示一種光學觸控應用場景之示意圖。 第9圖係依照本發明一實施例繪示一種預測控制方法之流程圖。
900:預測控制方法
910~920:步驟

Claims (15)

  1. 一種預測控制方法，適用於一顯示器顯示一輸入移動訊號，包含： 重合該輸入移動訊號所對應的座標與該顯示器之特定座標；以及 預測該輸入移動訊號，使該顯示器顯示該輸入移動訊號所預測的座標。
  2. 如請求項1之預測控制方法，更包含： 藉由一處理器將該預測點的座標輸入一長短期記憶之循環神經網路(Recurrent Neural Network-Long Short-Term Memory，RNN LSTM)的時間序列預測方法，該長短期記憶之循環神經網路的時間序列預測方法輸出該目標點的座標。
  3. 如請求項1之預測控制方法，更包含： 藉由一處理器將該輸入移動訊號所對應的座標定義為原點並視為一初始位置，使一指標定位裝置將該輸入移動訊號所對應的座標定義與該顯示器之特定座標，其中，該顯示器之特定座標視為該顯示器中心的坐標。
  4. 如請求項1之預測控制方法，其中該預測該輸入移動訊號的步驟更包括： 計算一目標點的座標與一修正目標點的座標的一歐式距離，將該歐式距離視為一目標區域半徑； 當該目標區域半徑小於一最小半徑門檻值時，輸出該修正目標點的座標。
  5. 如請求項1之預測控制方法，其中該預測該輸入移動訊號的步驟更包含： 藉由一處理器接收到長按一檔案所產生的一指標訊號； 當長按的時間大於一時間門檻值，則該處理器啟動一超範圍移動功能；以及 藉由該處理器促使該指標訊號將位於一第一區塊的該檔案從該初始位置移動到一停頓點； 當該觸控裝置離開該觸控式顯示器時，該處理器促使該超範圍移動功能將該檔案自動移動到一第二區塊中對應該第一區塊的該預測點，並再自動移動到該目標點，其中該指標訊號代表該輸入移動訊號。
  6. 如請求項1之預測控制方法，其中該預測該輸入移動訊號的步驟更包含： 藉由一處理器接收到長按一檔案所產生的該指標訊號； 當長按的時間大於一時間門檻值，則該處理器促使該觸控式顯示器在一第一區塊顯示一小型顯示器區塊，該小型顯示器區塊用以顯示出現在一第二區塊中的一圖示(icon)； 藉由該觸控裝置由該第一區塊中的該小型顯示器區塊中點擊到該第二區塊中的該圖示。
  7. 如請求項6之預測控制方法，更包含： 藉由該指標訊號點擊小型顯示器區塊中的該檔案並拖曳該檔案到該停頓點，該處理器促使該顯示器的一第三區塊對應該小型顯示器區塊中的該檔案被拖曳的方向，顯示從該顯示器中心以同方向拖曳該檔案到該預測點，並再自動移動該檔案到該目標點。
  8. 一種輸入系統，適用於一顯示器顯示一輸入移動訊號，包含： 一指標定位裝置，用以重合該輸入移動訊號所對應的座標與該顯示器之特定座標；以及 一計算預測裝置，用以預測該輸入移動訊號，使該顯示器顯示該移動訊號所預測的座標。
  9. 如請求項8之輸入系統，其中該計算預測裝置將該預測點的座標輸入一長短期記憶之循環神經網路(Recurrent Neural Network-Long Short-Term Memory，RNN LSTM)的時間序列預測方法，該長短期記憶之循環神經網路的時間序列預測方法輸出該目標點的座標。
  10. 如請求項之8輸入系統，其中將該輸入移動訊號所對應的座標定義為原點並視為一初始位置，使一指標定位裝置將該輸入移動訊號所對應的座標定義與該顯示器之特定座標，其中，該顯示器之特定座標視為該顯示器中心的坐標。
  11. 如請求項8之輸入系統，其中該計算預測裝置計算一目標點的座標與一修正目標點的座標的一歐式距離，該計算預測裝置將該歐式距離視為一目標區域半徑，當該目標區域半徑小於一最小半徑門檻值時，該計算預測裝置輸出該修正目標點的座標。
  12. 如請求項8之輸入系統，其中當該顯示器為一觸控式顯示器時，當該計算預測裝置接收到長按一檔案所產生的一指標訊號，且當長按的時間大於一時間門檻值，則該計算預測裝置啟動一超範圍移動功能，該指標訊號將位於一第一區塊的該檔案從該初始位置移動到一停頓點，當該觸控裝置離開該觸控式顯示器時，該超範圍移動功能將該檔案自動移動到一第二區塊中對應該第一區塊的該預測點，並再自動移動到該目標點，其中該指標訊號代表該輸入移動訊號。
  13. 如請求項8之輸入系統，其中當該顯示器為一觸控式顯示器時，一觸控裝置長按一檔案以產生一指標訊號，當長按的時間大於一時間門檻值，則該觸控式顯示器在一第一區塊顯示一小型顯示器區塊，該小型顯示器區塊用以顯示出現在一第二區塊中的一圖示(icon)，一觸控裝置在該第一區塊中的該小型顯示器區塊中點擊到該第二區塊中的該圖示。
  14. 如請求項13之輸入系統，其中該指標訊號點擊小型顯示器區塊中的該檔案並拖曳該檔案到該停頓點，一處理器促使該顯示器的一第三區塊對應該小型顯示器區塊中的該檔案被拖曳的方向，顯示從該顯示器中心以同方向拖曳該檔案到該預測點，該計算預測裝置再自動移動該檔案到該目標點。
  15. 一種電腦可讀取記錄媒體，用以執行一種預測控制方法，該預測控制方法包含： 重合該輸入移動訊號所對應的座標與一顯示器之特定座標；以及 預測該輸入移動訊號，使該顯示器顯示該移動訊號所預測的座標。
TW109124162A 2020-07-06 2020-07-17 預測控制方法、輸入系統及電腦可讀取記錄媒體 TWI768407B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010640461.0 2020-07-06
CN202010640461.0A CN113961106A (zh) 2020-07-06 2020-07-06 预测控制方法、输入系统及计算机可读取记录媒体

Publications (2)

Publication Number Publication Date
TW202202983A true TW202202983A (zh) 2022-01-16
TWI768407B TWI768407B (zh) 2022-06-21

Family

ID=79167739

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109124162A TWI768407B (zh) 2020-07-06 2020-07-17 預測控制方法、輸入系統及電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US20220004298A1 (zh)
CN (1) CN113961106A (zh)
TW (1) TWI768407B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098005B (zh) * 2022-06-24 2023-01-24 北京华建云鼎科技股份公司 一种控制目标对象移动的数据处理系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788607B2 (en) * 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
TWI489324B (zh) * 2013-07-05 2015-06-21 Pixart Imaging Inc 手持式指向裝置的游標定位方法
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
TWI660292B (zh) * 2018-05-16 2019-05-21 群光電子股份有限公司 游標移動輔助系統及方法
CN109271086A (zh) * 2018-08-31 2019-01-25 湖南新云网科技有限公司 一种电子白板的书写方法、存储介质及电子白板

Also Published As

Publication number Publication date
CN113961106A (zh) 2022-01-21
US20220004298A1 (en) 2022-01-06
TWI768407B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US10592050B2 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
TWI467438B (zh) 手勢識別方法及觸控系統
JP5270537B2 (ja) マルチタッチ利用、ジェスチャ及び実装
TWI584164B (zh) 在多點觸控裝置上模擬壓感
US20080297484A1 (en) Method and apparatus for providing gesture information based on touchscreen and information terminal device having the apparatus
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
EP2776905B1 (en) Interaction models for indirect interaction devices
EP3500918A1 (en) Device manipulation using hover
US10089000B2 (en) Auto targeting assistance for input devices
US9626086B1 (en) Adjusting eraser size in drawing applications
KR101949493B1 (ko) 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
WO2018218392A1 (zh) 触摸操作的处理方法和触摸键盘
TWI768407B (zh) 預測控制方法、輸入系統及電腦可讀取記錄媒體
US9256360B2 (en) Single touch process to achieve dual touch user interface
US20140184566A1 (en) Electronic apparatus, method of controlling the same, and computer-readable recording medium