TW201719335A - 視線輸入裝置、視線輸入方法、及程式 - Google Patents

視線輸入裝置、視線輸入方法、及程式 Download PDF

Info

Publication number
TW201719335A
TW201719335A TW105133630A TW105133630A TW201719335A TW 201719335 A TW201719335 A TW 201719335A TW 105133630 A TW105133630 A TW 105133630A TW 105133630 A TW105133630 A TW 105133630A TW 201719335 A TW201719335 A TW 201719335A
Authority
TW
Taiwan
Prior art keywords
input
line
sight
predetermined position
gaze point
Prior art date
Application number
TW105133630A
Other languages
English (en)
Other versions
TWI670625B (zh
Inventor
Kentaro YOSHIFUJI
Original Assignee
Orylab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orylab Inc filed Critical Orylab Inc
Publication of TW201719335A publication Critical patent/TW201719335A/zh
Application granted granted Critical
Publication of TWI670625B publication Critical patent/TWI670625B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明的課題在於提供一種可按照使用者之意圖，快速且正確地進行定位之視線輸入裝置、視線輸入方法、及程式。本發明之視線輸入裝置，其特徵在於：為了支援使用者之對於以顯示畫面或音像表現的輸入要素之視線輸入，檢測使用者的注視點或眼球旋轉運動，從被檢測的注視點朝向對顯示畫面或音像的既定位置的方向，或者依據檢測的眼球旋轉運動，使輸入要素移動；注視點離既定位置越遠時或眼球旋轉運動的旋轉角越大時，越增大輸入要素的移動速度，且注視點越靠近既定位置或旋轉角越小時，越使移動速度接近於零。

Description

視線輸入裝置、視線輸入方法、及程式
本發明係關於一種視線輸入裝置、視線輸入方法、及程式。
以往，為了因肢體不自由等理由而不能進行鍵盤、滑鼠、觸控面板之操作的人等的目的，已開發出一種利用視線進行輸入的視線輸入方法。
例如，於專利文獻1中，揭示有一種方法，該方法係取得輸入操作者的眼球周邊圖像，且對輸入操作者之視線方向進行檢測，然後根據視線方向使游標在複數個輸入要素之間移動，並且將檢測到輸入操作者之眨眼的情形作為觸發(trigger)，以決定游標位置的輸入要素。
此外，於專利文獻2中，作為畫面捲動方法，揭示有一種根據視線方向使畫面整體朝畫面中央移動，且於圖示(icon)等到達畫面中央附近的選擇區域上之情況下，將檢測到3秒以上之下意識的眨眼的情形作為觸發，進行應用之啟動的方法。
[先前技術文獻] [專利文獻]
專利文獻1：日本專利第5077879號公報
專利文獻2：日本特開2005-100366號公報
然而，於以往的視線輸入方法中，存在有難以做到根據使用者之意圖而快速且正確地進行定位的問題。
例如，於專利文獻1之視線輸入方法中，係讀取視線方向是右還是左，且使游標於排列在畫面上的輸入要素中一個一個地依序移動，與游標必須移動的輸入要素的數量成比例而花費時間。於此專利文獻1中，雖也記載有藉由眨眼的次數、或使視線朝向相同方向，而使游標的移動速度加速的方法，但仍存在有欲將已加速的游標定位在目的之輸入要素時則容易導致誤操作的問題。
同樣地，於專利文獻2之視線輸入方法中，雖也有藉由使視線朝相同方向注視3秒以上，而使畫面捲動速度高速化之記述，但仍存在有使用者必須在一定時間內以較低速的捲動(scroll)維持視線，而且，一旦欲以已高速化的捲動速度定位在目的之部位，則容易導致誤操作的問題。
本發明係鑑於上述問題而完成，目的在於提供一種可按照使用者之意圖，快速且正確地進行定位之視線輸入裝置、視線輸入方法、及程式。
為了達成此種之目的，本發明的視線輸入裝置，係支援使用者對於以顯示畫面或音像表現的輸入要 素之視線輸入，該視線輸入裝置之特徵在於具備：檢測手段，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制手段，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動；上述移動控制手段，係在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
此外，本發明的視線輸入裝置，係於上述視線輸入裝置中，進一步具備輸入決定手段，其在滿足既定條件時，決定對應於前述既定位置附近的前述輸入要素的輸入。
此外，本發明的視線輸入裝置，係於上述視線輸入裝置中，上述輸入決定手段係以變成(1)、(2)和(3)的狀態中的至少任一狀態時開始計數，在該狀態持續一定時間作為前述既定條件，在該狀態持續一定時間的情況下決定與該輸入要素對應的輸入，該等(1)、(2)和(3)的狀態為：(1)上述輸入要素之代表點進入包含上述既定位置的既定區域內之狀態；(2)上述輸入要素的區域重疊於上述既定位置之狀 態；及(3)上述既定區域與上述輸入要素的區域重疊之狀態。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述移動控制手段為，上述輸入決定手段係以包含手、或者指頭、腳的動作、及眼皮的開閉動作之身體的一部分中有既定動作作為上述既定條件，在身體的一部分中有既定動作的情況，判定為滿足上述既定條件，而決定對應於上述既定要素的輸入。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述移動控制手段係利用以下任一方式進行移動控制：(1)上述移動速度係與上述注視點和上述既定位置的距離或上述旋轉角成比例而增大的方式；(2)在上述(1)的方式中，當上述距離或上述旋轉角超過既定的閾值時，則比例常數增大的方式；及(3)上述移動速度與上述距離或上述旋轉角的平方成比例而增大的方式。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述輸入要素係與文字對應的要素，且於上述顯示畫面顯示虛擬鍵盤。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述輸入要素係與上述移動速度之設定、顯示尺寸的設定、輸入切換、及上述一定時間之設定中的至少一個相關的要素。
本發明的視線輸入裝置，係於上述視線輸入裝置中，具備：在滿足既定條件的情況，進行上述顯示畫面或上述音像中的放大或縮小的輸入決定手段。
本發明的視線輸入裝置，係於上述視線輸入裝置中，具備：在滿足既定條件的情況，執行既定的遠距離操作的輸入決定手段。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述輸入決定手段為，即使在成為上述狀態的情況，當上述注視點的速度為既定的閾值以上時或上述注視點與上述既定位置相距的距離為既定的閾值以上時，不會開始計數。
本發明的視線輸入裝置，係於上述視線輸入裝置中，上述移動控制手段係從依據藉由上述檢測手段所檢測的眼球旋轉運動所推斷的注視點，使輸入要素朝向對於既定位置的方向移動。
本發明的視線輸入方法，係用以支援使用者對於以顯示畫面或音像表現的輸入要素的視線輸入且在電腦中執行，該視線輸入方法包含：檢測步驟，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制步驟，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動；於上述移動控制步驟中， 在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
本發明的視線輸入程式係用以使電腦執行視線輸入方法之視線輸入程式，該視線輸入方法係支援使用者對於以顯示畫面或音像來表現的輸入要素的視線輸入，其特徵在於：該視線輸入方法包含：檢測步驟，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制步驟，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動，於上述移動控制步驟中，在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
根據本發明，可獲得能按照使用者之意圖，快速且正確地進行定位之功效。尤其是，在注視點離既定位置越遠時越增大輸入要素的移動速度，且注視點越 靠近既定位置時越使移動速度接近於零，因此，於分離之情況下能快速地接近定位點，並且在接近之情況下能降低速度而正確地進行定位，從而可一面防止誤操作一面高速地定位。
100‧‧‧視線輸入裝置
102‧‧‧控制部
102a‧‧‧顯示控制部
102b‧‧‧移動控制部
102c‧‧‧注視點檢測部
102d‧‧‧輸入決定部
104‧‧‧通信控制介面部
106‧‧‧記憶部
106a‧‧‧輸入檔案
106b‧‧‧設定檔案
108‧‧‧輸入輸出控制介面部
112‧‧‧檢測部
114‧‧‧顯示部
200‧‧‧外部裝置
300‧‧‧網路
第1圖為顯示本實施形態的視線輸入裝置100之構成的一例的方塊圖。
第2圖為顯示藉由顯示控制部102a顯示的虛擬鍵盤之一例的圖。
第3圖為示意地顯示顯示部114之顯示畫面、注視點及既定位置的位置關係與指令版之移動方向的圖。
第4圖為於橫軸顯示注視點與既定位置的距離，於縱軸顯示移動速度的曲線圖。
第5圖為顯示本實施形態之視線輸入處理的一例的流程圖。
第6圖為在文字盤中顯示原點座標(圖中的十字)、與被檢測的注視點座標(圖中的圓)的圖。
第7圖為顯示計數開始後暫時繼續附近狀態的情況下之顯示畫面例的圖。
第8圖為顯示計數達到一定時間之情況下的顯示畫面例的圖。
第9圖為顯示本實施形態之視線輸入處理的實施例的流程圖。
以下，參照圖式對本發明之本實施形態的視線輸入裝置、視線輸入方法、及程式、暨記錄媒體的實施形態詳細地進行說明。再者，本發明並非藉由本實施形態所限制。
[視線輸入裝置100的構成]
首先，對本發明之本實施形態的視線輸入裝置的構成進行說明，然後，對本實施形態的處理等詳細地進行說明。其中，第1圖為顯示本實施形態的視線輸入裝置100之構成的一例的方塊圖，且僅概念地顯示該構成中的與本實施形態相關的部分。
第1圖中，視線輸入裝置100係大致被構成為具備：CPU等控制部102，其統籌性地控制視線輸入裝置100整體；通信控制介面部104，其連接於被連接在通信線路等的路由器等的通信裝置(未圖示)；輸入輸出控制介面部108，其連接於用以視線檢測等的檢測部112或顯示部114；及記憶部106，其存儲各種之資料庫及表格等，且這些各部分係經由任意的通信線路而可通信地被連接。
存儲於記憶部106之各種資料庫及表格(輸入檔案106a或設定檔案106b)，係固定磁碟等的存儲手段，且存儲使用於各種處理之各種程式、表格、檔案、資料庫、網頁等。
其中，輸入檔案106a係記憶被輸入的文字等資料的輸入資料記憶手段。例如，輸入檔案106a也可記憶與藉由視線輸入而被輸入決定的文字輸入要素對應的文字資料(文本資料等)。
此外，設定檔案106b係記憶被設定之各種設定資訊的設定資訊記憶手段。例如，設定檔案106b，也可記憶移動速度之設定資訊、顯示尺寸的設定資訊、輸入切換資訊(例如，是平假名輸入還是字母(alphabet)輸入的設定狀態等)、及用以輸入決定的計數時間(一定時間)的設定資訊等。
此外，第1圖中，輸入輸出控制介面部108，進行視線檢測等的檢測部112或顯示部114之控制。作為檢測部112，可使用通常的可視光用照相機或紅外線照相機等的撮像裝置、周知的視線檢測裝置或注視點測量裝置、周知的眼球運動檢測裝置或眼球運動測量裝置、發光聚光裝置等。作為一例，也可使用Tobii Technology公司製眼球運動測量器或JIN股份有限公司製的MEME作為檢測部112。此外，作為顯示部114，可採用顯示器(包括家用電視機或PC用螢幕顯示器等)等。在此，檢測部112並不限於進行視線檢測或眼球運動檢測，亦可檢測手、指頭、腳的動作、眼皮的開閉動作等身體一部分的動作。例如，檢測部112亦可藉由照相機或紅外線感測器等任意的檢測手段，來辨識人物的動作。作為一例，檢測部112亦可使用周知的姿勢(gesture)辨識技術，或周知的動作感測器(motion sensor)等來檢測使用者的動作。姿勢(gesture)，係可從物理空間中的使用者的位置及動作獲得，其可包含如指頭、手臂或腳的動作、或者靜止姿勢那樣的動態或靜態之任意的使用者動作。作為本實施形態的一例，在檢測部112中，如照相機之類的捕捉‧裝置 (capture‧devie)，亦可擷取使用者影像資料，並從該使用者影像資料，辨識使用者的姿勢(一個或複數個)。更具體而言，檢測部112係使用電腦環境，在使用者的三維物理空間中辨識及分析使用者所進行的姿勢，將已解釋之使用者的動作資料、屬性資料等或解析前原始資料傳送到視線輸入裝置100。作為一例，檢測部112亦可辨識指著某方向的動作、將手朝某方向推出的動作、將腳朝某方向上踢的動作、開閉眼皮的動作。
作為周知的動作(motion)辨識手段的一例，也可使用微軟公司製Xbox One用動作感測器的Kinect感測器。根據Kinect技術，可獲得全身骨骼的骨架動作資料、屬性資料。此外，周知的動作感測器中，使用內設感測器的控制手段解析人物的動作或屬性，或者藉由所連接的電腦的控制手段解析人物的動作或屬性，但本實施形態也可為任一者，例如，此等解析機能可藉由檢測部112的控制手段(處理器等)實現，也可藉由空間音響生成裝置100的控制手段(後述的音源算出部102b等)實現，或者，也可藉由兩者的控制手段來實現解析機能。此外，檢測部112亦可進一步具備觸控板、觸控面板、麥克風等的檢測手段。又，檢測部112不限於直接檢測人的身體，也可像Facebook公司製Oculus Rift的Oculus Touch控制器那樣，藉由檢測使用者所裝設的控制器或標識(例如，二維代碼)等的動作，間接地檢測身體的動作。再者，也可於顯示部114附設揚聲器。在此，本發明亦可藉由利用複數個揚聲器等的多頻道輸出(multi-channel)來 進行音像輸出，以取代藉由顯示部114的顯示輸出。再者，為了對輸入決定之觸發時間(trigger time)、變焦率、會成為既定位置的原點座標、指令區域等進行初始設定，視線輸入裝置100也可具備鍵盤或滑鼠等輸入手段，輸入輸出控制介面部108也可進行輸入手段的控制。
此外，第1圖中，控制部102具有用以存儲OS(Operating System)等的控制程式、規定各種處理順序等的程式、及所要資料之內部記憶體，藉由這些程式等，進行用以執行各種處理的資訊處理。控制部102係被功能概念性地構成為具有顯示控制部102a、注視點檢測部102c、及輸入決定部102d。
其中，顯示控制部102a係進行顯示部114之顯示控制的顯示控制手段。例如，顯示控制部102a，係進行使輸入要素顯示於顯示部114之顯示畫面的控制。作為一例，顯示控制部102a也能以使與各文字對應的鍵顯示作為輸入要素，且使虛擬鍵盤顯示於顯示部114的方式進行控制。其中，第2圖為顯示藉由顯示控制部102a顯示之虛擬鍵盤的一例的圖。
如第2圖所示，作為一例，顯示控制部102a，也可顯示由行及列構成之能客製化的文字盤，作為虛擬鍵盤。再者，斜線顯示文字「9」的指令區域，且顯示藉由後述之輸入決定部102d的控制而能進行文字選擇的範圍。再者，如第2圖所示，也可構成為藉由在各文字鍵的中心顯示紅色等的點，對使用者而言能容易誘導視點。
在此，輸入要素，除了文字外，也可為各種 之能選擇的要素。例如，也可對第2圖之文字盤上的鍵，分配用以設定藉由後述之移動控制部102b控制的移動速度、顯示尺寸(變焦率)、輸入切換(字母輸入/假名輸入的切換等)、由輸入決定部102d進行的輸入決定的時間等的輸入要素。除此之外，顯示控制部102a，也可顯示快捷鍵、應用啟動用圖示(icon)、網站上的連結(link)、圖像顯示用的縮略圖(thumbnail)等作為輸入要素。再者，此種之輸入要素、決定輸入要素時的資料(圖像資料或連結目標資料等)，也可被預先記憶於記憶部106之輸入檔案106a，也可經由網路300而自外部系統200下載。
此外，本實施形態中，說明顯示控制部102a進行顯示輸出的例子，本發明並不侷限於此。例如，亦可為控制部102控制來自揚聲器等的音像輸出，來取代進行顯示輸出。例如，控制部102亦可控制揚聲器，使輸入要素的聲音(例如，稱為「A」的聲音)具有聲音方位性而輸出。
在此，如第1圖所示，顯示控制部102a具有移動控制部102b。移動控制部102b，係依據由注視點檢測部102c檢測的注視點或眼球旋轉運動，使輸入要素等移動的移動控制手段。例如，例如，移動控制部102b亦可從藉由注視點檢測部102c檢測的注視點，使輸入要素等朝向對顯示畫面上的既定位置的方向移動。又，作為其他例，移動控制部102b亦可從依據藉由注視點檢測部102c所檢測的眼球旋轉運動所推斷的注視點，使輸入要素朝向對既定位置的方向移動。此外，移動的對象不限於顯示要素，亦可使關於聲音從哪個方向來之辨識的音 像移動。在此，移動控制部102b，亦可進行注視點離既定位置越遠時越增大輸入要素等的移動速度，注視點越靠近既定位置越使移動速度接近於零的移動控制。同樣地，移動控制部102b亦可為眼球旋轉運動的旋轉角愈大時則愈增大輸入要素的移動速度，旋轉角愈小時則使移動速度愈接近零。此外，移動控制部102b，除了輸入要素外，也可使輸入要素之背景圖像、包含輸入要素的小畫面、或顯示畫面整體與顯示要素一併移動。
其中，第3圖為示意地表示顯示部114之顯示畫面、注視點及既定位置的位置關係、與指令版之移動方向的圖。圖中的十字標誌係顯示既定位置，本例中，被配置於顯示畫面之中央。此外，圖中的圓，顯示藉由注視點檢測部102c所檢測的注視點的位置。此外，顯示既定位置或注視點的標誌，可藉由顯示控制部102a顯示，也可不被顯示。
如第3圖中箭頭所示，移動控制部102b，係進行使輸入要素等自藉由注視點檢測部102c檢測的注視點，朝對於顯示畫面上的既定位置的方向移動之移動控制。亦即，圖中之箭頭向量的方向，係顯示自注視點相對於既定位置的方向。再者，此箭頭係為了說明移動方向而在權宜上顯示者，通常並不顯示於顯示畫面上。再者，以圖中的黑白方格圖案，顯示包含複數個指令區域的指令版。亦即，此指令版係與上述第2圖之虛擬鍵盤的一部分對應。於此圖中，顯示相當於16個文字鍵的文字盤。並且，藉由移動控制部102b的控制進行此指令版的移 動控制之動作，係相當於進行前述虛擬鍵盤整體的移動控制之動作。於此圖中，藉由移動控制部102b的控制，朝箭頭的方向移動，會出現未被顯示的指令區域。
第3圖之箭頭的長度，顯示自藉由注視點檢測部102c檢測的注視點至既定位置為止的距離，如上述，移動控制部102b，係進行此距離越大時越增大輸入要素等的移動速度，此距離越小則越使移動速度接近於零的移動控制。其中，第4圖為於橫軸顯示注視點與既定位置的距離，於縱軸顯示移動速度的曲線圖。
作為一例，如第4圖之曲線A(比例直線)所示，移動控制部102b，也能以與注視點與既定位置(顯示畫面之中心點或原點等)的距離成比例而使移動速度增大的方式進行移動控制。此外，如曲線B(多段比例直線)所示，移動控制部102b，也可於距離設置閾值(圖中的虛線)，且以若距離超過既定的閾值則比例常數增大的方式進行移動控制。此外，如曲線C(二次函數)所示，移動控制部102b，也能以與距離的平方成比例而使移動速度增大的方式進行移動控制。
以上，如將曲線A~C作為一例所顯示，若距離變短，則移動控制部102b根據此距離，而使移動速度快速下降，該移動速度即為使文字盤等指令版滑動之移動速度。藉此，於自既定位置分離之情況下，可快速地接近定位點(既定位置)，且於靠近既定位置之情況下，可降低移動速度而正確地進行定位，因此能實現高速且誤操作少的定位。再者，距離與移動速度的函數，只要 為當注視點靠近既定位置時則移動速度接近於零的函數，則不限於上述A~C的一次函數或二次函數。例如，也可為指數函數或四次函數、三角函數等。又，上述係說明距離和移動速度的關係，惟關於眼球的旋轉角度和移動速度，藉由將「距離」改稱為「旋轉角」，也可同樣適用。此外，旋轉角亦可為既定位置的方向設為0°，與視線方向的角度。
再度返回第1圖，注視點檢測部102c，係經由檢測部112，檢測使用者之注視點或眼球旋轉運動的注視點檢測手段。在此，注視點檢測部102c，不限於藉由檢測部112之功能，直接檢測注視點或眼球的旋轉角，也可控制照相機等撮像手段等的檢測部112，以周知的手段，由使用者之眼球附近的圖像，計算注視點或旋轉角。再者，也可將控制部102c之部分功能與檢測部112設為一體，構成注視點檢測手段，控制部102c或檢測部112，也可單獨作為注視點檢測手段而構成。注視點之檢測，也可使用周知的注視點檢測手段或周知的注視點計算方法。此外，注視點檢測部102c，也可控制檢測部112而檢測視線，且計算檢測出的視線與顯示部114之顯示畫面平面的交點而作為注視點。
又，注視點檢測部102c，也可控制檢測部112，檢測眼球運動、眼球位置或眼球狀態，且由檢測出的眼球運動、眼球位置或眼球狀態，導出視線或注視點或旋轉角。此外，在此，注視點檢測部102c，也可控制檢測部112，對人物的眼球進行拍撮，且根據相對於所拍攝 之眼球的瞳孔的位置而導出視線或旋轉角。例如，也可將圖像上不動的部分作為基準點，且將移動的部分作為動點，注視點檢測部102c，根據動點之相對於基準點的位置，檢測視線。在此，作為周知的視線檢測方法，具有以基準點為眼角且動點為虹彩而從位置關係來辨別視線的方法、或者以基準點為角膜反射且動點為瞳孔而從藉由紅外線照射的角膜反射而獲得之關係來辨別視線的方法等。
此外，如第1圖所示，輸入決定部102d，係以既定條件決定輸入的輸入決定手段。例如，輸入決定部102d係於既定位置附近且一定時間內存在有輸入要素之情況下，決定與該輸入要素對應的輸入。在此，作為輸入要素位於既定位置附近的例子，也可為以下之任一狀態，即、(1)輸入要素的代表點進入包含既定位置之既定區域內的狀態、(2)輸入要素的區域重疊在既定位置上的狀態、(3)既定區域與輸入要素的區域重疊的狀態。亦即，輸入決定部102d，也可於成為上述任一之附近狀態的情況下開始計數(count)，且只要此附近狀態仍繼續中，則繼續計數，當達到既定的一定時間後，則決定與該輸入要素相關的輸入。如此，輸入決定部102d，也可將以下情況中的任一情況作為輸入決定的觸發，即、(1)輸入要素的代表點進入包含既定位置的既定區域內達一定時間的情況、(2)輸入要素的區域在既定位置上重疊一定時間的情況、及(3)既定區域與輸入要素的區域重疊一定時間的情況。在此，輸入決定部102d也可設成即使成為既 定狀態的情況，在注視點的速度為既定的閾值以上時，或注視點與既定位置相距的距離為既定的閾值以上時，不會開始計數。藉此，可避免不想要的輸入開始動作。
在此，輸入決定不限於決定文字等的輸入，亦包含地圖等的放大‧縮小、或捲動等輸入。例如，輸入決定部102d在滿足既定條件時，亦可進行執行顯示畫面或音像中的放大或縮小之輸入決定。又，不限於上述，輸入決定部102d亦可進行遠距離操作的輸入決定。例如，輸入決定部102d，在滿足既定條件時，亦可經由網路300，決定機器人等外部裝置200的遠距離操作。
此外，第1圖中，通信控制介面部104，係進行視線輸入裝置100與網路300(或路由器等通信裝置)之間的通信控制。亦即，通信控制介面部104，具有經由通信線路(無論是有線還是無線)而與其他終端(外部裝置200等)進行資料通信的功能。
亦即，視線輸入裝置100，也可被構成為經由網路300而能與外部系統200通信地連接，該外部系統200係提供與網頁或圖像資料等輸入要素或輸入資料相關的外部資料庫、或視線輸入處理程式等外部程式等。此視線輸入裝置100，也可經由路由器等通信裝置及專用線路等有線或無線的通信線路，而能通信地連接於網路300。
在此，第1圖中，網路300具有將視線輸入裝置100與外部系統200相互連接的功能，例如網際網路等。
此外，第1圖中，外部系統200具有經由網路300而與視線輸入裝置100相互連接，對使用者提供執行 與圖像資料相關的外部資料庫或視線輸入處理程式等外部程式等之網站的功能。
在此，外部系統200，也可構成為WEB伺服器或ASP伺服器等，此硬體構成，也可由一般販售的工作站、個人電腦等的資訊處理裝置及其附屬裝置構成。此外，外部系統200之各功能，係藉由外部系統200之硬體構成中的CPU、磁碟裝置、記憶體裝置、輸入裝置、輸出裝置、通信控制裝置等、及控制這些的程式等而被實現。
[視線輸入處理]
其次，參照第5圖對藉由如此構成之本實施形態的視線輸入裝置100而執行的視線輸入處理的一例詳細地進行說明。第5圖為顯示本實施形態之視線輸入處理的一例的流程圖。再者，以預先藉由顯示控制部102a之處理而於顯示部114之顯示畫面顯示有輸入要素等之情況為前提。
如第5圖所示，首先，注視點檢測部102c，經由檢測部112，檢測使用者的注視點(步驟SA-1)。更具體而言，注視點檢測部102c，經由輸入輸出控制介面部108控制檢測部112，藉以檢測觀看顯示部114之顯示畫面的使用者的視線或注視點。例如，注視點檢測部102c，也可基於經由照相機等檢測部112而取得之眼球周邊圖像，導出眼球上的基準點及動點而計算視線，且從視線與顯示畫面之位置關係來檢測注視點。除此之外，注視點檢測部102c，也可採用周知的注視點檢測手段或視線檢 測手段，檢測注視點。
接著，移動控制部102b，根據藉由注視點檢測部102c檢測的注視點與顯示畫面上的既定位置(畫面中心等的原點座標等)之位置關係，決定包含複數個輸入要素的文字盤(指令版的一例)之移動方向及移動速度(步驟SA-2)。其中，第6圖為在文字盤中顯示原點座標(圖中的十字標誌)、與被檢測的注視點座標(圖中的圓)的圖。
如第6圖所示，既定位置即原點座標，宜設定於顯示部114之畫面中心等使用者的視線容易配置的部位、容易放置注視點的場所等。再者，也可於圖上部設置用以顯示輸入決定之文字的區域。第6圖中，移動控制部102b，係將自注視點朝原點座標的方向(朝圖中大致左方向)決定為移動方向。此外，移動控制部102b，係決定對應注視點與原點座標之距離的移動速度。例如，移動控制部102b，也可藉由將距離代入使用第4圖而如上述的既定函數(一次函數或二次函數)，而計算移動速度。
再度返回第5圖，移動控制部102b，係以根據注視點而決定的移動方向及移動速度，使包含複數個輸入要素的指令版(例如文字盤)移動(步驟SA-3)。
然後，輸入決定部102d，判斷任一輸入要素是否位於原點座標的附近(步驟SA-4)。例如，輸入決定部102d，也可於以下之任一情況下，判斷為處於附近狀態。
(1)輸入要素之代表點進入包含原點座標之矩形區域內的狀態； (2)輸入要素之指令區域重疊在原點座標上的狀態；(3)包含原點座標之矩形區域與輸入要素的指令區域重疊的狀態。
於輸入要素不在原點座標附近的情況下(步驟SA-4,否)，輸入決定部102d，將計數重置(reset)(步驟SA-6)，使處理返回步驟SA-1。即，視線輸入裝置100，反復地進行上述步驟SA-1~SA-6之處理。
另一方面，於任一輸入要素位於原點座標的附近之情況下(步驟SA-4,是)，輸入決定部102d，開始輸入決定觸發的計數(步驟SA-5)。再者，於已開始計數之情況下，輸入決定部102d使計數繼續進行。在上述第6圖中，由於原點座標進入了文字「Y」的指令區域內，因此計數變成主動(圖中灰色)。其中，第7圖為顯示原點座標進入了文字「R」的指令區域內，計數開始後暫時繼續附近狀態的情況下之顯示畫面例的圖。
本例子中，於輸入要素之指令區域重疊在上述狀態(2)的原點座標的狀態、且注視點也位於相同指令區域內之情況下，繼續進行計數。如第7圖所示，一旦開始計數，則顯示控制部102a顯示沿圓周延伸一圓弧的計時器，從而將輸入要素的選擇狀態之情況視覺性地反饋給使用者。再者，本例中，使圓弧旋轉一周而關聯的時間與輸入決定觸發的一定時間一致。因此，使用者可藉由計時器顯示，把握至輸入決定(指令執行等)為止的剩餘時間。
再度返回第5圖，輸入決定部102d，判斷計數 是否已達到輸入決定觸發的一定時間(步驟SA-7)。於未達到一定時間的情況下(步驟SA-7,否)，使處理返回步驟SA-1，視線輸入裝置100，反復地進行上述步驟SA-1~SA-7之處理。
另一方面，於計數達到輸入決定觸發的一定時間之情況下(步驟SA-7,是)，輸入決定部102d，決定與該輸入要素相關的輸入，且將輸入資料存儲於輸入檔案106a(步驟SA-8)。在此，第8圖為顯示計數達到一定時間之情況下的顯示畫面例的圖。如第8圖所示，因為原點座標及注視點在文字「F」之輸入要素的指令區域內停留一定時間，因此執行「F」的輸入指令，於上部的輸入文字顯示區輸入有「F」的文字。再者，為了顯示輸入要素自選擇狀態變成輸入決定狀態的情況，顯示控制部102a，也可將該輸入要素的指令區域自選擇狀態的顏色(例如紅色)變更為輸入決定狀態的顏色(例如藍色)。顯示控制部102a，不限於顏色，也可藉由斜線等的強調顯示或聲音等的差異，而將選擇狀態及輸入決定狀態容易理解地反饋給使用者。
以上內容，係本實施形態之視線輸入處理的一例。再者，也能以於進行一個輸入要素的輸入決定後，視線輸入裝置100，藉由使處理返回步驟SA-1而反復進行上述處理，從而以能連續地對輸入要素進行視線輸入的方式進行控制。
[視線輸入處理的實施例]
接著，作為又一具體例，以下參照第9圖對藉由視線 輸入裝置100而執行的視線輸入處理的實施例詳細地進行說明。第9圖為顯示本實施形態之視線輸入處理的實施例的流程圖。
如第9圖所示，首先，控制部102對用於輸入決定的滑鼠經過(mouseover)時間、顯示的變焦率、原點座標、指令區域等的設定，進行初始定義(步驟SB-1)。再者，控制部102，不限於經由檢測部112而使使用者進行初始設定，也可經由鍵盤或滑鼠等輸入手段而使使用者進行初始設置。再者，控制部102也可執行注視點檢測部102c的注視點檢測的校準(校正)。控制部102，將這些設定資訊存儲於設定檔案106b內，而利用於各種處理。
然後，控制部102開始以下之SB-2~SB-12的循環處理的執行(步驟SB-2)。
在循環處理中，首先，注視點檢測部102c，根據經由檢測部112而檢測的使用者的視線，計算位於此視線的目標之注視點的座標(步驟SB-3)。
然後，移動控制部102b，根據藉由注視點檢測部102c計算出的注視點座標與原點座標之距離及角度，計算使文字盤指令版滑動的方向及速度(步驟SB-4)。
然後，移動控制部102b，根據計算出的滑動方向及速度，對文字盤指令版的座標進行更新(步驟SB-5)。
然後，輸入決定部102d判斷原點座標及注視點座標兩者是否進入了任意的指令區域(步驟SB-6)。
於原點座標及注視點座標兩者皆未進入任一 指令區域的情況下(步驟SB-6,否)，控制部102將時間計數重置(步驟SB-7)，開始新的循環處理(步驟SB-12)。
另一方面，於原點座標及注視點座標兩者進入了任一指令區域的情況下(步驟SB-6,是)，輸入決定部102d進行時間計數(步驟SB-8)。
然後，輸入決定部102d判斷時間計數是否超過了初始定義的滑鼠經過時間(步驟SB-9)。於未超過滑鼠經過時間的情況下(步驟SB-9,否)，開始新的循環處理(步驟SB-12)。
另一方面，於時間計數超過了初始定義的滑鼠經過時間之情況下(步驟SB-9,是)，輸入決定部102d，執行與指令區域對應的相關指令(步驟SB-10)。
然後，輸入決定部102d，將時間計數重置(步驟SB-11)，開始新的循環處理(步驟SB-12)。在此，輸入決定部102d，也可取代將時間計數重置，而以不連續輸入相同指令的方式，於該指令上豎立旗標(tag)，且將旗標資訊記錄於設定檔案106b。
以上內容，係本實施形態之視線輸入處理的實施例。至此，結束本實施形態的說明。
[其他的實施形態]
至此對本發明的實施形態進行了說明，但本發明除了上述實施形態外，還可在專利申請範圍記載之技術思想的範疇內，以各種不同的實施形態加以實施。
例如，雖對視線輸入裝置100以獨立(stand-alone)的形態進行處理之情況進行了說明，但視線 輸入裝置100，也可構成為根據來自客戶終端(外部裝置200等)的要求而進行處理，且將此處理結果返送至該客戶終端。
檢測處理不限以上之說明，也可採用周知的視點檢測手段來執行。例如，也可以藉由計算自雙眼的會聚角(convergence angle)資訊及視線位置資訊至目標物的距離及方向，取得相對位置，而更正確地測量注視點之方式進行控制。此外，也可為對人的臉部的圖像施加各種的圖像處理以檢測眼球部分及眼白部分等的位置，進行視線方向的計算之周知方法，也可使用藉由將護目鏡或頭套之專用器具安裝於操作者，更正確地檢測眼球之動作的周知方法。
此外，也可利用眼球內部之反射，藉由檢測裝置直接測量視線方向。亦即，當光等的電磁波自視線方向入射時，則以眼球的視網膜反射，而朝視線方向(入射方向反方向)反射，且到達檢測裝置等。然而，即使光等自視線方向外入射，由於不會通過眼球的直徑，因此光等不會朝入射方向反方向反射。也可利用此性質，使電磁波等產生裝置與檢測裝置組合，檢測在與電磁波等產生位置相同之位置被反射的電磁波等，藉以檢測視線或視點。此外，注視點檢測部102c，也可使上述這些處理或裝置任意組合而構成。
此外，也可將在實施形態中說明的各處理中作為自動地進行而說明的處理之全部或一部分手動地進行，或者，將作為手動進行而說明之處理的全部或一部 分以周知的方法自動地進行。
除此之外，關於包含上述文獻中或圖式中所示的處理順序、控制順序、具體名稱、各處理之登錄資料或檢索條件等的參數的資訊、畫面例、資料庫構成，除了特別記載的情況外，可任意變更。
此外，關於視線輸入裝置100，圖示之各構成要素係功能概念性者，不一定需要如圖示物理性地構成。
例如，關於視線輸入裝置100之各裝置具備的處理功能、尤其以控制部102進行的各處理功能，也可藉由CPU(Central Processing Unit)及以該CPU解釋執行的程式來實現其全部或任意的一部分，此外，也可作為利用佈線邏輯(wired logic)的硬體而實現。再者，程式係被記錄於後述之非暫時性的電腦可讀取的記錄媒體，且根據需要被視線輸入裝置100機械地讀取，該非暫時性的電腦可讀取的記錄媒體係包含用以使電腦執行本發明的方法之被程式化的命令。亦即，於ROM或HDD(Hard Disk Drive)等的記憶部106等記錄有電腦程式，該電腦程式係與OS(Operating System)協同動作對CPU發出命令，而用以進行各種處理。此電腦程式，係藉由載入於RAM而被執行，且與CPU協同動作而構成控制部。
此外，此電腦程式，也可被記錄於經由任意的網路300而連接於視線輸入裝置100等的應用程式伺服器，也可根據需要下載其全部或一部分。
此外，也可將本發明的程式存儲於電腦可讀取的記錄媒體，此外，也可構成為程式產品。在此，此 「記錄媒體」係指包含記憶卡、USB記憶體、SD卡、軟碟、光磁碟、ROM、EPROM、EEPROM、CD-ROM、MO、DVD、及Blu-ray(登錄商標)磁碟等任意之「可攜帶的物理媒體」者。
此外，「程式」係指以任意之語言或記述方法記述的資料處理方法，且無關源碼或二進制碼等的形式。再者，「程式」不必限於單一的構成者，還包含作為複數個模組或程式庫而分散構成者、或與OS(Operating System)所代表的個別程式協同動作而達成其功能者。再者，關於在實施形態所示之各裝置中用以讀取記錄媒體的具體構成、讀取順序、或讀取後的安裝順序等，可使用周知的構成或順序。程式也可作為被記錄於非暫時性之電腦可讀取的記錄媒體的程式產品，而構成本發明。
存儲於記憶部106之各種資料庫等(輸入檔案106a、設定檔案106b等)，係RAM、ROM等記憶體裝置、硬碟等固定磁碟裝置、軟碟、及光碟等的存儲手段，其存儲使用於各種處理或供網站使用的各種程式、表格、資料庫、及網頁用檔案等。
此外，視線輸入裝置100也可被構成為作為已知的個人電腦、工作站等的資訊處理裝置，此外，也可被構成為於該資訊處理裝置連接任意的周邊裝置。此外，視線輸入裝置100，也可藉由於該資訊處理裝置安裝用以實現本發明的方法之軟體(包含程式、資料等)而實現。
並且，裝置之分散．統合之具體形態，不限於 圖示者，可根據各種之附加等、或根據功能負荷，且以任意的單位功能性或物理性地分散．統合地構成其全部或一部分。亦即，也可將上述實施形態任意組合來實施，也可選擇性地實施實施形態。
[產業上之可利用性]
如以上詳細說明，根據本發明，可提供一種可按照使用者的意圖快速且正確地進行定位之視線輸入裝置、視線輸入方法、及程式。

Claims (13)

  1. 一種視線輸入裝置，係支援使用者對於以顯示畫面或音像來表現的輸入要素之視線輸入，該視線輸入裝置之特徵在於具備：檢測手段，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制手段，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動；上述移動控制手段，係在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
  2. 如請求項1之視線輸入裝置，其進一步具備輸入決定手段，其在滿足既定條件時，決定對應於前述既定位置附近的前述輸入要素的輸入。
  3. 如請求項2之視線輸入裝置，其中上述輸入決定手段係以變成(1)、(2)和(3)的狀態中的至少任一狀態時開始計數，在該狀態持續一定時間作為前述既定條件，在該狀態持續一定時間的情況決定與該輸入要素對應的輸入，該等(1)、(2)和(3)的狀態為：(1)上述輸入要素之代表點進入包含上述既定位置 的既定區域內之狀態；(2)上述輸入要素的區域重疊於上述既定位置之狀態；及(3)上述既定區域與上述輸入要素的區域重疊之狀態。
  4. 如請求項1至3中任一項之視線輸入裝置，其中上述移動控制手段為，上述輸入決定手段係以包含手、或者指頭、腳的動作、及眼皮的開閉動作之身體的一部分中有既定動作作為上述既定條件，在身體的一部分中有既定動作的情況，判定為滿足上述既定條件，而決定對應於上述既定要素的輸入。
  5. 如請求項1至4中任一項之視線輸入裝置，其中上述移動控制手段係利用以下任一方式進行移動控制：(1)上述移動速度係與上述注視點和上述既定位置的距離或上述旋轉角成比例而增大的方式；(2)在上述(1)的方式中，當上述距離或上述旋轉角超過既定的閾值時，則比例常數增大的方式；及(3)上述移動速度與上述距離或上述旋轉角的平方成比例而增大的方式。
  6. 如請求項1至5中任一項之視線輸入裝置，其中上述輸入要素係與文字對應的要素，且於上述顯示畫面顯示虛擬鍵盤。
  7. 如請求項1至6中任一項之視線輸入裝置，其中上述輸入要素係與上述移動速度之設定、顯示尺寸的設定、 輸入切換、及上述一定時間之設定中的至少一個相關的要素。
  8. 如請求項1至7中任一項之視線輸入裝置，其中具備：在滿足既定條件的情況，進行上述顯示畫面或上述音像中的放大或縮小的輸入決定手段。
  9. 如請求項1至8中任一項之視線輸入裝置，其中具備：在滿足既定條件的情況，執行既定的遠距離操作的輸入決定手段。
  10. 如請求項3之視線輸入裝置，其中上述輸入決定手段為，即使在成為上述狀態的情況，當上述注視點的速度為既定的閾值以上時或上述注視點與上述既定位置相距的距離為既定的閾值以上時，不會開始計數。
  11. 如請求項1至10中任一項之視線輸入方法，其中上述移動控制手段係從依據藉由上述檢測手段所檢測的眼球旋轉運動所推斷的注視點，使輸入要素朝向對於既定位置的方向移動。
  12. 一種視線輸入方法，係用以支援使用者對於以顯示畫面或音像來表現的輸入要素的視線輸入且在電腦中執行，該視線輸入方法包含：檢測步驟，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制步驟，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動； 於上述移動控制步驟中，在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
  13. 一種用以使電腦執行視線輸入方法之視線輸入程式，該視線輸入方法係支援使用者對於以顯示畫面或音像來表現的輸入要素的視線輸入，其特徵在於：該視線輸入方法包含：檢測步驟，其檢測上述使用者的注視點或眼球旋轉運動；及移動控制步驟，從藉由上述檢測手段檢測的上述注視點，朝向對上述顯示畫面或上述音像的既定位置的方向，或者依據藉由上述檢測手段檢測的眼球旋轉運動，使上述輸入要素移動，於上述移動控制步驟中，在上述注視點離上述既定位置越遠時或上述眼球旋轉運動的旋轉角越大時，越增大上述輸入要素的移動速度，且上述注視點越靠近上述既定位置或上述旋轉角越小時，越使上述移動速度接近於零。
TW105133630A 2015-10-19 2016-10-19 視線輸入裝置、視線輸入方法、及程式 TWI670625B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-205946 2015-10-19
JP2015205946 2015-10-19

Publications (2)

Publication Number Publication Date
TW201719335A true TW201719335A (zh) 2017-06-01
TWI670625B TWI670625B (zh) 2019-09-01

Family

ID=58557156

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108126501A TW201941022A (zh) 2015-10-19 2016-10-19 視線輸入裝置、視線輸入方法、及程式
TW105133630A TWI670625B (zh) 2015-10-19 2016-10-19 視線輸入裝置、視線輸入方法、及程式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108126501A TW201941022A (zh) 2015-10-19 2016-10-19 視線輸入裝置、視線輸入方法、及程式

Country Status (8)

Country Link
US (1) US10678329B2 (zh)
EP (1) EP3367214A4 (zh)
JP (2) JP6371475B2 (zh)
KR (1) KR20180053402A (zh)
CN (1) CN108139813A (zh)
HK (1) HK1249226A1 (zh)
TW (2) TW201941022A (zh)
WO (1) WO2017069176A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
JP6960249B2 (ja) * 2017-05-31 2021-11-05 Ｌｉｎｅ株式会社 プログラム、表示方法および情報処理端末
JP7092981B2 (ja) * 2017-10-20 2022-06-29 富士通株式会社 移動体制御プログラム、移動体制御方法および情報処理装置
JP6712813B2 (ja) * 2018-02-27 2020-06-24 学校法人光産業創成大学院大学 シンボル選択装置及びシンボル選択装置用のプログラム
JP6715483B2 (ja) * 2018-02-27 2020-07-01 株式会社オレンジアーチ シンボル選択装置及びシンボル選択装置用のプログラム
US10939033B2 (en) * 2018-03-19 2021-03-02 Facebook Technologies, Llc Systems and methods for directing adaptive camera systems
JP7115737B2 (ja) * 2018-06-07 2022-08-09 株式会社オリィ研究所 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム
CN109389069B (zh) 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
EP3882743A4 (en) 2018-11-12 2021-12-29 Sony Group Corporation Display device, display control method, and program
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
KR102372265B1 (ko) * 2019-06-05 2022-03-10 한국전자기술연구원 자동차에서 시선으로 증강현실 정보를 결정하는 방법 및 장치
JP7560833B2 (ja) 2021-03-12 2024-10-03 株式会社オレンジアーチ 視線入力装置及び視線入力装置用のプログラム
US11782569B2 (en) * 2021-07-26 2023-10-10 Google Llc Contextual triggering of assistive functions
CN114253439B (zh) * 2021-10-30 2024-06-04 惠州华阳通用智慧车载系统开发有限公司 一种多屏交互方法
TWI798956B (zh) * 2021-11-24 2023-04-11 廣達電腦股份有限公司 眼球追蹤裝置以及眼球追蹤方法
CN114821180B (zh) * 2022-05-06 2022-12-06 盐城工学院 一种基于软阈值惩罚机制的弱监督细粒度图像分类方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2957977B2 (ja) 1997-10-30 1999-10-06 三洋電機株式会社 ビデオカメラ
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
JP3673834B2 (ja) * 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
CN1285994C (zh) * 2004-06-11 2006-11-22 上海大学 人机交互方法及装置
EP1607840B1 (en) * 2004-06-18 2015-01-28 Tobii Technology AB Eye control of computer apparatus
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5077879B2 (ja) 2007-08-29 2012-11-21 国立大学法人佐賀大学 視線入力装置、視線入力方法、及び、視線入力プログラム
CN101754715B (zh) * 2008-05-20 2012-07-25 松下电器产业株式会社 视线检测装置、摄像装置以及视线检测方法
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN102169348B (zh) * 2011-01-22 2012-07-04 浙江大学 用视线控制服务机器人的方法
JP2014123179A (ja) * 2012-12-20 2014-07-03 Fujitsu Ltd 情報処理装置、情報処理方法、見落し防止プログラム
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US8988344B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US20150135133A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Adjustable smooth scrolling
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US20170060413A1 (en) * 2014-02-21 2017-03-02 Drnc Holdings, Inc. Methods, apparatus, systems, devices and computer program products for facilitating entry of user input into computing devices
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking

Also Published As

Publication number Publication date
JP6371475B2 (ja) 2018-08-08
EP3367214A4 (en) 2019-04-17
TWI670625B (zh) 2019-09-01
CN108139813A (zh) 2018-06-08
EP3367214A1 (en) 2018-08-29
US10678329B2 (en) 2020-06-09
HK1249226A1 (zh) 2018-10-26
US20180239426A1 (en) 2018-08-23
KR20180053402A (ko) 2018-05-21
TW201941022A (zh) 2019-10-16
JP2018195323A (ja) 2018-12-06
WO2017069176A1 (ja) 2017-04-27
JPWO2017069176A1 (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
TWI670625B (zh) 視線輸入裝置、視線輸入方法、及程式
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6129879B2 (ja) 多次元入力のためのナビゲーション手法
JP6159323B2 (ja) 情報処理方法及び情報処理装置
JP6021335B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP2014219938A (ja) 入力支援装置、入力支援方法、および、プログラム
KR20140035358A (ko) 시선-보조 컴퓨터 인터페이스
US9544556B2 (en) Projection control apparatus and projection control method
US9323339B2 (en) Input device, input method and recording medium
CN109964202B (zh) 显示控制装置、显示控制方法和计算机可读存储介质
US9958946B2 (en) Switching input rails without a release command in a natural user interface
JP5882270B2 (ja) 情報処理装置、プログラム
US9898183B1 (en) Motions for object rendering and selection
JP2018116346A (ja) 入力制御装置、表示装置、及び入力制御方法
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
JP6679083B2 (ja) 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP2013134549A (ja) データ入力装置およびデータ入力方法
JP5676959B2 (ja) 情報処理装置及びその制御方法
JP2017049662A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP6256545B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
TW201925989A (zh) 互動系統
US20240361836A1 (en) Alert display system, alert display method, and alert display program