TW201807540A - 信息處理系統、操作方法及操作程序 - Google Patents

信息處理系統、操作方法及操作程序 Download PDF

Info

Publication number
TW201807540A
TW201807540A TW106125641A TW106125641A TW201807540A TW 201807540 A TW201807540 A TW 201807540A TW 106125641 A TW106125641 A TW 106125641A TW 106125641 A TW106125641 A TW 106125641A TW 201807540 A TW201807540 A TW 201807540A
Authority
TW
Taiwan
Prior art keywords
sight
line
user
unit
movement
Prior art date
Application number
TW106125641A
Other languages
English (en)
Inventor
金子大和
洛克藍 威爾森
小島由香
Original Assignee
美商Ｆｏｖｅ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｆｏｖｅ股份有限公司 filed Critical 美商Ｆｏｖｅ股份有限公司
Publication of TW201807540A publication Critical patent/TW201807540A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明提供信息處理系統、操作方法及操作程序，能夠提高信息處理裝置的操作性。信息處理系統包括顯示處理部，用於在顯示部顯示圖像；檢測部，用於對察看顯示在顯示部的圖像的用戶的視線進行檢測；抽取部，參照對預定的視線的移動和與該預定的視線的移動相對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與檢測部所檢測出的用戶的視線的移動相對應的操作信號；執行部，執行與抽取部所抽取的操作信號相對應的操作。

Description

信息處理系統、操作方法及操作程序
本發明涉及執行操作的信息處理系統、操作方法及操作程序，涉及執行與用戶的視線數據相對應的操作的技術。
伴隨信息技術的進步，實現了計算機小型化，開發出了各種信息處理裝置。作為其中的一例，可穿戴計算機在不斷普及中。可穿戴計算機具有小型且用戶可穿戴而簡單搬運的特徵。例如，手錶式可穿戴計算機能夠讓用戶戴在手腕上加以利用。再如眼鏡型的可穿戴計算機能夠讓用戶戴在臉上加以利用。
可穿戴計算機形成為可穿戴形狀。由此，可穿戴計算機的輸入裝置及輸出裝置與這種可穿戴形狀相匹配地構成。並且，用戶在裝戴可穿戴計算機的基礎上進行輸入操作。由此，還可利用與使用作為個人計算機或移動電話等的輸入裝置及輸出裝置使用的操作按鍵、鍵盤、鼠標、觸控面板或液晶顯示器等的方法不同的輸入方法或輸出方法。
針對這種可穿戴計算機，還研究着如何才能容易操作(例如參考專利文獻1、2)。在專利文獻1記載的方法中，利用可穿戴計算機所具備的操作開關來進行操作。並且，在專利文獻2記載的方法中，檢測出用戶的手的動作，選擇手的所處位置的虛擬的面板，來進行與用戶所選擇的面板相對應的操作。
另一方面，眼鏡型的可穿戴計算機中，在用戶裝戴情況下，遮擋用戶的視界的因素較多。即，拿通常的眼鏡而論，在眼鏡的透鏡的位置配置用於顯示圖像數據的顯示器，這樣一來用戶很難看到周圍，更為甚者成為無法看到的狀態。並且，在這種狀況下，利用手操作操作開關或前後移動手來選擇虛擬的面板將變得困難。
現有技術文獻
專利文獻
專利文獻1：日本特開2003－289484號公報
專利文獻2：日本特開2010－146481號公報
如上所述，如何提高信息處理裝置的操作性成了一個技術問題。
本發明是鑒於上述問題而提出的，其目的在於提供一種在信息處理裝置中提高操作性的信息處理系統、操作方法及操作程序。
本發明一方式的信息處理系統包括：顯示處理部，用於在顯示部顯示圖像；檢測部，用於對察看顯示在顯示部的圖像的用戶的視線進行檢測；抽取部，參照對預定的視線的移動和與該預定的視線的移動相對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與檢測部所檢測出的用戶的視線的移動相對應的操作信號；執行部，執行與抽取部所抽取的操作信號相對應的操作。
並且，還包括用於判定包含在對應數據中的預定的視線的移動之中的與用戶的視線的移動相對應的預定的視線的移動的判定部，抽取部抽取與判定部所判定的預定的視線的移動相對應的操作信號來作為與用戶的視線的移動相對應的操作信號。
並且，圖像包含與操作信號建立關聯的圖標，信息處理系統還包括用於判定檢測部所檢測出的用戶的視線的移動是否為目視圖標而進行的預定的視線的移動的判定部，執行部與判定部做出的是預定的視線的移動的判定相對應地，執行與圖標建立關聯的操作信號相對應的操作。
並且，信息處理系統可以為頭戴式顯示系統。
本發明一方式的操作方法包括如下步驟：在顯示部顯示圖像的步驟；對察看顯示在顯示部的圖像的用戶的視線進行檢測的步驟；參照對預定的視線的移動和與該預定的視線的移動對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與所檢測出的用戶的視線的移動相對應的操作信號的步驟；執行與所抽取的上述操作信號相對應的操作的步驟。
本發明一方式的操作程序使信息處理裝置執行如下功能：顯示處理功能，用於在顯示部顯示圖像；檢測功能，用於對察看顯示在顯示部的圖像的用戶的視線進行檢測；抽取功能，參照對預定的視線的移動和與該預定的視線的移動相對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與所檢測出的用戶的視線的移動相對應的操作信號；執行功能，執行與所抽取的操作信號相對應的操作。
本發明一方式的信息處理系統包括：顯示處理部，能夠在顯示區域顯示多個數據組；取得部，用於取得察看顯示區域的用戶的視線數據；確認部，用於從多個數據組之中的被取得部所取得的視線數據中確認用戶注意的注意數據組；接收部，接收用戶經由輸入裝置輸入的操作信號來作為與確認部所確認的注意數據組相關的操作信號。
並且，顯示處理部可將確認部所確認的注意數據組以位於顯示區域之中的中央的方式進行顯示。
並且，顯示處理部可將確認部所確認的注意數據組以大於其他數據組的方式顯示在顯示區域。
並且，顯示處理部可將確認部所確認的注意數據組以顯示在最前的方式顯示在顯示區域。
並且，數據組可以是包含數據的窗口畫面。
並且，顯示區域可以是顯示器。
並且，信息處理系統可以是頭戴式顯示系統。
本發明一方式的顯示方法包括如下步驟：顯示步驟，在顯示區域顯示多個數據組；取得步驟，用於取得察看顯示區域的用戶的視線數據；確認步驟，用於從多個數據組之中的在取得步驟所取得的視線數據中確認用戶注意的注意數據組；接收步驟，接收用戶經由輸入裝置輸入的操作信號來作為與在確認步驟所確認的注意數據組相關的操作信號。
本發明一方式的顯示程序使信息處理裝置執行如下功能：顯示功能，在顯示區域顯示多個數據組；取得功能，用於取得察看顯示區域的用戶的視線數據；確認功能，用於從多個數據組之中的利用取得功能所取得的視線數據中確認用戶注意的注意數據組；接收功能，接收用戶經由輸入裝置輸入的操作信號來作為與利用確認功能所確認的注意數據組相關的操作信號。
根據本發明，能夠與用戶的視線的移動相對應地操作信息處理系統。
以下說明的信息處理系統、操作方法及操作程序與用戶的視線數據相對應地執行操作。並且信息處理系統、顯示方法及顯示程序與用戶的視線數據相對應地變更顯示狀態。在以下各實施方式中，對信息處理系統為頭戴式顯示系統的情況進行說明。然而，本發明的信息處理系統不限定於頭戴式顯示系統，可由能夠進行視線檢測的各種信息處理裝置實現。以下，利用附圖對各實施方式進行說明。此外，在以下說明中，相同結構標註相同附圖標記，並省略說明。
第一實施方式
第一實施方式的頭戴式顯示系統檢測出用戶的視線的移動，並執行與該移動相對應的操作。圖1為示意性地示出第一實施方式的頭戴式顯示系統1的大致外觀的圖。如圖1所示，頭戴式顯示器100裝戴到用戶300的頭部加以使用。
視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼中的至少一側的視線方向，並且確認用戶的焦點，即，顯示在頭戴式顯示器的三維圖像中的用戶所凝視的位置。並且，視線檢測裝置200還用作生成頭戴式顯示器100所顯示的影像的影像生成裝置來發揮功能。雖然沒有限制，但舉例而言，視線檢測裝置200為桌上型的遊戲機、便攜式遊戲機、PC、平板電腦、智能手機、平板手機、視頻播放器、電視機等能夠再生影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖1所示的例子中，視線檢測裝置200以無線的方式與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi(註冊商標)或藍牙(Bluetooth，註冊商標)等無線通信技術實現。雖然沒有限制，但舉例而言，頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸根據Miracast(商標)或WiGig(商標)、WHDI(商標)等標準執行。並且，也可利用除此之外的通信技術，例如可利用聲波通信技術或光傳輸技術。
此外，圖1示出了頭戴式顯示器100與視線檢測裝置200為不同裝置的情況時的例。然而，視線檢測裝置200可內置於頭戴式顯示器100。
頭戴式顯示器100包括框體150、裝戴件160以及頭戴式耳機170。框體150用於收容圖像顯示組件等用於提供給用戶300影像的圖像顯示系統或未圖示的Wi-Fi模塊或藍牙(Bluetooth，註冊商標)模塊等無線傳輸模塊。
裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100，框體150則配置於覆蓋用戶300的眼睛的位置。因此，若用戶300裝戴頭戴式顯示器100，則用戶300的視界被框體150遮擋。
頭戴式耳機170用於輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170可以不固定於頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也能夠自由裝卸頭戴式耳機170。此外，頭戴式耳機170並不是必要結構。
圖2為示意性地示出實施方式的頭戴式顯示器100的圖像顯示系統130的大致外觀的立體圖。更為具體地，圖2為示出在實施方式的框體150之中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。
如圖2所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。
以下說明書中，除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外，皆簡單地表示成“凸透鏡114”。同樣，除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外，皆簡單地表示成“眼角膜302”。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況之外，皆表示成“透鏡支持部152”。
在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜，在圖2中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。下面，除了要特別區分紅外線光源103a和紅外線光源103b的情況之外，皆簡單地表示成“紅外線光源103”。在圖2所示的例子中，左眼用透鏡支持部152a具有6個紅外線光源103a。同樣，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，更容易裝戴紅外線光源103。由於透鏡支持部152通常由樹脂等構成，因而比由玻璃等構成的凸透鏡114更容易進行用於裝戴紅外線光源103的加工。
如上所述，透鏡支持部152是一種用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡說明的是對每隻眼睛發射紅外線的紅外線光源103為6個，但並不僅限於此數目，只要有至少一個對應於各眼睛的紅外線光源即可，設置兩個以上會更好。
圖3為示意性地示出實施方式的框體150所收容的圖像顯示系統130的光學結構的圖，是將圖2示出的框體150從左眼側的側面觀看的情況的圖。圖像顯示系統130包括紅外線光源103、圖像顯示組件108、光學裝置112、凸透鏡114、攝影機116以及通信控制部118。
紅外線光源103可發射近紅外(700nm～2500nm程度)的波長譜帶的光的光源。一般而言，近紅外線為用戶300的肉眼無法察覺的不可見光的波長譜帶的光。
圖像顯示組件108顯示用於提供給用戶300的圖像。圖像顯示組件108所顯示的圖像由視線檢測裝置200內的顯示處理部202生成。圖像顯示組件108，例如可由已知的液晶顯示器(LCD，Liquid Crystal Display)或有機電致發光顯示器(Organic Electro Luminescence Display)來實現。
當用戶300裝戴了頭戴式顯示器100時，光學裝置112配置於圖像顯示組件108與用戶300的眼角膜302之間。光學裝置112具有穿過圖像顯示組件108所生成的可見光而反射近紅外線則的性質。光學裝置112具有使特定的波長譜帶的光反射的特徵，例如是稜鏡或熱反射鏡。
相對於光學裝置112，凸透鏡114配置於圖像顯示組件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於光學裝置112與用戶300的眼角膜302之間。即，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。
凸透鏡114匯聚穿過光學裝置112的圖像顯示光。為此，凸透鏡114具有當作將圖像顯示組件108所生成的圖像放大后提供給用戶300的圖像放大部的功能。此外，為了方便說明，在圖3中僅示出了一個凸透鏡114，但凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。
多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103向用戶300的眼角膜302發射紅外線。
雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130具有兩個圖像顯示組件108，而能夠獨立地生成用於提供給用戶300的右眼的圖像和用於提供給左眼的圖像。因此，實施方式的頭戴式顯示器100能夠分別提供右眼用視差圖像和左眼用視差圖像給用戶300的右眼和左眼。由此，實施方式的頭戴式顯示器100能夠對用戶300提示具有層次感的立體影像。
如上所述，光學裝置112可讓可見光穿過，而將近紅外線加以反射。因此，圖像顯示組件108所發射的圖像光穿過光學裝置112而到達至用戶300的眼角膜302。並且，由紅外線光源103所發射而在凸透鏡114的內部的反射區域被反射的紅外線到達至用戶300的眼角膜302。
到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114，而被光學裝置112反射。攝影機116具有用以濾除可見光的濾光片，而拍攝被光學裝置112反射的近紅外線。即，攝影機116為近紅外攝影機，其對由紅外線光源103所發射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。
此外，雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130可具有兩個攝影機116，即，用於拍攝包含被右眼反射的紅外線的圖像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的圖像的第二拍攝部。由此，可以取得用於檢測出用戶300的右眼和左眼雙眼的視線方向的圖像。
通信控制部118將攝影機116拍攝得到的圖像輸出給用於檢測用戶300的視線方向的視線檢測裝置200。具體地，通信控制部118經由通信接口110將攝影機116拍攝得到的圖像發送給視線檢測裝置200。作為視線方向檢測部發揮功能的檢測部203將在下文中進行詳細說明，利用視線檢測裝置200的中央處理器(CPU)20所執行的用戶測試圖像顯示程序P實現。此外，頭戴式顯示器100具有中央處理器或存儲器等計算資源的情況下，頭戴式顯示器100的中央處理器可執行用於實現檢測部的程序。
雖然以下將詳細說明，在由攝影機116拍攝到的圖像中，由在用戶300的眼角膜302處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300的眼角膜302的眼睛的影像將被拍到。
以上，以實施方式的圖像顯示系統130之中的用於向用戶300的左眼提供圖像的結構進行了說明。但用於向用戶300的右眼提供圖像的結構也如上。
圖4為說明實施方式的頭戴式顯示系統1的結構的框圖。如圖4所示，頭戴式顯示系統1的頭戴式顯示器100包括通信接口(I/F)110、通信控制部118、顯示部121、紅外線發射部122、圖像處理部123以及拍攝部124。
通信控制部118經由通信接口110與視線檢測裝置200進行通信。通信控制部118將從拍攝部124或圖像處理部123傳送的用於視線檢測的圖像數據發送給視線檢測裝置200。並且，通信控制部118將從視線檢測裝置200發送的圖像數據或標記圖像傳輸給顯示部121。作為一例，圖像數據是一種用於顯示測試的數據。並且，作為圖像數據，也可以為由用於顯示三維圖像的右眼用視差圖像和左眼用視差圖像形成的視差圖像對。
顯示部121具有將從通信控制部118傳輸的圖像數據顯示在圖像顯示組件108的功能。顯示部121將圖像數據作為測試圖像來顯示。並且，顯示部121將從顯示處理部202輸出的標記圖像顯示在圖像顯示組件108的指定的坐標。
紅外線發射部122控制紅外線光源103，向用戶的右眼或左眼發射紅外線。
圖像處理部123根據需要對拍攝部124拍攝得到的圖像進行圖像處理並傳輸給第一通信部118。
拍攝部124利用攝影機116拍攝被各隻眼睛反射的近紅外線。並且，拍攝部124拍攝包含凝視圖像顯示組件108中所顯示的標記圖像的用戶的眼睛的圖像。拍攝部124將拍攝到的圖像傳輸給通信控制部118或圖像處理部123。
並且，如圖4所示，視線檢測裝置200是一種包括中央處理裝置(中央處理器)20、用於存儲圖像數據211、對應數據212及操作程序P的存儲裝置21、通信接口22、操作按鍵、鍵盤或觸控面板等輸入裝置23、顯示器或打印機等輸出裝置24的信息處理裝置。視線檢測裝置200中，藉助存儲在存儲裝置21的操作程序P的執行，中央處理器20執行通信控制部201、顯示處理部202、檢測部203、判定部204、抽取部205、執行部206以及更新部207的處理。
圖像數據211為顯示在頭戴式顯示器100的數據。圖像數據211可以是二維圖像，也可以是三維圖像。並且，圖像數據211可以是靜態圖像，也可以是動態圖像。
對應數據212是對視線的移動和與該移動相對應地預先設定的操作信號建立關聯而得到的數據。該操作信號可以是用於在頭戴式顯示系統1內執行某種處理的操作信號。或者，操作信號可以是使頭戴式顯示系統1對經由網絡相連接的其他裝置執行某種處理的操作信號。
圖5的(a)部分至圖5的(d)部分中示出了預定的移動。圖5的(a)部分表示視線移動劃出順時針圓。圖5的(b)部分表示移動劃出順時針正三角形。圖5的(c)部分中，數字(1)至(3)為視線移動順序。由此，圖5中(c)部分中，視線移動按照下方向、上方向、下方向的順序劃出直線。圖5的(d)部分中，數字(1)及(2)也是視線移動順序。由此，圖5的(d)部分中，視線移動按照右方向、左方向劃出直線。
例如，對應數據212中，對於圖5的(a)部分中示出的視線的移動，將用於顯示存儲裝置21所存儲的圖像數據211中的特定的圖像A的操作信號建立關聯。再如，對應數據212中，對於圖5的(b)部分所示的視線的移動，將用於向外部發送數據的操作信號建立關聯。又如，在對應數據212中，對於圖5的(c)部分所示的視線的移動，將用於運行所連接的其他裝置A的操作信號建立關聯。又如，在對應數據212中，對於圖5的(d)部分示出的視線的移動，將用於運行程序A的操作信號建立關聯。
圖6的(a)部分至圖6的(c)部分為示出對應數據212的另一例的一例。圖6的(a)部分至圖6的(c)部分示出的例子是作為發送對象的圖像數據的一例。例如，在檢測出圖5的(b)部分中示出的視線的移動之後，顯示圖6的(a)部分至圖6的(c)部分所示的圖像數據，可將注意預定時間以上(例如15秒鐘以上)的圖像作為要向其他裝置發送的發送對象。這種圖像與文本消息一同或替代文本消息來向其他裝置發送。其他裝置中，所發送的圖像作為這些消息顯示。
通信控制部201經由通信接口22控制與頭戴式顯示器100之間的數據的收發。並且，頭戴式顯示系統1中經由網絡連接有其他服務裝置等(未圖示)的情況下，還可控制與該服務裝置之間的通信。
顯示處理部202用於在顯示部121顯示圖像。具體地，顯示處理部202從存儲裝置21讀出圖像數據，並與之對應地在顯示部121顯示圖像。
檢測部203檢測察看顯示部121所顯示的圖像的用戶的視線，來生成視線數據。並且，檢測部203向判定部204輸出視線數據。
判定部204若輸入了來自檢測部203的視線數據，則從存儲裝置21讀出對應數據212，來判定包含在對應數據212中的預定的移動之中的所輸入的視線數據的視線的移動。具體地，判定部204判定利用所輸入的視線數據確認的用戶的視線的移動是圖5的(a)部分至圖5的(d)部分示出的移動之中的哪一種。此外，視線的移動有時候是對應數據212所包含的視線的移動以外的移動。這種情況下，判定部204無法判定視線的移動。
並且，顯示在顯示部121的圖像中包含與操作信號建立了關聯的圖標時，可判定檢測部203檢測出的用戶的視線的移動是否為目視該圖標而進行的預定的移動。具體地，判定部204判定用戶是否觀看圖標而進行圖5的(a)部分至圖5的(d)部分所示的移動。或者，判定部204判定用戶在觀看圖標時閉眼或睜眼的次數是否達到預定次數。這種情況下，對應數據212中，對圖標的識別符和操作信號建立了關聯。
此時，一個圖標中可以不只關聯着一個操作信號，可利用圖標和視線移動的組合關聯操作信號。假設，有圖標A～E，則作為用戶的視線的移動，可登錄圖5的(a)部分至圖5的(d)部分。這種情況下，根據圖標的種類『5』×視線的移動的種類『4』，可將20種操作信號登錄到對應數據212。
若判定部204判定出用戶的視線的移動，則抽取部205從對應數據中抽取與該視線的移動相對應的操作信號。
例如，圖5的(a)部分至圖5的(d)中，作為對應數據212，分別關聯着圖5的(e)部分至圖5的(ｆ)部分的操作信號。這種情況下，若判定部204判定出圖5的(a)部分的用戶的視線的移動，則抽取部205抽取用於“顯示圖像A”的操作信號。並且，若判定部204判定出圖5的(b)部分的用戶的視線的移動，則抽取部205抽取用於“發送數據”的操作信號。並且，若判定部204檢測出圖5的(c)部分用戶的視線的移動，則抽取部205抽取用於“運行裝置A”的操作信號。並且，若判定部204檢測出圖5的(d)部分的用戶的視線的移動，則抽取部205抽取用於“運行程序A”的操作信號。
執行部206執行與抽取部205所抽取的操作信號相對應的操作。
抽取部205抽出與“發送數據”建立了關聯的移動之後，顯示圖6的(a)部分至圖6的(c)部分的圖像，假設檢測出圖6的(a)部分的圖像是被用戶注意了預定時間以上(例如，15秒鐘以上)的圖像。這種情況下，執行部206執行用於將圖6的(a)部分的圖像與文本消息一同或替代文本消息發送給其他裝置的處理。並且，檢測出圖6的(b)部分的圖像是被注意了預定時間以上的圖像的情況下，執行部206執行將圖6的(b)部分的圖像與文本消息一同或替代文本消息發送給其他裝置的處理。並且，檢測出圖6的(c)部分的圖像是被注意預定時間以上的圖像的情況下，執行部206執行將圖6的(c)部分的圖像與文本消息一同或替代文本消息發送給其他裝置的處理。其他裝置將從執行部206發送過來的這些圖像作為消息顯示。
更新部207與用戶輸入的操作相對應地，追加新的視線的移動和操作信號之間的對應關係，來更新對應數據212。具體地，更新部207將經由輸入裝置23確認的操作信號和檢測部203檢測出的視線的移動組合起來，作為新的關聯追加，來更新對應數據212。
此外，上述的視線檢測裝置200的各部之中，判定部204、抽取部205以及執行部206還可在外部的服務器等信息處理裝置實現。並且，這些處理部204～206在外部的信息處理裝置實現的情況下，將用於取得頭戴式顯示系統1的檢測部203檢測出的視線數據的取得部設置於信息處理裝置，判定部204利用該取得部取得的視線數據來執行處理。
利用圖7的(a)部分示出的流程圖來對頭戴式顯示系統1中的操作方法的處理進行說明。
頭戴式顯示系統1在顯示部121顯示着圖像時，檢測用戶的視線(步驟S1)。
接着，頭戴式顯示系統1從存儲裝置21讀出對應數據212(步驟S2)。 並且，頭戴式顯示系統1中，判定在步驟S1檢測出的用戶的視線的移動是否
為在對應數據212中與操作信號建立關聯的預定的移動(步驟S3)。
當是預定的移動(步驟S3中“是”)時，頭戴式顯示系統1在對應數據212中抽取與該移動建立了關聯的操作信號(步驟S4)。
接着，頭戴式顯示系統1與步驟S4中抽取的操作信號相對應的執行操作(步驟S5)。
另一方面，所檢測出的用戶的視線的移動不是預定的移動(步驟S3中的“否”)時，返回步驟S1重複處理。
並且，利用圖7的(b)部分示出的流程圖來對在頭戴式顯示系統1中進行的更新對應數據212的處理進行說明。例如，頭戴式顯示系統1中，可在經由輸入裝置23進行了更新對應數據212的操作的時機開始上述更新處理。用於操作該更新處理的操作信號登錄在對應數據212中時，頭戴式顯示系統1可通過檢測出與用於操作該登錄處理的操作信號建立關聯的視線的移動而開始。
頭戴式顯示系統1中，更新處理一開始，便檢測用戶的視線(步驟S11)。
並且，頭戴式顯示系統1中，經由輸入裝置23輸入與視線的移動建立關聯的操作信號(步驟S12)。此外，步驟S11的處理和步驟S12的處理無論哪一方先處理均可。
之後，頭戴式顯示系統1將步驟S11中檢測出的用戶的視線和步驟S12中輸入的操作信號建立關聯來追加，並更新對應數據212(步驟S13)。
像這樣，頭戴式顯示系統1中，通過對視線的移動和操作信號建立關聯，用戶能夠與視線的移動相對應地執行操作。換言之，由於用戶能夠以免提方式執行各種操作，因而能夠提高頭戴式顯示系統1中的操作性。並且，用戶可根據自身需要來對視線的移動和操作信號建立關聯並登錄。由此，正如所謂快捷鍵一樣，可根據用戶所需，來提高操作性。
接著說明實施方式的視線方向的檢測。
圖8為說明用於實施方式的視線方向檢測的校準的示意圖。用戶300的視線方向通過由攝影機116拍攝且由通信控制部118輸出給視線檢測裝置200的影像由視線檢測裝置200內的檢測部203分析來實現。
顯示處理部202生成如圖8所示的點Q1 至點Q9 的9個點(標記圖像)，並顯示在頭戴式顯示器100的圖像顯示組件108。視線檢測裝置200依照點Q1 至點Q9 的順序讓用戶300凝視各點。此時，用戶300被要求保持脖子不動而儘可能地僅藉助眼球的移動去凝視各點。攝影機116對包含用戶300凝視着點Q1 至點Q9 這9個點時的用戶300的眼角膜302的圖像進行拍攝。
圖9為說明用戶300的眼角膜302的位置坐標的示意圖。視線檢測裝置200內的檢測部203分析攝影機116拍攝的圖像來檢測出源於紅外線的亮點105。當用戶300僅藉助眼球的移動而凝視着各點時，則即使用戶凝視着任一點的情況時，亮點105的位置被認為並不會變動。如此一來，檢測部203會以檢測出的亮點105為基準在攝影機116拍攝的圖像中設定出二維坐標系306。
檢測部203再通過分析攝影機116拍攝的圖像來檢測出用戶300的眼角膜302的中心P。這可通過例如霍夫變換、邊緣抽取處理等已知的圖像處理技術而得以實現。由此，檢測部203能夠取得並檢測出所設定的二維坐標系306中的用戶300的眼角膜302的中心P的坐標。
在圖8中，圖像顯示組件108所顯示的顯示畫面之中設定的二維坐標系中的點Q1 至點Q9 的坐標分別顯示為Q1 (x1 、y1 )T 、Q2(x2 、y2 )T ……，Q9 (x9 、y9 )T 。各坐標是以例如位在各點的中心的像素為編號。此外，將用戶300凝視着點Q1 至點Q9 時的用戶300眼角膜302的中心P分別顯示為點P1 至點P9 。此時，分別將二維坐標系306之中的點P1 至點P9 的坐標顯示為P1 (X1 、Y1 )T 、P2(X2 、Y2 )T 、……、P9 (X9 、Y9 )T 。此外，T表示向量或矩陣的轉置。
現在，將大小為2×2的矩陣Ｍ定義成以下的公式(1)
[數學式1]
此時，如果矩陣Ｍ滿足以下公式(2)，則矩陣Ｍ為用戶300的視線方向投影到圖像顯示組件108所顯示的圖像面的矩陣。 PN =MQN (N＝1，……，9) (2)
如果詳細地寫出上述公式(2)，將如以下公式(3)
[數學式2]
如果改變公式(3)的型態的話，則可得到以下的公式(4)
[數學式3]
在此，如果進行以下的替換，
[數學式4]
則可得到以下公式(5)。 y＝Ax　　(5)
公式(5)中，因為向量y的元素是檢測部203使圖像顯示組件108所顯示點Q1 至點Q9 的坐標，故為已知。並且，因為矩陣A的元素是用戶300的眼角膜302的頂點P的坐標，因此也能夠取得。由此，檢測部203能夠取得向量y及矩陣A。此外，將轉換矩陣M的元素排列而成的向量的向量x為未知。因此，在向量y與矩陣A為已知時，推算矩陣M的問題為求出未知的向量x的問題。
如果公式的數目(即，檢測部203在校準時提供給用戶300的點Q的數目)比未知數的數目(即向量x的元素數4)多的話，則公式(5)為超定(overdetermined)問題。在公式(5)所示的例子中，因為公式的數目為9個，所以是超定問題。
將向量y和向量Ax的誤差向量作為向量e。即，e＝y-Ax。此時，代表向量e的元素的平方和為最小的意義的最佳的向量Xopt 可由以下公式(6)求得。 Xopt =(AT A)-1 AT y (6)
其中，“-1”表示反矩陣。
檢測部203利用所求得的向量Xopt 的元素來構成公式(1)的矩陣Ｍ。由此，檢測部203利用用戶300的眼角膜302的頂點P的坐標的矩陣Ｍ，根據公式(2)可推算出用戶300的右眼存在凝視圖像顯示組件108所顯示的動態圖像上的何處。其中，檢測部203還從頭戴式顯示器100接收用戶的眼睛與圖像顯示組件108之間的距離信息，並根據上述距離信息對推算出的用戶所凝視的坐標值進行修改。並且，基於用戶的眼睛與圖像顯示組件108之間的距離的凝視位置的推定不一致屬於誤差的範圍，可以無視。由此，檢測部203能夠計算出鏈接圖像顯示組件108上的右眼的凝視點和用戶的右眼的眼角膜的頂點的右眼視線向量。同樣地，檢測部203能夠計算出鏈接圖像顯示組件108上的左眼的凝視點和用戶的左眼的眼角膜的頂點的左眼視線向量。並且，可以僅通過一隻眼睛的視線向量來確認二維平面上的用戶的凝視點，可通過獲得兩隻眼睛的視線向量來計算至用戶的凝視點的深度方向信息。由此，視線檢測裝置200可確認用戶的凝視點。並且，在此表示的凝視點確認方法為一例，也可利用本實施方式所表示的方法之外的其他方法來確認用戶的凝視點。
上述實施方式中的視線檢測方法為一例，通過上述頭戴式顯示器100及視線檢測裝置200進行的視線檢測方法並不局限於此。
首先，在上述實施方式中，描述設置有多個作為不可見光來發射近紅外線的紅外線光源的例，但向用戶的眼睛發射近紅外線的方法並不局限於此。例如，對於構成頭戴式顯示器100的圖像顯示組件108的像素，也可設置具有發出近紅外線的子像素的像素，並使發出這種近紅外線的子像素選擇性發光，從而向用戶的眼睛發射近紅外線。並且，或者代替圖像顯示組件108，在頭戴式顯示器100設置視網膜投影顯示器的同時顯示在視網膜投影顯示器，從而使投影於用戶的視網膜的圖像內包含發出近紅外線的像素，由此發射近紅外線。無論在圖像顯示組件108的情況下或在視網膜投影顯示器的情況下，發出近紅外線的子像素可以定期變更。
並且，在上述實施方式中表示的視線檢測的算法也並不局限於在上述實施方式中所表示的方法，只要可進行視線檢測，就可利用其它算法。
在上述實施方式中說明的是通過視線檢測裝置200之中的中央處理器20執行操作程序P來實現頭戴式顯示系統1中的各處理。另一方面，視線檢測裝置200中，作為中央處理器的替代，可藉助形成於集成電路(IC；Integrated Circuit)芯片、大規模集成電路(LSI，Large Scale Integration)、現場可編程門陣列(Field Programmable Gate Array)、複雜可編程邏輯組件(Complex Programmable Logic Device)等的邏輯電路(hardware)或專用電路來實現各處理。並且，這些電路可由一個或多個集成電路實現，也可由一個集成電路實現上述實施方式中示出的多個功能部的功能。LSI根據集成度的不同而可分別稱為VLSI、超級LSI、特級LSI等。
即，如圖10所示，視線檢測裝置200可包括通信接口22、具有通信控制電路201a、顯示處理電路202a、檢測電路203a、判定電路204a、抽取電路205a以及執行電路206a的控制電路20a、用於存儲圖像數據211、對應數據212以及操作程序P的存儲裝置21。通信控制電路201a、顯示處理電路202a、檢測電路203a、判定電路204a、抽取電路205a以及執行電路206a由操作程序P控制。各自的功能與在上述實施方式中示出的名稱相同的各個部分相同。
並且，作為上述存儲裝置21，可利用“非暫時性的有形的介質”，例如磁帶、磁盤、半導體存儲器、可程序化的邏輯電路等。並且，上述檢索程序可經由能夠傳輸該檢索程序的檢索程序任意的傳輸介質(通信網絡或播放信號等)向上述處理器供給。在本發明中，上述影像顯示程序還可由電子格式的傳送所具體執行的嵌埋於載波數據信號的方式得以實現。
此外，上述程序例如可通過ActionScript語言、JavaScript語言(註冊商標)、Python、Ruby等腳本語言、C語言、C++、C#、Objective-C、Java(註冊商標)等編譯語言、彙編語言、暫存器轉換層(RTL，Register Transfer Level)等進行安裝。
第二實施方式
利用圖11所示的框圖，對第二實施方式中的頭戴式顯示系統1A進行說明。第二實施方式的頭戴式顯示系統1A與圖4所示的第一實施方式的頭戴式顯示系統1相比不同之處在於，具有視線檢測裝置200A來作為視線檢測裝置200的替代。
並且，圖11示出的視線檢測裝置200A與利用圖4說明的視線檢測裝置200相比不同之處在於，存儲裝置21存儲圖像數據211以及顯示程序PA。並且，視線檢測裝置200A中，藉助存儲在存儲裝置21的顯示程序PA的執行，中央處理器20執行通信控制部201、顯示處理部202、檢測部203、取得部221、確認部222以及接收部223的處理。
顯示處理部202能夠在顯示區域顯示多個數據組。在這裡，“顯示區域”是例如能夠在相當於顯示器的光學裝置112或相當於顯示器的光學裝置112 顯示圖像數據的範圍。並且，“數據組”是相關數據的集合，例如可以是包含數據的窗口畫面。
顯示處理部202能夠將確認部222所確認的注意數據組以位於顯示區域之中的中央的方式進行顯示。例如，如圖12的(a)部分所示，假設在顯示數據組A～D的狀態下選擇了數據組A。這種情況下，如圖12的(b)部分所示，顯示處理部202能夠將所選擇的數據組A顯示在相當於用戶視界範圍的顯示區域的中央。此時，顯示處理部202如圖12的(b)部分所示，能夠將所選擇的數據組A以外的數據組B～C顯示在數據組A的周圍。
並且，顯示處理部202能夠將確認部222所確認的注意數據組以大於其他數據組的方式顯示在顯示區域。進而，顯示處理部202能夠將確認部222所確認的注意數據組以顯示在最前的方式顯示。例如，如圖12的(a)部分所示，假設在顯示數據組A～D的狀態下選擇了數據組D。這種情況下，如圖12的(c)部分所示，顯示處理部202能夠將所選擇的數據組D以大於選擇之前狀態的方式顯示，同時將顯示在最後的數據組D顯示在最前面。
在這裡，除了圖12示出的例子二維顯示的情況之外，三維顯示的情況也相同。例如，如圖12所示的數據組A～D以具有遠近感的狀態顯示的情況下，將所選擇的數據組顯示在離用戶眼睛的坐標最近的位置。
取得部221從檢測部203取得察看顯示區域的用戶的視線數據。例如，取得部221取得用戶察看位置的坐標信息作為視線數據。顯示處理部202顯示的圖像為二維圖像時，取得二維坐標位置，圖像為三維圖像時，取得三維坐標位置。
確認部222從多個數據組之中的被取得部221所取得的視線數據中確認要使用戶注意的注意數據組。例如，確認部222對所取得的視線數據的注意坐標信息和要在顯示處理部202顯示的數據的顯示坐標信息進行比較，來確認包含注意坐標信息的顯示坐標信息。
數據組為窗口畫面時，確認部222確認要在被取得部221所取得的坐標顯示的窗口畫面，將所確認的窗口畫面的識別信息輸出給顯示處理部202。由此，藉助顯示處理部202，能夠以用戶容易看到的狀態顯示所選擇的窗口畫面。具體地，將所選擇的窗口畫面“顯示在中央”、“放大顯示”或“顯示在最前”，從而能夠容易看到窗口畫面。此時，可將各顯示方法組合顯示。
接收部223接收用戶經由輸入裝置23輸入的操作信號來作為與確認部222所確認的注意數據組相關的操作信號。例如，選擇特定的窗口畫面，此時通過輸入裝置23執行文字輸入操作時，視為對該窗口畫面執行了文字輸入。
利用圖13所示的流程圖對頭戴式顯示系統1A中的顯示方法的處理進行說明。
頭戴式顯示系統1A在顯示部121顯示着圖像時，檢測用戶的視線(步驟S21)。
接着，頭戴式顯示系統1A取得用戶注意的坐標位置(步驟S22)。
並且，頭戴式顯示系統1A確認在步驟S22中取得的坐標位置顯示的數據組，即，用戶注意的數據(步驟S23)。
接着，頭戴式顯示系統1A對步驟S23中確認的數據進行顯示變更，以能夠讓用戶容易看到(步驟S24)。例如，將所確認的數據“顯示在中央位置”、“放大顯示”或“顯示在最前面”，從而使用戶容易看到。
並且，頭戴式顯示系統1A對步驟S23中確認的數據執行操作(步驟S25)。此外，步驟S24及S25的處理順序不限定於圖13所示的順序，可同時執行，或按倒序執行。
頭戴式顯示系統1A中，直到數據顯示結束為止(步驟S26中“是”)、重複步驟S21～S25的處理。
此外，頭戴式顯示系統1A中的視線方向檢測例如與上文中利用圖8及圖9說明的方法相同，因而省略說明。並且，雖然省略了利用附圖的說明，但該頭戴式顯示系統1A也如上文中利用圖10進行的說明一樣，作為上文中利用圖11說明的中央處理器，可利用具有通信控制電路、顯示處理電路、檢測電路、取得電路、確認電路以及接收電路的控制電路。
並且，頭戴式顯示系統中，除了上文中利用圖4說明的結構之外，還可具有上文中利用圖11說明的結構，執行與視線數據相對應的操作，同時與視線數據相對應地變更顯示關聯。
產業上的可利用性
本發明可利用於頭戴式顯示器。
圖式4
1‧‧‧頭戴式顯示系統
100‧‧‧頭戴式顯示器
110‧‧‧通信接口
118‧‧‧通信控制部
121‧‧‧顯示部
122‧‧‧紅外線發射部
123‧‧‧圖像處理部
124‧‧‧拍攝部
200‧‧‧視線檢測裝置
20‧‧‧中央處理器
22‧‧‧通信接口
23‧‧‧輸入裝置
24‧‧‧輸出裝置
201‧‧‧通信控制部
202‧‧‧顯示處理部
203‧‧‧檢測部
204‧‧‧判定部
205‧‧‧抽取部
206‧‧‧執行部
207‧‧‧更新部
21‧‧‧存儲裝置
211‧‧‧圖像數據
212‧‧‧對應數據
P‧‧‧操作程序
圖式5
顯示圖像A
發送數據
運行裝置A
運行程序A
圖式6
YES‧‧‧是
NO‧‧‧否
OK！
圖式7
開始
(a)
S1‧‧‧檢測視線
S2‧‧‧讀出對應數據
S3‧‧‧是否為預定的動作？
S4‧‧‧抽取操作信號
S5‧‧‧執行操作
結束
YES‧‧‧是
NO‧‧‧否
(b)
開始
S11‧‧‧檢測視線
S12‧‧‧操作信號入口
S13‧‧‧登錄對應數據
結束
圖式10
1‧‧‧頭戴式顯示系統
100‧‧‧頭戴式顯示器
110‧‧‧通信接口
118‧‧‧通信控制部
121‧‧‧顯示部
122‧‧‧紅外線發射部
123‧‧‧圖像處理部
124‧‧‧拍攝部
200‧‧‧視線檢測裝置
22‧‧‧通信接口
23‧‧‧輸入裝置
24‧‧‧輸出裝置
20a‧‧‧控制電路
201a‧‧‧通信控制電路
202a‧‧‧顯示處理電路
203a‧‧‧檢測電路
204a‧‧‧判定電路
205a‧‧‧抽取電路
206a‧‧‧執行電路
207a‧‧‧更新電路
21‧‧‧存儲裝置
211‧‧‧圖像數據
212‧‧‧對應數據
P‧‧‧操作程序
圖式11
1A‧‧‧頭戴式顯示系統
100‧‧‧頭戴式顯示器
110‧‧‧通信接口
118‧‧‧通信控制部
121‧‧‧顯示部
122‧‧‧紅外線發射部
123‧‧‧圖像處理部
124‧‧‧拍攝部
200A‧‧‧視線檢測裝置
20‧‧‧中央處理器
22‧‧‧通信接口
23‧‧‧輸入裝置
24‧‧‧輸出裝置
201‧‧‧通信控制部
202‧‧‧顯示處理部
203‧‧‧檢測部
221‧‧‧取得部
222‧‧‧確認部
223‧‧‧接收部
21‧‧‧存儲裝置
211‧‧‧圖像數據
PA‧‧‧顯示程序
圖式13
開始
S21‧‧‧檢測視線
S22‧‧‧取得坐標、位置
S23‧‧‧確認凝視數據
S24‧‧‧變更顯示
S25‧‧‧執行操作
S26‧‧‧顯示是否結束？
結束
YES‧‧‧是
NO‧‧‧否
圖1為示出用戶裝戴第一實施方式的頭戴式顯示器的狀態的外觀圖。 圖2為示意性地示出第一實施方式的頭戴式顯示器的圖像顯示系統的大致外觀的立體圖。 圖3為示意性地示出第一實施方式的頭戴式顯示器的圖像顯示系統的光學結構的圖。 圖4為示出第一實施方式的頭戴式顯示系統的結構的框圖。 圖5的(a)部分至圖5的(d)部分為示出在第一實施方式的頭戴式顯示系統檢測出的用戶的視線的移動的一例，圖5的(e)部分至圖5的(h)為相應對的操作信號的一例。 圖6的(a)至部分至圖6的(c)部分為在第一實施方式的頭戴式顯示系統中利用的對應數據的一例。 圖7的(a)部分及圖7的(b)部分為用於說明第一實施方式的頭戴式顯示系統中的處理的流程圖。 圖8為說明用於第一實施方式的頭戴式顯示系統的視線方向檢測的校準的示意圖。 圖9為說明用戶的眼角膜的位置坐標的示意圖。 圖10為示出頭戴式顯示系統的電路結構的框圖。 圖11為示出第二實施方式的頭戴式顯示系統的結構的框圖。 圖12的(a)部分至圖13的(c)部分為第二實施方式的頭戴式顯示系統中的數據的顯示例。 圖13為說明第二實施方式的頭戴式顯示系統中的處理的流程圖。

Claims (6)

  1. 一種信息處理系統，其包括： 顯示處理部，用於在顯示部顯示圖像； 檢測部，用於對察看顯示在上述顯示部的圖像的用戶的視線進行檢測； 抽取部，參照對預定的視線的移動和與該預定的視線的移動相對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與上述檢測部所檢測出的上述用戶的視線的移動相對應的操作信號； 執行部，執行與上述抽取部所抽取的操作信號相對應的操作。
  2. 如申請專利範圍第1項所述之信息處理系統，其中， 還包括用於判定包含在上述對應數據中的預定的視線的移動之中的與上述用戶的視線的移動相對應的預定的視線的移動的判定部， 上述抽取部抽取與上述判定部所判定的預定的視線的移動相對應的操作信號來作為與上述用戶的視線的移動相對應的操作信號。
  3. 如申請專利範圍第1項所述之信息處理系統，其中， 上述圖像包含與上述操作信號建立關聯的圖標， 上述信息處理系統還包括用於判定上述檢測部所檢測出的用戶的視線的移動是否為目視上述圖標而進行的預定的視線的移動的判定部， 上述執行部與上述判定部做出的是上述預定的視線的移動的判定相對應地，執行與上述圖標建立關聯的操作信號相對應的操作。
  4. 如申請專利範圍第1項至第3項中任一項記載之信息處理系統，其中，上述信息處理系統為頭戴式顯示系統。
  5. 一種操作方法，其包括如下步驟： 在顯示部顯示圖像的步驟； 對察看顯示在上述顯示部的圖像的用戶的視線進行檢測的步驟； 參照對預定的視線的移動和與該預定的視線的移動對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與上述檢測部所檢測出的上述用戶的視線的移動相對應的操作信號的步驟； 執行與所抽取的上述操作信號相對應的操作的步驟。
  6. 一種操作程序，使信息處理裝置執行如下功能： 顯示處理功能，用於在顯示部顯示圖像； 檢測功能，用於對察看顯示在上述顯示部的圖像的用戶的視線進行檢測； 抽取功能，參照對預定的視線的移動和與該預定的視線的移動相對應地預先設定的操作信號建立關聯而得到的對應數據，來抽取與所檢測出的上述用戶的視線的移動相對應的操作信號； 執行功能，執行與所抽取的上述操作信號相對應的操作。
TW106125641A 2016-07-29 2017-07-28 信息處理系統、操作方法及操作程序 TW201807540A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-150599 2016-07-29
JP2016150599A JP2018018449A (ja) 2016-07-29 2016-07-29 情報処理システム、操作方法及び操作プログラム

Publications (1)

Publication Number Publication Date
TW201807540A true TW201807540A (zh) 2018-03-01

Family

ID=61009886

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106125641A TW201807540A (zh) 2016-07-29 2017-07-28 信息處理系統、操作方法及操作程序

Country Status (5)

Country Link
US (3) US20180032134A1 (zh)
JP (1) JP2018018449A (zh)
KR (1) KR20180013790A (zh)
CN (1) CN107665041A (zh)
TW (1) TW201807540A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018211414A1 (de) * 2018-07-10 2020-01-16 BSH Hausgeräte GmbH Verfahren zum Erkennen von Bewegungsformen
JP6899940B1 (ja) * 2020-03-30 2021-07-07 株式会社エヌ・ティ・ティ・データ 簡易通信システム、簡易通信方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
US9532714B2 (en) * 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing

Also Published As

Publication number Publication date
US20200319709A1 (en) 2020-10-08
US20200379555A1 (en) 2020-12-03
US20180032134A1 (en) 2018-02-01
CN107665041A (zh) 2018-02-06
JP2018018449A (ja) 2018-02-01
KR20180013790A (ko) 2018-02-07

Similar Documents

Publication Publication Date Title
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
KR101883090B1 (ko) 헤드 마운트 디스플레이
WO2017090203A1 (ja) 視線検出システム、注視点特定方法及び注視点特定プログラム
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US20170344112A1 (en) Gaze detection device
TW201802642A (zh) 視線檢測系統
JPWO2014128773A1 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
TW201809800A (zh) 頭戴式顯示器及使用其之視線檢測系統
JP2018082363A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
TW201816547A (zh) 視線檢測系統、偏移檢測方法、偏移檢測程序
TW201921028A (zh) 影像顯示系統、影像顯示方法及影像顯示程式
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
US20200379555A1 (en) Information processing system, operation method, and operation program
TW201915711A (zh) 圖像顯示系統、圖像顯示方法及圖像顯示程式
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
TW201823802A (zh) 信息處理系統、操作方法及操作程序
WO2022010659A1 (en) Display calibration
JP2017032870A (ja) 画像投影装置及び画像表示システム
JP2017111537A (ja) ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム
US11863860B2 (en) Image capture eyewear with context-based sending
WO2017051720A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP4273613A1 (en) Head mounted display device, operating method for device, and storage medium
JP2014228949A (ja) 情報処理装置および処理実行方法