TW201816547A - 視線檢測系統、偏移檢測方法、偏移檢測程序 - Google Patents

視線檢測系統、偏移檢測方法、偏移檢測程序 Download PDF

Info

Publication number
TW201816547A
TW201816547A TW106125372A TW106125372A TW201816547A TW 201816547 A TW201816547 A TW 201816547A TW 106125372 A TW106125372 A TW 106125372A TW 106125372 A TW106125372 A TW 106125372A TW 201816547 A TW201816547 A TW 201816547A
Authority
TW
Taiwan
Prior art keywords
user
vector
unit
center
image
Prior art date
Application number
TW106125372A
Other languages
English (en)
Inventor
趙柱安
洛克藍 威爾森
Original Assignee
Fove股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove股份有限公司 filed Critical Fove股份有限公司
Publication of TW201816547A publication Critical patent/TW201816547A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Optics & Photonics (AREA)

Abstract

本發明提供視線檢測系統、偏移檢測方法、偏移檢測程序，用於檢測裝戴到用戶的頭部使用的裝戴件的偏移。視線檢測系統具有裝戴件包括：發射部，向用戶的眼睛發射不可見光；攝像頭，根據不可見光來拍攝用戶的眼睛；瞳孔確認部，從拍攝圖像中確認用戶的瞳孔中心；取得部，根據發射部配置位置、從發射部向用戶眼睛發射的發射光的發射位置以及攝像頭配置位置，取得與用戶眼角膜曲率的中心位置的信息；向量確認部，確認將拍攝圖像中的用戶眼角膜曲率中心和瞳孔中心連結起來的向量；偏移檢測部，根據向量對用戶的裝戴件的裝戴狀態的偏移進行檢測。

Description

視線檢測系統、偏移檢測方法、偏移檢測程序
本發明涉及視線檢測系統，特別涉及利用頭戴式顯示器的視線檢測技術。
以往，在進行用於確認用戶凝視位置的視線檢測時，事先進行校準，並預先取得用戶的視線的基本信息。在專利文獻1公開了一種進行校準後進行視線檢測的技術。
近年來，用戶裝戴到頭部使用的頭戴式顯示器或眼鏡顯示器等也在嘗試進行視線檢測。這種情況也是在進行上述校準之後進行視線檢測。現有技術文獻《專利文獻1：日本特開2001－134371號公報》。
然而，前提是用戶與頭戴式顯示器或眼鏡顯示器之間的相對位置關係保持不變。因此，例如在使用頭戴式顯示器過程中發生如圖13所示的物理偏移的情況下，存在視線檢測的檢測位置精度下降的問題。因此，檢測頭戴式顯示器被用戶裝戴的狀態的偏移對發現視線檢測的精度下降來講是一項非常重要的課題。在圖13所示的例子中示出了裝戴到用戶的頭部的頭戴式顯示器100從虛線150t1的狀態向實線150t2所示的狀態偏移的情況。這隻不過是其中一種偏移例子，還包括向下發生偏移、單側向上下發生偏移的情況，不管發生哪一種偏移，都存在視線檢測的檢測位置精度下降的問題。因此，期待開發出檢測這種偏移的方法。
本發明是鑒於上述問題而提出的，其目的在於，提供一種在頭戴式顯示器等用戶裝戴到頭部使用的裝戴件發生偏移等的情況下能夠檢測這種偏移的視線檢測系統。
為了解決上述技術問題，根據本發明的一實施方式，提供一種視線檢測系統，包括用戶裝戴使用的裝戴件，其包括：多個發射部，向用戶的眼睛發射不可見光；攝像頭，根據不可見光來拍攝用戶的眼睛；瞳孔確認部，從攝像頭拍攝得到的拍攝圖像中確認用戶的瞳孔中心；取得部，根據多個發射部的配置位置、從多個發射部向用戶的眼睛發射的發射光的發射位置以及攝像頭的配置位置，來取得與用戶的眼角膜曲率的中心位置有關的信息；向量確認部，確認將拍攝圖像中的用戶的眼角膜曲率中心和瞳孔中心連結起來的向量；偏移檢測部，根據向量來對用戶裝戴的裝戴件的裝戴狀態的偏移進行檢測。
在上述視線檢測系統中，視線檢測系統還可包括用於對錶示多個發射部與攝像頭的配置位置的配置信息進行存儲的存儲部，取得部可根據存儲在存儲部中的多個發射部之中的第一發射部的配置信息、從第一發射部發射的不可見光相對於用戶的眼睛的第一發射位置、存儲在存儲部中的多個發射部之中的與第一發射部不同的第二發射部的配置信息、從第二發射部發射的不可見光相對於用戶的眼睛的第二發射位置以及攝像頭的配置位置，來取得與用戶的眼角膜曲率的中心位置有關的信息。
在上述視線檢測系統中，取得部可取得包括從攝像頭的中心位置朝向第一發射部的第一向量和從攝像頭的中心位置朝向第一發射位置的第二向量的第一平面以及包括從攝像頭的中心位置朝向第二發射部的第三向量和從攝像頭的中心位置朝向第二發射位置的第四向量的第二平面之間的交線作為與用戶的眼角膜曲率的中心位置有關的信息。
在上述視線檢測系統中，向量確認部將交線與攝像頭的圖像傳感器之間的交點作為拍攝圖像中的用戶的眼角膜曲率的中心來確認向量。
在上述視線檢測系統中，在第一時刻由向量確認部確認的作為向量的第一向量的位置和在第一時刻開始規定時間內的第二時刻由向量確認部確認的作為向量的第二向量的位置處於不同位置的情況下，偏移檢測部可檢測出偏移。
在上述視線檢測系統中，裝戴件可為頭戴式顯示器，視線檢測系統還可包括視線檢測裝置，裝戴件可包括發射部、攝像頭以及用於將拍攝圖像發送給視線檢測裝置的發送部，視線檢測裝置可包括用於接收拍攝圖像的接收部、瞳孔確認部、取得部、向量確認部以及偏移檢測部。
在上述視線檢測系統中，裝戴件還可包括用於向用戶提示圖像的顯示部，視線檢測裝置還可包括根據拍攝圖像來檢測出凝視圖像的用戶的凝視位置的視線檢測部。
在上述視線檢測系統中，視線檢測裝置還可包括校正部，校正部根據偏移檢測部檢測出的偏移，來校正視線檢測部檢測出的用戶的凝視位置。
並且，本發明的一實施方式提供一種偏移檢測方法，用於對用戶裝戴的裝戴件的裝戴狀態的偏移進行檢測，包括如下步驟：發射步驟，從多個發射部向用戶的眼睛發射不可見光；拍攝步驟，根據不可見光來拍攝用戶的眼睛；瞳孔確認步驟，從通過拍攝步驟拍攝得到的拍攝圖像中確認用戶的瞳孔中心；取得步驟，根據多個發射部的配置位置、從多個發射部向用戶的眼睛發射的發射光的發射位置以及攝像頭的配置位置，來取得與用戶的眼角膜曲率的中心的位置有關的信息；向量確認步驟，確認將拍攝圖像中的用戶的眼角膜曲率的中心與瞳孔中心連結起來的向量；偏移檢測步驟，根據向量檢測出用戶裝戴的裝戴件的裝戴狀態的偏移。
並且，本發明一實施方式提供一種偏移檢測程序，用於檢測出用戶裝戴使用的裝戴件的裝戴狀態的偏移，使計算機實現如下功能：拍攝圖像取得功能，取得根據從用於向用戶的眼睛發射不可見光的多個發射部發射的不可見光來拍攝用戶的眼睛的攝像頭拍攝得到的拍攝圖像；瞳孔確認功能，從拍攝圖像中確認用戶的瞳孔中心；取得功能，根據多個發射部的配置位置、從多個發射部向用戶的眼睛發射的發射光的發射位置、攝像頭的配置位置，來取得與用戶的眼角膜曲率的中心的位置有關的信息；向量確認功能，確認將拍攝圖像中的用戶的眼角膜曲率的中心和瞳孔中心連結起來的向量；偏移檢測功能，根據向量來檢測出用戶裝戴的裝戴件的裝戴狀態的偏移。
其中，以上結構要素的任意組合以及利用方法、裝置、系統、計算機程序、數據結構、記錄介質等之間轉換本發明的表現的方式也都有效地作為本發明的方式。
根據本發明，提供一種在以頭戴式顯示器等為代表的裝戴件能夠檢測出其裝戴狀態的偏移的技術。
為了讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
實施方式1：如圖1所示，本發明的視線檢測系統1包括裝戴件100。裝戴件100作為用戶裝戴使用的設備，例如有頭戴式顯示器、穿戴式眼鏡等作為代表的可穿戴終端。
視線檢測系統1包括發射部121、攝像頭116、瞳孔確認部223、取得部224、向量確認部225以及偏移檢測部226。
發射部121向裝戴着裝戴件的用戶的眼睛發射不可見光。發射部121具有多個發射源。發射部121發射的不可見光例如是不對用戶的眼睛造成傷害的範圍的近紅外線。並且，發射源例如為發光二極管（LED）燈。
攝像頭116根據發射部121所發射的不可見光來拍攝用戶的眼睛。瞳孔確認部223從攝像頭116拍攝得到的拍攝圖像中確認用戶的瞳孔中心。在這裡，瞳孔中心可以是相當於用戶300的瞳孔的中心位置的位置，除了中心以外也可以是重心。
取得部224根據發射部121的多個發射源的配置位置、從多個發射源向用戶的眼睛發射的發射光的發射位置和攝像頭116的配置位置，來取得與用戶的眼角膜曲率的中心位置有關的信息。在這裡表述成了眼角膜曲率的中心，但也可以是眼角膜曲率的重心位置。配置位置或發射位置可以是能夠在視線檢測系統中確認各種位置的坐標信息，也可以是表示始於基本位置（例如在視線檢測系統上設定的原點）的方向和距離的信息。並且，所謂用戶的眼角膜曲率的中心是指，包括用戶的眼角膜所形成的圓弧（球）的圓（球）的中心。
向量確認部225確認將攝像頭116拍攝得到的拍攝圖像中的用戶的眼角膜曲率的中心和瞳孔中心連結起來的向量。
偏移檢測部226根據向量確認部225確認的向量，來檢測用戶裝戴着的裝戴件100的裝戴狀態的偏移。
以下，對視線檢測系統1進行更詳細的說明。圖2是示意性地表示實施方式的視線檢測系統1的大致外觀的圖。實施方式的視線檢測系統1包括作為裝戴件100的一例的頭戴式顯示器100和視線檢測裝置200。下面，將裝戴件100表述成頭戴式顯示器100。如圖2所示，頭戴式顯示器100裝戴到用戶300的頭部使用。
視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼中的至少一側的視線方向，並且確認用戶的焦點，即，顯示在頭戴式顯示器的三維圖像中的用戶所凝視的位置。並且，視線檢測裝置200還用作生成頭戴式顯示器100所顯示的影像的影像生成裝置來發揮功能。雖然沒有限制，但舉例而言，視線檢測裝置200為桌上型的遊戲機、便攜式遊戲機、PC、平板電腦、智能手機、平板手機、視頻播放器、電視機等能夠播放影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖2所示的例子中，視線檢測裝置200以無線的方式與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi（註冊商標）或藍牙（Bluetooth，註冊商標）等無線通信技術實現。雖然沒有限制，但舉例而言，頭戴式顯示器100與視線檢測裝置200之間的影像的傳遞根據Miracast（商標）或WiGig（商標）、WHDI（商標）等標準執行。
此外，圖2示出了頭戴式顯示器100與視線檢測裝置200為不同裝置的情況時的例。然而，視線檢測裝置200可內置於頭戴式顯示器100。
頭戴式顯示器100包括框體150、裝戴件160以及頭戴式耳機170。框體150用於收容圖像顯示組件等用於提供給用戶300影像的圖像顯示系統或未圖示的Wi-Fi模塊或藍牙（Bluetooth，註冊商標）模塊等無線傳遞模塊。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100，框體150則配置於覆蓋用戶300的眼睛的位置。因此，若用戶300裝戴頭戴式顯示器100，則用戶300的視界被框體150遮擋。
頭戴式耳機170用於輸出視線檢測裝置200所播放的影像的聲音。頭戴式耳機170可以不固定於頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也能夠自由裝卸頭戴式耳機170。
圖3為示意性地示出實施方式的頭戴式顯示器100的圖像顯示系統130的大致外觀的立體圖。更為具體地，圖3為表示在實施方式的框體150之中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。
如圖3所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。
以下說明書中，除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外，皆簡單地表示成“凸透鏡114”。同樣，除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外，皆簡單地表示成“眼角膜302”。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況之外，皆表示成“透鏡支持部152”。
在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜，在圖3中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。下面，除了要特別區分紅外線光源103a和紅外線光源103b的情況之外，皆簡單地表示成“紅外線光源103”。在圖3所示的例子中，左眼用透鏡支持部152a具有6個紅外線光源103a。同樣，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，更容易裝戴紅外線光源103。由於透鏡支持部152通常由樹脂等構成，因而比由玻璃等構成的凸透鏡114更容易進行用於裝戴紅外線光源103的加工。
2、利用視線資料及用戶的行動的分類：並且，分類部403除了利用視線資料之外，還可像下文一樣利用用戶的行動進行群組分類。
如上所述，透鏡支持部152是一種用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡說明的是對每隻眼睛發射紅外線的紅外線光源103為6個，但並不僅限於此數目，只要有至少一個對應於各眼睛的紅外線光源即可，設置兩個以上會更好。
圖4為示意性地示出實施方式的框體150所收納的圖像顯示系統130的光學結構，是從左眼側的側面所看到的圖3中示出的框體150的情況的圖。圖像顯示系統130包括紅外線光源103、圖像顯示組件108、熱反射鏡112、凸透鏡114、攝像頭116及第一通信部118。
紅外線光源103可發射近紅外（700nm～2500nm程度）的波長譜帶的光的光源。一般而言，近紅外線為用戶300的肉眼無法察覺的不可見光的波長譜帶的光。
圖像顯示組件108顯示用於提供給用戶300的圖像。圖像顯示組件108所顯示的圖像由視線檢測裝置200內的影像輸出部222生成。關於影像輸出部222將在下文中進行說明。圖像顯示組件108，例如可由已知的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro Luminescence Display）來實現。
當用戶300裝戴了頭戴式顯示器100時，熱反射鏡112配置於圖像顯示組件108與用戶300的眼角膜302之間。熱反射鏡112具有穿過圖像顯示組件108所生成的可見光而反射近紅外線的性質。
相對於熱反射鏡112，凸透鏡114配置於圖像顯示組件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於熱反射鏡112與用戶300的眼角膜302之間。即，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。
凸透鏡114匯聚穿過熱反射鏡112的圖像顯示光。為此，凸透鏡114具有當作將圖像顯示組件108所生成的圖像放大后提供給用戶300的圖像放大部的功能。此外，為了方便說明，在圖3中僅示出了一個凸透鏡114，但凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。
多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103向用戶300的眼角膜302發射紅外線。
雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130具有兩個圖像顯示組件108，而能夠獨立地生成用於提供給用戶300的右眼的圖像和用於提供給左眼的圖像。因此，實施方式的頭戴式顯示器100能夠分別提供右眼用視差圖像和左眼用視差圖像給用戶300的右眼和左眼。由此，實施方式的頭戴式顯示器100能夠對用戶300提示具有層次感的立體影像。
如上所述，熱反射鏡112可讓可見光穿過，而將近紅外線加以反射。因此，圖像顯示組件108所發射的圖像光穿過熱反射鏡112而到達至用戶300的眼角膜302。並且，由紅外線光源103所發射而在凸透鏡114的內部的反射區域被反射的紅外線到達至用戶300的眼角膜302。
到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114，而被光學裝置112反射。攝像頭116具有用以濾除可見光的濾光片，而拍攝被光學裝置112反射的近紅外線。即，攝像頭116為近紅外攝像頭，其對由紅外線光源103所發射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。
此外，雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130可具有兩個攝像頭116，即，用於拍攝包含被右眼反射的紅外線的圖像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的圖像的第二拍攝部。由此，用於檢測出用戶300的右眼和左眼雙眼的視線方向的圖像。
第一通信部118將攝像頭116拍攝的圖像輸出到用於檢測用戶300的視線方向的視線檢測裝置200。具體地，第一通信部118將攝像頭116拍攝的圖像傳遞給視線檢測裝置200。至於具有當作視線方向檢測部的功能的視線檢測部221，將在下文中進行詳細說明，可通過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所運行的視線檢測程序實現。此外，頭戴式顯示器100具有中央處理器或存儲器等計算資源的情況下，頭戴式顯示器100的中央處理器也可運行用於實現視線方向檢測部的程序。
雖然以下將詳細說明，在由攝像頭116拍攝到的圖像中，由在用戶300的眼角膜302處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300的眼角膜302的眼睛的影像將被拍到。來自紅外線光源的近紅外線具有某種程序的指向性，發射某種程度的擴散光，用戶300的眼睛的圖像利用該擴散光被拍攝到。
如上所述，在實施方式的圖像顯示系統130之中，雖然主要就用以提供給用戶300的左眼的影像的結構加以說明，但用以提供給用戶300的右眼的影像的結構也與上述相同。
圖5為表示視線檢測系統1中的頭戴式顯示器100和視線檢測裝置200的詳細結構的框圖。
如圖5所示，頭戴式顯示器100包括第一通信部118、顯示部120、發射部121、拍攝部122、圖像處理部123。
第一通信部118為具有與視線檢測裝置200的第二通信部220進行通信的功能的通信界面。如上所述，第一通信部118通過有線通信或無線通信來與第二通信部220進行通信。可使用的通信標準的例為如上所述。第一通信部118將從拍攝部124或圖像處理部123傳遞的用於視線檢測的圖像數據（拍攝圖像的數據）發送給第二通信部220。並且，第一通信部118將從視線檢測裝置200發送的圖像數據或標記圖像傳遞給顯示部120。作為一例，圖像數據可以是用於顯示虛擬空間圖像的數據或遊戲內容物圖像。並且，作為圖像數據，也可以為由用於顯示三維圖像的右眼用視差圖像和左眼用視差圖像形成的視差圖像對。
顯示部120具有將作為從第一通信部118傳遞的圖像數據的、由影像生成部222生成的圖像數據顯示在圖像顯示組件108的功能。並且，顯示部120將從影像生成部222輸出的標記圖像顯示在圖像顯示組件108的指定的坐標。
發射部121控制紅外線光源103，並向用戶的右眼或左眼發射近紅外線。
拍攝部122利用攝像頭116拍攝包含被各隻眼睛反射的近紅外線的圖像。並且，拍攝部122拍攝凝視顯示在圖像顯示組件108的標記圖像的用戶的眼睛在內的圖像。拍攝部122將拍攝得到的圖像傳遞給第一通信部118或圖像處理部123。
以上是對頭戴式顯示器100的結構進行的說明。接着，對視線檢測裝置200進行詳細說明。
如圖5所示，視線檢測裝置200包括第二通信部220、視線檢測部221、影像生成部222、瞳孔確認部223、取得部224、向量確認部225、偏移檢測部226、校正部227以及存儲部228。
第二通信部220為具有與頭戴式顯示器100的第一通信部118進行通信的功能的通信界面。如上所述，第二通信部220通過有線通信或無線通信來與第一通信部118進行通信。第二通信部220向頭戴式顯示器100發送用於顯示從影像生成部222傳遞的包含一個以上廣告的虛擬空間圖像的圖像數據或為了標準而利用的標記圖像等。並且，將凝視從戴式顯示器100傳遞的由拍攝部122拍攝得到的標記圖像的用戶的眼睛在內的圖像或將根據觀看從影像生成部222輸出的圖像數據顯示的圖像的用戶的眼睛拍攝得到的拍攝圖像傳遞給視線檢測部221或瞳孔確認部223、取得部224。
從第二通信部220接收用戶的右眼的視線檢測用的圖像數據（拍攝圖像），對用戶的右眼的視線方向進行檢測。同樣，從第二通信部220接收用戶的左眼的視線檢測用的圖像數據，對用戶300的左眼的視線方向進行檢測。更具體地，視線檢測部221通過後文中的視線檢測方法來確認用戶凝視的顯示在圖像顯示組件108的圖像上的位置。視線檢測部221將用戶凝視的位置（圖像顯示組件108中的凝視坐標）傳遞給影像生成部222。
影像生成部222生成顯示於頭戴式顯示器100的顯示部120的圖像數據，並向第二通信部220傳遞。並且，影像生成部222生成用以進行用於視線檢測的校準的標記圖像，並與其顯示坐標位置一同傳遞給第二通信部220，而發送給頭戴式顯示器100。並且，影像生成部222根據從視線檢測部221或校正部227輸出的用戶的凝視來生成影像，並將其數據傳遞給第二通信部220。例如，影像生成部222生成凝視位置的分辨率高的影像數據並傳遞給第二通信部。
瞳孔確認部223從第二通信部220接收拍攝用戶的眼睛得到的拍攝圖像並進行分析。瞳孔確認部223確認拍攝圖像中的瞳孔中心的坐標位置並將所確認的坐標位置傳遞給向量確認部225。
取得部224利用存儲在存儲部228中的從攝像頭116的中心到第一紅外線光源的位置為止的向量和從攝像頭116的中心到拍攝圖像中的發自第一紅外線光源的發射位置的向量，來確認穿過兩個向量的平面。該平面上的某一處存在用戶300的眼睛的眼角膜曲率的中心。同樣，取得部224利用存儲在存儲部228中的從攝像頭116的中心到第二紅外線光源位置為止的向量和從攝像頭116的中心到拍攝圖像中的發自第二紅外線光源的發射位置的向量，來確認穿過兩個向量的平面。該平面上的某一處存在用戶300的眼睛的眼角膜曲率的中心。然後，確認表示所確認的兩個平面的交線的交線向量。取得部224將通過眼角膜曲率的中心的交線向量的信息作為與用戶300的眼角膜曲率的中心有關的信息傳遞給向量確認部225。
向量確認部225利用瞳孔確認部223所確認的瞳孔中心的坐標位置、從取得部224傳遞的交線向量來確認從拍攝圖像中的用戶的眼睛的眼角膜曲率的中心到瞳孔中心的向量V。向量確認部225確認取得部224所取得的交線向量與攝像頭116的圖像傳感器的虛擬交點，即，拍攝圖像上的坐標位置。然後，將交線向量與圖像傳感器的交點作為眼角膜曲率的中心，確認該中心到瞳孔中心為止的向量V。該向量V包含向量的起始端（眼角膜曲率的中心）和向量的末端（瞳孔中心）的信息。向量確認部225將所確認的向量V傳遞給偏移檢測部226。
偏移檢測部226對向量確認部225在第一時間t1確認的向量V1和在第二時間t2確認的向量V2各自的位置坐標進行比較，來判定用戶裝載着的頭戴式顯示器100是否發生了偏移。偏移檢測部226在向量V1和向量V2的長度和方向在規定範圍內（誤差範圍內）一致且位置坐標不一致程度在規定以上的情況下，判定為用戶裝戴着的頭戴式顯示器100的裝戴狀態發生了偏移。除此之外的情況下，偏移檢測部226判定為用戶裝戴着的頭戴式顯示器100未發生偏移。
校正部227具有根據偏移檢測部226檢測出的偏移量來校正視線檢測部221檢測出的用戶300的凝視位置的功能。因此，即使用戶300裝戴着的頭戴式顯示器100發生偏移，經過對所檢測的用戶的凝視位置進行校正，也能夠正確計算出用戶的凝視位置。
存儲部228為對視線檢測裝置200工作過程中所需的各種程序或數據進行記錄的記錄介質。存儲部228可通過例如硬盤驅動器（HDD，Hard Disc Drive）、固態硬盤（SSD，Solid State Drive）等來實現。。存儲部228中存儲有視線檢測部221進行視線檢測所需的視線檢測程序、瞳孔確認部223、取得部224、向量確認部225、偏移檢測部226所使用的偏移檢測程序或從攝像頭116朝向各紅外線光源的向量信息等。
以上對視線檢測裝置200的結構進行了說明。接着，對用戶的凝視點的檢測進行說明。
圖6為說明用於實施方式的視線方向的檢測的校準的示意圖。用戶300的視線方向通過視線檢測裝置200內的視線檢測部221對攝像頭116拍攝且從第一通信部118向各視線檢測裝置200輸出的影像進行分析來實現。
影像生成部222生成如圖6所示的點Q1至點Q9的9個點（標記圖像），並顯示於頭戴式顯示器100的圖像顯示組件108。視線檢測裝置200依照點Q1至點Q9的順序讓用戶300凝視各點。此時，用戶300被要求保持脖子不動而儘可能地僅藉助眼球的移動去凝視各點。攝像頭116對包含用戶300凝視着點Q1至點Q9這9個點時的用戶300的眼角膜302的圖像進行拍攝。
圖7為說明用戶300的眼角膜302的位置坐標的示意圖。視線檢測裝置200內的視線檢測部221分析攝像頭116拍攝的圖像來檢測出源於紅外線的亮點。當用戶300僅藉助眼球的移動而凝視着各點時，則即使用戶凝視着任一點的情況時，亮點105的位置被認為並不會變動。如此一來，視線檢測部221會以檢測出的亮點105為基準在攝像頭116拍攝的圖像中設定出二維坐標系306。
視線檢測部221再通過分析攝像頭116拍攝的圖像來檢測出用戶300的眼角膜302的中心P。這可通過例如霍夫變換、邊緣抽取處理等已知的圖像處理技術而得以實現。由此，視線檢測部221能夠取得所設定的二維坐標系306中的用戶300的眼角膜302的中心P的坐標。
在圖6中，圖像顯示組件108所顯示的顯示畫面之中設定的二維坐標系中的點Q1 至點Q9 的坐標分別顯示為Q1 （X1 ，Y1 ）T 、Q2 （X2 ，Y2 ）T ……、Q9 （X9 ，Y9 ）T 。各坐標是以例如位在各點的中心的像素為編號。此外，將用戶300凝視着點Q1 至點Q9 時的用戶300眼角膜302的中心P分別顯示為點P1 至點P9 。此時，分別將二維坐標系306之中的點P1 至點P9 的坐標顯示為P1 （X1 ，Y1 ）T 、P2 （X2 ，Y2 ）T 、……、P9 （X9 ，Y9 ）T 。此外，T表示向量或矩陣的轉置。
現在，將大小為2×2的矩陣Ｍ定義成以下的公式（1）：公式（1）。
此時，如果矩陣Ｍ滿足以下公式（2），則矩陣Ｍ為將用戶300的視線方向投影到影像顯示元件108所顯示的影像面的矩陣，，公式（2）。
如果詳細地寫出上述公式（2），將如以下公式（3）：公式（3）。
如果改變公式（3）的型態的話，則可得到以下的公式（4)：公式（4)。
在此，如果進行以下的替換：。
則可得到以下公式（5）：。
公式（5）中，因為向量y的元素是視線檢測部221使圖像顯示組件108所顯示的點Q1 至點Q9 的坐標，故為已知。並且，因為矩陣A的元素是用戶300的眼角膜302的頂點P的坐標，因此也能夠取得。視線檢測部221能夠取得向量y及矩陣A。此外，將作為轉換矩陣M的元素排列而成的向量的向量x為未知。因此，在向量y與矩陣A為已知時，推算矩陣M的問題為求出未知的向量x的問題。
公式（5）中，如果公式的數目（即，視線檢測部221在校準時提供給用戶300的點Q的數目）比未知數的數目（即向量x的元素數4）多的話，則公式（5）為超定（overdetermined）問題。在公式（5）所示的例子中，因為公式的數目為9個，所以是超定問題。
將向量y和向量Ax的誤差向量作為向量e。即，。此時，代表向量e 的元素的平方和為最小的意義的最佳的向量Xopt 可由以下公式（6）求得公式（6），其中，「-1」表示反矩陣。
視線檢測部221利用所求得的向量Xopt 的元素來構成公式（1）的矩陣Ｍ。由此，視線檢測部221利用用戶300的眼角膜302的頂點P的坐標的矩陣Ｍ，根據公式（2）可推算出用戶300的右眼存在凝視圖像顯示組件108所顯示的動態圖像上的何處。其中，視線檢測部221還從頭戴式顯示器100接收用戶的眼睛與圖像顯示組件108之間的距離信息，並根據上述距離信息對推算出的用戶所凝視的坐標值進行修改。並且，基於用戶的眼睛與圖像顯示組件108之間的距離的凝視位置的推算不一致屬於誤差的範圍，可以無視。由此，視線檢測部221能夠計算出鏈接圖像顯示組件108上的右眼的凝視點和用戶的右眼的眼角膜的頂點的右眼視線向量。同樣地，視線檢測部221能夠計算出鏈接圖像顯示組件108上的左眼的凝視點和用戶的左眼的眼角膜的頂點的左眼視線向量。並且，可以僅通過一隻眼睛的視線向量來確認二維平面上的用戶的凝視點，可通過獲得兩隻眼睛的視線向量來計算至用戶的凝視點的深度方向信息。由此，視線檢測裝置200可確認用戶的凝視點。並且，在此表示的凝視點確認方法為一例，也可利用本實施方式所表示的方法之外的其他方法來確認用戶的凝視點。
接着，對基於偏移檢測部226的偏移檢測進行說明。圖8為表示本發明中的拍攝系統統的示意圖，是示意性地說明偏移檢測部226檢測裝戴偏移時使用的向量840的圖。
圖8為表示攝像頭116拍攝用戶的眼睛的狀態的示意圖。並且，圖10為俯視圖8時的俯視圖。在這裡示出的是利用攝像頭116拍攝從紅外線光源L1、L2向用戶的眼睛（右眼）發射不可見光（近紅外線）的狀態的例子。紅外線光源L1、L2是紅外線光源103a之中的任意的紅外線光源。本來，凸透鏡114或熱反射鏡112介於攝像頭116之間。然後，如圖3所示，攝像頭116拍攝被熱反射鏡112反射一次的圖像，但這裡為了簡化說明，示出了未被反射的狀態。在圖8示出了拍攝用戶300的眼睛的攝像頭116和向在其內部的圖像傳感器116p映射的圖像。攝像頭11為小型攝像頭，拍攝光軸向攝像頭116的中心116m匯聚。在圖8中省略了其他紅外線光源，以確保容易觀察附圖。
圖8或圖10中均示出了圖像傳感器116p在攝像頭116的外部，但這是為了容易區分附圖和說明內容。實際上，圖像傳感器116p在攝像頭116的內部。同樣，圖10中的攝像頭116的中心116m也在攝像頭116的內部。並且，圖10中的XY軸表示的坐標系是虛擬的。
偏移檢測部226利用圖8中示出的向量840來檢測頭戴式顯示器100的裝戴狀態的偏移。該向量840是從用戶300的眼角膜曲率中心朝向瞳孔中心的向量向圖像傳感器116p的映射。如圖9所示，用戶300的眼球不是正圓而具有眼角膜突出的結構是眾所周知的。如圖9所示，眼球801的端部有眼角膜302，成為凸透鏡，該中心成為瞳孔中心804。並且，假設將眼角膜302劃成正球的情況的球體成為眼角膜球802。該眼角膜球802的中心成為眼角膜302的眼角膜曲率的中心805。上述向量840是從眼角膜曲率的中心805連結瞳孔中心804的向量向圖像傳感器116p的映射（應當注意，實際映在圖像傳感器116p的只是瞳孔中心804的映射）。
如圖8所示，從紅外線光源L1發射的近紅外線如向量832的光軸所示只向用戶300的眼睛的發射位置806發射。該發射光被用戶300的眼角膜302反射，穿過與圖8的向量826反向的向量的光軸而朝向攝像頭116的中心116m。映在用戶300的眼睛的發射光作為映射816在圖像傳感器116p上成像。
並且，根據發自紅外線光源L1、L2的擴散光，用戶300的瞳孔中心804也在圖像傳感器116p上作為瞳孔映射814成像。
圖8中，向量831為從攝像頭116的中心116m朝向紅外線光源L1的向量，向量833為從攝像頭116的中心116m朝向紅外線光源L2的向量。
圖8中，向量831、向量832、向量826構成一個平面（以下稱作第一平面），該第一平面穿過用戶的眼角膜曲率的中心805。如上所述，向量831是從攝像頭116的中心116m朝向紅外線光源L1的向量，是已知向量（實測值）。向量831的信息預先存儲在存儲部228中。向量826為從攝像頭116的中心116m朝向發射位置806的向量，如圖8、圖10所示，從攝像頭116的中心116m在圖像傳感器116p的映射816的延長上。攝像頭116的中心116m與圖像傳感器116p之間的相對位置關係為已知的值（預先設定的值），存儲在存儲部228中。因此，向量826通過計算出從攝像頭116的中心116m朝向圖像傳感器116p上的映射816的向量，能夠計算出向量826。因此，向量831是已知的值，向量826能夠通過運算計算出，因此能夠由向量826和向量831定義第一平面。
同樣，向量833、向量834、向量823構成一個平面（以下稱作第二平面），該第二平面穿過用戶的眼角膜曲率的中心805。如上所述，向量833是從攝像頭116的中心116m朝向紅外線光源L2的向量，是已知向量（實測值）。向量833的信息預先存儲在存儲部228中。向量823為從攝像頭116的中心116m朝向發射位置803的向量，如圖8、圖10所示，從攝像頭116的中心116m在圖像傳感器116p的映射813的延長上。攝像頭116的中心116m與圖像傳感器116p之間的相對位置關係為已知的值（預先設定的值），存儲在存儲部228中。因此，向量823通過計算出從攝像頭116的中心116m朝向圖像傳感器116p上的映射813的向量，能夠計算出向量823。因此，向量833是已知的值，向量823能夠通過運算計算出，因此能夠由向量823と、向量833定義第二平面。
兩個平面共同穿過用戶300的眼角膜曲率的中心805，第一平面和第二平面所形成的交線825也穿過用戶300的眼角膜曲率的中心805。因此，只要能夠求出第一平面和第二平面的交線825，就能夠計算出眼角膜曲率的中心805在圖像傳感器116p上的虛擬的映射815作為交線825和圖像傳感器116p的交點。並且，只要能夠計算出映射815在圖像傳感器116p上的坐標。就能夠計算出向量840。這樣一來，視線檢測裝置200（瞳孔確認部223、取得部224、向量確認部225）計算出向量840。此外，第一平面和第二平面平行的情況下，無計計算出向量840，因而這種情況下，視線檢測裝置200會將用於計算出平面的光源變更為其他紅外線光源103。
圖11是表示偏移在圖像傳感器上如何表現出的例子的側視圖。圖11示出的是用戶的眼睛從虛線表示的狀態向實線表示的狀態發生偏移的情況。虛線表示的狀態的時間點設為t1，實線表示的狀態的時間點設為t2。圖11的例子示出了頭戴式顯示器100相對於用戶300的裝戴狀態向上方向發生偏移的情況的例子。
假設，在時間點t1從眼角膜曲率的中心朝向瞳孔中心的向量901經由凸透鏡114以及未圖示的熱反射鏡112作為攝像頭116的圖像傳感器116p上的向量840t1被檢測到。同樣，假設，在時間點t2從眼角膜曲率的中心朝向瞳孔中心的向量902經由凸透鏡114以及未圖示的熱反射鏡112作為攝像頭116的圖像傳感器116p上的向量840t2被檢測到。偏移檢測部226對向量840t1和向量840t2進行比較，如果長度和方向一致且坐標位置不同，則檢測為頭戴式顯示器100的裝戴狀態發生偏移。
以下，具體說明如何計算出向量840。將定義上述第一平面的坐標集合設為Π。坐標集合Π可通過公式（7）定義：公式（7）。
上述公式（7）中，向量CGi1 是從攝像頭116的中心116m朝向發射位置的向量，即圖8、圖10中的向量826。並且，向量CL1 是從攝像頭116的中心116m朝向紅外線光源L1的向量，即圖8、圖10中的向量831。並且，定義第一平面的最後要素可將攝像頭116的中心116m設為假設原點（0、0、0）利用以下公式（8）計算出：公式（8）。
平面可通過X軸、Y軸、Ｚ軸三軸的斜率和始於原點的距離來進行定義。第一平面穿過原點，能夠將始於原點的距離設為0。因此，第一平面Π1 能夠按以下公式（9）定義：公式（9）。
同樣，第二平面Π2 也能夠按以下公式（10）定義：公式（10）。
根據上述公式（9）以及公式（10），第一平面與第二平面之間的交線l12（交線825）能夠按以下公式（11）定義：公式（11）。
眼角膜曲率的中心805的映射815作為公式（11）表示的交線825與圖像傳感器116p之間的交點能被計算出。因此，能夠確認向量840為從上述交點朝向瞳孔映射814的向量。
以下，利用圖12的流程圖對視線檢測裝置200的動作進行說明。圖12是表示視線檢測裝置200進行檢測用戶裝戴到頭部的頭戴式顯示器100的裝戴狀態的偏移的處理的流程圖。
在步驟S1201中，視線檢測裝置200從頭戴式顯示器100取得時刻t的拍攝圖像。第二通信部220接收到時刻t的拍攝圖像后，存儲到存儲部228，並傳遞給視線檢測部221、瞳孔確認部223、取得部224。視線檢測部221利用接收到的拍攝圖像，來確認用戶300的凝視位置。之後，視線檢測裝置200的處理轉移到步驟S1202。
在步驟S1202中，接收到拍攝圖像的瞳孔確認部223對拍攝圖像進行圖像分析，來確認拍攝圖像中的用戶的眼睛的瞳孔中心的坐標。瞳孔確認部223將所確認的瞳孔中心的坐標傳遞給向量確認部225，轉移到步驟S1203。
在步驟S1203中，接收到拍攝圖像的取得部224利用上述方法來確認穿過用戶300的眼角膜曲率的中心的交線。取得部224將所確認的交線傳遞給向量確認部225，並轉移到步驟S1204。
在步驟S1204中，接收到瞳孔中心和穿過眼角膜曲率的中心的交線的向量確認部225確認穿過眼角膜曲率的中心的交線與攝像頭116的圖像傳感器相交的交點的坐標。然後，向量確認部225利用所確認的交點來計算出朝向接收到的瞳孔中心的向量V1。向量確認部225將所確認的向量V1傳遞給偏移檢測部226，轉移到步驟S1205。
在步驟S1205中，第二通信部220判定是否取得了將新用戶的眼睛拍攝得到的拍攝圖像。待機至取得新的時刻t＋1的拍攝圖像（“否”）。取得新的時刻t＋1的拍攝圖像的情況（“是”）下，轉移到步驟S1206。
在步驟S1206中，接收到新的拍攝圖像的瞳孔確認部223對拍攝圖像進行圖像分析，來確認拍攝圖像中的用戶的眼睛的瞳孔中心的坐標。瞳孔確認部223將所確認的瞳孔中心的坐標傳遞給向量確認部225，轉移到步驟S1207。
在步驟S1207中，接收到新的拍攝圖像的取得部224利用上述方法來確認穿過用戶300的眼角膜曲率的中心的交線。取得部224將所確認的交線傳遞給向量確認部225，轉移到步驟S1208。
在步驟S1208中，接收到瞳孔中心和穿過眼角膜曲率的中心的交線的向量確認部225首先確認穿過眼角膜曲率的中心的交線與攝像頭116的圖像傳感器相交的交點的坐標，然後，向量確認部225計算出所確認的交點朝向接收到的瞳孔中心的向量V1。向量確認部225將所確認的向量V1傳遞給偏移檢測部226，轉移到步驟S1209。
從步驟S1209至步驟S1210為止，偏移檢測部226判定用戶300裝戴着的頭戴式顯示器100是否發生偏移。在步驟S1209中，偏移檢測部226判定在步驟S1204確認的向量V1和在步驟S1208確認的向量V2的長度（在誤差範圍內）是否相等。在向量V1和向量V2的長度相等的情況（“是”）下，轉移到步驟S1210，在不相等的情況（“否”）下，結束處理。
在步驟S1210中，偏移檢測部226判定向量V1的方向和向量V2的方向（在誤差範圍內）是否相同。在向量V1的方向和向量V2的方向相同的情況（“是”）下，轉移到步驟S1211，在不相同的情況（“否”）下，結束處理。
在步驟S1211中，偏移檢測部226判定向量V1和向量V2的坐標位置是否相同。偏移檢測部226可通過判定向量V1與向量V2之間的距離是否在規定距離以上，來判定坐標位置是否相同，或者向量V1和向量V2的起始端（或末端）的坐標位置是否不同。向量V1的坐標位置和向量V2的坐標位置不同的情況（“是”）下，轉移到步驟S1212，並不不同，即，向量V1和向量V2的坐標位置（在誤差範圍內）相同的情況（“否”）下，結束處理。
在步驟S1212中，從步驟S1209至步驟S1211的判定結果，偏移檢測部226判定為用戶300裝戴着的頭戴式顯示器100從初始狀態（從進行校準的時間點的裝戴狀態）就發生了偏移。偏移檢測部226將向量V1和向量V2之間的偏移量傳遞給校正部227，轉移到步驟S1213。在這裡，偏移量為從向量V1朝向向量V2的向量，利用從向量V1的起始點（或終止點）朝向向量V2的起始點（或者終止點）的向量表示出。
在步驟S1213中，校正部227根據從偏移檢測部226傳遞的偏移量來校正視線檢測部221檢測出的凝視位置。具體地，校正部227將在視線檢測部221檢測出的凝視位置的坐標上把由偏移量表示的向量的反向量相加的坐標位置作為凝視位置輸出。
從校正部227輸出的凝視位置例如用於影像生成部222要生成的影像的生成。具體地，影像生成部222生成將所確認的凝視位置作為中心的規定範圍的圖像的分辨率調成高分辨率的圖像並經由第二通信部220發送給頭戴式顯示器100。並且除此之外，凝視位置例如在視線檢測系統1中例如可利用於遊戲等應用程序運行時的輸入位置，或者利用於通過確認圖像中的注目位置的營銷等。並且，在偏移檢測部226判定為用戶300裝戴的頭戴式顯示器100未發生偏移的情況下，視線檢測裝置200不進行任何特殊處理。
視線檢測裝置200在視線檢測系統1運行期間依次執行圖12中示出的處理。
如上所述，視線檢測系統1利用拍攝得到的拍攝圖像中的用戶300的眼角膜曲率的中心805朝向攝像頭116的圖像傳感器116p的虛擬的映射815，根據朝向瞳孔中心804的向圖像傳感器116p的瞳孔映射814的向量840，檢測出用戶300裝戴頭戴式顯示器100的狀態的偏移。用戶300在頭戴式顯示器100發生偏移的瞬間，用戶300的眼睛與剛好之前保持相同狀態。因此，剛好之前的拍攝圖像中的向量840和發生偏移的瞬間的拍攝圖像中的向量840應該具有相同的長度和相同的方向。通過像這樣對不同時間的向量840的長度、方向和坐標進行比較，偏移檢測部226能夠檢測出用戶300裝戴頭戴式顯示器100的狀態的偏移。在檢測該偏移時，不需要諸如計算出眼角膜曲率的中心805的三維空間上的坐標或眼球801的中心的三維空間上的坐標的複雜計算。因此，能夠通過計算量少的演算來檢測用戶300裝戴頭戴式顯示器100的狀態的偏移。並且，該檢測具有頭戴式顯示器100不需要設置接觸傳感器等新的傳感器的優點。
實施方式2：在上述實施方式1中說明了基於視線檢測裝置200的偏移檢測及校正。然而，上述實施方式1的偏移檢測及校正適用於特定的透鏡。因此，在本實施方式2中將說明對任意形狀的透鏡檢測裝戴的頭戴式顯示器的偏移並進行校正的方法。
例1：首先，例1中表述了對一用戶30進行校準。在例1中，與在上述實施方式1中示出的情況相同地，顯示9個標記圖像，拍攝凝視各個標記圖像的用戶30的眼睛，確認此時的瞳孔中心的拍攝系統中的坐標值，並與標記圖像的拍攝系統中的坐標值建立關聯來取得校準數據。
將拍攝圖像系統中的用戶的瞳孔中心的坐標設為X（x1 、x2 ），將對應的圖像顯示組件108中的映射的坐標設為Y（y1 、y2 ）。此外要考慮能夠變換為f1 （X）=y1 、f2 （X）=y2 的映射函數（mapping function）f1 主函數f2 。此外，函數f1 及函數f2 均為二次多項式。
作為上述二次多項式，構建利用平方核（kernel）的徑向基函數（radial basis function）。根據該函數，利用所拍攝的圖像系統中的用戶的眼睛的瞳孔中心的坐標值推算出圖像顯示組件的坐標系中的用戶的瞳孔中心的映射坐標值。
將與拍攝用戶的眼睛得到的瞳孔中心的坐標有關的數據組設為Xn （0＜n≦N），將平方核φ（X、Xn ）如下定義。此外，在這裡，N為9，但該數不限定於9，公式（12）。
於是，f1 （X）及f2 （X）能夠如下定義：，公式（13）。
在這裡，上述公式中的未知係數a1 及a2 可如下定義：，公式（14）。
為了求出未知係數，利用最小平方法。具體地，解開以下數學式：，公式（15）；在這裡，A為N×N的正方矩陣。
如上所述，將與拍攝用戶的眼睛得到的瞳孔中心的坐標有關的數據組設為Xn （0＜n≦N）時，將與圖像顯示組件的顯示系統中的用戶的瞳孔中心的坐標有關的數據組設為Yn （0＜n≦N）。Xn 及Yn 是通過測量得出的，因此是已知值。該數據通過進行上述實施方式表述的校準來得出。即，用戶凝視在圖像顯示組件108的特定的坐標位置顯示的標記圖像。通過拍攝凝視該標記圖像的用戶的眼睛，來得出拍攝圖像中的用戶的瞳孔中心的坐標和圖像顯示組件108的特定的坐標位置之間的對應關係。
此時，平方核如下定義：，其中，公式（16）。
於是，能夠用以下公式表示矩陣A：公式（17）。
分解矩陣A，其偽逆矩陣（pseudo-inverse matrix）A＋ 與A－ 1 近似。於是，可通過以下數學式計算出a1 、a2 ：，公式（18）。
上述式中，T表示轉置。如上所述，Xn 、Yn 均為已知的值，因而A－ 1 也能夠作為已知的矩陣計算出。並且，y11 ～y1N 及y21 ～y2N 也由於是標記圖像的顯示坐標位置，因而是已知的值。因此，a1 及a2 均可利用已知的值計算出。
根據以上說明的方法，視線檢測裝置200的視線檢測部221能夠利用計算出的係數a1 、a2 來計算出映射坐標值Yn 。即，視線檢測部221可通過利用從拍攝圖像取得的瞳孔中心Xout 演算出f1 （Xout ）和f2 （Xout ）來推算出凝視點Yout 。
例2：上述例1中說明的是利用在用戶自身的校準時的數據來進行推測，但在例2中說明的是即使是用戶自身的校準數據少的狀態也能夠推算凝視位置的例子。
為了實現上述結構，視線檢測裝置200的存儲部中預先存儲好對多個用戶進行校準時的校準數據（拍攝圖像的數據和其拍攝時在圖像顯示組件108凝視着的坐標位置的數據）。並且，從中使用實際上接近裝戴使用頭戴式顯示器100的用戶30的校準數據來對其進行校正，來確認實際的凝視點。這利用了一種在視線檢測時人的眼睛轉動往往與他人的眼睛轉動相似的事實，通過校正他人的校準數據，能夠確認用戶30的凝視點。因此，例2中，預先將多人的校準數據存儲到視線檢測裝置200的存儲部，關於實際裝戴頭戴式顯示器100的用戶30，利用凝視在兩個不同坐標位置顯示的標記圖像的用戶30的眼睛的拍攝圖像，相比於對9個標記圖像進行校準的情況能夠縮減校準所需時間。以下，對該方法進行詳細說明。
首先，假設最初觀測到的第一瞳孔中心的拍攝圖像中的坐標值和標記圖像的顯示位置的坐標值為（X1 、Y1 ）。那麼，假設hf（X´、Y）=0，其變換函數能夠用以下公式表示：公式（19）。
另一方面，假設第二瞳孔中心的顯示位置的坐標值和標記圖像的顯示位置的坐標值為（X2 、Y2 ）。此時，兩個坐標值滿足以下公式：公式（20）。
標記圖像的坐標值沒有誤差的情況下，變換系統λ成為1。在這裡，變換係數λ是為了將他人的校準數據用於用戶30的數據進行校正的係數。
然而，預先利用一個校準數據，從所拍攝的瞳孔中心變換為朝向圖像顯示組件108的映射位置（確認凝視點）的情況下，利用該最佳化也不能準確地確認凝視點，而致使凝視點發生錯誤。因此，為了進而確保準確性，從多人的校準數據選擇最適合於裝戴頭戴式顯示器100的用戶30的校準數據，來抑制這種錯誤。
條件1：上述最佳化后的變換係數選擇了最適合的校準數據的情況下，接近1。即，滿足以下公式：公式（21）。
條件2：利用上述最佳化后的變換係數變換成凝視兩個標記圖像的凝視點的誤差最小（最小接近0）。即，滿足以下數學式：公式（22）。
條件3：推算的瞳孔中心的坐標位置和變換的瞳孔中心的坐標位置之間的誤差成為最小（最小接近0）。即，滿足以下公式：公式（23）。
按照以下三個條件，從多個校準數據之中選擇滿足上述三個條件的校準數據。即，確認滿足以下數學式的校準數據：公式（24）。
視線檢測裝置200的視線檢測部221從多個校準數據之中選擇最接近用戶30的校準數據，並對所選擇的校準數據套用上述變換係數來進行視線檢測。
此外，在這裡說明的是利用三個條件選擇最接近用戶30的校準數據，但不限定於此，也可利用上述條件1至條件3之中的一個或兩個來選擇最接近用戶30的校準數據。
如上所述，在例2的情況下，在將裝戴使用頭戴式顯示器100的用戶的校準次數盡量減少的狀態下，實現視線檢測，因而能夠縮減校準所需時間和過程，同時，例如，使用頭戴式顯示器100玩遊戲時的遊戲開始時間能比進行校準的情況提前。
並且，從多個校準數據之中選擇最適合於用戶30的校準數據時，可以這樣構成：按類似的校準數據分為多個群組，並設定好各個群組中作為代表的校準數據，從中確定最接近用戶的群組，從包含在所確認的群組中的校準數據之中選擇最接近用戶30的校準數據。
例3：在上述例1及例2中說明了用戶裝戴的HMD（頭戴式顯示器）處於固定狀態時進行校準的情況下計算出映射坐標位置的方法。在例3中將對HMD未固定的情況進行說明。在例3中，作為前提，在以下條件下進行校準。
例3的校準中，對於在4個位置顯示的標記圖像，用戶一邊一點點錯開頭戴式顯示器100，一邊維持凝視一個標記圖像的狀態，並拍攝該狀態。優選地，此時的標記圖像的位置的4點使用上述實施方式1中的9個標記圖像的四個角落。在進行拍攝時，為了即使頭戴式顯示器處於偏移狀態也能夠正確地確認凝視點，取得規定幀數（例如100幀）。至於規定幀數，不管用戶30裝戴頭戴式顯示器100的狀態如何，取得足以確認凝視點的幀數。對於4點，一邊錯開HMD，一邊取得100幀的拍攝圖像，來取得校準數據（表示拍攝圖像中的瞳孔中心的坐標值、眼角膜曲率的中心的坐標值、此時用戶凝視着的標記圖像的圖像顯示組件108中的顯示坐標之間的對應關係的數據）。並且，使用瞳孔中心的坐標值、眼角膜曲率的中心的坐標值來取得圖像顯示組件108中的凝視點的坐標值。以下，對進行這種校準時的凝視點的推算方法進行說明：公式（25）。
（x1 、x2 ）=（CCx 、CCy ），表示瞳孔中心的拍攝坐標系中的坐標值。並且，（x1 、x2 ）=（PCx 、PCy ），表示拍攝坐標系中的眼角膜曲率中心的坐標值。並且，（y1 、y2 ）=（Sx 、Sy ），表示圖像顯示組件108的坐標系中的瞳孔中心的坐標值。
在這裡，根據能夠從拍攝圖像取得的X，將X變換為圖像顯示組件108的坐標系的坐標值的變換函數g1 、g2 ，即g1 （X）=y1 、g2 （X）=y2 表現為二次14項構成的多項式。
公式（26）。
公式（27）。
在上述數學式中，未知係數b1 及b2 如下表示：，公式（28），在上述公式中，T表示轉置。
為了確定該係數，能夠利用最小二乗法進行計算，即，能夠利用以下兩個公式計算出：，公式（29）。
在這裡，矩陣A為N×14的矩陣。在這裡，假設觀察得到的是Xn 、Yn （n為0＜n≦N），則矩陣A如下表示：公式（30）。
分解該矩陣A，其偽逆矩陣A＋ 與A－ 1 近似。於是，能夠通過以下數學式計算出b1 、b2 ：，公式（31）。
根據以上所示的內容，b1 及b2 可根據已知的值計算出。因此，根據從拍攝圖像取得的X（瞳孔中心和眼角膜曲率的中心各自的坐標值），對於圖像顯示組件108中的坐標Y使用上述變換式g1 及g2 ，因而即使頭戴式顯示器的裝戴狀態發生偏移，也能夠正確確認凝視點。
分析部203b利用視線資料來分析用戶的視線。在這裡，分析部203b根據需要利用從計時器204b、操作取得部205b、屬性取得部206b輸入的資料。
進而，至於預測的瞳孔中心（PC ´），只要存在與眼角膜曲率的坐標值有關的信息，就能夠利用目的函數hf通過以下數學式計算出：公式（32）。
並且，至於圖像顯示組件108中的凝視點的坐標值，例如即使沒有眼角膜曲率的中心的坐標。利用上述的函數f，也能夠按以下數學式推算出：公式（33）；公式（34）；公式（35）。
如上所述，通過建立好圖像顯示組件108中的4點的坐標值和拍攝圖像之間的對應關係，能夠進行這種校正。在例3的校準中，用戶實際上一邊錯開頭戴式顯示器，一邊進行校正，還能夠取得假設偏移狀態的校準數據。因此。實際使用時，即使頭戴式顯示器的裝戴狀態發生變化，也能夠吸收其偏移，來確認凝視點。
例4：例4是上述例3的變形例。例4是例3的偏移檢測簡易版，與例2相同，示出利用他人的校準數據吸收頭戴式顯示器的裝戴的偏移來確認凝視點的方法。例4中說明利用所取得的瞳孔中心和圖像顯示組件108中的映射坐標將眼角膜曲率的中心最佳化的方法。這是由於，相對於瞳孔中心的眼角膜曲率的中心因人而異，在利用他人的校準數據時，需要校正眼角膜曲率的中心。
在例4的校準時，以使用戶30的瞳孔中心在來自左右配置的兩個光源的光點的中心的方式，移動標記圖像，設定顯示屏坐標。在這種情況下，標記圖像在中心顯示，通過調整其位置能夠設定顯示屏坐標系。
用於將用以變換眼角膜曲率的中心的變換係數最佳化的目的函數hg能夠通過利用用於視線檢測的任意校準數據g（X）實現。
公式（36）
在上述數學式中，當hg=0時，可利用已知的值x3 、x4 、y1 、y2 計算出（x1 ’、x2 ’）。具體地，能夠如下設定變換係數：；公式（37）。
此時，上述λ1 及λ2 滿足以下公式：；公式（38）。
並且，利用計算出的λ1 及λ2 ，利用以下的數學式，最終能夠計算出圖像顯示組件108中的凝視點：公式（39）。
此外，對多個（n個）標記進行測定的情況下，以下公式成立，如上所述，能夠通過計算出未知的係數λ1 及λ2 來確認凝視點：公式（40）。
此外，在這裡示出的各種例子中，能夠通過以下的組合來確認凝視點和校正裝戴偏移的凝視點。即，例1、例2是用於確認凝視點的方法，例3、例4示出的是檢測偏移，在偏移情況下確認凝視點的方法。因此。有必要運用以下組合。
即，可考慮如下組合：例2＋例3、例1＋例4或例2＋例4的組合。例1和例2的組合能夠確認最適合於用戶的凝視點，因此視線檢測的精度最高。即，將頭戴式顯示器100利用於個人是最適合。另一方面，能夠縮短校準所需時間的是例2和例4的組合。在這種情況下，在多個用戶使用的情況，例如將頭戴式顯示器100應用於活動的情況下，能夠短時間內校準頭戴式顯示器100。
本發明的視線檢測系統不限定於上述實施方式，當然可以通過用於實現本發明思想的其他方法實現。以下，對各種變形例進行說明。
（1）在上述實施方式中，顯示標記圖像（亮點）的位置為一例，只要在用於進行用戶的視線檢測的不同位置顯示，取得凝視各個位置的用戶的眼睛的圖像，確認此時的用戶的眼睛的中心，就不限定於上述實施方式中的顯示位置是不言而喻的。並且，此時顯示標記圖像的數量也不限定於9個，而且確認上述矩陣x的4個因素，只要成立4個公式即可，因而只要確認關於至少4個點的標記圖像的用戶的眼角膜中心就足矣。
（2）在上述實施方式中，為了檢測用戶300的視線，作為拍攝用戶300的眼睛的方法，拍攝的是被熱反射鏡112反射的影像，但也可以不通過熱反射鏡112而直接拍攝用戶300的眼睛。
（3）在上述實施方式中，步驟S1202和步驟S1203可以並列執行，也可以先處理步驟S1203之後處理步驟S1202。
（4）在上述實施方式中，雖未作特殊限定，但至於用戶300的眼角膜曲率的中心，可通過利用來自三個紅外線光源的發射位置確認穿過第三個眼角膜曲率的中心的平面，來計算出3個穿過眼角膜曲率的中心的平面的交點作為眼角膜曲率的中心坐標。
（5）在上述實施方式中，關於凸透鏡114的曲率未作特殊記載，但有時候需要與向量840映射的顯示位置相對應地進行與凸透鏡114的曲率相對應的校正。進行這種校正時，可預先在存儲部228中存儲好校正有關的校正函數。這種校正函數可通過事前的模擬利用視線檢測裝置200的操作符計算出適當的函數進行輸入即可。此外，如果凸透鏡114是接近平板的透鏡，則不需要進行這種校正。
（6）在上述實施方式中，向量840可以是相反向量。即，向量840可以是從用戶300的瞳孔中心的瞳孔映射814朝向用戶300的眼角膜曲率的中心805的映射815的向量。即使是這種向量，偏移檢測部226也能夠與上述實施方式同樣地檢測出頭戴式顯示器100的裝戴狀態的偏移。
（7）在上述實施方式中，視線檢測部221、影像生成部222、瞳孔確認部223、取得部224、向量確認部225、偏移檢測部226、校正部227可由一個控制部，即一個處理器實現，也可由多個控制部實現。
（8）並且，在上述實施方式中，作為檢測用戶裝戴的裝戴件（頭戴式顯示器100）的偏移的偏移檢測方法，通過視線檢測裝置200的處理器運行偏移檢測程序等來確認用戶凝視着的位置，但這也可藉助形成於集成電路（IC；Integrated Circuit）芯片、大規模集成電路（LSI，Large Scale Integration）等的邏輯電路（hardware）或專用電路來實現。並且，這些電路可由一個或多個集成電路實現，也可由一個集成電路實現上述實施方式中示出的多個功能部的功能。LSI根據集成度的不同而可分別稱為VLSI、超級LSI、特級LSI等。即，如圖14所示，視線檢測系統1可由發射迴路120a、攝像頭116、瞳孔確認迴路223a、取得迴路224a、向量確認迴路225a、偏移檢測迴路226a構成，各自的功能與在上述實施方式中示出的名稱相同的各個部分相同。
並且，上述偏移檢測程序可被記錄在處理器可讀取的記錄介質，作為記錄介質，可利用“非暫時性的有形的介質”，例如磁帶、磁盤、半導體存儲器、可程序化的邏輯電路等。並且，上述偏移檢測程序可經由能夠傳輸該偏移檢測程序任意的傳輸介質（通信網絡或播放信號等）向上述處理器供給。本發明中，上述偏移檢測程序還可由電子格式的傳送所具體執行的嵌埋於載波數據信號的方式得以實現。
此外，上述偏移檢測程序可以利用例如ActionScript、JavaScript（註冊商標）等腳本語言、Objective-C、Java（註冊商標）等編譯語言、HTML5等標記語言來進行安裝。
並且，本發明的視線檢測方法用於通過包括用戶裝戴使用的頭戴式顯示器和用於檢測上述用戶的視線的視線檢測裝置的視線檢測系統進行視線檢測，其特徵在於，上述視線檢測裝置向上述頭戴式顯示器輸出標記圖像，上述頭戴式顯示器顯示上述標記圖像，拍攝凝視上述標記圖像的用戶的眼睛，將包含拍攝得到的用戶的眼睛的圖像輸出給上述視線檢測裝置，上述視線檢測裝置生成將上述標記圖像以及包含凝視着上述拍攝得到的上述標記圖像的用戶的眼睛在內的圖像重疊起來的合成圖像，並輸出所生成的合成圖像。
（9）上述實施方式中示出的結構及各補充可適當組合。
以上所揭露的僅為本發明的優選實施例而已，當然不能以此來限定本發明之權利範圍，因此依本發明申請專利範圍所作的等同變化，仍屬本發明所涵蓋的範圍。應當理解，以上的描述意圖在於說明而非限制。例如，上述實施例(和/或其方面)可以彼此組合使用。此外，根據本發明的啟示可以做出很多改型以適於具體的情形或材料而沒有偏離本發明的範圍。通過閱讀上述描述，權利要求的範圍和精神內的很多其它的實施例和改型對本領域技術人員是顯而易見的。
1‧‧‧視線檢測系統
100‧‧‧頭戴式顯示器
103a‧‧‧紅外線光源（第二紅外線發射部）
103b‧‧‧紅外線光源（第一紅外線發射部）
105‧‧‧亮點
108‧‧‧圖像顯示組件
112‧‧‧熱反射鏡
114、114a、114b‧‧‧凸透鏡
116‧‧‧攝像頭
118‧‧‧第一通信部
120‧‧‧顯示部
121‧‧‧發射部
122‧‧‧拍攝部
123‧‧‧圖像處理部
130‧‧‧圖像顯示系統
150‧‧‧框體
152a、152b‧‧‧透鏡支持部
160‧‧‧裝戴件
170‧‧‧頭戴式耳機
200‧‧‧視線檢測裝置
220‧‧‧第二通信部
221‧‧‧視線檢測部
222‧‧‧影像生成部
223‧‧‧瞳孔確認部
224‧‧‧取得部
225‧‧‧向量確認部
226‧‧‧偏移檢測部
227‧‧‧校正部
228‧‧‧存儲部
圖1為表示視線檢測系統的結構的圖； 圖2為用戶裝戴頭戴式顯示器的狀態的外觀圖； 圖3為示意性地示出頭戴式顯示器的圖像顯示系統的大致外觀的立體圖； 圖4為示意性地示出頭戴式顯示器的圖像顯示系統的光學結構的圖； 圖5為示出視線檢測系統的結構的框圖； 圖6為說明用於視線方向檢測的校準的示意圖； 圖7為說明用戶的眼角膜的位置坐標的示意圖； 圖8為示意性地說明偏移檢測的概要的立體圖； 圖9為表示眼球圖像的圖； 圖10為用於示意性地說明偏移檢測的概要的俯視圖； 圖11為表示頭戴式顯示器的偏移與向圖像傳感器進行的映射的關係例的圖； 圖12為表示視線檢測系統的動作的流程圖； 圖13為表示頭戴式顯示器的偏移狀態的圖；以及 圖14為表示視線檢測系統的結構的圖。

Claims (10)

  1. 一種視線檢測系統，包括用戶裝戴使用的裝戴件，其特徵在於，包括： 多個發射部，向用戶的眼睛發射不可見光； 攝像頭，根據上述不可見光來拍攝上述用戶的眼睛； 瞳孔確認部，從上述攝像頭拍攝得到的拍攝圖像中確認上述用戶的瞳孔中心； 取得部，根據上述多個發射部的配置位置、從上述多個發射部向上述用戶的眼睛發射的發射光的發射位置以及上述攝像頭的配置位置，來取得與上述用戶的眼角膜曲率的中心位置有關的信息； 向量確認部，確認將上述拍攝圖像中的上述用戶的眼角膜曲率中心和上述瞳孔中心連結起來的向量； 偏移檢測部，根據上述向量來對上述用戶裝戴的上述裝戴件的裝戴狀態的偏移進行檢測。
  2. 如申請專利範圍第1項所述之視線檢測系統，其特徵在於： 上述視線檢測系統還包括用於對錶示上述多個發射部與上述攝像頭的配置位置的配置信息進行存儲的存儲部， 上述取得部根據存儲在上述存儲部中的上述多個發射部之中的第一發射部的配置信息、從上述第一發射部發射的不可見光相對於上述用戶的眼睛的第一發射位置、存儲在上述存儲部中的上述多個發射部之中的與上述第一發射部不同的第二發射部的配置信息、從上述第二發射部發射的不可見光相對於上述用戶的眼睛的第二發射位置以及上述攝像頭的配置位置，來取得與上述用戶的眼角膜曲率的中心位置有關的信息。
  3. 如申請專利範圍第2項所述之視線檢測系統，其特徵在於：上述取得部取得包括從上述攝像頭的中心位置朝向上述第一發射部的第一向量和從上述攝像頭的中心位置朝向上述第一發射位置的第二向量的第一平面以及包括從上述攝像頭的中心位置朝向上述第二發射部的第三向量和從上述攝像頭的中心位置朝向上述第二發射位置的第四向量的第二平面之間的交線作為與上述用戶的眼角膜曲率的中心位置有關的信息。
  4. 如申請專利範圍第3項所述之視線檢測系統，其特徵在於，上述向量確認部將上述交線與上述攝像頭的圖像傳感器之間的交點作為上述拍攝圖像中的上述用戶的眼角膜曲率的中心來確認上述向量。
  5. 如申請專利範圍第1-4項任一項所述之視線檢測系統，其特徵在於，在第一時刻由上述向量確認部確認的作為上述向量的第一向量的位置和在上述第一時刻開始規定時間內的第二時刻由上述向量確認部確認的作為上述向量的第二向量的位置處於不同位置的情況下，上述偏移檢測部檢測出偏移。
  6. 如申請專利範圍第1-5項任一項所述之視線檢測系統，其特徵在於， 上述裝戴件為頭戴式顯示器， 上述視線檢測系統還包含視線檢測裝置， 上述裝戴件包括上述發射部、上述攝像頭以及用於將上述拍攝圖像發送給上述視線檢測裝置的發送部， 上述視線檢測裝置包括用於接收上述拍攝圖像的接收部、上述瞳孔確認部、上述取得部、上述向量確認部以及上述偏移檢測部。
  7. 申請專利範圍第6項所述之視線檢測系統，其特徵在於， 上述裝戴件還包括用於向上述用戶提示圖像的顯示部， 上述視線檢測裝置還包括視線檢測部，上述視線檢測部根據上述拍攝圖像來檢測出凝視上述圖像的用戶的凝視位置。
  8. 申請專利範圍第7項所述之視線檢測系統，其特徵在於， 上述視線檢測裝置還包括校正部，上述校正部根據上述偏移檢測部檢測出的偏移，來校正上述視線檢測部檢測出的用戶的凝視位置。
  9. 一種偏移檢測方法，其特徵在於，包括如下步驟： 發射步驟，從多個發射部向用戶的眼睛發射不可見光； 拍攝步驟，根據上述不可見光來拍攝上述用戶的眼睛； 瞳孔確認步驟，從通過上述拍攝步驟拍攝得到的拍攝圖像中確認上述用戶的瞳孔中心； 取得步驟，根據上述多個發射部的配置位置、從上述多個發射部向上述用戶的眼睛發射的發射光的發射位置以及上述攝像頭的配置位置，來取得與上述用戶的眼角膜曲率的中心的位置有關的信息； 向量確認步驟，確認將上述拍攝圖像中的上述用戶的眼角膜曲率的中心與上述瞳孔中心連結起來的向量； 偏移檢測步驟，根據上述向量檢測出上述用戶裝戴的裝戴件的裝戴狀態的偏移。
  10. 一種偏移檢測程序，用於檢測出用戶裝戴使用的裝戴件的裝戴狀態的偏移，其特徵在於，使計算機實現如下功能： 拍攝圖像取得功能，取得根據從用於向用戶的眼睛發射不可見光的多個發射部發射的上述不可見光來拍攝上述用戶的眼睛的攝像頭拍攝得到的拍攝圖像； 瞳孔確認功能，從上述拍攝圖像中確認上述用戶的瞳孔中心； 取得功能，根據上述多個發射部的配置位置、從上述多個發射部向上述用戶的眼睛發射的發射光的發射位置、上述攝像頭的配置位置，來取得與上述用戶的眼角膜曲率的中心的位置有關的信息； 向量確認功能，確認將上述拍攝圖像中的上述用戶的眼角膜曲率的中心和上述瞳孔中心連結起來的向量； 偏移檢測功能，根據上述向量來檢測出上述用戶裝戴的上述裝戴件的裝戴狀態的偏移。
TW106125372A 2016-07-27 2017-07-27 視線檢測系統、偏移檢測方法、偏移檢測程序 TW201816547A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-147519 2016-07-27
JP2016147519 2016-07-27
JP2017-143702 2017-07-25
JP2017143702A JP6485819B2 (ja) 2016-07-27 2017-07-25 視線検出システム、ずれ検出方法、ずれ検出プログラム

Publications (1)

Publication Number Publication Date
TW201816547A true TW201816547A (zh) 2018-05-01

Family

ID=61194138

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106125372A TW201816547A (zh) 2016-07-27 2017-07-27 視線檢測系統、偏移檢測方法、偏移檢測程序

Country Status (3)

Country Link
JP (1) JP6485819B2 (zh)
KR (1) KR20180012713A (zh)
TW (1) TW201816547A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
JP7173836B2 (ja) * 2018-11-05 2022-11-16 京セラ株式会社 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
JP2020081557A (ja) * 2018-11-28 2020-06-04 フォーブ インコーポレーテッド 眼の角膜中心の位置を特定する装置、方法、及びプログラム
JP6943913B2 (ja) * 2019-03-18 2021-10-06 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3038375B1 (ja) * 1998-11-17 2000-05-08 京都大学長 視線方向検出方法及びその検出装置
JP4824420B2 (ja) * 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
JP5578603B2 (ja) * 2009-12-04 2014-08-27 国立大学法人佐賀大学 視線制御装置、視線制御方法、及びそのプログラム
JP2014188322A (ja) * 2013-03-28 2014-10-06 Panasonic Corp 視線検出装置、視線検出方法及びプログラム
JP6265348B2 (ja) * 2013-05-22 2018-01-24 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
JP2016106668A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质
CN113283329B (zh) * 2021-05-19 2024-06-07 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质

Also Published As

Publication number Publication date
JP6485819B2 (ja) 2019-03-20
JP2018026120A (ja) 2018-02-15
KR20180012713A (ko) 2018-02-06

Similar Documents

Publication Publication Date Title
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US12008151B2 (en) Tracking and drift correction
TW201816547A (zh) 視線檢測系統、偏移檢測方法、偏移檢測程序
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
KR101862499B1 (ko) 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US20210217147A1 (en) Compensation for deformation in head mounted display systems
TW201804314A (zh) 影像顯示系統、影像顯示方法、影像顯示程式
GB2559237A (en) Ocular video stabilization
TW201802642A (zh) 視線檢測系統
TW202127105A (zh) 關於頭戴式顯示器的內容穩定
TW201809800A (zh) 頭戴式顯示器及使用其之視線檢測系統
CN114080800A (zh) 利用双摄像头进行连续摄像头捕捉
CN115804025A (zh) 卷帘快门相机流水线曝光时间戳误差确定
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
JPWO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
TW201915711A (zh) 圖像顯示系統、圖像顯示方法及圖像顯示程式
US20180182124A1 (en) Estimation system, estimation method, and estimation program
JP2016095584A (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
TW201807540A (zh) 信息處理系統、操作方法及操作程序
US20240210678A1 (en) Head-mounted display apparatus and operating method thereof
US20230359270A1 (en) Head mounted display apparatus, method for operating the same, and computer-readable recording medium
CN117724240A (zh) 具有面内照明的眼睛追踪系统