TW201802642A - 視線檢測系統 - Google Patents

Abstract

提供一種視線檢測系統，用於在校準時確定使用者是否正在察看。視線檢測系統包括被使用者裝戴而使用的頭戴式顯示器及檢測使用者的視線的視線檢測裝置，頭戴式顯示器包括：顯示部，用於顯示影像；拍攝部，用於拍攝用戶的眼部；以及影像輸出部，將拍攝部所拍攝的包括使用者的眼部的影像向視線檢測裝置輸出，視線檢測裝置包括：標記影像輸出部，輸出要顯示於顯示部的標記影像；合成影像生成部，將標記影像輸出部所輸出的標記影像及通過拍攝部所拍攝的包括凝視著標記影像的使用者的眼部的影像重疊而生成合成影像。

Description

視線檢測系統

本發明涉及視線檢測系統，尤其涉及使用頭戴式顯示器的視線檢測技術。

以往，當進行用於確認用戶正在凝視何處的視線檢測時，需要進行校準。在這裡，所謂校準，是指使用戶凝視特定標誌，來確認該特定標誌所顯示的位置與凝視該標誌的用戶的眼角膜中心之間的位置關係。通過進行該校準，用於進行視線檢測的視線檢測系統可確認用戶正在凝視何處。在專利文獻1中公開有通過校準來進行視線檢測的技術（例如，參照專利文獻1：日本特開2012-216123號公報）。

然而，上述校準由於是在確定用戶正在凝視特定標誌的情況條件下的事前準備，因而在用戶未凝視特定標誌的狀態下取得資訊的情況下，無法準確地進行實際的視線檢測。在用戶的眼部的周圍被裝置所覆蓋且無法察看內部狀態的頭戴式顯示器的情況下，操作人員無法從周圍確認實際上用戶是否在凝視著特定標誌，因而上述問題尤為顯著。

因此，本發明鑒於如上所述的問題而提出，其目的在於，提供可準確地進行用於實現裝戴了頭戴式顯示器的用戶的視線檢測的校準的技術。

為了解決上述問題，本發明的一個實施方式為視線檢測系統，其包括被用戶裝戴而使用的頭戴式顯示器及檢測用戶的視線的視線檢測裝置，頭戴式顯示器包括：顯示部，用於顯示影像；拍攝部，用於拍攝用戶的眼部；以及影像輸出部，將拍攝部所拍攝的包括用戶的眼部的影像向視線檢測裝置輸出，視線檢測裝置包括：標記影像輸出部，輸出要顯示於顯示部的標記影像；合成影像生成部，將標記影像輸出部所輸出的標記影像及拍攝部所拍攝的包括凝視著標記影像的用戶的眼部的影像重疊而合成影像；以及合成影像輸出部，輸出合成影像。

並且，標記影像輸出部依次變更標記影像的顯示位置並進行輸出，至少在每次變更顯示位置時，拍攝部可對凝視標記影像的用戶的眼部進行拍攝。

並且，標記影像輸出部將標記影像的顯示位置變更為在標記影像預先設定的多個坐標位置中的任一個位置並進行輸出，視線檢測裝置還可包括視線檢測部，上述視線檢測部分別基於拍攝部所拍攝的用戶的眼部的影像和包括對應每個顯示位置地凝視標記影像的用戶的眼部的各個影像，來檢測用戶的視線方向。

並且，判定部還基於拍攝部所拍攝的用戶的眼部的影像，來判定該用戶是否凝視顯示的標記影像，視線檢測系統還可包括報告部，當判定為用戶為凝視標記影像時，報告部向用戶報告凝視標記影像。

並且，當判定部判定為用戶凝視著顯示的標記影像時，標記影像輸出部可對標記影像的顯示位置進行變更。

並且，視線檢測系統還包括判定部，判定部用於判定包括凝視標記影像的用戶的眼部的影像是否可用作基於視線檢測部的視線檢測用的影像，當判定部判定為無法用作視線檢測用的影像時，標記影像輸出部將拍攝與該判定相對應的影像時顯示的標記影像的顯示位置變更為靠近顯示部的中央來進行顯示，拍攝部對凝視經變更的顯示位置的標記影像的用戶的眼部進行拍攝，判定部還可判定重新拍攝的對比影像是否可用作視線檢測用的影像。

此外，通過本發明的方法、裝置、系統、電腦程式、資料結構、記錄介質等之間的轉換來將以上的結構要素的任意組合、本發明的表達用作本發明的實施方式也是有效的。

根據本發明，可提供用於檢測裝戴了頭戴式顯示器的用戶的視線方向的技術。

為了讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

第一實施方式：圖1為示意性地示出實施方式的視線檢測系統1的大致外觀的圖。實施方式的視線檢測系統1包括頭戴式顯示器100及視線檢測裝置200。如圖1所示，頭戴式顯示器100裝戴在用戶300的頭部來使用。

視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼的視線方向，並且確認用戶的焦點，即，顯示在頭戴式顯示器的三維影像中的用戶所凝視的位置。並且，視線檢測裝置200還用作生成頭戴式顯示器100所顯示的影像的影像生成裝置來發揮功能。雖然沒有限制，但作為一例，視線檢測裝置200為桌上型的遊戲機、可擕式遊戲機、PC、平板電腦、智慧手機、平板手機、視頻播放機、電視機等能夠再生影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖1所示的例子中，視線檢測裝置200以無線的方式與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi（注冊商標）或藍牙（Bluetooth，注冊商標）等無線通訊技術實現。雖然沒有限制，但作為一例，頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸依據Miracast（商標）或WiGig（商標）、WHDI（商標）等標準執行。

此外，圖1示出了頭戴式顯示器100與視線檢測裝置200為不同裝置的情況時的例。然而，視線檢測裝置200可內置於頭戴式顯示器100。

頭戴式顯示器100包括框體150、裝戴件160及頭戴式耳機170。框體150用於收納影像顯示元件等用於提供給用戶300影像的影像顯示系統或未圖示的Wi-Fi模組或藍牙（Bluetooth，注冊商標）模組等無線傳輸模組。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100，框體150則配置於覆蓋用戶300的眼睛的位置。因此，若用戶300裝戴頭戴式顯示器100，則用戶300的視界被框體150遮擋。

頭戴式耳機170用於輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170可以不固定于頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也能夠自由裝卸頭戴式耳機170。

圖2為示意性地示出實施方式的頭戴式顯示器100的影像顯示系統130的大致外觀的立體圖。更為具體地，圖2為表示在實施方式的框體150之中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。

如圖2所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。

以下說明書中，除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外，皆簡單地表示成“凸透鏡114”。同樣，除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外，皆簡單地表示成“眼角膜302”。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況之外，皆表示成“透鏡支持部152”。

在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜，在圖2中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。下面，除了要特別區分紅外線光源103a和紅外線光源103b的情況之外，皆簡單地表示成“紅外線光源103”。在圖2所示的例子中，左眼用透鏡支援部152a具有6個紅外線光源103a。同樣，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，更容易裝戴紅外線光源103。由於透鏡支持部152通常由樹脂等構成，因而比由玻璃等構成的凸透鏡114更容易進行用於裝戴紅外線光源103的加工。

如上所述，透鏡支持部152是一種用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡說明的是對每只眼睛發射紅外線的紅外線光源103為6個，但並不僅限於此數目，只要有至少一個對應於各眼睛的紅外線光源即可，設置兩個以上會更好。

圖3為示意性地示出實施方式的框體150所收納的影像顯示系統130的光學結構，是從左眼側的側面所看到的圖2中示出的框體150的情況的圖。影像顯示系統130包括紅外線光源103、影像顯示元件108、熱反射鏡112、凸透鏡114、攝影機116及第一通信部118。

紅外線光源103可發射近紅外（700nm～2500nm程度）的波長譜帶的光的光源。一般而言，近紅外線為用戶300 的肉眼無法察覺的不可見光的波長譜帶的光。

影像顯示元件108顯示用於提供給用戶300的影像。影像顯示元件108所顯示的影像由視線檢測裝置200內的影像輸出部222生成。關於影像輸出部222將在下文中進行說明。影像顯示元件108例如可由已知的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro Luminescence Display）來實現。

當用戶300裝戴了頭戴式顯示器100時，熱反射鏡112配置於影像顯示元件108與用戶300的眼角膜302之間。熱反射鏡112包括穿過影像顯示元件108所生成的可見光而將近紅外線則反射的性質。

相對於熱反射鏡112，凸透鏡114配置於影像顯示元件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於熱反射鏡112與用戶300的眼角膜302之間。即，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。

凸透鏡114彙聚穿過熱反射鏡112的影像顯示光。為此，凸透鏡114具有當作將影像顯示元件108所生成的影像放大後提供給用戶300的影像放大部的功能。此外，為了方便說明，在圖2中僅示出了一個凸透鏡114，但凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。

多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103向用戶300的眼角膜302發射紅外線。

雖然未圖示，實施方式的頭戴式顯示器100的影像顯示系統130具有兩個影像顯示元件108，而能夠獨立地生成用於提供給用戶300的右眼的影像和用於提供給左眼的影像。因此，實施方式的頭戴式顯示器100能夠分別提供右眼用視差影像和左眼用視差影像給用戶300的右眼和左眼。由此，實施方式的頭戴式顯示器100能夠對用戶300提示具有層次感的立體影像。

如上所述，熱反射鏡112可讓可見光穿過，而將近紅外線加以反射。因此，影像顯示元件108所發射的影像光穿過熱反射鏡112而到達至用戶300的眼角膜302。並且，由紅外線光源103所發射而在凸透鏡114的內部的反射區域被反射的紅外線到達至用戶300的眼角膜302。

到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114，而被熱反射鏡112反射。攝影機116具有用以濾除可見光的濾光片，而拍攝被熱反射鏡112反射的近紅外線。即，攝影機116為近紅外攝影機，其對由紅外線光源103所發射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。

此外，雖然未圖示，實施方式的頭戴式顯示器100的影像顯示系統130可具有兩個攝影機116，即，用於拍攝包含被右眼反射的紅外線的影像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的影像的第二拍攝部。由此，能夠取得用於檢測出用戶300的右眼和左眼雙眼的視線方向的影像。

第一通信部118將攝影機116所拍攝的影像輸出到用於檢測用戶300的視線方向的視線檢測裝置200。具體地，第一通信部118將攝影機116所拍攝的影像傳輸給視線檢測裝置200。至於具有當作視線方向檢測部的功能的視線檢測部221，將在下文中進行詳細說明，可通過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所運行的影像顯示程式實現。此外，頭戴式顯示器100具有中央處理器或記憶體等計算資源的情況下，頭戴式顯示器100的中央處理器也可運行用於實現視線方向檢測部的程式。

雖然以下將詳細說明，在攝影機116所拍攝到的影像中，由在用戶300的眼角膜302 處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300 的眼角膜302 的眼睛的影像將被拍到。

如上所述，在實施方式的影像顯示系統130之中，雖然主要就用以提供給用戶300 的左眼的影像的結構加以說明，但用以提供給用戶300 的右眼的影像的結構也與上述相同。

圖4為根據視線檢測系統1的頭戴式顯示器100及視線檢測裝置200之間的框圖。如圖4所示，並且，如上所述，視線檢測系統1包括相互進行通信的頭戴式顯示器100及視線檢測裝置200。

如圖4所示，頭戴式顯示器100包括第一通信部118、第一顯示部121、紅外線發射部122、影像處理部123及拍攝部124。

並且，頭戴式顯示器100包括通信介面110、第三通信控制部118、顯示部121、紅外線發射部122、影像處理部123、拍攝部124等。

第一通信部118為具有與視線檢測裝置200的第二通信部220進行通信的功能的通信介面。如上所述，第一通信部118通過有線通信或無線通訊來與第二通信部220進行通信。可使用的通信標準的例為如上所述。第一通信部118將從拍攝部124或影像處理部123傳輸的用於視線檢測的影像資料發送給第二通信部220。並且，第一通信部118將從視線檢測裝置200發送的三維影像資料或標記影像傳輸給第一顯示部121。

第一顯示部121具有將從第一通信部118傳輸的三維影像資料顯示於影像顯示元件108的功能。三維影像資料包括右眼用視差影像和左眼用視差影像，它們成為視差影像對。第一顯示部121將從標記影像輸出部223輸出的標記影像顯示於影像顯示元件108的指定的坐標。

紅外線發射部122控制紅外線光源103，向用戶的右眼或左眼發射紅外線。

影像處理部123根據需要對拍攝部124所拍攝的影像進行影像處理，並傳輸給第三通信控制部118。

拍攝部124利用攝影機116拍攝包含被各只眼睛反射的近紅外線的影像。並且，拍攝部124拍攝包含凝視影像顯示元件108中所顯示的標記影像的用戶的眼睛的影像。拍攝部124將拍攝得到的影像傳輸給通信控制部118或影像處理部123。拍攝部124可拍攝動態影像，還可在適當的時間點（例如，發射近紅外線的時間點或顯示標記影像的時間點）拍攝靜態影像。

如圖4所示，視線檢測裝置200包括第二通信部220、視線檢測部221、影像輸出部222、標記影像輸出部223、判定部224、合成影像輸出部225、第二顯示部226及存儲部227。

第二通信部220為具有與頭戴式顯示器100的第一通信部118進行通信的功能的通信介面。如上所述，第二通信部220通過有線通信或無線通訊來與第一通信部118進行通信。第二通信部220向頭戴式顯示器100傳輸從影像輸出部222傳輸的三維影像資料或從標記影像輸出部223傳輸的標記影像及其顯示坐標位置。並且，將從頭戴式顯示器100傳輸的由拍攝部124所拍攝的包括凝視標記影像的用戶的眼部的影像傳輸給判定部224及合成影像輸出部225，將對察看基於影像輸出部222所輸出的三維影像資料來顯示的影像的用戶的眼部進行拍攝而得的影像傳輸到視線檢測部221。

視線檢測部221從第二通信部220接收用戶的右眼的視線檢測用的影像資料，對用戶的右眼的視線方向進行檢測。視線檢測部221利用後述的方法，計算出表示用戶的右眼的視線方向的右眼視線向量及表示用戶的左眼的視線方向的左眼視線向量，並且確認用戶所凝視的影像顯示元件108中顯示的影像的位置。

影像輸出部222用於生成顯示在頭戴式顯示器100的第一顯示部121的三維影像資料，並傳輸給第二通信部220。影像輸出部222保持如下的資訊，即，與輸出的三維影像的坐標系及顯示在該坐標系的物件的三維位置坐標的資訊。

標記影像輸出部223具有生成標記影像並決定其顯示位置的功能，上述標記影像是用於實施作為視線檢測的事前準備的校準的指標。標記影像輸出部223用於生成標記影像並確定要在影像顯示元件108顯示標記影像的顯示坐標位置。標記影像輸出部223將所生成的標記影像和其顯示坐標位置傳輸給第二通信部220，並指示其發送到頭戴式顯示器100。此外，在本實施方式中，標記影像輸出部223根據視線檢測裝置200的操作人員所輸入的指示，來變更標記影像的顯示位置。

並且，標記影像輸出部223在判定部224收到包括用戶的眼部的影像不能作為視線檢測的影像來使用的主旨和此時的標記影像的顯示坐標位置時，將把其顯示坐標位置變更為影像顯示元件108的靠近中心的坐標位置的新顯示坐標位置和標記影像傳輸給第二通信部220，並指示其發送到頭戴式顯示器100。

判定部224具有如下的功能，即，基於凝視從第二通信部220傳輸的標記影像的用戶的眼部的影像，判定該影像的用戶的眼部的影像能否作為用於視線檢測的影像。具體地，判定部224在從第二通信部220傳輸的包括凝視標記影像的用戶的眼部的影像中，確認用戶的虹膜（眼角膜），根據能否確認其中心位置進行判定。在判定為從第二通信部220傳輸的包括凝視標記影像的用戶的眼部的影像不能作為用於視線檢測的影像使用，即，判定為不能確認虹膜的中心的情況下，判定部224將該標記影像的顯示坐標位置與其主旨一同傳輸給標記影像輸出部223。

合成影像輸出部225具有如下的功能，即，通過合成標記影像輸出部223所輸出的標記影像、對其顯示位置的左右進行翻轉的影像、從第二通信部220傳輸的包括凝視標記影像的用戶的眼部的拍攝影像，來生成合成影像。合成影像輸出部225向第二顯示部226輸出所生成的合成影像。

第二顯示部226包括顯示影像的顯示器，且具有顯示從合成影像輸出部225傳輸的合成影像的功能。即，第二顯示部226用於顯示合成影像，上述合成影像為將凝視標記影像的用戶的眼部的影像及與顯示在此時相對應的位置的標記影像重疊的合成影像。

存儲部227為用於儲存視線檢測裝置200工作所需的各種程式和資料的儲存介質。此外，在圖4中，沒有示出存儲部227與其他功能部的連接線，但各功能部可將必要的程式、資料訪問存儲部227來進行參照。

然後，對實施方式的視線方向的檢測進行說明。圖5為說明用於實施方式的視線方向的檢測的校準的示意圖。戶300的視線方向通過視線檢測裝置200內的視線檢測部221及視線檢測部221對攝影機116拍攝且從第一通信部118向各視線檢測裝置200輸出的影像進行分析來實現。

標記影像輸出部233生成如圖5所示的點Q₁ 至點Q₉ 的9個點（標記影像），並使頭戴式顯示器100的影像顯示元件108加以顯示。視線檢測裝置200依照點Q₁ 至點Q₉ 的順序讓用戶300凝視各點。此時，用戶300 被要求保持脖子不動而盡可能地僅借助眼球的移動去凝視各點。攝影機116對包含用戶300凝視著點Q1至點Q₉ 這9個點時的用戶300的眼角膜302的影像進行拍攝。

圖6為說明用戶300的眼角膜302的位置坐標的示意圖。視線檢測裝置200內的視線檢測部221分析攝影機116所拍攝的影像來檢測出源於紅外線的亮點。當用戶300僅借助眼球的移動而凝視著各點時，則即使用戶凝視著任一點的情況，亮點105 的位置被認為並不會變動。如此一來，視線檢測部221會以檢測出的亮點105為基準在攝影機116所拍攝的影像中設定出二維坐標系306。

視線檢測部221再通過分析攝影機116所拍攝到的影像來檢出用戶300的眼角膜302的中心P。這可通過例如霍夫變換、邊緣抽取處理等已知的影像處理技術而加以實現。由此，視線檢測部221能夠取得所設定的二維坐標系306中的用戶300的眼角膜302的中心P的坐標。

在圖5中，將影像顯示元件108所顯示的顯示畫面之中設定的二維坐標系中的點Q₁ 至點Q₉ 的坐標分別顯示為Q₁ （X₁ ，Y₁ ）^T 、Q₂ （X₂ ，Y₂ ）^T ……、Q₉ （X₉ ，Y₉ ）^T 。各坐標是以，例如位在各點的中心的圖元為編號。此外，將用戶300凝視著點Q₁ 至點Q₉ 時的用戶300眼角膜302的中心P分別顯示為點P₁ 至點P₉ 。此時，分別將二維坐標系306之中的點P1至點P9的坐標顯示為P₁ （X₁ ，Y₁ ）^T 、P₂ （X₂ ，Y₂ ）^T 、……、P₉ （X₉ ，Y₉ ）^T 。此外，T表示向量或矩陣的轉置。

現在，將大小為2×2的矩陣Ｍ定義成以下的公式（1）：

公式（1）。

此時，如果矩陣Ｍ滿足以下公式（2），則矩陣Ｍ為將用戶300的視線方向投影到影像顯示元件108所顯示的影像面的矩陣，

，

公式（2）。

如果詳細地寫出上述公式（2），將如以下公式（3）：

公式（3）。

如果改變公式（3）的型態的話，則可得到以下的公式（4)：

公式（4)。

在此，如果進行以下的替換：

。

則可得到以下公式（5）：

。

公式（5）中，因為向量y的元素是視線檢測部221使影像顯示元件108所顯示的點Q₁ 至點Q₉ 的坐標，故為已知。並且，因為矩陣A的元素是用戶300的眼角膜302的頂點P的坐標，因此也能夠取得。由此，視線檢測部221能夠取得向量y及矩陣A。此外，將轉換矩陣M 的元素排列而成的向量的向量x 為未知。因此，在向量y與矩陣A 為已知時，推算矩陣M 的問題為求出未知的向量x的問題。

如果公式的數目（即，視線檢測部221在校準時提供給用戶300的點Q的數目）比未知數的數目（即向量x的元素數4）多的話，則公式（5）為優勢判定問題。在公式（5）所示的例子中，因為公式的數目為9個，所以是優勢判定問題。

將向量y和向量Ax的誤差向量作為向量e。即，

。此時，代表向量e 的元素的平方和為最小的意義的最佳的向量X_opt 可由以下公式（6）求得

公式（6），其中，「-1」表示反矩陣。

視線檢測部221利用所求得的向量X_opt 的元素來構成公式（1）的矩陣Ｍ。由此，根據公式（2），視線檢測部221利用用戶300的眼角膜302的頂點P的坐標的矩陣Ｍ，可在二維的範圍推算出用戶300的右眼存在凝視影像顯示元件108所顯示的動態影像上的何處。由此，視線檢測部221能夠計算出連結影像顯示元件108上的右眼的凝視點和用戶的右眼的眼角膜的頂點的右眼視線向量。同樣地，視線檢測部221能夠計算出連結影像顯示元件108上的左眼的凝視點和用戶的左眼的眼角膜的頂點的左眼視線向量。

圖7為示出用於輸出合成影像輸出部225的合成影像的例的圖。圖7的（a）部分示出的例子是：當在頭戴式顯示器100中從用戶的角度來看位於右上角時，即當在圖5中的點Q₃ 的位置顯示出標記影像時，對拍攝凝視該標記影像的用戶的左眼的影像和顯示在相對於此時的畫面的相對位置的標記影像進行合成處理，來形成合成影像。進而，在凝視用戶的眼的狀態中，標記影像的位置處於左右對稱狀態。

圖7的（b）部分示出的例子是：當在頭戴式顯示器100中從用戶的角度來看位於畫面中央上部時，即當在圖5中的點Q₂ 的位置顯示標記影像時，對拍攝凝視該標記影像的用戶的左眼的影像和顯示在相對於此時的畫面的相對位置的標記影像進行合成處理，來形成合成影像。進而，在凝視用戶的眼睛的狀態中，標記影像的位置處於左右對稱狀態。

圖7的（c）部分示出的例子是：當在頭戴式顯示器100中從用戶的角度來看位於左上角時，即當在圖5中的點Q₁ 的位置顯示標記影像是時，對拍攝凝視該標記影像的用戶的左眼的影像和顯示在相對於此時的畫面的相對位置的標記影像進行合成處理，來形成合成影像。

由於這種合成影像顯示在第二顯示部226，因此視線檢測系統1的操作人可以確認出當裝戴了頭戴式顯示器100的用戶進行校準時是否凝視標記影像。進而，在圖7中雖未圖示，但這種合成影像分別生成在圖5中示出的9個點Q₁ ～Q₉ 之後顯示。而且，在圖7中示出了用戶的左眼的例子，但也可以在用戶的右眼上獲得相同的合成影像。

圖8為示出校準視線檢測系統1時的工作的流程圖。利用圖8，對視線檢測系統1的工作進行說明。

視線檢測裝置200的標記影像輸出部223假設要顯示的標記影像Qi滿足如下條件，即i=1（步驟S801）。

在標記影像輸出部223中，在第i顯示坐標位置上將標記影像顯示于頭戴式顯示器100的影像顯示元件108（步驟S802）。即，標記影像輸出部223生成標記影像，並決定其顯示坐標位置。例如，當i=1時，將點Q1作為顯示坐標位置來決定。標記影像輸出部223向第二通信部220傳輸生成在第二通信部220的標記影像和其顯示坐標位置。第二通信部220向頭戴式顯示器100發送所接收的標記影像和其顯示坐標位置。

頭戴式顯示器100的第一通信部118接收標記影像和其顯示坐標位置並向第一顯示部121傳輸。第一顯示部121在指定已傳輸的標記影像的顯示坐標位置上顯示影像顯示元件108。用戶凝視已顯示的標記影像。拍攝部124拍攝包括凝視已顯示的標記影像的用戶的眼睛的影像（步驟S803）。拍攝部124向第一通信部118傳輸所拍攝的影像。第一通信部118向視線檢測裝置200傳輸拍攝凝視已傳輸的標記影像的用戶的眼睛的影像的影像資料。

當視線檢測裝置200的第二通信部220接收拍攝凝視著標記影像的用戶的眼睛的影像而取得的影像資料時，向合成影像輸出部225傳輸。合成影像輸出部225通過在拍攝凝視已傳輸的標記影像的用戶的眼睛的影像上，將此時顯示的標記影像重疊在反轉其顯示位置的左右的位置並進行合成，來生成合成影像（步驟S804）。

合成影像輸出部225向第二顯示部226傳輸所生成的合成影像，第二顯示部226顯示所傳輸的合成影像（步驟S805）。由此，視線檢測系統1的操作人可以確認出裝戴了頭戴式顯示器100的用戶是否凝視著標記影像，在未進行凝視的情況下，可以向用戶指示以能夠凝視標記影像。

標記影像輸出部223判定i是否是9（步驟S806）。當i不是9時，標記影像輸出部223在i中添加1，並返回步驟S802。當i為9時，判定部224對於通過拍攝來獲得的9張影像，判定出是否分別可以用作視線檢測用資料（步驟S807）。即，判定部224對於拍攝凝視顯示在各顯示坐標位置的標記影像的用戶的眼睛的各個影像，判定出是否能夠確認用戶的眼角膜中心。在能夠確認的情況下，將該坐標位置存儲在存儲部227，並用於上述行列式。在無法確認的情況下，判定部224向標記影像輸出部223傳輸，無法確認用戶的眼角膜中心時被顯示的標記影像的顯示坐標位置和從凝視該標記影像的用戶的眼睛的影像無法確認用戶的眼角膜中心的情況。

標記影像輸出部223以靠近畫面（影像顯示元件108）的中央的方式修正當拍攝無法確認用戶的眼角膜中心的影像時標記影像的顯示坐標位置。並且，向第二通信部220傳輸修正後的顯示坐標位置。第二通信部220向頭戴式顯示器100發送所接收的顯示坐標位置。第一通信部118向第一顯示部121傳輸已接收並修正後的顯示坐標位置。第一顯示部121通過在所傳輸的修正後的顯示坐標位置顯示標記影像，來使用戶凝視。拍攝部124拍攝凝視顯示在修正後的顯示坐標位置的標記影像的用戶的眼睛（步驟S809）。拍攝部124向第一通信部118傳輸所拍攝的影像，第一通信部118向視線檢測裝置200發送該影像。並且，返回步驟S808的處理。

另一方面，當判定部224判定為所拍攝的所有影像可以作為視線檢測用的資料來使用時，即，當從所有的影像可以確認用戶的眼角膜中心時，計算出上述行列x的要素，來完成校準處理。以上，對校準視線檢測系統1時的工作進行了說明。

圖9a及圖9a為示出根據標記影像輸出部223的標記影像的顯示坐標位置的變更例的狀態圖。圖9a為示出標記影像的影像顯示元件108中的顯示位置的基本位置的圖。在圖9a中，概括顯示了9個標記影像，但實際情況為，這些以單一的順序來顯示在影像顯示元件108。即，可以獲得拍攝用戶的眼睛的9張影像。

此時，作為一例，在如圖9a所示的標記影像中，分別將標記影像901a、902a、903a顯示在圖9a中示出的坐標顯示位置時，被視為用戶所凝視的該標記影像無法用作視線檢測，即，被視為判定部224無法確認用戶的眼角膜中心。判定部224向標記影像輸出部223傳輸該主旨。

接收此主旨之後，標記影像輸出部223以靠近畫面中央的方式修正當無法確認用戶的眼角膜中心時顯示的標記影像的顯示坐標位置。即，如圖9b所示，將標記影像901a的顯示坐標位置修正在標記影像901b中示出的顯示坐標位置，並將標記影像902a的顯示坐標位置修正在標記影像902b中示出的顯示坐標位置，並將標記影像903a的顯示坐標位置修正在標記影像903b中示出的顯示坐標位置。並且，在修正後的顯示坐標位置上使各個標記影像顯示在頭戴式顯示器100的影像顯示元件108，來拍攝包括凝視這些用戶的眼睛的影像。而且，判定部224判定出是否在重新拍攝的影像中確認出用戶的眼角膜中心。

進而，在圖9b中，在標記影像的顯示坐標位置中，x軸方向和y軸方向均靠近中央，但也能夠以靠近中央的方式僅對一側的軸進行修正。並且，當從通過使用戶凝視僅對一側的軸進行了顯示位置的修正的標記影像來拍攝的影像中，無法確認用戶的眼角膜中心時，進而，可以對其他軸以靠近中央的方式對標記影像的顯示坐標位置進行修正。

如上所述，根據本發明的視線檢測系統1通過重疊標記影像和拍攝凝視上述標記影像的用戶的眼睛的影像，來生成合成影像之後輸出這些，由此視線檢測系統1的操作人可以確認出當進行校準時用戶是否凝視標記影像。而且，在拍攝時，用戶的眼角膜成為用戶的下眼瞼的影子，從被拍攝的影像中，對應於無法確認用戶的眼角膜中心時的情況，視線檢測系統1對顯示標記影像的顯示坐標位置進行修正，從而可以容易地確認用戶的眼角膜中心。

第二實施方式：在上述第一實施方式中示出了當為了實施視線檢測而進行校準時有助於視線檢測裝置200的操作人的結構。在本第二實施方式中，進而對能夠獲得用戶300的特性的結構進行說明。裝戴頭戴式顯示器100來使用的用戶300的觀看方式或觀看的範圍可根據個人差異而有所不同。因此，希望根據每個人的特性來提供影像，來提供受到用戶的廣泛使用的系統。在本第二實施方式中，對這些視線檢測系統進行說明。

圖11為示出第二實施方式的視線檢測系統的結構的框圖。如圖11所示，視線檢測系統包括頭戴式顯示器100和視線檢測裝置200。如圖11所示，頭戴式顯示器100包括第一通信部118、第一顯示部121、紅外線發射部122、影像處理部123及拍攝部124。而且，視線檢測裝置200包括第二通信部220、視線檢測部221、影像輸出部222、接收部228、確認部229及存儲部227。在圖11中示出的頭戴式顯示器100及視線檢測裝置200分別與在第一實施方式中示出的頭戴式顯示器100及視線檢測裝置200包括相同的功能。進而，在圖11中，省略了與本第二實施方式無關的結構。以下，對與第一實施方式的功能相同的功能省略其說明，僅對不同的功能進行說明。

影像輸出部222借助第二通信部220向頭戴式顯示器100發送有效視野確認圖表的顯示影像，頭戴式顯示器100的第一顯示部121顯示向影像顯示元件108傳輸的有效視野確認圖表。

視線檢測裝置200的接收部228接收裝戴了頭戴式顯示器100的用戶300在顯示在影像顯示元件108的有效視野確認圖表中，向用戶300示出物件的觀看方法的視覺資訊。接收部可以為利用例如，包括在視線檢測裝置200的或者連接在視線檢測裝置200的輸入用介面，來接收視覺資訊的輸入的結構，也可以為從第二通信部220接收通過通信來接收的視覺資訊的結構。輸入用介面可以為，例如，設置在視線檢測裝置的輸入面板的硬體，也可以為連接在視線檢測裝置200的鍵盤或觸控板等。而且，或者接收部228可以為接收從用戶300發出的聲音的輸入的結構，此時，也可以為通過基於所謂的聲音識別處理來分析聲音，來接收來自用戶300的視覺資訊的輸入的結構。接收部228，向確認部229傳輸已接收的視覺資訊。

有效視野確認圖表為用於確認以裝戴頭戴式顯示器100的方式來使用的用戶300的有效視野的顯示影像。在圖12中示出有效視野確認圖表的一例。圖12為示出顯示在頭戴式顯示器100的影像顯示元件108的狀態的顯示影像1200的圖。

如圖12所示，有效視野確認圖表為以用戶顯示應該凝視的凝視點的凝視點標記1202和以凝視點標記1202為中心，以呈環狀的方式在該周邊配置多個物件的影像。其中，作為各個多個物件，示出了排列平假名的例子，但這屬於一例，可以為其他文字或影像。多個物件為對應於離凝視點標記1202（的中心）的距離的大小的影像，離凝視點標記1202的距離越長，設定的影像就越大。即，當將物件的中心坐標與凝視點標記的中心坐標之間的距離設定為l，將此時的物件的影像大小設定為x×y時，當在顯示的物件的中心坐標與凝視點標記1202的中心坐標之間的距離為2l時，物件的影像大小為2x×2y。

用戶300在凝視顯示在影像顯示元件108的圖12的有效視野確認圖表的凝視點標記1202的狀態下，確認能夠清晰地確認出的物件的範圍。用戶300在凝視凝視點標記1202的情況下，能夠清晰可見的物件的資訊成為本第二實施方式中的視覺資訊。例如，在對用戶來說清晰可見的物件中，當離凝視點標記1202最遠的物件為“X、Q、R、S、T、U、V、W”時，在圖12的虛線中示出的圓1201成為用戶300的有效視野。

確認部229確認用從接收部228傳輸的視覺資訊來顯示的用戶300可見的物件的資訊。確認部229基於影像輸出部222向頭戴式顯示器100發送的有效視野圖表的坐標系和頭戴式顯示器100中的顯示位置，來確認用戶300的有效視野範圍（坐標範圍）。具體地，用視覺資訊來顯示的用戶300在凝視凝視點標記的狀態下，確認清晰可見的物件的顯示坐標。而且，確認將在確認的物件的顯示坐標範圍中的離凝視點標記1202最遠的距離的坐標為止的距離作為半徑的圓內作為用戶的有效視野。

影像輸出部222基於確認部229確認的有效視野和視線檢測部221確認的凝視點，來生成高解析度影像。影像輸出部222以視線檢測部221確認的凝視點為中心，生成顯示在確認部229確認的有效視野內的範圍的影像部分的高解析度影像。而且，影像輸出部222生成畫面整體部分的低解析度影像。而且，借助第二通信部220向頭戴式顯示器100發送生成的低解析度影像和有效視野範圍內的高解析度影像。進而，在影像輸出部222中，可對於低解析度影像僅生成有效視野以外的範圍部分。

由此，視線檢測裝置200可以向頭戴式顯示器100發送對應於各用戶的有效視野的範圍的高解析度影像。即，能夠對應於各用戶的視力特性來提供高畫質的影像。而且，通過將發送高解析度影像的範圍縮小在用戶的有效視野，來比發送全畫面部分的高解析度影像時相比更容易控制資料容量，因此可以抑制在頭戴式顯示器100-視線檢測裝置200之間的資料傳輸量。這些在例如，視線檢測裝置200從外部的影像分佈伺服器收到影像之後向頭戴式顯示器100傳輸的情況下，可以期待相同的效果。即，在視線檢測裝置200中確認用戶的視線位置和有效視野，並將該資訊發送至影像分佈伺服器，由此影像分佈伺服器通過發送被指定的範圍內的高解析度影像和全畫面部分的低解析度影像，來可以抑制從影像分佈伺服器開始至視線檢測裝置200的資料傳輸量。

圖13為示出確認根據視線檢測裝置200的用戶的有效視野時的工作的流程圖。

視線檢測裝置200在進行第一實施方式中示出的校準之後，影像輸出部222從存儲部227讀取有效視野確認圖表。並且，借助第二通信部220，同顯示命令一起向頭戴式顯示器100發送已讀取的有效視野確認圖表（步驟S1301）。由此，頭戴式顯示器100的第一顯示部121借助第一通信部118接收有效視野確認圖表，並顯示在影像顯示元件108。用戶300在凝視所顯示的有效視野確認圖表的凝視點標記的狀態下，在該周邊顯示的物件中，確認清晰可見的物件。

接著，視線檢測裝置200的接收部228在用戶300顯示的有效視野確認圖表中，接收用戶300在凝視凝視點標記的情況下可見的物件的資訊的視覺資訊（步驟S1302）。這些可以為用戶300直接輸入的資訊，也可以為通過從用戶300傳輸視線檢測裝置200的操作人可見的物件的資訊來進行輸入的資訊，或者，可以採取如下的形態，即，使各個物件按照順序閃爍之後，在用戶300凝視該引起閃爍的物件的狀態下，為了判定是否得到了清晰可見的資訊，而利用閃爍時的簡單的按鈕等來接收輸入，來輸入於接收部228。接收部228當接收用戶300的視覺資訊時，向確認部229傳輸所接收的視覺資訊。

確認部229當從接收部228接收用戶300的視覺資訊時，確認用戶300的有效視野。用戶的有效視野的確認技巧為如上所述。確認部229生成確認的用戶的有效視野資訊（顯示以用戶300的凝視點為中心的坐標範圍的資訊）之後，存儲在存儲部227（步驟S1303），從而完成處理過程。

通過以上的處理，視線檢測裝置200確認裝戴了頭戴式顯示器100的用戶300的有效視野。

其次，對特定的有效視野的利用方法進行說明。圖14為示出基於借助視線檢測裝置200被特定的用戶的有效視野，來生成顯示在頭戴式顯示器100的影像時的工作的流程圖。在圖14中示出的工作為發送必須從視線檢測裝置200顯示至頭戴式顯示器100的影像時的工作。

影像輸出部222為顯示在頭戴式顯示器100的影像顯示元件108的影像，用於生成低解析度的影像。並且，影像輸出部222借助第二通信部220向頭戴式顯示器100發送生成的低解析度影像（步驟S1401）。

視線檢測裝置200的第二通信部220接收拍攝觀看從頭戴式顯示器100顯示在影像顯示元件108的影像的用戶的眼睛的拍攝影像。第二通信部220向視線檢測部221傳輸接收的拍攝影像。而且，如第一實施方式所示，視線檢測部221特定用戶300的凝視位置（步驟S1402）。視線檢測部221向影像輸出部222傳輸特定的凝視位置。

影像輸出部222當從視線檢測部221接收用戶300的凝視位置時，從存儲部227讀取顯示有確認部229特定的用戶300的有效視野的有效視野資訊。並且，以被傳輸的凝視位置為中心，生成顯示在有效視野資訊的有效視野的範圍為止的高解析度影像（步驟S1403）。

影像輸出部222借助第二通信部220來向頭戴式顯示器100發送生成的高解析度影像（步驟S1404）。

視線檢測裝置200判定影像輸出部222輸出的影像是否已結束（是否達到最後的結構），而且是否從用戶300或視線檢測裝置200的操作人接收了影像的再生結束的輸入（步驟S1405）。在影像未結束，且未從用戶300或操作人接收再生結束輸入的情況下（步驟S1405中的“否”），返回步驟S1401。在影像已結束，但未從用戶300或操作人接收再生結束輸入的情況下（步驟S1405中的“是”），結束處理。

由此，視線檢測裝置200可以通過向頭戴式顯示器100繼續發送低解析度的影像，來提供不存在中斷的影像，同時也可以發送以用戶的凝視點為中心的高解析度影像，因此可以向用戶提供畫質良好的影像。而且，在視線檢測裝置200中，對於向頭戴式顯示器100提供影像的結構來看，在用戶300的有效視野之內提供高解析度的影像，在有效視野之外提供低解析度的影像，因此將從視線檢測裝置200發送至頭戴式顯示器100的高解析度的影像控制在所需的最小限度，由此，可以控制從視線檢測裝置200發送至頭戴式顯示器100的資料傳輸量。

第三實施方式：在上述第二實施方式中，對以凝視點標記為中心，按照離凝視點標記的距離且按照多個物件的可見程度，來確認用戶300的有效視野的技巧進行了說明。在本第三實施方式中，對與第二實施方式包括不同的形式的用戶300的有效視野的確認方法進行說明。在本第三實施方式中，僅對與第二實施方式不同的要素進行說明。

圖15為示出將第三實施方式的有效視野圖表顯示在頭戴式顯示器100的影像顯示元件108的狀態的圖。

在影像輸出部222中，在規定的週期內使在圖15中示出的有效視野圖表的各個圓閃爍。即，在規定的週期內反復進行從顯示的狀態逐漸消失，從消失的狀態恢復顯示的過程。當用戶300看見該狀態時，即使頭戴式顯示器100的系統中的所有的圓同時顯示，並同時消失，也按個人差異而不一定看得出同時顯示，並同時消失的現象。在本第三實施方式中，根據按用戶的差異而有所不同的同心圓的觀看方法，來確認該有效視野。

第三實施方式的視線檢測系統的結構與在第二實施方式中示出的視線檢測系統的結構相同。

其不同點在於，影像輸出部222顯示了圖12中示出的有效視野圖表，但在本第三實施方式中，以閃爍的方式顯示了在圖15中示出的有效視野圖表。在圖15中示出的有效視野圖表為以相同間隔來顯示以凝視點標記的中心作為中心的多個同心圓的影像。各個同心圓均包括相同間隔，而且包括相同的線寬。影像輸出部222以在規定的週期內閃爍該同心圓的方式顯示。並且，以稍微變更該規定的週期的方式顯示。

接收部228作為視覺資訊，接收能夠確認用戶感覺到在圖15中示出的多個同心圓均同時顯現、均同時消失時的週期資訊。

確認部229基於顯示在從接收部228接收的視覺資訊的週期，來確認頭戴式顯示器100的有效視野。確認部229基於預先在存儲部227中存儲的、顯示週期與有效視野之間的關係的有效視野計算函數，來確認用戶300的有效視野（離凝視點的有效視野距離）。其中，有效視野計算函數為，週期越短，用戶300的有效視野越廣（有效視野距離長），週期越長，用戶300的有效視野越狹窄（有效視野短）的函數。即，在有效視野狹窄的用戶的情況下，即使顯示與非顯示之間的切換週期慢，也感受到該變化同時發生。即，可以推定這種用戶通常對影像的變化不敏感。在有效視野廣的用戶的情況下，當在顯示示與非顯示之間的週期慢時，容易感覺到該變化。即，可以推定這種用戶通常對影像的變化敏感。

圖16為示出用於確認第三實施方式的視線檢測裝置200的用戶300的視野的工作的流程圖。

如圖16所示，影像輸出部222以在規定的週期內閃爍多個同心圓的方式顯示（步驟S1601）。即，在圖15中示出的有效視野圖表中，以使各個圓同時在規定的週期內反復進行顯示之後消失，消失之後顯示的過程方式來顯示。在規定週期受到初始值的影響，影像輸出部222逐漸變更該規定週期。

用戶300在變更規定週期的同時反復進行從同心圓組的顯示至消失、消失至再顯示的過程中，將所有同心圓同時被顯示，並同時消失的時間作為視覺資訊來輸入（步驟S1602）。接收部228接收該時間之後，向確認部229傳輸在此時的影像輸出部222反復進行同心圓組的顯示/非顯示的規定週期。

確認部229從被傳輸的規定週期中，利用存儲在存儲部227的有效視野函數，來確認用戶300的有效視野（步驟S1603）。

可以通過這種結構，來視線檢測裝置200確認用戶300的有效視野，並可以起到與在第二實施方式中示出的效果相同的效果。

第四實施方式：在本第四實施方式中，對與第一實施方式不同的標記影像的顯示方法，以及此時的視線檢測方法進行說明。

在上述第一實施方式中，示出了按順序顯示9個標記影像之後，實施拍攝凝視這些的用戶的眼睛的校準的例子，但在本第四實施方式中，僅對利用1個標記影像來進行校準的例子進行說明。

本實施方式的視線檢測系統的基本結構與在第一實施方式中的結構相同。因此，包括與在圖4中示出的框圖相同的結構。以下，對第一實施方式中的變更點進行說明。

第四實施方式中的影像輸出部222當進行校準時，向頭戴式顯示器100發送整個周邊影像。此時，該周邊影像（或一定程度的廣範圍，即，比影像顯示元件108的顯示範圍廣的影像）至少包括一個標記影像。即，頭戴式顯示器100的第一顯示部121在世界坐標系的預定的坐標上顯示標記影像。世界坐標是指，表示以三維的方式顯示影像時的整個空間的坐標系。而且，在基本上，整個周邊影像是指，在世界坐標系只能夠顯示的360度影像。由於頭戴式顯示器100包括加速度感測器，因此可以確認用戶朝向哪個方向，因此影像輸出部222通過從頭戴式顯示器100接收加速度感測器的資訊，來決定需要傳輸的範圍的影像之後，傳輸影像資料。

用戶300在裝戴了頭戴式顯示器100的狀態下，移動自身的頭，由此將標記影像以包括在頭戴式顯示器100的顯示範圍的方式顯示，此時，將標記影像至少從兩個不同的方向來凝視。頭戴式顯示器100的攝像機116拍攝此時的用戶的眼睛，作為校準用影像來獲取。即，在本第一實施方式中，為了使用戶的眼睛與標記影像處於不同的位置關係，而在9個位置上顯示了標記影像之後讓用戶凝視，但在本第四實施方式中，顯示的標記影像為一個，而且用戶將此從各種角度來觀看，因此可以獲得多個校準用影像。

圖17的（a）部分、圖17的（b）部分為示意性示出整個周邊影像與顯示在頭戴式顯示器100的顯示畫面之間的對應關係的圖。在圖17的（a）部分、圖17的（b）部分中，示出了用戶300裝戴了頭戴式顯示器100的狀態，而且是在此時對從視線檢測裝置200發送的整個周邊影像1701，示意性地示出顯示在頭戴式顯示器100的影像顯示元件108的顯示範圍1702和整個周邊影像1701中的標記影像1703的圖。在圖17的（a）部分、圖17的（b）部分中示出的整個周邊影像1701、顯示範圍1702或標記影像1703是虛擬的，需要注意的是，實際上不會像圖17的（a）部分、圖17的（b）部分一樣出現。標記影像1703的世界坐標中的位置為固定狀態。另一方面，當顯示在影像顯示元件108時，根據用戶300的臉的朝向，顯示位置不同。進而，標記影像1703為記號，該形狀當然不限於圓形。

圖17的（a）部分示出了在頭戴式顯示器100的顯示影像元件的顯示範圍1702內不包括標記影像1703的狀態，圖17的（b）部分示出了在顯示範圍1702內包括標記影像1703的狀態。在圖17的（b）部分的狀態中，頭戴式顯示器100的攝像機116拍攝將近紅外線作為光源的用戶的眼睛。而且，用戶300通過移動自身的頭，來移動顯示範圍1702，進而在顯示範圍1702中的與圖17的（b）部分中示出的位置不同的其他位置上，使標記影像1703顯現，從而凝視此時的標記影像。並且，頭戴式顯示器100的攝像機116同樣拍攝用戶的眼睛。在本第四實施方式中，通過這種方式，可以獲得多個校準用影像，並利用在第一實施方式中示出的各個數式，可以確認用戶的凝視點。

因此，根據本第四實施方式的標記影像輸出部223具有決定世界坐標系中的標記影像的顯示位置的功能。

利用圖18的流程圖，對第四實施方式的視線檢測系統的工作進行說明。

如圖18所示，標記影像輸出部223決定世界坐標系中的標記影像的顯示坐標（步驟S1801）。

視線檢測裝置200的影像輸出部222借助第二通信部220向影像顯示元件108發送需要顯示的影像。而且，同樣，標記影像輸出部223同該顯示坐標一起向頭戴式顯示器100發送標記影像。頭戴式顯示器100的第一顯示部121從裝戴在頭戴式顯示器100的加速度感測器的值，檢測出對應于頭戴式顯示器100的世界坐標系的向頭，進而判定在該方向上的影像範圍內，而且顯示在影像顯示元件108的範圍內是否包括標記影像（步驟S1802）。

當顯示範圍內包括標記影像時（步驟S1802中的“是”），第一顯示部121在對應於影像顯示元件108的位置顯示標記影像（步驟S1803）。當顯示範圍內不包括標記影像時（步驟S1803中的“否”），移動到步驟S1805的處理。

攝像機116將不可見光作為光源拍攝凝視顯示在影像顯示元件108的標記影像的用戶300的眼睛（步驟S1804）。頭戴式顯示器100向視線檢測裝置200發送所拍攝的影像，視線檢測裝置200將該拍攝影像作為校準用影像存儲在存儲部227。

視線檢測裝置200的視線檢測部221判定在進行校準時所需的拍攝影像是否達到規定張數（例如，定為9張，但不限定於此）（步驟S1805）。當達到規定張數時（步驟S1805中的“是”），結束校準處理。另一方面，當規未達到定張數時（步驟S1805中的“否”），返回步驟S1802的處理。

即使利用如上所述的方式，也如同第一實施方式可以進行用於視線檢測的校準。進而，在第四實施方式中的校準中，例如，在影像與影像之間的中斷中，可以在下一個影像的載入中進行，或者也可以在一般的遊戲載入畫面中進行。而且，在這種情況下，通過移動標記影像，來使用戶凝視該移動的標記影像。在這種情況下，標記影像可以為出現在觀看的影像或實行的遊戲等中的人物的影像。

補充1：本發明的視線檢測系統可由如下的結構形成。

（a）視線檢測系統可以包括被用戶裝戴而使用的影像顯示裝置，且包括顯示畫面，用於將物件提供給上述用戶；顯示部，按照上述顯示畫面的預定的顯示位置為中心環狀放大的方式將物件顯示在上述顯示畫面；接收部，在上述用戶凝視上述預定的顯示位置的狀態下，接收顯示上述用戶的上述物件的察看方向的察看資訊；確認部，用於根據上述察看資訊來確認上述用戶的有效視野。

（b）上述（a）所述的視線檢測系統包括如下的特徵，即，上述顯示部以上述預定的顯示位置為中心，顯示對應於與該預定顯示位置之間的距離的大小的物件，上述察看資訊為在上述用戶凝視上述預定顯示位置的狀態下，表示能夠讓用戶清楚地察看上述物件的範圍內的資訊。

（c）並且，上述（a）所述的視線檢測系統可包括如下的特徵，即，上述顯示部使以上述預定的顯示位置為中心的多個圓以規定的間距且規定的週期閃爍的方式進行顯示，上述察看資訊為在上述用戶凝視上述預定的顯示位置的狀態下，若上述閃爍的多個圓同時進行顯示或消失，則可確認上述用戶所能夠識別的上述規定的週期的資訊。

（d）並且，上述（a）～（c）中任一項所述的視線檢測系統可包括如下的特徵，即，上述視線檢測系統還包括視線檢測部，上述視線檢測部用於檢測上述用戶察看顯示在上述顯示畫面的影像時的凝視位置，上述顯示部以上述凝視位置為中心，在上述確認部所確認的有效視野內顯示高解析度的影像，在上述有效視野外顯示低解析度的影像。

（e）並且，在上述（d）所述的視線檢測系統中，上述影像顯示裝置為頭戴式顯示器，上述視線檢測系統還可包括影像生成部，上述影像生成部生成要顯示在設置于上述頭戴式顯示器的上述顯示畫面的影像，並將其傳輸至上述頭戴式顯示器，上述影像生成部生成以上述凝視位置為中心顯示在上述確認部所確認的有效視野內的高解析度的影像，來將其進行傳輸，且通過生成至少顯示在上述有效視野外的低解析度的影像，來將其進行傳輸。

（f）並且，在上述（e）所述的視線檢測系統中，上述影像生成部可與上述有限視野的位置無關地生成顯示影像整體的低解析度影像，來進行傳輸。

（g）並且，視線檢測系統包括被裝戴在用戶的頭部而使用的影像顯示裝置，且包括：顯示畫面，用於顯示提供給上述用戶的影像；顯示部，在上述顯示畫面的顯示坐標系內包含特定坐標位置的情況下，顯示配置於世界坐標系上的上述特定坐標位置的標記影像；拍攝部，在上述顯示畫面正在顯示上述標記影像的情況下，對凝視上述標記影像的狀態時的上述用戶的眼部進行拍攝；以及視線檢測部，基於上述拍攝部所拍攝的2張不同的拍攝影像，檢測上述顯示畫面的用戶的凝視位置。

（h）並且，在本發明的有效視野確認方法適用于被裝戴在用戶的頭部而使用的、包括具有用於顯示要提供給上述用戶的影像顯示畫面的影像顯示裝置的視線檢測系統，包括：顯示步驟，按照以上述顯示畫面的預定的顯示位置為中心環狀放大的方式將物件顯示在上述顯示畫面；接收步驟，在上述用戶凝視上述預定的顯示位置的狀態下，接收用於示出上述用戶的上述物件的察看方向的察看資訊；以及確認步驟，根據上述察看資訊，確認上述用戶的有效視野。

（i）並且，在本發明的視線檢測方法適用于被裝戴在用戶的頭部而使用的、包括具有用於顯示要提供給上述用戶的影像的顯示畫面的影像顯示裝置的視線檢測系統，包括：顯示步驟，在上述顯示畫面的顯示坐標系內包含特定坐標位置的情況下，在上述顯示畫面顯示配置於世界坐標系上的上述特定坐標位置的標記影像；拍攝步驟，上述顯示畫面正在顯示上述標記影像的情況下，對凝視上述標記影像的狀態時的上述用戶的眼部進行拍攝；以及視線檢測步驟，基於在上述拍攝步驟進行拍攝的至少2張不同的拍攝影像，檢測上述顯示畫面的用戶的凝視位置。

（j）並且，本發明的有效視野確認程式使被裝戴在用戶的頭部而使用的、包括具有用於顯示要提供給上述用戶的影像的顯示畫面的影像顯示裝置的視線檢測系統中所包括的電腦實現如下的功能：顯示功能，按照上述顯示畫面的預定的顯示位置為中心環狀放大的方式將物件顯示在上述顯示畫面；接收功能，在上述用戶凝視上述預定的顯示位置的狀態下，接收顯示上述用戶的上述物件的察看方向的察看資訊；確認功能，根據上述察看資訊，確認上述用戶的有效視野。

（k）並且，本發明的視線檢測程式使被裝戴在用戶的頭部而使用的、包括具有用於顯示要提供給上述用戶的影像的顯示畫面的影像顯示裝置的視線檢測系統中所包括的電腦實現如下的功能：顯示功能，在上述顯示畫面的顯示坐標系內包含特定坐標位置的情況下，在上述顯示畫面顯示配置於世界坐標系上的上述特定坐標位置的標記影像；拍攝功能，上述顯示畫面正在顯示上述標記影像的情況下，對凝視上述標記影像的狀態時的上述用戶的眼部進行拍攝；以及視線檢測功能，基於在上述拍攝步驟進行拍攝的至少2張不同的拍攝影像，檢測上述顯示畫面的用戶的凝視位置。

第五實施方式：在上述實施方式中，說明了各種校準方法，但在本實施方式中追加說明減輕用戶的疲勞的方法。其中，首先對疲勞進行說明。

在頭戴式顯示器中，存在顯示三維影像的情況。但是，當收看三維影像時，存在用戶感覺到疲勞的問題。當顯示三維影像時，用戶看到的顯示物與實際顯示器位置相比顯得更為突出。為此，用戶的眼球試圖將焦點對準顯示物的顯示位置（深度）。但是，實際上，由於顯示器的位置位於與該顯示物的顯示位置相比更深的地方，因而眼球會發現實際顯示器的位置，並試圖將焦點再次對準那個位置。當觀看三維影像時，由於交替發生這種眼球的自動對焦，因而用戶會感覺到疲勞。

為此，在本第五實施方式中，公開了當進行立體觀看時，可減輕用戶的疲勞的視線檢測系統。

圖19為視線檢測系統1的頭戴式顯示器100和視線檢測裝置200的框圖。在本實施方式中，視線檢測系統可被稱為立體影像顯示系統。如圖19所示，並且如上所述，視線檢測系統1包括相互進行通信的頭戴式顯示器100和視線檢測裝置200。在這裡，對與上述實施方式不同的結構進行說明。

如圖19所示，頭戴式顯示器100包括第一通信部118、顯示部121、紅外線發射部122、影像處理部123、拍攝部124、驅動部125以及驅動控制部126。

第一通信部118除了在上述實施方式中示出的各種功能以外，向驅動控制部126傳輸三維影像資料。這種三維影像資料包括示出被顯示的物件的顯示深度的資訊。其中，顯示深度為從用戶的眼部至物件借助立體視覺來以疑似的方式進行顯示的顯示位置的距離。並且，三維影像資料包括右眼用視差影像和左眼用視差影像，這些形成視差影像對。

驅動部125包括如下的功能，即，根據從驅動控制部126傳輸的控制信號，來驅動馬達，上述馬達用於移動影像顯示元件108，使得能夠變動與用戶的眼部之間的相對距離。

驅動控制部126具有如下的功能，即，通過利用從第一通信部118傳輸的影像資料，來生成根據被顯示的物件的顯示深度移動影像顯示元件108的控制信號，並對驅動部125進行傳輸。作為生成控制信號的方法，驅動控制部126按照以下的驅動例來生成控制信號。

驅動例1：若被顯示的顯示物件的顯示深度與影像顯示元件108的深度之間的差分大於規定的閾值，則生成使影像顯示元件108的深度接近顯示深度的控制信號。並且，在這裡，雖然以超過規定的閾值來進行了說明，但無需做比較，也可生成使影像顯示元件108的深度接近物件的顯示深度的控制信號。

驅動例2：對在第一時間顯示的顯示物件的第一顯示深度與在第二時間顯示的顯示物件的第二顯示深度進行比較，若第二顯示深度大於第一顯示深度，則使用戶300看起來在第二時間顯示的顯示物件與在第一時間顯示的表示物件相比，顯示在裡側。對於驅動部的工作的更加詳細的說明，將在後面進行描述。

圖20為示出影像顯示元件108，即，用於移動顯示器的結構的一例的圖。圖20的（a）部分為示出頭戴式顯示器100的影像顯示元件108的驅動部的俯視圖，示出頭戴式顯示器100的內部結構的圖。圖20的（b）部分為在圖20的（a）部分的箭頭711示出的方向從斜下方觀察該驅動部的立體圖。

如圖20的（a）部分、圖20的（b）部分所示，在影像顯示元件108中，其端部（附圖中為右側）與支柱701相連接，支柱701的端部以能夠自由滑動的方式固定在軌道702。影像顯示元件108的端部由於設置有齒，因而裝配與皮帶巷703的齒。如圖20所示，在皮帶巷703的表面設置有齒，借助馬達704的旋轉，該齒也進行移動。因此，影像顯示元件108也在箭頭710所示出的方向進行移動。若馬達704向右旋轉，則影像顯示元件108從用戶300的眼部遠離的方向進行移動，若馬達704向左旋轉，則影像顯示元件108從用戶300的眼部接近的方向進行移動。其中，馬達704根據驅動控制部126的控制、借助驅動125來進行旋轉。作為一例，根據這種結構，戴式顯示器100的影像顯示元件108可進行移動，使得能夠變動與用戶300的眼部的相對距離。並且，這種移動影像顯示元件108的方法僅為一個例子，也可使用其他方法來實現。

以下，對於移動頭戴式顯示器100的影像顯示元件108的驅動方法進行說明。

驅動例1：圖21為示出實施方式的頭戴式顯示器100的工作的流程圖。

視線檢測裝置200的影像輸出部222向第二通信部220傳輸顯示在影像顯示元件108的立體影像。第二通信部220向頭戴式顯示器100傳輸所接收的影像資料。

當接收到影像資料時，第一通信部118將其傳輸至驅動控制部126。驅動控制部126從所接收的影像資料抽取顯示物件的顯示深度資訊（步驟S2101）。

驅動控制部126判定所抽取的顯示深度資訊所示出的顯示深度與從影像顯示元件108的位置到規定的深度之間的距離是否大於閾值（步驟S2102）。即，驅動控制部126對顯示物件與影像顯示元件108之間的距離是否脫離規定距離進行判定。在驅動控制部126判定為顯示深度與影像顯示元件108之間的距離大於規定的閾值的情況下（步驟S2102的“是”），移動至步驟S2103，在判定為小於規定的閾值的情況下（步驟S2102的“否”），移動至步驟S2104。

驅動控制部126利用抽取的顯示深度資訊，確認顯示物件映在用戶的眼部的顯示深度。而且，在接近確認的顯示深度的方向生成用於移動顯示器，即影像顯示元件108的控制信號，並向驅動部125傳輸。基於傳輸至驅動部125的控制信號，來驅動馬達704，並移動影像顯示元件108（步驟S2103）。驅動部125向顯示部121傳輸影像顯示元件108的移動資訊。

當顯示部121從驅動部125接收移動影像顯示元件108的主旨時，將對應的影像顯示在影像顯示元件108（步驟S2104）。

通過重複圖21所示的處理，每次都能夠與顯示影像顯示元件108的物件的顯示深度相對應地移動。即，可減少物件的顯示深度與影像顯示元件108的位置的差。因此，由於借助用戶300的眼球運動來抑制產生焦點調整，從而可抑制對用戶300賦予的疲勞感。

驅動例2：圖22為示出實施方式的頭戴式顯示器100的工作的細節的流程圖。在這裡對驅動控制部126被傳輸作為動態影像的影像資料的步驟，進行說明。

驅動控制部126從影像資料抽取顯示在影像資料中的第一時間的顯示物件的顯示深度資訊（以下，第一顯示深度資訊）（步驟S2201）。

之後，驅動控制部126從影像資料抽取顯示在影像資料中的緊接著第一時間的第二時間的顯示物件的顯示深度資訊（以下，第二顯示深度資訊）（步驟S2202）。並且，其中，第二時間不必緊接著第一時間（一幀之後），也可以是規定時間（例如，一秒）之後。

驅動控制部126判定第二顯示深度資訊所示出的第二顯示深度是否大於（深於）在第一顯示深度資訊示所出的第一顯示深度（步驟S2203）。對於用戶而言，這與判定在第二時間顯示的物件與在第一時間顯示的情況相比是事看起來顯示在裡側的情況具有相同的含義。

在第二顯示深度大於第一顯示深度的情況下（步驟S2203的“是”），驅動控制部126向驅動部125傳輸控制信號，使得影像顯示元件108，即顯示器從用戶的眼部遠離的方向進行移動。驅動部125根據該控制信號，使影像顯示元件108從用戶的眼部遠離的方向進行移動（步驟S2204）。

在第二顯示深度小於第一顯示深度的情況下（步驟S2203的“否”），驅動控制部126向驅動部125傳輸控制信號，使得影像顯示元件108，即，顯示器接近用戶的眼部的方向進行移動。驅動部125根據該控制信號，使接近用戶的眼部影像顯示元件朝接近的方向進行移動（步驟S2206）。

當移動影像顯示元件108時，驅動部125向顯示部121傳輸移動影像顯示元件108的主旨。而且，顯示部121在影像顯示元件108顯示第二時間應當顯示的影像（步驟S2205）。

頭戴式顯示器100重複圖22所示出的處理，直至從視線檢測裝置200的影像輸出部222輸出的影像資料全部顯示完畢（或被用戶中斷再生影像）為止。

由此，當連續顯示影像的動態影像等的情況的物件的顯示深度與影像顯示元件108之間的距離有所變動時，容易產生用戶300的焦點調整功能，且借助圖22所示的處理，來可抑制其的產生頻度。

如上所述，在本發明的視線檢測系統1中，根據顯示的立體影像的物件的顯示深度，可移動影像顯示元件108，即顯示器。具體地，可使影像顯示元件108的位置與立體影像的顯示深度接近。影像顯示元件108的位置與立體影像的顯示深度的距離越大，越容易產生眼球的焦點調整，但通過包括本實施方式的結構，頭戴式顯示器100可抑制眼球的焦點調整運動的產生頻度。因此，基於物件的虛擬顯示位置與顯示器的實際位置的區別，可或多或少地減輕眼球功能的焦點調整的產生，從而可抑制用戶的眼球的疲勞。

並且，若將本發明的視線檢測系統1裝載在頭戴式顯示器100來使用，容易移動顯示器的同時，可實現視線的檢測。因此，可實現如下的視線檢測的兩種效果，能夠以儘量不對用戶賦予疲勞感的方式提供立體影像，並且，在其立體影像中，可實現能夠確認用戶所看到的部分。

並且，在本第五實施方式中，運行影像顯示元件108的結構並不局限於上述圖20所示的結構。只要是朝向圖20的（a）部分的箭頭710所示出的方向，形成能夠移動影像顯示元件108的結構，也可使用其他的結構。例如，也可借助蝸輪等來實現相同的結構。並且，在上述實施方式中，圖20所示的結構為在頭戴式顯示器100的左右（用戶所裝戴的狀態中的左右，影像顯示元件108的長度方向上的左右）設置的結構，只要是在左右無違和感地對影像顯示元件108進行移動的結構，也可使用僅一側的結構。

在本第五實施方式中，影像顯示元件108為一個，但不局限與此。也可在頭戴式顯示器100設置與用戶300的左眼相對的影像顯示元件和與用戶300的右眼相對的影像顯示元件等的2個影像顯示元件，分別對其進行驅動。由此，可進行對於用戶300的左右眼的視力的焦點調整等的微妙的控制。

在本第五實施方式中，為檢測用戶300的視線，作為對用戶300的眼部進行拍攝的方法，對反射在熱反射鏡112影像進行拍攝，但這也可以是不通過熱反射鏡112直接對用戶300的眼部進行拍攝。

補充2：本第五實施方式的視線檢測系統，作為立體影像顯示系統，也可由以下的方式表示。

（1）本第五實施方式的立體影像顯示系統包括：顯示器，用於顯示要提供給用戶的立體影像；驅動部，使上述顯示器移動，以使與上述用戶的眼部的相對距離發生變化；控制部，根據顯示在上述顯示器的立體影像的深度，來控制上述驅動部。

並且，本第五實施方式的控制方法為用於減輕立體視的用戶的疲勞的立體影像顯示系統的控制方法，包括：顯示步驟，在顯示器顯示要提供給用戶的立體影像；以及控制步驟，根據顯示在上述顯示器的立體影像的深度，來移動上述顯示器，以使與上述用戶的眼部的相對距離發生變化。

本第五實施方式的控制程式能夠使立體影像顯示系統的電腦實現如下功能：顯示功能，在顯示器顯示要提供給用戶的立體影像；以及控制功能，根據顯示在上述顯示器的立體影像的深度，控制用於移動上述顯示器的驅動部，以使與上述用戶的眼部的相對距離發生變化。

（m）在上述（1）的立體影像顯示系統中，上述控制部的特徵可朝向使上述顯示器接近上述立體影像的顯示深度的方向控制上述驅動部。

（n）在有關上述（1）或（m）的立體影像顯示系統中，上述控制部的特徵也可以是，在緊接著第一時間的第二時間顯示的立體影像的深度淺於在上述第一時間顯示的立體影像的深度的情況下，按照使上述顯示器向接近上述用戶的眼部的方向，來控制上述驅動部。

（o）在上述（1）～（n）中任一項所述的立體影像顯示系統中，上述控制部在緊接著第一時間的第二時間顯示的立體影像的深度深於在上述第一時間顯示的立體影像的深度的情況下，按照使上述顯示器向遠離上述用戶的眼部的方向，來控制上述驅動部。

（p）在上述（1）～（o）中任一項所述的立體影像顯示系統中，上述立體影像顯示系統裝載于被裝戴在用戶的頭部而使用的頭戴式顯示器，上述頭戴式顯示器還可包括：不可見光發射部，用於向用戶的眼部發射不可見光；拍攝部，用於對包括借助上述不可見光發射部來發射的不可見光的用戶的眼部進行拍攝；輸出部，將借助上述拍攝部拍攝的影像，對實施視線檢測的視線檢測裝置進行輸出。

補充3：本發明的視線檢測系統並不局限於上述實施方式，也可通過用於實現本發明的思想的其他方法來實現。

在上述實施方式中，顯示標記圖表（亮點）的位置為一例，為了實施用戶的視線檢測，而顯示在不同的位置上，獲取凝視各個位置的用戶的眼部的影像，只要能夠特定此時用戶的眼部的中心，不局限於在上述實施方案中示出的顯示位置。並且，顯示此時的標記影像的數量也並不局限於9個，為確認上述行列x的4個要素，只要能夠使4個式成立即可，因而只要能夠確認對於至少4點的標記影像的用戶的眼角膜中心即可。

在上述實施方式中，為檢測用戶300的視線，作為對用戶300的眼部進行拍攝的方法，對被熱反射鏡112反射的影像進行了拍攝，但這也可以是不通過熱反射鏡112而直接對用戶300的眼部進行拍攝。

在上述實施方式中，標記影像輸出部223根據從視線檢測裝置200的操作者的輸入指示，來變更標記影像的顯示位置，但標記影像輸出部223可以自動變更標記影像的顯示位置。例如，每次經過規定時間（例如，3秒）時，標記影像輸出部223均可變更標記影像的顯示位置。

更優選地，視線檢測系統1通過分析從頭戴式顯示器100得到的拍攝影像，來判定用戶是否凝視標記影像，若判定為用戶正在凝視標記影像，則可變更標記影像的顯示位置。

即，存儲部227預先儲存用戶正在凝視影像顯示元件108的中央的狀態的影像（對用戶正在凝視9個標記影像中的中央的標記影像的狀態進行拍攝）。而且，通過判定部224對被儲存的該影像與拍攝影像的眼角膜（虹膜）的中心位置進行比較，來根據是否從存儲有拍攝影像的用戶的眼角膜中心的影像的用戶的眼角膜中心朝向標記影像的顯示方向隔開規定距離（例如，在影像顯示元件108的圖元坐標單位系統上的30圖元）以上，來判定用戶是否正在凝視標記影像。而且，判定結果，判定為用戶正在凝視標記影像的情況下，判定部224對標記影像輸出部223發出變更標記影像的顯示位置的指示，標記影像輸出部223根據該指示來變更標記影像的顯示位置。

在判定為用戶沒有凝視標記影像的情況下，標記影像輸出部223可以強調顯示（例如，在其顯示位置上閃爍，或借助箭頭燈的圖表來指示標記影像，或顯示“請看標記”等內容的句子）標記影像的方式進行通知，以將用戶被引導至關注標記影像。與語音瀏覽相比，該通知也可由從頭戴式顯示器100的頭戴式耳機170進行“請看標記”等的通告來實現。為此，存儲部227儲存該語音資料，當判定為用戶沒有凝視標記影像時，標記影像輸出部223向頭戴式顯示器100發送上述語音資料，頭戴式顯示器100對接收的語音資料從頭戴式耳機170進行輸出。並且，在判定部224判定出成功取得用於校準的拍攝影像的情況下，提示用戶沒有問題（提示成功校準），頭戴式顯示器100還可以對標記影像顯示如“〇”或“OK”等的影像。

像這樣由於視線檢測系統1包括如下的結構，即，判定裝戴了頭戴式顯示器100的用戶是否凝視標記影像，因而可以實現校準的自動化。因此，與裝戴頭戴式顯示器100的用戶無關地，現有的校準需要操作者，但本發明則可不需要操作者，也能夠進行校準。

並且，當頭戴式顯示器100顯示三維影像時，影像顯示元件108可具有能夠變更（移動）與用戶的眼部之間的距離的結構。若從用戶的眼部到顯示的三維影像的虛擬距離（深度）與實際的用戶的眼部與影像顯示元件108之間的距離隔開，則會成為導致用戶的眼部疲勞的一個原因，由於該結構，頭戴式顯示器100可減輕用戶的眼部的疲勞。

並且，在視線檢測系統1中，在進行校準時，也可確認用戶的有效視野。用戶的有效視野是指，在用戶觀看某一點的狀態下，從那裡朝端部方向，用戶能夠明確識別影像的範圍。在視線檢測系統1中，在進行校準時，也可以從畫面的中心以圓形顯示標記影像，從而確認有效視野。並且，在用戶觀看某一點的狀態下，以閃爍的方式顯示以那一點為中心的多個同心圓，可通過確認成為看起來同時消失的時刻的週期，來確認用戶的有效視野。若能夠確認每個用戶的有效視野，則在有效視野外的影像中，即使降低畫質，用戶也難以識別，因而可抑制從視線檢測裝置200傳輸至頭戴式顯示器100的影像的資料傳輸量。

並且，在上述實施方式中，作為視線檢測的校準方法，通過視線檢測裝置200的處理器實施視線檢測程式等，來確認用戶正在凝視的地方，但這也可以由視線檢測裝置200借助形成於積體電路（IC；Integrated Circuit）晶片、大型積體電路（LSI，Large Scale Integration）等的邏輯電路（hardware）或專用電路來實現。並且，這些電路可由一個或多個積體電路實現，也可由一個積體電路實現上述實施方式中示出的多個功能部的功能。LSI根據集成度的不同而可分別稱為VLSI、超級LSI、特級LSI等。即，如圖10所示，頭戴式顯示器100可包括第一通信電路118a、第一顯示電路121a、紅外線發射電路122a、影像處理電路123a以及拍攝電路124a，各個功能與在上述實施方式中示出的名稱相同的各個部分相同。並且，視線檢測裝置200可包括第二通信電路220a、視線檢測電路221a、影像輸出電路222a、標記影像輸出電路223a、判定電路224a、合成影像輸出電路225a、第二顯示電路226a、以及存儲電路227a，各個功能與在上述實施方式中示出的名稱相同的各個部分相同。並且，圖10中示出第一實施方式的借助電路來實現視線檢測系統的例，雖然沒有進行圖示，圖11和圖19中示出的視線檢測系統也同樣可借助電路來實現。

並且，上述視線檢測程式可儲存在處理器可讀取的儲存介質，作為儲存介質可使用“非暫時性的有形的介質”，例如磁帶、磁片、半導體記憶體、可程式化的邏輯電路等。並且，上述檢測程式可經由能夠傳輸上述檢測程式的任意的傳輸介質（通信網路或廣播波等）向上述處理器供給。本發明中，上述影像顯示程式還可由電子格式的傳送所具體執行的嵌埋于載波之中的資料信號的格式加以實現。

並且，上述視線檢測系統可使用例如ActionScript語言、JavaScript（注冊商標）等指令碼語言、Objective-C、Java（注冊商標）等編譯語言、HTML5等的標記語言等來進行安裝。

並且，本發明的視線檢測方法借助被用戶裝戴而使用的頭戴式顯示器及檢測上述用戶的視線的視線檢測裝置來進行視線檢測，其特徵在於，上述視線檢測裝置向上述頭戴式顯示器輸出標記影像；上述頭戴式顯示器顯示上述標記影像，對凝視上述標記影像的用戶的眼部進行拍攝，將包括被拍攝的用戶的眼部的影像輸出給上述視線檢測裝置；上述視線檢測裝置通過將上述標記影像及包括正在凝視上述標記影像的用戶的眼部進行拍攝得到的影像重疊而生成合成影像，並將生成的合成影像進行輸出。

並且，本發明的視線檢測程式可以使電腦實現如下功能：標記影像輸出功能，輸出要顯示于頭戴式顯示器的標記影像；取得功能，取得對凝視顯示在上述頭戴式顯示器的標記影像的用戶的眼部進行拍攝而得到的拍攝影像；生成功能，將上述標記影像及上述拍攝影像重疊而生成合成影像；以及合成影像輸出功能，用於輸出上述合成影像。

產業上的可利用性：本發明可利用于頭戴式顯示器。

以上所揭露的僅為本發明的優選實施例而已，當然不能以此來限定本發明之權利範圍，因此依本發明申請專利範圍所作的等同變化，仍屬本發明所涵蓋的範圍。應當理解，以上的描述意圖在於說明而非限制。例如，上述實施例(和/或其方面)可以彼此組合使用。此外，根據本發明的啟示可以做出很多改型以適於具體的情形或材料而沒有偏離本發明的範圍。通過閱讀上述描述，權利要求的範圍和精神內的很多其它的實施例和改型對本領域技術人員是顯而易見的。

1‧‧‧視線檢測系統
100‧‧‧頭戴式顯示器
103a‧‧‧紅外線光源(第二紅外線發射部)
103b‧‧‧紅外線光源(第一紅外線發射部)
105‧‧‧亮點
108‧‧‧影像顯示元件
112‧‧‧熱反射鏡
114、114a、114b‧‧‧凸透鏡
116‧‧‧攝影機
118‧‧‧第一通信部
121‧‧‧第一顯示部
122‧‧‧紅外線發射部
123‧‧‧影像處理部
124‧‧‧拍攝部
130‧‧‧影像顯示系統
150‧‧‧框體
152a、152b‧‧‧透鏡支持部
160‧‧‧裝戴件
170‧‧‧頭戴式耳機
200‧‧‧視線檢測裝置
220‧‧‧第二通信部
221‧‧‧視線檢測部
222‧‧‧影像輸出部
223‧‧‧標記影像輸出部
224‧‧‧判定部
225‧‧‧合成影像輸出部
226‧‧‧第二顯示部
227‧‧‧存儲部

圖1為示出用戶裝戴實施方式的頭戴式顯示器的樣子的外觀圖； 圖2為示意性地示出實施方式的頭戴式顯示器的影像顯示系統的大致外觀的立體圖； 圖3為示意性地示出實施方式的頭戴式顯示器的影像顯示系統的光學結構的圖； 圖4為示出實施方式的視線檢測系統的結構的框圖； 圖5為說明用於實施方式的視線方向的檢測的校準的示意圖； 圖6為說明用戶的眼角膜的位置坐標的示意圖； 圖7的（a）部分至圖7的（c）部分為實施方式的凝視標記影像的用戶的眼部的影像圖； 圖8為示出實施方式的視線檢測系統的工作的流程圖； 圖9a為示出相對於修改前的標記影像的顯示畫面的輸出位置的影像圖； 圖9b為示出標記影像的輸出位置的修正例的影像圖； 圖10為示出視線檢測系統的結構的框圖； 圖11為示出第二實施方式的視線檢測系統的結構的框圖； 圖12為示出第二實施方式的有效視野圖表的顯示例的圖； 圖13為示出第二實施方式的視線檢測系統的工作的流程圖； 圖14為示出第二實施方式的視線檢測系統的工作的流程圖； 圖15為示出第三實施方式的有效視野圖表的顯示例的圖； 圖16為示出第三實施方式的視線檢測系統的工作的流程圖； 圖17的（a）部分、圖17的（b）部分為示意性地示出第四實施方式的標記影像的顯示例的圖； 圖18為示出第四實施方式的視線檢測系統的工作的流程圖； 圖19為示出第五實施方式的視線檢測系統的結構的框圖； 圖20為第五實施方式的頭戴式顯示器驅動部的結構圖，圖20的（a）部分為驅動部的俯視圖。圖20的（b）部分為驅動部的立體圖； 圖21為示出第五實施方式的視線檢測系統的工作的流程圖；以及 圖22為示出第五實施方式的視線檢測系統的工作的流程圖。

1‧‧‧視線檢測系統

100‧‧‧頭戴式顯示器

200‧‧‧視線檢測裝置

118‧‧‧第一通信部

121‧‧‧第一顯示部

122‧‧‧紅外線發射部

123‧‧‧影像處理部

124‧‧‧拍攝部

220‧‧‧第二通信部

221‧‧‧視線檢測部

222‧‧‧影像輸出部

223‧‧‧標記影像輸出部

224‧‧‧判定部

225‧‧‧合成影像輸出部

226‧‧‧第二顯示部

227‧‧‧存儲部

Claims (6)

1. 一種視線檢測系統，包括被用戶裝戴而使用的頭戴式顯示器及檢測上述用戶的視線的視線檢測裝置，其特徵在於， 上述頭戴式顯示器包括： 顯示部，用於顯示影像； 拍攝部，用於拍攝上述用戶的眼部；以及 影像輸出部，將上述拍攝部拍攝的包括上述用戶的眼部的影像向上述視線檢測裝置輸出， 上述視線檢測裝置包括： 標記影像輸出部，輸出要顯示於上述顯示部的標記影像； 合成影像生成部，將上述標記影像輸出部所輸出的標記影像及上述拍攝部所拍攝的包括凝視著上述標記影像的用戶的眼部的影像重疊而生成合成影像；以及 合成影像輸出部，輸出上述合成影像。
2. 如申請專利範圍第1項所述之視線檢測系統，其特徵在於： 上述標記影像輸出部依次變更上述標記影像的顯示位置並進行輸出， 至少在每次變更上述顯示位置時，上述拍攝部對凝視標記影像的用戶的眼部進行拍攝。
3. 如申請專利範圍第2項所述之視線檢測系統，其特徵在於： 上述標記影像輸出部將上述標記影像的顯示位置變更為在上述標記影像預先設定的多個坐標位置中的任一個位置並進行輸出， 上述視線檢測裝置還包括視線檢測部，上述視線檢測部分別基於上述拍攝部所拍攝的用戶的眼部的影像和包括對應每個上述顯示位置地凝視標記影像的用戶的眼部的各個影像，來檢測用戶的視線方向。
4. 如申請專利範圍第3項所述之視線檢測系統，其特徵在於： 上述視線檢測系統還包括判定部，上述判定部用於判定包括凝視上述標記影像的用戶的眼部的影像是否能夠用作基於上述視線檢測部的視線檢測用的影像， 當上述判定部判定為無法用作視線檢測用的影像時，上述標記影像輸出部將拍攝與該判定相對應的影像時顯示的標記影像的顯示位置變更為靠近上述顯示部的中央位置來進行顯示， 上述拍攝部對凝視經變更的顯示位置的標記影像的用戶的眼部進行拍攝， 上述判定部判定重新拍攝的對比影像是否能夠用作視線檢測用的影像。
5. 如申請專利範圍第4項所述之視線檢測系統，其特徵在於， 上述判定部還基於上述拍攝部所拍攝的用戶的眼部的影像，來判定該用戶是否凝視著顯示的標記影像， 上述視線檢測系統還包括報告部，當判定為用戶未凝視著標記影像時，上述報告部向用戶報告凝視標記影像。
6. 如申請專利範圍第5項所述之視線檢測系統，其特徵在於，當上述判定部判定為上述用戶凝視著顯示的標記影像時，上述標記影像輸出部對標記影像的顯示位置進行變更。