TW201812386A - 影像提供系統 - Google Patents

Abstract

提供一種影像提供系統，在多個頭戴式顯示器顯示影像，管理多個用戶。多個頭戴式顯示系統與伺服器相連接，伺服器包括：第一通信控制部，向所連接的頭戴式顯示系統發送影像資料；生成部，與上述影像資料對應地生成與從頭戴式顯示系統發送的與用戶視線有關的資訊相對應的新的影像資料，並向第一通信控制部輸出；頭戴式顯示系統包括：顯示部，用於顯示從伺服器供給的影像資料；檢測部，用於對察看顯示於顯示部的影像資料的用戶的視線進行檢測；第二通信控制部，向伺服器發送與檢測部所檢測出的視線有關的資訊。

Description

影像提供系統

本發明涉及影像提供系統，特別涉及利用頭戴式顯示器的影像顯示技術。

以往開始就一直在開發著利用頭戴式顯示器的影像顯示系統。並且，還開發著在這種頭戴式顯示器進行視線檢測來進行基於視線的輸入的技術（例如參照專利文獻1：日本特開2012-32568號公報）。

利用頭戴式顯示器，不僅能夠單人欣賞影像，也能夠多人同時欣賞同一影像。然而，與像一般的電影欣賞一樣多人同時欣賞顯示於同一螢幕上的影像的情況相比，用各自不同的頭戴式顯示器欣賞影像的情況難於與他人共用影像。並且，管理利用各頭戴式顯示器的多個用戶存在難度。

鑒於上述問題，本發明的目的在於提供一種能夠在多個頭戴式顯示器顯示影像且能夠管理多個用戶的影像顯示系統。

本發明一實施方式的影像提供系統將多個頭戴式顯示系統與伺服器相連接，伺服器包括：第一通信控制部，向所連接的頭戴式顯示系統發送影像資料；生成部，與影像資料對應地生成與從頭戴式顯示系統發送的與用戶視線有關的資訊相對應的新的影像資料，並向第一通信控制部輸出；頭戴式顯示系統包括：顯示部，用於顯示從伺服器供給的影像資料；檢測部，用於對察看顯示於顯示部的影像資料的用戶的視線進行檢測；第二通信控制部，向伺服器發送與檢測部所檢測出的視線有關的資訊。

生成部可生成影像資料中包含與多個頭戴式顯示系統所檢測出的視線有關的資訊的影像資料，第一通信控制部可發送包含視線的影像資料。

多個頭戴式顯示系統中的至少一個可為主系統，其他頭戴式顯示系統為客戶系統，生成部可生成影像資料中包含與多個客戶系統所檢測出的視線有關的資訊的影像資料，第一通信控制部可向主系統發送包含與視線有關的資訊的影像資料。

主系統還可包括輸入部，輸入部從用戶接收請求生成追加了與包含在影像資料中的視線相對應的資訊的影像資料的請求輸入，主系統的第二通信控制部可向伺服器發送輸入於輸入部的請求信號，生成部可生成與從主系統發送的請求信號相對應的新的影像資料。

生成部可以只追加與從多個頭戴式顯示系統之中選擇的頭戴式顯示系統所檢測出的視線有關的資訊來生成新的影像資料。

伺服器還可包括分類部，分類部按照將影像資料中視線的位置滿足預定的條件的用戶分為一個群組的方式將多個用戶分類，生成部可對應每個屬於被分類部分類的群組的用戶生成影像資料。

伺服器還可包括抽取部，抽取部用於抽取視線凝視位置與目標位置不同的用戶，生成部可生成用於將被抽取部抽取的用戶引導至目標位置的影像資料。

請求信號可包含與所分類的用戶的群組有關的群組資訊，生成部可生成包含群組資訊的影像資料。

請求信號可包含用於引導視線的引導資訊，生成部可生成包含引導資訊的影像資料。

並且，本發明一實施方式的伺服器作為與多個頭戴式顯示系統相連接的利用於影像提供系統的伺服器，包括：第一通信控制部，向所連接的頭戴式顯示系統發送影像資料；生成部，與上述影像資料對應地生成與從頭戴式顯示系統發送的與用戶視線有關的資訊相對應的新的影像資料，並向第一通信控制部輸出。

並且，本發明一實施方式的影像提供方法作為用於伺服器和多個頭戴式顯示系統相連接的影像提供系統中的影像提供方法，包括如下步驟：伺服器向所連接的頭戴式顯示系統發送影像資料的步驟；頭戴式顯示系統顯示從伺服器供給的影像資料的步驟；頭戴式顯示系統對察看顯示於顯示部的影像資料的用戶的視線進行檢測的步驟；頭戴式顯示系統向伺服器發送與所檢測出的視線有關的資訊的步驟；伺服器生成和與從頭戴式顯示系統發送的用戶視線有關的資訊相對應的新的影像資料並發送給頭戴式顯示系統的步驟。

並且，本發明一實施方式的影像提供程式使影像提供伺服器與多個頭戴式顯示系統相連接的影像提供系統實現如下的步驟：伺服器向所連接的頭戴式顯示系統發送影像資料的步驟；與上述影像資料相對應地生成與從頭戴式顯示系統發送的用戶視線有關的資訊相對應的新的影像資料，並發送給頭戴式顯示系統的步驟。

根據本發明，能夠在多個頭戴式顯示器顯示影像，並管理多個用戶。

為了讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

本發明的影像提供系統、伺服器、影像提供方法以及影像提供程式用於管理向多個頭戴式顯示器提供的影像。下面，利用附圖對本發明的各實施方式進行說明。此外，在以下說明中，相同結構標注相同的附圖標記，並省略說明。

第一實施方式：如圖1所示，第一實施方式的影像提供系統I中，伺服器400和多個頭戴式顯示系統1（1A～1C）經由網路500相連接。

伺服器400如圖2a所示，是一種包含中央處理器（CPU）40、存儲裝置41以及通信介面（通信I/F）42等的資訊處理裝置。伺服器400的存儲裝置41用於存儲影像資料d1及影像提供程式P1。伺服器400向頭戴式顯示器100提供影像資料d1。此時，借助影像提供程式P1的運行，中央處理器40利用第一通信控制部401、生成部402、分類部403以及抽取部404執行處理。

影像資料d1不限於靜態影像資料，也可以是動態影像資料。在以下說明中，假設影像資料d1為動態影像資料，具體為包含聲音資料的影像資料。

第一通信控制部401經由通信介面42向所連接的頭戴式顯示系統1發送影像資料。例如，第一通信控制部401發送存儲於存儲裝置41的影像資料411。或者，第一通信控制部401發送由生成部402生成的影像資料。

生成部402與對應於第一通信控制部401所發送的影像資料從頭戴式顯示系統1發送的用戶視線相對應地生成新的影像資料，並向第一通信控制部401輸出。

例如，生成部402在存儲於存儲裝置41中的影像資料411中追加基於從多個頭戴式顯示系統1接收的視線資料的影像而生成新的影像資料。在追加視線資料時，生成部402可追加從各頭戴式顯示系統1接收的所有視線資料而生成新的影像資料。或者，生成部402也可以只追加從所選擇的一部分頭戴式顯示系統1接收的視線資料而生成新的影像資料。

並且，生成部402可在存儲於存儲裝置41中的影像資料411中追加基於被後文中的分類部403分類的群組的資料的影像而生成新的影像資料。在追加群組資料時，可對應每個群組生成新的影像資料。即，生成部402對應每個群組生成不同的影像資料，以向各頭戴式顯示系統1提供用於所屬群組的影像資料。

進而，生成部402可在存儲於存儲裝置41中的影像資料411中對被後文中的抽取部404分類的用戶追加基於引導資料的影像而生成新的影像資料。基於引導資料的影像用於將用戶引導至影像中的目標位置，即應當能看見的位置。具體地，基於引導資料的影像利用在目標位置顯眼地配置的圖示（例如，箭頭或寫著“注意”的彈窗）、框等表示。

分類部403將視線資料滿足預定條件的用戶分類成群組。分類部403的分類方法例如可參考以下方法。

1、利用視線資料的分類

（1）凝視同一客體的用戶的群組：分類部403可將視線在同一客體上的用戶分類為同一群組。此時，分類部403不僅可抽取視線在物件的客體上的用戶，還可抽取視線在離某一點（例如，物件的客體中心點）處於預定的距離內的用戶。並且，分類部403可抽取視線離物件的客體處於預定距離內的用戶。

（2）視線在預定範圍內的群組：分類部403可將視線在預定範圍內的用戶分類為同一群組。例如，分類部403可將用戶群組分類成視線在影像中心的群組、視線在影像右側的群組等。此時，分類部403還可將視線在預定距離內的用戶分類為同一群組。

（3）通過聚類處理分類的群組：分類部403可對利用視線資訊確認的凝視坐標位置進行聚類，並對各群組的用戶進行分類。

（4）視線在同一區域的群組：分類部403可預先將影像分割為多個區域，並將視線在同一區域的用戶分類為同一群組。

（5）其他：並且，如上所述，在與視線相對應地對用戶群組進行分類的情況下，除了用戶視線在同一時刻滿足上述關係的用戶之外，還可將在預定期間滿足上述關係的用戶分類為同一群組。具體地， 在上述例（1）中，即使觀看物件的客體的時刻不完全一致，也可將在特定期間內將物件的客體觀看規定時間以上的用戶分類為同一群組。例如，可將在顯示特定影像的3分鐘內至少凝視物件的客體15秒鐘以上的用戶分類為同一群組。

2、利用視線資料及用戶的行動的分類：並且，分類部403除了利用視線資料之外，還可像下文一樣利用用戶的行動進行群組分類。

（1）用戶的動作：分類部403可將視線滿足上述的預定條件的同時在該時間點採取了特定行動的用戶分類為同一群組。例如，可將除了視線滿足預定條件之外向右擺動頭的用戶分類為同一群組。並且，可將除了視線滿足預定條件之外左右擺動的用戶分類為同一群組。由此，能夠將感情和想法相似的用戶分類為同一群組。至於用戶的行動，例如，在頭戴式顯示器100中可通過陀螺儀感測器等感測器檢測出，並從頭戴式顯示系統1向伺服器400發送。

（2）用戶的信號輸入：分類部403能夠將視線滿足上述預定條件的同時在該時間點輸入預定的操作信號的用戶分類為同一群組。例如，向頭戴式顯示系統1提供的影像為視頻授課的影像的情況下，可將利用操作信號針對疑問輸入同一答案的用戶分類為同一群組。由此，能夠將想法相同的用戶分類為要進行群組作業等的群組。並且，例如，向頭戴式顯示系統1提供的影像為視頻遊戲的影像的情況下，可將利用操作信號進行了向同一方向移動角色的操作的用戶分類為同一群組。由此，能夠將想法相同的用戶分類為群組。這裡利用的操作信號在頭戴式顯示系統1中利用輸入裝置23進行輸入，並發送給伺服器400。

（3）用戶的行動歷史：分類部403能夠將視線滿足上述預定條件的同時過去採取了預定的行動的用戶分類為同一群組。作為過去的行動，例如有參加活動、輸入操作信號等。例如，向頭戴式顯示系統1提供的影像為視頻授課的影像的情況下，能夠將過去視聽過特定講座的用戶或者未視聽過的用戶分類為同一群組。由此，能夠將具備特定知識的用戶或者不具備特定知識的用戶分類為要進行群組作業等的群組。並且，例如，向頭戴式顯示系統1提供的影像為視頻遊戲的影像的情況下，能夠將過去採取了同一行動的用戶分類為同一群組。由此，能夠將想法相同的用戶分類為群組。在這裡，例如，用戶的行動歷史作為行動歷史資料存儲在伺服器400的存儲裝置中。該行動歷史資料可由用於確認用戶過去採取過的行動、未採取過的行動的接通斷開標誌等構成。

抽取部404抽取視線所凝視的位置與目標位置不同的用戶。例如，抽取部404抽取視線位置與預先設定的目標位置的坐標相隔預定距離的用戶。並且，抽取部404除了利用視線資料之外，還可利用用戶行動來抽取用戶。作為用戶行動，如上所述，有用戶的動作、用戶的信號輸入、用戶的行動歷史等。

各頭戴式顯示系統1（1A～1C）包括頭戴式顯示器100（100A～100C）和視線檢測裝置200（200A～200C）。

如圖2b所示，視線檢測裝置200包括中央處理器20、存儲裝置21、通信介面22、輸入裝置23以及輸出裝置24。存儲裝置21中存儲有視線檢測程式P2。通過運行視線檢測程式P2，中央處理器20利用第二通信控制部201、檢測部202、影像生成部203以及影像輸出部204執行處理。在這裡的說明中，通信介面22經由網路500用於與伺服器400之間的通信之外，還可以利用于與頭戴式顯示器100之間的通信，在各通信中還可利用其他介面。

第二通信控制部201經由通信介面22接收從伺服器400發送的影像資料。並且，第二通信控制部201經由通信介面22向伺服器400發送檢測部202所檢測出的視線資料。

檢測部202對察看顯示於顯示部121的影像資料的用戶的視線進行檢測。

影像生成部203例如通過在下文中利用圖6說明的方法來生成顯示于頭戴式顯示器100的影像。

影像輸出部204經由通信介面22向頭戴式顯示器輸出從伺服器接收的影像資料。

並且，頭戴式顯示器100包括通信介面110、第三通信控制部118、顯示部121、紅外線發射部122、影像處理部123、拍攝部124等。

圖4為說明實施方式的頭戴式顯示系統1的結構的塊圖。如圖4所示，頭戴式顯示系統1的頭戴式顯示器100包括通信介面（I/F）110、第三通信控制部118、顯示部121、紅外線發射部122、影像處理部123以及拍攝部124。

顯示部121具有將從第三通信控制部118傳輸的影像資料顯示於影像顯示元件108的功能。作為影像資料，顯示部121顯示測試影像。並且，顯示部121將從影像生成部203輸出的標記影像顯示於影像顯示元件108的指定的坐標。

紅外線發射部122控制紅外線光源103，向用戶的右眼或左眼發射紅外線。

影像處理部123根據需要對拍攝部124所拍攝的影像進行影像處理，並傳輸給第三通信控制部118。

拍攝部124利用攝影機116對包含從各個眼睛反射的近紅外線的影像進行拍攝。並且，拍攝部124對包含凝視影像顯示元件108所顯示的標記影像的用戶的眼睛的影像進行拍攝。拍攝部124將拍攝得到的影像傳輸給第三通信控制部118或影像處理部123。

圖3為示意性地表示實施方式的頭戴式顯示系統1的大致外觀的圖。如圖3所示，頭戴式顯示器100裝戴在用戶300的頭部進行使用。

視線檢測裝置200檢測出裝戴了頭戴式顯示器100的用戶的右眼及左眼中的至少一個的視線方向，並確認用戶的焦點，即，用戶在顯示于頭戴式顯示器的三維影像中凝視著的部位。並且，視線檢測裝置200還可發揮作為用於生成頭戴式顯示器100所顯示的影像的影像生成裝置的功能。雖然沒有限制，但舉例而言，視線檢測裝置200為桌上型的遊戲機、可擕式遊戲機、PC、平板電腦、智慧手機、平板手機、視頻播放機、電視機等能夠再生影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖3所示的例子中，視線檢測裝置200以無線的方法與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi（注冊商標）或藍牙（Bluetooth，注冊商標）等無線通訊技術實現。雖然沒有限制，但作為一例，頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸依據Miracast（商標）或WiGig（商標）、WHDI（商標）等標準執行。並且，也可使用除此之外的通信技術，例如，可利用聲波通信技術或光傳輸技術。

此外，圖3示出的是頭戴式顯示器100和視線檢測裝置200為不同裝置的情況。但是，視線檢測裝置200可內置於頭戴式顯示器100。

頭戴式顯示器100包括框體150、裝戴件160以及頭戴式耳機170。框體150用於收納如影像顯示元件等用於提供給用戶300影像的影像顯示系統或未圖示的Wi-Fi模組或藍牙（Bluetooth，注冊商標）模組等無線傳輸模組。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100，框體150則配置於覆蓋用戶300的眼睛的位置。因此，若用戶300裝戴頭戴式顯示器100，則用戶300的視界被框體150遮擋。

頭戴式耳機170用於輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170可以不固定于頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也能夠自由裝卸頭戴式耳機170。此外，頭戴式耳機170不是必要結構。

圖4是示意性地表示實施方式的頭戴式顯示器100的影像顯示系統130的大致外觀的立體圖。更具體地，圖4為表示實施方式的框體150之中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。

如圖4所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。

以下說明書中，除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外，皆簡單地表示成“凸透鏡114”。同樣，除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外，皆簡單地表示成“眼角膜302”。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況之外，皆表示成“透鏡支持部152”。

在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜，圖4中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。下面，除了要特別區分紅外線光源103a和紅外線光源103b的情況之外，皆簡單地表示成“紅外線光源103”。在圖4所示的例子中，左眼用透鏡支援部152a具有6個紅外線光源103a。同樣，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，更容易安裝紅外線光源103。由於透鏡支持部152通常由樹脂等構成，因而比由玻璃等構成的凸透鏡114更容易進行用於安裝紅外線光源103的加工。

如上所述，透鏡支持部152是一種用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡說明的是對每只眼睛發射紅外線的紅外線光源103為6個，但並不僅限於此數目，只要有至少一個對應於各眼睛的紅外線光源即可，設置兩個以上會更好。

圖5為示意性地表示實施方式的框體150所收納的影像顯示系統130的光學結構的圖，是從左眼側的側面所看到的圖5中所示的框體150的情況的圖。影像顯示系統130包括紅外線光源103、影像顯示元件108、光學裝置112、凸透鏡114、攝影機116以及第三通信控制部118。

紅外線光源103是一種能夠發射近紅外（700nm～2500nm程度）的波長譜帶的光的光源。一般而言，近紅外線為用戶300 的肉眼無法察覺的不可見光的波長譜帶的光。

影像顯示元件108顯示用於提供給用戶300的影像。影像顯示元件108所顯示的影像由伺服器400內的生成部402或視線檢測裝置200內的影像生成部203生成。此外，也可由生成部402及影像生成部203生成影像。影像顯示元件108例如可由已知的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro-Luminescence Display）等實現。

當用戶300裝戴了頭戴式顯示器100時，光學裝置112配置於影像顯示元件108與用戶300的眼角膜302之間。光學裝置112具有讓影像顯示元件108所生成的可見光能穿過而將近紅外線則反射的性質。光學裝置112具有反射特定波長譜帶的光的特徵，例如有透明的平板或熱反射鏡、棱鏡等。

相對於光學裝置112而言，凸透鏡114配置於影像顯示元件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於光學裝置112與用戶300的眼角膜302之間。即，當用戶300裝戴頭戴式顯示器100時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。

凸透鏡114彙聚穿過光學裝置112的影像顯示光。因此，凸透鏡114具有當作將影像顯示元件108所生成的影像放大後提供給用戶300的影像放大部的功能。此外，為了方便說明，圖5中僅示出了一個凸透鏡114，但凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。

多個紅外線光源103配置于凸透鏡114周圍。紅外線光源103向用戶300的眼角膜302發射紅外線。

雖未圖示，實施方式的頭戴式顯示器100的影像顯示系統130具有兩個影像顯示元件108，而能夠獨立地生成用於提供給用戶300的右眼的影像和用於提供給左眼的影像。因此，實施方式的頭戴式顯示器100能夠分別提供右眼用視差影像和左眼用視差影像給用戶300的右眼和左眼。由此，實施方式的頭戴式顯示器100能夠對用戶300提示具有層次感的立體影像。

如上所述，光學裝置112可讓可見光穿過，而將近紅外線加以反射，或反射特定頻率的光。由此，影像顯示元件108所發射的影像光穿過光學裝置112而到達用戶300的眼角膜302。並且，由紅外線光源103所發射而在凸透鏡114的內部的反射區域被反射的紅外線到達用戶300的眼角膜302。

到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114，而被光學裝置112反射。攝影機116具有用以濾除可見光的濾光片，而拍攝被光學裝置112反射的近紅外線。即，攝影機116為近紅外攝影機，其對由紅外線光源103所發射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。

此外，雖未圖示，實施方式的頭戴式顯示器100的影像顯示系統130可具有兩個攝影機116，即，用於拍攝包含被右眼反射的紅外線的影像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的影像的第二拍攝部。由此，能夠取得用於檢測出用戶300的右眼和左眼雙眼的視線方向的影像。

第三通信控制部118將攝影機116所拍攝的影像輸出到用於檢測用戶300的視線方向的視線檢測裝置200。具體地，第三通信控制部118經由通信介面110將攝影機116所拍攝的影像發送給視線檢測裝置200。至於具有當作視線方向檢測部的功能的檢測部202，將在下文中進行詳細說明，可通過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所運行的影像顯示程式實現。此外，頭戴式顯示器100具有中央處理器或記憶體等計算資源的情況下，頭戴式顯示器100的中央處理器也可運行用於實現視線方向檢測部的程式。

雖然以下將詳細說明，在攝影機116所拍攝到的影像中，由在用戶300的眼角膜302 處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300 的眼角膜302 的眼睛的影像將被拍到。

如上所述，在根據本實施方式的影像顯示系統130 之中，雖然主要就用以提供給用戶300 的左眼的影像的結構加以說明，但用以提供給用戶300 的右眼的影像的結構也與上述相同。

接著，對實施方式的視線方向的檢測進行說明。圖6是說明用於檢測出實施方式的視線方向的校準的示意圖。用戶300的視線方向的檢測通過由視線檢測裝置200內的檢測部202對由攝影機116拍攝到且由第三通信控制部118向視線檢測裝置200輸出的影像進行分析的方式而加以實現。

影像生成部203生成如圖6所示的點Q₁ 至點Q₉ 的9個點（標記影像），並使頭戴式顯示器100的影像顯示元件108加以顯示。視線檢測裝置200依照點Q₁ 至點Q₉ 的順序讓用戶300凝視各點。此時，用戶300 被要求保持脖子不動而盡可能地僅借助眼球的移動去凝視各點。攝影機116對包含用戶300凝視著點Q₁ 至點Q₉ 這9個點時的用戶300的眼角膜302的影像進行拍攝。

圖7為說明用戶300的眼角膜302的位置坐標的示意圖。視線檢測裝置200內的檢測部202分析攝影機116所拍攝的影像來檢測出源於紅外線的亮點105。當用戶300僅借助眼球的移動而凝視著各點時，則即使用戶凝視著任一點的情況，亮點105 的位置被認為並不會變動。如此一來，檢測部202會以檢測出的亮點105為基準在攝影機116所拍攝的影像中設定出二維坐標系306。

檢測部202再通過分析攝影機116所拍攝到的影像來檢測出用戶300的眼角膜302的中心P。這可通過例如霍夫變換、邊緣抽取處理等已知的影像處理技術而加以實現。由此，檢測部202能夠取得所設定的二維坐標系306中的用戶300的眼角膜302的中心P的坐標。

圖6中，將影像顯示元件108所顯示的顯示畫面之中設定的二維坐標系中的點Q₁ 至點Q₉ 的坐標分別顯示為Q₁ （X₁ ，Y₁ ）^T 、Q₂ （X₂ ，Y₂ ）^T ……、Q₉ （X₉ ，Y₉ ）^T 。各坐標是以，例如位在各點的中心的圖元為編號。此外，將用戶300凝視著點Q₁ 至點Q₉ 時的用戶300眼角膜302的中心P分別顯示為點P₁ 至點P₉ 。此時，分別將二維坐標系306之中的點P1至點P9的坐標顯示為P₁ （X₁ ，Y₁ ）^T 、P₂ （X₂ ，Y₂ ）^T 、……、P₉ （X₉ ，Y₉ ）^T 。此外，T表示向量或矩陣的轉置。

現在，將大小為2×2的矩陣Ｍ定義成以下的公式（1）：公式（1）。

此時，如果矩陣Ｍ滿足以下公式（2），則矩陣Ｍ為將用戶300的視線方向投影到影像顯示元件108所顯示的影像面的矩陣，，公式（2）。

如果詳細地寫出上述公式（2），將如以下公式（3）：公式（3）。

如果改變公式（3）的型態的話，則可得到以下的公式（4)：公式（4)。

在此，如果進行以下的替換：。

則可得到以下公式（5）：。

公式（5）中，因為向量y的元素是檢測部202使影像顯示元件108所顯示的點Q₁ 至點Q₉ 的坐標，故為已知。並且，因為矩陣A的元素是用戶300的眼角膜302的頂點P的坐標，因此也能夠取得。由此，檢測部202能夠取得向量y及矩陣A。此外，將轉換矩陣M 的元素排列而成的向量的向量x 為未知。因此，在向量y與矩陣A 為已知時，推算矩陣M 的問題為求出未知的向量x的問題。

如果公式的數目（即，檢測部202在校準時提供給用戶300的點Q的數目）比未知數的數目（即向量x的元素數4）多的話，則公式（5）為優勢判定問題。在公式（5）所示的例子中，因為公式的數目為9個，所以是優勢判定問題。

將向量y和向量Ax的誤差向量作為向量e。即，。此時，代表向量e 的元素的平方和為最小的意義的最佳的向量X_opt 可由以下公式（6）求得公式（6），其中，「-1」表示反矩陣。

檢測部202利用所求得的向量X_opt 的元素來構成公式（1）的矩陣Ｍ。由此，根據公式（2），檢測部202利用用戶300的眼角膜302的頂點P的坐標的矩陣Ｍ，可推算出用戶300的右眼存在凝視影像顯示元件108所顯示的動態影像上的何處。在這裡，檢測部202還從頭戴式顯示器100接收用戶的眼睛和影像顯示元件108之間的距離資訊，並根據該距離資訊來修正推算出的用戶所凝視的坐標值，其中，根據用戶的眼睛與影像顯示元件108之間的距離來推算出凝視位置時產生的偏差視作誤差範圍，可忽視。由此，檢測部202能夠計算出連結影像顯示元件108上的右眼的凝視點和用戶的右眼的眼角膜的頂點的右眼視線向量。同樣地，檢測部202能夠計算出連結影像顯示元件108上的左眼的凝視點和用戶的左眼的眼角膜的頂點的左眼視線向量。此外，能夠只利用單眼的視線向量確認二維平面上的用戶的凝視點，通過取得雙眼的視線向量還能夠取得用戶的凝視點的立體方向的資訊。視線檢測裝置200能夠通過這種方法來確認用戶的凝視點。此外，這裡說明的凝視點的確認方法僅為一例，也可利用本實施方式中示出的方法以外的方法來確認用戶的凝視點。

在影像中顯示用戶的視線資訊的例子：利用圖8及圖9對在影像中顯示用戶的視線資訊的情況的一個處理例子進行說明。圖8為表示伺服器400的處理的流程圖。

首先，伺服器400向經由網路500相連接的各頭戴式顯示系統1發送存儲於存儲裝置41中的影像資料d1（步驟S01）。

之後，伺服器400從各頭戴式顯示系統1接收察看了影像資料d1的用戶的視線資料（步驟S02）。

並且，伺服器400生成包含所接收的各頭戴式顯示系統1的視線資料的新的影像資料（步驟S03）。

接著，伺服器400將新的影像資料發送給各頭戴式顯示系統1（步驟S04）。

伺服器400繼續進行步驟S02至步驟S04的處理，直到接收結束請求（步驟S05）。

圖9為表示頭戴式顯示系統1的處理的流程圖。頭戴式顯示系統1一從伺服器400接收影像資料（步驟S11），就顯示所接收的影像資料（步驟S12）。

然後，頭戴式顯示系統1檢測出察看所顯示的影像資料的用戶的視線資料（步驟S13）。

之後，頭戴式顯示系統1將所檢測出的視線資料發送給伺服器400（步驟S14）。

頭戴式顯示系統1反復進行步驟S11至步驟S14的處理，直到接收結束請求（步驟S15）。

圖10的（a）部分是伺服器400在步驟S01中發送且頭戴式顯示系統1在步驟S12顯示的影像的一例。

並且，圖10的（b）部分是包含視線資料的影像的一例。這是包含頭戴式顯示系統1在步驟S13檢測出視線資料且在步驟S03生成的視線資料的影像資料。在這裡是將用戶的視線資料作為識別符A～K追加到影像資料的一例。

進而，圖10的（c）部分是包含視線資料的影像的再一例。圖10的（b）部分是包含察看同一影像資料的所有用戶即識別符A～K的11人的視線的例子。對此，圖10的（c）部分為只包含一部分用戶的視線的影像資料的例子。

伺服器400的生成部402在生成包含視線資料的影像資料的情況下，可如圖10的（b）部分所示地生成包含所有用戶的視線的影像資料。並且，生成部402可如圖10的（c）部分所示地生成包含一部分用戶的視線的影像資料。

由视线信息将用户编组的例子：利用圖11對利用用戶的視線資訊來將用戶編組的情況的一處理例進行說明。圖11為表示伺服器400的處理的流程圖。

首先，伺服器400向經由網路500相連接的各頭戴式顯示系統1發送存儲於存儲裝置41中的影像資料d1（步驟S21）。

之後，伺服器400從各頭戴式顯示系統1接收察看了影像資料d1的用戶的視線資料（步驟S22）。

然後，伺服器400抽取視線滿足預定條件的用戶（步驟S23）。例如，伺服器400如上所述地抽取視線在同一客體上的群組、視線在預定範圍內的群組、通過聚類處理分類的群組、視線在同一區域的群組等。此時，作為抽取條件，伺服器400除了利用用戶的視線之外還可利用用戶的行動。

伺服器400對應每個所抽取的用戶生成群組（步驟S24）。根據抽取條件和用戶的視線資料，群組的數目或包含在各群組的用戶的數目不同。

然後，伺服器400生成在步驟S22接收的各頭戴式顯示系統1的視線資料和在步驟S24生成的群組資料在內的新的影像資料（步驟S25）。

接著，伺服器400將新的影像資料發送給各頭戴式顯示系統1（步驟S26）。

伺服器400繼續進行步驟S22～步驟S26的處理，直到接收結束請求（步驟S27）。

這種情況下的頭戴式顯示系統1的處理與利用圖9進行的上述處理相同。此外，包含群組資料的新的影像資料例如像包含於圖12的（a）部分中的一樣，用戶的識別符對應每個群組予以區分。

具體地，在圖12的（a）部分所示的例子中，群組1中包含識別符C、H的用戶。群組2中包含識別符D、E、J的用戶。群組3中包含識別符F、K的用戶。群組4中包含識別符A、B的用戶。群組5中包含識別符G、I的用戶。

引導視線資訊不同的用戶的例子：利用圖13對用戶的視線與目標位置不同的情況，將視線引導至目標位置的情況的一處理例進行說明。圖13為表示伺服器400的處理的流程圖。

首先，伺服器400向經由網路500相連接的各頭戴式顯示系統1發送存儲於存儲裝置41中的影像資料d1（步驟S31）。

其次，伺服器400抽取視線在目標位置以外的用戶（步驟S33）。例如，伺服器400抽取視線從目標位置的坐標脫離預定距離的位置的用戶。此時，作為抽取條件，伺服器400除了利用用戶的視線之外，還可利用用戶的行動。

伺服器400生成包含引導資料的新的影像資料（步驟S34）。

接著，伺服器400將新的影像資料發送給各頭戴式顯示系統1（步驟S35）。

伺服器400繼續進行步驟S32至步驟S25的處理，直到接收線束請求（步驟S26）。

這種情況下的頭戴式顯示系統1的處理與利用圖9進行的上述處理相同。例如，如圖12的（b）部分所示，包含在影像資料中的引導資料指示目標位置，是一種記號或符號等。例如，作為記號的一例，可例舉點。此外，在圖12的（b）部分示出的例子中，用虛線包圍的部分為目標位置。

圖14的（a）部分至圖14的（c）部分為顯示引導資料的影像的再一例。在圖14的（a）部分示出的例子中，影像中根據引導資料附有包含目標位置（虛線部分）和用戶的視點（H部分）的標記F1。該標記F1以目標位置為中心如圖14的（b）部分及圖14的（c）部分所示地漸漸變小，來引導用戶的視線。此外，標記F1的形狀不限定於圖14的（a）部分至圖14的（c）部分所示的形狀。

圖15的（a）部分至圖15的（c）部分為顯示引導資料的影像的另一例。圖在15的（a）部分所示的例子中，影像中根據引導資料附有包含用戶的視點（H部分）的標記F2。該標記F2通過以從用戶的視點朝向目標位置（虛線部分）漸漸變大的方式移動來引導用戶的視線。圖15的（b）部分為標記F2移動過程中的影像例。並且，圖15的（c）部分為標記F2移動至目標位置的影像例。此外，在圖15的（b）部分中，虛線圓表示圖15的（a）部分的標記F2的位置。並且，在圖15的（c）部分中，虛線圓表示圖15的（a）部分的標記F2的位置及圖15（b）的標記F2的位置。

並且，為了指示目標位置而顯示的記號或符號可以以預定的時間間隔閃爍，或者改變大小以達到閃爍效果。通過記號或符號的閃爍或大小變化，用戶能夠容易把握目標位置。

根據具有上述結構的第一實施方式的影像提供系統I，在向多個用戶的頭戴式顯示器提供影像資料的情況下，能夠提供與用戶的視線資料相對應地生成的影像資料。例如，能夠在影像資料中包含與視線資料相對應的群組資料、引導資料。由此，利用影像提供系統I，能夠管理多個用戶。

第二實施方式：如圖16所示，第二實施方式的影像提供系統II、伺服器400連接有至少一台作為主終端的頭戴式顯示系統1X（以下，根據需要稱作“主終端1X”）和作為客戶系統的多個頭戴式顯示系統1（1A～1C）。

第二實施方式的影像提供系統II中，能夠由主終端1X的輸入裝置23指定群組。或者，在影像提供系統II中，能夠根據主終端1X的檢測部202所檢測出的視線資料來指定群組。進而，在影像提供系統II中，由主終端1X引導用戶的視線。

伺服器：第二實施方式的影像提供系統II的伺服器400的結構也與在上述中利用圖2a說明的伺服器400相同。此外，第二實施方式的影像提供系統II中，能夠在主終端1X進行群組分類或用戶視線的引導。因此，伺服器400的分類部403或抽取部404不是必要結構。

並且，影像提供系統II的伺服器400的生成部402能夠生成包含從頭戴式顯示系統1提供的群組資料或引導資料的新的影像資料。

頭戴式顯示系統：第二實施方式的影像提供系統II的頭戴式顯示系統1的第二通信控制部201經由通信介面22將經由視線檢測裝置200的輸入裝置23輸入的群組資料或引導資料與檢測部202所檢測出的視線資料一同提供給伺服器400。此外，主系統1X的視線檢測裝置200X和伺服器400可一體構成。

利用圖16及圖17對主終端1X的處理進行說明。圖17是在主終端1X顯示的影像的一例。並且，圖18是說明主終端1X的處理的流程圖。

如圖18所示，主終端1X從伺服器400接收影像資料（步驟S41）。並且，主終端1X顯示所接收的影像資料（步驟S42）。

在這裡，取得用戶的視線資料之前，在主終端1X中如圖17的（a）部分所示地顯示不包含視線資料的影像。並且，在取得用戶的視線資料之後，在主終端1X中如圖17的（b）部分所示地顯示包含用戶的視線資料（例如，用戶的識別符）的影像。

之後，若對顯示影像輸入群組指定（步驟S43中為“是”），則主終端1X向伺服器400發送包含該群組資料的請求信號（步驟S44）。請求信號用於請求生成包含作為與視線相對應的資訊的群組資料的影像資料。在這裡，請求信號可對應每個群組請求生成影像資料。該群組的指定例如可利用滑鼠、觸控面板等輸入裝置23進行輸入。具體地，如圖17的（c）部分所示，可通過輸入裝置23包圍用戶的識別符來指定群組。或者，例如能夠由檢測部202檢測出利用主終端1X的用戶的視線來指定群組。具體地，如圖17的（c）部分所示，利用主終端1X的用戶察看顯示部121所顯示的影像，並移動視線，使得視線包圍影像中的識別符，從而指定群組。

並且，若經由輸入裝置23對顯示影像輸入引導資料（步驟S45中“是”）、主終端1X則向伺服器400發送包含該引導資料的請求信號（步驟S46）。該請求信號用於請求生成包含用於引導視線的引導資料的影像資料。

主終端1X繼續進行步驟S41至步驟S46的處理，直到接收線束請求（步驟S26）。

根據具有上述結構的第二實施方式的影像提供系統II，向多個用戶的頭戴式顯示器提供影像資料的情況下，能夠提供與用戶的視線資料相對應地生成的影像資料。例如，影像資料中能夠包含與視線資料相對應的群組資料、引導資料。由此，利用影像提供系統II，能夠管理多個用戶。

上述實施方式的視線檢測所用的方法僅為一例，利用上述頭戴式顯示器100及視線檢測裝置200的視線檢測方法並不限定於此。

首先，在上述實施方式中，以將作為不可見光發射近紅外線的紅外線光源設置多個的例子進行了說明，但是向用戶的眼睛發射近紅外線的方法不限定於此。例如，作為構成頭戴式顯示器100的影像顯示元件108的圖元，可採用設置發出近紅外線的子圖元的圖元的結構，並使這些發出近紅外線的子圖元選擇性地發光，來向用戶的眼睛發射近紅外線。亦或，作為影像顯示元件108的替代，頭戴式顯示器100可包括網膜投影顯示器，並利用該網膜投影顯示器進行顯示，在向用戶的網膜投影的影像之中包含發出近紅外線色的圖元，從而發射近紅外線。無論是影像顯示元件108，還是網膜投影顯示器，發出近紅外線的子圖元可定期變更。

並且，在上述實施方式中示出的視線檢測的演算法不限定於上述實施方式中示出的方法，只要能夠實現視線檢測，其他演算法也均可使用。

在上述實施方式中說明的是影像提供系統的各處理通過由伺服器400、頭戴式顯示器100及視線檢測裝置200的中央處理器運行影像提供程式等來執行並實現。另一方面，在伺服器400、頭戴式顯示器100以及視線檢測裝置200中，作為中央處理器的替代，還可利用由積體電路（IC，Integrated Circuit）晶片、大型積體電路（LSI，Large Scale Integration）、現場可程式設計閘陣列（Field Programmable Gate Array）、複雜可程式設計邏輯元件（Complex Programmable Logic Device）等形成的邏輯電路（硬體）或專用電路實現各處理。並且，這些電路可由一個或多個積體電路實現，也可由一個積體電路實現上述實施方式中示出的多個功能部的功能。LSI根據集成度的不同而可分別稱為VLSI、超級LSI、特級LSI等。

即，如圖19a所示，伺服器400可由通信介面42、具有第一通信控制電路401a、生成電路402a、分類電路403a以及抽取電路404a的控制電路40a以及存儲影像資料411及影像提供程式P1的存儲裝置41構成。第一通信控制電路401a、生成電路402a、分類電路403a及抽取電路404a由影像提供程式P1控制。各個功能與在上述實施方式中示出的名稱相同的各個部分相同。

並且，如圖19的（b）部分所示，頭戴式顯示器100可由通信介面110、第三通信控制電路118a、顯示電路121a、紅外線發射電路122a、影像處理電路123a、拍攝電路124a構成。各個功能與在上述實施方式中示出的名稱相同的各個部分相同。

進而，如圖19的（b）部分所示，視線檢測裝置200可由包括第二通信控制電路201a、檢測電路202a、影像生成電路203a以及影像輸出電路204a的控制電路20a、存儲視線檢測程式P2的存儲裝置21、通信介面22、輸入裝置23、輸出裝置24構成。第二通信控制電路201a、檢測電路202a、影像生成電路203a以及影像輸出電路204a由視線檢測程式P2控制。各個功能與在上述實施方式中示出的名稱相同的各個部分相同。

並且，作為上述存儲裝置21、41，可使用“非暫時性的有形的介質”，例如磁帶、磁片、半導體記憶體、可程式化的邏輯電路等。並且，上述檢測程式可經由能夠傳輸上述檢測程式的任意的傳輸介質（通信網路或廣播波等）向上述處理器供給。本發明中，上述影像顯示程式還可通過由電子格式的傳送所具體執行的嵌埋于載波之中的資料信號的格式加以實現。

此外，上述程式例如可通過ActionScript語言、JavaScript語言（注冊商標）、Python、Ruby等指令碼語言、C語言、C++、C#、Objective-C、Java（注冊商標）等編譯語言、組合語言、暫存器轉換層（RTL， Register Transfer Level）等進行安裝。

第三實施方式：圖20為說明第三實施方式的頭戴式顯示系統1b的結構的塊圖。如圖20所示，頭戴式顯示系統1b的頭戴式顯示器100包括通信介面（I/F）110、通信控制部118b、顯示部121、紅外線發射部122、影像處理部123以及拍攝部124。

通信控制部118經由通信介面110與視線檢測裝置200控制通信。通信控制部118將從拍攝部124或影像處理部123傳輸的用於視線檢測的影像資料發送給視線檢測裝置200。並且，將通信控制部118從視線檢測裝置200發送的影像資料或標記影像傳輸給顯示部121。影像資料之一例是用於顯示測試的資料。並且，影像資料還可以是用於顯示三維影像的由右眼用視差影像和左眼用視差影像構成的視差影像對。

顯示部121具有將從通信控制部118傳輸的影像資料顯示於影像顯示元件108的功能。顯示部121將測試影像作為影像資料顯示。並且，顯示部121將從影像生成部222輸出的標記影像顯示於影像顯示元件108的指定的坐標。

紅外線發射部122控制紅外線光源103，向用戶的右眼或左眼發射紅外線。

影像處理部123根據需要對拍攝部124所拍攝的影像進行影像處理並傳輸給通信控制部118。

拍攝部124利用攝影機116拍攝包含被各只眼睛反射的近紅外線的影像。並且，拍攝部124拍攝包含凝視影像顯示元件108中所顯示的標記影像的用戶的眼睛的影像。拍攝部124將拍攝得到的影像傳輸給通信控制部118或影像處理部123。

並且，如圖20所示，視線檢測裝置200是包括中央處理裝置（CPU）20、用於存儲影像資料211以及資料生成程式P3的存儲裝置21、通信介面22、操作按鈕、鍵盤或觸控面板等輸入裝置23、顯示器或印表機等輸出裝置24的資訊處理裝置。視線檢測裝置200通過運行存儲在存儲裝置21中的資料生成程式P3來使中央處理器20利用通信控制部201b、檢測部202b、分析部203b、計時器204b、操作取得部205b、屬性取得部206b、生成部207b以及輸出部208b執行處理。

影像資料211是顯示于頭戴式顯示器100的資料。影像資料211可以是二維影像，也可以是三維影像。並且，影像資料211可以是靜態影像，也可以是動態影像。

例如，影像資料211為視頻遊戲的動態影像資料。影像資料211為視頻遊戲的影像時，顯示影像根據用戶輸入的操作信號而變。並且例如，影像資料211為電影的動態影像。影像資料211可根據用戶的操作從所連接的外部的伺服器裝置等（未圖示）購買。

通信控制部201b經由通信介面22控制與頭戴式顯示器100之間的通信。

檢測部202b檢測出用戶的視線並生成視線資料。

分析部203b利用視線資料來分析用戶的視線。在這裡，分析部203b根據需要利用從計時器204b、操作取得部205b、屬性取得部206b輸入的資料。

當影像資料211為遊戲的動態影像資料時，計時器204b測量用戶的玩遊戲時間。並且，計時器204b將計時資料輸出給分析部203b。例如，計時器204b測量遊戲的開始到結束（遊戲通關）為止的達成時間。在這裡，用戶玩多次同一個遊戲的情況下，計時器204b測量第一次遊戲開始到結束為止的達成時間。並且例如，計時器204b測量玩遊戲的總時間。在這裡，用戶玩多次同一個遊戲的情況下，計時器204b將多次玩的時間的總計作為總的玩遊戲時間（總時間）進行測量。

操作取得部205b輸入與影像資料211的顯示相關地輸入的各種操作信號。並且，操作取得部205b將與操作信號有關的資料輸出給分析部203b。例如，影像資料211為遊戲資料時，取得該遊戲期間執行的用戶操作的資訊。在這裡，用戶操作除了是利用輸入按鈕輸入的操作或基於聲音信號輸入的操作之外，還可以與能夠被檢測部202b檢測出的視線的移動相對應的操作。

屬性取得部206b取得利用影像資料211的用戶的屬性資料。並且，屬性取得部206b將所取得的資料輸出給分析部203b。屬性資料例如是與用戶的性別、年齡、職業等有關的資料。例如，該屬性資料可在頭戴式顯示系統1連接在管理伺服器等且用戶登錄該管理伺服器的情況下從其登錄資訊取得。或者，也可以事先在視線檢測裝置200的存儲裝置21存儲好用戶的屬性資料。

生成部207b生成包含檢測部202b的檢測結果、分析部203b的分析結果的視覺化資料。例如，分析部203b分析特定視線的情況下，生成部207b生成包含影像和利用與該影像相對應的視線確認的資料（表示坐標的點或視線的軌跡）的視覺化資料。視覺化資料可以是熱圖資料、利用圖表表示分析結果的資料等。在這裡，影像資料為動態影像資料時，視覺化資料可包括用於確認影像中的用戶的視點和影像資料中的一影像的時間軸之間的關係的時間軸顯示部。並且，利用棒圖等顯示由分析部所分析的結果時，可生成包含棒圖的資料作為視覺化資料。

輸出部208b將生成部207b所生成的視覺化資料輸出給輸出裝置24等。

此外，在上述的視線檢測裝置200的各個部件中，分析部203b、計時器204b、操作取得部205b、屬性取得部206b以及生成部207b能夠用外部的伺服器等資訊處理裝置實現。並且，用外部的資訊處理裝置實現這些處理部203b～207b的情況下，資訊處理裝置包括用於取得由頭戴式顯示系統1的檢測部202b檢測出的視線資料的取得部，分析部203b利用從該取得部取得的視線資料進行資料的分析處理。

視覺化資料生成處理1：利用圖21的（a）部分所示的流程圖對在頭戴式顯示系統1b生成並輸出視覺化資料的情況的處理進行說明。

頭戴式顯示系統1b首先顯示物件的影像資料211（步驟S51）。

頭戴式顯示系統1b一顯示影像，就檢測出察看所顯示的影像資料211的用戶的視線（步驟S52）。

並且，頭戴式顯示系統1b一檢測出用戶的視線，就分析檢測出的用戶的視線（步驟S53）。

頭戴式顯示系統1b一分析視線，就生成視覺化資料（步驟S54）。

頭戴式顯示系統1b輸出所生成的視覺化資料（步驟S55）。

在這裡，圖20中示出了一台視線檢測裝置200連接有一台頭戴式顯示器100的例子，但是，也可以是一台視線檢測裝置200連接有多台頭戴式顯示器100。在這種情況下，由於在頭戴式顯示器100顯示影像資料211並從各個用戶檢測出視線資料，因而反復多次步驟S01及步驟S02的處理。並且，利用從多個用戶檢測出的視線資料來反復步驟S53至步驟S55的處理。

圖22的（a）部分及圖22的（b）部分為將某一靜態影像顯示規定時間的情況下利用多個用戶的視線資料生成的視覺化資料的一例。在圖22的（a）部分所示的例子是包含各用戶的視線的軌跡S1～S4的視覺化資料W1。並且，圖22的（b）部分所示的例子是表示包含用戶凝視了預定時間以上的位置的棒圖的視覺化資料W2。

圖23的（a）部分至圖23的（c）部分是顯示動態影像的情況下利用用戶的視線資料生成的視覺化資料的一例。圖23的（a）部分及圖23的（b）部分是具有表示動態影像的進展狀況的時間滑塊T的視覺化資料W3。在圖23的（a）部分和圖23的（b）部分，首先顯示圖23的（a）部分的影像，之後顯示圖7的（b）部分的影像。在這裡，圖23的（a）部分及圖23的（b）部分中，黑圈部分為用戶視線的位置。

視覺化資料生成處理2：利用圖21的（b）部分所示的流程圖對在頭戴式顯示系統1b生成並輸出視覺化資料的情況下處理進行說明。

頭戴式顯示系統1b取得用戶的視線資料（步驟S61）。

並且，頭戴式顯示系統1b一取得用戶的視線資料，就對所取得的用戶的視線進行分析（步驟S62）。

頭戴式顯示系統1b一分析視線，就生成視覺化資料（步驟S63）。

頭戴式顯示系統1b輸出所生成的視覺化資料（步驟S64）。

該步驟S11至步驟S14的處理不僅可以在頭戴式顯示系統1b執行，還可以在包括用於取得檢測部202b所檢測出的結果的取得部、分析部203b、計時器204b、操作取得部205b、屬性取得部206b以及生成部207b等的外部的伺服器等資訊處理裝置執行。

影像資料211為視頻遊戲的資料時，分析部203b例如能夠分析以下（1-1）至（1-6）的內容。

（1-1）視線移動至目標位置為止的用戶視點：對用戶視線移動至目標位置為止的用戶的視線的軌跡或用戶視線移動至目標位置為止所需時間進行分析。用戶視線移動至目標位置為止所需時間例如能夠根據從計時器204b輸入的時間確認。由此，例如，能夠容易把握搜索影像中的目標位置。並且，生成部207b生成用戶視線移動至目標位置為止所需時間的圖表作為視覺化資料。

並且，通過搜集並分析多個用戶的資料，分析部203b能夠對用戶容易找到目標位置的影像資料的傾向進行分析。進而，通過一併分析用戶屬性，分析部203b能夠分析出視線移動至目標位置為止所需時間和用戶屬性的傾向。用戶屬性從屬性取得部206b輸入。

（1-2）視線偏離目標位置的用戶視點：用戶視線不在目標位置的情況下，分析部203b對該時間點的用戶的視線的坐標（視點）進行分析。由此，能夠在顯示影像中確認用戶被何處吸引入迷。例如，生成部207b生成用戶的視點的坐標作為視覺化資料。

並且，通過收集並分析多個用戶的資料，分析部203b能夠分析出用戶容易入迷的影像資料的傾向。進而，通過一併分析用戶屬性，分析部203b能夠分析出容易入迷的用戶屬性的傾向。用戶屬性從屬性取得部206b輸入。

（1-3）視線偏離目標位置情況的原因：用戶視線不在目標位置的情況下，分析部203b求得在直到達到該狀態為止的預定時間內顯示的影像中的用戶視線的軌跡。由此，能夠預測在達到某一狀態為止顯示的影像中用戶被吸引入迷的原因。例如，生成部207b生成用戶的視點的軌跡作為視覺化資料。

並且，通過收集並分析多個用戶的視線的軌跡，分析部203b能夠容易分析用戶容易入迷的影像資料。進而，通過一併分析用戶屬性，分析部203b還能夠分析出容易入迷的用戶的傾向。

（1-4）初始畫面中的用戶的注意位置：分析部203b檢測出遊戲的初始畫面中的用戶視線的坐標。由此，分析部203b分析出用戶在初始畫面中注意何處。即，分析部203b通過分析出初始畫面中的注意場所，能夠把握初始畫面中的吸引用戶的場所。例如，生成部207b生成用戶的視點的坐標作為視覺化資料。

並且，通過收集並分析多個用戶的視線資料，分析部203b能夠分析吸引多個用戶的影像結構。進而，通過一併分析用戶屬性，分析部203b能夠各影像結構吸引的用戶傾向。

進而，通過一併分析用戶的總的玩遊戲時間，分析部203b能夠分析出容易吸引用戶的資料和針對遊戲的用戶的感興趣程式的傾向。例如，大多情況下，總的玩遊戲時間長的用戶大多屬於喜歡對象遊戲的用戶，總的玩遊戲時間短的用戶大多屬於對物件遊戲不感興趣的用戶。由此，例如，通過一併分析出吸引用戶的資料和該用戶的玩遊戲時間，能夠分析出對遊戲感興趣的用戶和不感興趣的用戶的視點的不同。用戶的總的玩遊戲時間從計時器204b輸入。

（1-5）執行確認操作的用戶的傾向：分析部203b檢測出玩遊戲時執行確認操作的用戶的視線的坐標（視點）。由此，能夠確認執行各操作的用戶的興趣或注意。該操作可以是與玩遊戲的相關的操作，也可以是其他操作。分析部203b從操作取得部205b接收與操作的執行有關的資料。例如，生成部207b生成用戶視點的坐標作為視覺化資料。

例如，通過確認與玩遊戲有關的操作和執行該操作時的用戶視頻，能夠把握用戶的操作和視線之間的關係。作為用戶的操作，例如在得分型遊戲的情況下，可以是進行了取得高分的操作的用戶的視線。並且，作為除了玩遊戲之外的操作，例如可以是在遊戲中購買內容物的操作。例如，能夠分析出購買內容物的用戶究竟是對哪一點感興趣，來確認用戶在什麼樣的遊戲進行中購買內容物或購買內容物多的用戶喜歡的影像結構。

並且，通過收集並分析多個用戶的視線的資料和與操作的執行有關的資料，分析部203b能夠分析出用戶的操作和影像資料之間的關聯。進而，能夠一併分析用戶屬性，分析部203b還能夠分析出執行各操作的用戶的傾向。

進而，通過一併分析出用戶的總的玩遊戲時間，分析部203b能夠分析出執行確認操作的用戶和用戶對用戶遊戲的感興趣程度的傾向。例如，例如，大多情況下，總的玩遊戲時間長的用戶大多屬於喜歡對象遊戲的用戶，總的玩遊戲時間短的用戶大多屬於對物件遊戲不感興趣的用戶。由此，例如，能夠分析出對遊戲感興趣的用戶和不感興趣的用戶執行確認操作的關係。

（1-6）用戶的等級：分析部203b在進行（1）～（4）的分析時，如果是能夠根據通過遊戲取得的得分等求得用戶的等級的遊戲，還可考慮該等級。即，對應每個用戶等級，分析出視線偏離目標位置的用戶視點、視線偏離目標位置的情況的原因、初始畫面中的用戶的注意位置、執行確認操作的用戶的傾向。

當影像資料211為電影資料時，例如能夠分析出以下的（2-1）～（2-3）的內容。

（2-1）用戶的注意位置：分析部203b檢測出影像中的用戶視線的坐標（視點）。由此，能夠在顯示影像中確認用戶被何處吸引。並且，通過收集並分析多個用戶的資料，能夠確認吸引多個用戶的影像的結構。

（2-2）用戶的屬性：分析部203b除了分析上述（2-1）的用戶的注意位置之外，還一併分析用戶的屬性。由此，還能夠一併分析出喜歡各影像的結構的用戶屬性的傾向。該用戶屬性從屬性取得部206b輸入。

（2-3）內容物的購買歷史：分析部203b分析上述（2-1）的用戶的注意位置及（2-2）用戶屬性的同時，還一併分析用戶購買電影內容物的購買歷史。作為購買歷史，例如可例舉電影內容物的價格、線上購買的情況下，則是購買日期等。由此，還能夠一併分析出與購買內容物有關的傾向。

像這樣，分析部203b分析出特定用戶的視點、用戶的多個視點的傾向。

第四實施方式：圖24是第四實施方式的影像顯示系統1c的頭戴式顯示器100和視線檢測裝置200的塊圖。

頭戴式顯示器100作為電路部件，除了包括紅外線光源103、影像顯示元件108（以下稱作“顯示器108”）、攝影機116以及通信介面110之外，還包括控制部（中央處理器）140、記憶體151、紅外線發射部122、顯示部121、拍攝部124、影像處理部123、傾斜度檢測部156。

另一方面，視線檢測裝置200包括控制部（中央處理器）20、存儲裝置21、通信介面22、視線檢測部213、影像生成部214、聲音生成部215。

通信介面110是一種具有能夠與視線檢測裝置200的通信介面22執行通信的功能的通信介面。通信介面110通過有線通信或無線通訊與通信介面22執行通信。此外，可使用的通信標準的例子如上所述。通信介面110將從拍攝部124或影像處理部123傳輸的用於視線檢測的影像資料發送給通信介面22。並且，通信介面110將從視線檢測裝置200發送的影像資料或標記影像傳輸給顯示部121。作為從視線檢測裝置200發送的影像資料的一例，是一種如上所述的PV等用於顯示包含一人以上的人的影像的動態影像等的資料。並且，影像資料可以是用於顯示三維影像的由右眼用視差影像和左眼用視差影像構成的視差影像對。

控制部140利用存儲在記憶體151中的程式來控制電路部件。由此，頭戴式顯示器100的控制部140可根據存儲在記憶體151中的程式來運行用於實現視線方向檢測功能的程式。

記憶體151除了存儲用於使頭戴式顯示器100發揮功能的程式之外，根據需要還能夠暫時性地存儲由攝影機116拍攝得到的影像資料等。

紅外線發射部122控制紅外線光源103的亮燈狀態，從紅外線光源103向用戶300的右眼或左眼發射近紅外線。

顯示部121具有將由通信介面110傳輸的影像資料顯示於顯示器108的功能。作為影像資料，顯示部121顯示包含一人以上的人物的影像，如：偶像群組等的宣傳視頻（PV）、各種演唱會等的即時視頻、脫口秀等各種演講視頻等。並且，顯示部121將由影像生成部214輸出的標記影像顯示於顯示部121的指定的座標。

拍攝部124利用攝影機116拍攝包含被用戶300的左右眼反射的近紅外線的影像。並且，拍攝部124拍攝後文中的凝視顯示於顯示器108的標記影像的用戶300的亮點影像以及前眼部影像。拍攝部124將拍攝提到的影像資料傳輸給通信介面110或影像處理部123。

影像處理部123根據需要對拍攝部124所拍攝的影像進行影像處理並傳輸給通信介面110。

針對頭戴式顯示器100的傾斜度，傾斜度檢測部156例如根據來自加速度感測器或陀螺儀感測器等傾斜感測器157的檢測信號來計算出用戶300的頭部的傾斜度作為頭戴式顯示器100的傾斜度。傾斜度檢測部156依次計算出頭戴式顯示器100的傾斜度，並將作為其計算結果的傾斜度資訊傳輸給通信介面110。

控制部（中央處理器）210通過存儲在存儲裝置21中的程式來執行上述的視線檢測。控制部210根據存儲在存儲裝置21的程式來控制影像生成部214及聲音生成部215。

存儲裝置21是一種用於存儲視線檢測裝置200的動作所需的各種程式或資料的記錄介質。存儲裝置21例如可通過，硬碟驅動器（Hard Disc Drive）、固態硬碟（Solid State Drive）等實現。存儲裝置21與影像資料相對應地存儲與影像中的各出場人物相對應的顯示器108的外面上的位置資訊或各出場人物的聲音資訊。

通信介面22是一種具有與頭戴式顯示器100的通信介面110執行通信的功能的通信介面。如上所述，通信介面22通過有線通信或無線通訊與信介面110執行通信。通信介面22將用於顯示包含由影像生成部214傳輸的一人以上的人物的影像的影像資料或用於校準的標記影像等發送給頭戴式顯示器100。並且，將凝視頭戴式顯示器100傳輸的由拍攝部124拍攝的標記影像的用戶300的亮點影像、觀看根據由影像生成部214輸出的影像資料顯示的影像的用戶300的前眼部影像、由傾斜度檢測部156計算出的傾斜度資訊傳輸給視線檢測部213。並且，通信介面22訪問外網（例如，網際網路）來取得在影像生成部214指定的動態影像網頁的影像資訊，並傳輸給影像生成部214。並且，通信介面22將由聲音生成部215傳輸的聲音資訊直接或經由通信介面110發送給頭戴式耳機170。

視線檢測部213對由攝影機116拍攝的前眼部影像進行分析來檢測出用戶300的視線方向。具體地，從通信介面22接收用於用戶300的右眼的視線檢測的影像資料，來檢測出用戶300的右眼的視線方向。視線檢測部213利用下文中的方法來計算出表示用戶300的右眼的視線方向的右眼視線向量。同樣，從通信介面22接收用於用戶300的左眼的視線檢測的影像資料來計算出表示用戶300的左眼的視線方向的左眼視線向量。然後，利用計算出的視線向量來確認用戶300正在凝視的顯示於顯示部121的影像的部位。視線檢測部213將確認的凝視點傳輸給影像生成部214。

影像生成部214生成要顯示于頭戴式顯示器100的顯示部121的影像資料，並傳輸給通信介面22。影像生成部214生成用於校準視線檢測的標記影像，並與其顯示坐標位置一同傳輸給通信介面22，並發送給頭戴式顯示器100。並且，影像生成部214與視線檢測部213所檢測出的用戶300的視線方向相對應地生成變更了影像的顯示狀態的影像資料。至於影像的顯示狀態的變更方法，將在下文中詳細說明。影像生成部214基於視線檢測部213所傳輸的凝視點，來判定用戶300是否正在凝視的特定的一人，正在凝視著特定的一人的情況下，確認這人是何種人物。

在視線檢測部213檢測出的用戶300的視線方向上，在顯示器108正在輸出的影像中存在一人以上的人物的情況下，聲音生成部215確認該人物並使與特定人物相對應地從頭戴式耳機170輸出的聲音的輸出狀態不同於其他聲音來生成用戶300能夠識別的聲音資料。

例如，聲音生成部215調高特定人物的聲音，以使特定人物的聲音大小大於其他聲音大小。或者，調小特定人物以外的聲音，從而生成用戶300能夠識別的聲音資料。

並且，聲音生成部215除了將特定人物的聲音大小設為大於其他聲音大小之外，例如還能夠進行變調、加快或延緩節拍、將聲音強調等附加功能附加到聲音資料。聲音生成部215還能夠在宣傳視頻（PV）等的間奏中將演奏等的音樂弱音化等附加功能附加到聲音資料。此外，雖會在下文中詳細說明，但利用聲音生成部215在間奏中將音樂弱音化的情況下，影像生成部214還可以附加放慢影像以能夠慢慢欣賞特定人物的編舞等的附加功能。

影像生成部214能夠根據用戶300的視線方向來以使包含特定人物的至少一部分的預定區域的影像比預定區域以外的影像更容易引起注意的方式生成影像資料。例如，給特定人物以外添加煙霧等強調效果、移動特定人物使其位於顯示器108的中央，例如，附加推攝臉部或樂器等的特定人物的一部分等附加功能。並且，例如，在近年來的宣傳視頻等中，即使是相同的樂曲，也通過不同的出場人物、拍攝風景或場所（不局限于天然或人工）、編舞或服裝等來組合多個模式構成一個樂曲。因此，即使是相同旋律部分，也能夠選擇不同的影像模式。因此，例如，能夠附加切換成特定人物多數出場的影像模式或者特定人物在移動時追尾等附加功能。

《資料》在這裡，對具體的影像資料進行說明。例如，就偶像群組等的宣傳視頻而言，通常分別進行影像的拍攝或製作和聲音（歌唱及演奏）的錄音。

此時，無論歌唱是全員唱的部分還是個人唱的部分（獨唱部分），都按個人進行。由此，聲音或演奏是能夠按個人確認的，因此可作為已知資訊利用。

另一方面，關於影像，也有全員在戶外拍攝或在工作室全員拍攝的情況和個人拍攝的情況，最終通常會進行背景加工等影像處理。由此，通過與聲音合體（關聯），影像與時間軸之間的關係也可以用作已知的信息。並且，畫面上的各個人因編舞等而移動時，相對於預先設定的畫面大小（縱橫比），例如以臉部為基準與時間軸相對應的位置也能夠容易視為已知的資訊。

由此，在上述的顯示器108的顯示畫面，針對影像的各個人（出場人物），能夠將聲音（演奏）和位置關聯到時間軸來組合進影像資料，或者作為與影像資料相對應的表格方式的表演者資料。

由此，控制部210在通過視線檢測部213檢測出用戶300的視線位置時，能夠利用其XY坐標和時間表格來確認用戶300集中觀看影像中的誰。

《動作》接著，根據圖25的流程圖對影像顯示系統1c的動作進行說明。此外，在以下說明中，視線檢測裝置200的控制部210將包含聲音資料的影像資料從通信介面22向通信介面110發送。

在步驟S71中，控制部140使顯示部121及聲音輸出部132工作，使顯示器108顯示輸出影像，並使頭戴式耳機170的聲音輸出部132輸出聲音，並轉移到步驟S72。

在步驟S72中，控制部210根據攝影機116所拍攝的影像資料，由視線檢測部213檢測出用戶300在顯示器108上的凝視點（視線位置），並確認其位置。

在步驟S73中，控制部210判定用戶300是否凝視特定的一人。具體地，即使影像中的人按時序列採取移動等動作，控制部210判定按時間軸變化的所檢測出的凝視點的XY坐標軸的變化以最初確認的XY坐標軸為起點在預定時間（例如，2秒鐘）內是否均與沿著時間表格的影像上的XY坐標軸一致，從而判定用戶300是否凝視特定的一人。在控制部210判定為正在凝視特定的一人的情況下（“是”），轉移到步驟S4。在控制部210未判定為正在凝視特定的一人的情況下（“否”），轉移到步驟S78。此外，在特定的一人未移動的情況下，上述確認順序也是相同的。

在步驟S74中，控制部210確認用戶300正在凝視的人，轉移到步驟S75。

步驟S75中，控制部210確認特定人的聲音資料，轉移到步驟S76。

在步驟S76中，控制部210使聲音生成部215生成特定人的聲音資料和其他人（無所謂包不包括演奏）的聲音資料，並將生成後的新聲音資料從通信介面22發送給通信介面110，轉移到步驟S7。由此，例如，用戶300正在凝視的人的歌唱音的音量最終以大於其他人的歌唱音的音量的狀態從頭戴式耳機170輸出。此外，聲音生成部215通過只調高用戶300正在凝視的人的歌唱音的音量，或相反地只調低用戶300正常凝視的人以外的歌唱音的音量，來使特定人的聲音相對於其他人的聲音突顯出來，以讓用戶300能夠容易地識別特定的一人的歌唱。

在步驟S77中，控制部210實際上與述步驟S76的路徑並行地，使影像生成部214生成能夠識別用戶300正在凝視的人的新的影像資料，並將生成後的新的影像資料從通信介面22向通信介面110發送，轉移到步驟S7。由此，在顯示器108，例如，從圖26所示的通常的影像顯示狀態變成如圖27所示，特定人（例如在中心位置唱歌的女性）的影像不變，而其他周圍人的影像以模糊狀態顯示。即，影像生成部214執行以使預定區域（中心位置的女性）的影像比預定區域以外的影像更容易引起注意的方式新生成影像資料的強調處理。

在步驟S78中，控制部210判定影像資料的再生是否結束。在控制部210判定為影像資料的生成結束的情況下（“是”），結束該路徑。在控制部210未判定為影像資料的生成結束的情況下（“否”），返回到步驟S2，之後重複上述的各路徑，直到影像資料的再生結束為止。由此，用戶300例如想凝視強調狀態的影像輸出的情況下，僅中止對正在凝視的特定人的凝視，就能夠判定為未凝視特定的一人（步驟S73中“否”），而中止強調顯示或聲音控制。

像這樣，視線檢測部213所檢測出的用戶300的視線方向上從顯示器108輸出的影像中存在一人以上的人物的情況下，影像顯示系統1c能夠使聲音生成部215確認該人物並與特定人物相對應地使從聲音輸出部132輸出的聲音（包含樂器演奏等）的輸出狀態不同於其他聲音的輸出狀態來生成利用者能夠容易識別的聲音資料。

例如，在喜歡的偶像群組之中，將自己推薦的成員的歌聲的音量最終大於其他成員的歌聲的音量，以使自己推薦的成員的歌聲比其他成員的歌聲突顯出來。

由此，用戶300能夠容易識別出哪個聲音是要推薦的成員的歌聲（部分），而更能夠享受宣傳視頻的視聽效果。

並且，特定人物不限定於偶像群組的成員等，也可以將演唱會的即時視頻中的樂隊的演奏者等作為對象。

在這種情況下，確認該演奏者，並調高該演奏音（例如，主音吉他聲或貝司吉他聲）的音量的話，就能夠作為用於學習採取了何種彈奏方法或排列的資料。

此時，如上述的宣傳視頻製作，不僅是分別收錄影像和聲音的情況，即使是同步收錄影像和聲音，在視頻編集時只要能夠確認所使用的麥克，就能夠容易將影像和聲音關聯起來。並且，就算未使用麥克，由於樂器和聲音有固定的頻率等，因而只要將人物和樣品聲音（編解碼器等）以表格方式進行資料庫化，就能夠將影像上的人物和聲音對應起來。

此外，影像資料中，由於可適用於多個人物出場的影像全部，例如各種話劇、歌劇或脫口秀等各種講演等以影像化的狀態包含多個出場人物的全部，因而特別有益於聲音混雜的情況。

像這樣，能與現實的利用方式相對應地改變輸出，能夠提供普及率。

在這裡，聲音生成部215作為提供基於用戶300的聲音的識別性的方法採取如下等方法。

・調高特定人物的聲音的音量

・特定人物的聲音的音量支援不變，調低其他人物的聲音的音量。

並且，聲音生成部215還可以附加一些附功能，例如：在像上文一樣使特定人物的聲音的音量最終高於其他人物的聲音的音量的狀態下，特定地變調或全部變調、改變節拍、進行聲音強調等。

進而，如流行音樂一樣有間奏的情況下，在間奏中，聲音生成部215還可將聲音（樂器聲等）弱音化。由此，利用影像生成部214的功能，能夠並用影像協調，如放慢再生特定人物的編舞（舞蹈）影像等，從而能夠利用於學習特定人物的編舞的情況。

並且，除了基於聲音生成部215的聲音控制之外並用影像生成部214的情況下，例如，可根據視線檢測部213所檢測出的用戶300的視線方向，將包含特定人物的一部分的預定區域的影像變更為比預定區域以外的影像更容易凝視的顯示狀態。

作為除了基於聲音生成部215的聲音控制之外並用影像生成部214的情況下的具體例子，如上述的圖7所示，除了使特定人物整個作為預定區域以比其他區域強調的顯示狀態之外，還可切換成以下狀態：

・特定人物的影像未顯示於畫面上的中央附近的情況下，將特定人物移動到外面上的中央附近。

・推攝特定人物的臉部或樂器演奏者的手根的樂器（彈奏樣子等）。

・同一曲存在多個影像模式的情況下，能夠轉換成特定人物出場的影像資料（攝影機）的狀態。

此外，影像顯示系統不限定於上述實施方式，也可通過其他方法實現。以下對該例子進行說明。

（1）上述實施方式中，示出了使用宣傳視頻或即時視頻等影像且包含並用的現實空間上的映射的例子，但也可適用於在虛擬實境空間內顯示疑似人物、樂器或譜面等的情況。

（2）在上述實施方式中說明的是使特定人物的聲音最終高於其他聲音，例如，特定人物不是所謂主唱的情況下，可以替換主唱的聲音，呈現出宛如主唱的效果。

（3）在上述實施方式中，為了檢測出用戶300的視線，作為拍攝用戶300的眼睛的方法，拍攝的是被波長控制部件等光學裝置112反射的影像，但也可以不通過光學裝置112，而直接拍攝用戶300的眼睛。

（4）上述實施方式中的視線檢測方法僅為一個例子，基於上述頭戴式顯示器100及視線檢測裝置200的視線檢測方法不局限於此。

首先，示出的是將作為不可見光發射近紅外線的紅外線發射部設置多個的例子，但向用戶300的眼睛發射近紅外線的方法不限於此。例如，對於構成頭戴式顯示器100的顯示器108的圖元，可設置具有發出近紅外線的子圖元的圖元，並使這些發出近紅外線的子圖元選擇性地發光，來向用戶300的眼睛發射近紅外線。亦或，作為影像顯示元件108的替代，頭戴式顯示器100可包括網膜投影顯示器，並利用該網膜投影顯示器進行顯示，在向用戶300的網膜投影的影像之中包含發出近紅外線色的圖元，從而發射近紅外線。無論是影像顯示元件108，還是網膜投影顯示器，發出近紅外線的子圖元可定期變更。

並且，在上述實施方式中示出的視線檢測的演算法不限定於上述實施方式中示出的方法，只要能夠實現視線檢測，其他演算法也均可使用。

（5）在上述實施方式中示出了根據是否存在用戶30凝視預定時間以上的人物來變更特定人物的聲音狀態的例子。在該處理中，進而，還能夠追加以下處理。即，利用拍攝部124拍攝用戶300的眼睛，視線檢測裝置200確認用戶300的瞳孔的移動（睜開程度變化）。並且，視線檢測裝置200還可包括與瞳孔的睜開程度相對應地確認用戶300的感情的感情確認部。並且，影像生成部214可與感情確認部確認的感情相對應地變更聲音。更具體地，例如，用戶300的瞳孔睜大的情況下，判定為用戶300看見的人物採取了喜歡的表情或編舞，而推測出用戶300對此人感興趣。並且，聲音生成部215在顯示採取了與用戶300感興趣的表情或編舞的影像相同傾向的影像的情況（例如，相對於樂曲的第一次高潮旋律的第二次高潮旋律）下，通過將特定人物的聲音的音量調高為成與其他人物的聲音的音量之差變大，從而能夠促進包含引起用戶300興趣的影像的強調效果。同樣，影像生成部214能夠更加強調此時的影像（例如加濃周圍的暈染）。

（6）上述實施方式中示出了與基於聲音生成部215變更聲音狀態的同時基於影像生成部214進行強調等顯示狀態變更的例子，至於顯示狀態的變更，例如可替換成網上銷售與凝視的偶爾相關聯的工具或其他PV的CM影像。

《其他適用例》本發明的影像提供系統中，伺服器還可包括分類部，分類部按照將影像資料中視線的位置滿足預定的條件的用戶分為一個群組的方式將多個用戶分類，生成部可對應每個屬於被分類部分類的群組的用戶生成影像資料。

並且，影像提供系統中，伺服器還可包括抽取部，抽取部用於對視線凝視位置與目標位置不同的用戶，上述生成部可生成用於將被抽取部抽取的用戶引導至目標位置的影像資料。

並且，影像提供系統中，請求信號可包含與所分類的用戶的群組有關的群組資訊，生成部可生成包含群組資訊的影像資料。

並且，影像提供系統中，請求信號可包含用於引導視線的引導資訊，生成部可生成包含引導資訊的影像資料。

本發明的伺服器為與多個頭戴式顯示系統相連接的利用於影像提供系統的伺服器，包括：第一通信控制部，向所連接的頭戴式顯示系統發送影像資料；生成部，與上述影像資料對應地生成與從上述頭戴式顯示系統發送的與用戶視線有關的資訊相對應的新的影像資料，並向上述第一通信控制部輸出。

本發明的影像提供方法作為用於伺服器和多個頭戴式顯示系統相連接的影像提供系統中的影像提供方法，包括如下步驟：伺服器向所連接的頭戴式顯示系統發送影像資料的步驟；頭戴式顯示系統顯示從伺服器供給的影像資料的步驟；頭戴式顯示系統檢測對察看顯示於顯示部的影像資料的用戶的視線進行檢測的步驟；頭戴式顯示系統向伺服器發送與所檢測出的視線有關的資訊的步驟；伺服器生成和與從頭戴式顯示系統發送的用戶視線有關的資訊相對應的新的影像資料並發送給頭戴式顯示系統的步驟。

本發明的影像提供程式使伺服器與多個頭戴式顯示系統相連接的影像提供系統實現如下的步驟：伺服器向所連接的頭戴式顯示系統發送影像資料的步驟；與上述影像資料相對應地生成與從頭戴式顯示系統發送的用戶視線有關的資訊相對應的新的影像資料，並發送給頭戴式顯示系統的步驟。

本發明的頭戴式顯示器可包括用於顯示影像的顯示部、用於檢測出目視顯示於顯示部的影像的用戶的視線資料的檢測部、生成與檢測出的1個以上的用戶的視線資料相對應的視覺化資料的生成部。

並且，頭戴式顯示系統的生成部可生成包含利用檢測部所檢測出的視線資料確認的用戶視點的坐標位置在內的視覺化資料。

並且，頭戴式顯示系統還可包括如下的分析部，分析部利用檢測部所檢測出的視線資料來對目視顯示於顯示部的影像的用戶的多個視點的傾向進行分析，生成部可生成包含分析部的分析結果的視覺化資料。

並且，頭戴式顯示系統還可包括如下的分析部，在檢測部檢測出的視線資料中，在顯示於顯示部的影像中的預定的目標位置不存在用戶的視線的情況下，分析部分析用戶的視點，生成部可生成包含分析部的分析結果的視覺化資料。

並且，頭戴式顯示系統還可包括如下的分析部，在檢測部檢測出的視線資料中，在顯示於顯示部的影像中的預定的目標位置不存在用戶的視線的情況下，分析部對顯示該影像為止的預定時間的用戶視線的軌跡進行分析，生成部可生成包含分析部的分析結果的視覺化資料。

並且，用於在頭戴式顯示系統中顯示影像的影像資料為視頻遊戲的動態影像資料，還包括測量遊戲的達成時間的計時器，分析部可對利用計時器測量的達成時間和用戶的視線進行分析。

並且，頭戴式顯示系統的分析部針對用戶的視線資料，對應每個利用達成時間確認的等級分析用戶的視線。

並且，頭戴式顯示系統中，用於顯示影像的影像資料為與用戶輸入的操作信號相對應地變更影像的視頻遊戲的動態影像資料，分析部可分析遊戲開始時的用戶的視線。

並且，頭戴式顯示系統還可包括用於測量用戶玩該遊戲的總時間的計時器，分析部可對利用計時器測量的總時間在預定範圍時間的用戶的視線進行分析。

並且，頭戴式顯示系統中，用於顯示影像的影像資料是與用戶輸入的操作信號相對應地顯示影像變更的視頻遊戲的動態影像資料，可包括用於取得在遊戲過程中由用戶執行了預定操作的資訊的操作取得部，在操作取得部取得預定操作的執行的情況下，分析部可分析用戶的視線。

並且，頭戴式顯示系統中，預定操作可以是購買內容物的操作。

並且，頭戴式顯示系統中，用於顯示影像的影像資料為動態影像資料，還可包括用於取得用戶屬性的屬性取得部。分析部對應每個屬性對檢測部檢測出的視點的傾向進行分析，生成部可生成包含利用分析部所分析出的視點確認的資料的視覺化資料。

並且，頭戴式顯示系統中，用於顯示影像的影像資料為用戶購買的影像資料，分析部可對應每個屬性及影像資料的價格來對檢測部所取得的視頻的傾向進行分析。

並且，頭戴式顯示系統的生成部可生成在影像中追加了檢測部所取得的用戶的視點的位置的資料作為視覺化資料。

並且，頭戴式顯示系統中，用於顯示影像的影像資料為動態影像資料，視覺化資料可包含將影像資料中的各用戶的視點和影像資料的時間軸之間的關係確認的時間軸顯示部。

並且，頭戴式顯示系統的生成部可生成追加了包含分析部所分析的結果的棒圖的視覺化資料。

並且，頭戴式顯示系統還可包括用於輸出所生成的視覺化資料的輸出部。

本發明的資料顯示方法可包括如下步驟：在顯示部顯示影像的步驟；檢測出目視顯示於顯示部的影像的用戶的視線資料的步驟；生成與檢測出的1個以上的用戶的視線資料相對應的視覺化資料的步驟。

本發明的資料生成程式可使頭戴式顯示系統實現如下的功能：在顯示部顯示影像的顯示功能；檢測出目視顯示於顯示部的影像的用戶的視線資料的檢測功能；生成與檢測出的1個以上的用戶的視線資料相對應的視覺化資料的生成功能。

本發明的影像顯示系統包括：影像輸出部，用於輸出包含一人以上的人物的影像；聲音輸出部；用於輸出包含與一人以上的人物相對應的聲音的聲音；照明部，用於向利用者的前眼部發射包含不可見光的照明光；拍攝部，用於拍攝包含利用者的前眼部的前眼部影像；視線檢測部，用於分析眼部影像來檢測出利用者的視線方向；聲音生成部，在視線檢測部檢測出的利用者的視線方向上影像輸出部正在輸出的影像中存在一人以上的人物的情況下，確認該人物並使與特定人物相對應地從上述聲音輸出部輸出的聲音的輸出狀態不同於其他聲音的輸出狀態來生成利用者能夠識別的聲音資料。

並且，影像顯示系統的聲音生成部能夠將特定人物的聲音大小調高成大於其他聲音的大小，來生成利用者能夠識別的聲音資料。

並且，影像顯示系統的聲音生成部除了將特定人物的聲音大小調高成大於上述其他聲音的大小之外，還可附加附加功能。

並且，影像顯示系統還可具有如下的影像生成部，在視線檢測部所檢測出的利用者的視線方向上上述影像輸出部正在輸出的影像中不存在上述一人以上的人物的情況下，影像生成部確認該人物並將包含特定人物的至少一部分的預定區域的影像變更為比上述預定區域以外的影像更容易凝視的顯示狀態。

並且，影像顯示系統的影像輸出部可設置于利用者裝戴於頭部的頭戴式顯示器。

並且，本發明的影像表示方法可包括：影像輸出步驟，輸出包含一人以上的人物的影像；聲音輸出步驟，輸出包含與一人以上的人物相對應的聲音的聲音；照明步驟，向利用者的前眼部發射包含不可見光的照明光；拍攝步驟，拍攝包含利用者的前眼部的前眼部影像；視線檢測步驟，分析前眼部影像來檢測出利用者的視線方向；聲音生成步驟，在視線檢測步驟檢測出的利用者的視線方向上正在輸出的影像中存在一人以上的人物的情況下，確認該人物並使與特定人物相對應地從上述聲音輸出部輸出的聲音的輸出狀態不同於其他聲音的輸出狀態來生成利用者能夠識別的聲音資料。

並且，本發明的影像顯示程式使電腦執行以下功能：影像輸出功能，輸出包含一人以上的人物的影像；聲音輸出功能，輸出包含與一人以上的人物相對應的聲音的聲音；照明功能，向利用者的前眼部發射包含不可見光的照明光；拍攝功能，拍攝包含利用者的前眼部的前眼部影像；視線檢測功能，分析前眼部影像來檢測出利用者的視線方向；聲音生成功能，通過視線檢測功能檢測出的利用者的視線方向上正在輸出的影像中存在一人以上的人物的情況下，確認該人物並使與特定人物相對應地從上述聲音輸出部輸出的聲音的輸出狀態不同於其他聲音的輸出狀態來生成利用者能夠識別的聲音資料。

產業上的可利用性：本發明可利用于頭戴式顯示器。

以上所揭露的僅為本發明的優選實施例而已，當然不能以此來限定本發明之權利範圍，因此依本發明申請專利範圍所作的等同變化，仍屬本發明所涵蓋的範圍。應當理解，以上的描述意圖在於說明而非限制。例如，上述實施例(和/或其方面)可以彼此組合使用。此外，根據本發明的啟示可以做出很多改型以適於具體的情形或材料而沒有偏離本發明的範圍。通過閱讀上述描述，權利要求的範圍和精神內的很多其它的實施例和改型對本領域技術人員是顯而易見的。

I、II‧‧‧影像提供系統

1、1b‧‧‧頭戴式顯示系統

1c‧‧‧影像顯示系統

100‧‧‧頭戴式顯示器

103‧‧‧紅外線光源

118‧‧‧第三通信控制部

121‧‧‧顯示部、

122‧‧‧紅外線發射部

123‧‧‧影像處理部

124‧‧‧拍攝部

124a‧‧‧拍攝電路

130‧‧‧影像顯示系統

132‧‧‧聲音輸出部

200‧‧‧視線檢測裝置

20‧‧‧中央處理器、控制部

201‧‧‧第二通信控制部

202‧‧‧檢測部

203‧‧‧影像生成部

203a‧‧‧影像生成電路

204‧‧‧影像輸出部

201b‧‧‧通信控制部

202b‧‧‧檢測部

203b‧‧‧分析部

204b‧‧‧計時器

205b‧‧‧操作取得部

206b‧‧‧屬性取得部

207b‧‧‧生成部

208b‧‧‧輸出部

213‧‧‧視線檢測部

214‧‧‧影像生成部

215‧‧‧聲音生成部

21‧‧‧存儲裝置

22‧‧‧通信介面

23‧‧‧輸入裝置

24‧‧‧輸出裝置

400‧‧‧伺服器

40‧‧‧中央處理器

401‧‧‧第一通信控制部

402‧‧‧生成部

403‧‧‧分類部

404‧‧‧抽取部

41‧‧‧存儲裝置

P2‧‧‧視線檢測程式

P3‧‧‧資料生成程式

42‧‧‧通信介面

圖1為表示第一實施方式的影像提供系統的簡圖； 圖2a為表示第一實施方式的影像提供系統的伺服器的結構的塊圖； 圖2b為表示第一實施方式的影像提供系統的頭戴式顯示系統的結構的塊圖； 圖3為表示用戶裝戴第一實施方式的頭戴式顯示器的樣子的外觀圖； 圖4為示意性地表示第一實施方式的頭戴式顯示器的影像顯示系統的大致外觀的立體圖； 圖5為示意性地表示第一實施方式的頭戴式顯示器的影像顯示系統的光學結構的圖； 圖6為說明用於檢測第一實施方式的頭戴式顯示系統的視線方向的校準的示意圖； 圖7為表示用戶的眼角膜的位置坐標的示意圖； 圖8為說明第一實施方式的影像提供系統的伺服器的處理的流程圖； 圖9為說明第一實施方式的影像提供系統的頭戴式顯示系統的處理的流程圖； 圖10的（a）部分至圖10的（c）部分為顯示於第一實施方式的影像提供系統的頭戴式顯示系統的畫面資料的一例； 圖11為說明第一實施方式的影像提供系統的伺服器的再一處理的流程圖； 圖12的（a）部分、圖12的（b）部分為顯示於第一實施方式的影像提供系統的頭戴式顯示系統的畫面資料的再一例； 圖13為說明第一實施方式的影像提供系統的伺服器另一處理的流程圖； 圖14的（a）部分至圖14的（c）部分為顯示於第一實施方式的影像提供系統的頭戴式顯示系統的畫面資料另一例； 圖15的（a）部分至圖15的（c）部分為顯示於第一實施方式的影像提供系統的頭戴式顯示系統的畫面資料的還一例； 圖16為表示第二實施方式的影像提供系統的簡圖； 圖17的（a）部分至圖17的（c）部分為顯示於第二實施方式的影像提供系統的主系統的畫面資料的一例； 圖18為說明第二實施方式的影像提供系統的主系統的處理的流程圖； 圖19a為表示伺服器的電路結構的塊圖； 圖19b為表示頭戴式顯示系統的電路結構的塊圖； 圖20為表示第三實施方式的頭戴式顯示系統的結構的塊圖； 圖21的（a）部分、圖21的（b）部分為說明第三實施方式的頭戴式顯示系統的處理的流程圖； 圖22的（a）部分、圖22的（b）部分為顯示於第三實施方式的頭戴式顯示系統的視覺化的一例； 圖23的（a）部分至圖23的（c）部分為顯示於第三實施方式的頭戴式顯示系統的視覺化的另一例； 圖24表示第四實施方式的影像顯示系統，是影像顯示系統結構的塊圖； 圖25表示第四實施方式的影像顯示系統，是表示影像顯示系統的動作的流程圖； 圖26表示第四實施方式的影像顯示系統，是影像顯示系統所顯示的影像處理前的影像顯示例的說明圖；以及 圖27表示第四實施方式的影像顯示系統，影像顯示系統所顯示的影像處理狀態的影像顯示例的說明圖。

Claims (5)

1. 一種影像提供系統，將多個頭戴式顯示系統與伺服器相連接，其特徵在於， 上述伺服器包括： 第一通信控制部，向所連接的上述頭戴式顯示系統發送影像資料； 生成部，與上述影像資料對應地生成與從上述頭戴式顯示系統發送的與用戶視線有關的資訊相對應的新的影像資料，並向上述第一通信控制部輸出； 上述頭戴式顯示系統包括： 顯示部，用於顯示從上述伺服器供給的影像資料； 檢測部，用於對察看顯示於上述顯示部的影像資料的用戶的視線進行檢測； 第二通信控制部，向上述伺服器發送與上述檢測部所檢測出的視線有關的資訊。
2. 如申請專利範圍第1項所述之影像提供系統，其特徵在於： 上述生成部生成影像資料中包含與多個頭戴式顯示系統所檢測出的視線有關的資訊的影像資料， 上述第一通信控制部發送包含上述視線的影像資料。
3. 如申請專利範圍第1項所述之影像提供系統，其特徵在於： 上述多個頭戴式顯示系統中的至少一個為主系統，其他頭戴式顯示系統為客戶系統， 上述生成部生成影像資料中包含與多個客戶系統所檢測出的視線有關的資訊的影像資料， 上述第一通信控制部向上述主系統發送包含與上述視線有關的資訊的影像資料。
4. 如申請專利範圍第3項所述之影像提供系統，其特徵在於： 上述主系統還包括輸入部，上述輸入部從用戶接收請求生成追加了與包含在影像資料中的視線相對應的資訊的影像資料的請求輸入， 上述主系統的上述第二通信控制部向上述伺服器發送輸入於上述輸入部的請求信號， 上述生成部生成與從上述主系統發送的請求信號相對應的新的影像資料。
5. 如申請專利範圍第2-4項任一項所述之影像提供系統，其特徵在於，上述生成部只追加與從多個頭戴式顯示系統之中選擇的頭戴式顯示系統所檢測出的視線有關的資訊來生成新的影像資料。