TW201921028A - 影像顯示系統、影像顯示方法及影像顯示程式 - Google Patents

影像顯示系統、影像顯示方法及影像顯示程式 Download PDF

Info

Publication number
TW201921028A
TW201921028A TW107127049A TW107127049A TW201921028A TW 201921028 A TW201921028 A TW 201921028A TW 107127049 A TW107127049 A TW 107127049A TW 107127049 A TW107127049 A TW 107127049A TW 201921028 A TW201921028 A TW 201921028A
Authority
TW
Taiwan
Prior art keywords
image
user
display
unit
shooting
Prior art date
Application number
TW107127049A
Other languages
English (en)
Inventor
谷口真治
Original Assignee
美商Ｆｏｖｅ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｆｏｖｅ股份有限公司 filed Critical 美商Ｆｏｖｅ股份有限公司
Publication of TW201921028A publication Critical patent/TW201921028A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種基於用戶的視線方向來生成的下一個幀的生成時間充裕的影像顯示系統。影像顯示系統包括裝戴件、視線檢測部及影像生成部，裝戴件包括：接收部，用於接收影像；顯示部，用於顯示接收部所接收的影像；照射部，用於向用戶的眼睛照射近紅外線；拍攝部，基於近紅外線來拍攝用於察看顯示於顯示部中的影像的用戶的眼睛。用戶通過裝戴裝戴件來觀看影像，視線檢測部為基於拍攝部拍攝而得的拍攝圖像來檢測用戶的凝視點，影像生成部為基於視線檢測部檢測出的凝視點來生成要顯示於裝戴件中的影像，裝戴件具有控制部，對拍攝部指示拍攝的開始時間點。

Description

影像顯示系統、影像顯示方法及影像顯示程式
本發明是有關一種基於用戶的凝視點來生成並顯示影像的影像顯示系統、影像顯示方法及影像顯示程式。
以往，作為通過裝戴於用戶的頭部來提供影像的工具，研究開發有頭戴式顯示器、佩戴式眼鏡等，其中，還有用於檢測用戶的視線的。在專利文獻1中公開有可檢測用戶的視線方向的信息處理裝置，並公開有每當在規定的時間點取得用戶的眼球圖像。
現有技術文獻 專利文獻 專利文獻1：日本特開2015-90569號公報。
然而，像這種視線的檢測具有例如，就影像而言，利用於下一個幀的影像數據的製作中的情況。更具體地，例如，用戶在觀看360度影像的情況下，製作並顯示以用戶的視線為中心的下一個幀的影像數據。此時，利用對觀看影像的用戶的眼睛進行拍攝而得的拍攝圖像來進行視線的指定，但在每一個規定的時間點上的拍攝當中存在無法保證該拍攝圖像為實際上用戶正在看著上述幀的情況的問題。並且，在準備下一個幀時，需經過所謂拍攝用戶的眼睛、分析通過拍攝取得的拍攝圖像、指定凝視點的工序之後，準備影像數據，因此還存在能夠用於影像數據的準備當中的時間較短的問題。
因此，本發明鑒於上述問題而提出，其目的在於，提供如下的影像顯示系統：可更準確地獲得正在觀看各個幀的用戶的眼睛的拍攝圖像，並且可以確保用於準備用戶觀看的影像數據的時間比過去更長。
為了解決上述技術問題，本發明的一實施方式的影像顯示系統包括裝戴件、視線檢測部及影像生成部，上述裝戴件包括：接收部，用於接收影像；顯示部，用於顯示接收部所接收的影像；照射部，用於向用戶的眼睛照射近紅外線；以及拍攝部，基於近紅外線來拍攝用於察看顯示於顯示部中的影像的用戶的眼睛，用戶通過裝戴裝戴件來觀看影像，上述視線檢測部為基於拍攝部拍攝而得的拍攝圖像，來檢測用戶的凝視點，上述影像生成部為基於視線檢測部檢測出的凝視點，來生成要顯示於裝戴件中的影像，裝戴件具有控制部，每當顯示部中所要顯示的影像的各個幀被顯示時，為了可在推定為用戶正在察看該幀的時間點上執行藉助拍攝部的拍攝，上述控制部對拍攝部指示拍攝的開始時間點。
為了解決上述技術問題，本發明的一實施方式的影像顯示方法包括：用於接收影像的接收步驟；用於顯示在接收步驟中所接收到的影像的顯示步驟；用於向用戶的眼睛照射近紅外線的照射步驟；每當在顯示步驟中所要顯示的影像的幀被顯示時，為了可在推定為用戶正在察看該幀的時間點上執行拍攝，而指示拍攝的開始時間點的控制步驟；按照所指示的開始時間點，基於近紅外線來拍攝察看在顯示步驟中所顯示的影像的用戶的眼睛的拍攝步驟；基於在拍攝步驟中拍攝而得的拍攝圖像，來檢測用戶的凝視點的視線檢測步驟；以及基於在視線檢測步驟中檢測出的凝視點，來生成要顯示於裝戴件中的影像的影像生成步驟。
為了解決上述技術問題，本發明的一實施方式的影像顯示程式為使計算機用於實現如下的功能：接收功能，用於接收影像；顯示功能，用於顯示接收功能所接收的影像；照射功能，向用戶的眼睛照射近紅外線；控制功能，每當顯示功能所要顯示的影像的幀被顯示時，為了可在推定為用戶正在察看該幀的時間點上執行拍攝，而指示拍攝的開始時間點；拍攝功能，按照所指示的開始時間點，基於近紅外線拍攝察看顯示功能所顯示的影像的用戶的眼睛；視線檢測功能，基於利用拍攝功能拍攝而得的拍攝圖像，來檢測用戶的凝視點；以及影像生成功能，基於視線檢測功能檢測出的凝視點，來生成要顯示於裝戴件中的影像。
並且，上述影像顯示系統還可以為如下：接收部將所接收到的影像的影像數據轉換為用於顯示在顯示部中的形式，顯示部輸出用於表示接收部所轉換的影像數據的顯示的開始的同步信號，控制部基於同步信號向拍攝部輸出用於對拍攝部指示開始時間點的指示信號。
並且，在上述影像顯示系統中，控制部還可以根據用戶從顯示部中幀的顯示開始至察看之間的時間，來輸出指示信號。
並且，在上述影像顯示系統中，控制部還可以為用於控制照射部向用戶的眼睛照射近紅外線的時間點。
本發明的一實施方式的影像顯示系統可通過控制拍攝用戶的眼睛的時間點，來更準確地拍攝正在觀看影像的用戶的眼睛。並且，影像顯示系統通過控制拍攝的時間點，來使拍攝的時間點的開始比以往提前，使得為下一個觀看的影像數據的準備帶來時間上的寬裕。
以下，參照附圖來對本發明的影像顯示系統的一實施方式進行說明。
實施方式
本發明的影像顯示系統如圖1所示，影像顯示系統1包括裝戴件100、視線檢測裝置200及影像生成部250，裝戴件100包括：接收部110，用於接收影像；顯示部102，用於顯示接收部所接收的影像；照射部135，用於向用戶的眼睛照射近紅外線；拍攝部140，基於近紅外線拍攝用於察看顯示部102中所顯示的影像的用戶的眼睛，用戶通過裝戴裝戴件100來觀看影像，視線檢測裝置200為基於上述拍攝部拍攝而得的拍攝圖像，來檢測用戶的凝視點，影像生成部250為基於視線檢測部220檢測出的凝視點，來生成要顯示於裝戴件100中的影像，裝戴件100包括控制部，每當顯示部102中所要顯示的影像的各個幀被顯示時，為了可在推定為用戶正在察看該幀的時間點上執行藉助拍攝部140的拍攝，而對拍攝部140指示拍攝的開始時間點。
即，影像顯示系統1通過控制藉助拍攝部140的拍攝時間點，可在推定為實際上用戶正在察看的時間點上拍攝顯示部102中所顯示的影像（幀）的同時，可帶有某種程度上的時間上的寬裕來生成下一個用戶察看的影像（幀）。以下，對影像顯示系統1進行詳細地說明。
圖2為示意性地示出實施方式的影像顯示系統1的大致外觀的圖。實施方式的影像顯示系統1包括作為裝戴件100的一例來示出的頭戴式顯示器100及視線檢測裝置200。在下文中，裝戴件100記載為頭戴式顯示器100。如圖2所示，頭戴式顯示器100通過裝戴於用戶300的頭部來使用。
視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼的至少一個視線方向，並指定用戶的焦點，即，頭戴式顯示器中所顯示的三維圖像中的用戶正在凝視的位置。並且，視線檢測裝置200還用作生成頭戴式顯示器100顯示的影像的影像生成裝置。雖然不做限定，但作為一例，視線檢測裝置200為桌上型遊戲機、便攜式遊戲機、個人計算機、平板電腦、智能手機、平板手機、視頻播放器、電視機等的可再生影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖2中所示的例中，示出視線檢測裝置200藉助有線（例如，通用序列匯流排（USB）線）與頭戴式顯示器100相連接的例，但這還可以為無線連接。在無線連接的情況下，視線檢測裝置200與頭戴式顯示器100進行的無線連接可利用例如已知的無線保真（Wi-Fi，註冊商標）或藍牙（Bluetooth，註冊商標）等的無線通信技術來實現。雖然不做限定，但作為一例，頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸遵照Miracast（註冊商標）或WiGig（註冊商標）、WHDI（註冊商標）等的標準來執行。
此外，圖2示出頭戴式顯示器100與視線檢測裝置200為不同的裝置的情況時的例。但是，視線檢測裝置200還可內置於頭戴式顯示器100中。
頭戴式顯示器100包括框體150、裝戴件160及頭戴式耳機170。框體150用於收納圖像顯示組件等用於向用戶300提供影像的圖像顯示系統或未圖示的無線保真模組或藍牙（Bluetooth，註冊商標）模組等的無線傳輸模組。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160可利用例如，帶子或具有伸縮性的帶子等來實現。當用戶300利用裝戴件160來裝戴頭戴式顯示器100時，框體150配置於覆蓋用戶300的眼睛的位置。因此，當用戶300裝戴頭戴式顯示器100時，用戶300的視野被框體150遮擋。
頭戴式耳機170用於輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170可不固定於頭戴式顯示器100。用戶300即使處於利用裝戴件160來裝戴了頭戴式顯示器100的狀態，也可將頭戴式耳機170裝拆自如。
圖3為示意性地示出實施方式的頭戴式顯示器100的圖像顯示系統130的大致外觀的立體圖。更具體地，圖3為示出在實施方式的框體150中的與裝戴了頭戴式顯示器100時的與用戶300的眼角膜302相向的區域的圖。
如圖3所示，在用戶300裝戴了頭戴式顯示器100的情況下，左眼用凸透鏡114a處於與用戶300的左眼的眼角膜302a相向的位置。相同地，在用戶300裝戴了頭戴式顯示器100的情況下，右眼用凸透鏡114b處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a與右眼用凸透鏡114b分別由左眼用透鏡支持部152a與右眼用透鏡支持部152b夾持。
在以下本說明書中，除了要特別區分左眼用凸透鏡114a與右眼用凸透鏡114b的情況之外，僅記載為「凸透鏡114」。相同地，除了要特別區分用戶300的左眼的眼角膜302a與用戶300的右眼的眼角膜302b的情況之外，僅記載為「眼角膜302」。左眼用透鏡支持部152a與右眼用透鏡支持部152b也除了特別區分的情況之外，記載為「透鏡支持部152」。
在透鏡支持部152中設有多個紅外線光源103。為了避免說明複雜，在圖3中，將對用戶300的左眼的眼角膜302a照射紅外光的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b照射紅外光的紅外線光源統稱為紅外線光源103b。以下，除了要特別區分紅外線光源103a與紅外線光源103b的情況之外，記載為「紅外線光源103」。在圖3所示的例中，左眼用透鏡支持部152a具有6個紅外線光源103a。相同地，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，紅外線光源103安裝變得容易。通常由於透鏡支持部152由樹脂等形成，因此比由玻璃等形成的凸透鏡114更容易進行用於安裝紅外線光源103的加工。
如上所述，透鏡支持部152為用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡對各隻眼睛照射紅外光的紅外線光源103設定為6個，但該數量不限定於此，只要是對應於每隻眼睛至少一個即可，優選地，配置兩個以上。
圖4為示意性地示出實施方式的框體150所收納的圖像顯示系統130的光學結構的圖，並且為從左眼側的側面觀察圖3所示的框體150的圖。圖像顯示系統130包括紅外線光源103、圖像顯示組件108、熱反射鏡112、凸透鏡114、攝影機116及輸出部180。
紅外線光源103為可照射近紅外（700nm～2500nm左右）的波長的光的光源。通常，近紅外線為通過用戶300的肉眼無法觀測到的不可見光的波長帶的光。
圖像顯示組件108顯示用於提示給用戶300的圖像。圖像顯示組件108所顯示的圖像由視線檢測裝置200內的影像生成部232生成。關於影像生成部232在下文中敘述。圖像顯示組件108可利用例如已知的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro Luminescence Display）等來實現。
在用戶300裝戴了頭戴式顯示器100的情況下，熱反射鏡112配置於圖像顯示組件108與用戶300的眼角膜之間。熱反射鏡112具有透射圖像顯示組件108所生成的可見光但反射近紅外線的性質。
相對於熱反射鏡112，凸透鏡114配置於圖像顯示組件108的相反側。換言之，在用戶300裝戴了頭戴式顯示器100的情況下，凸透鏡114配置於熱反射鏡112與用戶300的眼角膜302之間。即，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。
凸透鏡114匯聚透射熱反射鏡112的圖像顯示光。因此，凸透鏡114具有用作通過放大圖像顯示組件108生成的圖像來提示給用戶300的圖像放大部的功能。此外，為了便於說明，在圖3中僅示出一個凸透鏡114，但凸透鏡114可以為由各種透鏡組合而成的透鏡組，還可以為一側具有曲率、另一側為平面的單凸透鏡。
多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103朝向用戶300的眼角膜302照射紅外光。
雖然未圖示，但實施方式的頭戴式顯示器100的圖像顯示系統130具有兩個圖像顯示組件108，並且可單獨地生成用於提示給用戶300的右眼的圖像與用於提示給左眼的圖像。因此，實施方式的頭戴式顯示器100可向用戶300的右眼與左眼分別提示右眼用視差圖像與左眼用視差圖像。由此，實施方式的頭戴式顯示器100可對用戶300提示具有層次感的立體影像。
如上所述，熱反射鏡112透射可見光，並反射近紅外線。因此，圖像顯示組件108所照射的圖像光透射熱反射鏡112之後到達至用戶300的眼角膜302。
到達用戶300的眼角膜302的紅外光在用戶300的眼角膜302被反射，重新朝向凸透鏡114的方向。該紅外光透射凸透鏡114，並在熱反射鏡112被反射。攝影機116具有用於遮擋可見光的過濾器，並用於拍攝在熱反射鏡112被反射的近紅外線。即，攝影機116為拍攝從紅外線光源103照射並由用戶300的眼睛進行角膜反射的近紅外線的近紅外攝影機。
此外，雖然未圖示，但實施方式的頭戴式顯示器100的圖像顯示系統130具有兩個攝影機116，即，用於拍攝包括由右眼進行反射的紅外光的圖像的左眼攝影機116a與用於拍攝包括由左眼進行反射的紅外光的圖像的右眼攝影機116b。由此，可獲取用於檢測用戶300的右眼及左眼的雙眼的視線方向的圖像。
輸出部180向檢測用戶300的視線方向的視線檢測裝置200輸出攝影機116拍攝而得的圖像。具體地，輸出部180將攝影機116拍攝而得的圖像發送給視線檢測裝置200。對於視線檢測部220的詳細說明將在下文中敘述，但是通過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所執行的視線檢測程式來實現。此外，在頭戴式顯示器100具有中央處理器或儲存器等的計算資源的情況下，頭戴式顯示器100的中央處理器還可執行用於實現視線方向檢測部的程式。
在下文中進行詳細說明，在攝影機116拍攝而得的圖像中拍攝有因由用戶300的眼角膜302進行反射的近紅外線引起的亮點及包括在近紅外的波長帶觀察到的用戶300的眼角膜302的眼睛的圖像。來自紅外線光源的近紅外線雖然在一定程度上具有指向性，但還照射一定程度的漫射光，用戶300的眼睛的圖像為由該漫射光進行拍攝。
以上，對實施方式的圖像顯示系統130中的主要用於向用戶300的左眼提示圖像的結構進行了說明，但用於向用戶300的右眼提示圖像的結構與上述相同。
再返回到圖1，圖1為示出影像顯示系統1的詳細結構的框圖。如圖1所示，影像顯示系統1包括頭戴式顯示器100及視線檢測裝置200。
如圖1所示，頭戴式顯示器100包括接收部110、顯示部102、控制部120、照射部135、拍攝部140及輸出部180。接收部110、顯示部102、控制部120、照射部135、拍攝部140及輸出部180通過互不相同的電路實現，以如圖所示的方式相連接。
接收部110具有接收在顯示部102中所要顯示的影像數據的功能。接收部110包括輸入端子111及輸出端子113。輸入端子111例如，作為視頻信號來接收影像數據。並且，接收部110將所接收到的視頻信號轉換為移動產業處理器介面（MIPI，Mobile Industry Processor Interface）形式。並且，從輸出端子113將轉換後的視頻信號輸出，並傳輸給顯示部102。接收部110為用於接收影像數據的輸入介面，輸入端子111可以為例如，通用序列匯流排端子。此外，在這裡，將所接收的視頻信號轉換為移動產業處理器介面形式，但此為一例，還可以轉換為如低壓差分信號（LVDS，Low Voltage Differential Signaling）、基帶信號等的其他形式的信號，以下同樣適用。並且，就輸入端子而言，通用序列匯流排端子僅為一例，還可以為其他端子或輸入機構，還可利用高清晰度多介質介面（HDMI，High Definition Multimedia Interface，註冊商標）、顯示埠、無線通信晶片等。
顯示部102為具有顯示接收部110所接收的影像數據的功能的顯示單元。顯示部102在輸入端子104接收被傳輸的移動產業處理器介面形式的視頻信號，並將基於所接收的視頻信號的圖像顯示在圖像顯示組件108。並且，顯示部102使用垂直同步信號來作為寫入的開始的觸發，在輸出該垂直同步信號的同時，還從輸出端子106向控制部120輸出。此外，在這裡，示例了從輸出端子106輸出垂直同步信號的結構，但這還可利用從接收部110具有的同步用輸出向控制部120輸出的結構。並且，顯示部102將從影像生成部250輸出的標記圖像顯示在圖像顯示組件108的被指定的座標中。
控制部120具有用於控制拍攝部140的拍攝的時間點功能。並且，控制部120還具有用於控制由照射部135照射來自紅外線光源103的近紅外線的時間點的功能。控制部120具有輸入端子121、輸入端子122、照射延遲控制部123、拍攝延遲控制部124、輸出端子125及輸出端子126。控制部120為例如，微處理器。
輸入端子121為用於與視線檢測裝置200相連接的端子，從視線檢測裝置200接收察看時間點，並向照射延遲控制部123、拍攝延遲控制部124進行傳輸。其中，所謂察看時間點為關於影像的1幀由顯示部102來被顯示之後，實際上用戶300察看內容並確定了凝視點時的時間的信息。根據用戶300，察看時間點因其反應速度之差而其時間發生變化（前後）。
輸入端子122為用於接收從顯示部102輸出的垂直同步信號的端子，將接收了該信號的時間點傳輸給拍攝延遲控制部124。
照射延遲控制部123具有利用照射部135的左眼用發光二極體103a及右眼用發光二極體103b來控制向用戶300的眼睛照射近紅外線的照射時間點的功能。具體地，照射延遲控制部123是基於從輸入端子121傳輸的察看時間點及從輸入端子122傳輸的垂直同步信號的時間點，以在所要拍攝用戶的眼睛的時間點上照射近紅外線的方式生成照射時間點信號，並向輸出端子125傳輸。優選地，照射時間點比由拍攝部140的拍攝的時間點稍微更早。此外，嚴謹地說來，照射時間點表示影像數據的下一個幀中的在拍攝用戶的眼睛的時間點上照射近紅外線的時間點。可通過控制從紅外線光源103（發光二極體103a、103b）照射近紅外線的時間點，進行開/關（ON/OFF），來謀求照射部135中的節電。
拍攝延遲控制部124具有控制各個拍攝部140對左眼攝影機116a及右眼攝影機116b所要拍攝用戶的眼睛的時間點的功能。基於由輸入端子121傳輸的察看時間點及由輸入端子122傳輸的垂直同步信號的時間點，拍攝延遲控制部124生成用於表示拍攝部140所要開始拍攝的拍攝時間點的拍攝時間點信號，並傳輸給輸出端子126。拍攝時間點信號還可稱為指示拍攝的啟動的信號，在推定為用戶300實際上察看由顯示部102所顯示的影像的1幀並確定了凝視點的時間點上進行拍攝。此外，嚴格來說，拍攝時間點表示影像數據的下一個幀中所要拍攝用戶的眼睛的時間點。
輸出端子125具有對照射部135傳輸所傳輸的照射時間點信號的功能。
輸出端子126具有對拍攝部140傳輸所傳輸的拍攝時間點信號的功能。
照射部135具有向用戶的眼睛照射近紅外線的功能。照射部135包括左眼用發光二極體（近紅外線源）103a及右眼用發光二極體（近紅外線源）103b。根據從輸出端子125所傳輸的照射時間點信號，照射部135對左眼用發光二極體103a及右眼用發光二極體103b進行點燈。
拍攝部140具有基於由照射部135所照射的近紅外線來拍攝用戶300的眼睛的功能。拍攝部140包括左眼攝影機116a及右眼攝影機116b。根據從輸出端子126所傳輸的拍攝時間點信號，拍攝部140啟動左眼攝影機116a及右眼攝影機116b，並拍攝察看影像的用戶300的眼睛。拍攝部140將拍攝而得的拍攝圖像傳輸給輸出部180。此外，拍攝時間點的控制還可以為控制打開全局快門的時間點的。
輸出部180為具有將拍攝部140拍攝而得的拍攝圖像傳輸給視線檢測裝置200的功能的介面。輸出部180包括輸入端子182及輸出端子181。在輸入端子182，輸出部180將從拍攝部140所接收的拍攝圖像通過輸出端子181傳輸給視線檢測裝置200。輸出端子181可通過例如，通用序列匯流排端子來實現。
以上為頭戴式顯示器100的結構。接著，對視線檢測裝置200進行說明。
視線檢測裝置200包括輸入端子210、視線檢測部220、影像生成部250、輸出端子230及輸出端子240。
輸入端子210為用於接收從頭戴式顯示器100所發送的拍攝圖像的輸入的端子。輸入端子210可通過例如，通用序列匯流排端子來實現。輸入端子210將所接收的拍攝圖像傳輸給視線檢測部220。
視線檢測部220具有基於被傳輸的拍攝圖像來檢測用戶300的視線的功能。視線檢測部220可通過例如，微處理器來實現。視線檢測部220包括圖像分析部221、檢測部222及拍攝控制部223。
圖像分析部221從被傳輸的拍攝圖像指定用戶300的眼角膜位置等。
檢測部222利用由圖像分析部221的拍攝圖像的分析結果來檢測用戶300的影像中的凝視點。檢測部222將檢測出的凝視點傳輸給影像生成部250。
拍攝控制部223指定直到用戶300實際上察看所顯示的影像所需的時間，並且將該時間作為察看時間點來向輸出端子230進行傳輸。拍攝控制部223通過利用例如，作為預先確定的直至通常被認為人正在明確地察看對象所需的時間而默認的值，或者利用由圖像變化的時間點與凝視點變化的時間點的時間間隔獲得的延遲推定值，來指定直至察看所需的時間。
在下文中敘述根據視線檢測部220的用戶300的視線的檢測方法的進一步的詳細說明。
基於從檢測部222所傳輸的用戶300的凝視點，影像生成部250生成下一個幀的影像數據。例如，影像生成部250生成以用戶300的凝視點為中心的規定範圍（例如，可顯示於頭戴式顯示器100的圖像顯示組件108的顯示範圍）的影像數據。並且，影像生成部250可通過例如，將以用戶300的凝視點為中心的規定範圍作為高分辨率、將該規定範圍以外作為低分辨率來生成影像數據。並且，將所生成的影像數據傳輸給輸出端子240。
輸出端子230具有將從拍攝控制部223所傳輸的察看時間點傳輸給頭戴式顯示器100的功能。輸出端子230可通過例如，通用序列匯流排端子來得以實現。
輸出端子240具有將從影像生成部250所傳輸的影像數據作為視頻信號來傳輸給頭戴式顯示器100的功能。輸出端子240可通過例如，通用序列匯流排端子來實現，但與輸入端子相同地，還可利用高清晰度多介質介面、顯示埠等。並且，輸出端子240還向拍攝控制部223傳輸用於輸出影像數據的時間點。由此，拍攝控制部223可與輸出的影像數據同步地傳輸察看時間點，因此頭戴式顯示器100可實現與從視線檢測裝置200輸出的影像數據同步的拍攝。
以上為視線檢測裝置200的結構的說明。接著，對用戶的凝視點的檢測來進行說明。
圖5為說明用於實施方式的視線方向的檢測的校準的示意圖。用戶300的視線方向通過如下方式來得以實現：將由攝影機116進行拍攝並由輸出部180向視線檢測裝置200進行輸出的影像由視線檢測裝置200內的視線檢測部220進行分析。
影像生成部232生成如圖5所示的點Q1～點Q9的9個點（標記圖像），並使得在頭戴式顯示器100的圖像顯示組件108中顯示。視線檢測裝置200使用戶300依次凝視點Q1～點Q9。此時，用戶300需要儘可能地僅通過眼球的移動來凝視各點而不移動頸部。攝影機116用於拍攝用戶300正在凝視點Q1～點Q9的9個點時的且包含用戶300的眼角膜302的圖像。
圖6為說明用戶300的眼角膜302的位置座標的示意圖。視線檢測裝置200內的視線檢測部220通過分析攝影機116拍攝而得的圖像來檢測來自紅外光的亮點105。當用戶300僅通過眼球的移動來凝視各點時，無論用戶正在凝視任何一點，都認為亮點105的位置不移動。因此，基於檢測出的亮點105，視線檢測部220在攝影機116拍攝而得的圖像中設定二維座標系306。
視線檢測部220還通過分析攝影機116拍攝而得的圖像，來檢測用戶300的眼角膜302的中心P。這可通過利用例如霍夫變換或邊緣提取處理等已知的圖像處理來實現。由此，視線檢測部220可獲取在所設定的二維座標系306中的用戶300的眼角膜302的中心P的座標。
在圖5中，圖像顯示組件108所顯示的顯示畫面中設定的二維座標系中的點Q1～點Q9的座標分別設定為Q1（x1，y1）T、Q2（x2，y2）T…、Q9（x9，y9）T。各座標成為例如位於各點的中心的像素的編號。並且，將當用戶300正在凝視點Q1～點Q9時的用戶300眼角膜302的中心P分別設定為點P1～P9。此時，將二維座標系306中的點P1～P9的座標分別設為P1（X1，Y1）T、P2（X2，Y2）T、…、P9（X9，Y9）T。此外，T表示向量或矩陣的轉置。
現在，將大小為2×2的矩陣M定義為下式（1）。 數學式1
此時，當矩陣M滿則下式（2）時，矩陣M為將用戶300的視線方向投影在圖像顯示組件108所顯示的圖像面的矩陣。 QN＝MPN（N＝1，…，9）（2） 當具體地寫下上述式（2）時，如下式（3）。 數學式2當對式（3）進行變形時，取得下式（4）。 數學式3其中，若進行如下的替換， 數學式4則取得下式（5）。 y＝Ax（5）
在式（5）中，向量y的元素為視線檢測部220使顯示於圖像顯示組件108中的點Q1～點Q9的座標，因而為已知的。並且，矩陣A的元素為用戶300的眼角膜302的頂點P的座標，因而可取得。因此，視線檢測部220可獲得向量y及矩陣A。此外，排列了轉換矩陣M的元素的向量的向量x為未知的。因此，推定矩陣M的問題成為在向量y與矩陣A為已知的情況下，求得未知向量x的問題。
若與未知數的數量（即向量x的元素數量4）相比，式的數量（即，視線檢測部220在校準時向用戶300提示的點Q的數量）更多，式（5）成為超定（overdetermined）問題。在式（5）所示的例中，式的數量為9個，因此為超定問題。
將向量y與向量Ax的誤差向量設定為向量e。即，e＝y－Ax。此時，在使向量e的元素的平方和為最小的意義方面上，最佳的向量xopt為由下式（6）來求得。 xopt ＝（AT A）－ 1 AT y （6） 其中，“－1”表示反矩陣。
視線檢測部220通過利用求得的向量xopt的元素，來構成式（1）的矩陣M。由此，視線檢測部220可通過利用用戶300的眼角膜302的頂點P的座標與矩陣M，並根據式（2），來推定用戶300的右眼正在凝視顯示在圖像顯示組件108中的動態圖像上的何處。其中，視線檢測部220進一步從頭戴式顯示器100接收用戶的眼睛與圖像顯示組件108之間的距離信息，並根據距離信息，來修改所推定的用戶正在凝視的座標值。此外，根據用戶的眼睛與圖像顯示組件108之間的距離的凝視位置的推定誤差可作為誤差的範圍來忽視。由此，視線檢測部220可計算出用於使圖像顯示組件108上的右眼的凝視點與用戶的右眼的眼角膜的頂點相連接的右眼視線向量。相同地，視線檢測部220可計算出用於使圖像顯示組件108上的左眼的凝視點與用戶的左眼的眼角膜的頂點相連接的左眼視線向量。此外，可通過僅一隻眼睛的視線向量來指定二維平面上的用戶的凝視點，並且還可通過取得兩眼的視線向量來計算出用戶的凝視點的深度方向的信息。通過這種方法，視線檢測裝置200可指定用戶的凝視點。此外，在此所示的凝視點的指定方法為一例，還可利用本實施方式所示的方法以外的方法，來指定用戶的凝視點。
以上為影像顯示系統1的結構。
工作
圖7為示出影像顯示系統1中的頭戴式顯示器100的工作的流程圖。圖7為示出對於影像數據的1幀的頭戴式顯示器100的工作的圖，圖7所示的處理被反覆執行。
如圖7所示，首先，頭戴式顯示器100的接收部110從視線檢測裝置200接收影像數據（步驟S701）。接收部110將所接收的視頻信號轉換為移動產業處理器介面形式的信號，並傳輸給顯示部102。
顯示部102開始進行所接收的移動產業處理器介面形式的影像信號的顯示（步驟S702），並將垂直同步信號從輸出端子106向控制部120輸出，控制部120在輸入端子122接收該垂直同步信號。
另一方面，控制部120的輸入端子121從視線檢測部220接收用戶300的察看時間點的輸入（步驟S703）。輸入端子121將所接收的察看時間點傳輸給照射延遲控制部123與拍攝延遲控制部124。
基於所傳輸的察看時間點，照射延遲控制部123確定下一個幀的延遲量。並且，基於所傳輸的察看時間點與垂直同步信號的時間點，拍攝延遲控制部124確定下一個幀的延遲量（步驟S704）。即，拍攝延遲控制部124向所傳輸的垂直同步信號加上基於察看時間點從影像的顯示開始至用戶實際察看的時間，從那減去拍攝開始至實際進行拍攝所需的時間，當減去結果為負值時，將影像數據中幀的1周期的時間相加，來生成拍攝時間點信號。此外，在確立了有關照射與拍攝的時間點的周期性之後，還可以設定為照射延遲控制部123或拍攝延遲控制部124通過固定來自垂直同步信號的延遲時間，來生成照射時間點信號或拍攝時間點信號。
控制部120基於所確定的延遲量將所生成的照射時間點信號傳輸給照射部135的同時，並將所生成的拍攝時間點信號傳輸給拍攝部140（步驟S705）。
在所傳輸的照射時間點信號中示出的時間點上，照射部135對左眼用發光二極體103a與右眼用發光二極體103b進行點燈，並向用戶300的眼睛照射近紅外線（步驟S706）。
並且，在所傳輸的拍攝時間點信號示出的時間點上，拍攝部140開始有左眼攝影機116a與右眼攝影機116b進行的用戶的眼睛的拍攝，並獲取拍攝圖像（步驟S707）。
拍攝部140將拍攝圖像傳輸給輸出部180，輸出部180將所傳輸的拍攝圖像向視線檢測裝置200進行輸出（步驟S708）。
由此，可獲取相當於1幀的拍攝有用戶的眼睛的拍攝圖像。接收了該拍攝圖像的視線檢測裝置200通過圖像分析部221分析之後指定用戶300的圖像中的角膜位置，並接收圖像分析部221的分析結果之後，檢測部222指定用戶300的凝視點。並且，影像生成部250基於視線檢測部220檢測出的凝視點來生成下一個幀的影像數據，並從輸出端子240向頭戴式顯示器100進行輸出。並且，同時，拍攝控制部223生成察看時間點，並與影像數據的輸出同步地將該察看時間點向頭戴式顯示器100的控制部120進行傳輸。
以上為影像顯示系統1的工作。
具體例
從這裡開始，利用信號的一具體例來說明影像顯示系統1的工作與其效果。
圖8為示出未進行拍攝時間點的控制的情況下的時序圖，圖9為示出進行了拍攝時間點的控制的情況下的時序圖。在兩個附圖中，橫軸表示時間軸，其中，以ms的順序來表示時間的經過。並且，在兩個附圖中，左側表示影像顯示系統1中的何處的信號。並且，在這裡將顯示影像的1幀的周期設定為11ms。即，在影像顯示系統1中，在11ms之間需要進行所謂的顯示影像的1幀、拍攝用戶的眼睛、從拍攝圖像指定用戶的凝視點、從所指定的凝視點至所謂生成下一個1幀的數據的處理。
在圖8、圖9中，各個信號從上依次分別表示從輸出端子240輸出的信號S1的時間點、輸入端子111接收信號的時間點、從輸出端子113輸出的信號S2的時間點、輸入端子104接收信號的時間點、從輸出端子106輸出的信號S3的時間點、輸入端子122接收信號的時間點、從控制部120的輸出端子126輸出的信號S4（用於規定拍攝開始時間點的信號）的時間點、拍攝部140接收信號的時間點、作為從拍攝部140輸出的信號S5的時間點的拍攝圖像所輸出時間點、輸入端子182接收拍攝圖像的時間點、作為從輸出端子181輸出的信號S6的時間點的拍攝圖像從頭戴式顯示器100發送給視線檢測裝置200的時間點、輸入端子210接收拍攝圖像的時間點、從輸入端子210向視線檢測部220進行輸出信號S7的時間點、圖像分析部221接收信號的時間點、從圖像分析部221輸出的信號S8的時間點、從輸出端子240輸出的信號S1的時間點。
如圖8或圖9所示，在影像顯示系統1中，發生各種處理延遲。就圖8的情況而言，存在如下的延遲：接收部110中的因視頻信號的形式轉換而引起的1ms左右的延遲（參照圖8的0ms～1ms中的信號S1與信號S2）、顯示部102中的從接收影像數據開始至輸出垂直同步信號之間發生的1ms左右的延遲（參照圖8的1ms～2ms中的信號S2與信號S3）、控制部120中的0.5ms左右的處理延遲（參照圖8的1ms～2ms中的信號S3與信號S4）、由拍攝部140拍攝之後輸出拍攝圖像為止的0.5ms左右的處理延遲（參照圖8的2ms前後的信號S4與信號S5）、輸出部180中的處理延遲（參照圖8的2ms～3ms中的信號S5與信號S6）、從輸入端子210向視線檢測部220（圖像分析部221）的0.5ms左右的傳輸延遲（參照圖8的3ms～4ms中的信號S6與信號S7）、因圖像分析部221中的分析導致的3ms左右的處理延遲（參照圖8的3ms～7ms中的信號S7與221）、來自圖像分析部221的因輸出處理導致的0.2ms左右的處理延遲（參照圖8的6ms～7ms中的221與信號S8）等。從這些延遲結果來看，對於影像生成部250傳輸凝視點的信息，就圖8的例而言，在7ms稍微之前。
因此，在未進行拍攝時間點控制的情況下，影像生成部250僅具有經由圖8的7ms～11ms的4ms左右的準備影像數據的時間。
對此，如本實施方式所示，並且，如圖9的時序圖所示，當做進行了拍攝時間點控制。即，如圖9的箭頭所示，控制部120（拍攝延遲控制部124）被視為提前進行了表示拍攝的開始時間點的信號（S4）的輸出。於是，理所當然地，還可使向影像生成部250傳輸凝視點的時間點被提前。
此外，嚴格來說，以1ms中的信號作為觸發，它不能用作比起更早的時間的另一個信號的觸發，因此實際上成為確定下一個幀的拍攝開始時間點。即，根據所傳輸的垂直同步信號的時間點，拍攝延遲控制部124確定用於拍攝觀看下一個幀的用戶的眼睛的拍攝時間點（參照圖9的9ms中的信號S4）。基於該拍攝時間點，拍攝11ms中的信號S1中示出的觀看影像數據的用戶的眼睛。
因此，通過進行拍攝時間點控制，在圖9中，凝視點的信息提前向影像生成部250進行傳輸。因此，經過3ms～11ms為止的期間的8ms的時間，影像生成部250可生成下一個幀的影像數據，使得影像生成部250的影像數據的生成處理方面具有時間上的寬裕。
此外，圖8、圖9中示出的因各種處理或傳輸而發生的延遲量至始至終僅為一例，根據所使用的電路而不同，這是不言而論的，望注意的是，需要根據因各個處理導致的延遲量，來變更以拍攝時間點信號表示的拍攝的開始時間點。
總結
根據本實施方式的影像顯示系統，可基於顯示部102接收新數據並開始顯示（進行垂直同步）的時間點，提前指示由拍攝部140的用戶300的眼睛的拍攝的開始。因此，用戶300在開始垂直同步之後實際察看所顯示的影像的時間點正好可以拍攝用戶的眼睛。因此，與從顯示部102結束圖像的顯示的時間點開始拍攝部140的拍攝的情況相比，可使向拍攝圖像的視線檢測部220的傳輸時間點提前，因此可為由影像生成部250的影像數據的生成帶來時間上的寬裕。
補充
上述實施方式的影像顯示系統不限定於上述實施方式，還可通過其他方法來實現，這是不言而喻的。以下，對各種變形例進行說明。
（1）在上述實施方式中，利用通用序列匯流排來使裝戴件100與視線檢測裝置200相連接，但不限定於此，一部分或全部（S1的路徑、S6的路徑、從輸出端子230向輸入端子121的路徑內的一部分或全部）可由無線通信來取代。並且，使裝戴件100與視線檢測裝置200相連接，並用於傳輸信息的電纜可由1個電纜來實現，而並非為如圖1所示的多個電纜。
（2）在上述實施方式中，控制部120從視線檢測裝置200接收用戶的察看時間點，並確定了由拍攝部140及照射部135的照射時間點，但這不限定於此。還可使照射延遲控制部123僅在固定的時間進行前饋（反饋）。相同地，也可使拍攝延遲控制部124僅在固定的時間進行前饋。並且，或控制部120根據用戶的屬性來儲存多個互不相同的時間長度的固定的時間，例如，還可作為用戶的屬性，根據用戶的年齡來確定固定的時間長度並用作前饋的時間。可以設定為用戶300的年齡越大，固定的時間長度變得越長。並且，還可在影像顯示系統1中設置用戶註冊功能，在這種情況下，還可通過預先儲存各個用戶的察看時間點，來減輕拍攝控制部223的處理。
（3）在上述實施方式中，視線檢測裝置200與裝戴件100以單獨的裝置來進行了說明，如上所述，視線檢測裝置200還可內置於裝戴件100中。並且，此時，在裝戴件100中僅設置有視線檢測裝置200的一部分的功能。
（4）在上述實施方式中，照射部135可以當做經常點燈左眼用發光二極體103a及右眼用發光二極體103b。
（5）雖未在上述實施方式中示出，裝戴件100可具有影像數據或察看時間點、用於儲存拍攝部140拍攝而得的拍攝圖像的儲存部。相同地，視線檢測裝置200也可具有用於儲存所接收的拍攝圖像等的儲存部。
（6）在上述實施方式中，作為用於控制在視線檢測裝置中拍攝用戶的眼睛的時間點的方法，通過構成視線檢測裝置的各個處理器執行給定的功能來得以實現，這還可以將各個電路通過形成於積體電路（IC，Integrated Circuit）晶片、大規模積體電路（LSI，Large Scale Integration）、現場可程式閘陣列（FPGA，Field Programmable Gate Array）等的邏輯電路（硬碟）或專用電路來得以實現。並且，這些電路可通過1個或多個積體電路來實現，還可以通過1個積體電路來實現上述實施方式中示出的多個功能部的功能。大規模積體電路根據集成度的不同來稱為VLSI、超級LSI、特級LSI等。並且，控制部120的拍攝時間點控制、照射時間點控制還可以為控制部120通過執行用於時間點控制的時間點控制程式（影像顯示程式）且通過軟體來實現。
並且，上述時間點控制程式可記錄於處理器可讀取可能的記錄介質中，作為記錄介質可利用「非暫時性有形的介質」，例如，磁帶、磁盤、卡、半導體儲存器、可程式化的邏輯電路等。並且，上述時間點控制程式可通過能夠傳輸的任意的傳輸介質（通信網絡或廣播波等）來向上述處理器供給該時間點控制程式。本發明還能夠以上述時間點控制程式通過電子傳輸來被體現的嵌埋於載波中的數據信號的形態來得以實現。
此外，上述時間點控制程式可利用例如，ActionScript語言、JavaScript（註冊商標）等的腳本語言，Objective-C、Java（註冊商標）、C＋＋、C＃等的面向對象的編程語言，超文本標記語言（HTML）5等的標記語言等來安裝。
（7）還可對在上述實施方式中示出的結構以及各個（補充）進行適當地組合。
1‧‧‧影像顯示系統
100‧‧‧裝戴件（頭戴式顯示器）
102‧‧‧顯示部
103‧‧‧紅外線光源
103a‧‧‧紅外線光源（右眼用發光二極體（LED））
103b‧‧‧紅外線光源（左眼用發光二極體）
104‧‧‧輸入端子
105‧‧‧亮點
106‧‧‧輸出端子
108‧‧‧圖像顯示組件
111‧‧‧輸入端子
112‧‧‧熱反射鏡
113‧‧‧輸出端子
114、114a、114b‧‧‧凸透鏡
116‧‧‧攝影機
116a‧‧‧右眼攝影機
116b‧‧‧左眼攝影機
120‧‧‧控制部
121‧‧‧輸入端子
122‧‧‧輸入端子
123‧‧‧照射延遲控制部
124‧‧‧拍攝延遲控制部
125‧‧‧輸出端子
126‧‧‧輸出端子
130‧‧‧圖像顯示系統
135‧‧‧照射部
140‧‧‧拍攝部
150‧‧‧框體
152a、152b‧‧‧透鏡支持部
160‧‧‧裝戴件
170‧‧‧頭戴式耳機
180‧‧‧輸出部
181‧‧‧輸出端子
182‧‧‧輸入端子
200‧‧‧視線檢測裝置
210‧‧‧輸入端子
220‧‧‧視線檢測部
221‧‧‧圖像分析部
222‧‧‧檢測部
223‧‧‧拍攝控制部
230‧‧‧輸出端子
240‧‧‧輸出端子
250‧‧‧影像生成部
300‧‧‧用戶
302、302a、302b‧‧‧眼角膜
S1~S8‧‧‧信號
S701~S708‧‧‧流程步驟
圖1為示出影像顯示系統的結構例的框圖。 圖2為示出用戶裝戴頭戴式顯示器的樣子的外觀圖。 圖3為示意性地示出頭戴式顯示器的圖像顯示系統的大致外觀的立體圖。 圖4為示意性地示出頭戴式顯示器的圖像顯示系統的光學結構的圖。 圖5為說明用於視線方向的檢測的校準的示意圖。 圖6為說明用戶的眼角膜的位置座標的示意圖。 圖7為示出影像顯示系統的工作例的流程圖。 圖8為未進行拍攝時間點的時間點控制的情況下的時序圖。 圖9為進行了拍攝時間點的時間點控制的情況下的時序圖。

Claims (6)

  1. 一種影像顯示系統，包括： 一裝戴件，包括： 一接收部，用於接收影像； 一顯示部，用於顯示該接收部所接收的影像； 一照射部，用於向一用戶的眼睛照射一近紅外線；以及 一拍攝部，基於該近紅外線，來拍攝用於察看顯示於該顯示部中的影像的該用戶的眼睛，該用戶通過裝戴該裝戴件來觀看影像； 一視線檢測部，基於該拍攝部拍攝而得的拍攝圖像，來檢測該用戶的凝視點；以及 一影像生成部，基於該視線檢測部檢測出的凝視點，來生成要顯示於該裝戴件中的影像，該裝戴件具有一控制部，每當該顯示部中所要顯示的影像的各個幀被顯示時，為了能夠在推定為該用戶正在察看該幀的時間點上藉助該拍攝部執行拍攝，該控制部對該拍攝部指示拍攝的一開始時間點。
  2. 如請求項1所述的影像顯示系統，其中該接收部用於將所接收到的影像的影像數據轉換為用於顯示在該顯示部的格式，該顯示部輸出用於表示該接收部所轉換的影像數據的顯示的開始的一同步信號，該控制部基於該同步信號，向該拍攝部輸出用於對該拍攝部指示該開始時間點的一指示信號。
  3. 如請求項2所述的影像顯示系統，其中該控制部根據該用戶從該顯示部開始顯示該幀至察看的時間，來輸出該指示信號。
  4. 如請求項1至3中任一項所述的影像顯示系統，其中該控制部還用於控制該照射部向該用戶的眼睛照射該近紅外線的時間點。
  5. 一種影像顯示方法，包括： 一接收步驟，用於接收影像； 一顯示步驟，用於顯示在該接收步驟中所接收到的影像； 一照射步驟，用於向一用戶的眼睛照射一近紅外線； 一控制步驟，每當在該顯示步驟中所要顯示的影像的幀被顯示時，為了能夠在推定為該用戶正在察看該幀的時間點上執行拍攝，而指示拍攝的一開始時間點； 一拍攝步驟，按照所指示的該開始時間點，基於該近紅外線來拍攝察看在該顯示步驟中所顯示的影像的該用戶的眼睛； 一視線檢測步驟，基於在該拍攝步驟中拍攝而得的拍攝圖像，來檢測該用戶的凝視點；以及 一影像生成步驟，基於在該視線檢測步驟中檢測出的凝視點，來生成要顯示的影像。
  6. 一種影像顯示程式，使得計算機用於實現如下功能： 一接收功能，用於接收影像； 一顯示功能，用於顯示該接收功能所接收的影像； 一照射功能，用於向一用戶的眼睛照射一近紅外線； 一控制功能，每當該顯示功能所要顯示的影像的幀被顯示時，為了能夠在推定為該用戶正在察看該幀的時間點上執行拍攝，而指示拍攝的開始時間點； 一拍攝功能，按照該所指示的開始時間點，基於該近紅外線來拍攝察看該顯示功能所顯示的影像的該用戶的眼睛； 一視線檢測功能，基於利用該拍攝功能拍攝而得的拍攝圖像，來檢測該用戶的凝視點；以及 一影像生成功能，基於利用該視線檢測功能檢測出的凝視點，來生成要顯示的影像。
TW107127049A 2017-08-31 2018-08-03 影像顯示系統、影像顯示方法及影像顯示程式 TW201921028A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-166923 2017-08-31
JP2017166923A JP2019047250A (ja) 2017-08-31 2017-08-31 映像表示システム、映像表示方法及び映像表示プログラム

Publications (1)

Publication Number Publication Date
TW201921028A true TW201921028A (zh) 2019-06-01

Family

ID=65434280

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127049A TW201921028A (zh) 2017-08-31 2018-08-03 影像顯示系統、影像顯示方法及影像顯示程式

Country Status (5)

Country Link
US (2) US10708652B2 (zh)
JP (1) JP2019047250A (zh)
KR (1) KR20190024691A (zh)
CN (1) CN109429061A (zh)
TW (1) TW201921028A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
US11881151B2 (en) * 2019-06-07 2024-01-23 Stereyo Bv Method for producing an image by a display and recording said image by a camera
JP7358130B2 (ja) * 2019-09-12 2023-10-10 キヤノン株式会社 電子機器およびその制御方法
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
CN114035323B (zh) * 2021-10-29 2022-09-23 歌尔光学科技有限公司 一种用于眼球追踪的显示面板及智能眼镜

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
JP2015090569A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method

Also Published As

Publication number Publication date
US20190064923A1 (en) 2019-02-28
KR20190024691A (ko) 2019-03-08
CN109429061A (zh) 2019-03-05
US20200296459A1 (en) 2020-09-17
US10708652B2 (en) 2020-07-07
JP2019047250A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
US12008151B2 (en) Tracking and drift correction
TW201921028A (zh) 影像顯示系統、影像顯示方法及影像顯示程式
US9076033B1 (en) Hand-triggered head-mounted photography
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
TW201717840A (zh) 視線檢測系統、凝視點確認方法以及凝視點確認程式
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
TW201809800A (zh) 頭戴式顯示器及使用其之視線檢測系統
TW201816547A (zh) 視線檢測系統、偏移檢測方法、偏移檢測程序
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
TW201823802A (zh) 信息處理系統、操作方法及操作程序
WO2023129295A1 (en) Hyper-connected and synchronized ar glasses
US20230324988A1 (en) Display calibration
US20240211035A1 (en) Focus adjustments based on attention
US20230403386A1 (en) Image display within a three-dimensional environment
US20220180473A1 (en) Frame Rate Extrapolation
US20230262406A1 (en) Visual content presentation with viewer position-based audio
KR20220099827A (ko) 전자 장치 및 그 제어 방법
WO2022221221A1 (en) Depth of field in video based on gaze
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法
WO2024006128A1 (en) Perspective correction of user input objects
CN116941239A (zh) 三维环境内的图像显示