TW201804314A - 影像顯示系統、影像顯示方法、影像顯示程式 - Google Patents

影像顯示系統、影像顯示方法、影像顯示程式 Download PDF

Info

Publication number
TW201804314A
TW201804314A TW106121879A TW106121879A TW201804314A TW 201804314 A TW201804314 A TW 201804314A TW 106121879 A TW106121879 A TW 106121879A TW 106121879 A TW106121879 A TW 106121879A TW 201804314 A TW201804314 A TW 201804314A
Authority
TW
Taiwan
Prior art keywords
image
line
video
sight
user
Prior art date
Application number
TW106121879A
Other languages
English (en)
Inventor
洛克藍 威爾森
佐野元紀
金子大和
Original Assignee
Fove股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove股份有限公司 filed Critical Fove股份有限公司
Publication of TW201804314A publication Critical patent/TW201804314A/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Abstract

本發明提供當顯示存在移動的影像時，顯示成使用人員簡單觀看的狀態，由此提高使用人員的便利性的影像顯示系統。本發明的影像顯示系統包括：影像輸出部，用於輸出影像；視線檢測部，用於檢測相對於在影像輸出部輸出的影像的使用人員的視線方向；影像生成部，在影像輸出部輸出的影像中，以使使用人員對與視線檢測部檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理；視線預測部，在影像輸出部輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及放大影像生成部，在影像輸出部輸出的影像為視頻的情況下，除規定區域內的影像之外，以使使用人員對與視線預測部預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出的方式執行影像處理。

Description

影像顯示系統、影像顯示方法、影像顯示程式
本發明涉及影像顯示系統、影像顯示方法、影像顯示程式，尤其，涉及使用人員在佩戴的狀態下在顯示器顯示影像的影像顯示系統、影像顯示方法、影像顯示程式。
以往，顯示器顯示影像的影像顯示器為如頭戴式顯示器或智慧玻璃，使用人員在佩戴的狀態下在顯示器顯示影像的影像顯示系統被開發。此時，影像資料執行作為數值資料，通過計算與被提供的物體等相關的資訊來進行影像化的渲染。由此，考慮使用人員的視點的位置、光源的數或位置、物體的形狀、材質來執行陰面去除或陰影處理等。
這種頭戴式顯示器或智慧玻璃中，在檢測使用人員的視線的同時，從檢測的視線來特定使用人員凝視顯示器上的那個部分的技術也被開發。（例如，參照非專利文獻1）
現有技術文獻
專利文獻
非專利文獻：1: "GOOGLE'S PAY PER GAZE PATENT PAVES WAY FOR WEARABLE AD TECH"，URL（2016年3月16日當前）http://www.wired.com/insights/2013/09/how-googles-pay-per-gaze-patent-paves-the-way-for-wearable-ad-tech/
但是，在非專利文獻1中，例如，在顯示如視頻的移動的影像的情況下，使用人員的視線移動的可能性高。因此，當顯示存在這種移動的影像時，只要顯示成使用人員簡單觀看的狀態，則可提高使用人員的便利性。其中，根據視頻的種類或場面，存在使用人員的視線的移動變快的情況。在這種情況下，在處理圖像資料的關係上，若移動的視線處的圖像的圖元變低，則畫質或能見度會降低。因此，若通過渲染處理來預測視線的移動來提高畫面整體或一部分的外觀上的圖元，提高能見度，則在畫質或能見度的觀點上，可降低所發生的使用人員的不便。此時，僅通過簡單提高圖像的圖元，圖像資料的傳送量或處理量變大，因此，優選地，需要少量的資料。因此，優選地，將包括使用人員的凝視部分的規定區域變成高圖元，並將除此之外的部分變成低圖元，從而減少圖像資料的傳送量或處理量。
因此，本發明的目的在於，提供在顯示器顯示影像的影像顯示系統中，當顯示存在移動的影像時，顯示成使用人員簡單觀看的狀態，由此可提高使用人員的便利性的影像顯示系統、影像顯示方法、影像顯示程式。
為了解決上述問題，本發明的影像顯示系統包括：影像輸出部，用於輸出影像；視線檢測部，用於檢測相對於在上述影像輸出部輸出的影像的使用人員的視線方向；影像生成部，在上述影像輸出部輸出的影像中，以使使用人員對與上述視線檢測部檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理；視線預測部，在上述影像輸出部輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及放大影像生成部，在上述影像輸出部輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測部預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出的方式執行影像處理。
並且，上述放大影像生成部可以使上述預測區域位於與上述規定區域相鄰的位置的方式執行影像處理，或可以在與上述規定區域共用一部分區域的狀態形成上述預測區域的方式執行影像處理，或可以形成大於基於上述規定區域的形狀的面積的上述預測區域的方式執行影像處理，或可通過將上述規定區域和上述預測區域形成為一個放大區域來執行影像處理。
並且，視線預測部根據在上述影像輸出部輸出的影像的影像資料中，可與使用人員識別上的移動物體對應的影像資料來預測使用人員的視線，也可根據按照與在上述影像輸出部輸出的影像有關的過去的時間順序變化的積累資料來預測使用人員的視線。並且，視線預測部可在上述影像輸出部輸出的影像中的亮度等級的變化量為規定值以上的情況下，預測為使用人員的視線將會移動。
並且，影像輸出部可配置于使用人員在頭部所佩戴的頭戴式顯示器。
並且，本發明的影像顯示方法包括：影像輸出步驟，輸出影像；視線檢測步驟，檢測相對於在上述影像輸出步驟輸出的影像的使用人員的視線方向；影像生成步驟，在上述影像輸出步驟輸出的影像中，以使使用人員對與上述視線檢測步驟檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理；視線預測步驟，在上述影像輸出步驟輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及放大區域影像生成步驟，在上述影像輸出步驟輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測步驟預測的視線方向對應的預測區域內的影像的的識別與其他區域相比更突出方式執行影像處理。
並且，本發明的影像顯示程式包括：影像輸出功能，輸出影像；視線檢測功能，檢測相對於在上述影像輸出功能輸出的影像的使用人員的視線方向；影像生成功能，在上述影像輸出功能輸出的影像中，以使使用人員對與上述視線檢測功能檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理；視線預測功能，在上述影像輸出功能輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及放大區域影像生成功能，在上述影像輸出功能輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測功能預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出的方式執行影像處理。
根據本發明，當顯示存在移動的影像時，顯示成使用人員簡單觀看的狀態，由此可提高使用人員的便利性。
接著，參照附圖，對與本發明的一實施形態相關的影像顯示系統進行說明。並且，以下所示的實施形態為本發明影像顯示系統中的適當具體例，存在附加技術方面優選的多種限定的情況，但是，只要沒有限定本發明的記載，本發明的技術範圍並不局限於這種實施形態。並且，以下所示的實施形態中的結構元素可進行適當、與以往的結構元素置換，並且，包括與其他以往的結構元素的組合的多種變異。因此，並非通過以下所示的實施形態的記載來限定發明要求保護範圍所記載的發明的內容。
並且，以下所示的實施形態中，說明了在使用人員安裝的狀態下，向上述使用人員顯示影像的影像顯示器為頭戴式顯示器的情況，但並不局限於此，例如，也可以為智慧玻璃等。
＜結構＞
圖1中，影像顯示系統1包括：頭戴式顯示器100，使用人員P在頭部安裝的狀態下，可進行影像輸出及聲音輸出；以及視線檢測裝置200，用於檢測使用人員P的視線。頭戴式顯示器100和視線檢測裝置200可通過電信線路來相互通信。並且，在圖1中，頭戴式顯示器100和視線檢測裝置200通過無線通訊線路W來連接，也可為有線通信線路。作為基於頭戴式顯示器100和視線檢測裝置200的無線通訊線路W的連接方式，可利用以往的近距離無線通訊，例如，Wi-Fi（注冊商標）或藍牙（Bluetooth，注冊商標）等的無線通訊技術來實現。
並且，在圖1所示的例中示出在頭戴式顯示器100和視線檢測裝置200為不同裝置的情況下的例，例如，可將視線檢測裝置200內置於頭戴式顯示器100。
視線檢測裝置200通過檢測安裝頭戴式顯示器100的使用人員P的右眼及左眼中的至少一側的視線方向來特定使用人員P的焦點位置。即，視線檢測裝置200對顯示在頭戴式顯示器100的二維影像或三維影像特定使用人員P所凝視的位置。並且，視線檢測裝置200起到生成顯示在頭戴式顯示器100的二維影像或三維影像的影像生成裝置的功能。
雖然並未限定，作為一例，視線檢測裝置200為桌上型的遊戲機、可擕式遊戲機、PC、平板電腦、智慧手機、平板電腦、視頻播放機、電視等的可播放影像的裝置。此時，雖然並未限定，在頭戴式顯示器100和視線檢測裝置200之間，作為一例，影像的傳送以Miracast（注冊商標）或WiGig（注冊商標）及WHDI（無線家庭數位介面；注冊商標）等的規格來執行。並且，可以利用此外的電通信線路技術，例如，可以利用音波通信技術或光傳送技術。視線檢測裝置200通過網路通信線路等的電通信線路來經過網路（雲端300），從伺服器310下載影像資料（視頻資料）。
頭戴式顯示器100包括本體部110、安裝部120及頭戴式耳機130。
本體部110由樹脂等一體成型，本體部110包括：外殼部110A；翼部110B，從外殼部110A向使用人員P的左右後方延伸；以及凸緣部110C，從左右的各個翼部110B的中間向使用人員P的上方延伸。並且，翼部110B和凸緣部110C以朝向前端側相互接近的方式彎曲。
在外殼部110A的內部，除用於向使用人員P提供影像的影像輸出部140之外，還收容未圖示的Wi-Fi（注冊商標）或藍牙（注冊商標）的近距離無線通訊用的無線傳送模組等。當使用人員P佩戴頭戴式顯示器100時，外殼部110A位於覆蓋使用人員P的兩側眼睛附近整體（臉部的上半部分）的位置。由此，當使用人員P佩戴頭戴式顯示器100時，本體部110隔斷使用人員P的視野。
當使用人員P在頭部安裝頭戴式顯示器100時，安裝部120在使用人員P的頭部穩定佩戴頭戴式顯示器100。例如，安裝部120可以為帶子或具有伸縮性的帶等。在圖1的例中，安裝部120包括：後側安裝部121，經過左右的翼部110B，以包圍使用人員P的後頭部附近的方式支撐；以及上側安裝部122，在經過左右的凸緣部110C，以包圍使用人員P的頭頂部附近的方式支撐。由此，與使用人員P的頭部的大小無關，安裝部120可穩定支撐頭戴式顯示器100。並且，在圖1的例中，頭戴式耳機130使用廣泛使用的物品，因此，採用通過凸緣部110C和上側安裝部122支撐使用人員P的頭頂部的結構，但也可以通過連接方法使頭戴式耳機130的頭帶131以能夠拆裝的方式與翼部110B相結合，並廢除凸緣部110C及上側安裝部122。
頭戴式耳機130從聲音輸出部132（揚聲器）輸出視線檢測裝置200播放的影像的聲音。頭戴式耳機130無需固定于頭戴式顯示器100。由此，即使處於使用人員P利用安裝部120來安裝頭戴式顯示器100的狀態，也可自由地拆裝頭戴式耳機130。此時，頭戴式耳機130可以通過無線通訊線路W從視線檢測裝置200直接接受聲音資料，也可以通過頭戴式顯示器100的無線或有線的電通信線路間接接受聲音資料。
如圖2所示，影像輸出部140包括凸鏡141、鏡頭支撐部142、光源143、顯示器144、波長控制部件145、攝像頭146及第一通信部147。
如圖2（A）所示，凸鏡141包括當使用人員P安裝頭戴式顯示器100時，本體部110中，與包括使用人員P的角膜C的兩側眼睛前眼部相向的左眼用凸鏡141a、右眼用凸鏡141b。
圖2（A）的例中，當使用人員P佩戴頭戴式顯示器100時，左眼用凸鏡141a位於與使用人員P的左眼用角膜CL相向的位置。同樣，當使用人員P佩戴頭戴式顯示器100時，右眼用凸鏡141b位於與使用人員P的右眼的角膜CR相向的位置。左眼用凸鏡141a和右眼用凸鏡141b分別在鏡頭支撐部142的左眼用鏡頭支撐部142a和右眼用鏡頭支撐部142b被支撐。
相對於波長控制部件145，凸鏡141配置於顯示器144的相反側。換句話說，當使用人員P佩戴頭戴式顯示器100時，凸鏡141位於波長控制部件145和使用人員P的角膜C之間。即，當使用人員佩戴頭戴式顯示器100時，凸鏡141配置于與使用人員P的角膜C相向的位置。
凸鏡141朝向使用人員P對從顯示器144透過波長控制部件145的影像顯示光進行聚光。由此，凸鏡141起到通過放大顯示器144生成的影像來向使用人員P提供的影像放大部的作用。並且，在說明的便利上，圖2中，在左右位置分別呈現出一個凸鏡141，凸鏡141也可以為將多種鏡頭組合而成的鏡頭組，也可以為一側為曲面，另一側為平面的單凸透鏡。
並且，在以下的說明中，除特殊區別使用人員P的左眼的角膜CL和使用人員P的右眼的角膜CR的情況之外，簡單的稱為“角膜C”。並且，在左眼用凸鏡141a及右眼用凸鏡141b中，除特殊區別的情況之外，簡單稱之為“凸鏡141”。並且，在左眼用鏡頭支撐部142a及右眼用鏡頭支撐部142b中，除特殊區別的情況之外，稱之為“鏡頭支撐部142”。
光源143為鏡頭支撐部142的剖面附近，沿著凸鏡141的周圍配置，作為包括不可視光線的照明光，照射近紅外線光。光源143包括使用人員P的左眼用的多個光源143a和使用人員P的右眼用的多個光源143b。並且，在以下的說明中，除特殊區別使用人員P的左眼用光源143a和使用人員P的右眼用光源143b的情況之外，簡單稱之為“光源143”。在圖2（A）的例中，左眼用鏡頭支撐部142a包括6個光源143a。同樣，右眼用鏡頭支撐部142b包括6個光源143b。如上所述，光源143並非直接配置於凸鏡141，而是配置於把持凸鏡141的鏡頭支撐部142，對於鏡頭支撐部142的凸鏡141及光源143的安裝變得容易。通常，鏡頭支撐部142由樹脂等形成，因此，與由玻璃等構成的凸鏡141相比，用於安裝光源143的加工簡單。
如上所述，光源143配置于作為把持凸鏡141的部件的鏡頭支撐部142。因此，光源143沿著形成於鏡頭支撐部142的凸鏡141的周圍配置。並且，其中，對使用人員P的各個眼睛照射近紅外光的光源143為6個，上述數量並不局限於此，對應各個眼睛至少形成1個，優選地，配置2個以上。並且，在光源143配置4個以上（尤其，偶數）的情況下，優選地，在與通過凸鏡141的中心的鏡頭光軸L直交的使用人員P的上下左右方向對稱配置。並且，優選地，鏡頭光軸L為如經過使用人員P的左右眼睛的角膜頂點的視軸的軸。
光源143可通過能夠照射近紅外的波長頻段的光的發光二極體或鐳射二極體來實現。光源143照射近紅外光束（平行光）。此時，光源143的大部分為平行光束，一部分光束為擴散光。並且，光源143所照射的近紅外光無需利用掩模或光圈或准直透鏡等的光學部件來形成平行光，而是直接將整個光束利用為照明光。
通常，近紅外光為在使用人員P的肉眼無法識別的非可視光區域中的近紅外區域的波長。並且，近紅外區域的具體波長的基準根據各國或各種團體而改變，在本實施形態中，利用接近可視光區域的近紅外區域部分（例如，700nm左右）的波長。從光源143照射的近紅外光的波長利用可通過攝像頭146收光並不對使用人員P的眼睛產生負擔的波長。例如，從光源143照射的光被使用人員P所識別，從而可妨礙顯示在顯示器144的影像的能見度，因此，優選選擇不被使用人員P所識別的程度的波長。因此，發明要求保護範圍中的不可視光線並非根據個人或國家等而不同的嚴密基準來具體限定。即，根據上述說明的利用形態，與無法被使用人員P識別，或者很難識別的700nm相比，可包括可視光區域側的波長（例如，650nm～700nm）。
顯示器144顯示用於向使用人員P提供的影像。顯示器144所顯示的影像由後述的視線檢測裝置200的影像生成部214生成。例如，顯示器144利用以往的液晶顯示器（LCD）或有機電致發光顯示器（有機EL）等來實現。由此，例如，顯示器144起到輸出根據從雲端300的各種網站上的伺服器310下載的視頻資料的影像的影像輸出部的作用。因此，頭戴式耳機130起到按時間屬性與上述各種影像對應來輸出聲音的聲音輸出部的作用。此時，視頻資料可以從伺服器310依次下載來顯示，也可以暫時存儲在各種記憶介質等之後播放。
當使用人員P安裝頭戴式顯示器100時，波長控制部件145配置於顯示器144和使用人員P的角膜C之間。波長控制部件145可利用透過顯示器144所顯示的可視光區域的波長的光束並反射不視光區域的波長的光束的光學特性的光學部件。並且，作為波長控制部件145，只要具有可視光透過、不可視光反射特性，可以使用光學濾光器、熱反射鏡或分色鏡、分束器等。具體地，反射從光源143照射的近紅外光並透過作為顯示器144所顯示的影像的可視光。
雖然未圖示，影像輸出部140在使用人員P的左右分別設置一個顯示器144，可獨立生成用於向使用人員P的右眼提供的影像和用於向使用人員P的左眼提供的影像。由此，頭戴式顯示器100可分別向使用人員P的右眼和左眼提供右眼用視差影像和左眼用視差影像。由此，頭戴式顯示器100可向使用人員P提供具有層次感的立體影像（三維影像）。
如上所述，波長控制部件145透過可視光線並反射近紅外光。因此，根據顯示器144所顯示的影像的可視光區域的光束通過波長控制部件145來向使用人員P的角膜C傳送。並且，從光源143照射的近紅外線光中，上述說明的大部分的平行光束以在使用人員P的前眼部中形成亮點相的方式變為點型（束型）並向前眼部傳送，在使用人員P的前眼部中反射並向凸鏡141傳送。另一方面，從光源143照射的近紅外光中，擴散光束以在使用人員P的前眼部中形成前眼部相的方式擴散並向前眼部傳送，在使用人員P的前眼部反射並向凸鏡141傳送。從使用人員P的前眼部反射並到達凸鏡141的亮點相用的反射光束透過凸鏡141之後，在波長控制部件145反射，由攝像頭146收光。同樣，從使用人員P的前眼部反射到達凸鏡141的前眼部相用的反射光束也透過凸鏡141之後在波長控制部件145反射，由攝像頭146收光。
攝像頭146不包括隔斷可視光的隔斷濾光器（未圖示），對從波長控制部件145反射的近紅外光進行拍攝。即，攝像頭146可以由能夠進行從光源143照射並在使用人員P的前眼部反射的近紅外光的亮點相的拍攝和可實現從使用人員P的前眼部反射的近紅外光的前眼部相的拍攝的紅外線攝像頭實現。
攝像頭146所拍攝的圖像如下，根據從使用人員P的角膜C反射的近紅外線光的亮點相和在近紅外的波長頻段觀察的使用人員P的角膜C的前眼部。因此，攝像頭146在顯示器144顯示影像期間，將光源143作為照明光，通過在長時間或規定間隔點火來獲取亮點相及前眼部相。由此，攝像頭可以為因在顯示器144顯示的影像變化等引起的使用人員P的按時間順序變化的視線檢測用攝像頭。
並且，雖然未圖示，攝像頭146包括2個，即，對從包括使用人員P的右眼的角膜CR的周邊的前眼部相反射的近紅外線的圖像進行拍攝的右眼用和對從包括使用人員P的左眼的角膜CR的周邊的前眼部相反射的近紅外線的圖像進行拍攝的左眼用。由此，可獲得用於檢測使用人員P的右眼及左眼的雙向的視線方向的圖像。
根據攝像頭146所拍攝的亮點相和前眼部相的圖像資料向檢測使用人員P的視線方向的視線檢測裝置200輸出。基於視線檢測裝置200的視線方向檢測功能的詳細內容將後述，通過視線檢測裝置200的控制部（CPU）所執行的影像顯示程式實現。此時，在頭戴式顯示器100具有控制部（CPU）或記憶體等的計算源（電腦的功能）的情況下，頭戴式顯示器100的CPU可以執行實現視線方向檢測功能的程式。
以上，在影像輸出部140中，說明了主要向使用人員P的左眼提供影像的結構，在提供立體影像的情況下，除考慮視差的情況之外，用於向使用人員P的右眼提供影像的結構與上述相同。
圖3為與影像顯示系統1相關的頭戴式顯示器100和視線檢測裝置200的框圖。
頭戴式顯示器100包括作為電路部件的光源143、顯示器144、攝像頭146及第一通信部147，還包括控制部（CPU）150、記憶體151、近紅外光照射部152、顯示部153、拍攝部154、影像處理部155、傾斜檢測部156。
另一方面，視線檢測裝置200包括控制部（CPU）210、存儲部211、第二通信部212、視線檢測部213、影像生成部214、聲音生成部215、視線預測部216、放大影像生成部217。
第一通信部147為與視線檢測裝置200的第二通信部212執行通信的通信介面。第一通信部147通過有線通信或無線通訊來與第二通信部212執行通信。並且，可使用的通信規格的例如上述說明相同。第一通信部147向第二通信部212傳送用於從拍攝部154或影像處理部155傳送的視線檢測的影像資料。第一通信部147向第二通信部212傳送根據攝像頭146所拍攝的亮點相和前眼部相的圖像資料。並且，第一通信部147向顯示部153傳送從視線檢測裝置200傳送的影像資料或標記圖像。作為一例，從視線檢測裝置200傳送的影像資料為用於顯示包括移動的人或事物的影像的視頻等的資料。並且，影像資料可以為由用於顯示三維影像的右眼用視差影像和左眼用視差影像形成的視差影像。
控制部150通過在記憶體151存儲的程式來控制上述說明的電路部件。因此，頭戴式顯示器100的控制部150可以根據存儲於記憶體151的程式來執行實現視線方向檢測功能的程式。
記憶體151除存儲用於執行上述說明的頭戴式顯示器100的程式之外，根據需要，可暫時存儲通過攝像頭146拍攝的圖像資料等。
近紅外線光照射部152控制光源143的點燈狀態，從光源143向使用人員P的右眼或左眼照射近紅外線。
顯示部153具有向顯示器144顯示第一通信部147傳遞的影像資料的功能。例如，顯示部153除從雲端300的視頻網站下載的各種視頻等的影像資料、從雲端300的遊戲網站下載的遊戲視頻等的影像資料之外，可顯示在優先連接視線檢查裝置200的再生記憶體（未圖示）播放的視頻影像、遊戲影像、照片影像等的各種影像資料。並且，顯示部153在影像生成部214輸出的標記圖像顯示在顯示部153的指定座標。
拍攝部154利用攝像頭146來使包括對使用人員P的左眼反射的近紅外線光的圖像拍攝。並且，拍攝部154對凝視後述的顯示器144所顯示的標記圖像的使用人員P的亮點相及前眼部相進行拍攝。攝像頭154向第一通信部147或影像處理部155出傳遞拍攝獲得的圖像資料。
影像處理部155根據需要來在拍攝部154拍攝的圖像執行影像處理並向第一通信部147傳遞。
例如，傾斜檢測部156根據加速度感測器或陀螺儀感測器等的傾斜感測器157的檢測信號來將使用人員P的頭部的傾斜算成為頭戴式顯示器100的傾斜。傾斜檢測部156依次計算頭戴式顯示器100的傾斜，來向第一通信部147傳遞作為上述計算結果的傾斜資訊。
控制部（CPU）210通過存儲於存儲部211的程式來執行上述說明的視線檢測。控制部210根據存儲部211所記憶的程式來控制第二通信部212、視線檢測部213、影像生成部214、聲音生成部215、視線預測部216、放大影像生成部217。
存儲部211為記錄視線檢查裝置200在動作上需要的各種程式或資料的記錄介質。例如，存儲部211可通過硬碟驅動器（HDD，Hard Disc Drive）、固態驅動器（SSD，Solid State Drive）等來實現。存儲部211對應影像資料來存儲與影像中的各個登場人物對應的顯示器144的畫面上的位置資訊或各個登場人物的聲音資訊。
第二通信部212為具有與頭戴式顯示器100的第一通信部147執行通信的功能的通信介面。如上所述，第二通信部212通過有線通信或無線通訊來與第一通信部147執行通信。第二通信部212向頭戴式顯示器100傳送用於顯示包括存在影像生成部214所傳遞的人物等的移動的圖像的影像的影像資料或用於校準的標記圖像等。並且，頭戴式顯示器你100向視線檢測部213傳遞凝視通過所傳遞的拍攝部154拍攝的標記圖像的使用人員P的亮點相、觀看根據影像生成部214輸出的影像資料來顯示的影像的使用人員P的前眼部相、傾斜檢測部156計算的傾斜資訊。並且，第二通信部212連接外部的網路（例如，互聯網）來去的在影像生成部214指定的視頻網路網站的影像資訊，並可向影像生成部214傳遞。並且，第二通信部212直接或通過第一通信部147向頭戴式耳機130傳送聲音生成部215所傳遞的聲音資訊。
視線檢測部213分析通過攝像頭146拍攝的前眼部相來檢測使用人員P的視線方向。具體地，從第二通信部212接收使用人員P的右眼的視線檢測用的影像資料，檢測使用人員P的右眼的視線方向。視線檢測部213利用後述的方法來計算呈現出使用人員P的右眼的視線方向的右眼視線向量。同樣，從第二通信部212接收使用人員P的右眼的視線檢測用的影像資料來計算呈現出使用人員P的右眼的視線方向的右眼視線向量。而且，利用所計算的視線向量來特定使用人員P凝視顯示在顯示部153的影像的數量。視線檢測部213向影像生成部214傳遞特定的凝視點。
影像生成部214生成顯示在頭戴式顯示器100的顯示部153的影像資料來向第二通信部212傳遞。影像生成部214生成用於檢測視線的校準的標記圖像，來與上述顯示座標位置一同傳遞第二通信部212並向頭戴式顯示器100傳送。並且，影像生成部214根據視線檢測部213檢測的使用人員P的視線方向來生成改變影像的顯示形態的影像資料。影像的顯示形態的變更方法的詳細說明將後述。影像生成部214根據視線檢測部213所傳遞的凝視點來判斷使用人員P是否凝視存在特定的移動的人或事物（以下，簡單稱為“人物”），在凝視特定人物的情況下，特定上述人物。
影像生成部214根據使用人員P的視線方向生成使特定人物的至少一部分的規定區域內的影像比規定區域之外的影像更被簡單凝視的影像資料。例如，使規定區域內的影像鮮明化，同時，使規定區域之外的其他區域的影像模糊或者進行煙霧處理，以此進行強調。並且，可在規定區域內的影像未被鮮明化，而是變為本來圖元。並且，賦予根據影像的種類，以使特定人物位於顯示器144的中央的方式進行移動或者推攝特定人物，或者當特定人物移動時進行追中等的附加功能。並且，影像的鮮明化（以下，稱之為“鮮明化處理”）為並非簡單提高圖元，而是，只要通過提高包括使用人員的當前視線方向及後述的預測的視線方向來提高能見度，就不受限制。即，規定區域內的影像的圖元不變，降低其他區域的圖元，在使用人員觀看的情況下，外觀上的圖元會提高。並且，這種鮮明化處理的調節過程中，需要調節作為單位時間內進行處理的幀數量的幀率，調節作為在單位時間內處理或傳送的資料的比特數的圖像資料的壓縮位元速率。由此，使資料的傳送量變輕，對使用人員來說，可提高（降低）外觀上的圖元，從而可使在規定區域內的影像鮮明化。並且，在資料的傳送過程中，可分別傳送與規定區域內的影像對應的影像資料和與規定區域之外的影像對應的影像資料來進行合成，預先合成後傳送。
聲音生成部215以從頭戴式耳機130輸出與影像資料按時間順序對應的聲音資料的方式生成聲音資料。
視線預測部216預測在視線檢測部213中特定的人物在根據影像資料的顯示器144上如何移動。並且，視線預測部216在顯示器144輸出的影像的影像資料中，根據與使用人員P的識別上的動體（特定人物）對應的影像資料來預測使用人員P的視線，根據按照與在顯示器144輸出的影像有關的過去的時間順序變化的累積資料來預測使用人員P的視線。此時，累積資料為以表格方式相關的按時間順序變化的影像資料和視線位置（XY座標）的資料。例如，上述累積資料可回饋到雲端300的各個網站，與影像資料的下載一同下載。並且，相同使用人員P觀看相同影像的情況下，觀看相同場面等的可能性高，因此，可將之前按時間順序變化的影像資料和視線位置（XY座標）通過表格方式相關的資料存儲於存儲部211或存儲部151。
在顯示器144輸出的影像為視頻的情況下，放大影像生成部217除規定區域內的影像之外，對與在視線預測部216預測的視線方向對應的預測區域內的影像，以使使用人員P的識別更突出（簡單觀看）的方式執行影像處理。並且，基於規定區域和預測區域的放大區域的詳細將後述。
之後，說明與實施形態相關的視線方向的檢測。
圖4為說明用於檢測與實施形態相關的視線方向的校準的示意圖。使用人員P的視線方向可通過視線檢測裝置200內的視線檢測部213對由拍攝部154拍攝來使第一通信部147向視線檢測裝置200輸出的影像進行分析來實現。
如圖4（A）所示，例如，影像生成部214生成點Q1～Q9的9個點（標記圖像）來顯示在頭戴式顯示器100的顯示器144。此時，例如，影像生成部214從點Q1直至到達點Q9按順序使使用人員P凝視。使用人員P不移動脖子或頭部，盡可能僅通過移動眼球來凝視點Q1～Q9。當使用人員P凝視Q1～Q9時，攝像頭146對包括使用人員P的角膜C的前眼部相和亮點相拍攝。
如圖4（B）所示，視線檢測部213分析包括攝像頭146所拍攝的亮點相的前眼部相來檢測源自近紅外光的各個亮點相。當使用人員P通過眼球的移動來凝視各個點時，在使用人員P凝視任一點Q1～Q9的情況下，亮點相B1～B6的位置不會移動。因此，視線檢測部213根據檢測的亮點相B1～B6來對拍攝部154所拍攝的前眼部相設定二維坐標系。
視線檢測部213也通過分析拍攝部154所拍攝的前眼部相來檢測使用人員P的角膜C的頂點CP。例如，利用霍夫變換、邊緣抽取處理等以往的影像處理來實現。由此，視線檢測部213可獲取在設定的二維坐標系中的使用人員P的角膜C的頂點CP的座標。
在圖4（A）中，在顯示器144的顯示畫面中，設定的二維坐標系中的點Q1～Q9的座標分別為Q1（x1 、y1 ）T 、Q2（x2 、y2 ）T 、…Q9（x9、y9）T 。例如，各個座標為位於各個點Q1～Q9的中心的圖元的號碼。並且，當使用人員P凝視點Q1～Q9時，將使用人員P的角膜C的頂點CP分別為點P1～P9。此時，二維坐標系中的點P1～P9的座標分別為P1（X1 、Y1 ）T 、P2（X2 、Y2 ）T 、…P9（X9 、Y9 ）T 。並且，T為向量或矩陣的轉置。
其中，將2×2的大小的矩陣M定義為如公式（1）。 [公式1]
Figure TW201804314AD00001
此時，若矩陣M滿足以下公式（2），則矩陣M變為將使用人員P的視線方向攝影在顯示器144的顯示畫面的矩陣。 PN＝MQN （N＝1，•••，9） （2）
具體寫出上述公式（2）如以下的公式（3）。 [公式2]
Figure TW201804314AD00002
通過改公式（3）來獲得以下的公式（4）。 [公式3]
Figure TW201804314AD00003
若公式（4）為， [公式4]
Figure TW201804314AD00004
則獲得以下的公式（5）。 Y＝Ax（5）
在公式（5）中，向量y的元素因視線檢測部213顯示在顯示器144的點Q1～Q9的座標，故為已知。並且，矩陣A的元素為使用人員P的角膜C的頂點CP的座標，因此可取得。因此，視線檢測部213可取得向量y及矩陣A。並且，羅列變換矩陣M的元素的向量的X為未知。因此，當向量y和矩陣A為已知時，推定矩陣M的問題為求出未知向量x的問題。
數學式5中，與未知數的數（即，向量x的元素數4）相比，若數學式的數（即，視線檢測部213為校準時向使用人員P提出的點Q的數）多，則變為超定（overdetermined）問題。在數學式5中所示的例中，數學式的數為9個，因此為超定問題。
向量y和向量Ax的誤差向量為向量e。即，e＝y-Ax。此時，在將向量e的元素的平方和為最小的含義上，最佳的向量Xopt 通過以下的公式（6）求出。 Xopt ＝（AT A）-1 AT y（6）
其中，“-1”為逆矩陣。
視線檢測部213利用所求出的向量Xopt 的元素來構成公式1的矩陣M。由此，視線檢測部23利用使用人員P的角膜C的頂點CP的座標和矩陣M，並根據公式（2）來推定使用人員P的右眼凝視顯示在顯示器144的影像的哪個位置。其中，視線檢測部213從頭戴式顯示器100接收使用人員P的眼睛和顯示器144之間的距離資訊，根據上述距離資訊修改推定的使用人員P所凝視的座標值。並且，基於使用人員P的眼睛和顯示器144的之間的距離的凝視位置的推定的誤差處於誤差範圍，因此省略即可。由此，視線檢測部213可計算連接顯示器144上的右眼的凝視點和使用人員P的右眼的角膜的頂點的右眼視線向量。同樣，視線檢測部213可計算連接顯示器144上的左眼的凝視點和使用人員P的左眼的角膜的頂點的左眼視線向量。並且，可通過一隻眼睛的視線向量來特定在二維平面上中的使用人員P的凝視點，獲得兩側眼睛的視線向量，由此，可計算使用人員P的凝視點的深度方向的資訊。如上所述，視線檢測裝置200可特定使用人員P的凝視點。並且，在此呈現的凝視點的特定方法為一例，可以利用上述方法之外的方法來特定使用人員P的凝視點。
＜影像資料＞
其中，對具體的影像資料進行說明。例如，在作為視頻的賽車中，根據賽道上的攝像頭的設置位置，特定哪個賽道為影像資料。並且，在賽道上行駛的機器（賽車）基本上在賽道上行駛，因此，可以一定程度特定（預測）行駛常式。並且，在比賽中的多個機器在賽道上行駛，但是通過機器號碼或者渲染來特定機器。
並且，影像中存在觀眾席上的觀眾等的移動，在賽車視頻的觀點上，使用人員在觀戰賽車的目的上幾乎完全不能被識別，因此，作為使用人員P的識別上的動體，可從執行視線預測的物件排出。由此，顯示在顯示器144的各個賽道上行駛的各個賽車中，可預測進行一定程度的移動。並且，這種“使用人員P的識別上的動體”為在影像上移動，且使用人員下意識識別的動體。換句話說，在發明要求保護範圍中的“使用人員識別上的動體”為可成為視點檢測及視線預測的物件的影像上移動的人或事物。
並且，基於編輯的賽車的影像資料中，並非在即時影像，各個機器包括是否照射顯示器144，按時間順序，可將各個機器和顯示器144的位置通過表格方式對應。由此，可通過特定人物特定使用人員P觀看哪個機器，同時，可確定特定機器如何移動，而並非進行簡單預測。
並且，後述的規定區域的形狀或大小也可根據各個位置的行駛位置（遠近感）變更。
並且，賽車視頻為影像資料的一例，此外的視頻，例如，遊戲視頻等，根據遊戲的種類設定人物的特徵或規定區域。此時，例如，對戰遊戲的種類或場面、圍棋或象棋等遊戲、古典音樂會等，需要均勻顯示整體影像的情況下，例如，即使是存在一種移動的影像，也可不包含在作為視線預測的視頻。
＜動作＞
接著，根據圖5的流程圖，說明影像顯示系統1的動作。並且，在以下的說明中，視線檢測裝置200的控制部210從第二通信部212向第一通信部147傳送包含聲音資料的影像資料。
（步驟S1）在步驟S1中，控制部150使顯示部153及聲音輸出部132動作來在顯示器144顯示輸出影像並從頭戴式耳機130的聲音輸出部132輸出聲音來執行步驟S2。
（步驟S2）在步驟S2中，控制部210判斷影像資料是否為視頻。在影像資料為視頻的情況下，控制部210執行步驟S3。在影像資料並非為視頻的情況下，控制部210無需視線檢測及視線預測，因此執行步驟S7。並且，在需要視線檢測但無需視線預測的情況下，控制部210執行以下所示的視線預測來根據需要執行其他處理。並且，如上所述，其中的視頻為判斷是否稱為“使用人員的識別上的動體”的基準。因此，無需將如簡單行走的人的移動的視頻作為視頻。並且，因預先知道當影像資料的種類等，因此當播放影像資料時，這種視頻基於種類等的初期設定來判斷。並且，可包括在規定時間顯示轉換多個停止圖像的滑動方式。因此，在步驟S2中，包括通常的視頻的情況的場面轉換過程中，執行判斷“需要使規定區域內的影像鮮明化的視頻”的判斷步驟。
（步驟S3） 在步驟S3中，控制部210根據通過攝像頭146拍攝的圖像資料來通過視線檢測部213來檢測使用人員P凝視顯示器144的點（視線位置），特定上述位置來執行步驟S4。並且，在步驟S3中，當使用人員特定凝視點時，例如，在存在上述說明的場面的轉換的情況下，包括使用人員所凝視的部分並未特定，即，使用人員尋找自己所凝視的位置的動作（視線徘徊的動作）。由此，若使用人員一個地方，為了搜索好位置，而提高畫面整體的圖元或者解除預先設定的規定區域等，使畫面變簡單之後檢測凝視點。
（步驟S4）在步驟S4中，控制部210判斷使用人員P是否凝視特定人物。具體地，在按時間順序變化的影像中的人物進行移動的情況下，控制部210在按時間變化的所檢測的凝視點中，XY坐標軸的變化以最初特定的XY坐標軸為基點，與基於規定時間（例如，1秒鐘）、時間表的影像上的XY座標值一致，通過是否發生變化來判斷使用人員P凝視特定人物。在判斷為凝視特定人物的情況下，控制部210執行步驟S8。並且，在特定人物不移動的情況下，與上述特定順序相同。並且，例如，如賽車，在比賽整體上，將特定1台（或特定隊伍）的機器特定為物件，根據顯示上的場面（路線）來特定機器。即，在賽車視頻等中，無法限定在畫面必須存在特定的1台（或特定的隊伍）的機器，根據場面，觀看整體或者觀看對方隊伍的行駛等多種活動。因此，在需要設定特定1台（人物）的情況下，可載入上述常式。並且，特定凝視點並不局限于檢測使用人員當前觀看的視線位置的眼動追蹤的情況。即，如在畫面顯示全景影像的情況，使用人員的頭部的移動，即，可包括檢測如上下左右的旋轉或前後左右的傾斜的頭部位置的位置追蹤（動作追蹤）檢測的情況。
（步驟S5）在步驟S5中，控制部210實際上與上述步驟S6的常式並行，通過影像生成部214，以簡單識別使用人員P所凝視的人的方式生成新的影像資料，上述生成之後的新的影像資料從第二通信部212向第一通信部147傳送，並執行步驟S6。由此，例如，顯示器144從圖6（A）所示的通常的影像顯示狀態，如圖6（B）所示，以直接呈現包括作為特定人物的機器F1的周圍的影像的方式設定為規定區域E1，其他區域（畫面整體為物件）以影像模糊的狀態顯示。即，與其他區域的影像相比，影像生成部214以簡單凝視規定區域E1的影像的方式執行新生成影像資料的強調處理。
（步驟S6）在步驟S6中，控制部210通過視線預測部216以使用人員P的當前的視線位置（凝視點）為基準判斷特定人物（機器F1）是否為可預測移動體。在特定人物（機器F1）為可預測移動體的情況下，控制部210執行步驟S7。在特定人物（機器F1）並非判斷為可預測的移動體的情況下，控制部210執行步驟S8。並且，對於上述凝視點的移動體的預測過程中，例如，可根據視頻內容變更。具體地，可根據移動體的移動向量來預測。並且，在畫面顯示如聲音的發生或人的臉部的使用人員注射的場面的情況下，向呈現發出上述聲音的人物、臉部的人物移動視線。因此，可預測移動體可包括從這種當前凝視的特定人物轉換凝視位置的情況。同樣，在包括上述說明的位置跟蹤的情況下，可將頭部或身體整體移動的移動延伸線上的場面為預測對象。並且，例如，如上述說明的賽車視頻，在一種程度的範圍內，畫面被中斷，即，在確定全景角度的情況下，使用人員向逆向旋轉頭部，因此，可預測上述旋轉。
（步驟S7）在步驟S7中，如圖7（A）所示，控制部210通過放大影像生成部217，除規定區域E1內的影像之外，設定與在視線預測部216中預測的視線方向對應的預測區域E2，對上述預測區域E2內的影像，與其他區域相比，以使使用人員P的識別提高的方式執行影像處理，以此執行步驟S8。此時，放大影像生成部217以接近規定區域E1的方式作為特定人物（機器F1）的預測移動方向，以包括至少特定人物（機器F1）的一部分的周邊的影像比其他區域的影像更鮮明的方式設定預測區域E2。即，在頭戴式顯示器100中顯示的影像在當傳送影像時的資料量的關係上處於低圖元的情況普遍。因此，通過提高包括使用人員P所凝視的特定人物的規定區域E1的圖元來使其鮮明化，由此，對其部分可簡單觀看影像。
並且，如圖7（B）所示，放大影像生成部217分別設定規定區域E1和預測區域E2之後，與規定區域E1共用一部分區域的狀態下，以變為預測區域E2所在的放大區域E3的方式執行影像處理。由此，可簡單設定規定區域E1和預測區域E2。
此時，放大影像生成部217以形成大於根據規定區域E1的形狀（圖示例中的橫向橢圓）的面積的形狀的預測區域E2的方式執行影像處理。由此，如機器F1的情況，隨著特定人物的移動，在如顯示器144中的顯示尺寸變大的情況下，可準確顯示機器F1的整體，實際上，當機器F1移動時，可直接將預測區域E2利用為下一個規定區域E1。並且，在圖7（B）中，規定區域E1及預測區域E2的幀用於呈現形狀，實際的區域設定過程中，並未在顯示器144顯示。
並且，如圖7（C）所示，放大影像生成部217通過合成規定區域E1和預測區域E2的一個放大區域E3來執行影像處理。由此，可簡單執行影像處理的鮮明化處理。
並且，如圖7（D）所示，放大影像生成部217通過對規定區域E1的形狀不與預測區域E2重疊的異型的放大區域E3執行影像處理。由此，可廢除相互重疊的部分的影像處理的鮮明化。
並且，如圖7（E）所示，放大影像生成部217中，規定區域E1和預測區域E2簡單相鄰。並且，各個區域的形狀或大小均任意。
（步驟S8）在步驟S8中，控制部210判斷影像資料的播放是否結束。在判斷為影像資料的生成完成的情況下，控制部210結構上述常式。在並未判斷為影像資料的生成完成的情況下，控制部210回到步驟S3，之後，直至影像資料的播放的完成，反復上述各個常式。因此，例如，使用人員P在需要凝視強調狀態的影像輸出的情況下，通過所凝視的特定人的凝視的結束來判定為並非凝視主要特定人物（步驟S3的否），從而強調顯示被終止。並且，在上述說明的步驟S2中，控制部210在判斷規定區域內的影像是否需要優先說明的視頻的情況下，而並給判斷是否為視頻，為了將之後步驟作為物件，而並非將步驟S3作為物件，執行規定區域及視線預測而回到步驟S2。
但是，在向視線檢測部213檢測的使用人員P的視線方向，從顯示器144輸出的影像中具有畫面上移動的人物的情況下，影像顯示系統1特定上述人物並對應特定的人物來使從聲音輸出部132輸出的聲音（包括樂器演奏等）的輸出狀態與其他聲音的輸出狀態不同，來以使使用人員能夠識別的方式生成聲音資料。
圖8為在從上述說明的影像顯示系統1中的伺服器310下載影像資料來在顯示器144顯示影像的一例的說明。如圖8所示，從頭戴式顯示器100向視頻檢測裝置200傳送用於檢測當前的使用人員P的視線的圖像資料。視線檢測裝置200根據上述圖像資料來檢測使用人員P的視線位置來向伺服器310傳送視線檢測資料。伺服器310根據視線檢測資料來在下載的影像資料生成包括對規定區域E1和預測區域E2進行合成的放大區域E3的壓縮資料並向視線檢測裝置200傳送。視線檢測裝置200根據上述壓縮資料來生成三維的立體圖像（渲染）並向頭戴式顯示器100傳送。通過依次反復上述順序來觀看使用人員P所需要的簡單觀看的影像。並且，從視線檢測裝置200向頭戴式顯示器100發送三維立體圖像時，例如，可以利用高精密度媒體介面（HDMI（注冊商標））電纜。因此，放大影像生成部可分為伺服器310的功能（壓縮資料的生成）和基於視線檢測裝置200的放大影像生成部217的功能（三維立體影像資料的渲染）。同樣，放大影像生成部均在伺服器310中執行，均在視線檢測裝置200中執行。
＜補充＞
並且，影像顯示系統1並不局限於上述實施形態，通過其他手段實現，以下，說明除此之外的例。
（1）在上述實施形態中，以實際拍攝的視頻影像為物件進行了說明，但虛擬實境空間內，在顯示類似的人物等的情況下可適用。
（2）在上述實施形態中，為了檢測使用人員P的視線，通過對使用人員P的眼睛進行拍攝的手段來使在波長控制部件145進行反射的影像拍攝，不通過波長控制部件145，而是直接對使用人員P的眼睛進行拍攝。
（3）在上述實施形態中，與視線檢測相關的手段為一例，基於頭戴式顯示器100及視線檢測裝置200的視線檢測方法並不局限於此。
首先，示出形成多個照射作為非可視光的近紅外線光的近紅外光照射部的例，但是，向使用人員P的眼睛照射近紅外線光的方法並不局限於此。例如，對構成頭戴式顯示器100的顯示器144的圖元，形成具有僅紅外線光的副圖元的圖元，選擇性發出上述近紅外線光的副圖元，向使用人員P的眼睛照射近紅外線光。並且，代替顯示器144，可在頭戴式顯示器100形成視網膜投影顯示器，以在該視網膜投影顯示器顯示來向使用人員P的視網膜投影的影像內形成發出近紅外線光的圖元，由此實現近紅外線光的照射。在顯示器144的情況下，或在視網膜投影顯示器的情況下，發出近紅外線光的副圖元可定期改變。
並且，視線檢測的演算法並不局限於上述手段，只要可實現視線檢測，則利用之外的演算法。
（4）在上述實施形態中，示出在顯示器144輸出的影像為視頻的情況下，根據是否存在使用人員P凝視規定時間以上的人物來執行特定人物的移動預測的例。在上述處理中，繼續執行以下的處理。即，利用拍攝部154來對使用人員P的眼睛進行拍攝，視線檢測裝置200特定使用人員P的瞳孔的移動（打開狀態的變化）。而且，視線檢測裝置200包括根據瞳孔的打開狀態來特定使用人員P的感情的感情特定部。而且，影像生成部214根據感情特定部所特定的感情來變更各個區域的形狀或大小。具體地，例如，如一個機器追上其他機器的情況，使用人員P的瞳孔變大的情況下，判斷為使用人員P所觀看的機器的移動特殊，從而可以推定為使用人員P對上述機器產生興趣。同樣，影像生成部214以進一步強調上述時期的影像的強調的方式（例如，使周圍的流動變得緊）進行變化。
（5）在上述實施例中，示出了執行基於聲音生成部215的聲音形態的變更和基於影像生成部214的強調等的顯示形態的變更，在顯示形態的變更中，例如，將與凝視的機器相關的商品或其它的影像轉換為其網路銷售影像的CM影像。
（6）在上述實施形態中，示出了在視線預測部216以特定人物的之後的移動為物件進行預測，但在顯示器144輸出的影像中的亮度等離子的變化量為規定值以上的情況下，可預測使用人員P的視線移動。因此，影像中，可將顯示物件的幀和上述幀之後中顯示的幀之間，包括亮度等級的變化量為規定值以上的圖元的規定範圍特定為預測區域。並且，幀之間的多個數量中，在亮度等級的變化量為規定值以上的情況下，將包括最接近所檢測的視線位置的數量的規定範圍特定為預測區域。具體地，通過使用人員P的視線檢測來特定規定區域E1的狀態下，可意味著在顯示器144中，新的動體進入到幀（frame in）的情況。即，上述新動體的亮度等級有可能大於在進入幀之前的相同部分的亮度等級，使用人員P的視線也容易朝向新的動體。因此，因這種新幀，在存在所有動體的情況下，若簡單觀看上述動體，則簡單識別動體的種類等。這種視線誘導性視線預測尤其有用於射擊遊戲等的遊戲視頻。
（7）影像顯示系統1可通過頭戴式顯示器100及視線檢測裝置200的程式執行程式等來實現，也通過在視線檢測裝置200形成集成線路（IC；Integrated Circuit）晶片、大型積體電路（LSI，Large Scale Integration）等的邏輯電路（hardware）或專用電路來實現。並且，這種電路通過一個或多個積體電路來實現，在上述實施形態所示的多個功能部的功能通過一個積體電路實現。大型積體電路根據集成度的差異來分為VLSI、超級LSI、超LSI。
即，如圖9所示，頭戴式顯示器100包括聲音輸出電路133、第一通信電路147、控制電路150、存儲電路151、近紅外光照射電路152、顯示電路153、拍攝電路154、影像處理電路155、傾斜檢測電路156，各個功能與上述實施形態中示出的相同名稱的各個部相同。並且，視線檢測裝置200包括控制電路210、第二通信電路212、視線檢測電路213、影像生成電路214、聲音生成電路215、視線預測電路216、放大影像生成電路217，各個功能通過具有與上述實施形態所示的形同名稱的各個部相同。
並且，上述影像顯示程式存儲於程式可讀取的記錄介質，作為記錄介質，“非暫時性類型的介質”，例如，磁帶、磁片、卡、半導體記憶體、可程式設計邏輯電路等。並且，搜索程式通過可傳送上述搜索程式的任意的傳送介質（通信網路或載波等）來向上述程式供給。並且，影像顯示程式也可實現為包含在通過電子傳送體現的載波的資料信號的形態。
並且，例如，上述檢測程式利用ActionScript、JavaScript（注冊商標）、Python、Ruby等的指令碼語言、C語言、C++、C#、Objective-C、Java（注冊商標）等的編譯語言來安裝。
（8）適當組合上述實施形態所示的結構及各個（補充）。
產業上的可利用性
上述本發明可適用於以下裝置，在顯示器顯示影像的影像顯示系統，當顯示存在移動的影像時，通過顯示成使用人員簡單觀看的形態，可提高使用人員的便利性，並在使用人員安裝的狀態下在顯示器顯示影像的影像顯示系統、影像顯示方法、影像顯示程式。
1‧‧‧影像顯示系統
100‧‧‧頭戴式顯示器
140‧‧‧影像輸出部
143‧‧‧光源（照明部）
144‧‧‧顯示器（影像輸出部）
154‧‧‧拍攝部
200‧‧‧視線檢測裝置
213‧‧‧視線檢測部
214‧‧‧影像生成部
215‧‧‧聲音生成部
216‧‧‧視線預測部
217‧‧‧放大影像生成部
圖1為示出使用人員佩戴頭戴式顯示器的狀態的外觀圖。 圖2中，圖2的（A）為示意性示出頭戴式顯示器的影像輸出部的立體圖，圖2的（B）為示意性示出頭戴式顯示器的影像輸出部的側視圖。 圖3為影像顯示系統結構的框圖。 圖4中，圖4的（A）為說明用於檢測視線方向的校準的說明圖，圖（B）為說明使用人員的角膜的位置座標的示意圖。 圖5為示出影像顯示系統的動作的流程圖。 圖6中，圖6的（A）為影像顯示系統所顯示的影像處理之前的影像顯示例的說明圖，圖6的（B）為影像顯示系統所顯示的視線檢測狀態的影像顯示例的說明圖。 圖7中，圖7的（A）為影像顯示系統所顯示的影像處理狀態的影像顯示例的說明圖，圖7的（B）為重疊規定區域的一部分和預測區域的一部分狀態的放大區域的說明圖，圖7的（C）為將規定區域和預測區域形成為一個放大區域的狀態的說明圖，圖7的（D）為將異型的預測區域鄰接於規定區域的外側的狀態的放大區域的說明圖，圖7的（E）為不與規定區域重疊並使預測區域鄰接的狀態的放大區域的說明圖。 圖8為從影像資料的下載至畫面顯示的說明圖。 圖9為示出影像顯示系統的電路結構的框圖。
F1‧‧‧機器
E1‧‧‧規定區域
E2‧‧‧預測區域
E3‧‧‧放大區域
144‧‧‧顯示器

Claims (11)

  1. 一種影像顯示系統，其包括： 影像輸出部，用於輸出影像； 視線檢測部，用於檢測相對於在上述影像輸出部輸出的影像的使用人員的視線方向； 影像生成部，在上述影像輸出部輸出的影像中，以使使用人員對與上述視線檢測部檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理； 視線預測部，在上述影像輸出部輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及 放大影像生成部，在上述影像輸出部輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測部預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出方式執行影像處理。
  2. 根據請求項第1項所述的影像顯示系統，其中，上述放大影像生成部以使上述預測區域位於與上述規定區域相鄰的位置的方式執行影像處理。
  3. 根據請求項第1或2項所述的影像顯示系統，其中，上述放大影像生成部以在與上述規定區域共用一部分區域的狀態形成上述預測區域的方式執行影像處理。
  4. 根據請求項第1至3中任一項所述的影像顯示系統，其中，上述放大影像生成部以形成大於基於上述規定區域的形狀的面積的上述預測區域的方式執行影像處理。
  5. 根據請求項第1至4中任一項所述的影像顯示系統，其中，上述放大影像生成部通過將上述規定區域和上述預測區域形成為一個放大區域來執行影像處理。
  6. 根據請求項第1至5中任一項所述的影像顯示系統，其中，上述視線預測部根據在上述影像輸出部輸出的影像的影像資料中，根據與使用人員識別上的移動物體對應的影像資料來預測使用人員的視線。
  7. 根據請求項第1至6中任一項所述的影像顯示系統，其中，上述視線預測部根據按照與在上述影像輸出部輸出的影像有關的過去的時間順序變化的積累資料來預測使用人員的視線。
  8. 根據請求項第1至6中任一項所述的影像顯示系統，其中，上述視線預測部在上述影像輸出部輸出的影像中的亮度等級的變化量為規定值以上的情況下，預測為使用人員的視線將會移動。
  9. 根據請求項第1至8中任一項所述的影像顯示系統，其中，上述影像輸出部配置于使用人員在頭部所佩戴的頭戴式顯示器。
  10. 一種影像顯示方法，其包括： 影像輸出步驟，輸出影像； 視線檢測步驟，檢測相對於在上述影像輸出步驟輸出的影像的使用人員的視線方向； 影像生成步驟，在上述影像輸出步驟輸出的影像中，以使使用人員對與上述視線檢測步驟檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理； 視線預測步驟，在上述影像輸出步驟輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及 放大區域影像生成步驟，在上述影像輸出步驟輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測步驟預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出的方式執行影像處理。
  11. 一種影像顯示程式，用於在電腦執行如下功能： 影像輸出功能，輸出影像； 視線檢測功能，檢測相對於在上述影像輸出功能輸出的影像的使用人員的視線方向； 影像生成功能，在上述影像輸出功能輸出的影像中，以使使用人員對與上述視線檢測功能檢測的視線方向對應的規定區域內的影像的識別與其他區域相比更突出的方式執行影像處理； 視線預測功能，在上述影像輸出功能輸出的影像為視頻的情況下，預測使用人員的視線的移動方向；以及 放大區域影像生成功能，在上述影像輸出功能輸出的影像為視頻的情況下，除上述規定區域內的影像之外，以使使用人員對與上述視線預測功能預測的視線方向對應的預測區域內的影像的識別與其他區域相比更突出的方式執行影像處理。
TW106121879A 2016-07-01 2017-06-30 影像顯示系統、影像顯示方法、影像顯示程式 TW201804314A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016131912A JP2018004950A (ja) 2016-07-01 2016-07-01 映像表示システム、映像表示方法、映像表示プログラム
JP2016-131912 2016-07-01

Publications (1)

Publication Number Publication Date
TW201804314A true TW201804314A (zh) 2018-02-01

Family

ID=60807559

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106121879A TW201804314A (zh) 2016-07-01 2017-06-30 影像顯示系統、影像顯示方法、影像顯示程式

Country Status (5)

Country Link
US (1) US20180004289A1 (zh)
JP (1) JP2018004950A (zh)
KR (1) KR20180004018A (zh)
CN (1) CN107562184A (zh)
TW (1) TW201804314A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL293029B2 (en) 2015-03-16 2023-06-01 Magic Leap Inc Augmented reality signal oximeter
US10254454B2 (en) 2015-06-15 2019-04-09 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
IL299497B2 (en) 2016-04-08 2024-02-01 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
CA3044241A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
WO2018094079A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
CA3045663A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
IL301448B1 (en) 2016-12-14 2024-04-01 Magic Leap Inc Structures of liquid crystals through fine-imprint copying of surface alignment templates
KR20180074180A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
JP7096253B2 (ja) 2017-01-23 2022-07-05 マジック リープ， インコーポレイテッド 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
IL268630B2 (en) 2017-02-23 2023-09-01 Magic Leap Inc Display system with variable power reflector
CA3057080C (en) 2017-03-21 2023-09-12 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
IL303076A (en) 2017-12-15 2023-07-01 Magic Leap Inc Eyepieces for an augmented reality display system
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
WO2019171522A1 (ja) * 2018-03-08 2019-09-12 株式会社ソニー・インタラクティブエンタテインメント 電子機器、ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
JP7444861B2 (ja) * 2018-09-26 2024-03-06 マジック リープ， インコーポレイテッド 屈折力を有する回折光学要素
EP3884337A4 (en) 2018-11-20 2022-08-17 Magic Leap, Inc. EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM
JP6943913B2 (ja) * 2019-03-18 2021-10-06 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
CN114286962A (zh) 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
CN110458104B (zh) * 2019-08-12 2021-12-07 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
US11195495B1 (en) * 2019-09-11 2021-12-07 Apple Inc. Display system with facial illumination
US11663739B2 (en) * 2021-03-11 2023-05-30 Microsoft Technology Licensing, Llc Fiducial marker based field calibration of a device
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
JP2023061262A (ja) * 2021-10-19 2023-05-01 キヤノン株式会社 画像表示システム
CN116047758A (zh) * 2021-10-28 2023-05-02 华为终端有限公司 镜头模组及头戴式电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
WO2016092698A1 (ja) * 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method

Also Published As

Publication number Publication date
US20180004289A1 (en) 2018-01-04
JP2018004950A (ja) 2018-01-11
CN107562184A (zh) 2018-01-09
KR20180004018A (ko) 2018-01-10

Similar Documents

Publication Publication Date Title
TW201804314A (zh) 影像顯示系統、影像顯示方法、影像顯示程式
JP6845982B2 (ja) 表情認識システム、表情認識方法及び表情認識プログラム
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9122321B2 (en) Collaboration environment using see through displays
WO2017090203A1 (ja) 視線検出システム、注視点特定方法及び注視点特定プログラム
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
JP2019516261A (ja) インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
JP2018006914A (ja) 外部撮像システム、外部撮像方法、外部撮像プログラム
US20170344112A1 (en) Gaze detection device
JP6845111B2 (ja) 情報処理装置および画像表示方法
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
JPWO2016157485A1 (ja) ヘッドマウントディスプレイ
TW201802642A (zh) 視線檢測系統
US11320667B2 (en) Automated video capture and composition system
JP7218376B2 (ja) 視線追跡方法および装置
JP2019047250A (ja) 映像表示システム、映像表示方法及び映像表示プログラム
US20200213467A1 (en) Image display system, image display method, and image display program
JP7148634B2 (ja) ヘッドマウントディスプレイ装置
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
US20170374359A1 (en) Image providing system
US20240040099A1 (en) Depth of field in video based on gaze
US20230015732A1 (en) Head-mountable display systems and methods
WO2023195995A1 (en) Systems and methods for performing a motor skills neurological test using augmented or virtual reality