WO2016158151A1 - 視線検出システム、ヘッドマウントディスプレイ、視線検出方法 - Google Patents

視線検出システム、ヘッドマウントディスプレイ、視線検出方法 Download PDF

Info

Publication number
WO2016158151A1
WO2016158151A1 PCT/JP2016/056078 JP2016056078W WO2016158151A1 WO 2016158151 A1 WO2016158151 A1 WO 2016158151A1 JP 2016056078 W JP2016056078 W JP 2016056078W WO 2016158151 A1 WO2016158151 A1 WO 2016158151A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
mounted display
pixel
head mounted
Prior art date
Application number
PCT/JP2016/056078
Other languages
English (en)
French (fr)
Inventor
ロックラン ウィルソン
漠居 趙
圭一 瀬古
Original Assignee
フォーブ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォーブ インコーポレーテッド filed Critical フォーブ インコーポレーテッド
Priority to KR1020177030135A priority Critical patent/KR20170133390A/ko
Priority to CN201680020039.7A priority patent/CN107850937A/zh
Priority to US15/563,444 priority patent/US20180067306A1/en
Publication of WO2016158151A1 publication Critical patent/WO2016158151A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0856—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G02B17/086—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors wherein the system is made of a single block of optical material, e.g. solid catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0028—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed refractive and reflective surfaces, e.g. non-imaging catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G02B27/34—Fiducial marks and measuring scales within the optical system illuminated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • This invention relates to a head mounted display.
  • a technique is known in which a user's eye direction is detected by irradiating a user's eyes with invisible light such as near infrared light and analyzing an image of the user's eyes including the reflected light.
  • the detected information on the user's line-of-sight direction is reflected on a monitor such as a PC (Personal Computer) or a game machine and used as a pointing device.
  • the head mounted display is a video display device for presenting a three-dimensional video to the user who wears it.
  • a head-mounted display is generally used by being mounted so as to cover the user's field of view. For this reason, the user wearing the head-mounted display is shielded from the image of the outside world.
  • the head-mounted display is used as a display device for images such as movies and games, it is difficult for the user to visually recognize an input device such as a controller.
  • the present invention has been made in view of such problems, and an object thereof is to provide a technique for detecting geometric information of the cornea of a user wearing a head mounted display.
  • a line-of-sight detection system is a line-of-sight detection system including a head-mounted display and a line-of-sight detection device, and the head mounted display includes a plurality of pixels. Includes sub-pixels that emit red, green, blue, and invisible light, and based on image display elements that display images to be viewed by the user and invisible light emitted from the sub-pixels that emit invisible light,
  • the gaze detection apparatus includes: an imaging unit that captures an image of a user wearing a head-mounted display; and a transmission unit that transmits a captured image captured by the imaging unit.
  • a line-of-sight detection unit that detects a line-of-sight direction of the user's eyes based on the image.
  • a head-mounted display is a head-mounted display that is used by being mounted on a user's head, and when the head-mounted display is mounted,
  • An image display element that includes a convex lens disposed at a position facing the cornea and a plurality of pixels, and each pixel includes sub-pixels that emit red, green, blue, and invisible light, and displays an image to be viewed by the user
  • a camera that captures an image including a user's cornea as a subject, a convex lens, an image display element, and a housing that houses the camera.
  • the head mounted display may further include a control unit that selects and emits light that emits invisible light from among a plurality of pixels that form the image display element.
  • control unit may change the pixel that emits invisible light when a predetermined time has elapsed.
  • control unit may switch and control the light emission timings of the sub-pixels that emit invisible light and the sub-pixels other than the sub-pixel that emits invisible light.
  • the present invention it is possible to provide a technique for detecting geometric information of the cornea of a user wearing a head mounted display.
  • FIGS. 3A to 3B are schematic views for explaining a reflection region according to the embodiment.
  • FIGS. 4A to 4B are diagrams schematically illustrating an example of a dot pattern generated by the reflection region of the convex lens according to the embodiment. It is a schematic diagram for demonstrating the relationship between the imaged dot pattern and the structure of a to-be-photographed object. It is a figure which shows typically the function structure of the video reproduction apparatus which concerns on embodiment. It is a schematic diagram for demonstrating a user's gaze direction.
  • FIG. 1 is a diagram schematically showing an overview of a video system 1 according to the embodiment.
  • the video system 1 according to the embodiment includes a head mounted display 100 and a video playback device 200. As shown in FIG. 1, the head mounted display 100 is used by being mounted on the head of a user 300.
  • the video playback device 200 generates a video to be displayed by the head mounted display 100.
  • the video playback device 200 is a device capable of playing back videos such as a stationary game machine, a portable game machine, a PC, a tablet, a smartphone, a fablet, a video player, and a television.
  • the video playback device 200 is connected to the head mounted display 100 wirelessly or by wire.
  • the video reproduction device 200 is connected to the head mounted display 100 wirelessly.
  • the wireless connection between the video reproduction apparatus 200 and the head mounted display 100 can be realized by using a known wireless communication technology such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • transmission of video between the head mounted display 100 and the video playback device 200 is performed according to standards such as Miracast (trademark), WiGig (trademark), and WHDI (trademark).
  • FIG. 1 shows an example in which the head mounted display 100 and the video reproduction device 200 are different devices.
  • the video playback device 200 may be built in the head mounted display 100.
  • the head mounted display 100 includes a housing 150, a wearing tool 160, and headphones 170.
  • the housing 150 accommodates an image display system such as an image display element for presenting video to the user 300, and a wireless transmission module such as a Wi-Fi module or a Bluetooth (registered trademark) module (not shown).
  • the wearing tool 160 wears the head mounted display 100 on the user's 300 head.
  • the wearing tool 160 can be realized by, for example, a belt or a stretchable band.
  • the housing 150 is arranged at a position that covers the eyes of the user 300. For this reason, when the user 300 wears the head mounted display 100, the field of view of the user 300 is blocked by the housing 150.
  • the headphones 170 output the audio of the video that the video playback device 200 plays.
  • the headphones 170 may not be fixed to the head mounted display 100.
  • the user 300 can freely attach and detach the headphones 170 even when the head mounted display 100 is worn using the wearing tool 160.
  • FIG. 2 is a diagram schematically illustrating an optical configuration of the image display system 130 accommodated in the housing 150 according to the embodiment.
  • the image display system 130 includes a near infrared light source 103, an image display element 108, a hot mirror 112, a convex lens 114, a camera 116, and an image output unit 118.
  • the near-infrared light source 103 is a light source that can irradiate light in the near-infrared (about 700 nm to 2500 nm) wavelength band. Near-infrared light is generally invisible wavelength light that cannot be observed with the naked eye of the user 300.
  • the image display element 108 displays an image to be presented to the user 300.
  • the image displayed by the image display element 108 is generated by a GPU (Graphic Processing Unit) (not shown) in the video reproduction device 200.
  • the image display element 108 can be realized by using, for example, a known LCD (Liquid Crystal Display) or an organic EL display (Organic ElectroLuminescent Display).
  • the hot mirror 112 is disposed between the image display element 108 and the cornea 302 of the user 300 when the user 300 wears the head mounted display 100.
  • the hot mirror 112 has the property of transmitting visible light generated by the image display element 108 but reflecting near infrared light.
  • the convex lens 114 is disposed on the opposite side of the image display element 108 with respect to the hot mirror 112. In other words, the convex lens 114 is disposed between the hot mirror 112 and the cornea 302 of the user 300 when the user 300 wears the head mounted display 100. That is, the convex lens 114 is disposed at a position facing the cornea 302 of the user 300 when the head mounted display 100 is attached to the user 300.
  • the convex lens 114 condenses the image display light that passes through the hot mirror 112. Therefore, the convex lens 114 functions as an image enlarging unit that enlarges an image generated by the image display element 108 and presents it to the user 300.
  • the convex lens 114 may be a lens group configured by combining various lenses, one having a curvature and the other having a plane. A single convex lens may be used.
  • the near infrared light source 103 is arranged on the side surface of the convex lens 114.
  • the near-infrared light source 103 irradiates infrared light toward the inside of the convex lens 114.
  • the convex lens 114 is provided with a plurality of reflection regions that reflect infrared light inside the lens. These reflection regions are realized by providing fine regions having different refractive indexes inside the convex lens 114. In addition, providing the area
  • the near-infrared light source 103 irradiates the inside of the convex lens 114 and the near-infrared light is reflected by the reflection region inside the convex lens 114 and travels toward the cornea 302 of the user 300.
  • the near-infrared light is invisible light, the user 300 can hardly perceive the near-infrared light reflected by the reflection region.
  • the reflection area is a fine area that is smaller than or equal to one pixel constituting the image display element 108. For this reason, the user 300 can observe the image light irradiated by the image display element 108 with almost no perception of the reflection region. Details of the reflection region will be described later.
  • the image display system 130 of the head mounted display 100 includes two image display elements 108, and an image for presenting to the right eye of the user 300 and an image for presenting to the left eye Can be generated independently. Therefore, the head mounted display 100 according to the embodiment can present a parallax image for the right eye and a parallax image for the left eye to the right eye and the left eye of the user 300, respectively. Thereby, the head mounted display 100 according to the embodiment can present a stereoscopic video with a sense of depth to the user 300.
  • the hot mirror 112 transmits visible light and reflects near-infrared light. Therefore, the image light emitted from the image display element 108 passes through the hot mirror 112 and reaches the cornea 302 of the user 300. The infrared light emitted from the near-infrared light source 103 and reflected by the reflection region inside the convex lens 114 reaches the cornea 302 of the user 300.
  • the infrared light that has reached the cornea 302 of the user 300 is reflected by the cornea 302 of the user 300 and travels again toward the convex lens 114.
  • This infrared light passes through the convex lens 114 and is reflected by the hot mirror 112.
  • the camera 116 includes a filter that blocks visible light, and images near-infrared light reflected by the hot mirror 112. That is, the camera 116 is a near-infrared camera that images near-infrared light that is emitted from the near-infrared light source 103 and is reflected by the user's 300 eye.
  • the image output unit 118 outputs the image captured by the camera 116 to a line-of-sight detection unit that detects the line-of-sight direction of the user 300.
  • the image output unit 118 also outputs an image captured by the camera 116 to a corneal coordinate acquisition unit that acquires the spatial coordinates of the user's cornea.
  • the image output unit 118 transmits an image captured by the camera 116 to the video reproduction device 200.
  • the line-of-sight detection unit and the corneal coordinate acquisition unit will be described later, but are realized by a line-of-sight detection program and a corneal coordinate acquisition program executed by a CPU (Central Processing Unit) of the video reproduction device 200.
  • the CPU of the head mounted display 100 may execute a program that realizes the line-of-sight detection unit.
  • the image captured by the camera 116 includes a bright spot of the near-infrared light reflected by the cornea 302 of the user 300 and the cornea 302 of the user 300 observed in the near-infrared wavelength band. An image of the eye is captured.
  • the convex lens 114 is formed with a plurality of reflection regions such that the pattern of infrared light that appears on the cornea 302 of the user 300 forms a structured light.
  • Structured light is light used in a method of three-dimensional measurement of an object called a structured light method. More specifically, structured light is light that is emitted to cause a light pattern having a special structure to appear on the surface of an object to be measured. Various patterns appear by structured light, and examples include a plurality of dot patterns arranged in a grid pattern, striped patterns arranged at equal intervals, a grid pattern, and the like. Further, the structured light may include not only light of one color but also light of a plurality of colors (for example, red, green, and blue).
  • the structured light formed by the reflective region provided inside the convex lens 114 according to the embodiment is formed in a region including the cornea 302 of the user 300.
  • a pattern formed by a plurality of dots of infrared light appears.
  • FIGS. 3A to 3B are schematic views for explaining the reflection region 120 according to the embodiment.
  • 3A is a diagram showing a case where the convex lens 114 is viewed from the side surface (the user's 300 eye corner side)
  • FIG. 3B is a diagram illustrating a case where the convex lens 114 is viewed from the upper side (the top side of the user 300).
  • FIG. 3A is a diagram showing a case where the convex lens 114 is viewed from the side surface (the user's 300 eye corner side)
  • FIG. 3B is a diagram illustrating a case where the convex lens 114 is viewed from the upper side (the top side of the user 300).
  • the near-infrared light source 103 includes a plurality of LEDs 104.
  • the LED 104 irradiates an infrared light source toward the inside of the convex lens 114.
  • a plurality of reflection regions 120 are provided inside the convex lens 114.
  • a region indicated by an oblique line segment in FIG. 3B is shown in FIG. 3B, but a region indicated by an oblique line segment in FIG.
  • the reflective region 120 is a region having a refractive index different from that of other regions in the convex lens 114. For this reason, the infrared light incident from the LED 104 is totally reflected by the reflection region 120 and travels toward the cornea 302 of the user 300. Since a plurality of reflection regions 120 are provided in the convex lens 114, the same number of infrared light as the reflection region 120 travels toward the cornea 302 of the user 300. Thereby, the dot pattern of the shape according to the installation shape of the reflective area
  • the infrared light that has reached the cornea 302 of the user 300 is reflected by the cornea 302 of the user 300 and travels again toward the convex lens 114.
  • the infrared light reaches the reflection region 120, it is reflected by the reflection region 120, and the infrared light cannot pass through the convex lens 114.
  • each reflection area 120 is a narrow area, and the relative position between the reflection area 120 and the cornea 302 of the user 300 is constantly changed by a change in the line of sight of the user 300. For this reason, the probability that the infrared light reflected by the cornea 302 of the user 300 and traveling toward the convex lens 114 is reflected by the reflection region 120 is small, and does not cause a problem.
  • the relative position between the reflection region 120 and the cornea 302 of the user 300 is at another timing. Because it changes, it is no longer reflected. Therefore, even if the reflected light from the cornea 302 of the user 300 is reflected on the reflection region 120 at a certain moment by imaging infrared light with the camera 116 over time, the camera 116 captures an image at another moment. Is not a problem.
  • FIG. 3B shows the reflection region 120 existing in a horizontal section with the convex lens 114.
  • the reflection region 120 also exists on the other horizontal cross section of the convex lens 114. Therefore, the infrared light emitted from the near-infrared light source 103 and reflected by the reflection region 120 is distributed in a plane on the cornea 302 of the user 300 to form a dot pattern.
  • FIGS. 4A to 4B are diagrams schematically illustrating an example of a dot pattern generated by the reflection region 120 of the convex lens 114 according to the embodiment. More specifically, FIG. 4A is a schematic diagram showing a dot pattern irradiated from the convex lens 114. In FIG. 4A, A to H are symbols shown for convenience in explaining the arrangement of dots, and are not dot patterns that actually appear.
  • FIG. 4 (a) black circles and white circles are arranged at equal intervals in the vertical direction.
  • the vertical direction in FIG. 4 is a direction connecting the user's head and chin, and is the vertical direction when the user is standing upright.
  • a dot row arranged in the vertical direction from the symbol A may be referred to as an A row.
  • symbols B to H The same applies to symbols B to H.
  • the convex lens 114 is provided with a shooting area so that different dot patterns appear at different positions on the cornea 302 of the user 300.
  • all dot rows have different dot patterns from the A row to the H row. Therefore, the corneal coordinate acquisition unit can uniquely identify each dot row by analyzing the dot pattern in the image captured by the camera 116.
  • FIG. 4B is a schematic diagram showing a dot pattern reflected by an area including the cornea 302 of the user 300, and schematically showing an image captured by the camera 116.
  • the dot pattern imaged by the camera 116 is mainly a dot pattern that reaches the eyeball surface of the user 300, and the dot pattern that reaches the skin of the user 300 is difficult to be imaged. This is because the dot pattern reaching the skin of the user 300 is irregularly reflected by the skin, and the amount of light reaching the camera 116 is reduced.
  • the dot pattern that has reached the surface of the eyeball of the user 300 becomes a reflection close to a specular reflection due to the influence of tears or the like. For this reason, the amount of light of the dot pattern reaching the camera 116 also increases.
  • FIG. 5 is a schematic diagram for explaining the relationship between the imaged dot pattern and the structure of the subject.
  • the example shown in FIG. 5 shows a state in which the D row in FIG.
  • the camera 116 images the cornea 302 of the user 300 from below (that is, the direction of the user's mouth).
  • the human cornea has a shape that protrudes in the line-of-sight direction. For this reason, even if a dot pattern with equal intervals appears on the cornea 302 of the user 300, the interval between the dots in the dot pattern captured by the camera 116 changes according to the shape of the cornea 302 of the user 300. In other words, the interval between the dot patterns that appear on the cornea 302 of the user 300 reflects information in the depth direction (that is, the direction in which infrared light is applied to the cornea 302 of the user 300).
  • the corneal coordinate acquisition unit can acquire the shape of the cornea 302 of the user 300.
  • the present invention is not limited to the case where the camera 116 images the cornea 302 of the user 300 from below.
  • the optical path of the infrared light incident on the cornea 302 of the user 300 and the infrared light reflected by the cornea 302 of the user 300 need only be shifted. You may image from.
  • FIG. 6 is a diagram schematically illustrating a functional configuration of the video reproduction device 200 according to the embodiment.
  • the video reproduction device 200 includes a transmission / reception unit 210, a video generation unit 220, a line-of-sight detection unit 230, and a corneal coordinate acquisition unit 240.
  • FIG. 6 shows a functional configuration for realizing video generation processing, line-of-sight detection processing, and corneal coordinate detection processing by the video playback device 200 according to the embodiment, and other configurations are omitted.
  • each element described as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a main memory, and other LSI (Large Scale Integration) in terms of hardware.
  • CPU Central Processing Unit
  • main memory main memory
  • LSI Large Scale Integration
  • software it is realized by a program loaded in the main memory. Note that this program may be stored in a computer-readable recording medium or downloaded from a network via a communication line. It is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
  • the transmission / reception unit 210 transmits information between the video reproduction device 200 and the head mounted display 100.
  • the transmission / reception unit 210 can be realized by a wireless communication module that complies with the above-described standards such as Miracast (trademark), WiGig (trademark), and WHDI (trademark).
  • the video generation unit 220 generates a video to be displayed on the image display element 108 of the head mounted display 100.
  • the video generation unit 220 can be realized using, for example, the above-described GPU or CPU.
  • the corneal coordinate acquisition unit 240 acquires the three-dimensional shape of the cornea 302 of the user 300 by analyzing the interval between the dot patterns that appear on the cornea 302 of the user 300. Thereby, the corneal coordinate acquisition unit 240 can also estimate the position coordinates of the cornea 302 of the user 300 in the three-dimensional coordinate system with the camera 116 as the origin.
  • the camera 116 may be a monocular camera, but may be a stereo camera including two or more imaging units.
  • the corneal coordinate acquisition unit 240 analyzes the parallax image of the cornea 302 of the user 300 captured by the camera 116, thereby obtaining the position coordinates of the cornea 302 of the user 300 in the three-dimensional coordinate system with the camera 116 as the origin. It can be estimated with high accuracy.
  • FIG. 7 is a schematic diagram for explaining the viewing direction of the user 300.
  • the corneal coordinate acquisition unit 240 can acquire the shape of the cornea 302 of the user 300.
  • the line-of-sight detection unit 230 can detect the apex P of the cornea 302 of the user 300 having a substantially hemispherical shape.
  • the line-of-sight detection unit 230 sets a plane 304 in contact with the cornea 302 at the vertex P.
  • the direction of the normal line 306 of the plane 304 at the vertex P is the line-of-sight direction of the user 300.
  • the cornea 302 of the user 300 is generally not a spherical surface but an aspherical surface. For this reason, in the above method assuming that the cornea 302 of the user 300 is a spherical surface, an estimation error may occur in the line-of-sight direction of the user 300. Therefore, the gaze detection unit 230 may provide calibration for estimating the gaze direction before the user 300 starts using the head mounted display 100.
  • FIG. 8 is a schematic diagram for explaining the gaze direction calibration performed by the gaze detection unit 230 according to the embodiment.
  • the line-of-sight detection unit 230 causes the video generation unit 220 to generate nine points from points Q 1 to Q 9 as shown in FIG.
  • the line-of-sight detection unit 230 causes the user 300 to gaze at the points Q 1 to Q 9 in order, and detects the normal line 306 described above.
  • the center coordinates of the user 300 cornea 302 i.e., the coordinates of the vertex P described above with reference to FIG. 7
  • the viewing direction of the user 300 is a P 1 -Q 1 direction connecting the point P 1 and the point Q 1 in FIG.
  • the line-of-sight detection unit 230 compares the direction of the acquired normal 306 with the P 1 -Q 1 direction and stores the error.
  • the line-of-sight detection unit 230 stores errors for nine directions P 1 -Q 1 , P 2 -Q 2 ,..., P 9 -Q 9 from the point Q 1 to the point Q 9.
  • a correction table for correcting the direction of the normal 306 obtained by calculation can be acquired.
  • the line-of-sight detection unit 230 can acquire a correction table in advance by calibration and correct the direction of the normal 306 obtained by the above-described method, thereby realizing more accurate line-of-sight detection.
  • the relative positional relationship between the head of the user 300 and the head mounted display 100 changes after the user 300 wears the head mounted display 100 on the head and the line-of-sight detection unit 230 performs calibration.
  • the relative positional relationship between the head of the user 300 and the head mounted display 100 does not affect the accuracy of detection of the gaze direction. Therefore, it is possible to realize gaze direction detection that is robust against changes in the relative positional relationship between the head of the user 300 and the head mounted display 100.
  • the gaze detection unit 230 may execute gaze direction detection by an algebraic method using coordinate transformation described below, instead of the geometric method.
  • the coordinates of the points Q 1 to Q 9 in the two-dimensional coordinate system set for the moving image displayed by the image display element 108 are respectively represented by Q 1 (x 1 , y 1 ) T , Q 2 (x 2 , y 2 ) Let T ..., Q 9 (x 9 , x 9 ) T.
  • the coordinates of the position coordinates P 1 to P 9 of the user 300 cornea 302 when the user 300 is gazing at the points Q 1 to Q 9 are P 1 (X 1 , Y 1 , Z 1 ) T , P 2 (X 2 , Y 2 , Z 2 ) T ,..., P 9 (Z 9 , Y 9 , Z 9 ) T.
  • T represents transposition of a vector or a matrix.
  • a matrix M having a size of 3 ⁇ 2 is defined as the following formula (1).
  • the matrix M is a matrix that projects the line-of-sight direction of the user 300 onto the moving image plane displayed by the image display element 108.
  • the element of vector y is known because it is the coordinates of points Q 1 to Q 9 that the line-of-sight detection unit 230 displays on the image display element 108.
  • the elements of the matrix A are the coordinates of the vertex P of the cornea 302 of the user 300 acquired by the corneal coordinate acquisition unit 240. Therefore, the line-of-sight detection unit 230 can acquire the vector y and the matrix A.
  • the vector x which is a vector in which the elements of the transformation matrix M are arranged, is unknown. Therefore, the problem of estimating the matrix M is a problem of obtaining the unknown vector x when the vector y and the matrix A are known.
  • an optimal vector x opt in the sense of minimizing the sum of squares of the elements of the vector e is obtained by the following equation (6).
  • the line-of-sight detection unit 230 configures the matrix M of Expression (1) by using the elements of the obtained vector x opt . Accordingly, the line-of-sight detection unit 230 uses the coordinates of the vertex P of the cornea 302 of the user 300 acquired by the cornea coordinate acquisition unit 240 and the matrix M, so that the user 300 can display the image display element 108 according to Equation (2). It is possible to estimate where on the moving image surface displayed by is watching.
  • the relative positional relationship between the head of the user 300 and the head mounted display 100 changes after the user 300 wears the head mounted display 100 on the head and the line-of-sight detection unit 230 performs calibration.
  • the position coordinates of the apex P of the cornea 302 constituting the matrix A described above are values estimated by the cornea coordinate acquisition unit 240 as position coordinates in a three-dimensional coordinate system with the camera 116 as the origin. Even if the relative positional relationship between the head of the user 300 and the head mounted display 100 changes, the coordinate system serving as a reference for the position coordinates of the vertex P of the cornea 302 does not change.
  • the line-of-sight detection performed by the line-of-sight detection unit 230 according to the embodiment can improve the robustness against the displacement of the head mounted display 100 being worn.
  • the geometric information of the cornea 302 of the user 300 wearing the head mounted display 100 can be detected.
  • the head mounted display 100 can acquire the three-dimensional shape and position coordinates of the cornea 302 of the user 300, the line-of-sight direction of the user 300 can be accurately estimated.
  • the convex lens 114 is provided with the reflection region 120 so that different dot patterns appear at different positions of the cornea 302 of the user 300 has been described.
  • dots of different blinking patterns may appear at different positions of the cornea 302 of the user 300. This can be realized, for example, by forming the near-infrared light source 103 with a plurality of different light sources and changing the blinking pattern with each light source.
  • each pixel constituting the image display element 108 includes a light source that emits near infrared light. Also good. That is, one pixel is generally composed of RGB, and a light emitting element for emitting near infrared light is provided in addition to a light emitting element for emitting red light, green light, and blue light.
  • the image display element includes a sub-pixel that emits near-infrared light as a sub-pixel, the head-mounted display 100 does not have to be provided with the near-infrared light source 103.
  • FIG. 9 is a diagram illustrating a configuration example of the screen display element 108.
  • the image display element 108 includes pixels constituting an image and sub-pixels constituting the pixel.
  • one pixel constituting the image display element 108 includes sub-pixels 900r, 900g, 900b, and 900i.
  • the sub-pixel 900r is a pixel that emits red light (including light emitted by the backlight and light emitted by the pixel itself)
  • the sub-pixel 900g is a pixel that emits green light
  • the sub-pixel 900b is a pixel that emits blue light.
  • a subpixel is used as the subpixel. Including 900i.
  • the sub-pixel 900i is a pixel that emits near-infrared light.
  • the sub-pixel 900i of each pixel 900 determines whether or not to emit near-infrared light according to an instruction from the video output unit 224, and emits the display image data output to the head mounted display 100 by the video output unit 224. Whether or not is included. Thereby, the light emission pattern of the near infrared light of an operator's liking can be formed. Therefore, in the image displayed at that time, depending on the content of the image, for example, it is possible to realize pattern formation in which near-infrared light is not emitted in pixels that emit red strongly.
  • the light emission of the sub-pixel 900i may be executed by the display unit included in the head mounted display described in the above embodiment, or by the irradiation unit that controls the sub-pixel 900i that emits near-infrared light. Also good.
  • the configuration for emitting near-infrared light in an image is effective regardless of the type of display device, and can be applied to various display devices such as LCDs, plasma displays, and organic EL displays. Even if the pixel includes a sub-pixel for near-infrared light, the wavelength of the near-infrared light to be irradiated should be outside the range that can be perceived by humans for the actually displayed image. Thus, the user does not feel uncomfortable when viewing the image.
  • Control of which pixel of the pixel of the image display element 108 emits the sub-pixel 900i may be executed by the display unit or the irradiation unit of the head mounted display 100, or a video generation unit. 220 may be designated, and the display unit or the irradiation unit of the head mounted display may be executed in accordance with the designation.
  • the structured light shown in the above embodiment can be realized.
  • whether or not the sub-pixel 900i is lit may be changed as appropriate.
  • every time a predetermined time passes along the time series.
  • the sub-pixel 900i that emits near-infrared light may be changed.
  • the predetermined time may be defined by the number of seconds, or in the case of a moving image, may be defined by the number of frames, or may be defined for each blanking period.
  • the frame number of the moving image and the coordinate position information of the image display element 108 of the sub-pixel 900i that emits near-infrared light at that time are associated with each other and stored in the head mounted display or the line-of-sight detection device.
  • the timing for lighting the sub-pixel 900i and the timing for lighting the sub-pixel 900r, the sub-pixel 900g, and the sub-pixel 900b may be different timings.
  • the camera 116 may be configured to execute imaging only when the sub-pixel 900i is lit.
  • the blanking periods of the sub-pixel 900r, the sub-pixel 900g, and the sub-pixel 900b and the blanking period of the sub-pixel 900i are set to be different from each other. It may be realized.
  • the blanking period of the sub-pixel 900r, the sub-pixel 900g, and the sub-pixel 900b is the lighting period of the sub-pixel 900i
  • the blanking period of the sub-pixel 900i is the sub-pixel 900r, the sub-pixel 900g, and the sub-pixel.
  • a lighting period of 900b is preferable.
  • an image is displayed on the image display element 108 provided in the head mounted display 100 to provide a video to the user.
  • FIG. 10 shows an example in which a video is provided to the user without displaying an image on the image display element 108 that can be adopted by the head mounted display 100.
  • the display system 1000 shown in FIG. 10 does not make the user visually recognize the image displayed on the image display element 108, but is a display system in the case of directly projecting an image on the user's eyes.
  • the display system 1000 directly projects the image data transmitted from the video output unit 224 onto the user's eye 303 via the convex lens 114 using the optical fiber 1001.
  • the image 1102 includes a non-visible light source in a pattern as shown in the above embodiment mode, and is also applied to the user's eye 303. Therefore, the eye 116 can be detected by capturing an image of the cornea that reflects the invisible light irradiated to the user's eyes using the camera 116.
  • FIG. 10 shows an example in which an image is projected directly from the optical fiber 1001 to the user's eyes. The image light from the optical fiber 1001 is reflected by a hot mirror or the like via the convex lens 114, and the user. It is good also as projecting on the eyes 303.
  • a marker image is displayed, the user is watched for the marker image, and mapping information indicating the relationship between the cornea and the monitor obtained by calibration is stored.
  • mapping information indicating the relationship between the cornea and the monitor obtained by calibration is stored.
  • an example is shown in which the user's line of sight is detected when viewing an actual video.
  • Gaze detection using the following method is also included in the concept of the present invention.
  • FIG. 11 is a diagram illustrating an example of the visual line detection method.
  • the line-of-sight detection unit 230 stores in advance the position of the user's cornea center when the user is looking at the center of the image.
  • FIG. 11A is a diagram illustrating an image 1100 obtained by capturing a visible light image including the left eye of the user. Although the left eye is used here, it does not change even if this is the right eye. It is generally known that the scenery that the user is seeing is reflected in the user's eyes. As shown in FIG. 11A, an image 1110 displayed on the image display element 108 shown in FIG. 11B is reflected in the user's eyes.
  • a visible light camera is used as the camera 116.
  • an image based on normal visible light can be taken, and an image as shown in FIG. 11A can be acquired.
  • the line-of-sight detection unit 230 specifies feature points by performing image analysis such as edge analysis and corner analysis on the obtained image.
  • image analysis such as edge analysis and corner analysis
  • FIG. 11A for example, feature points 1101a, 1101b, and 1101c can be detected.
  • the line-of-sight detection unit 230 compares the position of the user's cornea center with respect to the detected feature point, and specifies the amount of movement from the position of the user's cornea center when looking at the center of the image stored in advance.
  • the part (gaze direction) where the user is gazing is detected.
  • the head mounted display 100 includes a half mirror that partially reflects visible light and partially transmits, instead of the hot mirror 112, In addition to the camera 116, it is necessary to provide a visible light camera that directly images the user's eyes.
  • the position of the user's cornea center when the user is looking at the center of the image is stored.
  • the line of sight can be detected without storing this position information. That is, the first frame of the moving image output by the video output unit 224 and the second frame following the first frame (the second frame may not be a frame immediately after the first frame, At least a part of the same object as that to be displayed must be displayed)). Further, the position of the center of the cornea of the user who watches the first frame and the position of the center of the cornea of the user who watches the second frame at that time are also detected.
  • the line-of-sight detection unit 230 then moves the moving distance and direction on the screen display element 108 from the feature point in the first frame to the corresponding feature point in the second frame, and the user's corneal center in the first frame. Based on the moving distance and moving direction on the screen display element 108 from the position of the first frame to the position of the user's cornea center in the second frame, the position (gaze direction) where the user is gazing at the second frame is detected. You may take the structure to do.
  • This invention can be used for a head mounted display.
  • 1 video system 100 head mounted display, 103 near infrared light source, 104 LED, 108 image display element, 112 hot mirror, 114 convex lens, 116 camera, 118 image output unit, reflection area 120 130 image display system, 150 housing, 160 wearing equipment, 170 headphones, 200 video playback device, 210 transmission / reception unit, 220 video generation unit, 230 gaze detection unit, 240 corneal coordinate acquisition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Position Input By Displaying (AREA)

Abstract

　ユーザの頭部に装着して使用されるヘッドマウントディスプレイにおいて、凸レンズはヘッドマウントディスプレイが装着されたときにユーザの角膜に対向する位置に配置される。赤外光源は、凸レンズに向けて赤外光を照射する。カメラは、ユーザの角膜を被写体に含む映像を撮像する。筐体は、凸レンズ、赤外光源、およびカメラを収容する。凸レンズは、当該凸レンズの内部に赤外光を反射する複数の反射領域が設けられている。赤外光源は、凸レンズに設けられた複数の反射領域それぞれに赤外光を照射することにより、ユーザの角膜上に赤外光のパターンを出現させる。

Description

視線検出システム、ヘッドマウントディスプレイ、視線検出方法
　この発明は、ヘッドマウントディスプレイに関する。
　近赤外光などの非可視光をユーザの眼に照射し、その反射光を含むユーザの眼の画像を解析することでユーザの視線方向を検出する技術が知られている。検出したユーザの視線方向の情報は、例えばＰＣ（Personal Computer）やゲーム機等のモニタに反映させ、ポインティングデバイスとして用いることも現実のものとなってきている。
特開平２－２６４６３２号公報
　ヘッドマウントディスプレイは、装着したユーザに３次元的な映像を提示するための映像表示装置である。ヘッドマウントディスプレイは、一般に、ユーザの視界を覆うようにして装着して使用される。このため、ヘッドマウントディスプレイを装着したユーザは外界の映像が遮蔽される。ヘッドマウントディスプレイを映画やゲーム等の映像の表示装置として用いると、ユーザはコントローラ等の入力装置を視認することが難しい。
　このため、ヘッドマウントディスプレイを装着したユーザの視線方向を検出してポインティングデバイスの代替として利用できれば便利である。特に、ユーザがヘッドマウントディスプレイを装着した状態でユーザの角膜の幾何情報（空間座標や形状の情報）が得られれば、ユーザの視線方向の推定に有用である。
　本発明はこのような課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの角膜の幾何情報を検出する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の視線検出システムは、ヘッドマウントディスプレイと、視線検出装置とからなる視線検出システムであって、ヘッドマウントディスプレイは、複数の画素からなり、各画素は、赤色、緑色、青色、非可視光を発光するサブ画素を含み、ユーザに視聴させる画像を表示する画像表示素子と、非可視光を発光するサブ画素から発光した非可視光に基づいて、ヘッドマウントディスプレイを装着しているユーザの眼を撮像する撮像部と、撮像部が撮像した撮像画像を送信する送信部と、を備え、視線検出装置は、撮像画像を受信する受信部と、撮像画像に基づいて、ユーザの眼の視線方向を検出する視線検出部とを備える。
　また、上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、ヘッドマウントディスプレイが装着されたときにユーザの角膜に対向する位置に配置される凸レンズと、複数の画素からなり、各画素は、赤色、緑色、青色、非可視光を発光するサブ画素を含み、ユーザに視聴させる画像を表示する画像表示素子と、ユーザの角膜を被写体に含む映像を撮像するカメラと、凸レンズ、画像表示素子、およびカメラを収容する筐体とを備える。
　また、上記ヘッドマウントディスプレイにおいて、ヘッドマウントディスプレイは、さらに、画像表示素子を構成する複数の画素のうち、非可視光を発光する画素を選択して発光させる制御部を備えることとしてもよい。
　また、制御部は、非可視光を発光させる画素を、所定時間が経過すると変更することとしてもよい。
　また、制御部は、非可視光を発光するサブ画素と、非可視光を発光するサブ画素以外のサブ画素の発光タイミングを切り替えて制御することとしてもよい。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、ヘッドマウントディスプレイを装着したユーザの角膜の幾何情報を検出する技術を提供することができる。
実施の形態に係る映像システムの概観を模式的に示す図である。 実施の形態に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。 図３（ａ）－（ｂ）は、実施の形態に係る反射領域を説明する模式図である。 図４（ａ）－（ｂ）は、は、実施の形態に係る凸レンズの反射領域によって生成されるドットパターンの一例を模式的に示す図である。 撮像されたドットパターンと被写体の構造との関係を説明するための模式図である。 実施の形態に係る映像再生装置の機能構成を模式的に示す図である。 ユーザの視線方向を説明するための模式図である。 実施の形態に係るヘッドマウントディスプレイが実行する視線方向のキャリブレーションを説明する模式図である。 画像表示素子の画素構成例を示す図である。 ユーザの眼に直接画像光を照射し、その中に赤外光を含ませる例を示す図である。 ユーザの眼に映りこんだ画像に基づいて視線検出を行う例を示す図である。
　図１は、実施の形態に係る映像システム１の概観を模式的に示す図である。実施の形態に係る映像システム１は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
　映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する。限定はしないが、一例として、映像再生装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。映像再生装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、映像再生装置２００はヘッドマウントディスプレイ１００と無線で接続している。映像再生装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と映像再生装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。
　なお、図１は、ヘッドマウントディスプレイ１００と映像再生装置２００とが異なる装置である場合の例を示している。しかしながら、映像再生装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
　ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ－ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
　ヘッドフォン１７０は、映像再生装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
　図２は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図である。画像表示系１３０は、近赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および画像出力部１１８を備える。
　近赤外光源１０３は、近赤外（７００ｎｍ～２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。
　画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、映像再生装置２００内の図示しないＧＰＵ（Graphic Processing Unit）が生成する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic ElectroLuminescent Display）を用いて実現できる。
　ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。
　凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
　凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
　近赤外光源１０３は、凸レンズ１１４の側面に配置されている。近赤外光源１０３は、凸レンズ１１４の内部に向けて赤外光を照射する。凸レンズ１１４は、レンズ内部に赤外光を反射する複数の反射領域が設けられている。これらの反射領域は、凸レンズ１１４の内部に屈折率が異なる微細な領域を設けることによって実現されている。なお、凸レンズ１１４において屈折率の異なる領域を設けることは、既知のレーザー加工技術を用いて実現できる。反射領域は、凸レンズ１１４の内部において複数箇所に設けられている。
　近赤外光源１０３が凸レンズ１１４の内部に向けて照射して近赤外光は、凸レンズ１１４の内部の反射領域で反射されてユーザ３００の角膜３０２に向かう。なお、近赤外光は非可視光であるため、ユーザ３００は反射領域で反射された近赤外光をほとんど知覚することはできない。また、反射領域は画像表示素子１０８を構成する画素一つ分かそれより小さい微細な領域である。このため、ユーザ３００は反射領域をほとんど知覚することなく、画像表示素子１０８が照射する画像光を観察することができる。なお、反射領域の詳細は後述する。
　図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
　上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また近赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。
　ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、近赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
　画像出力部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出部に出力する。画像出力部１１８はまた、カメラ１１６が撮像した画像を、ユーザの角膜の空間座標を取得する角膜座標取得部にも出力する。具体的には、画像出力部１１８は、カメラ１１６が撮像した画像を映像再生装置２００に送信する。視線検出部および角膜座標取得部については後述するが、映像再生装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムおよび角膜座標取得プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線検出部を実現するプログラムを実行してもよい。
　詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光が輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。
　ここで凸レンズ１１４は、ユーザ３００の角膜３０２上に出現する赤外光のパターンがストラクチャードライト（structured light）を形成するように、複数の反射領域が形成されている。「ストラクチャードライト」とは、ストラクチャードライト法（structured light method）と呼ばれる物体の３次元計測の一手法で用いられる光である。より具体的に、ストラクチャードライトは、計測対象とする物体の表面に特殊な構造を持った光パターンを出現させるために照射される光である。ストラクチャードライトによって出現させるパターンは種々存在するが、一例としては格子状に配列された複数のドットパターン、等間隔に配置された縞模様のパターン、格子パターン等が挙げられる。また、ストラクチャードライトは１色の光のみならず、複数色（例えば赤色、緑色、および青色など）の光を含んでもよい。
　ストラクチャードライト法は既知の技術であるためその詳細は説明しないが、実施の形態に係る凸レンズ１１４の内部に設けられている反射領域によって形成されるストラクチャードライトは、ユーザ３００の角膜３０２を含む領域に、複数の赤外光のドットによって形成されるパターンを出現させる。
　図３（ａ）－（ｂ）は、実施の形態に係る反射領域１２０を説明する模式図である。図３（ａ）は凸レンズ１１４を側面（ユーザ３００の目尻側）から見た場合を示す図であり、図３（ｂ）は凸レンズ１１４を上側（ユーザ３００の頭頂側）から見た場合を示す図である。
　図３（ａ）に示すように、近赤外光源１０３は、複数のＬＥＤ１０４を備える。煩雑となることを避けるために図３（ａ）において符号１０４は１つしか示していないが、破線の矩形はＬＥＤ１０４を示している。ＬＥＤ１０４は、凸レンズ１１４の内部に向かって赤外光源を照射する。
　図３（ｂ）に示すように、複数の反射領域１２０が凸レンズ１１４の内部に設けられている。煩雑となることを避けるために図３（ｂ）において符号１２０は１つしか示していないが、図中斜めの線分で示す領域は反射領域１２０を示している。
　上述したように、反射領域１２０は、凸レンズ１１４中の他の領域と比較して屈折率の異なる領域である。このため、ＬＥＤ１０４から入射された赤外光は反射領域１２０で全反射されてユーザ３００の角膜３０２に向かう。反射領域１２０は凸レンズ１１４中に複数箇所設けられているため、反射領域１２０と同数の赤外光がユーザ３００の角膜３０２に向かう。これにより、ユーザ３００の角膜３０２上に反射領域１２０の設置形状に応じた形状のドットパターンを形成することができる。なお、凸レンズ１１４中に屈折率のことなる領域を設けることは、既知のレーザー加工技術を用いて実現できる。
　上述したように、ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。このとき、反射領域１２０に赤外光が到達すると反射領域１２０によって反射され、赤外光は凸レンズ１１４を透過できない。しかしながら、各反射領域１２０は狭い領域であり、また反射領域１２０とユーザ３００の角膜３０２との相対位置がユーザ３００の視線の変化によって絶えず変化す。このため、ユーザ３００の角膜３０２で反射され凸レンズ１１４に向かう赤外光が反射領域１２０によって反射される確率は小さく、問題とはならない。
　また仮に、ユーザ３００の角膜３０２で反射され凸レンズ１１４に向かう赤外光があるタイミングで反射領域１２０において反射されたとしても、別のタイミングでは反射領域１２０とユーザ３００の角膜３０２との相対位置が変わるため、反射されなくなる。したがって、カメラ１１６で経時的に赤外光を撮像することで、ある瞬間にユーザ３００の角膜３０２からの反射光が反射領域１２０で反射されたとしても、別の瞬間ではカメラ１１６は撮像することができるので、問題とはならない。
　図３（ｂ）は、凸レンズ１１４のある水平断面に存在する反射領域１２０を示している。反射領域１２０は凸レンズ１１４の他の水平断面上にも存在する。したがって、近赤外光源１０３から照射され反射領域１２０で反射された赤外光は、ユーザ３００の角膜３０２において平面的に分布してドットパターンを形成する。
　図４（ａ）－（ｂ）は、実施の形態に係る凸レンズ１１４の反射領域１２０によって生成されるドットパターンの一例を模式的に示す図である。より具体的に、図４（ａ）は、凸レンズ１１４から照射されるドットパターンを示す模式図である。なお図４（ａ）に示す図において、Ａ～Ｈはドットの並びを説明するために便宜上示した記号であり、実際に出現させるドットパターンではない。
　図４（ａ）において、黒丸および白丸は縦方向に等間隔で並んでいる。なお、図４における縦方向はユーザの頭頂とあごとを結ぶ方向であり、ユーザが直立しているときの鉛直方向である。以下本明細書において、記号Ａから縦方向に並ぶドット列をＡ列と記載することがある。記号Ｂ～Ｈについても同様である。
　図４（ａ）において、黒丸は赤外光によるドット（輝点）が出現することを示し、白丸は実際にはドットが出現しないことを示す。凸レンズ１１４は、ユーザ３００の角膜３０２の異なる位置に異なるドットのパターンが出現するように射領域が設けられている。図４（ａ）に示す例では、Ａ列からＨ列に到るまで、全てのドット列が異なるドットパターンとなっている。このため角膜座標取得部は、カメラ１１６が撮像した画像中のドットパターンを解析することにより、各ドット列を一意に特定することができる。
　図４（ｂ）は、ユーザ３００の角膜３０２を含む領域で反射されたドットパターンを示す模式図であり、カメラ１１６が撮像する画像を模式的に示す図である。図４（ｂ）に示すように、カメラ１１６によって撮像されるドットパターンは、主にユーザ３００の眼球表面に到達したドットパターンであり、ユーザ３００の肌に到達したドットパターンは撮像されにくい。これは、ユーザ３００の肌に到達したドットパターンは肌で乱反射され、カメラ１１６まで到達する光の光量が低下するからである。一方、ユーザ３００の眼球表面に到達したドットパターンは涙等の影響で鏡面反射に近い反射となる。このため、カメラ１１６まで到達するドットパターンの光量も多くなる。
　図５は、撮像されたドットパターンと被写体の構造との関係を説明するための模式図である。図５に示す例は、図４（ａ）におけるＤ列が撮像されている様子を示す。
　図５に示すように、実施の形態に係るカメラ１１６は、ユーザ３００の角膜３０２を下方向（すなわちユーザの口側の方向）から撮像する。一般に人間の角膜は視線方向に対して突出する形状を有する。このため、ユーザ３００の角膜３０２に等間隔のドットパターンが出現したとしても、カメラ１１６が撮像するドットパターンにおける各ドット間の間隔は、ユーザ３００の角膜３０２の形状に応じて変化する。言い換えると、ユーザ３００の角膜３０２に出現したドットパターンの間隔は、奥行き方向（すなわち、ユーザ３００の角膜３０２に対して赤外光が照射される方向）の情報を反映することになる。このドットパターンの間隔を解析することにより、角膜座標取得部は、ユーザ３００の角膜３０２の形状を取得することができる。なお、カメラ１１６がユーザ３００の角膜３０２を下方向から撮像する場合には限られない。ユーザ３００の角膜３０２に入射する赤外光と、ユーザ３００の角膜３０２で反射された赤外光との光路がずれていればよく、カメラ１１６は例えばユーザ３００の角膜３０２を横方向や上方向から撮像してもよい。
　図６は、実施の形態に係る映像再生装置２００の機能構成を模式的に示す図である。映像再生装置２００は、送受信部２１０、映像生成部２２０、視線検出部２３０、および角膜座標取得部２４０を備える。
　図６は、実施の形態に係る映像再生装置２００による映像生成処理、視線検出処理、および角膜座標検出処理を実現するための機能構成を示しており、他の構成は省略している。図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。なお、このプログラムは、コンピュータが読み出し可能な記録媒体に格納されていてもよく、通信回線を介してネットワークからダウンロードされてもよい。これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　送受信部２１０は、映像再生装置２００とヘッドマウントディスプレイ１００との間で情報の伝達を実行する。送受信部２１０は、上述したＭｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則った無線通信モジュールで実現できる。
　映像生成部２２０は、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる映像を生成する。映像生成部２２０は、例えば上述したＧＰＵやＣＰＵを用いて実現できる。
　角膜座標取得部２４０は、ユーザ３００の角膜３０２に出現したドットパターンの間隔を解析することにより、ユーザ３００の角膜３０２の３次元形状を取得する。これにより、角膜座標取得部２４０は、カメラ１１６を原点とする３次元座標系におけるユーザ３００の角膜３０２の位置座標も推定することができる。
　なお、カメラ１１６は単眼カメラであってもよいが、２つ以上の撮像部を備えるステレオカメラであってもよい。この場合、角膜座標取得部２４０は、カメラ１１６が撮影するユーザ３００の角膜３０２の視差画像を解析することにより、カメラ１１６を原点とする３次元座標系におけるユーザ３００の角膜３０２の位置座標をより精度よく推定することができる。
　図７は、ユーザ３００の視線方向を説明する模式図である。上述したように、角膜３０２に出現したドットパターンを解析することにより、角膜座標取得部２４０はユーザ３００の角膜３０２の形状を取得することができる。これにより、図６に示すように、視線検出部２３０は略半球形状であるユーザ３００の角膜３０２の頂点Ｐを検出することができる。視線検出部２３０は続いて、頂点Ｐにおいて角膜３０２と接する平面３０４を設定する。このとき、頂点Ｐにおける平面３０４の法線３０６の方向が、ユーザ３００の視線方向となる。
　なお、ユーザ３００の角膜３０２は、一般に球面ではなく非球面である。このため、ユーザ３００の角膜３０２が球面であると仮定した上記方法では、ユーザ３００の視線方向に推定誤差が出ることもありうる。そこで視線検出部２３０は、ユーザ３００がヘッドマウントディスプレイ１００の使用を開始するに先立って、視線方向推定のためのキャリブレーションを提供してもよい。
　図８は、実施の形態に係る視線検出部２３０が実行する視線方向のキャリブレーションを説明する模式図である。視線検出部２３０は、図８に示すような点Ｑ１～Ｑ９までの９つの点を映像生成部２２０に生成させ、画像表示素子１０８に表示させる。視線検出部２３０は、点Ｑ１～点Ｑ９に到るまで順番にユーザ３００に注視させ、上述の法線３０６を検出する。また、ユーザ３００が例えば点Ｑ１を注視しているとき、ユーザ３００角膜３０２の中心座標（すなわち、図７を参照して上述した頂点Ｐの座標）をＰ１とする。このとき、ユーザ３００の視線方向は図８において点Ｐ１と点Ｑ１とを結ぶＰ１－Ｑ１方向となる。視線検出部２３０は、取得した法線３０６の方向とＰ１－Ｑ１方向とを比較し、その誤差を格納する。
　以下同様に、視線検出部２３０は、ユーザ３００が点Ｑ１～点Ｑ９の９つの方向Ｐ１－Ｑ１、Ｐ２－Ｑ２，・・・，Ｐ９－Ｑ９について誤差を格納することにより、計算で求めた法線３０６の方向を修正するための修正テーブルを取得することができる。視線検出部２３０は、キャリブレーションによってあらかじめ修正テーブルを取得し、上述の方法で求めた法線３０６の方向を修正することで、より精度の高い視線方向検出を実現することができる。
　ユーザ３００がヘッドマウントディスプレイ１００を頭部に装着して視線検出部２３０がキャリブレーションを実施した後に、ユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係が変化することも考えられる。しかしながら、上述したユーザ３００の角膜３０２の形状からユーザ３００の視線方向を検出する場合、ユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係は視線方向の検出の精度に影響しない。このため、ユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係の変化に対してロバストな視線方向検出を実現できる。
　以上、視線検出部２３０が幾何的な方法によってユーザ３００の視線方向を検出する方法について説明した。視線検出部２３０は、幾何学的な方法に代えて、以下に説明する座標変換を用いた代数的な手法による視線方向検出を実行してもよい。
　図８において、画像表示素子１０８が表示する動画像に設定された２次元座標系における点Ｑ１～点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。また、ユーザ３００が点Ｑ１～点Ｑ９を注視しているときのユーザ３００角膜３０２の位置座標Ｐ１～Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１，Ｚ１）Ｔ，Ｐ２（Ｘ２，Ｙ２，Ｚ２）Ｔ，・・・，Ｐ９（Ｚ９，Ｙ９，Ｚ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
　いま、３×２の大きさの行列Ｍを以下の式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
　このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する動画像面に射影する行列となる。
　　ＰＮ＝ＭＱＮ　（Ｎ＝１，・・・，９）　　（２）
　上記式（２）を具体的に書き下すと以下の式（３）のようになる。
Figure JPOXMLDOC01-appb-M000002

　式（３）を変形すると以下の式（４）を得る。
Figure JPOXMLDOC01-appb-M000003






　ここで、
Figure JPOXMLDOC01-appb-M000004








とおくと、以下の式（５）を得る。
　　ｙ＝Ａｘ　　（５）
　式（５）において、ベクトルｙの要素は視線検出部２３０が画像表示素子１０８に表示させる点Ｑ１～Ｑ９の座標であるため既知である。また、行列Ａの要素は角膜座標取得部２４０が取得したユーザ３００の角膜３０２の頂点Ｐの座標である。したがって、視線検出部２３０は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
　式（５）は、未知数の数（すなわちベクトルｘの要素数６）よりも式の数（すなわち、視線検出部２３０がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
　ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ－Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
　　ｘｏｐｔ＝（ＡＴＡ）－１ＡＴｙ　　（７）
　ここで「－１」は逆行列を示す。
　視線検出部２３０は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２３０は、角膜座標取得部２４０が取得したユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００が画像表示素子１０８が表示する動画像面上のどこを注視しているかを推定できる。
　ユーザ３００がヘッドマウントディスプレイ１００を頭部に装着して視線検出部２３０がキャリブレーションを実施した後に、ユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係が変化することも考えられる。しかしながら、上述した行列Ａを構成する角膜３０２の頂点Ｐの位置座標は、カメラ１１６を原点とする３次元座標系における位置座標として角膜座標取得部２４０が推定した値である。仮にユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係が変化したとしても、角膜３０２の頂点Ｐの位置座標の基準となる座標系は変化しない。したがって、ユーザ３００の頭部とヘッドマウントディスプレイ１００との相対的な位置関係が少し変化したとしても、式（２）にしたがう座標変換は有効であると考えられる。ゆえに、実施の形態に係る視線検出部２３０が実行する視線検出は、装着中のヘッドマウントディスプレイ１００のずれに対してロバスト性を向上することができる。
　以上説明したように、実施の形態に係るヘッドマウントディスプレイ１００によれば、ヘッドマウントディスプレイ１００を装着したユーザ３００の角膜３０２の幾何情報を検出することできる。
　特に、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の角膜３０２の３次元的な形状および位置座標を取得できるので、ユーザ３００の視線方向を精度よく推定することができる。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上記では、凸レンズ１１４は、ユーザ３００の角膜３０２の異なる位置に異なるドットのパターンが出現するように反射領域１２０が設けられている場合について説明した。これに代えて、あるいはこれに加えて、ユーザ３００の角膜３０２の異なる位置に異なる点滅パターンのドットを出現させるようにしてもよい。これは例えば近赤外光源１０３を、複数の異なる光源で形成し、各光源で点滅パターンを変更することで実現できる。
　また、上記実施の形態においては、近赤外光を近赤外光源１０３から照射することとしているが、画像表示素子１０８を構成する各画素に、近赤外光を照射する光源を含ませてもよい。すなわち、一般に一画素をＲＧＢで構成し、赤色光、緑色光、青色光のそれぞれを発光する発光素子に加えて、近赤外光を発光する発光素子を設ける。画像表示素子にサブ画素として近赤外光を発光するサブ画素を含ませる場合には、ヘッドマウントディスプレイ１００には、近赤外光源１０３を設けなくてもない。
　図９は、画面表示素子１０８の一構成例を示す図である。画像表示素子１０８は、画像を構成する画素と、その画素構成するサブ画素とを含む。一画素を例に説明すると、画像表示素子１０８を構成する一画素である画素９００は、サブ画素９００ｒ、９００ｇ、９００ｂ、９００ｉを含む。サブ画素９００ｒは赤色に発光（バックライトによる発光、画素自身による発光、双方を含む）する画素であり、サブ画素９００ｇは緑色に発光する画素であり、サブ画素９００ｂは青色に発光する画素である。通常の表示装置であれば、当該三色からなるサブ画素を一画素、あるいはここに更に白色光を加えて一画素としているが、本発明に係る画面表示素子１０８の場合、サブ画素としてサブ画素９００ｉを含む。
　サブ画素９００ｉは、近赤外光を発光する画素である。各画素９００のサブ画素９００ｉは、映像出力部２２４からの指示によって近赤外光を発光するか否かが決定され、映像出力部２２４がヘッドマウントディスプレイ１００に出力する表示画像データにその発光するか否かの情報が含まれる。これにより、オペレーターの好みの近赤外光の発光パターンを形成することができる。したがって、その時々で表示させる映像において、画像の内容により、例えば、赤色を強く発光させる画素では、近赤外光を発光させないというようなパターン形成も実現できる。サブ画素９００ｉの発光は、上記実施の形態に示したヘッドマウントディスプレイに備えられる表示部が実行してもよいし、近赤外光を発光するサブ画素９００ｉを制御する照射部が実行することとしてもよい。
　なお、画像の中に近赤外光を発光させる構成は、表示装置の種類を問わず有効であり、ＬＣＤ、プラズマディスプレイ、有機ＥＬディスプレイなど様々な表示装置に適用することが可能である。また、画素に近赤外光用のサブ画素を含ませたとしても、実際に表示される画像に対しては、照射する近赤外光の波長を人間が知覚できる波長の範囲外にすることで、画像の視聴に際して、ユーザに違和感を与えることはない。
　また、画像表示素子１０８の各画素のうち、どの画素のサブ画素９００ｉを発光させるかの制御は、ヘッドマウントディスプレイ１００の上記表示部や上記照射部が実行することとしてもよいし、映像生成部２２０が指定して、当該指定に従って、ヘッドマウントディスプレイの表示部あるいは照射部が実行することとしてもよい。これにおり、上記実施の形態に示したストラクチャードライトを実現することができる。また、その際には、そのサブ画素９００ｉを点灯するかは適宜変更してよく、特に画像表示素子１０８に動画を表示する場合などには、時系列に沿って、所定時間が経過するごとに、近赤外光を発光するサブ画素９００ｉを変えていく構成にしてもよい。ここで、所定時間は、秒数で定義されてもよいし、動画の場合であれば、フレーム数で定義されてもよいし、あるいは、ブランキング期間ごとで定義することとしてもよい。その際に、動画のフレーム番号と、その時の近赤外光を発光するサブ画素９００ｉの画像表示素子１０８の座標位置情報とを対応付けて、ヘッドマウントディスプレイ又は視線検出装置が記憶しておくことで、その都度、適切に視線検出を実行することができる。また、近赤外光を発光するサブ画素９００ｉの点滅パターンを所定周期で変更することとしてもよい。
　また、サブ画素９００ｉを点灯させるタイミングと、サブ画素９００ｒ、サブ画素９００ｇ、サブ画素９００ｂを点灯させるタイミングとを、別のタイミングにしてもよい。そして、カメラ１１６は、サブ画素９００ｉが点灯しているタイミングでのみ、撮像を実行する構成にするとよい。また、当該構成を実現する手法として、例えば、サブ画素９００ｒ、サブ画素９００ｇ、サブ画素９００ｂのブランキング期間と、サブ画素９００ｉのブランキング期間とを互いに異なる時間帯になるように設定することで実現してもよい。より、具体的には、サブ画素９００ｒ、サブ画素９００ｇ、サブ画素９００ｂのブランキング期間を、サブ画素９００ｉの点灯期間とし、サブ画素９００ｉのブランキング期間をサブ画素９００ｒ、サブ画素９００ｇ、サブ画素９００ｂの点灯期間とすると好適である。
　また、上記実施の形態においては、ヘッドマウントディスプレイ１００に設けられた画像表示素子１０８に画像を表示させて、ユーザに映像を提供することとしたが、これはその限りではない。図１０にヘッドマウントディスプレイ１００が採用し得る画像表示素子１０８に画像を表示せずにユーザに映像を提供する例を示す。
　図１０に示す表示系１０００は、画像表示素子１０８に表示された画像をユーザに視認させるものではなく、ユーザの眼に直接映像を投影する場合の表示系である。近年、ユーザの眼に直接映像を投射する仮想網膜ディスプレイ（Virtual Retinal Display）の開発が目覚ましく、ユーザの眼に悪影響を及ぼすことなく直接画像光を投射してユーザに画像を認識させることができるようになっている。本発明に係るヘッドマウントディスプレイ１００にもこの技術は適用可能である。図１０に示すように、表示系１０００は、光ファイバー１００１を用いて、映像出力部２２４から送信された画像データを凸レンズ１１４を介してユーザの眼３０３に直接投射する。このとき、画像１１０２には、上記実施の形態に示したようなパターンで非可視光光源も含ませており、ユーザの眼３０３にも照射される。したがって、カメラ１１６を用いて、ユーザの眼に照射された非可視光を反射する角膜を撮像し、視線検出を実現できる。なお、図１０においては、光ファイバー１００１から直接ユーザの眼に画像を投射する例を示しているが、光ファイバー１００１からの画像光は、ホットミラーなどにより反射されたものが凸レンズ１１４を介して、ユーザの眼３０３に投射されることとしてもよい。
　また、上記実施の形態においては、視線検出の前提として、マーカー画像を表示して、ユーザにそのマーカー画像を注視させ、キャリブレーションにより得られた角膜とモニタの関係を示すマッピング情報を記憶しておき、実際の映像を視聴する際のユーザの視線検出を行う例を示した。しかしながら、視線検出の手法は上記アルゴリズムに限定されないことは言うまでもない。以下のような手法を用いた視線検出も本願発明の思想に含まれる。
　図１１は、その視線検出方法の一例を示す図である。視線検出部２３０は、予め、ユーザが画像の中心を見ている場合のユーザの角膜中心の位置を記憶しておく。図１１（ａ）は、ユーザの左眼を含む可視光画像を撮像した画像１１００を示す図である。なお、ここでは、左目としているが、これが右目であっても変わらない。ユーザの眼には、ユーザが見ている風景が映り込むことが一般に知られている。図１１（ａ）に示すように、ユーザの眼には、図１１（ｂ）に示す画像表示素子１０８に表示された画像１１１０が映り込む。
　そして、目に映り込んだ画像を用いた視線検出を実現する場合には、カメラ１１６としては、可視光カメラを用いる。これにより通常の可視光に基づく画像を撮像でき、図１１（ａ）に示すような画像を取得できる。そして、視線検出部２３０は、得られた画像に対して、エッジ解析や、コーナー解析などの画像解析を行うことにより、特徴点を特定する。図１１（ａ）においては、例えば、特徴点１１０１ａ、１１０１ｂ、１１０１ｃを検出できる。視線検出部２３０は、検出した特徴点に対するユーザの角膜中心の位置とを比較し、予め記憶しておいた画像の中心を見ている場合のユーザの角膜中心の位置からの移動量を特定し、ユーザが注視している箇所（視線方向）を検出する。このような構成を用いることとしてもよい。ユーザの眼に映り込んだ画像を用いた視線検出を行う場合には、ヘッドマウントディスプレイ１００は、ホットミラー１１２に換えて、可視光も一部反射し、一部透過するハーフミラーを備えるか、カメラ１１６とは別に、ユーザの眼を直接撮像する可視光カメラを備える必要がある。
　また、上述では、ユーザが画像の中心を見ている場合のユーザの角膜中心の位置を記憶しておくこととしているが、この位置情報を記憶せずに視線検出を行うこともできる。すなわち、映像出力部２２４が出力する動画の第１のフレームと、これに続く第２のフレーム（第２のフレームは、第１のフレームの直後のフレームでなくともよいが、第１のフレームにおいて表示されるオブジェクトと同じオブジェクトの少なくとも一部が表示されている必要がある。）とのそれぞれから特徴点を検出する。また、その際の第１のフレームを注視するユーザの角膜中心の位置と、第２のフレームを注視するユーザの角膜中心の位置とも検出する。そして、視線検出部２３０は、第１のフレームにおける特徴点から第２のフレームにおける対応する特徴点までの画面表示素子１０８上における移動距離と移動方向、並びに、第１のフレームにおけるユーザの角膜中心の位置から第２のフレームにおけるユーザの角膜中心の位置までの画面表示素子１０８上における移動距離と移動方向とに基づいて、第２のフレームに対するユーザが注視している箇所（視線方向）を検出する構成をとってもよい。
　これらの手法に従えば、上記実施の形態に示したマーカー画像を表示してのキャリブレーションを実行する必要がなくなるので、ヘッドマウントディスプレイ１００を用いた視線検出を行うための事前準備を行わなくてもよくなり、ユーザの利便性を向上させることができる。
　この発明は、ヘッドマウントディスプレイに利用可能である。
　１　映像システム、　１００　ヘッドマウントディスプレイ、　１０３　近赤外光源、　１０４　ＬＥＤ、　１０８　画像表示素子、　１１２　ホットミラー、　１１４　凸レンズ、　１１６　カメラ、　１１８　画像出力部、　反射領域　１２０　１３０　画像表示系、　１５０　筐体、　１６０　装着具、　１７０　ヘッドフォン、　２００　映像再生装置、　２１０　送受信部、　２２０　映像生成部、　２３０　視線検出部、　２４０　角膜座標取得部。

Claims (10)

  1. 　ヘッドマウントディスプレイと、視線検出装置とからなる視線検出システムであって、
    　前記ヘッドマウントディスプレイは、
    　複数の画素からなり、各画素は、赤色、緑色、青色、非可視光を発光するサブ画素を含み、ユーザに視聴させる画像を表示する画像表示素子と、
    　前記非可視光を発光するサブ画素から発光した非可視光に基づいて、ヘッドマウントディスプレイを装着しているユーザの眼を撮像する撮像部と、
    　前記撮像部が撮像した撮像画像を送信する送信部と、を備え、
    　前記視線検出装置は、
    　前記撮像画像を受信する受信部と、
    　前記撮像画像に基づいて、前記ユーザの眼の視線方向を検出する視線検出部とを備える視線検出システム。
  2. 　前記ヘッドマウントディスプレイは、さらに、
    　前記画像表示素子を構成する複数の画素のうち、非可視光を発光する画素を選択して発光させる制御部を備える
    　ことを特徴とする請求項１に記載の視線検出システム。
  3. 　前記制御部は、非可視光を発光させる画素を、所定時間が経過すると変更することを特徴とする請求項２に記載の視線検出システム。
  4. 　前記制御部は、前記非可視光を発光するサブ画素と、前記非可視光を発光するサブ画素以外のサブ画素の発光タイミングを切り替えて制御することを特徴とする請求項２又は３に記載の視線検出システム。
  5. 　ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、
    　前記ヘッドマウントディスプレイが装着されたときに前記ユーザの角膜に対向する位置に配置される凸レンズと、
    　複数の画素からなり、各画素は、赤色、緑色、青色、非可視光を発光するサブ画素を含み、ユーザに視聴させる画像を表示する画像表示素子と、
    　前記ユーザの角膜を被写体に含む映像を撮像するカメラと、
    　前記凸レンズ、前記画像表示素子、および前記カメラを収容する筐体とを備えるヘッドマウントディスプレイ。
  6. 　前記ヘッドマウントディスプレイは、さらに、
    　前記画像表示素子を構成する複数の画素のうち、非可視光を発光する画素を選択して発光させる制御部を備える
    　ことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
  7. 　前記制御部は、非可視光を発光させる画素を、所定時間が経過すると変更することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
  8. 　前記制御部は、前記非可視光を発光するサブ画素と、前記非可視光を発光するサブ画素以外のサブ画素の発光タイミングを切り替えて制御することを特徴とする請求項６又は７に記載のヘッドマウントディスプレイ。
  9. 　複数の画素からなり、各画素は、赤色、緑色、青色、非可視光を発光するサブ画素を含み、ユーザに視聴させる画像を表示する画像表示素子を備えるヘッドマウントディスプレイと、視線検出装置とからなる視線検出システムによる視線検出方法であって、
    　前記ヘッドマウントディスプレイが、複数の画素のサブ画素から非可視光を発光して前記ユーザの角膜に照射する照射ステップと、
    　前記ヘッドマウントディスプレイが、前記非可視光を発光するサブ画素から発光された非可視光が照射されており、前記画像表示素子に表示された画像を見るユーザの角膜を含む被写体を撮像し、撮像画像を生成する撮像ステップと、
    　前記ヘッドマウントディスプレイが、前記視線検出装置に前記撮像画像を送信する送信ステップと、
    　前記視線検出装置が前記撮像画像を受信する受信ステップと、
    　前記視線検出装置が前記撮像画像に基づいて、前記ユーザの視線方向を検出する検出ステップとを含む視線検出方法。
  10. 　ヘッドマウントディスプレイと、視線検出装置とからなる視線検出システムであって、
    　前記ヘッドマウントディスプレイは、
    　ユーザに視聴させる画像を表示する画像表示素子と、
    　前記画像表示素子に表示された画像が映り込んだユーザの眼を撮像する撮像部と、
    　前記撮像部が撮像した撮像画像を送信する送信部と、を備え、
    　前記視線検出装置は、
    　前記撮像画像を受信する受信部と、
    　前記撮像画像に含まれる前記画像表示素子に表示した画像の特徴点及び前記画像表示素子に表示させた画像の特徴点とに基づいて、前記ユーザの眼の視線方向を検出する視線検出部とを備える視線検出システム。
PCT/JP2016/056078 2015-04-01 2016-02-29 視線検出システム、ヘッドマウントディスプレイ、視線検出方法 WO2016158151A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020177030135A KR20170133390A (ko) 2015-04-01 2016-02-29 시선 검출 시스템, 헤드 마운트 디스플레이, 시선 검출 방법
CN201680020039.7A CN107850937A (zh) 2015-04-01 2016-02-29 视线检测系统、头戴式显示器、视线检测方法
US15/563,444 US20180067306A1 (en) 2015-04-01 2016-02-29 Head mounted display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/060398 WO2016157486A1 (ja) 2015-04-01 2015-04-01 ヘッドマウントディスプレイ
JPPCT/JP2015/060398 2015-04-01

Publications (1)

Publication Number Publication Date
WO2016158151A1 true WO2016158151A1 (ja) 2016-10-06

Family

ID=57004015

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2015/060398 WO2016157486A1 (ja) 2015-04-01 2015-04-01 ヘッドマウントディスプレイ
PCT/JP2016/056078 WO2016158151A1 (ja) 2015-04-01 2016-02-29 視線検出システム、ヘッドマウントディスプレイ、視線検出方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060398 WO2016157486A1 (ja) 2015-04-01 2015-04-01 ヘッドマウントディスプレイ

Country Status (4)

Country Link
US (2) US9625989B2 (ja)
KR (1) KR20170133390A (ja)
CN (1) CN107850937A (ja)
WO (2) WO2016157486A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031531A1 (ja) * 2017-08-10 2019-02-14 日本電気株式会社 情報取得システム、情報取得方法及び記憶媒体
JPWO2018147455A1 (ja) * 2017-02-13 2019-06-27 株式会社モノプロダイム 目覚まし方法およびそれを用いた機器
JP2020503905A (ja) * 2017-06-15 2020-02-06 グーグル エルエルシー 眼の特徴付けのための反射波面分析に基づくフレームレンダリングを有するニアアイディスプレイ

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL235594A0 (en) 2014-11-09 2015-02-26 Ron Schneider Surgical lens system
KR101883090B1 (ko) * 2015-04-01 2018-07-27 포브, 아이엔씨. 헤드 마운트 디스플레이
US9870049B2 (en) 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10552676B2 (en) * 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US9946074B2 (en) * 2016-04-07 2018-04-17 Google Llc See-through curved eyepiece with patterned optical combiner
WO2018008232A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018054782A (ja) * 2016-09-28 2018-04-05 セイコーエプソン株式会社 光学素子および表示装置
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
US10816814B2 (en) * 2016-12-08 2020-10-27 Sony Corporation Imaging device
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10546518B2 (en) * 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10989921B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pinpoint mirror
US10989922B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pin mirror
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
US10775616B1 (en) * 2018-03-21 2020-09-15 Facebook Technologies, Llc Lenses integrated with micro-light emitting diodes
JP7109540B2 (ja) * 2018-05-30 2022-07-29 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム
US10942349B2 (en) 2018-08-21 2021-03-09 Facebook Technologies, Llc Illumination assembly with in-field micro devices
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
CN109766820A (zh) * 2019-01-04 2019-05-17 北京七鑫易维信息技术有限公司 一种眼球追踪装置、头戴式设备和眼部图像获取方法
US10816810B1 (en) * 2019-04-08 2020-10-27 Htc Corporation Head mounted display apparatus
US10990816B1 (en) * 2019-05-01 2021-04-27 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping corneal curvature
US11561336B2 (en) 2019-10-05 2023-01-24 Meta Platforms Technologies, Llc Transparent illumination layer with transparent waveguide structure
KR20220030774A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 사용자의 시선 정보 획득 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072188A (ja) * 2008-09-17 2010-04-02 Pioneer Electronic Corp ディスプレイ装置
WO2012169064A1 (ja) * 2011-06-10 2012-12-13 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP5824697B1 (ja) * 2014-12-27 2015-11-25 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
WO2015198477A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3936605A (en) * 1972-02-14 1976-02-03 Textron, Inc. Eyeglass mounted visual display
US4181405A (en) * 1978-08-07 1980-01-01 The Singer Company Head-up viewing display
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JPH1173274A (ja) 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体
EP0903661B1 (en) 1997-08-27 2003-01-08 Canon Kabushiki Kaisha Apparatus and method to input data based on visual-axis detection
EP1194806A4 (en) * 1999-06-21 2008-07-23 Microoptical Corp LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN
JP2009282085A (ja) * 2008-05-20 2009-12-03 Panasonic Corp 光学装置およびこれを備えた画像表示装置
JP5290092B2 (ja) * 2009-08-31 2013-09-18 オリンパス株式会社 眼鏡型画像表示装置
US9720232B2 (en) * 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
US20140160157A1 (en) 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
CN103760973B (zh) * 2013-12-18 2017-01-11 微软技术许可有限责任公司 增强现实的信息细节

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072188A (ja) * 2008-09-17 2010-04-02 Pioneer Electronic Corp ディスプレイ装置
WO2012169064A1 (ja) * 2011-06-10 2012-12-13 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
WO2015198477A1 (ja) * 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置
JP5824697B1 (ja) * 2014-12-27 2015-11-25 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018147455A1 (ja) * 2017-02-13 2019-06-27 株式会社モノプロダイム 目覚まし方法およびそれを用いた機器
JP2020503905A (ja) * 2017-06-15 2020-02-06 グーグル エルエルシー 眼の特徴付けのための反射波面分析に基づくフレームレンダリングを有するニアアイディスプレイ
WO2019031531A1 (ja) * 2017-08-10 2019-02-14 日本電気株式会社 情報取得システム、情報取得方法及び記憶媒体
JPWO2019031531A1 (ja) * 2017-08-10 2020-05-28 日本電気株式会社 情報取得システム、情報取得方法及び記憶媒体

Also Published As

Publication number Publication date
US20170038834A1 (en) 2017-02-09
KR20170133390A (ko) 2017-12-05
US20180067306A1 (en) 2018-03-08
CN107850937A (zh) 2018-03-27
US9625989B2 (en) 2017-04-18
WO2016157486A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
WO2016158151A1 (ja) 視線検出システム、ヘッドマウントディスプレイ、視線検出方法
JP6112583B2 (ja) ヘッドマウントディスプレイ
US11061240B2 (en) Head-mountable apparatus and methods
JP6375591B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US20170344112A1 (en) Gaze detection device
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
JP7218376B2 (ja) 視線追跡方法および装置
TW201802642A (zh) 視線檢測系統
WO2017047271A1 (ja) 表示装置および光学フィルタ
US20160170482A1 (en) Display apparatus, and control method for display apparatus
EP3966670B1 (en) Display apparatus and method of correcting image distortion therefor
US20200213467A1 (en) Image display system, image display method, and image display program
US11743447B2 (en) Gaze tracking apparatus and systems
JP6500570B2 (ja) 画像表示装置および画像表示方法
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
JP5250077B2 (ja) 視機能検査装置
EP3859429B1 (en) Display apparatus and method of compensating for visual artifacts
US11288027B1 (en) Peripheral display apparatus and system
US20230015732A1 (en) Head-mountable display systems and methods
JP2017045068A (ja) ヘッドマウントディスプレイ
TW202216103A (zh) 改善雙眼視覺的系統與方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16772035

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15563444

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177030135

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16772035

Country of ref document: EP

Kind code of ref document: A1