WO2019146367A1 - 映像投影装置、映像投影方法、映像表示光出力制御方法 - Google Patents

映像投影装置、映像投影方法、映像表示光出力制御方法 Download PDF

Info

Publication number
WO2019146367A1
WO2019146367A1 PCT/JP2018/048035 JP2018048035W WO2019146367A1 WO 2019146367 A1 WO2019146367 A1 WO 2019146367A1 JP 2018048035 W JP2018048035 W JP 2018048035W WO 2019146367 A1 WO2019146367 A1 WO 2019146367A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
display light
video
output
image display
Prior art date
Application number
PCT/JP2018/048035
Other languages
English (en)
French (fr)
Inventor
鉄平 今村
克之 阿久津
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/963,895 priority Critical patent/US11227519B2/en
Priority to CN201880087454.3A priority patent/CN111630847B/zh
Priority to KR1020207020004A priority patent/KR20200112832A/ko
Priority to JP2019567941A priority patent/JP7338476B2/ja
Priority to EP18902217.1A priority patent/EP3748960A4/en
Publication of WO2019146367A1 publication Critical patent/WO2019146367A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present technology relates to an image projection apparatus, an image projection method, and an image display light output control method. More specifically, an image projection apparatus and an image projection method in which image display light is collected near the pupil and illuminated on the retina, and an output of the image display light collected near the pupil and illuminated on the retina is controlled
  • the present invention relates to an image display light output control method.
  • a head mount display is mentioned as one of the products using this technology.
  • the head mounted display is used by being attached to the head of the user.
  • the light from the head mounted display is irradiated to the eyes of the user in addition to the light from the external world, so that the image is displayed superimposed on the image of the external world.
  • the transmission type image display apparatus comprises an image display unit for displaying an image, an optical unit for guiding the image to the eye of the user, and a transmittance of the external light, and the light of the external light reaching the eye
  • the pupil diameter of the pupil is calculated based on the light adjustment filter for adjusting the intensity, the pupil imaging means for imaging the pupil of the eye of the user, and the imaging signal from the pupil imaging means
  • a control unit that adjusts the transmittance of the light adjustment filter and the light intensity of the image of the image display unit.
  • the present technology aims to provide a new video projection technology.
  • a video projection technology having a specific configuration can display a bright video that has appropriate brightness for the user and is superimposed on an external scene.
  • the present technology provides a pupil information acquisition unit that acquires the area or dimension of the pupil, An output control unit configured to control an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired by the pupil information acquisition unit;
  • the output control unit may determine the output of the image display light based on the target image display light luminance and the area or size of the pupil.
  • the image display is performed such that the target image display light luminance and the value obtained by dividing the output of the image display light by the area or size of the pupil satisfy a predetermined relationship. The light output can be determined.
  • the predetermined relationship is: The following formula, Or The following formula (Here, L is the target image display light luminance, C is the adjustment coefficient, ⁇ is the wavelength, P is the image display light output at each wavelength, and K is the visibility at each wavelength. Where ⁇ is the viewing angle of the display, and A is the pupil size or pupil area) It may be a relationship represented by According to another embodiment of the present technology, the output control unit is configured to adjust the image display light according to at least one of a change in area or size of the pupil, a change in ambient light illuminance, and a change in ambient light contrast.
  • the output control unit changes the output of the image display light according to a change in the area or size of the pupil, and the area or size of the pupil before and after the change
  • the output of the image display light can be determined based on
  • the output control unit may determine the output of the image display light based on the following equation.
  • the output control unit may determine the target image display light luminance based on the brightness of the gaze point and the contrast with respect to the brightness.
  • the pupil information acquisition unit acquires position information of the pupil, and the pupil information acquisition unit can specify the gaze point based on the position information. .
  • the pupil information acquisition unit may include an infrared camera.
  • the video projection device of the present technology further includes a fixation point information acquisition unit, and the fixation point information acquisition unit can acquire the brightness of the fixation point.
  • the video projector of the present technology may further include a video display light irradiator that emits video display light to the retina with the output controlled by the output controller.
  • the image display light irradiator may emit image display light by a retina projection method or a retina scanning method.
  • the image display light irradiator may use laser light as an illumination light source.
  • the video projector of the present technology can be a head mounted display.
  • the video projection device of the present technology can be an eyewear display.
  • the projected image may be displayed as being superimposed on the external scene.
  • the present technology provides a pupil information acquisition step of acquiring an area or dimension of a pupil, An output control step of controlling an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired in the pupil information acquiring step; And a video display light output step of irradiating video display light to the retina with the output controlled in the output control step.
  • the present technology provides a pupil information acquisition step of acquiring an area or dimension of a pupil, An output control step of controlling an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired in the pupil information acquiring step; And a video display light output control method.
  • the present technology it is possible to superimpose and display an image having appropriate brightness and sharpness on the outside scenery.
  • the effects exerted by the present technology are not necessarily limited to the effects described herein, and may be any of the effects described in the present specification.
  • First Embodiment (Video Projector) (1) Description of the First Embodiment (2) First Example of the First Embodiment (Video Projection Apparatus) (3) Second example of the first embodiment (output control of image display light by output control unit) (4) Third example of the first embodiment (output change of image display light by output control unit) 2.
  • Second embodiment (video projection method) (1) Description of Second Embodiment (2) First Example of Second Embodiment (Video Projection Method) (3) Second example of the second embodiment (image projection method) 3.
  • Third embodiment video display light output control method) (1) Description of Third Embodiment (2) First Example of Third Embodiment (Video Display Light Output Control Method) (3) Second example of the third embodiment (video display light output control method) 4.
  • Fourth embodiment (program) 5.
  • Device configuration example (1) Description of the First Embodiment (2) First Example of the First Embodiment (Video Projection Apparatus) (3) Second example of the first embodiment (output control of image display light by output control unit) (4) Third example of the first embodiment (output change of image
  • An image projection apparatus includes a pupil information acquisition unit that acquires an area or dimension of a pupil, and an output of image display light collected near the pupil and irradiated to the retina by the pupil information acquisition unit. And an output control unit that controls based on the area or size of the pupil.
  • image display light is collected near the pupil and illuminated on the retina. That is, the video projection apparatus according to the present technology presents a video to the user in so-called Maxwell vision.
  • the present technology by controlling the output of image display light collected near the pupil and irradiated to the retina based on the area or size of the pupil, an image having an appropriate brightness and sharpness can be displayed in the outside scene. Can be superimposed.
  • the image display light may be collected near the pupil, for example, may be collected on the pupil or several mm to about several tens of mm from the pupil in the optical axis direction (for example 1 mm to 20 mm, particularly 2 mm) -15 mm) may be deviated.
  • Maxwell vision can be realized even if the focal point is not on the pupil.
  • the image display light may be collected on the pupil, in the lens lens, or between the corneal surface and the pupil.
  • FIG. 1 An example of a schematic diagram for explaining the method is shown in FIG.
  • image display light forming a candle image is illuminated by the display 11, is refracted by the optical system (lens) 12, and reaches the crystalline lens 13 of the eye 14.
  • the image display light is refracted by the crystalline lens 13 and forms an image on the retina 15.
  • the apparatus described in Patent Document 1 is also based on the method.
  • the image display light emitted from the micro panel 21 is refracted by the lens 22 and light having a large diameter, in particular To reach.
  • the image focus is fixed at one point, and the distance d1 from the image to the lens 23 is fixed. Therefore, in order to clearly recognize the image, it is necessary to adjust the focal length of the crystalline lens 23. Therefore, depending on the state of the crystalline lens 23 of the user, it may not be possible to clearly view the image.
  • the pupil diameter of the user also causes a change in the video viewed by the user.
  • the pupil diameter of the user changes with the focal length of the crystalline lens and / or the degree of gaze.
  • the light amount reaching the retina changes even with the same video display light, and the video light intensity presented to the user also changes. Therefore, the image recognized by the user is not stable.
  • an image projection method is adopted in which image display light passes through the center of the crystalline lens and is irradiated to the retina.
  • FIG. 3 A schematic diagram for explaining the method is shown in FIG.
  • the video display light 33 forming a candle image is generated by illuminating the display 32 with, for example, a backlight output from the light source 31.
  • the image display light 33 is refracted by an optical system (e.g., a lens) 34 so as to be condensed near the pupil (e.g., to pass through the center 36 of the crystalline lens). Light passing through the center of the lens is not refracted by the lens. Therefore, the image display light reaches the retina 38 without being refracted by the crystalline lens 35.
  • an optical system e.g., a lens
  • the image display light emitted from the image display light irradiator 41 is reflected by the optical system (for example, a half mirror) 42 and reaches the lens lens 44.
  • the image display light is collected near the pupil, ie, passes through the center 43 of the lens 44. Therefore, the image display light reaches the retina 45 without being refracted by the crystalline lens 44.
  • the image display light passes through one point near the pupil, the amount of light reaching the retina does not change even if the pupil diameter changes. Therefore, the image recognized by the user is stabilized.
  • the image display light is focused at any focal length. For example, the image display light is focused at any of the distances d2 and d3 in FIG.
  • the output of the image display light is controlled based on the area or size of the pupil acquired by the pupil information acquisition unit.
  • the image display light brightness is controlled based on the area or size of the pupil, it is possible to present the user with an image having an appropriate brightness.
  • FIG. 5 is a block diagram of an example of a video projection apparatus according to the present technology.
  • the video projection device 100 includes a pupil information acquisition unit 101, a gaze point information acquisition unit 102, a control unit 110, and a video display light irradiation unit 104.
  • the control unit 110 includes an output control unit 103 and a video control unit 111.
  • the video projection apparatus 100 further includes a communication interface 113 and a storage unit 114.
  • the image projection apparatus 100 is an apparatus that presents an image to a user by collecting image display light near the pupil and irradiating the retina with the image display light.
  • a video projection apparatus of the present technology for example, an eyewear display and a head mounted display can be mentioned, but it is not limited thereto.
  • the video projection device of the present technology may be worn on glasses and used.
  • An image projected by the image projection apparatus of the present technology may be displayed, for example, so as to be superimposed on an external scene.
  • the video projected by the video projector of the present technology may be displayed as being superimposed on the video projected by another video projector.
  • the pupil information acquisition unit 101 can acquire pupil information, such as the area, size, position, and shape of the pupil.
  • the pupil information acquisition unit may be any one that can acquire such information, and may be appropriately selected by those skilled in the art.
  • the pupil information acquisition unit 101 can include an imaging element configured to be able to image the surface of the eye.
  • the pupil information acquisition unit 101 may include, for example, a combination of an IR (infrared) light source and an IR camera.
  • An IR light source may be arranged to illuminate the eye surface of the user with infrared radiation.
  • the IR camera may be arranged to be able to image the ocular surface irradiated with infrared light.
  • the pupil information acquisition unit may include an imaging device such as, for example, a CCD or a CMOS. Pupil information can also be acquired by these imaging devices.
  • the pupil information acquisition unit 101 can acquire pupil information, such as the area, size, position, and shape of the pupil, based on the image of the captured pupil.
  • the pupil information may be obtained by performing image processing on the captured image.
  • the pupil area may be obtained by counting the number of pixels corresponding to the pupil portion.
  • pupil size eg, diameter or perimeter
  • the pupil area may be calculated based on the determined pupil size.
  • the fixation point information acquisition unit 102 can acquire information on the fixation point of the user of the video projection apparatus according to the present technology.
  • the fixation point information for example, the position of the fixation point of the user and the brightness at the position can be mentioned.
  • the fixation point information acquisition unit 102 can include a component that can acquire information on the fixation point of the user.
  • an image pick-up element can be mentioned, for example.
  • the imaging device may be, for example, a CCD or a CMOS.
  • the image sensor captures an outside scene including a fixation point, and target fixation point information can be extracted from the obtained image data.
  • the position of the gaze point may be obtained by methods known to those skilled in the art. For example, from the position information of the pupil acquired by the pupil information acquiring unit 101, the sight line direction of each eyeball can be determined. For example, in the case where the radius of the eyeball is 12 mm when the pupil of the right eye is displaced 1 mm inward from when the pupil is facing the front, the viewing direction is atan (1/12) ⁇ 4. Form an angle of 8 deg inward. Similarly, for the pupil of the left eye, an angle formed with respect to the front direction of the gaze direction is calculated. The position of the gaze point can be determined trigonally based on the calculated gaze direction of both eyes.
  • the position of the gaze point is acquired by, for example, estimating the position of the gaze point based on the movement of the eyeball. It is also good.
  • the estimation method techniques known to those skilled in the art may be used.
  • the position of the fixation point may be acquired by the pupil information acquisition unit.
  • the brightness at the position of the fixation point can be acquired from the image information at the position of the fixation point in the image captured by the fixation point information acquisition unit 102.
  • the image pickup device included in the fixation point information acquisition unit 102 captures an outside scene, and the image data at the position of the fixation point in the image picked up by the image pickup device relates to the brightness at the position of the fixation point.
  • the brightness of the fixation point may be acquired, for example, by an illuminance sensor directed to the outside world, or the brightness of the fixation point may be estimated or calculated based on the pupil diameter of the observer.
  • the brightness of the fixation point is the brightness of the fixation point based on the brightness of the other video light when the video is superimposed on another video light according to the present technology, for example, when the subtitle video is superimposed on a movie. May be acquired.
  • the control unit 110 may include, for example, an output control unit 103 that controls an output of image display light, and a video control unit 111 that controls a video to be displayed.
  • the output control unit 103 controls the output of the image display light based on, for example, the pupil information acquired by the pupil information acquisition unit 101.
  • the image display light is collected near the pupil and illuminated on the retina.
  • the fixation point information acquired by the fixation point information acquisition unit 102 may be referred to.
  • the brightness of the gaze point and the contrast with respect to the brightness may be used as gaze point information. That is, in one embodiment, the output control unit 103 can determine the target image display light luminance based on the brightness of the gaze point and the contrast with respect to the brightness.
  • An example of the output control of the image display light by the output control unit 103 is as follows: “(3) Second example of the first embodiment (output control of image display light by the output control unit)” and “(4) first This will be described in detail in the third example (the output change of the image display light by the output control unit) of the second embodiment.
  • the video control unit 111 can obtain video data stored in the storage unit 114 or video data via the communication interface 113.
  • the video control unit 111 can cause the video display light irradiation unit 104 to output video display light based on the video data.
  • the output of the video display light is controlled by the output control unit 103 in the video projector 100 of the present technology.
  • the image display light irradiation unit 104 irradiates the retina with the image display light with the output controlled by the control unit 110, in particular, the output control unit 103.
  • the video display light may be any one capable of presenting a video to the user by Maxwell vision.
  • a laser beam can be mentioned as image display light.
  • the image display light may be light emitted by an LED or a CRT.
  • the beam diameter of the image display light irradiated by the image display light irradiator 104 may be determined or adjusted in consideration of the pupil diameter.
  • the beam diameter may be, for example, 5 mm or less, preferably 3 mm or less, more preferably 2 mm or less, and even more preferably 0.7 mm or less.
  • the image display light irradiator 104 may include an optical system for causing the image display light irradiated by the image display light irradiator 104 to reach the retina through the pupil.
  • the optical system may be appropriately set by a person skilled in the art according to, for example, the structure of the video projector 100 and / or the irradiation method of video display light.
  • the image display light irradiation unit 104 can perform irradiation of the image display light in Maxwell vision by, for example, a retina scanning method or a retina projection method.
  • Those skilled in the art are aware of image display light irradiators for irradiating image display light by these methods. In the present technology, an image display light irradiator known to those skilled in the art may be used.
  • FIG. 13 is a schematic view showing the configuration of the image display light irradiator 1300 of the retinal scanning method.
  • a laser beam 1302 is output from the light source unit 1301.
  • the laser beam 1302 can be output as one light beam made of, for example, red, green and blue laser beams.
  • the output laser beam 1302 can be two-dimensionally scanned by the light scanning unit 1303.
  • the scanned laser beam 1302 can spread toward an eyepiece optical system (for example, a half mirror) 1304.
  • the direction of the expanded laser beam 1302 is changed by the eyepiece optical system 1304 so as to be condensed on the pupil 1305 of the user.
  • An image is displayed on the retina 1306 by changing the incident angle at the time of incidence at high speed.
  • a configuration known to those skilled in the art may be adopted as the configuration of the image display light irradiation unit of the retinal scanning method.
  • the direction of the laser light can be moved at high speed so that an image is formed on the retina.
  • FIG. 14 is a schematic view showing a configuration of an image display light irradiator 1400 of the retina projection system.
  • a display for example, a liquid crystal display element
  • the lens 1402. Of the refracted light, only the desired light is advanced to the lens 1404 by the optical filter 1403.
  • the light passing through the lens 1404 travels by the eyepiece optics 1405 to be collected on the pupil 1406 of the user. As a result, an image is displayed on the retina 1407.
  • the communication interface 113 may be used to acquire video data from the outside of the video projection device 100.
  • the video projection device 100 can acquire video data from an apparatus other than the video projection device 100 or a communication network via the communication interface 113 in a wired or wireless manner.
  • the communication interface 113 means known to those skilled in the art may be used.
  • the storage unit 114 may store video data for forming a video presented by the device of the present technology to the user.
  • the storage unit 114 may temporarily store, for example, video data acquired by the communication interface 113, or may store video data to be held in the video projection apparatus 100 constantly.
  • As the storage unit 114 means known to those skilled in the art may be used.
  • the output control unit 103 may determine the output of the video display light based on, for example, the target video display light luminance and the area or size of the pupil. Thereby, it is possible to present the user with an image of appropriate brightness.
  • the target video display light luminance may be, for example, a luminance that allows the user to visually recognize the video to be presented, and preferably the extent to which the user can distinguish the video to be presented from the external scenery.
  • the brightness may be, more preferably, a brightness that enables an image having a suitable contrast to the brightness of the outside scene to be presented.
  • the output control unit 103 may set the image display light such that the target image display light luminance and the value obtained by dividing the output of the image display light by the area or size of the pupil satisfy a predetermined relationship. Determine the output of By controlling the output of the video display light so as to satisfy the predetermined relationship, the video is presented to the user with more appropriate brightness.
  • the output of the image display light may be, for example, the sum or integral of the product of the output of the image display light at each wavelength and the visibility at each wavelength.
  • the output of the image display light may be adjusted such that a value obtained by dividing the sum or integration by the area or size of the pupil satisfies a predetermined relationship with the image display light luminance.
  • a value obtained by dividing the sum or integral by the area or size of the pupil equals the image display light luminance, or a value obtained by dividing the sum or integral by the area or size of the pupil
  • the output of the video display light may be adjusted such that the multiplied value is equal to the video display light luminance.
  • the output of the video display light it is possible to present a video of a desired brightness to the user. Adjusting the output of the image display light to satisfy the predetermined relationship may be performed using means known to those skilled in the art.
  • the predetermined relationship is For example, Or The following formula (Here, L [cd / m 2 ] is the target image display light luminance, C is the adjustment coefficient, ⁇ [nm] is the wavelength, and P [W] is the image display light at each wavelength Output, K is the visibility at each wavelength, ⁇ [str] is the viewing angle of the display, and A [m or m 2 ] is pupil size or pupil area) It is a relation represented by
  • L [cd / m 2 ] is the target image display light luminance.
  • the target video display light luminance may be appropriately set according to, for example, an external scenery and / or a video to be presented to the user.
  • the target image display light luminance may be set based on, for example, the fixation point information acquired by the fixation point information acquisition unit 102.
  • the target image display light luminance may be set based on, for example, the brightness at the position of the gaze point of the user, and more preferably, it is necessary to give the necessary contrast to the brightness.
  • the luminance may be employed as the image display light luminance.
  • the contrast may be set as appropriate according to, for example, an external scenery and / or a video to be presented to the user.
  • the contrast of the image display light brightness may be, for example, 1: 1 to 1:50, 1: 1 to 1:30, 1: 1 to 1:20, or 1: 1 to 1:10. .
  • the image display light luminance is 1000 cd / m 2 .
  • C may be 1, for example. That is, the adjustment by the adjustment factor may not be performed.
  • a value other than 1 may be used as C, depending on the components of the device of the present technology.
  • an adjustment factor based on the optical characteristics of the components of the device of the present technology may be used as C. More specifically, in the device of the present technology, when light from the outside scene reaches the user through the glass (specifically, light from the outside scene transmits the glass of the glasses to reach the user) Value) may be adopted as C based on the transmittance of the glass (that is, the attenuation factor of the brightness of the superimposed external scene). The transmittance itself may be adopted as C.
  • a value based on the efficiency of the optical system may be adopted as C.
  • the efficiency itself of the optical system may be adopted as C.
  • a value based on both the transmittance of the glass and the efficiency of the optical system may be adopted as C.
  • ⁇ may be the wavelength of light included in the image display light. That is, a value (sum) obtained by adding the product of the output of the image display light and the visibility over the range of the wavelength of the light or the value obtained by integrating the product over the range of the wavelength of the light Used in the above equation, P is the image display light output at each wavelength, and K is the visibility at each wavelength. Since the image display light usually contains light of various wavelengths, it is preferable to use integration or summation of the product of the image display light output of each wavelength and the visibility.
  • ⁇ is the expected angle of display. That is, ⁇ is a solid angle with respect to the focusing point near the pupil of the image display light collected near the pupil and illuminated on the retina.
  • A is pupil size or pupil area.
  • the transmission type image display device described in Patent Document 1 adjusts the transmittance of the dimmer filter and the light intensity of the image based on the value of the pupil diameter of the user. More specifically, the illuminance of the external world is estimated from the value of the pupil diameter, and the transmittance of the dimmer filter and the light intensity of the image are adjusted so that the image has an appropriate contrast with the illuminance. .
  • the transmission type image display device described in Patent Document 1 is premised on a method in which the image display light is refracted by a lens to form an image on the retina. That is, the adjustment described in Patent Document 1 is based on the premise that the amount of external light reaching the retina and the amount of image light reaching the retina change according to the change in pupil area. .
  • Patent Document 1 can not be applied to a video projector based on Maxwell vision.
  • By adjusting the output of the video display light according to the present technology it is possible to prevent the user from presenting the video too bright for the external light to the user.
  • the output control unit 103 displays the image according to, for example, at least one of a change in area or size of the pupil, a change in ambient light illuminance, and a change in ambient light contrast. Change the light output. Thereby, the output of the image display light can be changed to an appropriate brightness according to the change of the landscape in the outside world.
  • the output of the video display light after the change may be, for example, an output that brings about a luminance that allows the user to visually recognize the video to be presented, and preferably the user distinguishes the video to be presented from the external scenery.
  • It may be an output that provides a degree of brightness that can be achieved, and more preferably an output that provides a brightness that allows an image having a suitable contrast to the brightness of the external scene to be presented.
  • the output control unit 103 changes the output of the image display light according to the change in the area or size of the pupil, and the image display based on the area or size of the pupil before and after the change. Determine the light output. By thus determining the output of the image display light, it is possible to change the brightness of the image to an appropriate brightness for the user according to the change of the landscape in the outside world.
  • the output of the video display light is controlled so as to achieve the video display light luminance set based on (3).
  • the output of the image display light it is possible to present the user with an image of a preferable brightness even if the external scenery changes.
  • the image display light luminance may be set based on, for example, the following equation.
  • L 1 , E 1 , A 1 , and C 1 are the image display light luminance after the change, the external light illuminance, the area or size of the pupil, and the external light contrast, respectively
  • L 0 , E 0 , A 0 and C 0 are respectively the image display light brightness before the change, the ambient light illuminance, the area or size of the pupil, and the ambient light contrast
  • the ambient light illuminances E 1 and E 0 may be acquired by, for example, the fixation point information acquisition unit 102. More specifically, the ambient light illuminance at the position of the fixation point acquired by the fixation point information acquisition unit 102 may be used in the above equation.
  • the ambient light illuminance is not limited to the illuminance of light from the external scenery, and may be, for example, the illuminance of image light entering the eyes of the user through glasses or the like.
  • the external light contrasts C 1 and C 0 may be set as appropriate, for example, by those skilled in the art or by the user.
  • the external light contrast is the brightness of the fixation point: the brightness of the image display light is 1: 1 to 1:50, 1: 1 to 1:30, 1: 1 to 1:20, or 1: 1 to 1:10. It can be contrast that satisfies
  • the value of the external light contrast may be 10.
  • Area or dimension A 1 and A pupil 0 may be obtained by methods as described herein in the above.
  • the output control unit 103 can change the video display light output so as to achieve the video display light luminance L 1 determined according to the above equation.
  • the image display light brightness is set to, for example, the image display light so as to satisfy the predetermined relationship as described in the above-mentioned “(3) second example of the first embodiment (output control of image display light by output control unit)”. It may be achieved by controlling the output.
  • the image display light emitted by the image projection apparatus according to the present technology is not reduced in light quantity by the pupil, so that it is not necessary to brighten the image display light by 10 times when the external light becomes 10 times bright, for example. You can brighten the Therefore, it is possible to present the user with an image having low power consumption and high contrast under an environment where the external light illuminance is high.
  • a video projection device according to the present technology when used, for example, when the ambient light illuminance changes, the change rate of the external light illuminance and the change rate of the pupil area accompanying the change are multiplied by the luminance before the change. A luminance suitable for the ambient light illuminance is set, and the output of the image display light is controlled to achieve the luminance.
  • the ambient light illuminance B is B ⁇ exp (-d) or B ⁇ d -1/2 etc. with respect to the pupil diameter d, that is, B is exp ( It is proportional to -d) or d- 1 / 2 .
  • the image display light In the non-Maxwell-view image projector, in order to maintain the same contrast under different ambient light illuminance environments, the image display light also needs to follow these rates of change. For example, if B is proportional to exp (-d), the image display light is also proportional to exp (-d).
  • the luminance of the video display light is proportional to exp ( ⁇ d) * d 2 obtained by multiplying the illuminance of the outside light by the pupil area. That is, when the pupil diameter changes from 4 mm to 2 mm, the increase in power consumption is 1 ⁇ 4 compared to the non-Maxwell vision video projector.
  • the present technology includes a pupil information acquiring step of acquiring an area or dimension of a pupil, an output of image display light condensed near the pupil and irradiated to a retina, an area of the pupil acquired in the pupil information acquiring step or There is provided a video projection method including an output control step of controlling based on dimensions and an image display light output step of irradiating an image display light to the retina with the output controlled in the output control step.
  • An image projection method in accordance with the present technology can superimpose an image with appropriate brightness and sharpness on an external scene.
  • FIG. 5 is as described in the above “1. First embodiment (video projection device)”.
  • FIG. 6 is a diagram showing an example of the flow of a video projection method according to the present technology.
  • video display light is presented to the user in Maxwell vision at a brightness suitable to be superimposed on, for example, an external scene.
  • step S101 the video projection device 100 starts video projection processing according to the present technology.
  • the video projector 100 acquires pupil information.
  • the pupil information may be acquired by the pupil information acquisition unit 101 in the video projector 100, in particular.
  • the acquired pupil information may be, for example, the area, size, position, and shape of the pupil.
  • the pupil information acquisition unit 101 includes a combination of an IR (infrared) light source and an IR camera
  • the pupil information acquisition unit 101 irradiates infrared light onto the eyeball surface and picks up the eyeball surface irradiated with the infrared light Do.
  • the pupil information acquisition unit 101 acquires pupil information from the captured image.
  • the video projection device 100 acquires gaze point information.
  • the fixation point information may be acquired by the fixation point information acquisition unit 102 in the image projection apparatus 100, in particular.
  • the fixation point information to be acquired for example, the position of the fixation point of the user and the brightness at the position can be cited.
  • the fixation point information acquisition unit 102 acquires the position of the fixation point based on the position of the pupil acquired by the pupil information acquisition unit 101.
  • the position of the fixation point may be determined trigonometrically based on, for example, the positions of the pupils of both eyes, or may be estimated based on the movement of the monocular pupil. Techniques known to those skilled in the art may be used as methods for determining or estimating the position of the fixation point.
  • the fixation point information acquisition unit 102 acquires the brightness at the position of the acquired fixation point.
  • the fixation point information acquisition unit 102 specifies a pixel or a pixel block corresponding to the acquired position of the fixation point in the image captured by the imaging device included in the fixation point information acquisition unit 102.
  • the fixation point information acquisition unit 102 acquires data relating to the brightness at the fixation point from the image data of the specified pixel or pixel block.
  • step S104 the video projector 100 controls the output of video display light.
  • the control of the output of the image display light may be performed by the output control unit 103 in the image projection apparatus 100, in particular.
  • the output control unit 103 controls the output of the image display light based on the pupil information acquired by the pupil information acquisition unit 101.
  • the control can be performed, for example, as described above in “(3) Second example of the first embodiment (output control of image display light by output control unit)”.
  • step S105 the video projector 100 outputs video display light at the output controlled in step S104.
  • the output can be performed by the video display light irradiator 104 in the video projector 100, in particular.
  • the image display light irradiation unit 104 presents an image to the user by Maxwell vision.
  • a laser beam can be mentioned as image display light.
  • the image display light may be light emitted by an LED or a CRT.
  • step S106 the video projection device 100 ends the video projection process according to the present technology.
  • FIG. 5 is as described in the above “1. First embodiment (video projection device)”.
  • FIG. 7 is a diagram showing an example of the flow of a video projection method according to the present technology.
  • the video projection method according to the present embodiment for example, in a state where video display light is already irradiated to the user by Maxwell vision, the output of the video display light is changed.
  • step S201 the video projector 100 starts video projection processing according to the present technology.
  • the video projector 100 monitors pupil information and / or gaze point information. For example, when the video display light from the video projector 100 is irradiated to the user in Maxwell vision, the monitoring can be performed.
  • the monitoring of pupil information may be performed by the pupil information acquiring unit 101 and / or the control unit 110 in the image projection apparatus 100, in particular.
  • the monitoring of the fixation point information may be performed by the fixation point information acquisition unit 102 and / or the control unit 110 in the image projection apparatus 100 in particular.
  • step S203 the video projector 100 determines whether there is a change in pupil information or gaze point information.
  • the determination of the presence or absence of the change may be performed by the output control unit 103 in the image projection apparatus 100, in particular.
  • changes in pupil information may include, for example, an increase or decrease in pupil area or size.
  • change in fixation point information for example, movement of the position of the fixation point, increase or decrease of the ambient light illuminance (especially brightness) at the gaze point, and change of the ambient light contrast suitable for the external light illuminance at the gaze point It can be mentioned.
  • the video projection device 100 proceeds with the process to step S204. If there is no change in the pupil information and / or the gaze point information, the video projector 100 returns the process to S202 and continues the monitoring step S202.
  • step S203 when a predetermined condition is satisfied, for example, when a change in pupil information and / or fixation point information exceeds a predetermined threshold, it may be determined that there is a change in pupil information or fixation point information. . More specifically, in step S203, the output control unit 103 determines that the area or size of the pupil is, for example, 1.1 times or more, 1.2 times or more, or 1.3 times the area or size at a certain point in time. When it becomes more than double, 1.4 times or more, 1.5 times or more, 1.6 times or more, 1.7 times or more, 1.8 times or more, 1.9 times or more, or 2.0 times or more It may be determined that the area or size of the pupil has increased, and the process may proceed to step S204.
  • a predetermined condition for example, when a change in pupil information and / or fixation point information exceeds a predetermined threshold, it may be determined that there is a change in pupil information or fixation point information. . More specifically, in step S203, the output control unit
  • the output control unit 103 causes the area or size of the pupil to be, for example, not more than 0.9 times, not more than 0.8 times, not more than 0.7 times, the area or size at a certain point.
  • the magnification is less than or equal to 6 times or less than or equal to 0.5 times, it may be determined that the area or size of the pupil has decreased, and the process may proceed to step S204.
  • the output control unit 103 has a change in the position of the fixation point when the position of the fixation point moves from the object being gazed at a certain point in time to another object. Then, the process may proceed to step S204.
  • the change in the position of the fixation point can be detected based on, for example, a change in image information (for example, a change in brightness) at or near the fixation point.
  • the output control unit 103 sets the brightness at the gaze point (for example, the ambient light illuminance) to, for example, 1.1 times or more, 1.2 times or more, the brightness at a certain point. .3 times or more, 1.4 times or more, 1.5 times or more, 1.6 times or more, 1.7 times or more, 1.8 times or more, 1.9 times or more, or 2.0 times or more
  • step S203 the output control unit 103 determines that the brightness at the gaze point (for example, the ambient light illuminance) is, for example, 0.9 times or less, 0.8 times or more, or more times the brightness at a certain point. If 7 times or less, 0.6 times or less, or 0.5 times or less, it may be determined that the brightness at the gaze point has decreased, and the process may proceed to step S204.
  • the output control unit 103 may change the appropriate contrast between the image presented to the user and the scene on which the image is superimposed, in particular, when the external light contrast is changed, It may be determined that there has been a change in contrast, and the process may proceed to step S204.
  • step S204 the video projector 100 controls the output of video display light.
  • the control of the output of the image display light may be performed by the output control unit 103 in the image projection apparatus 100, in particular.
  • the output control unit 103 changes the output of the image display light based on the pupil information acquired by the pupil information acquisition unit 101 and / or the fixation point information acquired by the fixation point information acquisition unit 102.
  • the control can be performed, for example, as described above in “(4) Third example of the first embodiment (change in output of image display light by output control unit)”.
  • step S205 the video projector 100 outputs video display light at the output controlled in step S204.
  • the output can be performed by the video display light irradiator 104 in the video projector 100, in particular.
  • the image display light irradiation unit 104 presents an image to the user by Maxwell vision.
  • a laser beam can be mentioned as image display light.
  • the image display light may be light emitted by an LED or a CRT.
  • step S206 the video projector 100 ends the video projection process according to the present technology.
  • the present technology includes a pupil information acquiring step of acquiring an area or dimension of a pupil, an output of image display light condensed near the pupil and irradiated to a retina, an area of the pupil acquired in the pupil information acquiring step or And an output control step of controlling based on the dimensions.
  • the video display light output control method can control the video display light presented to the user in Maxwell vision to an appropriate brightness.
  • FIG. 5 is as described in the above “1. First embodiment (video projection device)”.
  • FIG. 8 is a diagram showing an example of a flow of an image display light output control method according to the present technology.
  • the brightness of the video display light presented to the user in Maxwell vision is considered to be suitable for being superimposed on the scenery of the outside world.
  • Steps S301 to S305 are the same as the above 2. This is the same as steps S101 to S104 and S106 described in “(2) First example of the second embodiment (video projection method)”. That is, the video display light output control method in the present example is the same as the method 2 described above. Among the video projection methods described in “(2) First example of the second embodiment (video projection method)” in FIG. Therefore, the description of steps S301 to S305 is omitted.
  • FIG. 5 is as described in the above “1. First embodiment (video projection device)”.
  • FIG. 9 is a diagram illustrating an example of a flow of a video display light output control method according to the present technology.
  • the output of the video display light is changed, for example, in a state where the video display light is already irradiated to the user by Maxwell vision.
  • Steps S401 to S405 are the same as the above 2). This is the same as steps S201 to S204 and S206 described in “(3) Second example of the second embodiment (image projection method)”. That is, the video display light output control method in the present example is the same as the method 2 described above. Among the video display light output control methods described in “(3) Second example (video projection method) of the second embodiment”, the output step is omitted. Therefore, the description of steps S401 to S405 is omitted.
  • the present technology also provides a video projection program.
  • the video projection program is for causing a computer to execute a video projection method according to the present technology.
  • the pupil information acquisition step of acquiring the area or size of the pupil, and the output of the image display light collected near the pupil and irradiated to the retina are
  • an output control step of controlling based on the acquired area or size of a pupil and an image display light output step of irradiating an image display light to the retina with the output controlled in the output control step It may be. Since these steps are as described above in “2. Second embodiment (video projection method)”, the description of these steps is omitted.
  • the present technology also provides an image display light output control program.
  • the video display light output control program is for causing a computer to execute a video display light output control method according to the present technology.
  • a program for image display light output control according to the present technology includes a pupil information acquiring step of acquiring an area or a size of a pupil, an output of image display light collected near the pupil and irradiated to a retina, the pupil information It may be for making a computer perform the output control process controlled based on the area or the size of the pupil acquired at the acquisition process. Since these steps are as described above in “2. Second embodiment (video projection method)”, the description of these steps is omitted.
  • FIG. 10 is a diagram showing an example of a schematic configuration of a video projector according to the present technology.
  • the video projector 1000 shown in FIG. 10 includes a CPU (central processing unit) 1002 and a RAM 1003.
  • the CPU 1002 and the RAM 1003 are connected to one another via a bus 1005, and are also connected to other components of the image projection apparatus 1000 via a bus 1005.
  • the CPU 1002 performs control and calculation of the video projector 1000.
  • any processor can be used, and examples thereof include a processor of Xeon (registered trademark) series, Core (trademark) series, or Atom (trademark) series.
  • the control unit 110 of the image projection apparatus 100 described with reference to FIG. 5 may be realized by the CPU 1002, for example.
  • the RAM 1003 includes, for example, a cache memory and a main memory, and can temporarily store a program used by the CPU 1002 and the like.
  • the video projector 1000 may include a disk 1004, a communication device 1006, a video display light output device 1007, and a drive 1008. Any of these components can be connected to the bus 1005.
  • the disk 1004 includes an operating system (for example, WINDOWS (registered trademark), UNIX (registered trademark), LINUX (registered trademark), etc.), a program for image projection processing according to the present technology, a program for image display light output control, Various other programs as well as various data (eg, video data) may be stored.
  • the communication device 1006 connects the video projection device 1000 to the network 1010 by wire or wirelessly.
  • the communication device 1006 can obtain various data (for example, video data) via the network 1010 of the video projection device 1000.
  • the acquired data may be stored, for example, on the disk 1004.
  • the type of communication device 1006 may be appropriately selected by those skilled in the art.
  • the video display light output device 1007 can output video display light controlled according to the present technology.
  • the drive 1008 can read out the information recorded on the recording medium and output the information to the RAM 1003.
  • the recording medium is, for example, an SD memory card or a flash memory, but is not limited thereto.
  • the video projector of the present technology shown in FIG. 11 is an eyewear display 2000.
  • a pupil information acquisition unit includes a combination of an IR light source 2002 and an IR camera 2003.
  • the IR light source 2002 emits infrared light to the eye.
  • Pupil information is acquired by imaging the eyeball with the IR camera 2003 in a state where the infrared light is emitted.
  • the fixation point information acquisition unit includes an imaging element 2004.
  • the imaging element 2004 is configured to be able to capture the direction in which the eyeball is facing.
  • the output control unit and the image display light irradiation unit may be configured as part of an information processing apparatus in the housing 2001.
  • the information processing apparatus may further include an interface, a storage unit, a control unit, and a video control unit.
  • the image display light irradiation unit irradiates the half mirror 2005 with the image display light under the control of the output control unit.
  • the image display light irradiated to the half mirror is condensed on the pupil 2006 and reaches the retina 2007.
  • the video is presented to the user by the video projection apparatus according to the present technology.
  • the present technology can also be configured as follows.
  • a pupil information acquisition unit that acquires the area or dimension of a pupil
  • An output control unit configured to control an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired by the pupil information acquisition unit;
  • Video projection device equipped with.
  • the output of the image display light is determined such that the target image display light luminance and the value obtained by dividing the output of the image display light by the area or size of the pupil satisfy a predetermined relationship.
  • the video projector according to [2].
  • the predetermined relationship is The following formula, Or The following formula It is a relation represented by, (Here, L is the target image display light luminance, C is the adjustment coefficient, ⁇ is the wavelength, P is the image display light output at each wavelength, and K is the visibility at each wavelength. Where ⁇ is the viewing angle of the display, and A is the pupil size or pupil area)
  • the output control unit changes the output of the image display light according to at least one of a change in the area or dimension of the pupil, a change in ambient light illuminance, and a change in ambient light contrast.
  • the video projector according to [1].
  • the output control unit changes the output of the image display light in accordance with the change in the area or size of the pupil, and the image display light is changed based on the area or size of the pupil before and after the change.
  • the video projector according to [5], which determines the output of [7] The output control unit controls the output of the video display light so as to give the video display light luminance determined based on the following equation: (Here, L 1 , E 1 , A 1 , and C 1 are the image display light luminance after the change, the external light illuminance, the area or size of the pupil, and the external light contrast, respectively, L 0 , E 0 , A 0 and C 0 are respectively the image display light brightness before the change, the ambient light illuminance, the area or size of the pupil, and the ambient light contrast)
  • the image projection device according to any one of [1] to [11], further comprising an image display light irradiation unit for irradiating the retina with image display light with the output controlled by the output control unit. .
  • the video projector according to [12], wherein the video display light irradiator emits video display light by a retina projection method or a retina scanning method.
  • the video projector according to [12], wherein the video display light irradiator uses laser light as an illumination light source.
  • the video projector according to any one of [1] to [14], which is a head mounted display.
  • a pupil information acquisition step of acquiring the area or dimension of the pupil An output control step of controlling an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired in the pupil information acquiring step; A video display light output step of irradiating video display light to the retina with the output controlled in the output control step.
  • a pupil information acquisition step of acquiring the area or dimension of the pupil An output control step of controlling an output of image display light condensed near the pupil and irradiated to the retina based on the area or size of the pupil acquired in the pupil information acquiring step;
  • Video display light output control method including:
  • Video Projector 101 Pupil Information Acquisition Unit 102 Attention Point Information Acquisition Unit 103 Output Control Unit 104 Video Display Light Irradiation Unit 110 Control Unit 111 Video Control Unit 113 Communication Interface 114 Storage Unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

新たな映像投影技術を提供すること。　本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、を備えている映像投影装置を提供する。また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とを含む映像投影方法も提供する。

Description

映像投影装置、映像投影方法、映像表示光出力制御方法
　本技術は、映像投影装置、映像投影方法、及び映像表示光出力制御方法に関する。より詳細には、映像表示光が瞳孔付近に集光されそして網膜に照射される映像投影装置及び映像投影方法、並びに、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を制御する映像表示光出力制御方法に関する。
　近年、例えば現実の風景などの外界の光景に映像を重ねて表示する技術に注目が集まっている。当該技術は、拡張現実（ＡＲ）技術とも呼ばれる。この技術を利用した製品の一つとして、ヘッドマウントディスプレイが挙げられる。ヘッドマウントディスプレイは、ユーザの頭部に装着して使用される。ヘッドマウントディスプレイを用いた映像表示方法では、例えば外界からの光に加えてヘッドマウントディスプレイからの光がユーザの眼に照射されることで、外界の像に映像が重畳的に表示される。
　例えば、下記特許文献１には、透過型映像表示装置に関する発明が記載されている。当該透過型映像表示装置は、映像を表示する映像表示部と、前記映像を使用者の眼に導く光学手段と、外光の透過率を可変し、前記使用者の眼に達する外光の光強度を調整する調光フィルタと、前記使用者の眼の瞳孔を撮像する瞳孔撮像手段と、前記瞳孔撮像手段からの撮像信号に基づいて前記瞳孔の瞳孔径を算出し、算出した瞳孔径の値に基づいて、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ調整する制御部と、を有する。
特開２０１７－９７０９８号公報
　ＡＲ技術への関心が高まるなかで、より良い映像投影技法が求められている。例えば、より鮮明な映像をユーザに提示すること、及び、より見やすい映像をユーザに提示することが求められている。
　本技術は、新たな映像投影技術を提供することを目的とする。
　本発明者らは、特定の構成を有する映像投影技術によって、ユーザにとって適切な明るさを有し且つ鮮明な映像を外界の風景に重畳して表示することができることを見出した。
　すなわち、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
　を備えている映像投影装置を提供する。
　本技術の一つの実施態様に従い、前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定するものであってよい。
　本技術の一つの実施態様に従い、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定されうる。
　本技術の一つの実施態様に従い、前記所定の関係が、
　以下の式、
Figure JPOXMLDOC01-appb-I000004
　又は、
　以下の式
Figure JPOXMLDOC01-appb-I000005
（ここで、Ｌは目的とする映像表示光輝度であり、Ｃは調整係数であり、λは波長であり、Ｐは各波長での映像表示光出力であり、Ｋは各波長での視感度であり、ωは表示の見込み角であり、且つ、Ａは瞳孔寸法又は瞳孔面積である）
　で表される関係であってよい。
　本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させるものでありうる。
　本技術の他の実施態様に従い、前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定しうる。
　本技術の他の実施態様に従い、前記出力制御部が、前記映像表示光の出力を以下の式に基づき決定するものでありうる。
Figure JPOXMLDOC01-appb-I000006
　（ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである）
　本技術の一つの実施態様に従い、前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
　本技術の一つの実施態様に従い、前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定しうる。
　本技術の一つの実施態様に従い、前記瞳孔情報取得部が、赤外光カメラを含みうる。
　本技術の一つの実施態様に従い、本技術の映像投影装置は、注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得しうる。
　本技術の一つの実施態様に従い、本技術の映像投影装置は、前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えていてよい。
　本技術の一つの実施態様に従い、前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射するものでありうる。
　本技術の一つの実施態様に従い、前記映像表示光照射部が、レーザ光を照明光源としうる。
　本技術の一つの実施態様に従い、本技術の映像投影装置は、ヘッドマウントディスプレイでありうる。
　本技術の一つの実施態様に従い、本技術の映像投影装置は、アイウェアディスプレイでありうる。
　本技術の一つの実施態様に従い、投影される映像が、外界の光景に重畳されているように表示されてよい。
　また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
　前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
　を含む映像投影方法を提供する。
　また、本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
　を含む映像表示光出力制御方法を提供する。
　本技術により、適切な明るさを有し且つ鮮明である映像を外界の風景に重ねて表示することができる。なお、本技術により奏される効果は、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。
映像表示光を水晶体で屈折させて網膜上で結像させる映像投影技法を説明するための模式図である。 映像表示光を水晶体で屈折させて網膜上で結像させる映像投影技法を説明するための模式図である。 本技術において採用される映像投影方式を説明するための模式図である。 本技術において採用される映像投影方式を説明するための模式図である。 本技術に従う映像投影装置の一例のブロック図である。 本技術に従う映像投影方法のフローの一例を示す図である。 本技術に従う映像投影方法のフローの一例を示す図である。 本技術に従う映像表示光出力制御方法のフローの一例を示す図である。 本技術に従う映像表示光出力制御方法のフローの一例を示す図である。 本技術に従う映像投影装置の概略的な構成の一例を示す図である。 本技術に従う映像投影装置の具体的な構成例を示す図である。 本技術に従う映像投影装置の具体的な構成例を示す図である。 網膜走査方式の映像表示光照射部の一例を示す図である。 網膜投影方式の映像表示光照射部の一例を示す図である。
　以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態に限定されることはない。なお、本技術の説明は以下の順序で行う。
１．第１の実施形態（映像投影装置）
（１）第１の実施形態の説明
（２）第１の実施形態の第１の例（映像投影装置）
（３）第１の実施形態の第２の例（出力制御部による映像表示光の出力制御）
（４）第１の実施形態の第３の例（出力制御部による映像表示光の出力変化）
２．第２の実施形態（映像投影方法）
（１）第２の実施形態の説明
（２）第２の実施形態の第１の例（映像投影方法）
（３）第２の実施形態の第２の例（映像投影方法）
３．第３の実施形態（映像表示光出力制御方法）
（１）第３の実施形態の説明
（２）第３の実施形態の第１の例（映像表示光出力制御方法）
（３）第３の実施形態の第２の例（映像表示光出力制御方法）
４．第４の実施形態（プログラム）
５．装置の構成例
１．第１の実施形態（映像投影装置）
（１）第１の実施形態の説明
　本技術に従う映像投影装置は、瞳孔の面積又は寸法を取得する瞳孔情報取得部と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、を備えている。
　本技術において、映像表示光は、瞳孔付近に集光されそして網膜に照射される。すなわち、本技術に従う映像投影装置は、いわゆるマクスウェル視で映像をユーザに提示する。本技術に従い、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を瞳孔の面積又は寸法に基づき制御することで、適切な明るさを有し且つ鮮明である映像を外界の風景に重畳することができる。
　本技術において、映像表示光は瞳孔付近で集光されてよく、例えば瞳孔上で集光されてもよく又は光軸方向に瞳孔から数ｍｍ～十数ｍｍ程度（例えば１ｍｍ～２０ｍｍ、特には２ｍｍ～１５ｍｍ）ずれてもよい。後者のとおり焦点が瞳孔上になくても、マックスウェル視を実現することができる。焦点を光軸方向にずらすことで、映像がずれても、ユーザが映像を失いにくくすることができる。前記映像表示光は、より具体的には、瞳孔上、水晶体レンズ内、又は、角膜表面と瞳孔との間において集光されうる。
　一般的な映像投影技法では、映像表示光を水晶体で屈折させて網膜上で結像させるという方式を採用している。当該方式を説明する模式図の一例を図１に示す。図１に示されるとおり、ろうそくの像を形成する映像表示光は、ディスプレイ１１によって照射され、光学系（レンズ）１２によって屈折され、そして眼球１４の水晶体レンズ１３に到達する。当該映像表示光は、水晶体レンズ１３によって屈折され、そして、網膜１５上で結像する。例えば上記特許文献１に記載の装置も、当該方式を前提としている。
　上記方式による映像投影装置の場合、例えば図２に示されるとおり、マイクロパネル２１から照射された映像表示光は、レンズ２２により屈折され、そして、径の大きな光、特には平行光として水晶体レンズ２３に到達する。この方式による映像投影において、映像焦点は一点に固定されており、映像から水晶体レンズ２３までの距離ｄ１は固定されている。そこで、映像を鮮明に認識するためには、水晶体レンズ２３の焦点距離を調整する必要がある。そのため、ユーザの水晶体レンズ２３の状態によっては、映像を鮮明に見ることができない場合がある。
　また、上記映像投影技法では、ユーザの瞳孔径によっても、ユーザが見る映像に変化が生じる。ユーザの瞳孔径は、水晶体レンズの焦点距離及び／又は注視の度合いによって変化する。上記映像投影技法では、ユーザの瞳孔径が変化すると、同じ映像表示光であっても、網膜に到達する光量が変化し、ユーザに提示される映像光強度も変化する。そのため、ユーザが認識する映像が安定しない。
　一方、本技術では、映像表示光が水晶体レンズの中心を通過し、そして、網膜に照射されるという映像投影方式を採用している。当該方式を説明する模式図を図３に示す。図３に示されるとおり、ろうそくの像を形成する映像表示光３３は、例えば光源３１から出力されたバックライトによってディスプレイ３２を照射することによって生成される。当該映像表示光３３が、光学系（例えばレンズ）３４によって、瞳孔付近に集光するように（例えば水晶体レンズの中心３６を通るように）屈折される。レンズの中心を通る光は、レンズによって屈折されない。そのため、当該映像表示光は、水晶体レンズ３５によって屈折されることなく、網膜３８上に到達する。
　本技術では、例えば図４に示されるとおり、映像表示光照射部４１から照射された映像表示光は、光学系（例えばハーフミラー）４２により反射され、そして、水晶体レンズ４４に到達する。当該映像表示光は、瞳孔付近で集光し、すなわち水晶体レンズ４４の中心４３を通過する。そのため、当該映像表示光は、水晶体レンズ４４によって屈折されずに、網膜４５に到達する。その結果、水晶体レンズ４４が焦点距離を調整することができなくても、ユーザが認識する映像の鮮明さは大きな影響を受けない。
　また、本技術では、映像表示光は瞳孔付近の１点を通るので、瞳孔径が変化しても、網膜に到達する光量が変化しない。そのため、ユーザが認識する映像が安定する。
　加えて、本技術において採用する方式では、どの焦点距離においても映像表示光が焦点を結ぶ。例えば、図４における、距離ｄ２及びｄ３のいずれにおいても、映像表示光は焦点を結ぶ。
　また、本技術において採用される映像投影方式では、上記のとおり、瞳孔径が変化しても、網膜に到達する光量が変化しない。例えば外界が明るくなった場合、瞳孔径が小さくなっても、網膜に到達する光量が変化しない。その結果、適切な映像表示光輝度が得られない場合がある。そこで、本技術では、映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する。その結果、瞳孔の面積又は寸法に基づき映像表示光輝度が制御されるので、適切な輝度を有する映像をユーザに提示することが可能である。
（２）第１の実施形態の第１の例（映像投影装置）
　以下で、本技術に従う映像投影装置の例及び当該映像投影装置における映像表示光の出力制御の例を、図５を参照しながら説明する。図５は、本技術に従う映像投影装置の一例のブロック図である。
　図５に示されるとおり、映像投影装置１００は、瞳孔情報取得部１０１、注視点情報取得部１０２、制御部１１０、及び映像表示光照射部１０４を備えている。制御部１１０は、出力制御部１０３及び映像制御部１１１を含む。映像投影装置１００はさらに、通信インタフェース１１３及び記憶部１１４を備えている。
　映像投影装置１００は、映像表示光を瞳孔付近で集光しそして網膜に照射することで、ユーザに映像を提示する装置である。例えば、本技術の映像投影装置として、例えばアイウェアディスプレイ及びヘッドマウントディスプレイを挙げることができるが、これらに限定されない。又は、本技術の映像投影装置は、メガネに装着して用いられるものであってもよい。本技術の映像投影装置により投影される映像は、例えば外界の光景に重畳されているように表示されてよい。又は、本技術の映像投影装置により投影される映像は、他の映像投影装置により投影される映像に重畳されているように表示されてもよい。
　瞳孔情報取得部１０１は、瞳孔情報、例えば瞳孔の面積、寸法、位置、及び形状など、を取得しうる。瞳孔情報取得部は、このような情報を取得できるものであればよく、当業者により適宜選択されてよい。例えば、瞳孔情報取得部１０１は、眼球表面を撮像できるように構成された撮像素子を含みうる。
　瞳孔情報取得部１０１は、例えばＩＲ（赤外線）光源とＩＲカメラとの組合せを含みうる。ＩＲ光源は、赤外線をユーザの眼球表面に照射するように配置されうる。ＩＲカメラは、赤外線が照射された眼球表面を撮像することができるように配置されうる。ＩＲ光源とＩＲカメラとの組合せを用いることで、外界の風景からの光に対する影響を抑制しつつ、瞳孔情報を取得することができる。また、明るい場所だけでなく、暗い場所においても、瞳孔情報を正確に取得することができる。
　瞳孔情報取得部は、例えばＣＣＤ又はＣＭＯＳなどの撮像素子を含んでもよい。これらの撮像素子によっても、瞳孔情報を取得することができる。
　瞳孔情報取得部１０１は、撮像された瞳孔の画像に基づき、瞳孔情報、例えば瞳孔の面積、寸法、位置、及び形状などを取得しうる。瞳孔情報は、撮像された画像に対して画像処理を行うことにより取得されてよい。
　例えば瞳孔面積は、瞳孔部分に対応する画素数をカウントすることにより取得されてよい。
　例えば瞳孔寸法（例えば直径又は外周長など）は、例えば撮像された画像に基づき決定されうる。また、決定された瞳孔寸法に基づき、瞳孔面積が算出されてもよい。
　注視点情報取得部１０２は、本技術に従う映像投影装置のユーザの注視点に関する情報を取得しうる。注視点情報として、例えば、ユーザの注視点の位置及び当該位置における明るさを挙げることができる。
　注視点情報取得部１０２は、ユーザの注視点に関する情報を取得することができる構成要素を含みうる。当該構成要素として、例えば撮像素子を挙げることができる。撮像素子は、例えばＣＣＤ又はＣＭＯＳでありうる。当該撮像素子によって、注視点を含む外界風景を撮像し、得られた画像データから、目的とする注視点情報が抽出されうる。
　注視点の位置は、当業者に既知の手法により取得されてよい。例えば、前記瞳孔情報取得部１０１により取得された瞳孔の位置情報から、各眼球の視線方向を決定することができる。例えば右目の瞳孔が正面を向いているときよりも内寄りに１ｍｍズレた位置にいる場合、眼球の半径を１２ｍｍとすると、視線方向は、正面方向に対してａｔａｎ（１／１２）≒４．８ｄｅｇ内向きの角度を形成する。左目の瞳孔についても同様に、視線方向の正面方向に対して形成する角度を計算する。計算された両目の視線方向に基づき、三角測量的に注視点の位置を決定することができる。
　また、前記瞳孔情報取得部１０１が片方の眼の瞳孔情報のみを取得することができる構成の場合、例えば眼球の動きに基づき注視点の位置を推定することによって、注視点の位置が取得されてもよい。当該推定の方法として、当業者に既知の技法が用いられてよい。
　なお、注視点の位置は、瞳孔情報取得部により取得されてもよい。
　注視点の位置における明るさは、注視点情報取得部１０２により撮像された画像中の注視点の位置における画像情報から取得することができる。例えば、注視点情報取得部１０２に含まれる撮像素子が、外界風景を撮像し、当該撮像素子によって撮像された画像中の当該注視点の位置における画像データから、当該注視点の位置における明るさに関するデータが取得されうる。
　注視点の明るさは、例えば外界に向けられた照度センサによって取得されてもよく、又は、注視点の明るさは、観察者の瞳孔径に基づき推定又は算出されてもよい。注視点の明るさは、例えば映画に字幕の映像を重畳する場合など、別の映像光へ本技術に従い映像を重畳する場合には、当該別の映像光の明るさに基づき注視点の明るさが取得されてもよい。
　制御部１１０は、例えば映像表示光の出力を制御する出力制御部１０３及び表示されるべき映像を制御する映像制御部１１１を含みうる。
　出力制御部１０３は、例えば瞳孔情報取得部１０１により取得された瞳孔情報に基づき、映像表示光の出力を制御する。映像表示光は、瞳孔付近で集光されそして網膜に照射されるものである。
　当該出力の制御において、注視点情報取得部１０２により取得された注視点情報が参照されてもよい。例えば、注視点情報として注視点の明るさと当該明るさに対するコントラストとが用いられうる。すなわち、一つの実施態様において、出力制御部１０３は、目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定しうる。
　出力制御部１０３による映像表示光の出力制御の例は、以下「（３）第１の実施形態の第２の例（出力制御部による映像表示光の出力制御）」及び「（４）第１の実施形態の第３の例（出力制御部による映像表示光の出力変化）」にて詳述する。
　映像制御部１１１は、記憶部１１４に格納されている映像データ又は通信インタフェース１１３を介して映像データを取得しうる。映像制御部１１１は、当該映像データに基づき、映像表示光照射部１０４に映像表示光を出力させうる。当該映像表示光の出力が、本技術の映像投影装置１００において、出力制御部１０３により制御される。
　映像表示光照射部１０４は、制御部１１０、特には出力制御部１０３により制御された出力で映像表示光を網膜に照射する。映像表示光は、マクスウェル視によりユーザに映像を提示することができるものであればよい。例えば、映像表示光として、レーザ光を挙げることができる。また、映像表示光は、ＬＥＤ又はＣＲＴにより照射される光であってもよい。
　映像表示光照射部１０４により照射される映像表示光のビーム直径は、瞳孔径を考慮して決定又は調節されてよい。当該ビーム直径は、例えば５ｍｍ以下、好ましくは３ｍｍ以下、より好ましくは２ｍｍ以下、さらにより好ましくは０．７ｍｍ以下でありうる。
　映像表示光照射部１０４は、映像表示光照射部１０４により照射された映像表示光を、瞳孔を通じて網膜に到達させるための光学系を含みうる。光学系は、例えば映像投影装置１００の構造及び／又は映像表示光の照射方式によって当業者により適宜設定されてよい。
　映像表示光照射部１０４は、マクスウェル視での映像表示光の照射を、例えば網膜走査方式又は網膜投影方式で行いうる。これらの方式により映像表示光を照射するための映像表示光照射装置は、当業者に知られている。本技術において、当業者に既知の映像表示光照射装置が用いられてよい。
　網膜走査方式の映像表示光照射部の一例を、図１３を参照して以下で説明する。図１３は、網膜走査方式の映像表示光照射部１３００の構成を表す模式図である。
　図１３に示されるとおり、光源部１３０１からレーザ光１３０２が出力される。レーザ光１３０２は、例えば赤、緑、及び青のレーザ光からなる１本の光束として出力されうる。出力されたレーザ光１３０２は、光走査部１３０３によって、二次元的に走査されうる。当該走査されたレーザ光１３０２は、接眼光学系（例えばハーフミラー）１３０４に向かって拡がりうる。拡がったレーザ光１３０２の方向が、接眼光学系１３０４によって、ユーザの瞳孔１３０５上で集光するように変更する。入射する際の入射角を高速に変化させることで、網膜１３０６上に映像が表示される。網膜走査方式の映像表示光照射部の構成としては、当業者に既知の構成が採用されてよい。例えば、光走査部１３０３の構成要素の一つとしてＭＥＭＳミラーを採用することで、レーザ光の方向を、網膜上に映像が形成されるように、高速に移動させることができる。
　網膜投影方式の映像表示光照射部の一例を、図１４を参照して以下で説明する。図１４は、網膜投影方式の映像表示光照射部１４００の構成を表す模式図である。
　図１４に示されるとおり、ディスプレイ（例えば液晶表示素子）１４０１から出力された平行光が、レンズ１４０２によって屈折される。屈折された光のうち、光学フィルタ１４０３によって所望の光のみを、レンズ１４０４へと進行させる。レンズ１４０４を通過した光が、接眼光学系１４０５によって、ユーザの瞳孔１４０６上で集光するように進行する。その結果、網膜１４０７上に映像が表示される。
　通信インタフェース１１３は、映像投影装置１００の外部から映像データを取得するために用いられうる。例えば、映像投影装置１００は、通信インタフェース１１３を介して、映像投影装置１００以外の装置又は通信ネットワークから、有線又は無線で映像データを取得しうる。通信インタフェース１１３として、当業者に既知の手段が用いられてよい。
　記憶部１１４は、本技術の装置がユーザに提示する映像を形成するための映像データを格納しうる。記憶部１１４は、例えば通信インタフェース１１３により取得された映像データを一時的に格納してもよく、又は、恒常的に映像投影装置１００に保持されるべき映像データを格納してもよい。記憶部１１４として、当業者に既知の手段が用いられてよい。
（３）第１の実施形態の第２の例（出力制御部による映像表示光の出力制御）
　本技術の一つの実施態様に従い、出力制御部１０３は、例えば目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定しうる。これにより、適切な明るさの映像をユーザに提示することができる。当該目的とする映像表示光輝度は、例えば提示されるべき映像をユーザが視認可能な程度の輝度であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度でありうる。
　例えば、出力制御部１０３は、前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力を決定する。当該所定の関係を満たすように映像表示光の出力を制御することで、より適切な明るさで映像がユーザに提示される。
　前記映像表示光の出力は、例えば各波長における映像表示光の出力と各波長における視感度との積の総和又は積分でありうる。当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度との間で所定の関係を満たすように、映像表示光の出力は調整されてよい。例えば当該総和又は積分を前記瞳孔の面積又は寸法で除した値が映像表示光輝度と等しくなるように、若しくは、当該総和又は積分を前記瞳孔の面積又は寸法で除した値に所定の調整係数を乗じた値が映像表示光輝度と等しくなるように、映像表示光の出力は調整されうる。このように、映像表示光の出力を調整することで、好ましい明るさの映像をユーザに提示することができる。
　前記所定の関係を満たすように映像表示光の出力を調整することは、当業者に既知の手段を用いて行われてよい。
　前記所定の関係は、
　例えば以下の式、
Figure JPOXMLDOC01-appb-M000007
 　 
　又は、
　以下の式
Figure JPOXMLDOC01-appb-M000008
 　 
（ここで、Ｌ［ｃｄ／ｍ２］は目的とする映像表示光輝度であり、Ｃは調整係数であり、λ［ｎｍ］は波長であり、Ｐ［Ｗ］は各波長での映像表示光出力であり、Ｋは各波長での視感度であり、ω［ｓｔｒ］は表示の見込み角であり、Ａ［ｍ又はｍ２］は瞳孔寸法又は瞳孔面積である）
　で表される関係である。
　上記式において、Ｌ［ｃｄ／ｍ２］は、目的とする映像表示光輝度である。当該目的とする映像表示光輝度は、例えば外界の風景及び／又はユーザに提示されるべき映像によって、適宜設定されてよい。前記目的とする映像表示光輝度は、例えば注視点情報取得部１０２により取得された注視点情報に基づき設定されうる。具体的には、前記目的とする映像表示光輝度は、例えばユーザの注視点の位置における明るさに基づき設定されてよく、より好ましくは当該明るさに対して必要なコントラストを与えるのに必要な輝度が、映像表示光輝度として採用されうる。当該コントラストは、例えば外界の風景及び／又はユーザに提示されるべき映像によって、適宜設定されてよい。注視点の明るさ：映像表示光輝度のコントラストは例えば、１：１～１：５０、１：１～１：３０、１：１～１：２０、又は１：１～１：１０でありうる。例えば注視点の明るさが１００ｃｄ／ｍ２であり且つ１：１０のコントラストが必要な場合は、映像表示光輝度は、１０００ｃｄ／ｍ２である。
　上記式において、Ｃは例えば１であってよい。すなわち、調整係数による調整が行われなくてもよい。又は、本技術の装置の構成要素に応じて、Ｃとして１以外の値が用いられてもよい。具体的には、本技術の装置の構成要素の有する光学的な特性に基づく調整係数がＣとして用いられてよい。より具体的には、本技術の装置において、外界の風景からの光がガラスを通じてユーザに到達する場合（具体的には、外界の風景からの光が、メガネのガラスを透過してユーザに到達する場合）、当該ガラスの透過率（すなわち、重畳される外界風景の明るさの減衰率）に基づく値がＣとして採用されてよい。当該透過率自体がＣとして採用されてもよい。代替的には、本技術の装置において、映像表示光が光学系を介してユーザの眼に到達する場合、当該光学系の効率に基づく値がＣとして採用されてよい。当該光学系の効率自体がＣとして採用されてもよい。本技術において、前記ガラスの透過率及び光学系の効率の両方に基づく値がＣとして採用されてもよい。
　上記式において、λは映像表示光に含まれる光の波長でありうる。すなわち、映像表示光の出力と視感度との積を当該光の波長の範囲にわたって足し合わせた値（総和）又は当該積を当該光の波長の範囲について積分して得られた値が、上記式において利用される。
　上記式において、Ｐは各波長での映像表示光出力であり、且つ、Ｋは各波長での視感度である。映像表示光は通常は種々の波長の光を含むので、各波長の映像表示光出力及び視感度の積についての積分又は総和を利用することが好ましい。
　上記式において、ωは表示の見込み角である。すなわち、ωは、瞳孔付近で集光されそして網膜に照射される映像表示光の、瞳孔付近の集光点に対する立体角である。
　上記式において、Ａは瞳孔寸法又は瞳孔面積である。
　上記特許文献１に記載の透過型映像表示装置は、ユーザの瞳孔径の値に基づき、調光フィルタの透過率及び映像の光強度を調整する。より具体的には、当該瞳孔径の値から、外界の照度を推定し、映像が当該照度に対して適切なコントラストを有するように、調光フィルタの透過率及び映像の光強度が調整される。例えば、外光照度が１０倍になった場合は、ユーザに提示される映像の明るさを１０倍にするか、外光を減じる調光フィルタの透過率を１／１０にするか、又は映像の明るさ及び調光フィルタの透過率を同時に調整することにより、目に入る外光と映像光の照度比が一定に保たれる。
　しかしながら、上記特許文献１に記載の透過型映像表示装置は、映像表示光を水晶体で屈折させて網膜上で結像させるという方式を前提としたものである。すなわち、上記特許文献１に記載の上記調整は、外光の網膜への到達量及び映像光の網膜への到達量いずれもが瞳孔面積の変化に応じて変化することを前提としたものである。上記特許文献１に記載の調整は、マクスウェル視に基づく映像投影装置には適用できない。例えば、外界の照度が１０倍になり、それに応じて瞳孔面積が０．４倍になったときには、外界から網膜に照射される光の強度は１０ｘ０．４＝４倍となるのに対し、映像表示光の強度は瞳孔面積に影響されない。したがって、外光照度の変化に応じて、映像表示光の強度を１０倍にした場合、強度比は１０／４＝２．５倍となり、外光に対して明るすぎる映像をユーザに提示することになってしまう。
　本技術に従い映像表示光の出力を調整することによって、外光に対して明るすぎる映像をユーザに提示することを防ぐことができる。
（４）第１の実施形態の第３の例（出力制御部による映像表示光の出力変化）
　本技術の他の実施態様に従い、出力制御部１０３は、例えば前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる。これにより、外界の風景の変化に応じて、映像表示光の出力を適切な明るさに変更することができる。前記変化後の映像表示光の出力は、例えば提示されるべき映像をユーザが視認可能な程度の輝度をもたらす出力であってよく、好ましくは提示されるべき映像を外界の風景からユーザが区別することができる程度の輝度をもたらす出力であってよく、より好ましくは外界の風景の明るさに対して適切なコントラストを有する映像が提示される可能とする輝度をもたらす出力でありうる。
　例えば、出力制御部１０３は、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、且つ、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する。このように映像表示光の出力が決定されることで、外界の風景の変化に応じて、映像の明るさをユーザにとって適切な明るさに変化させることができる。
　例えば外界風景が変化した場合、変化前後の外光照度の比、変化前後の外光コントラストの比、及び変化前後の瞳孔の面積又は寸法の比のうちから選ばれる少なくとも一つの比（又は二つ若しくは三つ）に基づき設定された映像表示光輝度を達成するように、前記映像表示光の出力は制御される。このように、映像表示光の出力を調整することで、外界風景が変化しても、好ましい明るさの映像をユーザに提示することができる。
　前記映像表示光輝度は、例えば以下の式に基づき設定されうる。
Figure JPOXMLDOC01-appb-M000009
 　
　（ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである）
　外光照度E1及びE0は、例えば注視点情報取得部１０２により取得されうる。より特には、注視点情報取得部１０２において取得された注視点の位置での外光照度が、上記式において用いられうる。外光照度は、外界風景からの光の照度のみに限られず、例えばメガネなどを介してユーザの目に入る映像光の照度などであってもよい。
　外光コントラストC1及びC0は、例えば当業者により又はユーザにより適宜設定されてよい。例えば、外光コントラストは、注視点の明るさ：映像表示光輝度が１：１～１：５０、１：１～１：３０、１：１～１：２０、又は１：１～１：１０を満たすようなコントラストでありうる。例えば注視点の位置での外光照度（明るさ）に対して１０倍の明るさの映像表示光輝度が求められる場合、外光コントラストの値は１０でありうる。
　瞳孔の面積又は寸法A1及びA0は、本明細書内上記で述べたとおりの手法により取得されうる。
　出力制御部１０３は、上記式に従い決定された映像表示光輝度L1を達成するように、映像表示光出力を変更しうる。映像表示光輝度は、例えば上記「（３）第１の実施形態の第２の例（出力制御部による映像表示光の出力制御）」において述べたとおりの所定の関係を満たすように映像表示光出力を制御することで、達成されてよい。
　本技術に従う映像投影装置により照射される映像表示光は瞳孔によってその光量が減少されないので、外光が例えば１０倍明るくなった場合に、映像表示光を１０倍明るくする必要がなく、より低い倍率で明るくすればよい。そのため、外光照度が高い環境下において、低消費電力で高いコントラストを有する映像をユーザに提示することができる。
　また、本技術に従う映像投影装置を用いた場合、例えば外光照度が変化した場合、外光照度の変化率及び当該変化に伴う瞳孔面積の変化率を、変化前の輝度に乗ずることで、変化後の外光照度に適した輝度が設定され、当該輝度を達成するように映像表示光の出力が制御される。一方で、例えば非マクスウェル視の映像投影装置では、外光照度が変化した場合、変化前と同じコントラストを保とうとしたとき、外光照度の変化率と同じ変化率で映像表示光の輝度を変えなければならない。そのため、本技術に従う映像投影装置では、外光照度が高くなった場合に、輝度を上げる率がより低くなる。
　より具体的には、非マクスウェル視の映像投影装置では、外光照度Ｂは瞳孔径ｄに対して、Ｂ∝ｅｘｐ（－ｄ）又はＢ∝ｄ－１/２などであり、すなわちＢはｅｘｐ（－ｄ）又はｄ－１/２に比例する。非マクスウェル視の映像投影装置では、異なる外光照度の環境下で同一のコントラストを保つには、映像表示光もこれらの変化率に従う必要がある。例えばＢがｅｘｐ（－ｄ）に比例するとした場合、映像表示光も同様にｅｘｐ（－ｄ）に比例する。一方で、本技術に従う映像投影装置では、映像表示光の輝度は、外光照度に瞳孔面積を乗じたｅｘｐ（－ｄ）＊ｄ２に比例する。すなわち、瞳孔径が４ｍｍから２ｍｍに変化した場合、消費電力の増加は、非マクスウェル視の映像投影装置と比べて１／４である。
２．第２の実施形態（映像投影方法）
（１）第２の実施形態の説明
　本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とを含む映像投影方法を提供する。
　本技術に従う映像投影方法によって、適切な明るさを有し且つ鮮明である映像を外界の風景に重畳することができる。
（２）第２の実施形態の第１の例（映像投影方法）
　以下では、本技術に従う映像投影方法の例を、図５及び６を参照しながら説明する。図５は、上記「１．第１の実施形態（映像投影装置）」において説明したとおりである。図６は、本技術に従う映像投影方法のフローの一例を示す図である。本例における映像投影方法では、例えば外界の風景に重畳するのに適した明るさで映像表示光がマクスウェル視でユーザに提示される。
　ステップＳ１０１において、映像投影装置１００は、本技術に従う映像投影処理を開始する。
　ステップＳ１０２において、映像投影装置１００は瞳孔情報を取得する。当該瞳孔情報は、映像投影装置１００のうち、特には瞳孔情報取得部１０１により取得されうる。取得される瞳孔情報は、例えば瞳孔の面積、寸法、位置、及び形状などでありうる。
　例えば瞳孔情報取得部１０１がＩＲ（赤外線）光源とＩＲカメラとの組合せを含む場合、ステップＳ１０２において、瞳孔情報取得部１０１が赤外線を眼球表面に照射し、当該赤外線が照射された眼球表面を撮像する。撮像された画像から、瞳孔情報取得部１０１が瞳孔情報を取得する。
　ステップＳ１０３において、映像投影装置１００は、注視点情報を取得する。当該注視点情報は、映像投影装置１００のうち、特には注視点情報取得部１０２により取得されうる。取得される注視点情報として、例えばユーザの注視点の位置及び当該位置における明るさを挙げることができる。
　例えば注視点情報取得部１０２は、瞳孔情報取得部１０１により取得された瞳孔の位置に基づき注視点の位置を取得する。注視点の位置は、例えば両目の瞳孔の位置に基づき三角測量的に決定されてよく、又は、単眼の瞳孔の動きに基づき推定されてもよい。注視点の位置を決定又は推定するための方法として、当業者に既知の技法が用いられてよい。
　注視点情報取得部１０２は、前記取得された注視点の位置における明るさを取得する。例えば、注視点情報取得部１０２は、注視点情報取得部１０２に含まれる撮像素子によって撮像された画像中における、前記取得された注視点の位置に対応する画素又は画素ブロックを特定する。注視点情報取得部１０２は、当該特定された画素又は画素ブロックにおける画像データから、注視点における明るさに関するデータを取得する。
　ステップＳ１０４において、映像投影装置１００は、映像表示光の出力を制御する。当該映像表示光の出力の制御は、映像投影装置１００のうち、特には出力制御部１０３により行われうる。出力制御部１０３は、瞳孔情報取得部１０１により取得された瞳孔情報に基づき、映像表示光の出力を制御する。当該制御は、例えば上記「（３）第１の実施形態の第２の例（出力制御部による映像表示光の出力制御）」において述べたとおりに行われうる。
　ステップＳ１０５において、映像投影装置１００は、ステップＳ１０４において制御された出力で映像表示光を出力する。当該出力は、映像投影装置１００のうち、特には映像表示光照射部１０４により行われうる。映像表示光照射部１０４は、マクスウェル視によりユーザに映像を提示する。映像表示光として、レーザ光を挙げることができる。また、映像表示光は、ＬＥＤ又はＣＲＴにより照射される光であってもよい。
　ステップＳ１０６において、映像投影装置１００は、本技術に従う映像投影処理を終了する。
（３）第２の実施形態の第２の例（映像投影方法）
　以下では、本技術に従う映像投影方法の例を、図５及び７を参照しながら説明する。図５は、上記「１．第１の実施形態（映像投影装置）」において説明したとおりである。図７は、本技術に従う映像投影方法のフローの一例を示す図である。本例における映像投影方法では、例えば既に映像表示光がマクスウェル視によりユーザに対して照射されている状態において、当該映像表示光の出力の変更が行われる。
　ステップＳ２０１において、映像投影装置１００は、本技術に従う映像投影処理を開始する。
　ステップＳ２０２において、映像投影装置１００は瞳孔情報及び／又は注視点情報の監視を行う。例えば、映像投影装置１００から映像表示光がマクスウェル視でユーザに照射されている場合に、当該監視が行われうる。瞳孔情報の監視は、映像投影装置１００のうち、特には瞳孔情報取得部１０１及び／又は制御部１１０により行われうる。注視点情報の監視は、映像投影装置１００のうち、特には注視点情報取得部１０２及び／又は制御部１１０により行われうる。
　ステップＳ２０３において、映像投影装置１００は、瞳孔情報又は注視点情報に変化があるかどうかを判定する。当該変化の有無の判定は、映像投影装置１００のうち、特には出力制御部１０３により行われうる。瞳孔情報の変化の例として、例えば瞳孔の面積又は寸法の増加又は減少を挙げることができる。注視点情報の変化の例として、例えば注視点の位置の移動、注視点での外光照度（特には明るさ）の増加又は減少、及び注視点での外光照度に適した外光コントラストの変化を挙げることができる。
　映像投影装置１００は、瞳孔情報及び／又は注視点情報に変化が生じた場合に、処理をステップＳ２０４に進める。
　映像投影装置１００は、瞳孔情報及び／又は注視点情報に変化が生じない場合は、処理をＳ２０２に戻し、監視工程Ｓ２０２を継続する。
　ステップＳ２０３において、所定の条件を満たした場合、例えば瞳孔情報及び／又は注視点情報の変化が所定の閾値を超えた場合に、瞳孔情報又は注視点情報に変化が有ったと判断されてもよい。
　より具体的には、ステップＳ２０３において、出力制御部１０３は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば１．１倍以上、１．２倍以上、１．３倍以上、１．４倍以上、１．５倍以上、１．６倍以上、１．７倍以上、１．８倍以上、１．９倍以上、又は２．０倍以上になった場合に、瞳孔の面積又は寸法が増加したと判定し、処理をステップＳ２０４に進めうる。また、ステップＳ２０３において、出力制御部１０３は、瞳孔の面積又は寸法が、或る時点での面積又は寸法に対して例えば０．９倍以下、０．８倍以下、０．７倍以下、０．６倍以下、又は０．５倍以下になった場合に、瞳孔の面積又は寸法が減少したと判定し、処理をステップＳ２０４に進めうる。
　代替的には、ステップＳ２０３において、出力制御部１０３は、注視点の位置が、或る時点において注視されている物体から、他の物体へと移動した場合に、注視点の位置の変化が有ったとして、処理をステップＳ２０４に進めうる。注視点の位置の変化は、例えば注視点又は注視点付近での、画像情報の変化（例えば明るさの変化など）に基づき検出されうる。
　代替的には、ステップＳ２０３において、出力制御部１０３は、注視点における明るさ（例えば外光照度）が或る時点での明るさに対して例えば１．１倍以上、１．２倍以上、１．３倍以上、１．４倍以上、１．５倍以上、１．６倍以上、１．７倍以上、１．８倍以上、１．９倍以上、又は２．０倍以上になった場合に、注視点における明るさの増加が有ったと判定し、処理をステップＳ２０４に進めうる。また、ステップＳ２０３において、出力制御部１０３は、注視点における明るさ（例えば外光照度）が或る時点での明るさに対して例えば０．９倍以下、０．８倍以下倍以上、０．７倍以下、０．６倍以下、又は０．５倍以下になった場合に、注視点における明るさの減少が有ったと判定し、処理をステップＳ２０４に進めうる。
　代替的には、ステップＳ２０３において、出力制御部１０３は、ユーザに提示される映像と当該映像が重畳される光景との適切なコントラスト、特には外光コントラストが変化された場合に、注視点におけるコントラストの変化が有ったと判定し、処理をステップＳ２０４に進めうる。　
　ステップＳ２０４において、映像投影装置１００は、映像表示光の出力を制御する。当該映像表示光の出力の制御は、映像投影装置１００のうち、特には出力制御部１０３により行われうる。出力制御部１０３は、瞳孔情報取得部１０１により取得された瞳孔情報及び／又は注視点情報取得部１０２により取得された注視点情報に基づき、映像表示光の出力を変更する。当該制御は、例えば上記「（４）第１の実施形態の第３の例（出力制御部による映像表示光の出力変化）」において述べたとおりに行われうる。
　ステップＳ２０５において、映像投影装置１００は、ステップＳ２０４において制御された出力で映像表示光を出力する。当該出力は、映像投影装置１００のうち、特には映像表示光照射部１０４により行われうる。映像表示光照射部１０４は、マクスウェル視によりユーザに映像を提示する。映像表示光として、レーザ光を挙げることができる。また、映像表示光は、ＬＥＤ又はＣＲＴにより照射される光であってもよい。
　ステップＳ２０６において、映像投影装置１００は、本技術に従う映像投影処理を終了する。
３．第３の実施形態（映像表示光出力制御方法）
（１）第３の実施形態の説明
　本技術は、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、を含む映像表示光出力制御方法を提供する。
　本技術に従う映像表示光出力制御方法によって、マクスウェル視でユーザに提示される映像表示光を、適切な明るさに制御することができる。
（２）第３の実施形態の第１の例（映像表示光出力制御方法）
　以下では、本技術に従う映像表示光出力制御方法の例を、図５及び８を参照しながら説明する。図５は、上記「１．第１の実施形態（映像投影装置）」において説明したとおりである。図８は、本技術に従う映像表示光出力制御方法のフローの一例を示す図である。本例における映像表示光出力制御方法では、例えばマクスウェル視でユーザに提示される映像表示光の明るさが、外界の風景に重畳するのに適したものとされる。
　ステップＳ３０１～Ｓ３０５は、上記２．の「（２）第２の実施形態の第１の例（映像投影方法）」において説明したステップＳ１０１～Ｓ１０４及びＳ１０６と同じである。すなわち、本例における映像表示光出力制御方法は、上記２．の「（２）第２の実施形態の第１の例（映像投影方法）」において説明した映像投影方法のうちから、出力工程を除いた方法である。そのため、ステップＳ３０１～Ｓ３０５についての説明は省略する。
（３）第３の実施形態の第２の例（映像表示光出力制御方法）
　以下では、本技術に従う映像表示光出力制御方法の例を、図５及び９を参照しながら説明する。図５は、上記「１．第１の実施形態（映像投影装置）」において説明したとおりである。図９は、本技術に従う映像表示光出力制御方法のフローの一例を示す図である。本例における映像表示光出力制御方法では、例えば既に映像表示光がマクスウェル視によりユーザに対して照射されている状態において、当該映像表示光の出力の変更が行われる。
　ステップＳ４０１～Ｓ４０５は、上記２．の「（３）第２の実施形態の第２の例（映像投影方法）」において説明したステップＳ２０１～Ｓ２０４及びＳ２０６と同じである。すなわち、本例における映像表示光出力制御方法は、上記２．の「（３）第２の実施形態の第２の例（映像投影方法）」において説明した映像表示光出力制御方法のうちから、出力工程を除いた方法である。そのため、ステップＳ４０１～Ｓ４０５についての説明は省略する。
４．第４の実施形態（プログラム）
　本技術は、映像投影用プログラムも提供する。当該映像投影用プログラムは、本技術に従う映像投影方法をコンピュータに実行させるためのものである。例えば、本技術に従う映像投影用プログラムは、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程とをコンピュータに実行させるためのものであってよい。これらの工程は、上記「２．第２の実施形態（映像投影方法）」において説明されたとおりであるので、これらの工程についての説明は省略する。
　また、本技術は、映像表示光出力制御用プログラムも提供する。当該映像表示光出力制御用プログラムは、本技術に従う映像表示光出力制御方法をコンピュータに実行させるためのものである。例えば、本技術に従う映像表示光出力制御用プログラムは、瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程とをコンピュータに実行させるためのものであってよい。これらの工程は、上記「２．第２の実施形態（映像投影方法）」において説明されたとおりであるので、これらの工程についての説明は省略する。
５．装置の構成例
　以下で、図１０を参照しながら、本技術に従う映像投影装置の構成の一例を説明する。図１０は、本技術に従う映像投影装置の概略的な構成の一例を示す図である。
　図１０に示される映像投影装置１０００は、ＣＰＵ（中央演算処理装置）１００２及びＲＡＭ１００３を備えている。ＣＰＵ１００２及びＲＡＭ１００３は、バス１００５を介して相互に接続されており、また、映像投影装置１０００の他の構成要素ともバス１００５を介して接続されている。
　ＣＰＵ１００２は、映像投影装置１０００の制御及び演算を行う。ＣＰＵ１００２として、任意のプロセッサを用いることができ、その例としてＸｅｏｎ（登録商標）シリーズ、Ｃｏｒｅ（商標）シリーズ、又はＡｔｏｍ（商標）シリーズのプロセッサを挙げることができる。図５を参照して説明した映像投影装置１００の制御部１１０は例えばＣＰＵ１００２により実現されうる。
　ＲＡＭ１００３は、例えばキャッシュ・メモリ及びメイン・メモリを含み、ＣＰＵ１００２により使用されるプログラムなどを一時記憶しうる。
　映像投影装置１０００は、ディスク１００４、通信装置１００６、映像表示光出力装置１００７、及びドライブ１００８を備えていてもよい。これらの構成要素はいずれもバス１００５に接続されうる。
　ディスク１００４には、オペレーティング・システム（例えば、ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、又はＬＩＮＵＸ（登録商標）など）、本技術に従う映像投影処理用プログラム、映像表示光出力制御用プログラム、及び他の種々のプログラム、並びに各種データ（例えば映像データ）が格納されうる。
　通信装置１００６は、映像投影装置１０００をネットワーク１０１０に有線又は無線で接続する。通信装置１００６は、映像投影装置１０００を、ネットワーク１０１０を介して各種データ（例えば映像データなど）を取得することができる。取得したデータは、例えばディスク１００４に格納されうる。通信装置１００６の種類は当業者により適宜選択されてよい。
　映像表示光出力装置１００７は、本技術に従い制御された映像表示光を出力しうる。
　ドライブ１００８は、記録媒体に記録されている情報を読み出して、ＲＡＭ１００３に出力することができる。記録媒体は、例えば、ＳＤメモリカード又はフラッシュメモリであるが、これらに限定されない。
　本技術に従う映像投影装置のより具体的な例を図１１及び１２を参照しながら以下で説明する。図１１及び１２は、当該例を示す図である。
　図１１に示される本技術の映像投影装置は、アイウェアディスプレイ２０００である。アイウェアディスプレイ２０００において、瞳孔情報取得部は、ＩＲ光源２００２及びＩＲカメラ２００３の組み合わせを含む。ＩＲ光源２００２は例えば、図１２に示されるように、赤外光を眼球に向けて照射する。当該赤外光が照射された状態で、ＩＲカメラ２００３により眼球を撮像することによって、瞳孔情報が取得される。注視点情報取得部は、撮像素子２００４を含む。撮像素子２００４は、眼球が向いている方向を撮像できるように構成されている。出力制御部及び映像表示光照射部は、筐体２００１中の情報処理装置の一部として構成されていてよい。当該情報処理装置にはさらに、インタフェース、記憶部、制御部、及び映像制御部が含まれていてよい。
　映像表示光照射部によって、出力制御部による制御下で、映像表示光がハーフミラー２００５に照射される。ハーフミラーに照射された映像表示光が、瞳孔２００６上で集光し、そして、網膜２００７に到達する。このようにして、本技術に従う映像投影装置によって、映像がユーザに提示される。
　なお、本技術は、以下のような構成をとることもできる。
〔１〕瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
　を備えている映像投影装置。
〔２〕前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、〔１〕に記載の映像投影装置。
〔３〕前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、〔２〕に記載の映像投影装置。
〔４〕前記所定の関係が、
　以下の式、
Figure JPOXMLDOC01-appb-M000010
 　又は、
　以下の式
Figure JPOXMLDOC01-appb-M000011
 　で表される関係である、
　（ここで、Ｌは目的とする映像表示光輝度であり、Ｃは調整係数であり、λは波長であり、Ｐは各波長での映像表示光出力であり、Ｋは各波長での視感度であり、ωは表示の見込み角であり、且つ、Ａは瞳孔寸法又は瞳孔面積である）
　〔３〕に記載の映像投影装置。
〔５〕前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、〔１〕に記載の映像投影装置。
〔６〕前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、〔５〕に記載の映像投影装置。
〔７〕前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、
Figure JPOXMLDOC01-appb-M000012
 　
　（ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである）
　〔５〕又は〔６〕に記載の映像投影装置。
〔８〕前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、〔２〕～〔７〕のいずれか一つに記載の映像投影装置。
〔９〕前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、〔８〕に記載の映像投影装置。
〔１０〕前記瞳孔情報取得部が、赤外光カメラを含む、〔９〕に記載の映像投影装置。
〔１１〕注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、〔８〕に記載の映像投影装置。
〔１２〕前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、〔１〕～〔１１〕のいずれか一つに記載の映像投影装置。
〔１３〕前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、〔１２〕に記載の映像投影装置。
〔１４〕前記映像表示光照射部が、レーザ光を照明光源とする、〔１２〕に記載の映像投影装置。
〔１５〕ヘッドマウントディスプレイである、〔１〕～〔１４〕のいずれか一つに記載の映像投影装置。
〔１６〕アイウェアディスプレイである、〔１〕～〔１４〕のいずれか一つに記載の映像投影装置。
〔１７〕投影される映像が、外界の光景に重畳されているように表示される、〔１〕～〔１６〕のいずれか一つに記載の映像投影装置。
〔１８〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
　前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
　を含む映像投影方法。
〔１９〕瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
　を含む映像表示光出力制御方法。
１００　映像投影装置
１０１　瞳孔情報取得部
１０２　注視点情報取得部
１０３　出力制御部
１０４　映像表示光照射部
１１０　制御部
１１１　映像制御部
１１３　通信インタフェース
１１４　記憶部
 

Claims (19)

  1. 　瞳孔の面積又は寸法を取得する瞳孔情報取得部と、
    　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得部により取得された瞳孔の面積又は寸法に基づき制御する出力制御部と、
    　を備えている映像投影装置。
  2. 　前記出力制御部が、目的とする映像表示光輝度と前記瞳孔の面積又は寸法とに基づき、前記映像表示光の出力を決定する、請求項１に記載の映像投影装置。
  3. 　前記目的とする映像表示光輝度と、前記映像表示光の出力を前記瞳孔の面積又は寸法で除した値とが、所定の関係を満たすように、前記映像表示光の出力が決定される、請求項２に記載の映像投影装置。
  4. 　前記所定の関係が、
    　以下の式、
    Figure JPOXMLDOC01-appb-M000001
     　又は、
    　以下の式
    Figure JPOXMLDOC01-appb-M000002
     　で表される関係である、
    　（ここで、Ｌは目的とする映像表示光輝度であり、Ｃは調整係数であり、λは波長であり、Ｐは各波長での映像表示光出力であり、Ｋは各波長での視感度であり、ωは表示の見込み角であり、且つ、Ａは瞳孔寸法又は瞳孔面積である）
    　請求項３に記載の映像投影装置。
  5. 　前記出力制御部が、前記瞳孔の面積又は寸法の変化、外光照度の変化、及び外光コントラストの変化のうちの少なくとも一つの変化に応じて、前記映像表示光の出力を変化させる、請求項１に記載の映像投影装置。
  6. 　前記出力制御部が、前記瞳孔の面積又は寸法の変化に応じて前記映像表示光の出力を変化させるものであり、当該変化の前後の前記瞳孔の面積又は寸法に基づき前記映像表示光の出力を決定する、請求項５に記載の映像投影装置。
  7. 　前記出力制御部が、以下の式に基づき決定された映像表示光輝度を与えるように前記映像表示光の出力を制御する、
    Figure JPOXMLDOC01-appb-M000003
     　（ここで、L1、E1、A1、及びC1はそれぞれ、前記変化後の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストであり、L0、E0、A0、及びC0はそれぞれ、前記変化前の映像表示光輝度、外光照度、瞳孔の面積又は寸法、及び外光コントラストである）
    　請求項５に記載の映像投影装置。
  8. 　前記出力制御部が、前記目的とする映像表示光輝度を、注視点の明るさと当該明るさに対するコントラストとに基づき決定する、請求項２に記載の映像投影装置。
  9. 　前記瞳孔情報取得部が、前記瞳孔の位置情報を取得するものであり、且つ、前記瞳孔情報取得部が、当該位置情報に基づき、前記注視点を特定する、請求項８に記載の映像投影装置。
  10. 　前記瞳孔情報取得部が、赤外光カメラを含む、請求項９に記載の映像投影装置。
  11. 　注視点情報取得部をさらに備えており、当該注視点情報取得部が、前記注視点の明るさを取得する、請求項８に記載の映像投影装置。
  12. 　前記出力制御部により制御された出力で網膜に映像表示光を照射する映像表示光照射部をさらに備えている、請求項１に記載の映像投影装置。
  13. 　前記映像表示光照射部が、網膜投影方式又は網膜走査方式で映像表示光を照射する、請求項１２に記載の映像投影装置。
  14. 　前記映像表示光照射部が、レーザ光を照明光源とする、請求項１２に記載の映像投影装置。
  15. 　ヘッドマウントディスプレイである、請求項１に記載の映像投影装置。
  16. 　アイウェアディスプレイである、請求項１に記載の映像投影装置。
  17. 　投影される映像が、外界の光景に重畳されているように表示される、請求項１に記載の映像投影装置。
  18. 　瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
    　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
    　前記出力制御工程において制御された出力で、網膜に映像表示光を照射する映像表示光出力工程と
    　を含む映像投影方法。
  19. 　瞳孔の面積又は寸法を取得する瞳孔情報取得工程と、
    　瞳孔付近に集光されそして網膜に照射される映像表示光の出力を、前記瞳孔情報取得工程において取得された瞳孔の面積又は寸法に基づき制御する出力制御工程と、
    　を含む映像表示光出力制御方法。
PCT/JP2018/048035 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法 WO2019146367A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/963,895 US11227519B2 (en) 2018-01-29 2018-12-27 Image projection apparatus, image projection method, image display light output control method by acquiring pupil area or size
CN201880087454.3A CN111630847B (zh) 2018-01-29 2018-12-27 影像投影装置、影像投影方法、影像显示光输出控制方法
KR1020207020004A KR20200112832A (ko) 2018-01-29 2018-12-27 영상 투영 장치, 영상 투영 방법, 및 영상 표시 광 출력 제어 방법
JP2019567941A JP7338476B2 (ja) 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法
EP18902217.1A EP3748960A4 (en) 2018-01-29 2018-12-27 VIDEO PROJECTION DEVICE, VIDEO PROJECTION PROCESS AND VIDEO DISPLAY LIGHT OUTPUT CONTROL PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018012996 2018-01-29
JP2018-012996 2018-01-29

Publications (1)

Publication Number Publication Date
WO2019146367A1 true WO2019146367A1 (ja) 2019-08-01

Family

ID=67395883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048035 WO2019146367A1 (ja) 2018-01-29 2018-12-27 映像投影装置、映像投影方法、映像表示光出力制御方法

Country Status (6)

Country Link
US (1) US11227519B2 (ja)
EP (1) EP3748960A4 (ja)
JP (1) JP7338476B2 (ja)
KR (1) KR20200112832A (ja)
CN (1) CN111630847B (ja)
WO (1) WO2019146367A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781940B (zh) * 2021-08-30 2023-09-15 歌尔科技有限公司 头戴式显示设备及其显示亮度调节方法
FR3135792A1 (fr) * 2022-05-18 2023-11-24 Safran Electronics & Defense Dispositif d’affichage d’image à luminance adaptative en fonction d’une variable physiologique

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300451A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH1144862A (ja) * 1997-07-28 1999-02-16 Minolta Co Ltd 映像観察装置
JP2008089934A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 画像表示装置及び同装置による画像の輝度調整方法
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2016528533A (ja) * 2013-06-27 2016-09-15 コチ・ウニヴェルシテシＫｏｃ Ｕｎｉｖｅｒｓｉｔｅｓｉ 眼鏡型画像表示装置
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置
JP2017161759A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜投影型表示装置、画像表示方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP5237268B2 (ja) * 2007-11-21 2013-07-17 パナソニック株式会社 表示装置
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US9360672B2 (en) * 2013-07-11 2016-06-07 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
JP2016035513A (ja) * 2014-08-04 2016-03-17 富士通株式会社 表示装置および表示制御方法
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
TW201628307A (zh) 2015-01-21 2016-08-01 Luxul Technology Inc 限電管理系統
US10365490B2 (en) * 2015-05-19 2019-07-30 Maxell, Ltd. Head-mounted display, head-up display and picture displaying method
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10942565B2 (en) * 2018-12-17 2021-03-09 Intel Corporation Virtual reality adaptive display control

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300451A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH1144862A (ja) * 1997-07-28 1999-02-16 Minolta Co Ltd 映像観察装置
JP2008089934A (ja) * 2006-09-29 2008-04-17 Brother Ind Ltd 画像表示装置及び同装置による画像の輝度調整方法
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2016528533A (ja) * 2013-06-27 2016-09-15 コチ・ウニヴェルシテシＫｏｃ Ｕｎｉｖｅｒｓｉｔｅｓｉ 眼鏡型画像表示装置
JP2017097098A (ja) 2015-11-20 2017-06-01 株式会社リコー 透過型映像表示装置
JP2017161759A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜投影型表示装置、画像表示方法、及びプログラム

Also Published As

Publication number Publication date
EP3748960A1 (en) 2020-12-09
CN111630847A (zh) 2020-09-04
JP7338476B2 (ja) 2023-09-05
KR20200112832A (ko) 2020-10-05
CN111630847B (zh) 2023-04-18
US11227519B2 (en) 2022-01-18
US20210035478A1 (en) 2021-02-04
JPWO2019146367A1 (ja) 2021-02-04
EP3748960A4 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
US9711072B1 (en) Display apparatus and method of displaying using focus and context displays
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
EP3228072B1 (en) Virtual focus feedback
JP5828070B2 (ja) 撮像装置および撮像方法
CN103499886B (zh) 成像装置和方法
CN110199517B (zh) 在单个对准处具有自动剪辑的宽视野眼底相机
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
US20090059364A1 (en) Systems and methods for electronic and virtual ocular devices
WO2019146367A1 (ja) 映像投影装置、映像投影方法、映像表示光出力制御方法
EP3548956B1 (en) Imaging system and method of producing context and focus images
JP2000201289A (ja) 映像入出力装置及び映像取得方法
JP7099855B2 (ja) 視標呈示装置
WO2023053556A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7094268B2 (ja) 眼底撮影装置
JP3709921B2 (ja) 眼疾患者への映像付与方法及び映像付与装置
JP4997083B2 (ja) 眼底カメラ
JP3109818B2 (ja) 眼底カメラ
JP2023063023A (ja) 電子機器及び電子機器の制御方法
JP5755316B2 (ja) 眼科装置及びその制御方法
TW202405515A (zh) 光傳輸之自適應控制
CN117452642A (zh) 自动对焦方法、系统、头戴式设备和可读存储介质
JP2005107460A (ja) レンズフォーカスシステムおよび同方法
JP2020102825A (ja) 撮像装置、撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902217

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567941

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018902217

Country of ref document: EP

Effective date: 20200831