WO2018186046A1 - 映像生成装置及び映像生成方法 - Google Patents

映像生成装置及び映像生成方法 Download PDF

Info

Publication number
WO2018186046A1
WO2018186046A1 PCT/JP2018/006693 JP2018006693W WO2018186046A1 WO 2018186046 A1 WO2018186046 A1 WO 2018186046A1 JP 2018006693 W JP2018006693 W JP 2018006693W WO 2018186046 A1 WO2018186046 A1 WO 2018186046A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
scanning
light beam
image generation
light
Prior art date
Application number
PCT/JP2018/006693
Other languages
English (en)
French (fr)
Inventor
勝山　俊夫
祥治 山田
Original Assignee
国立大学法人福井大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人福井大学 filed Critical 国立大学法人福井大学
Priority to CN201880023356.3A priority Critical patent/CN110494793B/zh
Priority to JP2019511090A priority patent/JP7033329B2/ja
Publication of WO2018186046A1 publication Critical patent/WO2018186046A1/ja
Priority to US16/589,661 priority patent/US11307405B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/12—Scanning systems using multifaceted mirrors
    • G02B26/123—Multibeam scanners, e.g. using multiple light sources or beam splitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to an image generation apparatus and an image generation method, for example, a configuration for guiding a scanning light beam in a spectacle-type retinal scanning display to a pupil whose position changes.
  • the three-primary-color light beam projection device combining a semiconductor laser and an optical waveguide type multiplexer has the feature that the device can be reduced in size and power consumption, and is applied to a laser beam scanning color image projection device.
  • Patent Document 1 Patent Document 2, and Patent Document 3.
  • the image light beam emitted from the light source is projected onto the first surface region of the eye, projected onto the user's retina, and the test light beam emitted from the light source is projected. Projecting on the second surface area away from the first surface area of the user's eye, detecting the reflected light reflected by the user's eye with the inspection light beam, and at least one of the light source and the optical system based on the detected reflected light It has been proposed to control.
  • the emission of the image light beam is started based on the swing angle of the first mirror that vibrates in the main scanning direction, and thereafter It is proposed that the image light beam and the detection light beam are emitted from the light source at a predetermined timing (see, for example, Patent Document 5).
  • the emission start timing of the image light beam scanned first in the image range is determined. After the emission of the image light beam, which has started to be emitted at a timing determined based on the deflection angle of the first mirror, is finished, the image light beam in the return path of the first mirror and the image light beam in the forward path are repeated. Emitted. The repeated emission of the image light beam is performed based on the elapsed time from the start of the emission of the image light beam, which is started to be emitted with reference to the deflection angle of the first mirror.
  • the user's eyes are generally illuminated with an infrared LED, the user's eyes are photographed with a camera capable of photographing infrared rays, and the position of infrared reflected light on the cornea is detected.
  • the line of sight is detected based on the position of the pupil with respect to the position of corneal reflection with (corneal reflection) as a reference point.
  • Japanese Patent No. 5294283 Japanese Patent No. 5817022 International Publication No. 2015/170505 JP 2017-009986 A JP 2017-009992 A
  • Patent Document 4 the pupil position is detected at a predetermined timing while performing raster scanning, and the image generation light beam is irradiated at a predetermined timing accordingly, so that the light beam irradiation operation is complicated. There is a problem that the position detection accuracy is lowered. That is, in Patent Document 4, the image light beam emitted from one light source is projected onto the first surface region (pupil) of the user's eye, projected onto the user's retina, and the visible light emitted from the same light source. The inspection light beam is projected to a predetermined position in the second surface region (iris) away from the first surface region of the user's eye so as not to be projected onto the pupil.
  • Patent Document 5 there is a problem that the control of the emission timing of the image light and the detection light becomes complicated.
  • an imaging apparatus for imaging the user's eyes is essential, and there is a problem that the apparatus becomes large.
  • an object of the present invention is to more easily detect the pupil position.
  • the image generation device includes a light source, an optical scanning mirror that scans light from the light source, and a light beam scanned by the optical scanning mirror that scans at least the surface of the pupil and reflects it from the eyeball.
  • a measurement mechanism for measuring temporal changes in light intensity an extraction mechanism for extracting reflected light intensity from the pupil from the measured temporal changes in the reflected light intensity, reflected light intensity from the extracted pupil and the eyeball
  • a pupil position detection device having a mechanism for detecting the size and position of the pupil by synchronizing with the scanning time for scanning the surface, and projecting the image generation light beam while scanning the pupil at the detected position
  • the image generation method scans at least the surface of the pupil with a light beam, measures a temporal change in the reflected light intensity from the pupil, and determines the pupil from the measured temporal change in the reflected light intensity.
  • the position of the detected pupil is detected by extracting the reflected light intensity from the pupil and detecting the size and position of the pupil by synchronizing with the extracted reflected light intensity from the pupil and the scanning time for scanning the surface of the eyeball.
  • the image is formed on the retina of the eyeball by projecting the image generating light beam while scanning the pupil.
  • the pupil position can be detected more easily.
  • the image beam can be accurately irradiated onto the pupil position.
  • an image can be reliably projected onto the retina, and an accurate image can be obtained.
  • FIG. 1 is a conceptual configuration diagram of a video generation apparatus according to an embodiment of the present invention, which includes a pupil position detection mechanism and a video generation mechanism.
  • the pupil position detection mechanism reflects the light source 2, the optical scanning mirror 3 that scans the light from the light source 2, and the light beam 4 scanned by the optical scanning mirror 3 to the eyeball 7 including the pupil 8 and the iris 9.
  • the size and position of the pupil 8 by synchronizing with the extraction mechanism (not shown) for extracting the reflected light intensity from the pupil 8 from the eye, and the extracted reflected light intensity from the pupil 8 and the scanning time for scanning the surface of the eyeball 7 And a mechanism (not shown).
  • symbol 10 in a figure is a retina.
  • a wearable image generation apparatus By combining this pupil position detection mechanism with an image generation mechanism that projects an image generation light beam onto the pupil 8 at the detected position and forms an image on the retina 10 of the eyeball 7, a wearable image generation apparatus is obtained.
  • the light source, the optical scanning mirror, and the reflection member of the image generation light beam 13 of the image generation mechanism are configured to serve as the light source 2, the optical scanning mirror 3, and the reflection member 6 of the pupil position detection device.
  • the surface of the eyeball 7 including the pupil 8 and the iris 9 is scanned, but it may be a part of the pupil 8, and if the part of the pupil 8 can be scanned, the position and size of the pupil 8 are estimated. Is possible.
  • the optical engine 1 may be configured by integrating the light source 2 and the optical scanning mirror 3.
  • the reflection member 6 for example, a holographic reflection plate is used, and the holographic reflection plate is fixed to a support member 5 such as a spectacles temple or a spectacle lens.
  • the extraction mechanism and the mechanism for detecting the size and position of the pupil 8 are configured by a processing circuit provided inside a CPU or the like provided at the subsequent stage of the output from the measurement mechanism 11.
  • an optical path switching element such as a prism mirror, a total reflection / transmission element, or an electro-optical element is provided on the output side of the optical scanning mirror 3. May be. By providing the optical path switching element, the optical scanning mirror 3 with a wide scanning angle is not required, and the scanning angle range can be used effectively.
  • the position where the measurement mechanism 11 is disposed is not particularly limited as long as the reflected light can be obtained.
  • the measurement mechanism 11 may be mounted on the optical engine 1 itself. Further, the reflected light from the eyeball 7 may be detected as return light to the optical engine 1. In this case, the return light may be detected as a change in current and voltage due to the return light of the image generation light beam 13 of the three primary color lights, instead of mounting the new measurement mechanism 11. Further, a director may be provided between the measuring mechanism 11 and the measuring mechanism 11. For example, an optical system in which the detector is arranged after returning the reflected light to the optical engine 1 may be used.
  • the light beam 4 that scans the surface of the eyeball 7 may be directly applied to the holographic reflector.
  • the light beam 4 that scans the surface of the eyeball 7 propagates through the eyeglass rim or the eyeglass lens, and is provided on the surface opposite to the eyeball 8 of the eyeglass rim or eyeglass lens. It may be reflected by a plate.
  • the light source 2 one or more kinds of semiconductor laser chips of a blue semiconductor laser chip, a green semiconductor laser chip, a red semiconductor laser chip, a yellow semiconductor laser chip, an infrared semiconductor laser chip, and an ultraviolet semiconductor laser chip can be used.
  • An LED light emitting diode
  • infrared light is not perceived by human eyes, and therefore, it does not affect the image by the three primary color light beams, and thus is desirable as a light source for pupil position detection.
  • FIG. 2 is an explanatory diagram of a video generation method according to an embodiment of the present invention
  • FIG. 2 (a) is an explanatory diagram of a scanning state of a light beam
  • FIG. 2 (b) is an illustration of reflected light intensity and extraction. It is explanatory drawing of a signal and a pupil position detection signal.
  • FIG. 2 (a) the surface of the eyeball 7 including the pupil 8 and the iris 9 is scanned with the light beam 4, the time change of the reflected light intensity from the eyeball 7 is measured, and the time of the measured reflected light intensity is measured.
  • the reflected light intensity from the pupil 8 is extracted from the change, and the size and position of the pupil 8 are detected by synchronizing the extracted reflected light intensity from the pupil 8 and the scanning time for scanning the surface of the eyeball 7.
  • the pupil position detection scan and the image generation scan are performed separately in time, but the pupil position detection scan and the image generation scan are simultaneously performed by a series of scans. May be.
  • the optical system is adjusted so that the light beam 4 for pupil position detection for pupil tracking is irradiated while scanning across the pupil 8, the iris 9, and the surrounding white eye 12 portion. Yes.
  • the reflected light is detected by a measurement mechanism (11) such as a photodetector, and the amount of light is detected as an electrical signal.
  • a measurement mechanism (11) such as a photodetector, and the amount of light is detected as an electrical signal.
  • FIG. 2A for the sake of simplicity, the period from T1 to T7 is illustrated.
  • the upper diagram of FIG. 2B shows the time change of the electric signal obtained in this way
  • the horizontal axis is the time axis
  • T1, T2, T3, T4, T5, T6, and T7 are respectively This is the time corresponding to the turning point of the scanning shown in FIG.
  • the reflected light intensities P1, P2, and P3 are a signal from the white eye 12, a signal from the iris 9, and a signal from the pupil 8, respectively.
  • the middle diagram of FIG. 2B shows a signal obtained by extracting a time region in which a signal of P3 corresponding to reflection from the pupil 8 is obtained from these signals.
  • This extraction may be performed using a signal level selector circuit or the like that recognizes and extracts only the time region in which the signal intensity is the smallest.
  • the time period in which the signal of P3 is obtained is between t1 and t2, between t3 and t4, between t5 and t6, and between t7 and t8. It can be seen that the light beam 4 illuminates the pupil 8 only during these times.
  • a short signal is generated as a trigger tr at each time corresponding to each point of return of scanning, as indicated by tr in the lower diagram of FIG.
  • the time difference from the trigger is measured, and the position of the pupil 8 is determined by calculating backward from the time difference. Further, by comparing the interval between t1 and t2, the interval between t3 and t4, the interval between t5 and t6, and the interval between t7 and t8, the vertical position of the pupil 8 in the figure can be detected.
  • the light beam 4 for detecting the pupil position is irradiated while scanning across the pupil 8, the iris 9, and the surrounding white eye 12, but at least a part of the pupil 8 is scanned. This allows the position and size of the pupil 8 to be estimated.
  • the pupil 8 when used simply as a pupil position detection system, it can be used for a physically handicapped assistance system without using an imaging device or the like to detect the line of sight or to detect the line of sight when monitoring the driver's awareness and attention during driving. It can be easily detected. That is, in the embodiment of the present invention, contrary to the conventional common knowledge such as the above-mentioned Patent Document 4, the pupil 8, so that the visible light beam 4 for detecting the pupil position is also incident on the pupil 8.
  • the size and position of the pupil 8 are detected by the above-described pupil position detection method, and then the image generation light beam is projected while scanning the pupil 8 at the detected pupil position. Then, the image may be formed on the retina 10 of the eyeball 8.
  • the pupil position detection scan and the image generation scan are simultaneously performed by a series of scans, the pupil 8 that has detected the image generation light beam at the time of scanning at timings T4 and T6 after the pupil position is detected. Irradiate the position. Note that since the pupil position is not detected at time T2, the image generation light beam is not irradiated.
  • a plurality of beam spots for irradiating the eyeball 8 with the image generating light beam are set in advance and the scanning light beam 4 is irradiated.
  • the image generation light beam may be projected while scanning one of a plurality of beam spots detected as being in the vicinity of the center position.
  • the beam spot means the same point where the scanned light beam almost passes through each scan.
  • the image generation light beam 13 may be irradiated to each of the plurality of beam spots by changing the beam scanning angle from the optical scanning mirror 3 of the image generation mechanism.
  • the image generation light beam 13 may be irradiated to each of the plurality of beam spots by moving the optical scanning mirror of the image generation mechanism in the optical axis direction of the light beam from the light source.
  • a moving mechanism that can move in the optical axis direction of the light beam from the light source of the image generation mechanism may be provided in the optical scanning mirror of the image generation mechanism.
  • the position for irradiating the image generation light beam 13 to the eyeball 7 is continuously changed for image generation.
  • the light beam 13 may be irradiated and projected while scanning the image generation light beam 13 with the beam spot detected as being the center position of the pupil 8 being the center position.
  • the beam spot position where the irradiated image generation light beam 13 converges is inside the eyeball 7 through the pupil 8.
  • each beam spot may be scanned within a predetermined beam scanning angle range, and projected while scanning the image generation light beam within the predetermined beam scanning angle range.
  • the image beam can be accurately irradiated onto the pupil position, and as a result, an image can be reliably projected onto the retina and an accurate image can be obtained.
  • controlling the scanning optical system consumes the optical system shake by the mechanical control mechanism and the driving energy for controlling the optical system, but controls the irradiation timing of the light beam for image projection, so The fear can be reduced.
  • each beam spot is scanned within a predetermined beam scanning angle range and projected while scanning the image generating light beam within the predetermined beam scanning angle range. Also good.
  • the image generation light beam may be projected while scanning the beam spot within a range exceeding a predetermined beam scanning angle range.
  • FIG. 3 is a configuration diagram of a main part of the video generation apparatus according to the first embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • the optical engine 30 comprising a light source and a light scanning mirror is housed inside the temple 21 of the eyeglass 20 and a photodetector 51 is attached in the vicinity thereof.
  • a holographic reflector 70 is attached to a part of the spectacle lens 22.
  • the scanning light beam 52 emitted from the optical engine 30 is reflected by the holographic reflector 70 and scans the surface of the eyeball 60 including the pupil 61, and the reflected light 53 is reflected again by the holographic reflector 70. It is detected by the photodetector 51.
  • FIG. 4 is a schematic perspective view of an optical engine used in the image generating apparatus according to the first embodiment of the present invention.
  • a SiO 2 film 32 having a thickness of 15 ⁇ m is formed on a Si substrate 31 having a thickness of 500 ⁇ m by using a flame hydrolysis method.
  • N 1 refractive index of the core
  • n 2 refractive index of the cladding).
  • optical waveguide patterns 34 to 36 having a waveguide width of 2 ⁇ m are formed by an optical exposure method using a contact mask to form an optical multiplexer 33.
  • an SiO 2 film (not shown) having a thickness of 20 ⁇ m is formed as an upper clad layer on the optical waveguide patterns 34 to 36 as a cover layer covering the whole by the same flame hydrolysis method.
  • the depth of 30 ⁇ m is obtained by etching using a focused ion beam method using Ga at the bent portion. A deep trench is formed so that the guided light is totally reflected on the side wall of the trench.
  • a two-dimensional optical scanning mirror unit 38 having a double frame structure of a rotating outer frame and a non-rotating outer frame supported by a pair of hinges is formed.
  • the basis of this manufacturing process is that the temperature of all processes after magnetization is 200 ° C. or less so that the permanent magnet characteristics of the magnetic thin film constituting the two-dimensional optical scanning mirror unit 38 are not lost.
  • reference numeral 37 denotes an SiO 2 film.
  • the red semiconductor laser chip 39, the green semiconductor laser chip 40, and the blue semiconductor laser chip 41 are bonded onto the Si substrate 31 so that light enters the optical waveguide patterns 34 to 36, respectively.
  • the Si substrate 31 is etched to a predetermined depth so that the laser emitting ends of the red semiconductor laser chip 39, the green semiconductor laser chip 40, and the blue semiconductor laser chip 31 and the positions of the optical waveguide patterns 34 to 36 are aligned.
  • the solenoid coil 42 that drives the reflecting portion of the two-dimensional optical scanning mirror device 38 is disposed below the Si substrate 31 and fixed to the Si substrate 31 using an adhesive. At this time, the mirror surface of the reflecting portion is inclined by 45 ° with respect to the light beam substantially parallel to the main surface of the Si substrate 31 without applying an optical scanning signal to the solenoid coil 42.
  • FIG. 5 is an explanatory diagram of a method for forming a holographic reflector.
  • a transparent plastic film 72 is formed on a substrate 71 made of SiO 2 glass having a thickness of about 0.5 mm to 10 mm by a method such as coating.
  • the mold 73 is pressurized from above the formed plastic film 72, and the temperature of the plastic film 72 is raised near the softening temperature of the plastic. Since the pattern of the diffraction grating interval for reflecting the light beam at a set angle is formed on the mold 53, the diffraction grating 74 is transferred to the plastic film 72.
  • the plastic film 72 to which the diffraction grating 74 is transferred is peeled from the substrate 71 to form a holographic reflection plate 70, and this holographic reflection plate 70 is the inner surface of the eyeglass lens 22. Affix to the specified location.
  • the holographic reflector 70 may be attached to a rim not shown.
  • the plastic film 72 a polycarbonate resin having a softening temperature of 145 ° C. is used, the heating temperature is 140 ° C., and the amount of pressurization is 2.0 MPa.
  • spectacle glass it is also possible to use spectacle glass as a substrate, provide a transparent plastic film of the spectacle glass, and transfer the diffraction grating to the plastic film. In this case, a peeling process from the substrate is unnecessary.
  • FIG. 6 is an explanatory diagram of the irradiation state of the scanning light beam in the first embodiment of the present invention, and the scanning is performed two-dimensionally, but here it is drawn in a plane for simplicity.
  • the scanning light beam 52 emitted from the optical engine 30 is reflected by the holographic reflection plate 70 and scans the surface of the eyeball 60 including the pupil 61, and the reflected light is reflected again by the holographic reflection plate 70 so as to be spectacles.
  • the position of the pupil 61 is detected by a photodetector (51) attached to the vine.
  • the image is scanned by the three primary color light beams 54 emitted from the same optical engine 30 and is formed outside the reflector range for the scanning light beam 52 for detecting the pupil position of the spectacle glass 22 (not shown). ) To generate on the retina 64 of the eyeball 70 through the pupil 61.
  • the pupil tracking detection beam scan is performed at the same timing as the image generation beam scan with the scanning angle range enlarged.
  • the pupil tracking detection scanning light beam 52 that is actually used for detection can be a light beam scanning that is thinned out from all the three primary color light beams 54 for image generation, and is a program for position analysis. Execution time and power consumption can be reduced.
  • the beam scanning for pupil tracking detection is 1 Hz for both horizontal scanning and vertical scanning when the image scanning beam scanning is 30 kHz for horizontal (left-right) scanning and 60 Hz for vertical (vertical) scanning. It may be up to 100 Hz. Note that it is inherently undesirable for the visible light used for pupil tracking detection beam scanning to be incident on the pupil 61. Therefore, during the pupil tracking detection beam scanning, the output of the scanning light beam 52 is made as low as possible.
  • FIG. 7 is an explanatory diagram of a video generation method using the video generation device according to the first embodiment of the present invention
  • FIG. 7A is an explanatory diagram of a pupil position detection method
  • FIG. It is explanatory drawing which shows a method.
  • the light beam 53 is irradiated while scanning across the pupil 61, the iris 62, and the surrounding white eye 63.
  • the pupil size is about 2.5 mm ⁇ to 4 mm ⁇
  • the horizontal scanning width of the scanning light beam is about ⁇ 20 mm
  • the vertical scanning width is about ⁇ 12 mm.
  • the reflected light intensity detected by the photodetector 51 is the strongest in the reflected light P1 from the white eye 63, and then the reflected light P2 from the iris 62, and the pupil.
  • the reflected light P3 from 61 is the weakest.
  • the middle stage diagram of FIG. 7B is a time domain signal from which a P3 signal extracted using the signal level selector circuit can be obtained.
  • the time period in which the signal of P3 is obtained is between t1 and t2, between t3 and t4, between t5 and t6, and between t7 and t8. Only during these times, the scanning light beam 52 irradiates the pupil 61.
  • a short signal is generated as a trigger at each time corresponding to each point of the return of scanning.
  • the time difference from the trigger is measured, and the position of the pupil 61 is determined by calculating backward from the time difference. For example, in the beam scanning between T2 and T3, the pupil 61 starts from the position change amount corresponding to the time from T2 to t1, and the position change amount corresponding to the time from t1 to t2 becomes the width of the pupil 61.
  • the image generating light beam is irradiated to the detected position of the pupil 61.
  • the beam spot size for image generation is set to about ⁇ 4 mm ⁇ .
  • the scanning light beam is used for detecting the pupil position
  • the position of the pupil 61 can be accurately detected almost in real time with a simple mechanism and method.
  • FIG. 8 is a configuration diagram of the main part of the video generation apparatus according to the second embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • An optical engine 30 including a light source and an optical scanning mirror is housed inside the tip of the temple 21 of the eyeglass 20.
  • the photodetector 51 is attached to the end of the spectacle lens 22.
  • a holographic reflector 70 is attached to a part of the surface of the spectacle lens 22 opposite to the surface facing the eyeball 60.
  • the scanning light beam 52 emitted from the optical engine 30 propagates through the spectacle lens 22 while repeating total reflection, is reflected by the holographic reflector 70, and scans the surface of the eyeball 60 including the pupil 61.
  • the reflected light is reflected again by the holographic reflector 70, propagates in the spectacle lens 22 in the opposite direction, and is detected by the photodetector 51.
  • the video generation method is the same as that in the first embodiment.
  • FIG. 9 is a configuration diagram of the main part of the video generation apparatus according to the third embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • An optical engine 30 including a light source and an optical scanning mirror is housed inside the tip of the temple 21 of the eyeglass 20.
  • the photodetector 51 is attached to the end of the eyeglasses temple 21.
  • a holographic reflector 70 is attached to a part of the spectacle lens 22 and an optical engine 55 for detecting the pupil position is separately attached to the temple 21 of the spectacles 20. Since the optical engine 55 only detects the position of the pupil 61, a single light source optical engine 55, for example, an infrared semiconductor laser may be used as the light source.
  • FIG. 10 is an explanatory diagram of the irradiation state of the scanning light beam in Example 3 of the present invention.
  • the scanning light beam 52 emitted from the optical engine 55 scans the surface of the eyeball 60 including the pupil 61.
  • the reflected light is reflected by the holographic reflector 70 or the like and detected by the photodetector (51).
  • the video generation method is the same as that in the first embodiment.
  • FIG. 11 is a main part configuration diagram of a video generation apparatus according to Embodiment 4 of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • An optical engine 30 including a light source and an optical scanning mirror is housed inside the tip of the temple 21 of the eyeglass 20. Further, a holographic reflector 70 is attached to a part of the spectacle lens 22.
  • the scanning light beam 52 emitted from the optical engine 30 scans the surface of the eyeball 60 including the pupil 61.
  • the reflected light is reflected by the holographic reflector 70 or the like and enters the optical engine 30.
  • this change is detected by a current / voltage fluctuation detection circuit provided in the driver circuit of the optical engine 30.
  • the position of the beam spot that irradiates the image generation light beam is controlled not by the fluctuation of the reflected light intensity but by the current / voltage fluctuation.
  • FIG. 12 is an explanatory diagram of an image generation method using a multiple beam spot method according to the fifth embodiment of the present invention.
  • the position of the pupil 61 changes (when the pupil is moved), the spot size and position on the pupil of the image generation beam necessary for projecting a normal image on the retina without missing the image are shown. It is a thing.
  • a method for dealing with a change in the position of the pupil 61 a method of preparing a plurality of image generation beam spots is disclosed (for example, see Non-Patent Document 1).
  • the figure only one each is set on the left and right and top and bottom, but it is of course possible to set a plurality of sets on the left and right and top and bottom to cover a wider range.
  • the first method one image generation beam spot that is substantially contained in the pupil is selected, and the three primary color light beams are actually scanned with the position and size of the image generation beam spot to generate an image on the retina.
  • the three primary light beam is irradiated to the position of either only one of these settings video generated beam spot 66 1-66 5.
  • Which image generation beam spot position is irradiated with an actual beam and scanned is detected by detecting the position of the pupil 61.
  • an image is generated on the retina by actually scanning the three primary color light beams at the positions and sizes of all set image generation beam spots 66 1 to 66 5 .
  • the signals of the three primary color light beams that generate the respective image generation beam spots are mutually corrected so that the images are not shifted on the retina.
  • the pupil size is about 2.5 mm ⁇ to 4 mm ⁇
  • the pupil position change amount is about ⁇ 10 mm in the horizontal direction and about ⁇ 5 mm in the vertical direction
  • the beam spot size for image generation is about ⁇ 4 mm ⁇ .
  • the image generation beam spot position interval is about 2.5 mm to 4 mm in both the left and right vertical directions. In the figure, one is provided in the left and right and up and down directions, but about six in the left and right direction and three in the up and down direction may be used.
  • FIG. 13 is an explanatory diagram of an image generation method using the multiple beam spot method according to the sixth embodiment of the present invention.
  • the three primary color light beams 54 emitted from the optical engine 30 are scanned within a set beam scanning angle range, converged into a spot shape on the pupil 61 by the holographic reflector 70, and generate an image on the retina 64.
  • the three primary color light beam 54 emitted from the optical engine 30 (displayed by a line type corresponding to the moved pupil line type)
  • the retina 64 which is reflected by another region of the holographic reflector 70, guides the three primary color light beams 54 to spot positions that are respectively accommodated in the moved pupil 61, and is displayed with a line type corresponding to the line type of the moved pupil 61 Video is generated in the generated video range.
  • the scanning of the three primary color light beams 54 emitted from the optical engine 30 is performed as follows. (1) Perform only in the respective beam scanning angle ranges indicated by the solid line, the alternate long and short dash line, and the broken line shown in the figure. Or (2) Respective beam scanning angles indicated by the solid line, the alternate long and short dash line, and the broken line, including all the beam scanning angle ranges indicated by the solid line, the alternate long and short dashed line, and the broken line. A video signal is output only within the range. Or (3) It performs with a wide beam scanning angle including all the beam scanning angle ranges shown by the solid line, the alternate long and short dash line, and the broken line shown in the figure, and outputs a video signal over the entire wide beam scanning angle.
  • the signals output in the respective beam scanning angle ranges indicated by the solid line, the alternate long and short dash line, and the broken line are corrected so that the image is not shifted on the retina.
  • the methods (1) and (2) have the advantages that the time for outputting the video signal is small and the power for generating the video is low.
  • the scanning light beam for detecting the pupil position is a region other than the reflecting plate range for image generation beam scanning of the holographic reflecting plate, and the reflecting plate range for pupil position detecting beam scanning. As described above, the position and size of the pupil 61 are detected in advance by scanning the scanning light beam.
  • FIG. 14 is an explanatory diagram of an image generation method using a multiple beam spot method according to the seventh embodiment of the present invention.
  • the position of the pupil 61 changes (when the pupil is moved), the spot size and position on the pupil of the image generation beam necessary for projecting a normal image on the retina without missing the image are shown. It is a thing.
  • the three primary color light beams 54 emitted from the optical engine 80 are emitted from different set beam emission positions and scanned within a set beam scanning angle range. Next, the light is converged into a spot shape on the pupil 61 by the holographic reflector 70, and an image is generated on the retina 64.
  • the position of the pupil 61 is moved (change in the pupil position indicated by the broken line and the alternate long and short dash line from the solid line)
  • the three primary color light beams emitted from the optical engine 80 (displayed by the line type corresponding to the line type of the moved pupil) are displayed.
  • the scanning of the three primary color light beams 54 emitted from the optical engine 80 is performed as follows.
  • the methods (1) and (2) have the advantages that the time for outputting the video signal is small and the power for generating the video is low. As in FIG.
  • the scanning light beam for detecting the pupil position is a region other than the reflecting plate range for image generation beam scanning of the holographic reflecting plate, and the reflecting plate range for pupil position detecting beam scanning. As described above, the position and size of the pupil 61 are detected in advance by scanning the scanning light beam.
  • FIG. 15 is a schematic perspective view of an optical engine used in the image generating method based on the multiple beam spot method according to the seventh embodiment of the present invention.
  • the light source unit forms the SiO 2 film 32 on the Si substrate 31 as in FIG.
  • optical waveguide patterns 34 to 36 are formed by an optical exposure method using a contact mask to form an optical multiplexer 33.
  • a SiO 2 film (not shown) having a thickness of 20 ⁇ m is formed as an upper cladding layer on the optical waveguide patterns 34 to 36 as a cover layer covering the whole.
  • a two-dimensional optical scanning mirror having a double frame structure of a rotating outer frame and a non-rotating outer frame supported by a pair of hinges on a Si substrate 43 different from the Si substrate 31 as in the case of FIG. A portion 44 is formed.
  • the Si substrate 31 on which the light source unit is formed and the Si substrate 41 on which the two-dimensional optical scanning mirror unit 44 is formed are placed on a common substrate 81 provided with a moving guide 82, and placed under the two-dimensional optical scanning mirror unit 44.
  • a solenoid coil 42 is disposed.
  • the moving mechanism module 83 is connected to the Si substrate 41 on which the two-dimensional optical scanning mirror portion 44 is formed via the moving bar 84 so that it can slide on the common substrate 81 along the moving guide 82. To do.
  • the moving mechanism module 83 can move the two-dimensional optical scanning mirror unit 44 by extending or retracting the moving bar 84 back and forth. Thereby, the position of the three primary color light beams emitted from the optical engine 80 can be moved.
  • a nonmagnetic metal such as Al or Cu is used so as not to affect the operation of the two-dimensional optical scanning mirror unit 44 provided with the magnetic thin film.
  • a moving mechanism module 83 an electromagnetically driven actuator using a cylindrical microcoil is used.
  • FIG. 16 is an explanatory diagram of an image generation method using the beam spot continuous movement method according to the eighth embodiment of the present invention.
  • the position of the pupil 61 changes when the pupil is moved, the spot size and position on the pupil of the image generation beam necessary for projecting a normal image on the retina without missing the image are shown. It is a thing.
  • the three primary color light beams 54 emitted from the optical engine 30 are scanned within a set beam scanning angle range and guided into the pupil 61 by the holographic reflector 70 to generate an image on the retina 64.
  • the position of the pupil 61 is moved (change in the pupil position shown by the broken line and the alternate long and short dash line from the solid line)
  • the three primary color light beams 54 emitted from the optical engine 30 (displayed by a line type corresponding to the line type of the moved pupil) Is reflected by another area of the holographic reflector 70, and the three primary color light beams are guided into the moved pupils, and the generated image range on the retina 61 is displayed with the line types corresponding to the line types of the moved pupil 61.
  • Generate video When the position of the pupil 61 is moved (change in the pupil position shown by the broken line and the alternate long and short dash line from the solid line), the three primary color light beams 54 emitted from the optical engine 30 (displayed by a line type corresponding to the
  • the spot where the scanned three primary color light beam 54 converges is set not inside the pupil 61 but inside the eyeball 60. Further, this position is set so that all of the three primary color light beams 54 emitted from the optical engine 30 converge to the spot position. In this way, even when the scanning ranges of the three primary color light beams 54 displayed with line types corresponding to the line type of the pupil 61 that has moved overlap, an image can be correctly generated on the retina 64. .
  • the scanning of the three primary color light beams 54 emitted from the optical engine 30 is performed as follows. (1) Perform only in the respective beam scanning angle ranges indicated by the solid line, the alternate long and short dash line, and the broken line shown in the figure. Or (2) Respective beam scanning angles indicated by the solid line, the alternate long and short dash line, and the broken line, including all the beam scanning angle ranges indicated by the solid line, the alternate long and short dashed line, and the broken line. A video signal is output only within the range. Or (3) It performs with a wide beam scanning angle including all the beam scanning angle ranges shown by the solid line, the alternate long and short dash line, and the broken line shown in the figure, and outputs a video signal over the entire wide beam scanning angle.
  • the signals output in the respective beam scanning angle ranges indicated by the solid line, the alternate long and short dash line, and the broken line are corrected so that the image is not shifted on the retina.
  • the methods (1) and (2) have the advantages that the time for outputting the video signal is small and the power for generating the video is low.
  • the scanning light beam for detecting the pupil position is a region other than the reflecting plate range for image generation beam scanning of the holographic reflecting plate, and the reflecting plate range for pupil position detecting beam scanning. As described above, the position and size of the pupil 61 are detected in advance by scanning the scanning light beam.
  • FIG. 17 is a main part configuration diagram of the pupil position detecting apparatus according to the ninth embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • An optical engine 90 composed of a light source and a light scanning mirror is housed in the temple 21 of the eyeglass 20, and a photodetector 51 is attached in the vicinity thereof.
  • a holographic reflector 70 is attached to a part of the spectacle lens 22.
  • the scanning light beam 52 emitted from the optical engine 90 is reflected by the holographic reflector 70, scans the surface of the eyeball 60 including the pupil 61, and the reflected light is reflected again by the holographic reflector 70 to obtain light. It is detected by the detector 51.
  • the basic structure of the optical engine 90 is basically the same as that of the optical engine 30 shown in FIG. 4, but since the light source may be only a pupil tracking light source, a single semiconductor laser or a collimated LED may be used. Infrared semiconductor laser is used.
  • the optical waveguide pattern may be only one linear optical waveguide pattern, but the optical waveguide pattern is not essential.
  • the two-dimensional optical scanning mirror may be directly irradiated with the scanning light beam from the semiconductor laser. .
  • FIG. 18 is an explanatory diagram of the irradiation state of the scanning light beam in Example 9 of the present invention, and scanning is performed two-dimensionally, but here it is drawn in a plane for simplicity.
  • the scanning light beam 52 emitted from the optical engine 90 is reflected by the holographic reflection plate 70 and scans the surface of the eyeball 60 including the pupil 61, and the reflected light is reflected again by the holographic reflection plate 70 so as to be spectacles.
  • the position of the pupil 61 is detected by a photodetector (51) attached to the vine.
  • FIG. 19 is an explanatory diagram of a pupil position detection method using the pupil position detection device according to the ninth embodiment of the present invention.
  • FIG. 19A is an explanatory diagram of a scanning state of a light beam
  • FIG. These are explanatory drawings of reflected light intensity and an extracted signal.
  • the light beam 53 is irradiated while scanning across the pupil 61, the iris 62, and the surrounding white eye 63.
  • the pupil size is about 2.5 mm ⁇ to 4 mm ⁇
  • the horizontal scanning width of the scanning light beam is about ⁇ 20 mm
  • the vertical scanning width is about ⁇ 12 mm.
  • the reflected light intensity detected by the photodetector 51 is the strongest in the reflected light P1 from the white eye 63, and then the reflected light P2 from the iris 62 is strong.
  • the reflected light P3 from 61 is the weakest.
  • the lower part of FIG. 19B is a time-domain signal from which a P3 signal extracted using the signal level selector circuit can be obtained.
  • the time period in which the signal of P3 is obtained is between t1 and t2, between t3 and t4, between t5 and t6, and between t7 and t8. Only during these times, the scanning light beam 52 irradiates the pupil 61.
  • a short signal is generated as a trigger at each time corresponding to each point of the return of scanning
  • the time difference from the trigger is measured, and the position of the pupil 61 is determined by calculating backward from the time difference. For example, in the beam scanning between T2 and T3, the pupil 61 starts from the position change amount corresponding to the time from T2 to t1, and the position change amount corresponding to the time from t1 to t2 becomes the width of the pupil 61. Further, by comparing the interval between t1 and t2, the interval between t3 and t4, the interval between t5 and t6, and the interval between t7 and t8, the vertical position of the pupil 8 in the figure can be detected.
  • the scanning light beam may propagate through the spectacle lens.
  • FIG. 20 is a main part configuration diagram of the pupil position detecting apparatus according to the tenth embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • the optical engine 90 and the photodetector 51 are attached to the end of the spectacles temple 21. Further, a holographic reflector 70 is attached to a part of the spectacle lens 22. Since the optical engine 90 only detects the position of the pupil 61, a single light source optical engine 90, for example, an infrared semiconductor laser may be used as the light source.
  • the scanning light beam 52 emitted from the optical engine 90 scans the surface of the eyeball 60 including the pupil 61.
  • the reflected light 53 is reflected by the holographic reflector 70 or the like and detected by the photodetector 51.
  • FIG. 21 is a main part configuration diagram of the pupil position detecting apparatus according to the eleventh embodiment of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • the optical engine 90 is attached to the end of the temple 21 of the glasses. Further, a holographic reflector 70 is attached to a part of the spectacle lens 22. Since the optical engine 90 only detects the position of the pupil 61, a single light source optical engine 90, for example, an infrared semiconductor laser may be used as the light source.
  • Example 11 the scanning light beam 52 emitted from the optical engine 90 scans the surface of the eyeball 60 including the pupil 61.
  • the reflected light 53 is reflected by the holographic reflector 70 or the like and enters the optical engine 90.
  • this change is detected by a current / voltage fluctuation detection circuit provided in the driver circuit of the optical engine 90.
  • the optical engine 90 may be stored in the eyeglass temple 21.
  • FIG. 22 is a block diagram showing the principal parts of a video generation apparatus according to Embodiment 12 of the present invention.
  • the spectacles 20 are constituted by a temple 21, a spectacle lens 22 and a bridge 23, and the spectacle lens 22 may have an outer peripheral portion held by a rim (not shown).
  • the optical engine 30 comprising a light source and a light scanning mirror is housed inside the temple 21 of the eyeglass 20 and a photodetector 51 is attached in the vicinity thereof.
  • a holographic reflector 70 is attached to a part of the spectacle lens 22.
  • the embodiment 12 is the same as the embodiment 1 except that the optical path switching element 55 is provided at the output portion of the scanning light beam 52 from the optical engine 30 of the temple 21.
  • a prism mirror is used as the optical path switching element 55, but a total reflection / transmission element or an electro-optical element may be used instead of the prism mirror.
  • the optical path of the scanning light beam 52 emitted from the optical engine 30 is switched by the optical path switching element 55 between the pupil position detection scan and the image generation scan. That is, in the pupil position detection scanning, the optical path switching element 55 is scanned in the OFF state, and in the image generation scanning after detecting the pupil position, the optical path switching element 55 is turned on to switch the optical path.
  • the optical path switching element 55 since the optical path switching element 55 is provided, it is not necessary to use an optical scanning mirror with a wide scanning angle for the optical engine 30, and the scanning angle range can be used effectively.
  • the video generation apparatus according to the thirteenth embodiment of the present invention will be described. Since the apparatus configuration is the same as that of the first embodiment, the video generation using the video generation apparatus is performed. Only the method will be described. In the thirteenth embodiment of the present invention, the pupil position detection scan and the image generation scan are performed at the same timing in a series of scans.
  • FIG. 23 is an explanatory diagram of the irradiation state of the scanning light beam in the thirteenth embodiment of the present invention, which is the same as the irradiation state of the optical scanning beam in the first embodiment shown in FIG.
  • the scanning light beam 52 emitted from the optical engine 30 is reflected by the holographic reflection plate 70 and scans the surface of the eyeball 60 including the pupil 61, and the reflected light is reflected again by the holographic reflection plate 70 so as to be spectacles.
  • the position of the pupil 61 is detected by a photodetector (51) attached to the vine.
  • the image is scanned by the three primary color light beams 54 emitted from the same optical engine 30 and is formed outside the reflector range for the scanning light beam 52 for detecting the pupil position of the spectacle glass 22 (not shown). ) To generate on the retina 64 of the eyeball 70 through the pupil 61.
  • the pupil tracking detection beam scan is performed at the same timing as the image generation beam scan with the scanning angle range enlarged.
  • the pupil tracking detection scanning light beam 52 that is actually used for detection can be a light beam scanning that is thinned out from all the three primary color light beams 54 for image generation, and is a program for position analysis. Execution time and power consumption can be reduced.
  • the beam scanning for pupil tracking detection is 1 Hz for both horizontal scanning and vertical scanning when the image scanning beam scanning is 30 kHz for horizontal (left-right) scanning and 60 Hz for vertical (vertical) scanning. It may be up to 100 Hz. Note that it is inherently undesirable for the visible light used for pupil tracking detection beam scanning to be incident on the pupil 61. Therefore, during the pupil tracking detection beam scanning, the output of the scanning light beam 52 is made as low as possible.
  • FIG. 24A and 24B are explanatory diagrams of a video generation method using the video generation apparatus according to the thirteenth embodiment of the present invention.
  • FIG. 24A is an explanatory diagram of a pupil position detection method
  • FIG. It is explanatory drawing which shows a method.
  • the light beam 53 is irradiated while scanning across the pupil 61, the iris 62, and the surrounding white eye 63.
  • the pupil size is about 2.5 mm ⁇ to 4 mm ⁇
  • the horizontal scanning width of the scanning light beam is about ⁇ 20 mm
  • the vertical scanning width is about ⁇ 12 mm.
  • the reflected light intensity detected by the photodetector 51 is the strongest in the reflected light P1 from the white eye 63, and then the reflected light P2 from the iris 62 is strong.
  • the reflected light P3 from 61 is the weakest.
  • the middle diagram of FIG. 24B is a time-domain signal from which a P3 signal extracted using a signal level selector circuit can be obtained.
  • the time period in which the signal of P3 is obtained is between t1 and t2, between t3 and t4, between t5 and t6, and between t7 and t8. Only during these times, the scanning light beam 52 irradiates the pupil 61.
  • a short signal is generated as a trigger at each time corresponding to each point of the return of scanning.
  • the time difference from the trigger is measured, and the position of the pupil 61 is determined by calculating backward from the time difference. For example, in the beam scanning between T2 and T3, the pupil 61 starts from the position change amount corresponding to the time from T2 to t1, and the position change amount corresponding to the time from t1 to t2 becomes the width of the pupil 61.
  • the pupil 61 that has detected the image generation light beam is scanned. Irradiate the position. Note that since the pupil position is not detected at time T2, the image generation light beam is not irradiated.
  • the beam spot size for image generation is set to about ⁇ 4 mm ⁇ .
  • the scanning light beam is used for detecting the pupil position, the position of the pupil 61 can be detected almost in real time with a simple mechanism and method. Further, since the three primary color light beams 54 for image generation are scanned between the pupil position windows, it is possible to reduce consumption of driving energy for optical system shake and optical system control.
  • FIG. 25 is an explanatory diagram of an image generation method using a multiple beam spot method according to Embodiment 14 of the present invention.
  • the position of the pupil 61 changes (when the pupil is moved)
  • the spot size and position on the pupil of the image generation beam necessary for projecting a normal image on the retina without missing the image are shown. It is a thing.
  • an example in which beam spots are irradiated at three positions is shown, but the number of beam spots is arbitrary.
  • the holographic reflector 70 is divided into three regions 70 1 , 70 2 , and 70 3 , and the diffraction in each region is performed so that the reflected light is irradiated to a preset position of the pupil 61. Set the grid pitch individually.
  • Three primary light beam 54 emitted from the optical engine 80 is set region, for example, is scanned by a beam scanning angle range corresponding to the region 70 1. Next, the light is converged into a spot shape on the pupil 61 by the holographic reflector 70, and an image is generated on the retina 64.
  • the position of the pupil 61 is moved (change in the pupil position indicated by the broken line and the alternate long and short dash line from the solid line)
  • the three primary color light beams emitted from the optical engine 80 (displayed by the line type corresponding to the line type of the moved pupil) are displayed.
  • the three primary color light beams 54 are guided to the spot positions that are reflected by the different regions 70 2 , 703 of the holographic reflector 70 and are respectively accommodated in the moved pupil 61, and are displayed in line types corresponding to the line types of the moved pupil 61.
  • An image is generated in the generated image range on the retina 64.
  • the scanning of the three primary color light beams 54 emitted from the optical engine 80 is performed as follows.
  • the scanning light beam for detecting the pupil position is a region other than the reflecting plate range for image generation beam scanning of the holographic reflecting plate, and the reflecting plate range for pupil position detecting beam scanning. As described above, the position and size of the pupil 61 are detected in advance by scanning the scanning light beam.
  • FIG. 26 is an explanatory diagram of an image generation method using the multiple beam spot method according to the fifteenth embodiment of the present invention.
  • the position of the pupil 61 changes (when the pupil is moved)
  • the spot size and position on the pupil of the image generation beam necessary for projecting a normal image on the retina without missing the image are shown.
  • the beam spot is irradiated at three positions, but the number of beam spots is arbitrary.
  • the optical engine used in the image generation method based on the multiple beam spot method according to the fifteenth embodiment of the present invention is the same as that in the seventh embodiment, and moves by the moving mechanism module (83) in three stages. .
  • the holographic reflector 70 is divided into three regions 70 1 , 70 2 , and 70 3 , and the diffraction in each region is performed so that the reflected light is irradiated to the preset position of the pupil 61. Set the grid pitch individually.
  • Three primary light beam 54 emitted from the optical engine 80 is emitted from the set three positions of the beam emitting position, set region, for example, is scanned by a beam scanning angle range corresponding to the region 70 1.
  • the light is converged into a spot shape on the pupil 61 by the holographic reflector 70, and an image is generated on the retina 64.
  • the position of the pupil 61 is moved (change in the pupil position indicated by the broken line and the alternate long and short dash line from the solid line)
  • the three primary color light beams emitted from the optical engine 80 (displayed by the line type corresponding to the line type of the moved pupil) are displayed.
  • the three primary color light beams 54 are guided to the spot positions that are reflected by the different regions 70 2 , 703 of the holographic reflector 70 and are respectively accommodated in the moved pupil 61, and are displayed in line types corresponding to the line types of the moved pupil 61.
  • An image is generated in the generated image range on the retina 64.
  • the scanning of the three primary color light beams 54 emitted from the optical engine 80 is performed as follows.
  • the scanning light beam for detecting the pupil position is a region other than the reflecting plate range for image generation beam scanning of the holographic reflecting plate, and the reflecting plate range for pupil position detecting beam scanning. As described above, the position and size of the pupil 61 are detected in advance by scanning the scanning light beam.
  • a pupil position detection mechanism having a mechanism for detecting the size and position of the pupil by synchronizing, and projecting the image generation light beam onto the pupil at the detected position while scanning the image on the retina of the eyeball
  • a video generation device comprising a video generation mechanism to be formed.
  • the optical path switching element which switches an optical path by the time of a pupil position detection scanning and the scanning of the said image production
  • the image generating device which is reflected by the holographic reflector.
  • the optical scanning mirror of the said image generation mechanism is provided with the moving mechanism which can move to the optical axis direction of the light beam from the light source of the said image generation mechanism.
  • Video generation device (Additional remark 11)
  • the said light source contains one or more types of semiconductor laser chips in a blue semiconductor laser chip, a green semiconductor laser chip, a red semiconductor laser chip, a yellow semiconductor laser chip, an infrared semiconductor laser chip, and an ultraviolet semiconductor laser chip 1.
  • the video generation device according to claim 1.
  • At least the surface of the pupil is scanned with a light beam, the temporal change in the reflected light intensity from the pupil is measured, and the reflected light intensity from the pupil is extracted from the measured temporal change in the reflected light intensity.
  • Detecting the size and position of the pupil by synchronizing the reflected light intensity from the extracted pupil and the scanning time for scanning the surface of the eyeball, and then generating an image for the pupil at the detected pupil position
  • An image generation method for forming an image on the retina of the eyeball by projecting while scanning with a light beam. (Supplementary note 13) The image generation method according to supplementary note 12, wherein the step of detecting the size and position of the pupil and the step of scanning the image generation light beam are separated in time.
  • a plurality of beam spots for irradiating the image generation light beam to the eyeball are set in advance, and the light beam for scanning is irradiated.
  • the image generation method according to claim 16 wherein the image generation light beam is projected while being scanned to one of the plurality of beam spots detected to be near the center position of the pupil.
  • the projection is performed while scanning the image generation light beam with respect to each of the plurality of beam spots by changing the scanning angle of the light beam from an optical scanning mirror that scans the image generation light beam.
  • the image generation light beam is projected while being scanned while moving an optical scanning mirror that scans the image generation light beam in the optical axis direction of the light beam from the light source.
  • the video generation method according to appendix 17.
  • the image generating method according to supplementary note 12 wherein the image spot is projected while being scanned while continuously changing the position where the light beam for image generation is irradiated with the beam spot detected as being the center position of the pupil. .
  • Supplementary note 17 A scanning operation is performed on each beam spot within a predetermined beam scanning angle range, and the image generation light beam is projected while scanning within the predetermined beam scanning angle range.
  • the video generation method according to any one of Appendix 21.
  • Supplementary Note 23 While performing scanning operation on each beam spot in a range exceeding a predetermined beam scanning angle range, scanning the image generation light beam within the predetermined beam scanning angle range.
  • the video generation method according to any one of Supplementary Note 17 to Supplementary Note 21, wherein projection is performed.
  • a measuring mechanism that extracts the reflected light intensity from the pupil from the time variation of the measured reflected light intensity, and a scanning time for scanning the reflected light intensity from the extracted pupil and the surface of the eyeball.
  • a pupil position detection device comprising a mechanism for detecting the size and position of the pupil by synchronizing.
  • Additional remark 26 The pupil position detection apparatus of Additional remark 25 which further has a reflection member which reflects the light beam scanned with the said optical scanning mirror at least with respect to the said pupil.
  • the pupil position detection device according to supplementary note 25 or supplementary note 26, wherein the light beam scanned by the optical scanning mirror scans the surface of the eyeball including the pupil and the iris.
  • At least the surface of the pupil is scanned with a light beam, the temporal change in the reflected light intensity from the pupil is measured, and the reflected light intensity from the pupil is extracted from the measured temporal change in the reflected light intensity.
  • a pupil position detection method for detecting the size and position of the pupil by synchronizing with the extracted reflected light intensity from the pupil and the scanning time for scanning the surface of the eyeball (Supplementary note 29) The pupil position detection method according to supplementary note 28, wherein when scanning at least the surface of the pupil with a light beam, the light beam scanned by the light scanning mirror using a reflecting member is reflected at least with respect to the pupil. . (Supplementary note 30) The pupil position detection method according to supplementary note 28, wherein the light beam scanned by the optical scanning mirror scans the surface of the eyeball including the pupil and the iris.

Abstract

より簡便に瞳孔位置を検出して映像生成する際に、瞳孔位置に対応したビームスポット位置に映像用ビームを照射することを可能にする。光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームを少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを設ける。

Description

映像生成装置及び映像生成方法
　本発明は、映像生成装置及び映像生成方法に関し、例えば、眼鏡型網膜走査ディスプレイにおける走査光ビームを位置変化する瞳孔へ導くための構成に関する。
　従来、レーザビーム等の光ビームを走査投影する装置として、様々な形の光ビーム投影装置が知られている。その中で、半導体レーザと光導波路型合波器を組み合わせた３原色光ビーム投影装置は、装置を小型化、低電力化できる特長があり、レーザビーム走査型カラー画像投影装置へ応用されている（例えば、特許文献１、特許文献２及び特許文献３参照）。
　この時、レーザビームを走査する場合に、瞳孔の位置が問題になるため、瞳孔追従方法が提案されている（例えば、特許文献４参照）。この提案においては、画像投影装置を小型化するために、光源から出射された画像用光線を眼の第１表面領域に投射してユーザの網膜に投射し、光源から出射された検査用光線をユーザの眼の第１表面領域から離れた第２表面領域に投射し、検査用光線がユーザの眼で反射した反射光を検出し、検出した反射光に基づき、光源及び光学系の少なくとも一方を制御することが提案されている。
　また、引用文献４の構成において、画像品質の劣化と装置の大型化とを抑制するために、主走査方向に振動する第１ミラーの振れ角に基づいて画像用光線の出射を開始し、その後の画像用光線と検出用光線を予め定められた一定のタイミングで光源から出射することが提案されている（例えば、特許文献５参照）。
　即ち、第１ミラーの主走査方向の振れ角を基準にして、画像範囲で最初に走査される画像用光線の出射開始タイミングが決定される。 第１ミラーの振れ角を基準に決定されたタイミングで出射が開始された画像用光線の出射が終了した後、第１ミラーの往復振動の復路における画像用光線と往路における画像用光線とが繰り返し出射される。これら画像用光線の繰り返しの出射は、第１ミラーの振れ角を基準にして出射が開始された画像用光線の出射開始からの経過時間に基づいて行われる。
　一方、精神活動は正常でも、筋萎縮性側索硬化症等のような,全身筋肉を自由に動かすことができない人にも,眼球運動は正常に行うことができる人が多いため、そのような人たちとのコミュニケーションを円滑に行うための身障者介助システムに利用するため視線を検出することにより注視しているところを検出する研究がおこなわれている。
　また、運転中のドライバの意識や注意をモニタリングするために、ドライバの顔画像を撮像することが提案されている。
　このような、従来の瞳孔位置検出においては、一般的には赤外線ＬＥＤでユーザの顔を照らして、赤外線を撮影することができるカメラでユーザの目を写し、赤外線の反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出することが行われている。
特許第５２９４２８３号公報 特許第５８１７０２２号公報 国際公開第２０１５／１７０５０５号 特開２０１７－００９９８６号公報 特開２０１７－００９９９２号公報
映像情報メディア学会誌，Ｖｏｌ. ６５, Ｎｏ. ６, ｐｐ. ７５８－７６３ （２０１１）
　しかし、特許文献４の場合には、ラスタースキャンしながら所定のタイミングで瞳孔位置を検出し、それに応じて所定のタイミングで映像生成用光ビームを照射しているので、光ビームの照射操作が複雑になるとともに位置検出精度が低くなるという問題がある。即ち、特許文献４においては、１つの光源から出射された画像用光線をユーザの眼の第１表面領域（瞳孔）に投射してユーザの網膜に投射し、同じ光源から出射された可視光の検査用光線が瞳孔に投射されないようにユーザの眼の第１表面領域から離れた第２表面領域（虹彩）の所定の位置に投射している。
　また、特許文献５の場合には、画像用光線と検出用光線の出射タイミングの制御が複雑になるという問題がある。
　また、従来の瞳孔位置検出方法においては、ユーザの目を撮像するための撮像装置を必須としており、装置が大型化するという問題がある。
　したがって、本発明は、より簡便に瞳孔位置を検出することを目的とする。
　一つの態様では、映像生成装置は、光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームを少なくとも瞳孔の表面を走査して前記眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを備えている。
　また、他の態様では、映像生成方法は、少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する。
　一つの側面として、より簡便に瞳孔位置を検出することが可能になる。それによって、映像生成する際に、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。
本発明の実施の形態の映像生成装置の概念的構成図である。 本発明の実施の形態の映像生成方法の説明図である。 本発明の実施例１の映像生成装置の要部構成図である。 本発明の実施例１の映像生成装置に用いる光学エンジンの概略的斜視図である。 ホログラフィック反射板の形成方法の説明図である。 本発明の実施例１における走査光ビームの照射状況の説明図である。 本発明の実施例１の映像生成装置を用いた映像生成方法の説明図である。 本発明の実施例２の映像生成装置の要部構成図である。 本発明の実施例３の映像生成装置の要部構成図である。 本発明の実施例３における走査光ビームの照射状況の説明図である。 本発明の実施例４の映像生成装置の要部構成図である。 本発明の実施例５の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例６の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例７の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施例７の複数ビームスポット方式による映像生成方法に用いる光学エンジンの概略的斜視図である。 本発明の実施例８のビームスポット連続移動方式による映像生成方法の説明図である。 本発明の実施例９の瞳孔位置検出装置の要部構成図である。 本発明の実施例９における走査光ビームの照射状況の説明図である。 本発明の実施例９の瞳孔位置検出装置を用いた瞳孔位置検出方法の説明図である。 本発明の実施例１０の瞳孔位置検出装置の要部構成図である。 本発明の実施例１１の瞳孔位置検出装置の要部構成図である。 本発明の実施例１２の瞳孔位置検出装置の要部構成図である。 本発明の実施例１３における走査光ビームの照射状況の説明図である。 本発明の実施例１３の映像生成装置を用いた映像生成方法の説明図である。 本発明の実施例１４の複数ビームスポット方式による映像生成方法の説明図である。 本発明の実施１５の複数ビームスポット方式による映像生成方法の説明図である。
　ここで、図１及び図２を参照して、本発明の実施の形態の映像生成装置及び映像生成方法を説明する。図１は、本発明の実施の形態の映像生成装置の概念的構成図であり、瞳孔位置検出機構と映像生成機構とを備えている。瞳孔位置検出機構は、光源２と、光源２からの光を走査する光走査ミラー３と、光走査ミラー３により走査された光ビーム４を瞳孔８及び虹彩９を含む眼球７に対して反射する反射部材６と、反射部材６で反射された光ビーム４により眼球７の表面を走査して眼球７からの反射光強度の時間変化を測定する測定機構１１と、測定した反射光強度の時間変化から瞳孔８からの反射光強度を抽出する抽出機構（図示は省略）と、抽出した瞳孔８からの反射光強度と眼球７の表面を走査する走査時間と同期することによって瞳孔８のサイズと位置を検出する機構（図示は省略）とを備えている。なお、図における符号１０は網膜である。
　この瞳孔位置検出機構を、検出した位置の瞳孔８に映像生成用光ビームを走査しながら投射して映像を眼球７の網膜１０上に形成する映像生成機構と組み合わせることによってウエアラブルな映像生成装置を構成することができる。この場合、映像生成機構の映像生成用光ビーム１３の光源、光走査ミラー及び反射部材を、瞳孔位置検出装置の光源２、光走査ミラー３及び反射部材６を兼ねるように構成することによって小型化が可能になる。　なお、ここでは、瞳孔８及び虹彩９を含む眼球７の表面を走査しているが、瞳孔８の一部でも良く、瞳孔８の一部でも走査できれば、瞳孔８の位置とサイズを推定するとは可能である。
　この場合、光源２と光走査ミラー３を一体化して光学エンジン１を構成しても良い。また、反射部材６としては、例えば、ホログラフィック反射板を用い、ホログラフィック反射板はメガネのツルやメガネのレンズ等の支持部材５に固定されている。また、この抽出機構や瞳孔８のサイズと位置を検出する機構等は、測定機構１１からの出力の後段に設けたＣＰＵ等の内部に設けた処理回路で構成する。或いは、瞳孔位置検出用走査と映像生成用走査とを時間分割で行う場合、光走査ミラー３の出力側にプリズム・ミラー、全反射／透過素子、或いは、電気光学素子等の光路切り替え素子を設けても良い。光路切り替え素子を設けることによって、広走査角度の光走査ミラー３を必要とせず、走査角度範囲を有効に利用することができる。
　測定機構１１を配置する位置は反射光が得られる場所であれば特に制限されない。眼鏡フレーム、眼鏡ガラスに設けても良いし、さらには測定機構１１を光学エンジン１そのものに搭載しても良い。また、眼球７からの反射光を光学エンジン１への戻り光として検出しても良い。この場合、戻り光は、新たな測定機構１１を搭載するのではなく、三原色光の映像生成用光ビーム１３の戻り光による電流・電圧の変化として検出しても良い。さらには測定機構１１との間に導波器を設けても良い。例えば、反射光を光学エンジン１まで戻したのちに検出器を配置するような光学系としても良い。
　眼球７の表面を走査する光ビーム４は、ホログラフィック反射板に直接照射されるようにしても良い。或いは、眼球７の表面を走査する光ビーム４が、メガネのリム或いはメガネのレンズの内部を伝搬して、メガネのリム或いはメガネのレンズの眼球８の反対側の表面に設けられたホログラフィック反射板により反射されるようにしても良い。
　光源２としては、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の一種類以上の半導体レーザチップを用いることができるが、半導体レーザの代わりにＬＥＤ（発光ダイオード）を用いても良い。なお、赤外光は、人間の目に感じないので、三原色光ビームによる映像に影響を及ぼすことが無いので瞳孔位置検出用の光源として望ましい。
　図２は、本発明の実施の形態の映像生成方法の説明図であり、図２（ａ）は、光ビームの走査状態の説明図であり、図２（ｂ）は、反射光強度、抽出信号及び瞳孔位置検出信号の説明図である。図２（ａ）に示すように、瞳孔８及び虹彩９を含む眼球７の表面を光ビーム４で走査し、眼球７からの反射光強度の時間変化を測定し、測定した反射光強度の時間変化から瞳孔８からの反射光強度を抽出し、抽出した瞳孔８からの反射光強度と眼球７の表面を走査する走査時間と同期することによって瞳孔８のサイズと位置を検出する。なお、図２の場合には、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行っているが、瞳孔位置検出用走査と映像生成用走査とを一連の走査により同時に行っても良い。
　この場合、瞳孔追従のための瞳孔位置検出のための光ビーム４は、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しながら照射されるように光学系が調整されている。また、反射光は光検出器等の測定機構（１１）で検出され、その光量が電気信号として検出される。図２（ａ）においては、簡便のため、Ｔ１から始まり、Ｔ７に至るまでを例示している。
　図２（ｂ）の上段図は、このようにして得られる電気信号の時間変化を示したもので、横軸は時間軸で、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７は、それぞれ図２（ａ）に示した走査の折り返し点に対応する時間である。上図の信号において、反射光強度Ｐ１、Ｐ２、Ｐ３は、それぞれ白目１２の部分からの信号、虹彩９からの信号、瞳孔８からの信号である。このように、白目１２からの反射光がもっとも強く、次に虹彩９からの反射光が強く、瞳孔８からの反射が最も弱いことが分かった。瞳孔８からの反射が最も弱いのは、眼球７内に光ビーム４が入るので反射が起こらないためと考えられる。
　図２（ｂ）の中段図は、これらの信号のうち、瞳孔８からの反射に対応するＰ３の信号が得られる時間域を抽出した信号を示したものである。この抽出は、信号強度が最も小さい時間域だけ認識し、抽出する信号レベル・セレクター回路等を用いて行えば良い。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ光ビーム４が瞳孔８を照射していることが分かる。
　これらの信号から、瞳孔８の位置を検出するには、図２（ｂ）の下段図に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガｔｒとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔８の位置を決定する。また、ｔ１とｔ２の間隔、ｔ３とｔ４の間隔、ｔ５とｔ６の間隔、ｔ７とｔ８の間隔を比較することによって、図における瞳孔８の上下方向の位置を検出することができる。なお、ここでは、瞳孔位置検出のための光ビーム４を、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しながら照射しているが、少なくとも瞳孔８の一部を走査すれば良く、それによって、瞳孔８の位置とサイズを推定することが可能になる。
　したがって、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。また、単に、瞳孔位置検出システムとして利用した場合には、身障者介助システムに利用するため視線の検出や運転中のドライバの意識や注意をモニタリングする際の視線の検出を撮像装置等を用いることなく簡便に検出することができる。即ち、本発明の実施の形態においては、上記の特許文献４等の従来技術常識に反して、瞳孔位置検出のための可視光の光ビーム４を瞳孔８にも入射するように、瞳孔８、虹彩９、及びその周りの白目１２の部分をまたいで走査しているので、特許文献４等に比べて瞳孔位置に正確に映像用ビームを照射することが可能になる。なお、瞳孔位置検出のための可視光の光ビーム４が瞳孔８に入射することは本来的には望ましくないので、光ビーム４の出力を極力低出力にする。
　映像生成用光ビームを照射する際には、上述の瞳孔位置検出方法により瞳孔８のサイズと位置を検出したのち、検出した瞳孔位置の瞳孔８に対して映像生成用光ビームを走査しながら投射して映像を眼球８の網膜１０上に形成すれば良い。なお、瞳孔位置検出用走査と映像生成用走査とを一連の走査により同時に行う場合には、瞳孔位置が検出された後のＴ４，Ｔ６のタイミングの走査時に映像生成用光ビームを検出した瞳孔８の位置に照射する。なお、Ｔ２の時点では瞳孔位置が検出されていないので、映像生成用光ビームは照射しない。
　この時、瞳孔８のサイズと位置を検出する工程において、眼球８に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の光ビーム４を照射し、瞳孔８の中心位置近傍であると検出した複数のビームスポットのうちの一つに映像生成用光ビームを走査しながら投射するようにしても良い。なお、ビームスポットとは、走査した光ビームが、走査ごとにほぼ通過する同一地点を意味する。
　具体的には、複数のビームスポットの各ビームスポット対して、映像生成機構の光走査ミラー３からビームの走査角度を変えて、映像生成用光ビーム１３を照射するようにしても良い。
　或いは、複数のビームスポットの各ビームスポット対して、映像生成機構の光走査ミラーを光源からの光ビームの光軸方向に移動させることによって映像生成用光ビーム１３を照射するようにしても良い。この場合には、映像生成機構の光走査ミラーに、映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を設ければ良い。
　或いは、複数のビームスポットを設定する代わりに、映像生成用光ビーム１３を走査する工程において、眼球７に対して、映像生成用光ビーム１３を照射する位置を連続的に変化させながら映像生成用光ビーム１３を照射し、瞳孔８の中心位置であると検出したビームスポットを中心位置として映像生成用光ビーム１３を走査しながら投射するようにしても良い。この場合、照射した映像生成用光ビーム１３が収束するビームスポット位置は、映像生成用光ビーム１３が瞳孔８を通過し、眼球７の内部となる。
　いずれも場合にも、各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、予め定めたビーム走査角範囲内で映像生成用光ビームを走査しながら投射すれば良い。その結果、瞳孔位置に正確に映像用ビームを照射することができ、その結果確実に網膜上に画像を投影でき、正確な像を得ることができる。また、スキャンする光学系を制御すると機械的な制御機構による光学系のブレや光学系制御のための駆動エネルギーが消費されるが、画像投影用光ビームの照射タイミングを制御しているのでそれらの虞を低減することができる。
　或いは、各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行い、予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射するようにしても良い。
　さらには、各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射するようにしても良い。
　次に、図３乃至図７を参照して、本発明の実施例１の映像生成装置を説明する。本発明の実施例１においては、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行う。図３は、本発明の実施例１の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン３０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
　光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光５３が再びホログラフィック反射板７０で反射されて光検出器５１によって検出される。なお、光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
　図４は、本発明の実施例１の映像生成装置に用いる光学エンジンの概略的斜視図である。まず、厚さが５００μｍのＳｉ基板３１上に火炎加水分解法を用いて、厚さが１５μｍのＳｉＯ２膜３２を形成する。次いで、ＳｉＯ２膜３２上に同じく火炎加水分解法で、厚さ２μｍのＳｉＯ２-ＧｅＯ２層（屈折率差Δｎ＝０．５％、Δｎ＝（ｎ１-ｎ２）／ｎ１で定義。ｎ１：コアの屈折率、ｎ２：クラッドの屈折率)を成膜する。この上に、コンタクトマスクを用いた光露光法で導波路幅が２μｍの光導波路パターン３４～３６を形成して光合波器３３とする。
　次いで、光導波路パターン３４～３６上に、全体を覆うカバー層として、厚さが２０μｍのＳｉＯ２膜（図示は省略）を上部クラッド層として、同じく火炎加水分解法で成膜する。なお、赤色用の光導波路パターン３４及び青色用の光導波路パターン３６は光入射部を直角に曲げる必要があるので、曲げる部分にＧａを用いた収束イオンビーム法を用いたエッチングにより、深さ３０μｍの深掘りトレンチを形成し、導波した光が、トレンチ側壁で全反射するようにする。次いで、光合波器３３の領域のみ残して、他の部分のＳｉＯ２膜を全てエッチングにより取り除き、Ｓｉ基板３１をむき出しの状態にする。
　次いで、それぞれ一対のヒンジに支えられた回転外枠及び非回転外枠の２重枠構造を有する２次元光走査ミラー部３８を形成する。なお、この製造プロセスの基本は、２次元光走査ミラー部３８を構成する磁性薄膜の永久磁石特性が消えないように、着磁後の全てのプロセスの温度を２００℃以下で行う。なお、図における符号３７はＳｉＯ２膜である。
　次いで、赤色半導体レーザチップ３９、緑色半導体レーザチップ４０及び青色半導体レーザチップ４１を、それぞれ光導波路パターン３４～３６に光が入射するように、Ｓｉ基板３１上にボンディングする。この時、赤色半導体レーザチップ３９、緑色半導体レーザチップ４０及び青色半導体レーザチップ３１のレーザ出射端と光導波路パターン３４～３６の位置が整合するようにＳｉ基板３１を所定の深さまでエッチングする。
　次いで、２次元光走査ミラー装置３８の反射部を駆動するソレノイド・コイル４２をＳｉ基板３１の下側に配置し、接着剤を用いて、Ｓｉ基板３１に固定する。この時、ソレノイド・コイル４２に光走査信号を印加しない状態で、反射部のミラー面がＳｉ基板３１の主面にほぼ平行な光ビームに対して４５°傾くようにする。
　図５は、ホログラフィック反射板の形成方法の説明図である。まず、図５（ａ）に示すように、厚さが０．５ｍｍ～１０ｍｍ程度のＳｉＯ２系ガラス等からなる基板７１上に、透明なプラスチック膜７２を塗布等の方法で形成する。次いで、図５（ｂ）に示すように、形成したプラスチック膜７２の上からモールド７３を加圧し、かつプラスチックの軟化温度付近にプラスチック膜７２の温度を上昇させる。モールド５３には、光ビームを設定した角度に反射するための回折格子間隔のパターンを作製しているので、この回折格子７４がプラスチック膜７２に転写される。
　次いで、図５（ｃ）に示すように、回折格子７４が転写されたプラスチック膜７２を基板７１から剥離し、ホログラフィック反射板７０とし、このホログラフィック反射板７０を眼鏡レンズ２２の内側の面の所定箇所に貼り付ける。なお、ホログラフィック反射板７０は、図示していないリムに貼り付けても良い。なお、ここでは、プラスチック膜７２として、軟化温度が１４５℃のポリカーボネート樹脂を用い、加熱温度を１４０℃とし、加圧量を２．０ＭＰａとする。なお、基板として眼鏡ガラスを用いて、眼鏡ガラスの透明なプラスチック膜を設けてこのプラスチック膜に回折格子を転写しても良く、この場合には、基板からの剥離工程は不要になる。
　図６は、本発明の実施例１における走査光ビームの照射状況の説明図であり、走査は２次元的に行われるが、ここでは簡便のため平面的に描画している。光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。映像は、同じ光学エンジン３０から出射した三原色光ビーム５４を走査し、眼鏡ガラス２２の瞳孔位置検出用の走査光ビーム５２のための反射板範囲以外に形成されたホログラフィック反射板（図示を省略）により、瞳孔６１を通して眼球７０の網膜６４上に生成させる。
　瞳孔追従検出用ビーム走査は、走査角度範囲を大きくして、映像生成用ビーム走査と同じタイミングで行っている。この場合、実際に検出に用いる瞳孔追従検出用の走査光ビーム５２は、映像生成用の三原色光ビーム５４の全走査の中から間引いた光ビーム走査を用いることができ、位置解析のためのプログラム実行時間と消費電力を少なくすることができる。具体的には、瞳孔追従検出用ビーム走査は、映像生成用ビーム走査を、横（左右）方向走査が３０ｋＨｚ、縦（上下）方向走査が６０Ｈｚとした場合、横方向走査、縦方向走査とも１Ｈｚ～１００Ｈｚにしても良い。なお、瞳孔追従検出用ビーム走査に用いる可視光が瞳孔６１に入射することは本来的には望ましくないので、瞳孔追従検出用ビーム走査時には、走査光ビーム５２の出力を極力低出力にする。
　図７は、本発明の実施例１の映像生成装置を用いた映像生成方法の説明図であり、図７（ａ）は瞳孔位置検出方法の説明図であり、図７（ｂ）は映像生成方法を示す説明図である。図７（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、及びその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ～４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
　図７（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図７（ｂ）の中段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
　これらの信号から、瞳孔６１の位置を検出するには、図７（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とT３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。
　正確に瞳孔６１の位置を検出したのち、映像生成用光ビームを検出した瞳孔６１の位置に照射する。ここでも映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。
　本発明の実施例１においては、瞳孔位置検出のために走査光ビームを用いているので、簡便な機構・方法で瞳孔の６１の位置をほぼリアルタイムに精度良く検出することができる。
　次に、図８を参照して、本発明の実施例２の映像生成装置を説明する。図８は、本発明の実施例２の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、実施例２においては、光検出器５１を眼鏡レンズ２２の端部に取り付ける。また、眼鏡レンズ２２の眼球６０に対向する面と反対側の面の一部にホログラフィック反射板７０を貼り付ける。
　光学エンジン３０から出射される走査光ビーム５２は、眼鏡レンズ２２内を全反射を繰り返しながら伝搬してホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査する。その反射光が再びホログラフィック反射板７０で反射されて眼鏡レンズ２２内を反対方向に伝搬して光検出器５１によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。なお、映像生成方法は、実施例１の場合と同様である。
　次に、図９及び図１０を参照して、本発明の実施例３の映像生成装置を説明する。図９は、本発明の実施例３の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、実施例３においては、光検出器５１を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付けるとともに、瞳孔位置検出用の光学エンジン５５を別途眼鏡２０のツル２１に取り付ける。なお、この光学エンジン５５は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン５５、例えば、光源として赤外線半導体レーザを用いれば良い。
　図１０は、本発明の実施例３における走査光ビームの照射状況の説明図である。光学エンジン５５から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光がホログラフィック反射板７０等で反射されて光検出器（５１）によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。なお、映像生成方法は、実施例１の場合と同様である。
　次に、図１１を参照して、本発明の実施例４の映像生成装置を説明する。図１１は、本発明の実施例４の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の先端部の内部に光源及び光走査ミラーからなる光学エンジン３０を格納する。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
　光学エンジン３０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光がホログラフィック反射板７０等で反射されて光学エンジン３０に入射する。この時、光学エンジン３０の光源を構成する各半導体レーザの電流・電圧特性が変化するので、この変化を光学エンジン３０のドライバ回路に設けた電流・電圧変動検知回路で検出する。なお、映像生成方法においては、反射光強度の変動ではなく、電流・電圧変動により映像生成用光ビームを照射するビームスポット位置の制御を行う。
　次に、図１２を参照して、本発明の実施例５の複数ビームスポット方式による映像生成方法を説明する。図１２は、本発明の実施例５の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。瞳孔６１の位置が変化した場合の対応方法として、映像生成用ビームスポットを複数個用意する方法が開示されている（例えば、非特許文献１参照）。
　図１２に示すように、瞳が前方を真直ぐ見ている場合の瞳孔６１の中心に、映像生成用ビームスポット６６１を設定し、その左右、上下に瞳が動いた場合に対応するための映像生成用ビームスポット６６２～６６５を設定する。図では、左右、上下に各1個のみ設定しているが、もちろん左右、上下に複数個づつ設定して、より広い範囲をカバーしても良い。
　この時の映像生成方法は、以下の２つの方法がある。第１の方法は、瞳孔内にほぼ収まる映像生成用ビームスポットを一つ選び、その映像生成用ビームスポットの位置とサイズで実際に三原色光ビームを走査して、網膜上に映像を生成する。実際の三原色光ビームは、これらの設定された映像生成用ビームスポット６６１～６６５のいずれか一つのみの位置に照射される。どの映像生成用ビームスポット位置に実際のビームを照射し走査するかは、瞳孔６１の位置を検出して実行する。
　第２の方法は、設定した全ての映像生成用ビームスポット６６１～６６５の位置とサイズで実際に三原色光ビームを走査して、網膜上に映像を生成する。ただし、網膜上で映像がズレないように、それぞれの映像生成用ビームスポットを生成する三原色光ビームの信号を互いに修正する。なお、ここでは、瞳孔サイズを２．５ｍｍφ～４ｍｍφ程度、瞳孔位置変化量を左右方向±１０ｍｍ程度、上下方向±５ｍｍ程度とし、映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。なお、映像生成用ビームスポット位置間隔：左右上下方向とも２．５ｍｍ～４ｍｍ程度とする。図では左右上下に１個づつとしているが、左右方向６個程度、上下方向３個程度としても良い。
　次に、図１３を参照して、本発明の実施例６の複数ビームスポット方式による映像生成方法を説明する。図１３は、本発明の実施例６の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
　光学エンジン３０から射出された三原色光ビーム５４は、設定されたビーム走査角度範囲で走査されて、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン３０から射出された三原色光ビーム５４（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。
　ここで、光学エンジン３０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、広いビーム走査角度全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲で出す信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
　次に、図１４及び図１５を参照して、本発明の実施例７の複数ビームスポット方式による映像生成方法を説明する。図１４は、本発明の実施例７の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
　光学エンジン８０から射出された三原色光ビーム５４は、設定された異なるビーム出射位置から出射され、設定されたビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
　図１５は、本発明の実施例７の複数ビームスポット方式による映像生成方法に用いる光学エンジンの概略的斜視図である。光源部は、図４と同様に、Ｓｉ基板３１上にＳｉＯ２膜３２を形成する。次いで、ＳｉＯ２膜３２上にＳｉＯ２-ＧｅＯ２層を成膜したのち、コンタクトマスクを用いた光露光法で導波路幅が光導波路パターン３４～３６を形成して光合波器３３とする。次いで、光導波路パターン３４～３６上に、全体を覆うカバー層として、厚さが２０μｍのＳｉＯ２膜（図示は省略）を上部クラッド層として成膜する。
　一方、Ｓｉ基板３１とは別のＳｉ基板４３に、図４の場合と同様に、それぞれ一対のヒンジに支えられた回転外枠及び非回転外枠の２重枠構造を有する２次元光走査ミラー部４４を形成する。
　この光源部を形成したＳｉ基板３１と２次元光走査ミラー部４４を形成したＳｉ基板４１を移動用ガイド８２を設けた共通基板８１上に載置し、２次元光走査ミラー部４４の下部にソレノイド・コイル４２を配置する。この時、２次元光走査ミラー部４４を形成したＳｉ基板４１に移動用バー８４を介して移動機構用モジュール８３を接続し、共通基板８１上で、移動用ガイド８２に沿ってスライドできるようにする。移動機構用モジュール８３が、移動用バー８４を前後に延ばしたり、引き込んだりすることによって、２次元光走査ミラー部４４を移動させることができる。このことにより、光学エンジン８０から出射する三原色光ビームの位置を移動させることができる。
　共通基板８１及び移動用ガイド８２としては、磁性薄膜を設けている２次元光走査ミラー部４４の動作に影響を与えないようにＡｌやＣｕ等の非磁性金属を用いるが、ここでは、Ａｌを用いる。移動機構用モジュール８３としては、円筒型マイクロコイルを用いた電磁駆動型アクチュエータを用いる。
　次に、図１６を参照して、本発明の実施例８のビームスポット連続移動方式による映像生成方法を説明する。図１６は、本発明の実施例８のビームスポット連続移動方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。
　光学エンジン３０から射出された三原色光ビーム５４は、設定されたビーム走査角度範囲で走査されて、ホログラフィック反射板７０によって瞳孔６１内に導かれ、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン３０から射出された三原色光ビーム５４（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域で反射させ、それぞれ移動した瞳孔内に三原色光ビームを導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６１上の生成映像範囲に映像を生成する。
　この時、図に示したように、走査した三原色光ビーム５４が収束するスポットは、瞳孔６１の上でなく、眼球６０の内部に設定する。また、この位置は、光学エンジン３０から出射した三原色光ビーム５４の全てが、ほぼこのスポット位置に収束するように設定する。このようにすることによって、移動した瞳孔６１の線種に対応した線種で表示されるそれぞれの三原色光ビーム５４の走査範囲が重複する場合でも、網膜６４上に映像を正しく生成することができる。
　ここで、光学エンジン３０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで行う。或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲をすべて含む広いビーム走査角度で行い、広いビーム走査角度全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム走査角度範囲で出す信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
　次に、図１７乃至図１９を参照して、本発明の実施例９の瞳孔位置検出装置を説明する。図１７は、本発明の実施例９の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン９０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。
　光学エンジン９０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて光検出器５１によって検出される。なお、光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
　光学エンジン９０の基本構造は図４に示した光学エンジン３０と基本的には同じであるが、光源は瞳孔追跡用光源のみで良いので、単一の半導体レーザ或いはコリメートされたＬＥＤで良く、例えば、赤外線半導体レーザを用いる。光導波路パターンも一本の直線状の光導波路パターンのみで良いが、光導波路パターンは必須ではなく、例えば、半導体レーザからの走査光ビームを２次元光走査ミラーに直接照射するようにしても良い。
　図１８は、本発明の実施例９における走査光ビームの照射状況の説明図であり、走査は２次元的に行われるが、ここでは簡便のため平面的に描画している。光学エンジン９０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。
　図１９は、本発明の実施例９の瞳孔位置検出装置を用いた瞳孔位置検出方法の説明図であり、図１９（ａ）は光ビームの走査状態の説明図であり、図１９（ｂ）は、反射光強度及び抽出信号の説明図である。図１９（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、及びその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ～４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
　図１９（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図１９（ｂ）の下段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
　これらの信号から、瞳孔６１の位置を検出するには、図１９（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とＴ３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。また、ｔ１とｔ２の間隔、ｔ３とｔ４の間隔、ｔ５とｔ６の間隔、ｔ７とｔ８の間隔を比較することによって、図における瞳孔８の上下方向の位置を検出することができる。
　したがって、身障者介助システムに利用するため視線の検出や運転中のドライバの意識や注意をモニタリングする際の視線の検出を撮像装置等を用いることなく簡便に検出することができる。なお、この実施例７の場合にも、上記の実施例２と同様に、走査光ビームが眼鏡レンズ内を伝搬するようにしても良い。
　次に、図２０を参照して、本発明の実施例１０の瞳孔位置検出装置を説明する。図２０は、本発明の実施例１０の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。光学エンジン９０及び光検出器５１を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。なお、この光学エンジン９０は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン９０、例えば、光源として赤外線半導体レーザを用いれば良い。
　実施例１０においては、光学エンジン９０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光５３がホログラフィック反射板７０等で反射されて光検出器５１によって検出される。なお、この場合も光検出器５１の前に、走査光ビーム５２で用いる波長を透過する光学フィルターを設けることが望ましく、他からの迷光を遮断できる。
　次に、図２１を参照して、本発明の実施例１１の瞳孔位置検出装置を説明する。図２１は、本発明の実施例１１の瞳孔位置検出装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。光学エンジン９０を眼鏡のツル２１の端部に取り付ける。また、眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。なお、この光学エンジン９０は、瞳孔６１の位置を検出するだけであるので、単一光源の光学エンジン９０、例えば、光源として赤外線半導体レーザを用いれば良い。
　実施例１１においては、光学エンジン９０から出射される走査光ビーム５２は、瞳孔６１を含む眼球６０の表面を走査する。その反射光５３がホログラフィック反射板７０等で反射されて光学エンジン９０に入射する。この時、光学エンジン９０の光源を構成する各半導体レーザの電流・電圧特性が変化するので、この変化を光学エンジン９０のドライバ回路に設けた電流・電圧変動検知回路で検出する。なお、この場合も実施例４と同様に、光学エンジン９０は眼鏡のツル２１の内部に格納しても良い。
　次に、図２２を参照して、本発明の実施例１２の映像生成装置を説明する。本発明の実施例１２においては、上記の実施例１と同様に、瞳孔位置検出用走査と映像生成用走査とを時間的に分離して行う。図２２は、本発明の実施例１２の映像生成装置の要部構成図である。眼鏡２０はツル２１、眼鏡レンズ２２及びブリッジ２３で構成されており、眼鏡レンズ２２はリム（図示は省略）によってその外周部が保持されている場合もある。この眼鏡２０のツル２１の内部に光源及び光走査ミラーからなる光学エンジン３０を格納するとともに、その近傍に光検出器５１を取り付ける。眼鏡レンズ２２の一部にホログラフィック反射板７０を貼り付ける。この実施例１２においては、ツル２１の光学エンジン３０からの走査光ビーム５２の出力部に光路切り替え素子５５を設けている以外は、上記の実施例１と同様である。ここでは、光路切り替え素子５５として、プリズム・ミラーを用いるが、プリズム・ミラーの代わりに全反射／透過素子或いは電気光学素子を用いても良い。
　この場合、光学エンジン３０から出射される走査光ビーム５２は、瞳孔位置検出用走査と映像生成用走査とで光路切り替え素子５５で光路を切替える。即ち、瞳孔位置検出用走査においては光路切り替え素子５５をオフ状態で走査し、瞳孔位置を検出したのちの映像生成用走査においては、光路切り替え素子５５をオンにして光路を切り替えて走査する。本発明の実施例１２においては、光路切り替え素子５５を設けているので、光学エンジン３０に広走査角度の光走査ミラーを用いる必要はなく、走査角度範囲を有効に利用することができる。
　次に、図２３及び図２４を参照して、本発明の実施例１３の映像生成装置を説明するが、装置構成は上記の実施例１と同様であるので、映像生成装置を用いた映像生成方法のみを説明する。本発明の実施例１３においては、瞳孔位置検出用走査と映像生成用走査とを一連の走査において同じタイミングで行う。
　図２３は、本発明の実施例１３における走査光ビームの照射状況の説明図であり、図６に示した実施例１の光走査ビームの照射状況と同様である。光学エンジン３０から出射される走査光ビーム５２は、ホログラフィック反射板７０により反射されて、瞳孔６１を含む眼球６０の表面を走査し、その反射光が再びホログラフィック反射板７０で反射されて眼鏡のツルに取り付けた光検出器（５１）によって検出され、瞳孔６１の位置を検出する。映像は、同じ光学エンジン３０から出射した三原色光ビーム５４を走査し、眼鏡ガラス２２の瞳孔位置検出用の走査光ビーム５２のための反射板範囲以外に形成されたホログラフィック反射板（図示を省略）により、瞳孔６１を通して眼球７０の網膜６４上に生成させる。
　瞳孔追従検出用ビーム走査は、走査角度範囲を大きくして、映像生成用ビーム走査と同じタイミングで行っている。この場合、実際に検出に用いる瞳孔追従検出用の走査光ビーム５２は、映像生成用の三原色光ビーム５４の全走査の中から間引いた光ビーム走査を用いることができ、位置解析のためのプログラム実行時間と消費電力を少なくすることができる。具体的には、瞳孔追従検出用ビーム走査は、映像生成用ビーム走査を、横（左右）方向走査が３０ｋＨｚ、縦（上下）方向走査が６０Ｈｚとした場合、横方向走査、縦方向走査とも１Ｈｚ～１００Ｈｚにしても良い。なお、瞳孔追従検出用ビーム走査に用いる可視光が瞳孔６１に入射することは本来的には望ましくないので、瞳孔追従検出用ビーム走査時には、走査光ビーム５２の出力を極力低出力にする。
　図２４は、本発明の実施例１３の映像生成装置を用いた映像生成方法の説明図であり、図２４（ａ）は瞳孔位置検出方法の説明図であり、図２４（ｂ）は映像生成方法を示す説明図である。図２４（ａ）に示すように、光ビーム５３は、瞳孔６１、虹彩６２、およびその周りの白目６３の部分をまたいで走査しながら照射する。ここでは、瞳孔サイズを２．５ｍｍφ～４ｍｍφ程度として、走査光ビームの左右方向の走査幅を±２０ｍｍ程度とし、上下方向の走査幅を±１２ｍｍ程度とする。このように走査幅を設定することによって、瞳孔６１の位置が左右方向に±１０ｍｍ程度、上下方向に±５ｍｍ程度に変動したとして、正確に瞳孔６１の位置を検出することができる。
　図２４（ｂ）の上段図に示すように、光検出器５１で検出された反射光強度は、白目６３からの反射光Ｐ１がもっとも強く、次に虹彩６２からの反射光Ｐ２が強く、瞳孔６１からの反射光Ｐ３が最も弱い。図２４（ｂ）の中段図は、信号レベル・セレクター回路を用いて抽出したＰ３の信号が得られる時間域の信号である。Ｐ３の信号が得られる時間域は、ｔ１とｔ２の間、ｔ３とｔ４の間、ｔ５とｔ６の間、ｔ７とｔ８の間である。これらの時間の間のみ走査光ビーム５２が瞳孔６１を照射している。
　これらの信号から、瞳孔６１の位置を検出するには、図２４（ｂ）の下段に示すｔｒのように、走査の折り返しの各点に相当する各時間に、短い信号をトリガとして発生させ、そのトリガとの時間差を計測し、その時間差から逆算して、瞳孔６１の位置を決定する。例えば、Ｔ２とT３間のビーム走査では、Ｔ２からｔ１間の時間に相当する位置変化量から瞳孔６１が始まり、ｔ１からｔ２の時間に相当する位置変化量が瞳孔６１の幅になる。
　したがって、瞳孔位置ウィンドウ間であるｔ３とｔ４の間、ｔ７とｔ８の間に、即ち、瞳孔位置が検出された後のＴ４，Ｔ６のタイミングの走査時に映像生成用光ビームを検出した瞳孔６１の位置に照射する。なお、Ｔ２の時点では瞳孔位置が検出されていないので、映像生成用光ビームは照射しない。ここでは、映像生成用ビームスポットサイズを＜４ｍｍφ程度とする。
　本発明の実施例１３においては、瞳孔位置検出のために走査光ビームを用いているので、簡便な機構・方法で瞳孔の６１の位置をほぼリアルタイムに検出することができる。また、瞳孔位置ウィンドウ間に映像生成用の三原色光ビーム５４を走査しているので、光学系のブレや光学系制御のための駆動エネルギーが消費を低減することが可能になる。
　次に、図２５を参照して、本発明の実施例１４の複数ビームスポット方式による映像生成方法を説明する。図２５は、本発明の実施１４の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものである。ここでは、３つの位置にビームスポット照射する例を示しているが、ビームスポットの数は任意である。
　本発明の実施例１４においては、ホログラフィック反射板７０を３つの領域７０１，７０２，７０３に分割し、反射光が予め設定した瞳孔６１の位置に照射されるように各領域における回折格子のピッチを個別に設定する。
　光学エンジン８０から射出された三原色光ビーム５４は、設定された領域、例えば、領域７０１に対応したビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域７０２，７０３で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで走査する或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
　次に、図２６を参照して、本発明の実施例１５の複数ビームスポット方式による映像生成方法を説明する。図２６は、本発明の実施１５の複数ビームスポット方式による映像生成方法の説明図である。瞳孔６１の位置が変化した場合（瞳を動かした場合）に、映像が欠けることなく、正常な映像を網膜上に投影するために必要な映像生成用ビームの瞳孔上のスポットサイズと位置を示したものであり、ここでは、３つの位置にビームスポット照射する例を示しているが、ビームスポットの数は任意である。なお、本発明の実施例１５の複数ビームスポット方式による映像生成方法に用いる光学エンジンは、上記の実施例７と同様であり、移動機構用モジュール（８３）による移動を３段階で行うものである。
　本発明の実施例１５においても、ホログラフィック反射板７０を３つの領域７０１，７０２，７０３に分割し、反射光が予め設定した瞳孔６１の位置に照射されるように各領域における回折格子のピッチを個別に設定する。
　光学エンジン８０から射出された三原色光ビーム５４は、設定された３か所のビーム出射位置から出射され、設定された領域、例えば、領域７０１に対応したビーム走査角度範囲で走査される。次に、ホログラフィック反射板７０によって瞳孔６１上にスポット形状に収束され、網膜６４上に映像を生成する。瞳孔６１の位置が移動した場合（実線から破線さらに一点鎖線に示した瞳孔位置の変化）、光学エンジン８０から射出された三原色光ビーム（移動した瞳孔の線種に対応した線種で表示）を、ホログラフィック反射板７０の別の領域７０２，７０３で反射させ、それぞれ移動した瞳孔６１に収まるスポット位置に三原色光ビーム５４を導き、移動した瞳孔６１の線種に対応した線種で表示した網膜６４上の生成映像範囲に映像を生成する。ここで、光学エンジン８０から射出された三原色光ビーム５４の走査は、以下のように行う。
（１）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで走査する或いは、
（２）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの走査角度範囲をすべて含む広いビーム走査角度で行い、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲のみで、映像用信号を出す。或いは、
（３）図中に示された実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームを３つの領域７０１，７０２，７０３に対応した走査角度範囲をすべて含む広い範囲で行い、広い範囲全体で映像用信号を出す。ただし、網膜上で映像がズレないように、実線、一点鎖線、破線で示されたそれぞれのビーム出射位置から出射したビームの信号を修正する。これらの中で、（１）及び（２）の方法は、映像信号を出している時間が少なく、映像生成用の電力の消費が少ないという長所がある。なお、瞳孔位置検出用の走査光ビームは、図６と同様に、ホログラフィック反射板の映像生成用ビーム走査のための反射板範囲以外の領域を瞳孔位置検出用ビーム走査のための反射板範囲として走査光ビームの走査により瞳孔６１の位置とそのサイズを予め検出する。
　ここで、実施例１乃至実施例１５を含む本発明の実施の形態に関して、以下の付記を付す。
（付記１）光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出機構と、検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構とを備えた映像生成装置。
（付記２）前記光走査ミラーの出力側に、前記光走査ミラーにより走査された光ビームを瞳孔位置検出走査時と前記映像生成用光ビームの走査時で光路を切り替える光路切り替え素子を有する付記１に記載の映像生成装置。
（付記３）前記瞳孔位置検出機構が、前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材を有する付記１または付記２に記載の映像生成装置。
（付記４）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記１乃至付記３のいずれか１に記載の映像生成装置。
（付記５）前記映像生成機構の映像生成用光ビームの光源、光走査ミラー及び反射部材が、前記瞳孔位置検出機構の光源、光走査ミラー及び反射部材を兼ねる付記３に記載の映像生成装置。
（付記６）前記反射部材が、ホログラフィック反射板である付記４または付記５に記載の映像生成装置。
（付記７）前記ホログラフィック反射板が、メガネのリムまたはメガネのレンズの少なくとも一方に設けられている付記６に記載の映像生成装置。
（付記８）前記眼球の表面を走査する光ビームは、前記ホログラフィック反射板に直接照射される付記６または付記７に記載の映像生成装置。
（付記９）前記眼球の表面を走査する光ビームは、メガネのリム或いはメガネのレンズの内部を伝搬して、前記メガネのリム或いはメガネのレンズの前記眼球の反対側の表面に設けられた前記ホログラフィック反射板により反射される付記６に記載の映像生成装置。
（付記１０）前記映像生成機構の光走査ミラーが、前記映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を備えている付記１乃至付記９のいずれか１に記載の映像生成装置。
（付記１１）前記光源が、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の１種類以上の半導体レーザチップを含む付記１乃至付記１０のいずれか１に記載の映像生成装置。
（付記１２）少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成方法。
（付記１３）前記瞳孔のサイズと位置を検出する工程と、前記映像生成用光ビームを走査する工程を時間的に分離して行う付記１２に記載の映像生成方法。
（付記１４）前記瞳孔のサイズと位置を検出する工程と、前記映像生成用光ビームを走査する工程を連続した走査工程で行う付記１２に記載の映像生成方法。
（付記１５）前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する付記１３または付記１４に記載の映像生成方法。
（付記１６）光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記１３または付記１４に記載の映像生成方法。
（付記１７）前記瞳孔のサイズと位置を検出する工程において、前記眼球に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の前記光ビームを照射し、前記瞳孔の中心位置近傍であると検出した前記複数のビームスポットのうちの一つに前記映像生成用光ビームを走査しながら投射する付記１６に記載の映像生成方法。
（付記１８）前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーから光ビームの走査角度を変えて前記映像生成用光ビームを走査しながら投射する付記１７に記載の映像生成方法。
（付記１９）
　前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーを光源からの光ビームの光軸方向に移動させながら前記映像生成用光ビームを走査しながら投射する付記１７に記載の映像生成方法。
（付記２０）前記瞳孔の中心位置であると検出したビームスポットを中心位置として前記映像生成用光ビームを照射する位置を連続的に変化させて走査しながら投射する付記１２に記載の映像生成方法。
（付記２１）前記照射した光ビームが、前記光ビームが前記瞳孔を通過し、前記眼球の内部でビームスポット位置を形成する付記２０に記載の映像生成方法。
（付記２２）前記各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２３）前記各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行いながら、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２４）前記各ビームスポットに対して、前記予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射する付記１７乃至付記２１のいずれか１に記載の映像生成方法。
（付記２５）光源と、前記光源からの光を走査する光走査ミラーと、前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して眼球からの反射光強度の時間変化を測定する測定機構と、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構とを備えた瞳孔位置検出装置。
（付記２６）前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材をさらに有する付記２５に記載の瞳孔位置検出装置。
（付記２７）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記２５または付記２６に記載の瞳孔位置検出装置。
（付記２８）少なくとも瞳孔の表面を光ビームで走査し、前記瞳孔からの反射光強度の時間変化を測定し、前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、前記抽出した瞳孔からの反射光強度と眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する瞳孔位置検出方法。
（付記２９）前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する付記２８に記載の瞳孔位置検出方法。
（付記３０）前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する付記２８に記載の瞳孔位置検出方法。
１　光学エンジン
２　光源
３　光走査ミラー
４　光ビーム
５　支持部材
６　反射部材
７　眼球
８　瞳孔
９　虹彩
１０　網膜
１１　測定機構
１２　白目
１３　映像生成用光ビーム
２０　眼鏡
２１　ツル
２２　眼鏡レンズ
２３　ブリッジ
３０，５５，８０，９０　光学エンジン
３１，４３　Ｓｉ基板
３２，３７　ＳｉＯ２膜
３３　光合波器
３４～３６　光導波路パターン
３８，４４　２次元光走査ミラー部
３９　赤色半導体レーザチップ
４０　緑色半導体レーザチップ
４１　青色半導体レーザチップ
４２　ソレノイド・コイル
５１　光検出器
５２　走査光ビーム
５３　反射光
５４　三原色光ビーム
５５　光路切り替え素子
６０　眼球
６１　瞳孔
６２　虹彩
６３　白目
６４　網膜
６６１～６６５　映像生成用ビームスポット
７０　ホログラフィック反射板
７０１，７０２，７０３　領域
７１　基板
７２　プラスチック膜
７３　モールド
７４　回折格子
８１　共通基板
８２　移動用ガイド
８３　移動機構用モジュール
８４　移動用バー

Claims (21)

  1. 　光源と、
    　前記光源からの光を走査する光走査ミラーと、
    　前記光走査ミラーにより走査された光ビームにより少なくとも瞳孔の表面を走査して前記眼球からの反射光強度の時間変化を測定する測定機構と、
    　前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出する抽出機構と、
    　前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出する機構と
    を備えた瞳孔位置検出機構と、
    　検出した位置の前記瞳孔に映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成機構と
    を備えた映像生成装置。
  2. 　前記瞳孔位置検出機構が、前記光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する反射部材を有する請求項１に記載の映像生成装置。
  3. 　前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する請求項１または請求項２に記載の映像生成装置。
  4. 　前記映像生成機構の映像生成用光ビームの光源、光走査ミラー及び反射部材が、前記瞳孔位置検出機構の光源、光走査ミラー及び反射部材を兼ねる請求項２に記載の映像生成装置。
  5. 　前記反射部材が、ホログラフィック反射板である請求項３または請求項４に記載の映像生成装置。
  6. 　前記ホログラフィック反射板が、メガネのリムまたはメガネのレンズの少なくとも一方に設けられている請求項５に記載の映像生成装置。
  7. 　前記眼球の表面を走査する光ビームは、前記ホログラフィック反射板に直接照射される請求項５または請求項６に記載の映像生成装置。
  8. 　前記眼球の表面を走査する光ビームは、前記メガネのリム或いはメガネのレンズの内部を伝搬して、前記メガネのリム或いはメガネのレンズの前記眼球の反対側の表面に設けられた前記ホログラフィック反射板により反射される請求項５に記載の映像生成装置。
  9. 　前記映像生成機構の光走査ミラーが、前記映像生成機構の光源からの光ビームの光軸方向に移動可能な移動機構を備えている請求項１乃至請求項８のいずれか１項に記載の映像生成装置。
  10. 　前記光源が、青色半導体レーザチップ、緑色半導体レーザチップ、赤色半導体レーザチップ、黄色半導体レーザチップ、赤外線半導体レーザチップ及び紫外線半導体レーザチップの内の１種類以上の半導体レーザチップを含む請求項１乃至請求項９のいずれか１項に記載の映像生成装置。
  11. 　少なくとも瞳孔の表面を光ビームで走査し、
    　前記瞳孔からの反射光強度の時間変化を測定し、
    　前記測定した前記反射光強度の時間変化から前記瞳孔からの反射光強度を抽出し、
    　前記抽出した瞳孔からの反射光強度と前記眼球の表面を走査する走査時間と同期することによって前記瞳孔のサイズと位置を検出したのち、
    　検出した前記瞳孔の位置の前記瞳孔に対して映像生成用光ビームを走査しながら投射して映像を前記眼球の網膜上に形成する映像生成方法。
  12. 　前記少なくとも瞳孔の表面を光ビームで走査する際に、反射部材を用いて光走査ミラーにより走査された光ビームを少なくとも前記瞳孔に対して反射する請求項１１に記載の映像生成方法。
  13. 　前記光走査ミラーにより走査された光ビームが、前記瞳孔及び虹彩を含む眼球の表面を走査する請求項１１に記載の映像生成方法。
  14. 　前記瞳孔のサイズと位置を検出する工程において、
    　前記眼球に対して、映像生成用光ビームを照射する予め複数のビームスポットを設定して走査用の前記光ビームを照射し、前記瞳孔の中心位置近傍であると検出した前記複数のビームスポットのうちの一つに前記映像生成用光ビームを走査しながら投射する請求項１３に記載の映像生成方法。
  15. 　前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーから光ビームの走査角度を変えて前記映像生成用光ビームを走査しながら投射する請求項１４に記載の映像生成方法。
  16. 　前記複数のビームスポットの各ビームスポット対して、前記映像生成用光ビームを走査する光走査ミラーを前記光源からの光ビームの光軸方向に移動させながら前記映像生成用光ビームを走査しながら投射する請求項１４に記載の映像生成方法。
  17. 　前記瞳孔の中心位置であると検出したビームスポットを中心位置として前記映像生成用光ビームを照射する位置を連続的に変化させて走査しながら投射する請求項１１に記載の映像生成方法。
  18. 　前記照射した光ビームが、前記光ビームが前記瞳孔を通過し、前記眼球の内部でビームスポット位置を形成する請求項１７に記載の映像生成方法。
  19. 　前記各ビームスポットに対して、予め定めたビーム走査角範囲内で走査動作を行い、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
  20. 　前記各ビームスポットに対して、予め定めたビーム走査角範囲を超えた範囲で走査動作を行いながら、前記予め定めたビーム走査角範囲内で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
  21. 　前記各ビームスポットに対して、前記予め定めたビーム走査角範囲を超えた範囲で前記映像生成用光ビームを走査しながら投射する請求項１４乃至請求項１８のいずれか１項に記載の映像生成方法。
PCT/JP2018/006693 2017-04-04 2018-02-23 映像生成装置及び映像生成方法 WO2018186046A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880023356.3A CN110494793B (zh) 2017-04-04 2018-02-23 影像生成装置和影像生成方法
JP2019511090A JP7033329B2 (ja) 2017-04-04 2018-02-23 映像生成装置及び映像生成方法
US16/589,661 US11307405B2 (en) 2017-04-04 2019-10-01 Image generating device and image generating method for detecting position of pupil

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-074819 2017-04-04
JP2017074819 2017-04-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/589,661 Continuation US11307405B2 (en) 2017-04-04 2019-10-01 Image generating device and image generating method for detecting position of pupil

Publications (1)

Publication Number Publication Date
WO2018186046A1 true WO2018186046A1 (ja) 2018-10-11

Family

ID=63712553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006693 WO2018186046A1 (ja) 2017-04-04 2018-02-23 映像生成装置及び映像生成方法

Country Status (5)

Country Link
US (1) US11307405B2 (ja)
JP (1) JP7033329B2 (ja)
CN (2) CN113721368A (ja)
TW (1) TWI746805B (ja)
WO (1) WO2018186046A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021508075A (ja) * 2017-12-22 2021-02-25 ディスペリックス オサケ ユキチュア 回折導波路要素及び回折導波路ディスプレイ
WO2021140752A1 (ja) * 2020-01-10 2021-07-15 ソニーグループ株式会社 映像投影装置
WO2021157204A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法
WO2022113539A1 (ja) * 2020-11-27 2022-06-02 カシオ計算機株式会社 網膜走査型投影装置、網膜走査投影方法およびコンバイナー
EP4066044A4 (en) * 2019-11-26 2023-12-27 Magic Leap, Inc. ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS
JP7464166B2 (ja) 2018-11-29 2024-04-09 株式会社リコー 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190094549A1 (en) * 2017-09-28 2019-03-28 Thalmic Labs Inc. Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
CN114326104B (zh) * 2020-09-28 2023-07-25 宏碁股份有限公司 具有结构光检测功能的扩增实境眼镜
CN112305756A (zh) * 2020-10-30 2021-02-02 维沃移动通信有限公司 电子设备、其控制方法及控制装置和可读存储介质
JP2022108496A (ja) * 2021-01-13 2022-07-26 株式会社リコー 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058505A (ja) * 2004-08-19 2006-03-02 Brother Ind Ltd 瞳孔検出装置およびそれを備えた画像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1755441B1 (en) * 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2010137661A1 (ja) 2009-05-28 2010-12-02 シチズンホールディングス株式会社 光源装置
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20140177017A1 (en) * 2011-08-31 2014-06-26 Pioneer Corporation Image display device
JP5817022B2 (ja) 2012-03-19 2015-11-18 国立大学法人福井大学 光合波器及びこの光合波器を用いた画像投影装置
EP3296797B1 (en) * 2013-03-25 2019-11-06 North Inc. Method for displaying an image projected from a head-worn display with multiple exit pupils
US9952389B2 (en) 2014-05-09 2018-04-24 National University Corporation University Of Fukui Multiplexer, image projection apparatus using the multiplexer and image projection system
CN107820592B (zh) * 2015-02-17 2021-07-06 谷歌有限责任公司 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法
CN107710048A (zh) * 2015-05-28 2018-02-16 赛尔米克实验室公司 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的系统、设备和方法
JP6231591B2 (ja) 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
JP6231541B2 (ja) 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
US9904051B2 (en) * 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10983340B2 (en) * 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US10306729B2 (en) * 2016-04-19 2019-05-28 Apple Inc. Display with ambient-adaptive backlight color
EP3750004A1 (en) * 2017-01-05 2020-12-16 Philipp K. Lang Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058505A (ja) * 2004-08-19 2006-03-02 Brother Ind Ltd 瞳孔検出装置およびそれを備えた画像表示装置
WO2009066475A1 (ja) * 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021508075A (ja) * 2017-12-22 2021-02-25 ディスペリックス オサケ ユキチュア 回折導波路要素及び回折導波路ディスプレイ
JP7227253B2 (ja) 2017-12-22 2023-02-21 ディスペリックス オサケ ユキチュア 回折導波路要素及び回折導波路ディスプレイ
JP7464166B2 (ja) 2018-11-29 2024-04-09 株式会社リコー 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
EP4066044A4 (en) * 2019-11-26 2023-12-27 Magic Leap, Inc. ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS
JP7467623B2 (ja) 2019-11-26 2024-04-15 マジック リープ， インコーポレイテッド 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
WO2021140752A1 (ja) * 2020-01-10 2021-07-15 ソニーグループ株式会社 映像投影装置
WO2021157204A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法
WO2022113539A1 (ja) * 2020-11-27 2022-06-02 カシオ計算機株式会社 網膜走査型投影装置、網膜走査投影方法およびコンバイナー
JP2022085325A (ja) * 2020-11-27 2022-06-08 カシオ計算機株式会社 網膜走査型投影装置、映像光出射方法およびコンバイナー
JP7163950B2 (ja) 2020-11-27 2022-11-01 カシオ計算機株式会社 網膜走査型投影装置、映像光出射方法およびコンバイナー

Also Published As

Publication number Publication date
CN110494793B (zh) 2022-01-18
JPWO2018186046A1 (ja) 2020-02-13
US20200033590A1 (en) 2020-01-30
CN110494793A (zh) 2019-11-22
US11307405B2 (en) 2022-04-19
CN113721368A (zh) 2021-11-30
JP7033329B2 (ja) 2022-03-10
TW201837784A (zh) 2018-10-16
TWI746805B (zh) 2021-11-21

Similar Documents

Publication Publication Date Title
WO2018186046A1 (ja) 映像生成装置及び映像生成方法
US11006102B2 (en) Method of utilizing defocus in virtual reality and augmented reality
KR102296369B1 (ko) 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
TW201712371A (zh) 資料眼鏡用的投影裝置，資料眼鏡，以及操作資料眼鏡用的投影裝置的方法
EP3294113B1 (en) Eye tracking device and method for operating an eye tracking device
EP2499962B1 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
CN112558751B (zh) 一种智能眼镜基于mems和光波导镜片的视线追踪方法
JP2020516959A (ja) 少なくとも１つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実（ａｒ）眼鏡および方法
KR20180094013A (ko) 증강 근안형 착용식 디스플레이를 위한 시스템 및 방법
CN104094197A (zh) 利用投影仪的注视追踪
JPWO2006038662A1 (ja) 画像表示装置および電子眼鏡
US9107619B2 (en) Optical-image pickup apparatus and method for controlling the same
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
CN111856749A (zh) 显示装置及方法
CN106707515A (zh) 一种集成视力矫正的近眼显示装置
JP2023509305A (ja) 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法
JP5272813B2 (ja) ヘッドマウントディスプレイ
DE102020206452A1 (de) Projektions- und Okulografievorrichtung für eine Datenbrille und Verfahren zum Betreiben einer Projektions- und Okulografievorrichtung für eine Datenbrille
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
JP7163230B2 (ja) 視線検出装置、視線検出方法、及び表示装置
JPH11352903A (ja) 画像表示装置
JP2006039271A (ja) 画像表示装置、その反射鏡及び画像表示方法
EP4242725A1 (en) Display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781091

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019511090

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781091

Country of ref document: EP

Kind code of ref document: A1