WO2017119213A1 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
WO2017119213A1
WO2017119213A1 PCT/JP2016/085255 JP2016085255W WO2017119213A1 WO 2017119213 A1 WO2017119213 A1 WO 2017119213A1 JP 2016085255 W JP2016085255 W JP 2016085255W WO 2017119213 A1 WO2017119213 A1 WO 2017119213A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pupil
speed
movement
detection
Prior art date
Application number
PCT/JP2016/085255
Other languages
English (en)
French (fr)
Inventor
菅原充
鈴木誠
新井道夫
Original Assignee
株式会社Ｑｄレーザ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｑｄレーザ filed Critical 株式会社Ｑｄレーザ
Priority to US16/062,424 priority Critical patent/US10761329B2/en
Publication of WO2017119213A1 publication Critical patent/WO2017119213A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/206—Control of light source other than position or intensity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors

Definitions

  • the present invention relates to an image projection apparatus.
  • An image projection apparatus such as a head mounted display (HMD) that directly projects an image on a user's retina using light emitted from a light source is known (for example, Patent Document 1).
  • HMD head mounted display
  • a method called Maxwell's view is used.
  • Maxwell's view light rays that form an image are focused near the pupil, and the image is projected onto the retina.
  • Patent Document 2 There is also known an image projection apparatus that performs image scrolling and page turning according to the moving direction of the user's eyeball, recognizes the moving speed of the user's eyeball, and determines the scroll amount according to the recognized speed.
  • Patent Document 3 There is known an image projection apparatus that associates the speed of the line of sight when the user's eyes are performing saccade movement with the degree of eye strain, and changes the warning message according to the degree of eye strain.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an image projection apparatus capable of controlling a plurality of different images.
  • the present invention is directed to projecting an image light beam for forming an image onto a pupil of a user's eyeball, thereby projecting the image onto a retina of the eyeball, a direction in which the pupil moves relative to the user's face, and
  • An image projection apparatus comprising: a detection unit that detects a speed of movement of the pupil; and a control unit that controls the different images when the pupil moves in the same direction at different speeds. is there.
  • control unit performs the first control of the image when it is determined that the speed of movement of the pupil is less than a predetermined speed, and the speed of movement of the pupil is the predetermined speed. It can be set as the structure which performs 2nd control of the said image, when it determines with it being more than speed.
  • control of the image may include at least one of control related to the projection position of the image and control related to the content of the image.
  • control unit performs control related to the projection position of the image when the speed of movement of the pupil is less than a predetermined speed, and the speed of movement of the pupil is equal to or higher than the predetermined speed. In some cases, it is possible to control the contents of the image.
  • the image projected onto the retina includes a first image and a second image that is different from the first image
  • the control unit is configured to control the movement speed of the pupil.
  • the projection position of the image light beam is moved so that the first image projected on the retina is continuously projected, and the movement speed of the pupil is set to the predetermined speed.
  • the first image projected on the retina can be switched to the second image when the speed is equal to or higher than the above-mentioned speed.
  • the image projected on the retina is an image corresponding to a page constituting an electronic book
  • the control unit is configured such that the speed of movement of the pupil in the left-right direction is equal to or higher than the predetermined speed.
  • it can be set as the structure which turns the said page of the said electronic book.
  • the image projected onto the retina is an image including a plurality of icons
  • the control unit responds to a direction in which the pupil has moved and a speed of movement from among the plurality of icons.
  • An icon can be selected.
  • control unit may control the different images when the pupil moves in different directions.
  • the detector includes a photodetector that detects reflected light of a plurality of detection light beams that are projected on the iris of the eyeball side by side in the radial direction of the pupil, and the detection unit includes the plurality of detectors by the photodetector. Based on the detection result of the reflected light of the detection light beam, the moving direction of the pupil and the speed of movement of the pupil can be detected.
  • an image beam that forms an image is projected onto the pupil of a user's eyeball, thereby projecting the image onto the retina of the eyeball, and the iris of the eyeball aligned in the radial direction of the pupil.
  • a photodetector that detects reflected light of a plurality of detection light beams to be projected, and a direction in which the pupil moves and a movement of the pupil based on a detection result of the reflected light of the plurality of detection light beams by the light detector
  • a detection unit that detects the speed of the pupil, and a control unit that controls the plurality of different images based on the detected direction of movement of the pupil and the speed of movement of the pupil.
  • the plurality of detection light beams may be projected onto the iris in a plurality of concentric shapes with respect to the pupil.
  • the plurality of detection light beams and the image light beam may be emitted from the same light source.
  • FIG. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIG. 2 is an enlarged view of the vicinity of the projection unit in FIG.
  • FIG. 3A is a diagram illustrating the vibration of the first mirror
  • FIG. 3B is a timing chart illustrating the emission timing of the image light beam and the detection light beam.
  • FIG. 4 is a front view of the eyeball showing the irradiation position of the detection light beam.
  • FIG. 5 is a timing chart showing detection timing for detecting reflected light.
  • FIGS. 6A to 6C are top views of the projection unit and the eyeball.
  • FIG. 7 is a flowchart illustrating operations of the control unit and the detection unit according to the first embodiment.
  • FIG. 7 is a flowchart illustrating operations of the control unit and the detection unit according to the first embodiment.
  • FIG. 8 is a flowchart illustrating operations of the control unit and the detection unit according to the first embodiment.
  • FIG. 9 is a flowchart illustrating operations of the control unit and the detection unit according to the second embodiment.
  • FIGS. 10A to 10C are top views of the eyeball showing the movement of the pupil and the control of the image light rays in the second embodiment.
  • FIG. 11 is a diagram illustrating pupil movement and image control in the second embodiment.
  • FIG. 12A and FIG. 12B are diagrams for explaining changes in the projection position of the image light beam and the plurality of detection light beams onto the eyeball.
  • FIG. 13 is a diagram for explaining changes in the projection position of the image light beam and the plurality of detection light beams on the eyeball.
  • FIG. 14 is a diagram illustrating a table included in the control unit according to the second embodiment.
  • FIG. 15 is a diagram illustrating pupil movement and image control in the third embodiment.
  • FIG. 16 is a flowchart illustrating operations of the control unit and the detection unit according to the fourth embodiment.
  • FIG. 17 is a diagram illustrating an image projected onto the user's retina in the fourth embodiment.
  • FIG. 1 is a top view of the image projection apparatus according to the first embodiment.
  • FIG. 2 is an enlarged view of the vicinity of the projection unit in FIG.
  • the image projection apparatus according to the first embodiment is a retinal projection type head mounted display using Maxwell's view in which an image beam for allowing a user to visually recognize an image is directly projected onto the retina of the user's eyeball.
  • the image projection apparatus 100 includes a photodetector 18, a control unit 20, a projection unit 24, and a detection unit 26.
  • the projection unit 24 includes the light source 12, the first mirror 14, the second mirror 15, the third mirror 17, the fourth mirror 44, the projection unit 16, and the position adjustment unit 22.
  • the light source 12 is disposed on the temple 30 of the glasses-type frame.
  • the light source 12 emits, for example, a light beam 34 having a single wavelength or a plurality of wavelengths under the instruction of the control unit 20.
  • the light beam 34 includes an image light beam for projecting an image on the retina 38 of the user's eyeball 36, a detection light beam for detecting movement of the pupil 40 of the user's eyeball 36 and opening / closing of the user's eyelid, Is included. Since the detection light beam is emitted from the same light source 12 as the image light beam, it is visible light like the image light beam.
  • the light source 12 emits red laser light (wavelength: about 610 nm to 660 nm), green laser light (wavelength: about 515 nm to 540 nm), and blue laser light (wavelength: about 440 nm to 480 nm), for example.
  • Examples of the light source 12 that emits red, green, and blue laser light include a light source in which RGB (red, green, and blue) laser diode chips, a three-color synthesis device, and a microcollimator lens are integrated.
  • the first mirror 14 is disposed on the temple 30 of the glasses-type frame.
  • the first mirror 14 scans the image light beam emitted from the light source 12 in the horizontal direction and the vertical direction.
  • the first mirror 14 reflects the detection light beam emitted from the light source 12.
  • the first mirror 14 is, for example, a MEMS (Micro Electro Mechanical System) mirror.
  • the light beam 34 emitted from the light source 12 is reflected by, for example, the second mirror 15 and the third mirror 17 and enters the first mirror 14.
  • FIG. 3A shows the vibration of the first mirror.
  • the image light and the detection light will be described with reference to FIG. 3A and FIG. 3B described later.
  • the number of detection light beams is omitted for clarity of explanation.
  • As a method of scanning an image light beam by the first mirror 14 and projecting an image on the retina 38 there is a method of displaying an image by scanning light at high speed from the upper left to the lower right of the image (for example, raster scan).
  • the first mirror 14 is larger than the range of the image projected on the retina 38 (the broken line range in FIG. 3A) in order to scan the image light ray 34a, and is in the horizontal direction ( It vibrates in the first direction) and in the vertical direction (second direction intersecting the first direction).
  • the vibration of the first mirror 14 is indicated by reference numeral 50.
  • the image light beam 34a When the image light beam 34a is scanned at a location where the first mirror 14 is greatly shaken and the image is projected onto the retina 38, the image light beam 34a has a small shake of the first mirror 14 because the image distortion becomes large. Scanned in place.
  • the detection light beam 34 b is incident on the first mirror 14 at a timing when the image light beam 34 a is not scanned in the vibration 50 of the first mirror 14.
  • the light source 12 emits the image light beam 34a to the first mirror 14 during the period corresponding to the range of the image projected on the retina 38 in the vibration 50 of the first mirror 14, and detects it at a time outside the range of the image.
  • the light beam 34 b is emitted to the first mirror 14.
  • FIG. 3B is a timing chart showing the emission timing of the image light beam and the detection light beam, and the image light beam 34a when the first mirror 14 vibrates from the point A to the point B in FIG. This is the emission timing of the light beam for detection 34b from the light source 12.
  • the light intensity of the detection light beam 34b may be the same as or different from that of the image light beam 34a.
  • the light intensity of the detection light beam 34b may be any light intensity that allows the reflected light 46 to be detected by the photodetector 18 described later.
  • the detection light beam 34b may be a light beam having a single wavelength, or may be a light beam corresponding to one pixel or several pixels of an image projected on the retina 38.
  • FIG. 3A the case where the image light beam 34a is scanned in a rectangular shape is shown as an example. However, the present invention is not limited to this, and other cases such as scanning in a trapezoidal shape may be used.
  • the image light beam 34 a scanned by the first mirror 14 and the detection light beam 34 b reflected by the first mirror 14 are directed toward the lens 32 of the glasses-type frame by the fourth mirror 44. And reflected. Since the projection unit 16 is disposed on the surface of the lens 32 on the eyeball 36 side, the image light beam 34 a scanned by the first mirror 14 and the detection light beam 34 b reflected by the first mirror 14 are transmitted to the projection unit 16. Is incident on.
  • the projection unit 16 is a half mirror having a free curved surface or a combined structure of a free curved surface and a diffractive surface in the first region 16a where the image light beam 34a is incident.
  • the image light ray 34 a incident on the projection unit 16 is projected on the retina 38 after being converged in the vicinity of the pupil 40 of the eyeball 36. Therefore, the user can recognize the image formed by the image light beam 34a and can visually recognize the outside world image with see-through.
  • the projection unit 16 is a half mirror having a shape optically discontinuous with the first region 16a in the second region 16b where the detection light beam 34b is incident. Thereby, the detection light beam 34 b is projected onto the iris 42 of the eyeball 36 when the image light beam 34 a passes through the pupil 40 and is projected onto the retina 38.
  • the detection light ray 34b is the second surface area 36b away from the first surface area 36a of the eyeball 36. Projected on.
  • FIG. 4 is a front view of the eyeball showing the irradiation position of the detection light beam.
  • the projection of the image light beam 34a and the detection light beam 34b onto the eyeball 36 will be described with reference to FIG.
  • a plurality of detection light beams 34 b are projected onto the iris 42 when the image light beam 34 a passes through the vicinity of the center of the pupil 40 and is projected onto the retina 38.
  • the plurality of detection light beams 34 b are scattered in a plurality of concentric circles with respect to the pupil 40, are aligned in the radial direction of the pupil 40, and are projected onto the iris 42.
  • the image light beam 34a passes through the pupil 40 and is projected onto the retina 38, while the plurality of detection light beams 34b are projected. It can be projected onto the iris 42. Further, the image light beam 34 a and the plurality of detection light beams 34 b are emitted from the light source 12 at a predetermined timing with respect to the vibration of the first mirror 14. That is, the relative emission timings of the image light beam 34a and the plurality of detection light beams 34b are fixed. Therefore, the image light beam 34 a and the plurality of detection light beams 34 b are projected on the eyeball 36 with the relative positional relationship fixed. Further, as shown in FIG.
  • the plurality of detection light beams 34b are light reflected at different positions of the vibration 50 of the first mirror 14, different times (different timings) at different positions of the iris 42 are obtained. ). That is, the plurality of detection light beams 34 b are sequentially projected onto different positions of the iris 42.
  • the photodetector 18 is arranged on the frame of the lens 32.
  • the photodetector 18 is, for example, a photodetector.
  • the photodetector 18 detects the reflected light 46 reflected by the iris 42 from the plurality of detection light beams 34b.
  • FIG. 5 is a timing chart showing detection timing for detecting reflected light. The detection timing at which the control unit 20 detects the reflected light 46 using the photodetector 18 will be described with reference to FIG. In FIG. 5, the number of light beams for detection is omitted for clarity of explanation. As shown in FIG.
  • the control unit 20 detects the reflected light 46 using the photodetector 18 at the timing when the detection light beam 34 b is emitted from the light source 12. As a result, it can be seen which of the plurality of detection light beams 34b the reflected light 46 of the detection light beam 34b is not detected. Note that the time for detecting the reflected light 46 may be widened in consideration of the performance of the photodetector 18 and the like.
  • 1 and 2 exemplify the case where the photodetector 18 is disposed in the vicinity of the center of the lens 32.
  • the reflected light 46 can be detected, for example, in the vicinity of the temple 30 of the lens 32. Or a nose pad (not shown) or the like.
  • the plurality of detection light beams 34b are projected onto the iris 42 in order, so that one light detector is used. 18, the reflected light 46 of the plurality of detection light beams 34 b can be detected.
  • a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory) function as the control unit 20 and the detection unit 26.
  • the processor and the memory are provided in an external device (for example, a mobile terminal).
  • the processor functions as the control unit 20 and the detection unit 26 in accordance with a program stored in the memory.
  • the control unit 20 and the detection unit 26 may function by different processors or may function by the same processor.
  • the control unit 20 controls the projection unit 24.
  • the control unit 20 causes the light source 12 to emit an image light beam 34 a based on the input image data and a detection light beam 34 b for detecting movement of the pupil 40 and eyelid opening / closing.
  • the control unit 20 controls the optical system including the light source 12 and the first mirror 14 based on the detection result of the detection unit 26.
  • the control unit 20 controls the emission of the light beam including the image light beam 34 a and / or the detection light beam 34 b from the light source 12.
  • the control unit 20 drives the position adjustment unit 22 to move the position of the first mirror 14 and controls to move the positions of the third mirror 17 and the fourth mirror 44 in accordance with the movement of the first mirror 14. I do.
  • the detection unit 26 detects the direction and speed of movement of the pupil 40 and the opening / closing of the eyelid based on the detection result of the photodetector 18.
  • the detection of the reflected light 46 using the photodetector 18 will be described with reference to FIGS. 6 (a) to 6 (c).
  • FIGS. 6A to 6C are top views of the projection unit and the eyeball.
  • FIG. 6A is a diagram illustrating a case where the image light beam 34 a passes through the pupil 40 and all of the plurality of detection light beams 34 b are projected onto the iris 42.
  • FIG. 6A is a diagram illustrating a case where the image light beam 34 a passes through the pupil 40 and all of the plurality of detection light beams 34 b are projected onto the iris 42.
  • FIG. 6B is a diagram illustrating a case where a part of the plurality of detection light beams 34 b passes through the pupil 40 and is no longer projected onto the iris 42 due to the rotation of the eyeball 36.
  • FIG. 6C is a diagram illustrating a case where all of the plurality of detection light beams 34 b are no longer projected onto the iris 42 due to the closure of the eyelid 37.
  • the detection light beam 34b When the detection light beam 34b is projected onto the iris 42, a relatively large reflected light 46 is generated.
  • the detection light beam 34b passes through the pupil 40 and is projected onto the retina 38 due to the rotation of the eyeball 36, or when the detection light beam 34b is projected onto the eyelid 37 due to the closure of the eyelid 37, the reflected light 46 is reflected. It is hard to occur. That is, in the case of FIG. 6A, the photodetector 18 detects relatively large reflected light 46 in all of the plurality of detection light beams 34b. On the other hand, in the case of FIG. 6B, the photodetector 18 does not detect the reflected light 46 in a part of the plurality of detection light beams 34b. In the case of FIG.
  • the light detector 18 does not detect the reflected light 46 in all of the plurality of detection light beams 34b. That is, when the user moves the eyeball 36, the photodetector 18 does not detect a part of the reflected light 46 among the plurality of detection light beams 34b. When the user closes the bag 37, the photodetector 18 does not detect all the reflected light 46 of the plurality of detection light beams 34b.
  • the photodetector 18 detects the reflected light 46 of the plurality of detection light beams 34 b reflected on the user's eyeball 36.
  • the direction from the position irradiated with the image light beam 34a to the position corresponding to the detection light beam 34b in which the reflected light 46 is no longer detected corresponds to the direction in which the pupil 40 has moved. Therefore, the detection unit 26 detects this direction as the direction in which the pupil 40 has moved (that is, the rotation direction of the eyeball 36). Further, as shown in FIG. 4, the plurality of detection light beams 34 b are projected on the eyeball 36 along the radial direction of the pupil 40.
  • the photodetector 18 detects the reflected light 46 of the detection light beam 34b located inside the radial direction of the pupil 40.
  • the speed of movement of the pupil 40 can be determined from the time from when the reflected light 46 of the detection light beam 34b positioned outside is lost. For example, when the pupil 40 moves the distance between the detection light beams 34b over a longer time than the vertical vibration (vertical scanning) by the first mirror 14, the speed of movement of the pupil 40 is known. Therefore, the detection unit 26 detects the speed of movement of the pupil 40 based on the detection result of the photodetector 18.
  • the photodetector 18 does not detect all the reflected light 46 of the plurality of detection light beams 34b, this corresponds to the user's bag 37 being closed. Therefore, when the photodetector 18 does not detect all the reflected light 46 of the plurality of detection light beams 34b, the detection unit 26 detects that the user's eyelid 37 is closed.
  • the fact that the light detector 18 does not detect the reflected light 46 means that the reflected light 46 having a magnitude greater than or equal to a predetermined value is not detected. That is, when the intensity of the reflected light 46 detected by the photodetector 18 is equal to or less than a predetermined value, the detection unit 26 can determine that the reflected light 46 is not detected.
  • FIG. 7 is a flowchart illustrating operations of the control unit and the detection unit according to the first embodiment.
  • the detection unit 26 detects the direction in which the pupil 40 has moved and the speed of movement of the pupil 40 (step S10).
  • the moving direction of the pupil 40 detected by the detection unit 26 is the first direction.
  • the control unit 20 determines the speed of movement of the pupil 40 detected by the detection unit 26 (step S12). When the movement speed of the pupil 40 is less than the first speed, the control unit 20 performs the first control on the image projected on the user's retina 38 (step S14). When the movement of the pupil 40 is not less than the first speed and less than the second speed, the control unit 20 performs the second control on the image projected on the user's retina 38 (step S16). ). When the movement of the pupil 40 is equal to or higher than the second speed, the control unit 20 performs the third control on the image projected on the user's retina 38 (step S18).
  • the projecting unit 24 projects an image on the retina 38 of the eyeball 36 by projecting the image light beam 34 a that forms the image onto the pupil 40 of the eyeball 36 of the user.
  • the detection unit 26 detects the direction in which the user's pupil 40 has moved and the speed of the movement.
  • the control unit 20 controls different images when the user's pupil 40 moves in the same direction at different speeds. Thereby, since the image can be controlled according to the speed of the pupil 40, a plurality of different images can be controlled.
  • the photodetector 18 detects the reflected light 46 of the plurality of detection light beams 34 b projected on the iris 42 of the eyeball 36 side by side in the radial direction of the pupil 40.
  • the detection unit 26 detects the direction in which the pupil 40 has moved and the speed of movement of the pupil 40 based on the detection result of the reflected light 46 of the plurality of detection light beams 34 b by the photodetector 18. Thereby, the direction and speed of the movement of the pupil 40 can be detected with high accuracy, and the image can be controlled with high accuracy according to the user's intention.
  • the plurality of detection light beams 34 b surround the pupil 40 and are projected onto the iris 42 in a plurality of concentric circles with respect to the pupil 40. Thereby, the direction and speed of movement of the pupil 40 can be detected with high accuracy.
  • the image light beam 34 a and the plurality of detection light beams 34 b are emitted from the same light source 12. Therefore, since the optical system can be shared by the image light beam 34a and the plurality of detection light beams 34b, the image projection apparatus can be miniaturized.
  • FIG. 7 is a flowchart illustrating operations of the control unit and the detection unit according to the first embodiment.
  • the detection unit 26 based on the detection of the detection light beam 34b by the photodetector 18, the detection unit 26 detects the direction in which the pupil 40 has moved and the speed of movement of the pupil 40 (step S30).
  • the movement speed of the pupil 40 detected by the detection unit 26 is the first speed.
  • the control unit 20 determines the direction in which the pupil 40 detected by the detection unit 26 has moved (step S32).
  • the control unit 20 performs the second control on the image projected on the user's retina 38 (step S34).
  • the control unit 20 performs the fourth control on the image projected on the user's retina 38 (step S36).
  • the control unit 20 performs the fifth control on the image projected on the user's retina 38 (step S38).
  • control unit 20 may control different images when the pupil 40 moves in different directions.
  • different control is performed when the pupil 40 described in FIG. 8 moves in different directions.
  • more different images can be controlled. For example, different images are controlled when the pupil 40 moves in the same direction at three speeds, and different images are controlled when the pupil 40 moves in three different directions at the same speed. As a result, nine different images can be controlled.
  • the first to fifth control of the image can include at least one of control related to the projection position of the image and control related to the content of the image.
  • the control related to the projection position of the image includes, for example, control for moving the projection position of the image light beam 34a. Details of this point will be described later.
  • Controls related to image content include, for example, switching from a still image to another still image, stopping or fast-forwarding a movie, switching an image from a camera to an image from another camera, or enlarging an image ⁇ Intentionally change the projected image from the current state, such as when reducing, superimposing an icon etc. on the image of the outside world seen through, or changing the color or brightness of the image Includes control.
  • the moving image playback speed and fast forward / rewind speed are changed according to the movement speed of the pupil 40 (from the first control to the third control of the image). Also good.
  • the image reduction rate or magnification rate may be changed according to the speed of movement of the pupil 40.
  • the color and brightness of the image may be changed according to the speed of movement of the pupil 40.
  • the case where the speed of movement of the pupil 40 is divided into three stages is shown as an example, but it may be divided into two stages or four or more stages.
  • the case where the direction in which the pupil 40 moves is divided into three stages is shown as an example, but it may be divided into two stages or four or more stages.
  • the moving direction and the speed of movement of the pupil 40 are detected based on the reflected light 46 of a plurality of detection light beams 34b emitted from the same light source 12 as the image light beam 34a.
  • the moving direction of the pupil 40 and the speed of the movement may be detected by other methods.
  • the plurality of detection light beams 34b may be light emitted from a light source different from the image light beam 34a such as infrared rays.
  • FIG. 9 is a flowchart illustrating operations of the control unit and the detection unit according to the second embodiment.
  • FIGS. 10A to 10C are top views of the eyeball showing the movement of the pupil and the control of the image light rays in the second embodiment.
  • FIG. 11 is a diagram illustrating pupil movement and image control in the second embodiment.
  • the control unit 20 causes the projection unit 24 to focus the image light beam 34a within the pupil 40 and project the image light beam 34a onto the retina 38. Is controlling.
  • the image light ray 34 a is incident from substantially the front of the pupil 40 and passes through the substantial center of the pupil 40.
  • the detection unit 26 detects the direction in which the pupil 40 has moved and the speed of movement of the pupil 40 (step S50).
  • the control unit 20 determines whether or not the speed of movement of the pupil 40 is equal to or higher than a predetermined speed (step S52).
  • the control unit 20 controls the projection unit 24 to control the content of the image projected on the retina 38. This is performed (step S54). For example, as illustrated in FIG. 11, it is assumed that an image 80 of the still image A is projected on the user's retina 38 before the pupil 40 moves.
  • the control unit 20 When the pupil 40 moves upward at a predetermined speed or more, the control unit 20 causes the image 80 of the still image B to be projected onto the retina 38 of the user. When the pupil 40 moves in the left direction at a predetermined speed or more, the control unit 20 causes the image 80 of the still image C to be projected onto the retina 38 of the user. When the pupil 40 moves downward at a predetermined speed or more, the control unit 20 causes the image 80 of the still image D to be projected onto the retina 38 of the user. When the pupil 40 moves rightward at a predetermined speed or more, the control unit 20 causes the image 80 of the still image E to be projected onto the retina 38 of the user.
  • the image projection apparatus 100 is fixed to the user's head and / or face, if it is detected that the pupil 40 has moved, the pupil 40 should move with respect to the user's head and / or face. become. Therefore, as shown in FIG. 10B, when the pupil 40 moves in the left direction 52, at least a part of the image light beam 34a is projected onto the iris 42, and at least a part of the image light beam 34a. May not be projected onto the retina 38.
  • step S52 when the movement speed of the pupil 40 is less than the predetermined speed (step S52: No), the control unit 20 projects the image so that the image is projected onto the retina 38.
  • the control regarding is performed (step S56).
  • the control unit 20 controls the projection unit 24 such that the image light beam 34 a is projected onto the pupil 40.
  • the control unit 20 moves the projection position of the image light beam 34 a in the left direction 52 where the pupil 40 has moved, as indicated by an arrow 56. As a result, the image light beam 34 a passes through substantially the center of the pupil 40.
  • the control unit 20 tilts the irradiation direction of the image light beam 34a to the left direction in which the pupil 40 has moved.
  • the image light beam 34 a is incident from almost the front of the pupil 40. Therefore, the user can visually recognize the same image as before the pupil 40 moves. That is, in the case of FIG. 11, the user can continue to view the image 80 of the still image A.
  • step S56 in FIG. 9 a specific example of step S56 in FIG. 9 will be described.
  • the control unit 20 drives the position adjustment unit 22 to move the position of the first mirror 14 based on the detection result of the detection unit 26, and changes the first mirror 14 according to the movement of the first mirror 14.
  • the positions of the third mirror 17 and the fourth mirror 44 are moved.
  • the scanning origin of the image light beam 34a can be moved.
  • the projection positions of the image light beam 34a and the plurality of detection light beams 34b on the eyeball 36 can be moved. This will be described with reference to FIGS.
  • FIG. 12A to FIG. 13 are diagrams for explaining changes in the projection position of the image light beam and the plurality of detection light beams onto the eyeball.
  • FIG. 13 illustrates a state in which FIG. 12A and FIG. 12B are combined.
  • the state in FIG. 12A is indicated by a dotted line, and the state in FIG. 12B is indicated by a solid line. Yes.
  • the dotted lines in FIGS. 12A and 13 show the case where the image light ray 34 a passes through the vicinity of the center of the pupil 40.
  • the position adjustment unit 22 is driven to move the position of the first mirror 14 as shown by the solid line in FIGS. 12B and 13, and the first mirror is moved.
  • the scanning origin of the image light beam 34 a moves from O to O ′.
  • the incident position of the image light beam 34a corresponding to the central portion of the image projected onto the retina 38 is hardly changed. This is to suppress deterioration in the quality of the image projected on the retina 38, changes in the incident position of the detection light beam 34b on the projection unit 16, and the like.
  • the incident angles of the image light beam 34a and the detection light beam 34b to the projection unit 16 change, and as a result, the eyeballs of the image light beam 34a and the detection light beam 34b.
  • the projection position to 36 moves.
  • the image light beam 34a and the detection light beam 34b move in conjunction with each other while the relative positional relationship between the projection positions on the eyeballs 36 is fixed. For example, from the state in which the image light ray 34a passes through the vicinity of the center of the pupil 40 as shown by the dotted lines in FIGS. 12A and 13, the image light rays 34a are used as shown by the solid lines in FIGS.
  • the position of the first mirror 14 is moved by the position adjusting unit 22, and the positions of the third mirror 17 and the fourth mirror 44 are moved in accordance with the movement of the first mirror 14.
  • the first mirror 14 and the like are preferably moved in an arc shape, but may be moved linearly in the direction of the arrow in FIG. 13 and in the direction perpendicular to the paper surface in FIG. 13 (the direction perpendicular to the arrow).
  • a biaxial actuator for example, an ultrasonic actuator
  • a biaxial actuator that can move in the biaxial direction can be used as the position adjusting unit 22.
  • the control unit 20 controls the projection position of the image projected on the retina 38 when the speed of movement of the pupil 40 is less than a predetermined speed. .
  • the control unit 20 moves the projection position of the image light ray 34 a so that the image 80 of the still image A projected on the retina 38 is continuously projected.
  • the control unit 20 performs control related to the content of the image projected on the retina 38.
  • the control unit 20 switches the image 80 of the still image A projected on the retina 38 to the images 80 of the still images B to E.
  • the user can control the content of the image (for example, switching of the image) by moving the pupil quickly, and when the user moves the pupil without intending to control the content of the image, The user can visually recognize the same image as before the movement.
  • a moving image may be projected.
  • the moving image may be temporarily stopped when the pupil 40 moves upward at a predetermined speed or higher, and the moving image may be stopped when the pupil 40 moves downward at a predetermined speed or higher.
  • an image from a camera may be projected. In this case, for example, when an image from a camera that captures the front of the user is projected, and the pupil 40 moves in the right direction at a predetermined speed or more, the image is switched from the camera that captures the rear of the user. May be.
  • the case where different control is performed on the content of the image when the pupil 40 moves in the up, down, left, and right directions is shown as an example. In some cases, different control may be performed on the content of the image.
  • the movement distance of the projection position of the image light beam 34a may be reduced with respect to the movement distance of the pupil 40.
  • a table (see FIG. 14) in which the moving direction and moving distance of the image light beam 34a is determined for each of the plurality of detection light beams 34b is stored in advance in the control unit 20 or the like. This can be done by moving the projection position of the image light beam 34a according to the moving direction and the moving distance obtained from the detection light beam 34b not detected by the device 18 and the table. This makes it easier for the user to see, for example, characters written on the edge of a still image. Even if the moving distance of the projection position of the image light beam 34a is not reduced, a table as shown in FIG. 14 may be prepared in advance and the projection position of the image light beam 34a may be moved using the table. Good.
  • Example 3 is an example in a case where an image projected on the user's retina 38 is an image corresponding to a page constituting an electronic book.
  • the image projection apparatus according to the third embodiment is the same as that of the first embodiment shown in FIG.
  • the flowchart showing the operation of the control unit and the detection unit in the third embodiment is the same as that in FIG.
  • FIG. 15 is a diagram illustrating pupil movement and image control in the third embodiment.
  • FIG. 15 shows the control in step S54 of FIG.
  • the control unit 20 switches to the image 80 on the third page of the electronic book.
  • the control unit 20 switches to the image 80 of the first page of the electronic book.
  • the image projected on the user's retina 38 is an image corresponding to a page constituting the electronic book.
  • the control unit 20 turns the page of the electronic book when the pupil 40 moves in the left-right direction at a predetermined speed or more. Thereby, the user can turn the page of an electronic book by moving a pupil fast.
  • FIG. 16 is a flowchart illustrating operations of the control unit and the detection unit according to the fourth embodiment.
  • FIG. 17 is a diagram illustrating an image projected onto the user's retina in the fourth embodiment.
  • the control unit 20 projects an image including a plurality of icons onto the user's retina 38, for example, when the image projection apparatus is activated or in response to an instruction from the user (step S70).
  • the control unit 20 projects an image 80 in which icons 1 to 9 are arranged in 3 rows and 3 columns vertically and horizontally onto the retina 38 of the user.
  • the control unit 20 determines whether or not the detection unit 26 has detected the moving direction of the pupil 40 and the speed of the movement (step S72).
  • the detection unit 26 detects the direction in which the pupil 40 has moved and the speed of movement of the pupil 40 based on detection of the detection light beam 34 b by the photodetector 18.
  • the control unit 20 selects an initially set icon from the plurality of icons (step S74). For example, in FIG. 17, when the default icon is the first icon 82, the control unit 20 selects the first icon 82. Note that the control unit 20 may change the color of the icon, blink the icon, or enclose the icon in a circle so that the user can recognize the selected icon.
  • Step S72 When the movement of the pupil 40 is detected (step S72: Yes), the control unit 20 controls the projection unit 24 so that the image light ray 34a is projected onto the pupil 40 (step S76).
  • Step S76 is performed by the same method as step S56 of FIG. Thereby, the user can visually recognize the same image as before the pupil 40 moves.
  • the control unit 20 selects an icon corresponding to the direction in which the pupil 40 has moved and the speed of the movement (step S78). For example, in FIG. 17, the control unit 20 selects the second icon when the pupil 40 moves to the left, and the third icon when the pupil 40 moves to the left at a predetermined speed or higher. Select an icon.
  • the control unit 20 selects the fourth icon when the pupil 40 moves upward, and selects the seventh icon when the pupil 40 moves upward at a predetermined speed or higher.
  • the control unit 20 selects the fifth icon when the pupil 40 moves in the upper left direction, and selects the ninth icon when the pupil 40 moves in the upper left direction at a predetermined speed or higher.
  • the control unit 20 selects the sixth icon when the pupil 40 moves upward after moving to the left at a predetermined speed or higher, and the pupil 40 moves upward at a predetermined speed or higher. If it moves to the left later, the 8th icon is selected.
  • control unit 20 activates the selected icon based on an instruction from the user (step S80). For example, the control unit 20 activates the selected icon when the detection unit 26 detects that the user's bag 37 is closed for a predetermined time or more.
  • the image projected on the user's retina 38 is an image 80 including a plurality of icons 82 as shown in FIG.
  • the control unit 20 selects one icon from the plurality of icons 82 according to the moving direction of the pupil 40 and the speed of the movement, as in step S78 of FIG. Thereby, the user can select one icon from a plurality of icons only by changing the moving direction and speed of the pupil.
  • the detection light beam 34b when the light detector 18 does not detect two or more detection light beams 34 among the plurality of detection light beams 34b, the detection light beam 34b is not detected. An intermediate position may be obtained, and the projection position of the image light beam 34a may be moved in the direction of the intermediate position.
  • the eyeglass-type HMD has been described as an example of the image projection apparatus, but an image projection apparatus other than the HMD may be used.
  • an image projection apparatus other than the HMD may be used.
  • an image may be projected onto the retina 38 of both eyeballs 36.
  • the scanning mirror has been described as an example of the scanning unit, the scanning unit only needs to be able to scan light rays.
  • other parts such as a potassium tantalate niobate (KTN) crystal that is an electro-optic material may be used as the scanning unit.
  • KTN potassium tantalate niobate
  • laser light has been described as an example of the light beam, light other than laser light may be used.

Abstract

本発明は、複数の異なる画像の制御を行うことが可能な画像投影装置を提供することを目的とする　本発明の画像投影装置は、画像を形成する画像用光線（３４ａ）をユーザの眼球（３６）の瞳孔（４０）に投射することにより、前記眼球の網膜（３８）に前記画像を投影する投影部（２４）と、前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部（２６）と、前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部（２０）と、を備える。

Description

画像投影装置
　本発明は、画像投影装置に関する。
　光源から出射された光線を用いユーザの網膜に画像を直接投影するヘッドマウントディスプレイ（ＨＭＤ）などの画像投影装置が知られている（例えば、特許文献１）。このような画像投影装置では、マックスウエル視といわれる方法が用いられる。マックスウエル視では、画像を形成する光線を瞳孔近傍で集束させ、網膜に画像を投影する。
　また、ユーザの眼球の移動方向に応じて画像のスクロールやページ送りを行うと共に、ユーザの眼球の移動速度を認識して、認識した速度に応じてスクロール量を決定する画像投影装置が知られている（例えば、特許文献２）。また、ユーザの眼がサッカード運動を起こしている時の視線の速度と眼精疲労度とを対応させ、眼精疲労度に応じて警告メッセージを異ならせる画像投影装置が知られている（例えば、特許文献３）。
国際公開第２０１４／１９２４７９号 特開２０１０－１５２４４３号公報 特開２０１２－１３７６３９号公報
　しかしながら、ユーザの眼球の移動方向に応じて画像を制御するだけでは、複数の異なる画像の制御を行う点で改善の余地が残されている。
　本発明は、上記課題に鑑みなされたものであり、複数の異なる画像の制御を行うことが可能な画像投影装置を提供することを目的とする。
　本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置である。
　上記構成において、前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であると判定したときに前記画像の第１の制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であると判定したときに前記画像の第２の制御を行う構成とすることができる。
　上記構成において、前記画像の制御は、前記画像の投影位置に関する制御及び前記画像の内容に関する制御の少なくとも一方を含む構成とすることができる。
　上記構成において、前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であるときには前記画像の投影位置に関する制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記画像の内容に関する制御を行う構成とすることができる。
　上記構成において、前記網膜に投影される前記画像には、第１の画像と、前記第１の画像とは異なる第２の画像と、が含まれ、前記制御部は、前記瞳孔の動きの速さが前記所定の速さ未満であるときには前記網膜に投影されている前記第１の画像が投影され続けるように前記画像用光線の投射位置を移動させ、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記網膜に投影されている前記第１の画像を前記第２の画像に切り替える構成とすることができる。
　上記構成において、前記網膜に投影される前記画像は、電子書籍を構成するページに対応した画像であり、前記制御部は、前記瞳孔の左右方向への動きの速さが前記所定の速さ以上であるときには前記電子書籍の前記ページを捲る構成とすることができる。
　上記構成において、前記網膜に投影される前記画像は、複数のアイコンを含んだ画像であり、前記制御部は、前記複数のアイコンの中から前記瞳孔が動いた方向及び動きの速さに応じたアイコンを選択する構成とすることができる。
　上記構成において、前記制御部は、前記瞳孔が異なる方向に動いたときには異なる前記画像の制御を行う構成とすることができる。
　上記構成において、前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器を備え、前記検出部は、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する構成とすることができる。
　本発明は、画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔が動いた方向及び前記瞳孔の動きの速さを検出する検出部と、検出された前記瞳孔が動いた方向及び前記瞳孔の動きの速さに基づき、複数の異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置である。
　上記構成において、前記複数の検出用光線は、前記瞳孔に対して複数の同心円状で前記虹彩に投射される構成とすることができる。
　上記構成において、前記複数の検出用光線と前記画像用光線とは、同じ光源から出射される構成とすることができる。
　本発明によれば、複数の異なる画像の制御を行うことができる。
図１は、実施例１に係る画像投影装置の上視図である。 図２は、図１の投射部近傍を拡大した図である。 図３（ａ）は、第１ミラーの振動を示す図、図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートである。 図４は、検出用光線の照射位置を示す眼球の正面図である。 図５は、反射光を検出する検出タイミングを示すタイミングチャートである。 図６（ａ）から図６（ｃ）は、投射部及び眼球の上視図である。 図７は、実施例１における制御部及び検出部の動作を示すフローチャートである。 図８は、実施例１における制御部及び検出部の動作を示すフローチャートである。 図９は、実施例２における制御部及び検出部の動作を示すフローチャートである。 図１０（ａ）から図１０（ｃ）は、実施例２における瞳孔の動きと画像用光線の制御とを示す眼球の上視図である。 図１１は、実施例２における瞳孔の動きと画像の制御とを示す図である。 図１２（ａ）及び図１２（ｂ）は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。 図１３は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。 図１４は、実施例２において制御部が有するテーブルを示す図である。 図１５は、実施例３における瞳孔の動きと画像の制御とを示す図である。 図１６は、実施例４における制御部及び検出部の動作を示すフローチャートである。 図１７は、実施例４においてユーザの網膜に投影される画像を示す図である。
　以下、図面を参照しつつ、本発明の実施例について説明する。
　図１は、実施例１に係る画像投影装置の上視図である。図２は、図１の投射部近傍を拡大した図である。なお、実施例１の画像投影装置は、ユーザに画像を視認させるための画像用光線が当該ユーザの眼球の網膜に直接投射される、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。
　実施例１の画像投影装置１００は、図１のように、光検出器１８、制御部２０、投影部２４および検出部２６を備える。投影部２４は、光源１２、第１ミラー１４、第２ミラー１５、第３ミラー１７、第４ミラー４４、投射部１６、位置調整部２２を備える。光源１２は、メガネ型フレームのツル３０に配置されている。光源１２は、制御部２０の指示の下、例えば単一又は複数の波長の光線３４を出射する。この光線３４には、ユーザの眼球３６の網膜３８に画像を投影するための画像用光線と、ユーザの眼球３６の瞳孔４０の動き及びユーザの瞼の開閉を検出するための検出用光線と、が含まれる。検出用光線は、画像用光線と同じ光源１２から出射されることから、画像用光線と同じく可視光である。光源１２は、例えば赤色レーザ光（波長：６１０ｎｍ～６６０ｎｍ程度）、緑色レーザ光（波長：５１５ｎｍ～５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ～４８０ｎｍ程度）を出射する。赤色、緑色、及び青色レーザ光を出射する光源１２として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとマイクロコリメートレンズとが集積された光源が挙げられる。
　第１ミラー１４は、メガネ型フレームのツル３０に配置されている。第１ミラー１４は、光源１２から出射された画像用光線を、水平方向及び垂直方向に走査する。また、第１ミラー１４は、光源１２から出射された検出用光線を反射する。第１ミラー１４は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーである。なお、光源１２から出射された光線３４は、例えば第２ミラー１５及び第３ミラー１７で反射されて、第１ミラー１４に入射する。
　図３（ａ）は、第１ミラーの振動を示す図である。図３（ａ）と後述の図３（ｂ）とを用いて画像用光線と検出用光線について説明する。なお、図３（ａ）及び図３（ｂ）では、説明の明瞭化のために検出用光線の個数を省略している。第１ミラー１４によって画像用光線を走査して網膜３８に画像を投影する方法として、画像の左上から右下まで光を高速に走査して画像を表示する方法（例えばラスタースキャン）がある。図３（ａ）のように、第１ミラー１４は、画像用光線３４ａを走査するために、網膜３８に投影する画像の範囲（図３（ａ）の破線範囲）よりも大きく、水平方向（第１方向）と垂直方向（第１方向に交差する第２方向）とに振動する。第１ミラー１４の振動を符号５０で示している。
　第１ミラー１４が大きく振れた箇所で画像用光線３４ａを走査して網膜３８に画像を投影する場合、画像の歪みが大きくなることから、画像用光線３４ａは、第１ミラー１４の振れが小さい箇所で走査される。一方、検出用光線３４ｂは、第１ミラー１４の振動５０のうち、画像用光線３４ａが走査されないタイミングで、第１ミラー１４に入射する。言い換えると、光源１２は、第１ミラー１４の振動５０において、網膜３８に投影する画像の範囲に相当する期間では画像用光線３４ａを第１ミラー１４に出射し、画像の範囲外の時間において検出用光線３４ｂを第１ミラー１４に出射する。
　図３（ｂ）は、画像用光線と検出用光線の出射タイミングを示すタイミングチャートであり、第１ミラー１４が図３（ａ）の点Ａから点Ｂまで振動した場合における画像用光線３４ａと検出用光線３４ｂの光源１２からの出射タイミングである。なお、検出用光線３４ｂの光強度は、画像用光線３４ａと同じであってもよいし、異なっていてもよい。検出用光線３４ｂの光強度は、後述する光検出器１８で反射光４６が検出できる程度の光強度であればよい。また、検出用光線３４ｂは、単一波長の光線でよく、網膜３８に投影する画像の１画素又は数画素相当の光線でよい。なお、図３（ａ）では、画像用光線３４ａは矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。
　図１及び図２のように、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、第４ミラー４４によって、メガネ型フレームのレンズ３２に向かって反射される。投射部１６が、レンズ３２の眼球３６側の面に配置されているため、第１ミラー１４で走査された画像用光線３４ａ及び第１ミラー１４で反射された検出用光線３４ｂは、投射部１６に入射する。投射部１６は、画像用光線３４ａが入射される第１領域１６ａでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投射部１６に入射された画像用光線３４ａは、眼球３６の瞳孔４０近傍で収束した後に網膜３８に投射される。よって、ユーザは、画像用光線３４ａで形成される画像を認識することができると共に、外界像をシースルーで視認することができる。一方、投射部１６は、検出用光線３４ｂが入射される第２領域１６ｂでは、第１領域１６ａと光学的に不連続な形状をしたハーフミラーとなっている。これにより、検出用光線３４ｂは、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射される場合に、眼球３６の虹彩４２に投射される。このように、画像用光線３４ａが投射される眼球３６の表面領域を第１表面領域３６ａとした場合に、検出用光線３４ｂは、眼球３６の第１表面領域３６ａから離れた第２表面領域３６ｂに投射される。
　図４は、検出用光線の照射位置を示す眼球の正面図である。図４を用いて、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射について説明する。図４のように、複数の検出用光線３４ｂが、画像用光線３４ａが瞳孔４０の中心近傍を通過して網膜３８に投射される場合に、虹彩４２に投射される。複数の検出用光線３４ｂは、瞳孔４０に対して複数の同心円状に散在し、瞳孔４０の径方向に並んで、虹彩４２に投射される。投射部１６の第２領域１６ｂが第１領域１６ａに光学的に不連続となっているため、画像用光線３４ａが瞳孔４０を通過して網膜３８に投射されつつ、複数の検出用光線３４ｂが虹彩４２に投射されることが可能となる。また、画像用光線３４ａと複数の検出用光線３４ｂは、第１ミラー１４の振動に対して所定のタイミングで光源１２から出射される。すなわち、画像用光線３４ａと複数の検出用光線３４ｂの相対的な出射タイミングは固定されている。このため、画像用光線３４ａと複数の検出用光線３４ｂは、相対的な位置関係が固定されて、眼球３６に投射される。また、図３（ａ）のように、複数の検出用光線３４ｂは、第１ミラー１４の振動５０の異なる位置で反射された光であることから、虹彩４２の異なる位置に異なる時間（異なるタイミング）で投射される。すなわち、複数の検出用光線３４ｂは、虹彩４２の異なる位置に順々に投射される。
　図１及び図２のように、光検出器１８が、レンズ３２のフレームに配置されている。光検出器１８は、例えばフォトディテクタである。光検出器１８は、複数の検出用光線３４ｂが虹彩４２で反射した反射光４６を検出する。図５は、反射光を検出する検出タイミングを示すタイミングチャートである。図５を用いて、制御部２０が光検出器１８を用いて反射光４６を検出する検出タイミングを説明する。なお、図５では、説明の明瞭化のために検出用光線の個数を省略している。図５のように、制御部２０は、光源１２から検出用光線３４ｂを出射させたタイミングで、光検出器１８を用いて反射光４６の検出を行う。これにより、複数の検出用光線３４ｂのうちのどの検出用光線３４ｂの反射光４６が検出されていないかが分かる。なお、光検出器１８の性能などを考慮し、反射光４６の検出の時間に幅を持たせてもよい。
　なお、図１及び図２では、光検出器１８が、レンズ３２の中央近傍に配置された場合を例に示したが、反射光４６を検出できる場所であれば、例えばレンズ３２のツル３０近傍や鼻パッド（不図示）近傍などに配置されてもよい。なお、複数の検出用光線３４ｂが虹彩４２に投射される場合であっても、上述したように、複数の検出用光線３４ｂは虹彩４２に順々に投射されることから、１つの光検出器１８で複数の検出用光線３４ｂの反射光４６を検出することができる。
　ＣＰＵ（Central Processing Unit）等のプロセッサ並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリは、制御部２０及び検出部２６として機能する。プロセッサ及びメモリは、外部装置（例えば携帯端末など）に設けられている。プロセッサは、メモリに記憶されたプログラムに従って、制御部２０及び検出部２６として機能する。制御部２０と検出部２６は異なるプロセッサにより機能してもよいし、同じプロセッサにより機能してもよい。
　制御部２０は、投影部２４を制御する。制御部２０は、入力された画像データに基づく画像用光線３４ａと、瞳孔４０の動き及び瞼の開閉を検出するための検出用光線３４ｂと、を光源１２から出射させる。また、制御部２０は、検出部２６での検出結果に基づいて、光源１２及び第１ミラー１４などを含む光学系を制御する。例えば、制御部２０は、光源１２からの画像用光線３４ａ及び／又は検出用光線３４ｂを含む光線の出射を制御する。例えば、制御部２０は、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる制御を行う。
　検出部２６は、光検出器１８の検出結果に基づき、瞳孔４０の動いた方向及び動きの速さ並びに瞼の開閉を検出する。図６（ａ）から図６（ｃ）を用いて、光検出器１８を用いた反射光４６の検出について説明する。図６（ａ）から図６（ｃ）は、投射部及び眼球の上視図である。図６（ａ）は、画像用光線３４ａが瞳孔４０を通過し、複数の検出用光線３４ｂの全てが虹彩４２に投射される場合を示す図である。図６（ｂ）は、眼球３６が回転したことで、複数の検出用光線３４ｂの一部が瞳孔４０を通過して虹彩４２に投射されなくなった場合を示す図である。図６（ｃ）は、瞼３７が閉じたことで、複数の検出用光線３４ｂの全てが虹彩４２に投射されなくなった場合を示す図である。
　検出用光線３４ｂが虹彩４２に投射された場合は比較的大きな反射光４６が生じる。一方、眼球３６の回転によって検出用光線３４ｂが瞳孔４０を通過して網膜３８に投射された場合や瞼３７が閉じたことによって検出用光線３４ｂが瞼３７に投射された場合は反射光４６が生じ難い。つまり、図６（ａ）の場合には、光検出器１８は、複数の検出用光線３４ｂの全てにおいて比較的大きな反射光４６を検出する。一方、図６（ｂ）の場合には、光検出器１８は、複数の検出用光線３４ｂのうちの一部において反射光４６を検出しないことが起こり、図６（ｃ）の場合には、光検出器１８は、複数の検出用光線３４ｂの全てにおいて反射光４６を検出しないことが起こる。すなわち、ユーザが眼球３６を動かした場合には、光検出器１８は複数の検出用光線３４ｂのうちの一部の反射光４６を検出しなくなる。ユーザが瞼３７を閉じた場合には、光検出器１８は複数の検出用光線３４ｂの全ての反射光４６を検出しなくなる。
　このように、光検出器１８は、ユーザの眼球３６において反射した複数の検出用光線３４ｂの反射光４６を検出する。画像用光線３４ａが照射された位置から反射光４６を検出しなくなった検出用光線３４ｂに対応する位置への方向は、瞳孔４０が動いた方向に相当する。そこで、検出部２６は、この方向を瞳孔４０が動いた方向（すなわち、眼球３６の回転方向）として検出する。また、図４のように、複数の検出用光線３４ｂは瞳孔４０の径方向に並んで眼球３６に投射される。瞳孔４０の径方向に並ぶ検出用光線３４ｂの間隔を予め設定しておくことで、光検出器１８が瞳孔４０の径方向のうちの内側に位置する検出用光線３４ｂの反射光４６を検出しなくなってからより外側に位置する検出用光線３４ｂの反射光４６を検出しなくなるまでの時間から、瞳孔４０の動きの速さが分かる。例えば、瞳孔４０が第１ミラー１４による垂直方向の振動（垂直方向の走査）よりも長い時間をかけて検出用光線３４ｂ間の距離を移動した場合に、瞳孔４０の動きの速さが分かる。そこで、検出部２６は、光検出器１８の検出結果に基づいて、瞳孔４０の動きの速さを検出する。
　また、光検出器１８が複数の検出用光線３４ｂの全ての反射光４６を検出しない場合は、ユーザの瞼３７が閉じていることに相当する。そこで、検出部２６は、光検出器１８が複数の検出用光線３４ｂの全ての反射光４６を検出しない場合は、ユーザの瞼３７が閉じていると検出する。
　なお、上述の記載から明らかなように、光検出器１８が反射光４６を検出しないとは、所定値以上の大きさの反射光４６を検出しないことをいう。すなわち、光検出器１８が検出する反射光４６の強度が所定値以下のとき、検出部２６は、反射光４６を検出しないと判定できる。
　実施例１における制御部２０及び検出部２６の動作について説明する。図７は、実施例１における制御部及び検出部の動作を示すフローチャートである。図７のように、光検出器１８による検出用光線の検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ１０）。ここでは、検出部２６が検出した瞳孔４０の動いた方向が第１の方向であったとする。
　次いで、制御部２０は、検出部２６で検出された瞳孔４０の動きの速さを判定する（ステップＳ１２）。瞳孔４０の動きの速さが第１の速さ未満であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第１の制御を行う（ステップＳ１４）。瞳孔４０の動きが第１の速さ以上且つ第２の速さ未満であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第２の制御を行う（ステップＳ１６）。瞳孔４０の動きが第２の速さ以上であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第３の制御を行う（ステップＳ１８）。
　以上のように、実施例１によれば、投影部２４は、画像を形成する画像用光線３４ａをユーザの眼球３６の瞳孔４０に投射することにより、眼球３６の網膜３８に画像を投影する。図７のステップＳ１０のように、検出部２６は、ユーザの瞳孔４０が動いた方向と動きの速さとを検出する。ステップＳ１２～Ｓ１８のように、制御部２０は、ユーザの瞳孔４０が同じ方向に異なる速さで動いたときに異なる画像の制御を行う。これにより、瞳孔４０の速さに応じて画像の制御を行うことができるため、複数の異なる画像の制御が可能となる。
　また、実施例１によれば、光検出器１８は、瞳孔４０の径方向に並んで眼球３６の虹彩４２に投射される複数の検出用光線３４ｂの反射光４６を検出する。検出部２６は、光検出器１８による複数の検出用光線３４ｂの反射光４６の検出結果に基づき、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する。これにより、瞳孔４０の動いた方向及び動きの速さを精度良く検出することができ、ユーザの意図に沿った画像の制御を精度良く行うことができる。
　また、実施例１によれば、図４のように、複数の検出用光線３４ｂは、瞳孔４０の周りを囲んで、瞳孔４０に対して複数の同心円状で虹彩４２に投射される。これにより、瞳孔４０の動いた方向及び動きの速さを精度良く検出することができる。
　また、実施例１によれば、画像用光線３４ａと複数の検出用光線３４ｂとは、同じ光源１２から出射される。これにより、画像用光線３４ａと複数の検出用光線３４ｂとで光学系を共有できるため、画像投影装置の小型化が可能となる。
　なお、図７では、瞳孔４０が同じ方向に異なる速さで動いたときに異なる制御をすることを説明したが、これに加えて、瞳孔４０が異なる方向に動いたときに異なる制御をするようにしてもよい。このことを、図８を用いて説明する。図８は、実施例１における制御部及び検出部の動作を示すフローチャートである。図８のように、光検出器１８による検出用光線３４ｂの検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ３０）。ここでは、検出部２６が検出した瞳孔４０の動きの速さが第１の速さであったとする。
　次いで、制御部２０は、検出部２６で検出された瞳孔４０の動いた方向を判定する（ステップＳ３２）。瞳孔４０の動いた方向が第１の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第２の制御を行う（ステップＳ３４）。瞳孔４０の動いた方向が第２の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第４の制御を行う（ステップＳ３６）。瞳孔４０の動いた方向が第３の方向であった場合、制御部２０は、ユーザの網膜３８に投影されている画像に対して第５の制御を行う（ステップＳ３８）。
　このように、制御部２０は、瞳孔４０が異なる方向に動いたときには異なる画像の制御を行ってもよい。図７で説明した瞳孔４０が同じ方向に異なる速さで動いたときに異なる画像の制御を行うことに、図８で説明した瞳孔４０が異なる方向に動いたときに異なる制御を行うことを加えることで、より多くの異なる画像の制御が可能となる。例えば、瞳孔４０が同じ方向に３通りの速さで動いたときにそれぞれ異なる画像の制御をし、且つ瞳孔４０が同じ速さで３つの異なる方向に動いたときにそれぞれ異なる画像の制御をすることで、９つの異なる画像の制御が可能となる。
　なお、実施例１において、画像の第１の制御から第５の制御は、画像の投影位置に関する制御及び画像の内容に関する制御の少なくとも一方を含むことができる。画像の投影位置に関する制御には、例えば画像用光線３４ａの投射位置を移動させる制御が含まれる。この点の詳細については後述する。画像の内容に関する制御には、例えば静止画を別の静止画に切り替える場合や、動画を停止や早送り等する場合や、カメラからの画像を別のカメラからの画像に切り替える場合や、画像を拡大・縮小する場合や、シースルーで見えている外界の画像にアイコンなどを重畳させる場合や、画像の色や明るさ等を変更する場合など、投影されている画像を現在の状態から意図的に変える制御が含まれる。
　例えば、動画の画像が投影されている場合、瞳孔４０の動きの速さに応じて（画像の第１の制御から第３の制御で）、動画の再生速度や早送り・巻き戻し速度を変えてもよい。例えば瞳孔４０の動きの速さに応じて、画像の縮小率や拡大率を変えてもよい。例えば瞳孔４０の動きの速さに応じて、画像の色や明るさを変えてもよい。
　なお、実施例１では、瞳孔４０の動きの速さを３段階に分けた場合を例に示したが、２段階や４段階以上に分けてもよい。同様に、瞳孔４０の動いた方向を３段階に分けた場合を例に示したが、２段階や４段階以上に分けてもよい。
　なお、実施例１では、瞳孔４０の動いた方向及び動きの速さを、画像用光線３４ａと同じ光源１２から出射された複数の検出用光線３４ｂの反射光４６に基づき検出している。しかしながら、瞳孔４０の動いた方向及び動きの速さはその他の方法で検出してもよい。例えば、複数の検出用光線３４ｂは赤外線などの画像用光線３４ａと別の光源から出射された光でもよい。
　実施例２に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。図９は、実施例２における制御部及び検出部の動作を示すフローチャートである。図１０（ａ）から図１０（ｃ）は、実施例２における瞳孔の動きと画像用光線の制御とを示す眼球の上視図である。図１１は、実施例２における瞳孔の動きと画像の制御とを示す図である。
　図１０（ａ）のように、瞳孔４０が動く前において、制御部２０は、瞳孔４０内で画像用光線３４ａが集束し、網膜３８に画像用光線３４ａが投射されるように、投影部２４を制御している。画像用光線３４ａは、瞳孔４０のほぼ正面から入射し且つ瞳孔４０のほぼ中心を通過する。
　図９のように、光検出器１８による検出用光線３４ｂの検出に基づいて、検出部２６は、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する（ステップＳ５０）。次いで、制御部２０は、瞳孔４０の動きの速さが所定の速さ以上であったか否かを判定する（ステップＳ５２）。瞳孔４０の動きの速さが所定の速さ以上であった場合（ステップＳ５２：Ｙｅｓ）、制御部２０は、投影部２４を制御して、網膜３８に投影されている画像の内容に関する制御を行う（ステップＳ５４）。例えば、図１１のように、瞳孔４０が動く前においては、ユーザの網膜３８に静止画Ａの画像８０が投影されていたとする。瞳孔４０が上方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｂの画像８０が投影されるようにする。瞳孔４０が左方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｃの画像８０が投影されるようにする。瞳孔４０が下方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｄの画像８０が投影されるようにする。瞳孔４０が右方向に所定の速さ以上で動いたときは、制御部２０はユーザの網膜３８に静止画Ｅの画像８０が投影されるようにする。
　瞳孔４０の動きの速さが所定の速さ未満であった場合、ユーザは、画像の内容の制御を意図せず、別の理由によって瞳を動かしたことが想定される。画像投影装置１００はユーザの頭及び／又は顔に固定されていることから、瞳孔４０が動いたことが検出された場合は、瞳孔４０はユーザの頭及び／又は顔に対して動いていることになる。このため、図１０（ｂ）のように、瞳孔４０が左方向５２に動いた場合には、画像用光線３４ａの少なくとも一部が虹彩４２に投射されてしまい、画像用光線３４ａの少なくとも一部が網膜３８に投射されないことが生じる。
　図９のように、瞳孔４０の動きの速さが所定の速さ未満であった場合（ステップＳ５２：Ｎｏ）、制御部２０は、画像が網膜３８に投影されるように、画像の投影位置に関する制御を行う（ステップＳ５６）。例えば、制御部２０は、画像用光線３４ａが瞳孔４０に投射されるように、投影部２４を制御する。図１０（ｃ）のように、制御部２０は、矢印５６のように、画像用光線３４ａの投射位置を瞳孔４０の動いた左方向５２に移動させる。これにより、画像用光線３４ａは瞳孔４０のほぼ中心を通過するようになる。さらに、制御部２０は、矢印５８のように、画像用光線３４ａの照射方向を瞳孔４０が動いた左方向に傾斜させる。これにより、画像用光線３４ａは瞳孔４０のほぼ正面から入射する。よって、ユーザは、瞳孔４０が動く前と同じ画像を視認できる。すなわち、図１１の場合では、ユーザは静止画Ａの画像８０を見続けることができる。
　ここで、図９のステップＳ５６の具体的な例を説明する。上述したように、制御部２０は、検出部２６での検出結果に基づいて、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７と第４ミラー４４の位置を移動させる。これにより、画像用光線３４ａの走査の原点を移動させることができる。画像用光線３４ａの走査の原点が移動することで、画像用光線３４ａ及び複数の検出用光線３４ｂの眼球３６への投射位置を移動させることができる。このことについて、図１２（ａ）から図１３を用いて説明する。
　図１２（ａ）から図１３は、画像用光線と複数の検出用光線の眼球への投射位置の変化を説明する図である。なお、図１３は、図１２（ａ）と図１２（ｂ）を合わせた状態を図示していて、図１２（ａ）の状態を点線で、図１２（ｂ）の状態を実線で示している。
　図１２（ａ）及び図１３の点線は、画像用光線３４ａが瞳孔４０の中心近傍を通過する場合を示している。図１２（ａ）及び図１３の点線の状態から、図１２（ｂ）及び図１３の実線のように、位置調整部２２を駆動させて第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させることで、画像用光線３４ａの走査の原点がＯからＯ´に移動する。なお、走査の原点が移動しても、網膜３８に投影される画像の中央部に対応する画像用光線３４ａの投射部１６への入射位置はほとんど変化しないようにする。これは、網膜３８に投影される画像の品質の劣化や、検出用光線３４ｂの投射部１６への入射位置の変化などを抑制するためである。
　このような画像用光線３４ａの走査の原点の移動によって、画像用光線３４ａ及び検出用光線３４ｂの投射部１６への入射角度が変化し、その結果、画像用光線３４ａ及び検出用光線３４ｂの眼球３６への投射位置が移動する。画像用光線３４ａと検出用光線３４ｂは、互いの眼球３６への投射位置の相対的な位置関係は固定されたまま連動して移動する。例えば、図１２（ａ）及び図１３の点線のように、画像用光線３４ａが瞳孔４０の中心近傍を通過していた状態から、図１２（ｂ）及び図１３の実線のように、画像用光線３４ａが瞳孔４０の中心よりも端側を通過する状態に変化する。このように、位置調整部２２によって第１ミラー１４の位置を移動させると共に、第１ミラー１４の移動に合わせて第３ミラー１７及び第４ミラー４４の位置を移動させて、画像用光線３４ａの走査の原点を移動させることで、画像用光線３４ａと検出用光線３４ｂの眼球３６への投射位置を連動して移動させることができる。なお、第１ミラー１４などは円弧状に移動する場合が好ましいが、図１３の矢印方向及び図１３の紙面に垂直方向（前記矢印に垂直方向）に直線状に移動する場合でもよい。この場合、位置調整部２２として、２軸方向への移動を可能とする２軸アクチュエータ（例えば超音波アクチュエータ）を用いることができる。
　以上のように、実施例２によれば、制御部２０は、瞳孔４０の動きの速さが所定の速さ未満であったときには、網膜３８に投影されている画像の投影位置に関する制御を行う。例えば、制御部２０は、網膜３８に投影されている静止画Ａの画像８０が投影され続けるように画像用光線３４ａの投射位置を移動させる。また、制御部２０は、瞳孔４０の動きの速さが所定の速さ以上であったときには、網膜３８に投影されている画像の内容に関する制御を行う。例えば、制御部２０は、網膜３８に投影されている静止画Ａの画像８０を静止画Ｂ～Ｅの画像８０に切り替える。これにより、ユーザは瞳を速く動かすことで画像の内容に関する制御（例えば画像の切り替え）を行うことができると共に、ユーザが画像の内容の制御を意図せずに瞳を動かした場合に、瞳が動く前と同じ画像をユーザに視認させることができる。
　なお、実施例２では、ユーザの網膜３８に静止画の画像８０が投影されている場合を例に示したが、この場合に限られない。例えば動画の画像が投影されている場合でもよい。この場合、例えば瞳孔４０が右方向に所定の速さ以上で動いたときは動画の早送りを行い、左方向に所定の速さ以上で動いたときは動画の巻き戻しを行うようにしてもよい。瞳孔４０が上方向に所定の速さ以上で動いたときは動画を一時停止し、下方向に所定の速さ以上で動いたときは動画を停止させるようにしてもよい。例えばカメラからの画像が投影されている場合でもよい。この場合、例えばユーザの前方を撮影するカメラからの画像が投影されているときに、瞳孔４０が右方向に所定の速さ以上で動いたときはユーザの後方を撮影するカメラからの画像に切り替えてもよい。
　なお、実施例２では、瞳孔４０が上下左右の方向に動いた場合に画像の内容について異なる制御を行う場合を例に示したが、上下左右の４方向の他にも複数の方向に動いた場合に画像の内容について異なる制御を行ってもよい。
　なお、実施例２では、図９のステップＳ５６での画像の投影位置に関する制御において、瞳孔４０の移動距離に対して画像用光線３４ａの投射位置の移動距離を少なくさせてもよい。このような制御は、例えば複数の検出用光線３４ｂそれぞれに対して画像用光線３４ａの移動方向及び移動距離を定めたテーブル（図１４参照）を制御部２０などに予め記憶させておき、光検出器１８で検出されない検出用光線３４ｂと上記テーブルとから求めた移動方向及び移動距離に従って画像用光線３４ａの投射位置を移動させることで行うことができる。これにより、例えば静止画の端に書かれた文字などをユーザに見やすくさせることができる。なお、画像用光線３４ａの投射位置の移動距離を少なくさせない場合でも、図１４に示すようなテーブルを予め準備しておいて、当該テーブルを用いて画像用光線３４ａの投射位置を移動させてもよい。
　実施例３は、ユーザの網膜３８に投影される画像が、電子書籍を構成するページに対応した画像の場合の例である。実施例３に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。実施例３における制御部及び検出部の動作を示すフローチャートは、実施例２の図９と同じであるため説明を省略する。図１５は、実施例３における瞳孔の動きと画像の制御とを示す図である。図１５は、図９のステップＳ５４の制御を示している。
　図１５のように、瞳孔４０が動く前においては、ユーザの網膜３８に電子書籍の２ページ目の画像８０が投影されていた場合に、瞳孔４０が右方向に所定の速さ以上で動いたときは、制御部２０は、電子書籍の３ページ目の画像８０に切り替える。瞳孔４０が左方向に所定の速さ以上で動いたときは、制御部２０は、電子書籍の１ページ目の画像８０に切り替える。
　以上のように、実施例３によれば、ユーザの網膜３８に投影される画像は、電子書籍を構成するページに対応した画像である。制御部２０は、瞳孔４０が左右方向に所定の速さ以上で動いたときには電子書籍のページを捲る。これにより、ユーザは瞳を速く動かすことで電子書籍のページを捲ることができる。
　実施例４に係る画像投影装置は、実施例１の図１と同じであるため説明を省略する。図１６は、実施例４における制御部及び検出部の動作を示すフローチャートである。図１７は、実施例４においてユーザの網膜に投影される画像を示す図である。図１６のように、制御部２０は、例えば画像投影装置の起動時やユーザからの指示に応じて、複数のアイコンを含む画像をユーザの網膜３８に投影する（ステップＳ７０）。例えば、図１７のように、制御部２０は、１番～９番のアイコン８２が３行３列で縦横に並んだ画像８０をユーザの網膜３８に投影する。
　次いで、制御部２０は、検出部２６が瞳孔４０の動いた方向及び動きの速さを検出したか否かを判定する（ステップＳ７２）。検出部２６は、光検出器１８による検出用光線３４ｂの検出に基づいて、瞳孔４０が動いた方向及び瞳孔４０の動きの速さを検出する。瞳孔４０の動きが検出されない場合（ステップＳ７２：Ｎｏ）、制御部２０は、複数のアイコンのうちの初期設定のアイコンを選択する（ステップＳ７４）。例えば、図１７において、初期設定のアイコンが１番のアイコン８２である場合、制御部２０は１番のアイコン８２を選択する。なお、制御部２０は選択しているアイコンがユーザに分かるように、アイコンの色を変えたり、アイコンを点滅させたり、アイコンを丸印で囲んだりしてもよい。
　瞳孔４０の動きが検出された場合（ステップＳ７２：Ｙｅｓ）、制御部２０は、画像用光線３４ａが瞳孔４０に投射されるように、投影部２４を制御する（ステップＳ７６）。ステップＳ７６は、実施例３の図９のステップＳ５６と同じ方法によって行う。これにより、ユーザは、瞳孔４０が動く前と同じ画像を視認できる。
　次いで、制御部２０は、瞳孔４０の動いた方向及び動きの速さに応じたアイコンを選択する（ステップＳ７８）。例えば、図１７において、制御部２０は、瞳孔４０が左方向に動いた場合には２番のアイコンを選択し、瞳孔４０が所定の速さ以上で左方向に動いた場合には３番のアイコンを選択する。制御部２０は、瞳孔４０が上方向に動いた場合には４番のアイコンを選択し、瞳孔４０が所定の速さ以上で上方向に動いた場合には７番のアイコンを選択する。制御部２０は、瞳孔４０が左上方向に動いた場合には５番のアイコンを選択し、瞳孔４０が所定の速さ以上で左上方向に動いた場合には９番のアイコンを選択する。制御部２０は、瞳孔４０が所定の速さ以上で左方向に動いた後に上方向に動いた場合には６番のアイコンを選択し、瞳孔４０が所定の速さ以上で上方向に動いた後に左方向に動いた場合には８番のアイコンを選択する。
　次いで、制御部２０は、ユーザからの指示に基づき、選択したアイコンを起動する（ステップＳ８０）。例えば、制御部２０は、検出部２６によってユーザの瞼３７が所定時間以上閉じたことが検出された場合に、選択したアイコンを起動する。
　以上のように、実施例４によれば、図１７のように、ユーザの網膜３８に投影される画像は、複数のアイコン８２を含んだ画像８０である。制御部２０は、図１６のステップＳ７８のように、瞳孔４０の動いた方向及び動きの速さに応じて、複数のアイコン８２の中から１つのアイコンを選択する。これにより、ユーザは瞳の動かす方向及び速さを変えることだけで、複数のアイコンの中から１つのアイコンを選択することが可能となる。
　なお、実施例４では、図１６のステップＳ７８において、瞳孔４０が動いた方向と反対方向のアイコンが選択される場合を例に示したが、瞳孔４０が動いた方向と同じ方向のアイコンが選択される場合でもよい。
　なお、実施例３及び実施例４において、光検出器１８が複数の検出用光線３４ｂのうちの２つ又は２つ以上の検出用光線３４を検出しない場合、検出されない検出用光線３４ｂの間の中間の位置を求め、当該中間の位置の方向に、画像用光線３４ａの投射位置を移動させてもよい。
　なお、実施例１から実施例４では、画像投影装置としてメガネ型のＨＭＤを例に説明したが、ＨＭＤ以外の画像投影装置でもよい。片方の眼球３６の網膜３８に画像を投影させる例を示したが、両方の眼球３６の網膜３８に画像を投影させてもよい。走査部として走査ミラーを例に説明したが、走査部は光線を走査可能であればよい。例えば、走査部として、電気光学材料であるタンタル酸ニオブ酸カリウム（ＫＴＮ）結晶など、その他の部品を用いてもよい。光線としてレーザ光を例に説明したが、レーザ光以外の光でもよい。
　以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (12)

  1. 　画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    　前記ユーザの顔に対し前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    　前記瞳孔が同じ方向に異なる速さで動いたときに異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置。
  2. 　前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であると判定したときに前記画像の第１の制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であると判定したときに前記画像の第２の制御を行うことを特徴とする請求項１記載の画像投影装置。
  3. 　前記画像の制御は、前記画像の投影位置に関する制御及び前記画像の内容に関する制御の少なくとも一方を含むことを特徴とする請求項１または２記載の画像投影装置。
  4. 　前記制御部は、前記瞳孔の動きの速さが所定の速さ未満であるときには前記画像の投影位置に関する制御を行い、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記画像の内容に関する制御を行うことを特徴とする請求項１から３のいずれか一項記載の画像投影装置。
  5. 　前記網膜に投影される前記画像には、第１の画像と、前記第１の画像とは異なる第２の画像と、が含まれ、
    　前記制御部は、前記瞳孔の動きの速さが前記所定の速さ未満であるときには前記網膜に投影されている前記第１の画像が投影され続けるように前記画像用光線の投射位置を移動させ、前記瞳孔の動きの速さが前記所定の速さ以上であるときには前記網膜に投影されている前記第１の画像を前記第２の画像に切り替えることを特徴とする請求項４記載の画像投影装置。
  6. 　前記網膜に投影される前記画像は、電子書籍を構成するページに対応した画像であり、
    　前記制御部は、前記瞳孔の左右方向への動きの速さが前記所定の速さ以上であるときには前記電子書籍の前記ページを捲ることを特徴とする請求項４または５記載の画像投影装置。
  7. 　前記網膜に投影される前記画像は、複数のアイコンを含んだ画像であり、
    　前記制御部は、前記複数のアイコンの中から前記瞳孔が動いた方向及び動きの速さに応じたアイコンを選択することを特徴とする請求項１または２記載の画像投影装置。
  8. 　前記制御部は、前記瞳孔が異なる方向に動いたときには異なる前記画像の制御を行うことを特徴とする請求項１から７のいずれか一項記載の画像投影装置。
  9. 　前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器を備え、
    　前記検出部は、前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔の動いた方向及び前記瞳孔の動きの速さを検出することを特徴とする請求項１から８のいずれか一項記載の画像投影装置。
  10. 　画像を形成する画像用光線をユーザの眼球の瞳孔に投射することにより、前記眼球の網膜に前記画像を投影する投影部と、
    　前記瞳孔の径方向に並んで前記眼球の虹彩に投射される複数の検出用光線の反射光を検出する光検出器と、
    　前記光検出器による前記複数の検出用光線の反射光の検出結果に基づき、前記瞳孔が動いた方向及び前記瞳孔の動きの速さを検出する検出部と、
    　検出された前記瞳孔が動いた方向及び前記瞳孔の動きの速さに基づき、複数の異なる前記画像の制御を行う制御部と、を備えることを特徴とする画像投影装置。
  11. 　前記複数の検出用光線は、前記瞳孔に対して複数の同心円状で前記虹彩に投射されることを特徴とする請求項９または１０記載の画像投影装置。
  12. 　前記複数の検出用光線と前記画像用光線とは、同じ光源から出射されることを特徴とする請求項９から１１のいずれか一項記載の画像投影装置。
    　
PCT/JP2016/085255 2016-01-05 2016-11-28 画像投影装置 WO2017119213A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/062,424 US10761329B2 (en) 2016-01-05 2016-11-28 Image projection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-000622 2016-01-05
JP2016000622A JP6231585B2 (ja) 2016-01-05 2016-01-05 画像投影装置

Publications (1)

Publication Number Publication Date
WO2017119213A1 true WO2017119213A1 (ja) 2017-07-13

Family

ID=59274541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085255 WO2017119213A1 (ja) 2016-01-05 2016-11-28 画像投影装置

Country Status (3)

Country Link
US (1) US10761329B2 (ja)
JP (1) JP6231585B2 (ja)
WO (1) WO2017119213A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684336A (zh) 2018-02-09 2020-09-18 国立大学法人福井大学 使用了视网膜扫描型显示部的图像显示装置及其方法
JP7052577B2 (ja) * 2018-06-07 2022-04-12 株式会社リコー 光学装置、映像表示装置、及び検眼装置
US11025871B1 (en) * 2019-04-04 2021-06-01 Facebook Technologies, Llc Driving scanning projector display with pulses shorter than pixel duration
EP3982189A4 (en) * 2019-06-18 2022-08-17 Sony Group Corporation IMAGE DISPLAY DEVICE AND DISPLAY DEVICE
JP6816224B2 (ja) * 2019-07-24 2021-01-20 デンカ株式会社 蓋体、包装容器および蓋体の製造方法
JP2021148883A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP7428028B2 (ja) 2020-03-17 2024-02-06 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
WO2023187872A1 (ja) * 2022-03-28 2023-10-05 Tdk株式会社 プロジェクターモジュール及びそれを備えた網膜投影表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
WO2014192479A1 (ja) * 2013-05-31 2014-12-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
US20150205494A1 (en) * 2014-01-23 2015-07-23 Jason Scott Gaze swipe selection

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848175A (en) * 1991-05-27 1998-12-08 Canon Kabushiki Kaisha View point detecting device
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP3058004B2 (ja) 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
JP3461117B2 (ja) 1998-05-26 2003-10-27 日本電信電話株式会社 立体表示方法及び記録媒体並びに立体表示装置
JP3602371B2 (ja) * 1999-06-04 2004-12-15 株式会社ニデック 角膜形状測定装置
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
JP2004252849A (ja) 2003-02-21 2004-09-09 Seiko Epson Corp ユーザインタフェース装置および意思伝達方法
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US8052674B2 (en) * 2004-04-09 2011-11-08 Roger F. Steinert Laser system for vision correction
JP4608996B2 (ja) * 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP4574394B2 (ja) * 2005-02-25 2010-11-04 キヤノン株式会社 走査型画像表示装置
US7686451B2 (en) * 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
JP4829765B2 (ja) * 2006-12-08 2011-12-07 キヤノン株式会社 画像表示装置及び画像表示システム
JP5216761B2 (ja) * 2007-09-26 2013-06-19 パナソニック株式会社 ビーム走査型表示装置
US8246170B2 (en) * 2007-11-21 2012-08-21 Panasonic Corporation Display apparatus
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP2012137639A (ja) 2010-12-27 2012-07-19 Brother Ind Ltd ヘッドマウントディスプレイ、制御プログラム、及び制御方法
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9040923B2 (en) * 2012-09-04 2015-05-26 Innovega, Inc. Eye tracking system and related methods
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US10209517B2 (en) * 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9525817B2 (en) * 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
EP3079560B1 (en) * 2013-12-09 2018-01-31 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102230172B1 (ko) * 2014-05-09 2021-03-19 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
JP6404196B2 (ja) * 2015-09-16 2018-10-10 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
JP6231545B2 (ja) * 2015-12-22 2017-11-15 株式会社Ｑｄレーザ 画像投影装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
WO2014192479A1 (ja) * 2013-05-31 2014-12-04 株式会社Ｑｄレーザ 画像投影装置及び投射装置
US20150205494A1 (en) * 2014-01-23 2015-07-23 Jason Scott Gaze swipe selection

Also Published As

Publication number Publication date
JP2017122775A (ja) 2017-07-13
JP6231585B2 (ja) 2017-11-15
US20180373041A1 (en) 2018-12-27
US10761329B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6231585B2 (ja) 画像投影装置
JP6231545B2 (ja) 画像投影装置
JP6231541B2 (ja) 画像投影装置
JP5104679B2 (ja) ヘッドマウントディスプレイ
KR102461253B1 (ko) 시선 추적기를 구비하는 투사형 디스플레이 장치
US10672349B2 (en) Device for project an image
JP6123365B2 (ja) 画像表示システム及び頭部装着型表示装置
US9261959B1 (en) Input detection
JP2010211408A (ja) ヘッドマウントディスプレイ
JP5233941B2 (ja) 画像表示装置
JP2011075956A (ja) ヘッドマウントディスプレイ
JP2006350256A (ja) 走査型画像表示装置
WO2016208266A1 (ja) 画像投影装置
JP6394165B2 (ja) 虚像表示装置及び方法
JP2002318365A (ja) 網膜投影型ディスプレイ
JP5272813B2 (ja) ヘッドマウントディスプレイ
JP5163166B2 (ja) 画像表示装置
JP4926300B1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2010211149A (ja) 画像表示装置
JP2011075954A (ja) ヘッドマウントディスプレイ
WO2023090173A1 (ja) 画像投影装置
EP4134727A1 (en) Display apparatuses and methods incorporating pattern conversion
JP2024008216A (ja) 画像投影装置及び画像投影方法
JP2010134052A (ja) 画像表示装置
JP2024008215A (ja) 画像投影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883713

Country of ref document: EP

Kind code of ref document: A1