WO2022054740A1 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
WO2022054740A1
WO2022054740A1 PCT/JP2021/032586 JP2021032586W WO2022054740A1 WO 2022054740 A1 WO2022054740 A1 WO 2022054740A1 JP 2021032586 W JP2021032586 W JP 2021032586W WO 2022054740 A1 WO2022054740 A1 WO 2022054740A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
image
view
unit
convergence
Prior art date
Application number
PCT/JP2021/032586
Other languages
English (en)
French (fr)
Inventor
佐藤広明
山本恵
富田京一
金子千鶴
Original Assignee
株式会社Ｑｄレーザ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｑｄレーザ filed Critical 株式会社Ｑｄレーザ
Priority to JP2021553020A priority Critical patent/JP7123452B2/ja
Publication of WO2022054740A1 publication Critical patent/WO2022054740A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present invention relates to an image projection device.
  • a head-mounted display that includes an image pickup unit that captures the user's line-of-sight direction and presents a composite image that combines the image captured by the image pickup unit and the image of virtual space to the user (for example, Patent Document 1).
  • an image projection device that scans a light ray two-dimensionally and irradiates the retina of the user with the scanned light ray to project an image on the retina of the user (for example, Patent Document 2).
  • an image projection device that projects an image captured in the user's line-of-sight direction onto the user's retina, it is desired that an image close to the state directly seen by the user's eye is projected onto the retina.
  • the present invention has been made in view of the above problems, and an object of the present invention is to project an image close to the state directly viewed by the user onto the retina.
  • the present invention includes a light source and a scanning unit that scans the light rays emitted from the light source in two dimensions, and converges a plurality of the rays emitted from the scanning unit at different times at a convergence point in the user's eye.
  • an optical system that irradiates the retina, an imaging unit that captures the user's line-of-sight direction, a projection control unit that controls the light source and the scanning unit, and projects an image captured by the imaging unit onto the retina.
  • the optical axis of the imaging unit overlaps the central ray in the direction from the convergence point toward the retina with the central ray corresponding to the center of the image projected on the retina among the plurality of rays. It is an image projection device that substantially matches the virtual straight line that extends.
  • the angle of view of the image captured by the imaging unit can be changed from substantially the same angle as the convergence angle at which the plurality of rays converge at the convergence point to a range larger than the convergence angle.
  • the convergence angle at which the plurality of rays converge at the convergence point can be changed within a range from substantially the same angle as the angle of view of the image captured by the imaging unit to an angle smaller than the angle of view. can.
  • an angle control unit for changing the angle of view or the convergence angle is provided, and the angle control unit is used when the user sees an object whose distance from the user is closer than a predetermined distance.
  • the angle control unit makes the angle of view and the convergence angle substantially match when the user sees an object farther than the predetermined distance, and is closer than the predetermined distance.
  • the angle of view can be made larger than the convergence angle.
  • the predetermined distance can be a value within the range of 800 mm to 1600 mm.
  • the angle control unit includes an angle control unit that changes the angle of view or changes the convergence angle, and an input unit that allows the user to input information on changing the angle of view or the convergence angle. Based on the change information input to the input unit, the angle of view or the angle of convergence is changed for a long distance or for a hand having a larger angle of view or a smaller convergence angle than the long distance. can do.
  • the angle of view and the convergence angle of the long-distance use are substantially the same, and the angle of view of the hand can be larger than the convergence angle.
  • the angle of view of the image captured by the imaging unit and the convergence angle at which the plurality of light rays converge at the convergence point can be different.
  • the present invention includes a light source and a scanning unit that scans the light rays emitted from the light source in two dimensions, and converges a plurality of the rays emitted from the scanning unit at different times at a convergence point in the user's eye.
  • the optical system that irradiates the retina, the reflection mirror arranged in front of the user's eye, the image pickup unit that captures the user's line-of-sight direction via the reflection mirror, the light source, and the scanning unit are controlled.
  • a projection control unit for projecting an image captured by the image pickup unit onto the retina is provided, and the optical axis of the image pickup unit is located at the center of the image projected on the retina among the plurality of light rays. It is an image projection device in which a corresponding central ray is bent by the reflection mirror and substantially coincides with a virtual straight line extending so as to overlap with the central ray in a direction from the convergence point toward the retina.
  • the angle of view of the image captured by the imaging unit and the convergence angle at which the plurality of light rays converge at the convergence point substantially coincide with each other, and the optical axis of the imaging unit and the virtual straight line reflect.
  • the distance between the matching point and the image pickup unit that are substantially aligned in the mirror and the distance between the matching point and the convergence point of the reflection mirror can be configured to be substantially the same.
  • the angle of view of the image captured by the imaging unit and the convergence angle at which the plurality of light rays converge at the convergence point can be different.
  • a spectacle-shaped frame to which the optical system and the imaging unit are attached is provided, and the optical system and the imaging unit are configured to be integrally movable with respect to the spectacle-shaped frame. Can be done.
  • a lens can be detachably installed in the image pickup unit so that the optical axis coincides with the image pickup unit.
  • FIG. 1 (a) is a front view of the image projection device according to the first embodiment
  • FIG. 1 (b) is a side view seen from the direction A of FIG. 1 (a)
  • FIG. 1 (c) is FIG. 1 ( It is a plan view seen from the B direction of a).
  • 2 (a) and 2 (b) are cross-sectional views of the camera unit.
  • FIG. 3 is a functional block diagram of the control unit.
  • FIG. 4 is a schematic view showing the constituent members of the projection unit.
  • FIG. 5 is a diagram showing a scan of light rays on the user's retina.
  • FIG. 6 is a diagram showing the positional relationship between the image pickup unit in the first embodiment and the light beam emitted to the user's eye.
  • FIG. 7 is a flowchart showing an example of the image projection process in the first embodiment.
  • 8 (a) to 8 (c) are diagrams showing the relationship between the distance to the object and the angle of view.
  • 9 (a) to 9 (c) are diagrams showing the sizes of the captured image and the projected image when the angle of view of the image captured by the imaging unit is changed.
  • FIG. 10 is a diagram showing the positional relationship between the image pickup unit and the light beam emitted to the user's eye in the modified example of the first embodiment.
  • FIG. 11 is a flowchart showing an example of the image projection process in the second embodiment.
  • FIG. 12 is a diagram showing the positional relationship between the image pickup unit in Example 3 and the light beam emitted to the user's eye.
  • FIG. 1 (a) is a front view of the image projection device according to the first embodiment
  • FIG. 1 (b) is a side view seen from the direction A of FIG. 1 (a)
  • FIG. 1 (c) is FIG. 1 ( It is a plan view seen from the B direction of a).
  • the camera unit 10 and the projection unit 30 are hatched in FIGS. 1 (a) to 1 (c)
  • the control unit 80 is shown in FIGS. 1 (a) and 1 (b). Is omitted.
  • the image projection device 100 of the first embodiment includes a camera unit 10, a projection unit 30, and a control unit 80 that controls the camera unit 10 and the projection unit 30. , Equipped with.
  • the camera unit 10 is fixed to the projection unit 30 by the attachment 90 and the fixing member 91.
  • the camera unit 10 and the projection unit 30 integrated by the attachment 90 and the fixing member 91 are fixed to the spectacle-type frame 92 by inserting the fixing member 91 into the through hole 93 provided in the spectacle-type frame 92. It is fixed.
  • the fixing member 91 is, for example, a screw.
  • the control unit 80 is not provided on the spectacle-shaped frame 92, but is provided on an external device such as a mobile terminal.
  • the line-of-sight direction of the user wearing the spectacle-shaped frame 92 is the first direction, and the direction in which the left and right eyes of the user are lined up is the second direction.
  • the size of the through hole 93 in the second direction is larger than that of the fixing member 91. Therefore, the camera unit 10 and the projection unit 30 can be integrally moved in the second direction with respect to the spectacle-shaped frame 92.
  • the camera unit 10 includes an image pickup element such as a housing 11, a wiring board 12 provided in the housing 11, and a CCD image sensor mounted on the wiring board 12.
  • a unit 13, a lens 14, and a wiring cable 15 electrically connected to the image pickup unit 13 are provided.
  • the image pickup unit 13 captures the line-of-sight direction (first direction) of the user who wears the spectacle-shaped frame 92 via the lens 14.
  • the optical axis of the image pickup unit 13 and the optical axis of the lens 14 are substantially the same.
  • the image data captured by the image pickup unit 13 is taken out of the camera unit 10 via the wiring cable 15. Note that FIG. 2B will be described later.
  • control unit 80 is electrically connected to the image pickup unit 13 via the wiring cable 15 and is included in the projection unit 30 via the wiring cable 37. It is electrically connected to the light source and the scanning unit.
  • the control unit 80 is, for example, a processor such as a CPU (Central Processing Unit).
  • FIG. 3 is a functional block diagram of the control unit.
  • the control unit 80 functions as a projection control unit 81, an image pickup control unit 82, and an angle control unit 83 in collaboration with hardware and software.
  • the projection control unit 81, the image pickup control unit 82, and the angle control unit 83 may be circuits designed exclusively for them.
  • the projection control unit 81, the image pickup control unit 82, and the angle control unit 83 may be one circuit or different circuits.
  • the projection control unit 81 starts image projection when the user wearing the spectacle-shaped frame 92 operates the input unit 84 to instruct to start image projection, and ends image projection when instructed to end image projection. do.
  • the image pickup control unit 82 starts image pickup by the image pickup unit 13 when the user wearing the spectacle-shaped frame 92 operates the input unit 84 to instruct the start of image projection, and captures images when the user instructed to end the image projection. The imaging by the unit 13 is completed.
  • the input unit 84 is, for example, a touch panel, but other cases may be used.
  • the image pickup control unit 82 acquires the image data captured from the image pickup unit 13.
  • the projection control unit 81 acquires image data from the image pickup control unit 82, controls the light source and the scanning unit of the projection unit 30 based on the acquired image data, and outputs an image to the retina of the user who wears the spectacle-shaped frame 92. Project.
  • the angle control unit 83 changes the angle of view of the image captured by the image pickup unit 13 as necessary.
  • the user wearing the spectacle-shaped frame 92 projects an image in the line-of-sight direction of the user captured by the imaging unit 13 on the left eye, and directly looks in front of the user with the right eye. become.
  • FIG. 4 is a schematic view showing the components of the projection unit.
  • the control unit 80 shown in FIG. 3 is also shown, and the control line related to the control unit 80 is shown by a dotted line.
  • the projection unit 30 includes a light source 31, a scanning unit 32, and reflection mirrors 33 and 34.
  • the projection control unit 81 controls the emission of the light beam 36 from the light source 31 and also controls the driving of the scanning unit 32.
  • the light source 31 may be outside the projection unit 30 instead of being provided in the projection unit 30.
  • the light source 31 is, for example, of red laser light (wavelength: about 610 nm to 660 nm), green laser light (wavelength: about 515 nm to 540 nm), and blue laser light (wavelength: about 440 nm to 480 nm) under the control of the projection control unit 81. It emits visible laser light.
  • Examples of the light source 31 that emits red, green, and blue laser beams include a light source in which RGB (red, green, and blue) laser diode chips and a three-color synthesis device are integrated.
  • the light source 31 has a laser diode chip and a three-color synthesis device integrated in one module.
  • the light source 31 may emit a laser beam having a single wavelength.
  • the scanning unit 32 (scanner) two-dimensionally scans the light beam 36 emitted by the light source 31.
  • the scanning unit 32 is, for example, a MEMS (Micro Electro Mechanical System) mirror, and scans the light beam 36 in two dimensions in the horizontal direction and the vertical direction.
  • the scanning unit 32 may be other than the MEMS mirror.
  • a plurality of light rays 36 emitted from the scanning unit 32 at different times by being scanned by the scanning unit 32 are reflected by the reflection mirror 33, converged at the convergence point 40 in front of the reflection mirror 34, and then converge on the reflection mirror 34. Be irradiated.
  • the plurality of light rays 36 are reflected by the reflection mirror 34, converge at the convergence point 41 near the pupil 51 of the user's eye 50 wearing the spectacle-shaped frame 92, pass through the crystalline lens 52 and the vitreous body 53, and reach the retina 54. Be irradiated.
  • the user recognizes the image by the afterimage effect of the plurality of light rays 36 applied to the retina 54.
  • the reflection mirrors 33 and 34 are concave mirrors having a curved surface such as a free curved surface, and have a positive light-collecting power.
  • the scanning unit 32 and the reflection mirrors 33 and 34 scan the light rays 36 emitted from the light source 31 in two dimensions, and the scanning unit 32 emits a plurality of light rays 36 at different times. Is a member constituting the optical system 35 that irradiates the retina 54 after converging at the convergence point 41 in the user's eye 50.
  • FIG. 5 is a diagram showing scanning of light rays on the user's retina.
  • the scanning unit 32 raster scans the light beam 36 on the user's retina 54 from the upper left to the lower right as shown by the arrow 61. If the light source 31 does not emit the light beam 36 even if the scanning unit 32 is driven, the light ray 36 does not irradiate the retina 54. For example, the light ray 36 is not emitted by the broken line arrow 61 in FIG.
  • the projection control unit 81 synchronizes the emission of the light beam 36 from the light source 31 with the drive of the scanning unit 32.
  • the light source 31 emits a light ray 36 at the solid arrow 61, so that the image 60 is projected on the retina 54.
  • the light ray corresponding to the center of the image 60 projected on the retina 54 among the plurality of light rays 36 emitted from the scanning unit 32 at different times is the central light ray 36a.
  • FIG. 6 is a diagram showing the positional relationship between the imaging unit in the first embodiment and the light beam emitted to the user's eyes.
  • the imaging unit 13 is arranged in front of the eye 50 of the user wearing the spectacle-shaped frame 92, and images the user's line-of-sight direction (first direction).
  • the optical axis 16 of the imaging unit 13 is a central ray 36a corresponding to the center of the image 60 projected on the retina 54 among a plurality of rays 36 emitted from the scanning unit 32 at different times by being scanned by the scanning unit 32.
  • the optical axis 16 of the imaging unit 13 substantially coincides with and overlaps with the virtual straight line 38 connecting the convergence point 41 and the point where the central ray 36a irradiates the retina 54.
  • the optical axis 16 of the imaging unit 13 drives the scanning unit 32. It can be said that the central ray 36a scanned at the center of the range 62 substantially coincides with the virtual straight line 38 extending so as to overlap the central ray 36a in the direction from the convergence point 41 toward the retina 54.
  • the angle of view ⁇ of the image captured by the imaging unit 13 is from the convergence angle ⁇ substantially the same as the convergence angle ⁇ at which the plurality of light rays 36 emitted from the scanning unit 32 at different times converge to the convergence point 41 in the eye 50. Is at least changeable over a large angle range.
  • the convergence angle ⁇ is, for example, about 25 ° to 28 °.
  • the angle of view ⁇ is changed by the angle control unit 83.
  • the angle control unit 83 may change the angle of view ⁇ by changing the optical zoom of the image pickup unit 13, or may change the angle of view ⁇ by changing the digital zoom.
  • FIG. 7 is a flowchart showing an example of the image projection process in the first embodiment.
  • the angle control unit 83 sets the initial value of the angle of view ⁇ of the image captured by the image pickup unit 13. (Step S10), the image pickup control unit 82 causes the image pickup unit 13 to start image pickup (step S12).
  • the initial value of the angle of view ⁇ may be, for example, substantially the same as the convergence angle ⁇ at which a plurality of light rays 36 converge to the convergence point 41.
  • the imaging unit 13 starts imaging in the line-of-sight direction (first direction) of the user wearing the spectacle-shaped frame 92.
  • the image pickup control unit 82 acquires the image data captured by the image pickup unit 13 (step S14).
  • the angle control unit 83 may perform trimming so that the acquired image data has an initial value angle of view ⁇ .
  • the projection control unit 81 controls the light source 31 and the scanning unit 32 based on the image data input from the image pickup control unit 82, and irradiates the retina 54 of the user wearing the spectacle-shaped frame 92 with the light beam 36.
  • the image 60 is projected (step S16).
  • the image 60 projected on the retina 54 may be only the image in the line-of-sight direction of the user captured by the image pickup unit 13, or the image in the line-of-sight direction of the user captured by the image pickup unit 13 and the image in the virtual space are combined. It may be a composite image.
  • the projection control unit 81 determines whether or not to end the image projection based on the operation of the input unit 84 by the user who wears the spectacle-shaped frame 92 (step S18).
  • the projection control unit 81 determines that the image projection is continued until the user operates the input unit 84 to instruct the end of the image projection (step S18: No).
  • the angle control unit 83 is located in the line-of-sight direction of the user wearing the spectacle-shaped frame 92 and acquires the distance to the object that the user is looking at (step). S20).
  • a generally known method is used to obtain the distance to the object.
  • a method of acquiring a distance by adding a structural aperture to the lens of a camera a method of acquiring a distance from an image taken from a plurality of viewpoints to an object, or the like may be used. Further, in the case of projecting an image on both eyes as in the modified example of the first embodiment described later, a method of acquiring the distance to the object by the stereo camera may be used.
  • the angle control unit 83 determines whether or not to change the angle of view ⁇ of the image captured by the image pickup unit 13 based on the distance to the object acquired in step S20 (step S22). For example, assume that the angle of view ⁇ is substantially the same as the convergence angle ⁇ . In this case, if the distance to the object seen by the user is equal to or greater than the predetermined distance D, it is determined that the change of the angle of view ⁇ is unnecessary (step S22: No), and the angle of view ⁇ is substantially the same as the convergence angle ⁇ . Returning to step S14 while maintaining the size.
  • the angle of view ⁇ needs to be changed (step S22: Yes), and the angle of view ⁇ is set to be smaller than the convergence angle ⁇ . Change so that it becomes larger (step S24). After that, the process returns to step S14.
  • the predetermined distance D can be, for example, a value in the range of 800 [mm] to 1600 [mm].
  • FIGS. 8 (a) to 8 (c) are diagrams showing the relationship between the distance to the object and the angle of view.
  • the angle of view ⁇ may be substantially the same as the convergence angle ⁇ as shown in FIGS. 8A to 8C.
  • the angle of view ⁇ may be a constant angle larger than the convergence angle ⁇ as shown in FIG. 8A, or as shown in FIG. 8B.
  • the angle of view ⁇ may be increased stepwise as the distance to the object becomes shorter, or the angle of view ⁇ becomes linear as the distance to the object becomes shorter, as shown in FIG. 8 (c). It may be made larger.
  • Information indicating the relationship between the distance from the object of FIG. 8A to the object of FIG. 8C and the angle of view ⁇ is stored in advance in the storage unit, and the angle control unit 83 stores the stored information and the object.
  • the angle of view ⁇ may be controlled based on the distance of.
  • step S18 when the user operates the input unit 84 to instruct the end of image projection, the projection control unit 81 determines that the image projection is finished (step S18: Yes), and ends the image projection process.
  • the reason for changing the angle of view ⁇ of the image captured by the imaging unit 13 will be described.
  • the user wearing the spectacle-shaped frame 92 projects an image in the line-of-sight direction of the user captured by the imaging unit 13 on the left eye, and the image is displayed on the right eye. Looking directly ahead without being projected. In this way, when one of the eyes looks directly ahead and the image captured by the imaging unit 13 is projected on the other eye, unequal image vision occurs and fusion cannot be performed well. In some cases. Therefore, even when the image captured by the imaging unit 13 is projected onto the eyes, it is preferable that an image close to the state directly viewed by the user's own eyes is projected.
  • FIGS. 9A to 9C are diagrams showing the sizes of the captured image and the projected image when the angle of view of the image captured by the imaging unit is changed.
  • the size of the image (captured image) captured by the imaging unit 13 is indicated by a broken line
  • the size of the image (projected image) projected on the retina 54 is indicated by a dotted line. ..
  • the size of the projected image when the angle of view ⁇ of the image captured by the imaging unit 13 and the convergence angle ⁇ at which the plurality of light rays 36 converge to the convergence point 41 are substantially the same, the size of the projected image.
  • the ratio of the size difference between the captured image and the projected image when the user sees a nearby object is larger than that when the user looks at a distant object. That is, when the object viewed by the user is at the position of A, B, or C, the ratio of the size difference between the captured image and the projected image to the size of the projected image increases in the order of A, B, and C.
  • the distance between the image pickup surface of the image pickup unit 13 and the convergence point 41 is Lz
  • the distance from the image pickup surface of the image pickup unit 13 to the object seen by the user is l.
  • the distortion factor ⁇ (l) is represented by the following equation 1.
  • the image captured by the imaging unit 13 is projected on the left eye of the user who wears the spectacle-shaped frame 92.
  • the smaller the ratio of the size difference between the image captured by the image pickup unit 13 and the image projected on the retina 54 with respect to the size of the image projected on the user's retina 54 the more the user directly sees with his / her own eyes.
  • An image close to is projected onto the retina 54.
  • the image can be fused with the image directly viewed by the right eye, and normal stereoscopic vision can be obtained.
  • the difference in size of the objects reflected by the left and right eyes should be within 3%, that is, unequal image vision by the left and right eyes. Is known to be within 3% (for example, the paper "Effect of Aniseikonia on Binocular Function", Osamu Katsumi and 2 others, INVESTIGATIVE OPHTALMOLOGY & VISUAL SCIENCE Vol 27, April 1986, pp. 601-604). ..
  • the distortion factor ⁇ (l) when the size of the image projected on the user's retina 54 is 16: 9 and the horizontal convergence angle ⁇ is 26 degrees is shown.
  • the distance Lz between the image pickup surface of the image pickup unit 13 and the convergence point 41 in FIGS. 9 (a) to 9 (c) is 25 mm to 50 mm due to the size and function of each component.
  • the distance l from Equation 1 to which the distortion factor ⁇ (l) is 3% is about 800 mm to 1600 mm.
  • the size of the angle of view ⁇ is substantially matched to the size of the convergence angle ⁇ , so that the unequal image viewing is suppressed to a small size. Normal stereoscopic vision can be obtained.
  • the distortion factor ⁇ (l) can be kept within 3% by making the angle of view ⁇ larger than the convergence angle ⁇ , and normal stereoscopic viewing is performed. Is obtained. For example, when the user looks at an object at a distance of about 300 mm, the distortion factor ⁇ (l) can be kept within 3% by making the angle of view ⁇ larger than the convergence angle ⁇ by 5% to 13%, which is normal. Stereoscopic vision can be obtained. Even when the horizontal convergence angle ⁇ is other than 26 degrees, the distortion factor ⁇ (l) can be kept within 3% by setting each parameter with the formula shown in Equation 1, and when the set parameter is used. The distortion factor ⁇ (l) can be calculated.
  • the central ray 36a corresponding to the center of the image 60 projected on the retina 54 among the plurality of rays 36 is the retina from the convergence point 41. It substantially coincides with the virtual straight line 38 extending so as to overlap the central ray 36a in the direction toward 54. Since the eye box of the image projection device that projects the image 60 by irradiating the retina 54 after converging the plurality of rays 36 to the convergence point 41 in the eye 50, the incident direction of the central ray 36a and the line-of-sight direction of the user Are almost the same.
  • the image captured by the image pickup unit 13 is in a state in which the user directly looks forward with his / her own eyes.
  • the image will be close to. Therefore, an image close to the state directly seen by the user with his / her own eyes is projected on the retina 54.
  • the image pickup unit 13 is installed between both eyes to capture the line-of-sight direction, the user feels a sense of discomfort because an image in a state different from the state directly seen by his / her own eyes is projected, resulting in a sense of perspective. It can happen that you can't grasp it well.
  • the optical axis 16 of the image pickup unit 13 and the virtual straight line 38 substantially match is not limited to the case where they completely match, and a deviation of about a manufacturing error is allowed.
  • the image pickup unit 13 can change the angle of view ⁇ from substantially the same angle as the convergence angle ⁇ to an angle larger than the convergence angle ⁇ .
  • the distortion factor ⁇ (l) can be reduced even when the user looks at a nearby object, and the user can use his / her own eyes. An image close to the one seen directly with is projected. Therefore, for example, unequal image vision in the left and right eyes can be suppressed to a small size, and normal stereoscopic vision can be obtained.
  • the angle of view ⁇ is The strain rate ⁇ (l) can be set to 3% or less by making it 5% to 13% larger than the convergence angle ⁇ . Therefore, it is preferable that the image pickup unit 13 can be changed at least within a range in which the angle of view ⁇ is substantially the same as the convergence angle ⁇ and is 13% larger than the convergence angle ⁇ .
  • the image pickup unit 13 can be changed at least within a range in which the image angle ⁇ is substantially the same as the convergence angle ⁇ and 15% larger than the convergence angle ⁇ . It may be a case, or it may be a case where the angle of view ⁇ can be changed at least within a range of an angle 18% larger than the convergence angle ⁇ from substantially the same angle as the convergence angle ⁇ , or the angle of view ⁇ is from substantially the same angle as the convergence angle ⁇ . It may be possible to change at least within a range of an angle 20% larger than the convergence angle ⁇ .
  • the angle control unit 83 looks at the object farther than the predetermined distance D.
  • the angle of view ⁇ of the imaging unit 13 is increased.
  • the distortion factor ⁇ (l) can be reduced regardless of whether the user looks at a near object or a distant object, and an image close to the state directly seen by the user with his / her own eyes can be obtained. It will be projected.
  • the angle control unit 83 is used when the user looks at an object farther than a predetermined distance D. It is preferable that the angle of view ⁇ and the convergence angle ⁇ are substantially the same, and the angle of view ⁇ is larger than the convergence angle ⁇ when viewing an object closer than a predetermined distance D. When the user sees an object within 300 mm when the horizontal convergence angle ⁇ is 26 degrees, the angle control unit 83 preferably makes the angle of view ⁇ larger than the convergence angle ⁇ by 5% or more. Approximately matching the angle of view ⁇ with the convergence angle ⁇ is not limited to the case of completely matching, and a deviation of about a manufacturing error is allowed.
  • the projection unit 30 including the optical system 35 and the camera unit 10 including the image pickup unit 13 are attached to the spectacle-type frame 92 with respect to the spectacle-type frame 92. It is preferable that they can be moved together. This makes it possible to obtain an image projection device that can be used by various users with different distances between the left and right eyes.
  • the angle control unit 83 changes the angle of view ⁇ by changing the optical zoom or the digital zoom of the image pickup unit 13 has been described, but the present invention is not limited to this. ..
  • the optical axis is aligned with the lens 14 in front of the image pickup unit 13 (that is, the optical axis coincides with the image pickup unit 13).
  • the angle of view ⁇ may be changed by additionally installing lenses 14a having different angles of view (angles of view) interchangeably.
  • the lens 14a can be additionally installed by using the adapter 17 for installing the lens, or by providing a screw groove around the lens 14a and also providing a screw groove matching the screw groove of the lens 14a around the lens 14. It can be additionally installed interchangeably by various methods such as when installing. As a result, the angle of view ⁇ of the image pickup unit 13 can be easily changed with a simple configuration without using the angle control unit 83.
  • the angle of view ⁇ of the image pickup unit 13 is fixed, but by fixing the focal length, the images reflected by the left and right eyes are fused accurately and stably at the focal length. It can be imaged. Further, when used in combination with the angle control unit 83, the angle of view ⁇ can be set by the added lens 14a and then adjusted by the angle control unit 83 to set the optimum angle of view, further enhancing versatility. be able to.
  • the case is not limited to the case where the lens 14a is added in addition to the lens 14, and the lens 14 may be replaced with the lens 14a.
  • the angle control unit 83 changes the angle of view ⁇ .
  • the convergence angle ⁇ can be changed from substantially the same angle as the angle of view ⁇ to an angle smaller than the angle of view ⁇ , and the angle control unit 83 may change the convergence angle ⁇ .
  • the angle control unit 83 converges the angle as compared with the case where the user sees the object farther than the predetermined distance D. It is preferable to reduce ⁇ .
  • FIG. 10 is a diagram showing the positional relationship between the imaging unit and the light beam emitted to the user's eye in the modified example of the first embodiment. It is a figure which shows the positional relationship with the user's eye.
  • the image pickup unit 13 that is, the camera unit 10
  • the projection unit 30 are placed in front of both eyes 50 of the user wearing the spectacle-shaped frame 92. It is provided.
  • the optical axis 16 of the imaging unit 13 substantially coincides with and overlaps with the virtual straight line 38.
  • the angle of view ⁇ can be changed at least within a range of an angle larger than the convergence angle ⁇ from substantially the same angle as the convergence angle ⁇ . Since other configurations are the same as those in the first embodiment, the description thereof will be omitted.
  • an example is shown in which an image captured by the imaging unit 13 is projected onto one of the eyes of a user wearing the spectacle-shaped frame 92, and the user directly looks forward with the other eye. ..
  • the present invention is not limited to this case, and an image captured by the image pickup unit 13 may be projected onto both eyes of the user as in the modified example of the first embodiment.
  • the optical axis 16 of the image pickup unit 13 substantially coincides with the virtual straight line 38, the image captured by the image pickup unit 13 becomes an image close to the state in which the user directly looks forward with his / her own eyes. Therefore, an image close to the state directly seen by the user with his / her own eyes is projected on the retina 54.
  • FIG. 11 is a flowchart showing an example of the image projection process in the second embodiment.
  • the angle control unit 83 sets the angle of view ⁇ of the image captured by the image pickup unit 13 to an initial value.
  • the image pickup control unit 82 causes the image pickup unit 13 to start image pickup (step S32).
  • the image pickup control unit 82 acquires the image data captured by the image pickup unit 13 (step S34).
  • the projection control unit 81 controls the light source 31 and the scanning unit 32 based on the image data input from the image pickup control unit 82, and irradiates the retina 54 of the user wearing the spectacle-shaped frame 92 with the light beam 36.
  • the image 60 is projected (step S36).
  • the projection control unit 81 determines whether or not to end the image projection based on the operation of the input unit 84 by the user who wears the spectacle-shaped frame 92 (step S38).
  • the angle control unit 83 determines whether or not to change the angle of view ⁇ of the image captured by the image pickup unit 13 (step S40).
  • the angle control unit 83 determines that the angle of view ⁇ needs to be changed when the user wearing the spectacle-shaped frame 92 operates the input unit 84 to input information for changing the angle of view ⁇ (step S40: Yes). ).
  • the angle control unit 83 changes the angle of view ⁇ based on the change information of the angle of view ⁇ input by the user (step S42). After that, the process returns to step S34.
  • the process returns to step S34.
  • FIG. 8A there is a setting for a hand with a short distance to the object and a long distance with a long distance to the object, and based on the information input by the user to the input unit 84, Change the angle of view ⁇ to a long-distance angle of view or a hand-held angle of view larger than the long-distance angle of view.
  • FIGS. 8 (b) and 8 (c) when the angle of view ⁇ is set to the angle of view for the hand, the angle of view ⁇ may be stepped or stepped by the user continuing to operate the input unit 84 or the like. It may be changed linearly.
  • step S40 when the user has not input the information that the angle of view ⁇ is changed, the angle control unit 83 determines that the change of the angle of view ⁇ is unnecessary (step S40: No), and does not change the angle of view ⁇ .
  • step S38 when the user operates the input unit 84 to instruct the end of the image projection, the projection control unit 81 determines that the image projection is ended (step S38: Yes), and ends the image projection process.
  • the angle control unit 83 changes the angle of view ⁇ of the image pickup unit 13 based on the distance to the object seen by the user is shown as an example, but the case is not limited to this case.
  • the angle control unit 83 is for a hand with a larger angle of view than for a long distance and a long distance based on the change information of the angle of view ⁇ input by the user operating the input unit 84.
  • the angle of view ⁇ may be changed with and.
  • the user can adjust the angle of view ⁇ by the overlap between the image captured by the imaging unit 13 projected on one eye and the external image directly seen by the other eye, which is appropriate for each user.
  • the angle of view ⁇ can be easily set.
  • the angle of view ⁇ and the convergence angle ⁇ are substantially the same, and for handy use, it is preferable that the angle of view ⁇ is larger than the convergence angle ⁇ .
  • the distortion factor ⁇ (l) can be kept small regardless of whether the user looks at a near object or a distant object.
  • the angle control unit 83 changes the angle of view ⁇ of the image captured by the image pickup unit 13 based on the change information from the user is shown as an example, but the plurality of light rays 36 are the convergence points 41. It may be the case of changing the convergence angle ⁇ that converges to. In this case, the angle control unit 83 changes the convergence angle ⁇ depending on whether the convergence angle ⁇ is smaller than that for a long distance or a long distance.
  • FIG. 12 is a diagram showing the positional relationship between the image pickup unit in Example 3 and the light beam emitted to the user's eye.
  • the image projection device 200 of the third embodiment the image projection device 200 is located in front of the user wearing the spectacle-shaped frame 92 and outside the projection unit 30 with respect to the user's line-of-sight direction (first direction).
  • a reflection mirror 70 tilted by 45 ° is provided in the image projection device 200 of the third embodiment.
  • the image pickup unit 13 is arranged at a position shifted outward from the eye 50 from the reflection mirror 70.
  • the image pickup unit 13 takes an image of the user's line-of-sight direction via the reflection mirror 70.
  • the optical axis 16 of the image pickup unit 13 and the virtual straight line 38 substantially coincide with each other at the point 71 of the reflection mirror 70.
  • the optical axis 16 of the image pickup unit 13 is bent by the reflection mirror 70 and substantially coincides with and overlaps with the virtual straight line 38.
  • the distance L1 from the image pickup surface of the image pickup unit 13 to the point 71 of the reflection mirror 70 and the distance L2 from the convergence point 41 to the point 71 of the reflection mirror 70 are substantially the same length.
  • the angle of view ⁇ of the image captured by the image pickup unit 13 is fixed to be substantially the same as the convergence angle ⁇ at which the plurality of light rays 36 converge to the convergence point 41. Since other configurations are the same as those in the first embodiment, the description thereof will be omitted.
  • the optical axis 16 of the imaging unit 13 is bent to the virtual straight line 38 by the reflection mirror 70 and substantially coincides with the virtual straight line 38.
  • the image captured by the imaging unit 13 becomes an image close to the state in which the user directly looks forward with his / her own eyes. Therefore, an image close to the state directly seen by the user with his / her own eyes is projected on the retina 54.
  • the angle of view ⁇ and the convergence angle ⁇ are substantially the same, and the distance L1 between the image pickup unit 13 and the point 71 of the reflection mirror 70 and the distance L2 between the convergence point 41 and the point 71 of the reflection mirror 70 are substantially the same.
  • the case is preferable.
  • the size of the image projected on the retina 54 and the size of the image captured by the imaging unit 13 are substantially the same regardless of whether the user sees an object near or far away. That is, the strain factor ⁇ (l) described above becomes almost zero. Therefore, regardless of whether the user looks at a near object or a distant object, the unequal image vision in the left and right eyes is reduced, and normal stereoscopic vision can be obtained.
  • the fact that the distance L1 and the distance L2 substantially match is not limited to the case where they completely match, and a deviation of about a manufacturing error is allowed.
  • the angle of view ⁇ and the convergence angle ⁇ may be different, and in this case, the distortion factor ⁇ (l) may be within 3%. preferable.
  • the image projection process shown in FIG. 7 of Example 1 and FIG. 11 of Example 2 may be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)

Abstract

光源と、前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、前記ユーザの視線方向を撮像する撮像部と、前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線と略一致する、画像投影装置。

Description

画像投影装置
　本発明は、画像投影装置に関する。
　ユーザの視線方向を撮像する撮像部を備え、撮像部が撮像した画像と仮想空間の画像とを合成した合成画像をユーザに提示するヘッドマウントディスプレイが知られている（例えば特許文献１）。また、光線を二次元に走査し、走査した光線をユーザの網膜に照射することでユーザの網膜に画像を投影する画像投影装置が知られている（例えば特許文献２）。
特開２０１７－５９０６２号広報 特開２００９－２５８６８６号広報
　ユーザの視線方向を撮像した画像をユーザの網膜に投影する画像投影装置において、ユーザが眼で直接見た状態に近い画像が網膜に投影されることが望まれている。
　本発明は、上記課題に鑑みなされたものであり、ユーザが直接見た状態に近い画像を網膜に投影することを目的とする。
　本発明は、光源と、前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、前記ユーザの視線方向を撮像する撮像部と、前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線と略一致する、画像投影装置である。
　上記構成において、前記撮像部が撮像する前記画像の画角は前記複数の光線が前記収束点で収束する収束角度と略同じ角度から前記収束角度よりも大きい角度の範囲で変更可能である、又は、前記複数の光線が前記収束点で収束する収束角度は前記撮像部が撮像する前記画像の画角と略同じ角度から前記画角よりも小さい角度の範囲で変更可能である構成とすることができる。
　上記構成において、前記画角を変更又は前記収束角度を変更する角度制御部を備え、前記角度制御部は、前記ユーザが前記ユーザからの距離が所定距離よりも近くにある対象物を見る場合には、前記所定距離よりも遠くにある対象物を見る場合に比べて、前記画角を大きく又は前記収束角度を小さくする構成とすることができる。
　上記構成において、前記角度制御部は、前記ユーザが前記所定距離よりも遠くにある対象物を見る場合には前記画角と前記収束角度とが略一致するようにし、前記所定距離よりも近くにある対象物を見る場合には前記画角が前記収束角度よりも大きくなるようにする構成とすることができる。
　上記構成において、前記所定距離は、８００ｍｍ～１６００ｍｍの範囲内の値である構成とすることができる。
　上記構成において、前記画角を変更又は前記収束角度を変更する角度制御部と、前記ユーザが前記画角又は前記収束角度の変更情報を入力する入力部と、を備え、前記角度制御部は、前記入力部に入力された前記変更情報に基づき、遠距離用若しくは前記遠距離用よりも前記画角が大きい又は前記収束角度が小さい手元用とで前記画角又は前記収束角度を変更する構成とすることができる。
　上記構成において、前記遠距離用は前記画角と前記収束角度とが略一致し、前記手元用は前記画角が前記収束角度よりも大きい構成とすることができる。
　上記構成において、前記撮像部が撮像する前記画像の画角と、前記複数の光線が前記収束点で収束する収束角度とは異なる構成とすることができる。
　上記構成において、前記撮像部の撮像面と前記収束点との間の距離と、前記撮像面からユーザが見ている対象物までの距離と、前記画角及び前記収束角度と、に基づいて算出される、前記画像と前記収束角度との差異の割合が３％以内である構成とすることができる。
　本発明は、光源と、前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、前記ユーザの眼の前方に配置される反射ミラーと、前記反射ミラーを介して前記ユーザの視線方向を撮像する撮像部と、前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線に前記反射ミラーで屈曲して略一致する、画像投影装置である。
　上記構成において、前記撮像部で撮像される前記画像の画角と前記複数の光線が前記収束点で収束する収束角度とは略一致し、前記撮像部の光軸と前記仮想直線とが前記反射ミラーにおいて略合わさる合致点と前記撮像部との間の距離と、前記反射ミラーの前記合致点と前記収束点との間の距離とは、略一致する構成とすることができる。
　上記構成において、前記撮像部が撮像する前記画像の画角と、前記複数の光線が前記収束点で収束する収束角度とは異なる構成とすることができる。
　上記構成において、前記撮像部の撮像面と前記収束点との間の距離と、前記撮像面からユーザが見ている対象物までの距離と、前記画角及び前記収束角度と、に基づいて算出される、前記画像と前記収束角度との差異の割合が３％以内である構成とすることができる。
　上記構成において、前記光学系と前記撮像部とが取り付けられた眼鏡型フレームを備え、前記光学系と前記撮像部は、前記眼鏡型フレームに対して一体となって移動可能である構成とすることができる。
　上記構成において、前記撮像部と光軸が一致するように前記撮像部に着脱可能に設置されたレンズを備える構成とすることができる。
　本発明によれば、ユーザが直接見た状態に近い画像を網膜に投影することができる。
図１（ａ）は、実施例１に係る画像投影装置の正面図、図１（ｂ）は、図１（ａ）のＡ方向から見た側面図、図１（ｃ）は、図１（ａ）のＢ方向から見た平面図である。 図２（ａ）および図２（ｂ）は、カメラユニットの断面図である。 図３は、制御部の機能ブロック図である。 図４は、投影ユニットの構成部材を示す概略図である。 図５は、ユーザの網膜上での光線の走査を示す図である。 図６は、実施例１における撮像部とユーザの眼に照射される光線との位置関係を示す図である。 図７は、実施例１における画像投影処理の一例を示すフローチャートである。 図８（ａ）から図８（ｃ）は、対象物までの距離と画角との関係を示す図である。 図９（ａ）から図９（ｃ）は、撮像部が撮像する画像の画角を変更したときにおける、撮像画像と投影画像のサイズを示す図である。 図１０は、実施例１の変形例における撮像部とユーザの眼に照射される光線との位置関係を示す図である。 図１１は、実施例２における画像投影処理の一例を示すフローチャートである。 図１２は、実施例３における撮像部とユーザの眼に照射される光線との位置関係を示す図である。
　以下、図面を参照し、本発明の実施例について説明する。
　図１（ａ）は、実施例１に係る画像投影装置の正面図、図１（ｂ）は、図１（ａ）のＡ方向から見た側面図、図１（ｃ）は、図１（ａ）のＢ方向から見た平面図である。図の明瞭化のために、図１（ａ）から図１（ｃ）ではカメラユニット１０及び投影ユニット３０にハッチングを付し、図１（ａ）及び図１（ｂ）では制御部８０の図示を省略している。図１（ａ）から図１（ｃ）を参照して、実施例１の画像投影装置１００は、カメラユニット１０と、投影ユニット３０と、カメラユニット１０及び投影ユニット３０を制御する制御部８０と、を備える。カメラユニット１０は、アタッチメント９０と固定部材９１によって投影ユニット３０に固定されている。アタッチメント９０及び固定部材９１によって一体となったカメラユニット１０及び投影ユニット３０は、眼鏡型フレーム９２に設けられた貫通孔９３に固定部材９１が挿入して固定されることで、眼鏡型フレーム９２に固定されている。固定部材９１は例えばネジである。制御部８０は、眼鏡型フレーム９２には設けられてなく、例えば携帯端末等の外部機器に設けられている。
　眼鏡型フレーム９２を装着するユーザの視線方向を第１方向とし、ユーザの左右の眼が並ぶ方向を第２方向とする。貫通孔９３の第２方向における大きさは、固定部材９１よりも大きくなっている。したがって、カメラユニット１０及び投影ユニット３０は、眼鏡型フレーム９２に対して第２方向に一体となって移動可能となっている。
　図２（ａ）および図２（ｂ）は、カメラユニットの断面図である。図２（ａ）を参照して、カメラユニット１０は、筐体１１と、筐体１１内に設けられた配線基板１２と、配線基板１２に搭載されたＣＣＤイメージセンサ等の撮像素子を含む撮像部１３と、レンズ１４と、撮像部１３に電気的に接続された配線ケーブル１５と、を備える。撮像部１３は、レンズ１４を介して眼鏡型フレーム９２を装着するユーザの視線方向（第１方向）を撮像する。撮像部１３の光軸とレンズ１４の光軸は略一致している。撮像部１３が撮像した画像データは配線ケーブル１５を介してカメラユニット１０の外部に取り出される。なお、図２（ｂ）については後述する。
　図１（ａ）から図１（ｃ）を参照して、制御部８０は、配線ケーブル１５を介して撮像部１３に電気的に接続されるとともに、配線ケーブル３７を介して投影ユニット３０に含まれる光源及び走査部に電気的に接続されている。制御部８０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。
　図３は、制御部の機能ブロック図である。図３を参照して、制御部８０は、ハードウェアとソフトウェアとの協働によって投影制御部８１と撮像制御部８２と角度制御部８３として機能する。投影制御部８１と撮像制御部８２と角度制御部８３は専用に設計された回路でもよい。投影制御部８１と撮像制御部８２と角度制御部８３は、１つの回路でもよいし、異なる回路でもよい。
　投影制御部８１は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示した場合に画像投影を開始し、画像投影の終了を指示した場合に画像投影を終了する。撮像制御部８２は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示した場合に撮像部１３による撮像を開始し、画像投影の終了を指示した場合に撮像部１３による撮像を終了する。入力部８４は、例えばタッチパネルであるが、その他の場合でもよい。撮像制御部８２は、撮像部１３がユーザの視線方向の撮像を開始すると、撮像部１３から撮像した画像データを取得する。投影制御部８１は、撮像制御部８２から画像データを取得し、取得した画像データに基づいて投影ユニット３０の光源及び走査部を制御して、眼鏡型フレーム９２を装着するユーザの網膜に画像を投影する。角度制御部８３は、撮像部１３が撮像する画像の画角を必要に応じて変更する。
　実施例１における画像投影装置１００では、眼鏡型フレーム９２を装着するユーザは、左眼には撮像部１３が撮像したユーザの視線方向の画像が投影され、右眼ではユーザの前方を直接見ることになる。
　図４は、投影ユニットの構成部材を示す概略図である。図４では、図３に示した制御部８０を併せて図示するとともに、制御部８０に係る制御線を点線で図示している。図４を参照して、投影ユニット３０は、光源３１と、走査部３２と、反射ミラー３３及び３４と、を備える。投影制御部８１は、光源３１からの光線３６の出射を制御するとともに、走査部３２の駆動を制御する。なお、光源３１は、投影ユニット３０に備わらずに、投影ユニット３０の外部にあってもよい。
　光源３１は、投影制御部８１の制御の下、例えば赤色レーザ光（波長：６１０ｎｍ～６６０ｎｍ程度）、緑色レーザ光（波長５１５ｎｍ～５４０ｎｍ程度）、及び青色レーザ光（波長：４４０ｎｍ～４８０ｎｍ程度）の可視レーザ光を出射する。赤色、緑色、及び青色のレーザ光を出射する光源３１として、例えばＲＧＢ（赤・緑・青）それぞれのレーザダイオードチップと３色合成デバイスとが集積された光源が挙げられる。光源３１は、１つのモジュール内にレーザダイオードチップと３色合成デバイスとが集積されている。なお、光源３１は、単一の波長のレーザ光を出射してもよい。
　走査部３２（スキャナ）は、光源３１が出射する光線３６を二次元に走査する。走査部３２は、例えばＭＥＭＳ（Micro Electro Mechanical System）ミラーであり、光線３６を水平方向及び垂直方向の二次元に走査する。走査部３２はＭＥＭＳミラー以外であってもよい。走査部３２によって走査されることで走査部３２から異なる時間に出射された複数の光線３６は、反射ミラー３３で反射して、反射ミラー３４の手前の収束点４０で収束した後に反射ミラー３４に照射される。複数の光線３６は、反射ミラー３４で反射して、眼鏡型フレーム９２を装着するユーザの眼５０の瞳孔５１近傍の収束点４１で収束し、水晶体５２及び硝子体５３を透過して網膜５４に照射される。ユーザは、網膜５４に照射された複数の光線３６の残像効果によって画像を認識する。反射ミラー３３及び３４は、反射面が自由曲面等の曲面を有する凹面ミラーであり、正の集光パワーを有する。
　このように、走査部３２と反射ミラー３３及び３４とは、光源３１から出射される光線３６を二次元に走査し、走査されることで走査部３２から異なる時間に出射される複数の光線３６をユーザの眼５０内の収束点４１で収束させた後に網膜５４に照射する光学系３５を構成する部材である。
　図５は、ユーザの網膜上での光線の走査を示す図である。図５を参照して、走査部３２は、ユーザの網膜５４上で光線３６を矢印６１のように左上から右下までラスタースキャンする。走査部３２が駆動しても光源３１が光線３６を出射しないと、光線３６は網膜５４に照射されない。例えば、図５の破線の矢印６１では光線３６は出射されない。投影制御部８１は、光源３１からの光線３６の出射と走査部３２の駆動とを同期させる。これにより、光源３１が実線の矢印６１において光線３６を出射することで、網膜５４に画像６０が投影される。ここで、光線３６が走査部３２によって走査されることで、走査部３２から異なる時間に出射される複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する光線を中心光線３６ａとする。
　図６は、実施例１における撮像部とユーザの眼に照射される光線との位置関係を示す図である。図６を参照して、撮像部１３は、眼鏡型フレーム９２を装着するユーザの眼５０の前方に配置され、ユーザの視線方向（第１方向）を撮像する。撮像部１３の光軸１６は、走査部３２によって走査されることで走査部３２から異なる時間に出射される複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致して重なる。別の言い方をすると、撮像部１３の光軸１６は、収束点４１と中心光線３６ａが網膜５４に照射される箇所とを結んだ仮想直線３８と略一致して重なる。また、網膜５４に投影される画像６０の中心と走査部３２が駆動する駆動範囲６２（図５参照）の中心とが略一致する場合、撮像部１３の光軸１６は、走査部３２の駆動範囲６２の中心で走査される中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致するとも言える。
　撮像部１３が撮像する画像の画角θは、走査部３２から異なる時間に出射される複数の光線３６が眼５０内の収束点４１に収束する収束角度φと略同じ角度から収束角度φよりも大きな角度の範囲で少なくとも変更可能となっている。収束角度φは例えば２５°～２８°程度である。画角θは角度制御部８３によって変更される。角度制御部８３は、撮像部１３の光学ズームを変更することで画角θを変更してもよいし、デジタルズームを変更することで画角θを変更してもよい。
　図７は、実施例１における画像投影処理の一例を示すフローチャートである。図７を参照して、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示すると、角度制御部８３は撮像部１３が撮像する画像の画角θを初期値に設定し（ステップＳ１０）、撮像制御部８２は撮像部１３に撮像を開始させる（ステップＳ１２）。画角θの初期値は、例えば複数の光線３６が収束点４１に収束する収束角度φと略同じ大きさとしてもよい。撮像部１３は、眼鏡型フレーム９２を装着するユーザの視線方向（第１方向）の撮像を開始する。
　次いで、撮像制御部８２は、撮像部１３が撮像した画像データを取得する（ステップＳ１４）。撮像部１３が撮像する画像の画角θをデジタルズームによって調整する場合では、角度制御部８３は、取得した画像データに対して初期値の画角θとなるようにトリミングを行ってもよい。次いで、投影制御部８１は、撮像制御部８２から入力された画像データに基づいて光源３１及び走査部３２を制御し、眼鏡型フレーム９２を装着するユーザの網膜５４に光線３６を照射することで画像６０を投影する（ステップＳ１６）。網膜５４に投影される画像６０は、撮像部１３が撮像したユーザの視線方向の画像のみの場合でもよいし、撮像部１３が撮像したユーザの視線方向の画像と仮想空間の画像とを合成した合成画像の場合でもよい。
　次いで、投影制御部８１は、眼鏡型フレーム９２を装着するユーザによる入力部８４の操作に基づいて、画像投影を終了するか否かを判断する（ステップＳ１８）。ユーザが入力部８４を操作して画像投影の終了を指示するまで、投影制御部８１は、画像投影を継続すると判断する（ステップＳ１８：Ｎｏ）。角度制御部８３は、投影制御部８１が画像投影を継続すると判断した場合、眼鏡型フレーム９２を装着するユーザの視線方向に位置し、ユーザが見ている対象物までの距離を取得する（ステップＳ２０）。対象物までの距離の取得は、一般的に知られている方法が用いられる。例えば、カメラのレンズに構造開口を追加することで距離を取得する方法や、複数の視点から撮影した画像から対象物までの距離を取得する方法等を用いてもよい。また、後述の実施例１の変形例のように、両眼に画像を投影する場合では、ステレオカメラによる対象物までの距離を取得する方法を用いてもよい。
　次いで、角度制御部８３は、ステップＳ２０で取得した対象物までの距離に基づいて、撮像部１３が撮像する画像の画角θを変更するか否かを判断する（ステップＳ２２）。例えば、画角θが収束角度φと略同じ大きさになっている場合を想定する。この場合、ユーザが見ている対象物までの距離が所定距離Ｄ以上である場合は、画角θの変更は不要と判断し（ステップＳ２２：Ｎｏ）、画角θを収束角度φと略同じ大きさに維持したまま、ステップＳ１４に戻る。一方、例えば、ユーザが見ている対象物までの距離が所定距離Ｄ未満である場合は、画角θの変更は必要と判断し（ステップＳ２２：Ｙｅｓ）、画角θを収束角度φよりも大きくなるように変更する（ステップＳ２４）。その後、ステップＳ１４に戻る。所定距離Ｄは、例えば８００［ｍｍ］～１６００［ｍｍ］の範囲の値とすることができる。
　図８（ａ）から図８（ｃ）は、対象物までの距離と画角との関係を示す図である。対象物までの距離が所定距離Ｄ以上である場合は、図８（ａ）から図８（ｃ）のように、画角θを収束角度φと略同じ角度としてもよい。対象物までの距離が所定距離Ｄ未満である場合は、図８（ａ）のように、画角θを収束角度φよりも大きい一定角度としてもよいし、図８（ｂ）のように、対象物までの距離が短くなるに従い画角θを階段状に大きくしていってもよいし、図８（ｃ）のように、対象物までの距離が短くなるに従い画角θを直線状に大きくしていってもよい。
　図８（ａ）から図８（ｃ）の対象物までの距離と画角θの関係とを示す情報を記憶部に予め記憶させておき、角度制御部８３は記憶された情報と対象物までの距離とに基づいて画角θを制御すればよい。
　ステップＳ１８において、ユーザが入力部８４を操作して画像投影の終了を指示すると、投影制御部８１は画像投影を終了すると判断し（ステップＳ１８：Ｙｅｓ）、画像投影処理を終了する。
　ここで、撮像部１３が撮像する画像の画角θを変更する理由について説明する。図１（ａ）から図１（ｃ）のように、眼鏡型フレーム９２を装着するユーザは、左眼には撮像部１３が撮像するユーザの視線方向の画像が投影され、右眼では画像が投影されずに前方を直接見ている。このように、両眼のうちの一方の眼では前方を直接見て、他方の眼には撮像部１３が撮像する画像が投影される場合では、不等像視が生じて融像が上手くできない場合がある。したがって、撮像部１３が撮像する画像が眼に投影される場合でも、ユーザが自身の眼で直接見た状態に近い画像が投影されることが好ましい。
　図９（ａ）から図９（ｃ）は、撮像部が撮像する画像の画角を変更したときにおける、撮像画像と投影画像のサイズを示す図である。図９（ａ）から図９（ｃ）では、撮像部１３が撮像する画像（撮像画像）のサイズを破線で示し、網膜５４に投影される画像（投影画像）のサイズを点線で示している。図９（ａ）を参照して、撮像部１３が撮像する画像の画角θと複数の光線３６が収束点４１に収束する収束角度φとが略同じ大きさである場合、投影画像のサイズを基準とした場合における撮像画像と投影画像のサイズ差の割合は、ユーザが近くの対象物を見る場合は遠くの対象物を見る場合に比べて大きくなる。すなわち、ユーザが見ている対象物がＡ、Ｂ、又はＣの位置にある場合、Ａ、Ｂ、Ｃの順に投影画像のサイズに対する撮像画像と投影画像とのサイズ差の割合は大きくなる。
　図９（ｂ）及び図９（ｃ）のように、撮像部１３が撮像する画像の画角θを収束角度φよりも大きくすると、撮像画像のサイズと投影画像のサイズが同じになる位置Ｏが生じる。画角θが大きくなるほど、撮像画像のサイズと投影画像のサイズが同じになる位置Ｏはユーザの眼５０に近づく。従って、撮像部１３が撮像する画像の画角θを収束角度φと異なる角度にすることで、撮像画像のサイズと投影画像のサイズが同じになる位置を可変及び調節することができる。
　ここで、撮像部１３の撮像面と収束点４１との間の距離をＬｚ、撮像部１３の撮像面からユーザが見ている対象物までの距離をｌとする。この場合、投影画像のサイズに対する撮像画像と投影画像とのサイズ差の割合を歪率ε（ｌ）とすると、歪率ε（ｌ）は下記の数１で表される。
Figure JPOXMLDOC01-appb-M000001
　眼鏡型フレーム９２を装着するユーザの左眼には撮像部１３が撮像した画像が投影される。この場合、ユーザの網膜５４に投影される画像のサイズに対する撮像部１３が撮像する画像と網膜５４に投影される画像とのサイズ差の割合が小さいほど、ユーザは自身の眼で直接見た状態に近い画像が網膜５４に投影されることになる。ユーザが自身の眼で直接見た状態に近い画像が左眼の網膜５４に投影されると、右眼で直接見た画像と融像でき、正常立体視が得られるようになる。
　左右の眼に映る画像が融像されて正常立体視が得られるためには、左右の眼に映る対象物の大きさの差を３％以内に収めること、すなわち左右の眼における不等像視を３％以内に収めることが知られている（例えば、論文“Effect of Aniseikonia on Binocular Function”、Osamu Katsumi他２名、INVESTIGATIVE OPHTALMOLOGY & VISUAL SCIENCE Vol 27、1986年4月、６０１頁－６０４頁）。
　ここで、ユーザの網膜５４に投影する画像のサイズが１６：９で、水平方向の収束角度φを２６度としたときの歪率ε（ｌ）の例を示す。図９（ａ）から図９（ｃ）における、撮像部１３の撮像面と収束点４１との間の距離Ｌｚは、各構成部材の大きさや機能の関係上、２５ｍｍ～５０ｍｍになる。この場合、画角θと収束角度φが略同じ大きさであるとすると、数１から歪率ε（ｌ）が３％になる距離ｌは８００ｍｍ～１６００ｍｍ程度となる。つまり、ユーザが８００ｍｍ～１６００ｍｍ以上離れた位置にある遠くの対象物を見る場合では、画角θの大きさを収束角度φの大きさに略一致させることで、不等像視が小さく抑えられ正常立体視が得られる。
　また、ユーザが８００ｍｍ未満の範囲内にある近くの対象物を見る場合では、画角θを収束角度φよりも大きくすることで歪率ε（ｌ）を３％以内に収められ、正常立体視が得られる。例えばユーザが３００ｍｍ程度離れた位置にある対象物を見る場合では、画角θを収束角度φよりも５％～１３％大きくすることで歪率ε（ｌ）を３％以内に収められ、正常立体視が得られる。水平方向の収束角度φが２６度以外の場合も、数１に示す数式で各パラメータを設定することにより、歪率ε（ｌ）を３％以内に収めることができ、また設定したパラメータの時の歪率ε（ｌ）を算出することができる。
　実施例１によれば、図６のように、撮像部１３の光軸１６は、複数の光線３６のうち網膜５４に投影される画像６０の中心に対応する中心光線３６ａが収束点４１から網膜５４に向かう方向で中心光線３６ａに重なって延びる仮想直線３８と略一致する。複数の光線３６を眼５０内の収束点４１に収束させた後に網膜５４に照射して画像６０を投影する画像投影装置はアイボックスが狭いため、中心光線３６ａの入射方向とユーザの視線方向とが略一致する。このため、撮像部１３の光軸１６と中心光線３６ａに重なって延びた仮想直線３８とを略一致させることで、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。例えば、撮像部１３が両眼の間に設置されて視線方向を撮像する場合、ユーザは自身の眼で直接見た状態とは異なる状態の画像が投影されるために違和感を生じ、遠近感が上手く掴めないようなことが起こり得る。しかしながら、実施例１ではユーザが自身の眼で直接見た状態に近い画像が投影されるため、このような違和感が抑制される。撮像部１３の光軸１６と仮想直線３８が略一致するとは、完全に一致する場合に限られず、製造誤差程度のずれを許容する。
　撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φよりも大きい角度の範囲で変更可能であることが好ましい。これにより、図９（ａ）から図９（ｃ）で説明したように、ユーザが近くにある対象物を見た場合でも歪率ε（ｌ）を小さくすることができ、ユーザが自身の眼で直接見た状態に近い画像が投影されるようになる。よって、例えば、左右の眼における不等像視を小さく抑えることができ、正常立体視を得ることができる。
　図９（ａ）から図９（ｃ）で説明したように、水平方向の収束角度φを２６度としたとき、ユーザが３００ｍｍ程度離れた位置にある対応物を見る場合では、画角θは収束角度φよりも５％～１３％大きくすることで歪率ε（ｌ）を３％以内にすることができる。よって、撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φより１３％大きい角度の範囲で少なくとも変更可能であることが好ましい。ユーザが３００ｍｍよりも近い対象物を見る場合等を考慮して、撮像部１３は、画角θが収束角度φと略同じ角度から収束角度φより１５％大きい角度の範囲で少なくとも変更可能である場合でもよいし、画角θが収束角度φと略同じ角度から収束角度φより１８％大きい角度の範囲で少なくとも変更可能である場合でもよいし、画角θが収束角度φと略同じ角度から収束角度φより２０％大きい角度の範囲で少なくとも変更可能である場合でもよい。
　図７で説明したように、角度制御部８３は、ユーザがユーザからの距離が所定距離Ｄよりも近くにある対象物を見る場合は、所定距離Ｄよりも遠くにある対象物を見る場合に比べて、撮像部１３の画角θを大きくする。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見る場合でも、歪率ε（ｌ）を小さくすることができ、ユーザが自身の眼で直接見た状態に近い画像が投影されるようになる。
　近くにある対象物及び遠くにある対象物のいずれを見る場合でも歪率ε（ｌ）を小さく抑えるために、角度制御部８３は、ユーザが所定距離Ｄよりも遠くにある対象物を見る場合には画角θと収束角度φを略一致させ、所定距離Ｄよりも近くにある対象物を見る場合には画角θを収束角度φよりも大きくすることが好ましい。角度制御部８３は、水平方向の収束角度φを２６度としたときにはユーザが３００ｍｍ以内にある対象物を見る場合には画角θを収束角度φよりも５％以上大きくすることが好ましい。画角θを収束角度φに略一致させるとは、完全に一致させる場合に限られず、製造誤差程度のずれを許容する。
　図１（ａ）から図１（ｃ）のように、光学系３５を備える投影ユニット３０と撮像部１３を備えるカメラユニット１０とは、眼鏡型フレーム９２に取り付けられて、眼鏡型フレーム９２に対して一体となって移動可能であることが好ましい。これにより、左右の眼の間隔が異なる様々なユーザに対応可能な画像投影装置が得られる。
　撮像部１３の画角θを変更する方法として、角度制御部８３が撮像部１３の光学ズームまたはデジタルズームを変更することで画角θを変更する場合を説明したが、これに限られるものではない。例えば、図２（ｂ）に示すカメラユニット１０ａのように、撮像部１３の前にあるレンズ１４と光軸が一致する（すなわち撮像部１３と光軸が一致する）ように、光軸とのなす角（画角）が異なるレンズ１４ａを交換可能に追加して設置することで、画角θを変更する場合でもよい。レンズ１４ａは、レンズ設置用のアダプタ１７を用いて追加設置する場合や、レンズ１４ａの周囲にネジ溝を設けるともにレンズ１４の周囲にもレンズ１４ａのねじ溝に合致するねじ溝を設けることで追加設置する場合など、様々な方法により交換可能に追加設置することができる。これにより、角度制御部８３を用いなくても、簡単な構成で容易に撮像部１３の画角θを変更することができる。
　角度制御部８３を設けない場合は、撮像部１３の画角θは固定されるが、焦点距離を固定することで、その焦点距離においては、精度よく安定して左右の眼に映る画像を融像させることができる。また、角度制御部８３と併用すれば、追加したレンズ１４ａによって画角θを設定したうえで、角度制御部８３によって調整することで最適な画角に設定することができ、さらに汎用性を高めることができる。なお、レンズ１４に加えてレンズ１４ａを追加する場合に限られず、レンズ１４をレンズ１４ａに交換する場合でもよい。
　実施例１では、画角θが収束角度φと略同じ角度から収束角度φよりも大きい角度の範囲で変更可能であって、角度制御部８３は画角θを変更する場合を例に示したが、この場合に限られない。収束角度φが画角θと略同じ角度から画角θよりも小さい角度の範囲で変更可能であって、角度制御部８３は収束角度φを変更する場合でもよい。この場合、角度制御部８３は、ユーザがユーザからの距離が所定距離Ｄよりも近くにある対象物を見る場合は、所定距離Ｄよりも遠くにある対象物を見る場合に比べて、収束角度φを小さくすることが好ましい。
　図１０は、実施例１の変形例における撮像部とユーザの眼に照射される光線との位置関係を示す図である。ユーザの眼との位置関係を示す図である。図１０を参照して、実施例１の変形例の画像投影装置１１０では、眼鏡型フレーム９２を装着するユーザの両方の眼５０の前方に撮像部１３（すなわちカメラユニット１０）及び投影ユニット３０が設けられている。眼鏡型フレーム９２を装着するユーザの両方の眼５０において、撮像部１３の光軸１６は仮想直線３８と略一致して重なっている。また、ユーザの両方の眼５０において、画角θは収束角度φと略同じ角度から収束角度φよりも大きな角度の範囲で少なくとも変更可能となっている。その他の構成は実施例１と同じであるため説明を省略する。
　実施例１では、眼鏡型フレーム９２を装着するユーザの両眼のうちの一方の眼に撮像部１３が撮像する画像を投影し、他方の眼ではユーザは前方を直接見る場合を例に示した。しかしながら、この場合に限られず、実施例１の変形例のように、ユーザの両眼に撮像部１３が撮像する画像を投影する場合でもよい。この場合でも、撮像部１３の光軸１６が仮想直線３８に略一致することで、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。
　実施例２の画像投影装置の構成は実施例１と同じであるため図示及び説明を省略する。図１１は、実施例２における画像投影処理の一例を示すフローチャートである。図１１を参照して、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画像投影の開始を指示すると、角度制御部８３は撮像部１３が撮像する画像の画角θを初期値に設定し（ステップＳ３０）、撮像制御部８２は撮像部１３に撮像を開始させる（ステップＳ３２）。
　次いで、撮像制御部８２は、撮像部１３が撮像した画像データを取得する（ステップＳ３４）。次いで、投影制御部８１は、撮像制御部８２から入力された画像データに基づいて光源３１及び走査部３２を制御し、眼鏡型フレーム９２を装着するユーザの網膜５４に光線３６を照射することで画像６０を投影する（ステップＳ３６）。
　次いで、投影制御部８１は、眼鏡型フレーム９２を装着するユーザによる入力部８４の操作に基づいて、画像投影を終了するか否かを判断する（ステップＳ３８）。投影制御部８１が画像投影を継続すると判断した場合（ステップＳ３８：Ｎｏ）、角度制御部８３は撮像部１３が撮像する画像の画角θを変更するか否かを判断する（ステップＳ４０）。角度制御部８３は、眼鏡型フレーム９２を装着するユーザが入力部８４を操作して画角θを変更する情報を入力した場合に、画角θの変更が必要と判断する（ステップＳ４０：Ｙｅｓ）。この場合、角度制御部８３は、ユーザが入力した画角θの変更情報に基づいて画角θを変更する（ステップＳ４２）。その後、ステップＳ３４に戻る。例えば、図８（ａ）のように、対象物までの距離が短い手元用と対象物までの距離が遠い遠距離用との設定があり、ユーザが入力部８４に入力する情報に基づいて、画角θを遠距離用の画角又は遠距離用の画角よりも大きい手元用の画角に変更する。また、図８（ｂ）及び図８（ｃ）のように、画角θを手元用の画角にする場合では、ユーザが入力部８４を操作し続けること等によって画角θを階段状又は直線状に変化させてもよい。
　一方、ユーザが画角θを変更するとの情報を入力していない場合では、角度制御部８３は画角θの変更は不要と判断し（ステップＳ４０：Ｎｏ）、画角θを変更せずにステップＳ３４に戻る。ステップＳ３８において、ユーザが入力部８４を操作して画像投影の終了を指示すると、投影制御部８１は画像投影を終了すると判断し（ステップＳ３８：Ｙｅｓ）、画像投影処理を終了する。
　実施例１では、角度制御部８３は、ユーザが見ている対象物までの距離に基づいて撮像部１３の画角θを変更する場合を例に示したが、この場合に限られない。実施例２のように、角度制御部８３は、ユーザが入力部８４を操作することで入力された画角θの変更情報に基づき、遠距離用と遠距離用よりも画角が大きい手元用とで画角θを変更する場合でもよい。この場合、ユーザは一方の眼に投影された撮像部１３の撮像画像と他方の眼で直接見た外界像との重なりによって画角θを調整することができ、個々のユーザに対して適切な画角θとすることが容易にできる。遠距離用は画角θと収束角度φとが略一致し、手元用は画角θが収束角度φよりも大きいことが好ましい。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見る場合でも歪率ε（ｌ）を小さく抑えることができる。
　実施例２では、角度制御部８３は、ユーザからの変更情報に基づいて、撮像部１３が撮像する画像の画角θを変更する場合を例に示したが、複数の光線３６が収束点４１に収束する収束角度φを変更する場合でもよい。この場合、角度制御部８３は、遠距離用又は遠距離用よりも収束角度φが小さい手元用とで収束角度φを変更する。
　図１２は、実施例３における撮像部とユーザの眼に照射される光線との位置関係を示す図である。図１２を参照して、実施例３の画像投影装置２００では、眼鏡型フレーム９２を装着するユーザの前方であって投影ユニット３０の外側に、ユーザの視線方向（第１方向）に対して略４５°傾いた反射ミラー７０が設けられている。撮像部１３は、反射ミラー７０から眼５０よりも外側にシフトした位置に配置されている。撮像部１３は、反射ミラー７０を介してユーザの視線方向を撮像する。
　撮像部１３の光軸１６と仮想直線３８とは、反射ミラー７０の点７１において略一致する。撮像部１３の光軸１６は、反射ミラー７０で屈曲して仮想直線３８に略一致して重なる。撮像部１３の撮像面から反射ミラー７０の点７１までの距離Ｌ１と、収束点４１から反射ミラー７０の点７１までの距離Ｌ２と、は略同じ長さである。撮像部１３が撮像する画像の画角θは、複数の光線３６が収束点４１に収束する収束角度φと略同じ大きさに固定されている。その他の構成は、実施例１と同じであるため説明を省略する。
　実施例３によれば、撮像部１３の光軸１６は仮想直線３８に反射ミラー７０で屈曲して略一致する。これにより、実施例１と同様に、撮像部１３が撮像する画像はユーザが自身の眼で前方を直接見た状態に近い画像となる。よって、ユーザが自身の眼で直接見た状態に近い画像が網膜５４に投影されるようになる。
　画角θと収束角度φは略一致し、撮像部１３と反射ミラー７０の点７１との間の距離Ｌ１と収束点４１と反射ミラー７０の点７１との間の距離Ｌ２とは略一致する場合が好ましい。これにより、ユーザが近くにある対象物及び遠くにある対象物のいずれを見た場合でも、網膜５４に投影される画像のサイズと撮像部１３が撮像する画像のサイズとが略同じになる。すなわち、上述した歪率ε（ｌ）がほぼゼロになる。よって、ユーザが近くにある対象物及び遠くにある対象物のいずれを見た場合でも、左右の眼における不等像視が小さくなり、正常立体視を得ることができる。距離Ｌ１と距離Ｌ２が略一致するとは、完全に一致する場合に限られず、製造誤差程度のずれを許容する。
　実施例３においても、実施例１及び実施例２と同様に、画角θと収束角度φとが異なっている場合でもよく、この場合、歪率ε（ｌ）は３％以内である場合が好ましい。画角θと収束角度φが異なっている場合、実施例１の図７及び実施例２の図１１に示す画像投影処理を行ってもよい。
　以上、本発明の実施例について詳述したが、本発明はかかる特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　１０、１０ａ　カメラユニット
　１１　筐体
　１２　配線基板
　１３　撮像部
　１４、１４ａ　レンズ
　１５　配線ケーブル
　１６　光軸
　１７　アダプタ
　３０　投影ユニット
　３１　光源
　３２　走査部
　３３、３４　反射ミラー
　３５　光学系
　３６　光線
　３６ａ　中心光線
　３７　配線ケーブル
　３８　仮想直線
　４０、４１　収束点
　５０　眼
　５１　瞳孔
　５２　水晶体
　５３　硝子体
　５４　網膜
　６０　画像
　６２　駆動範囲
　７０　反射ミラー
　７１　点
　８０　制御部
　８１　投影制御部
　８２　撮像制御部
　８３　角度制御部
　８４　入力部
　９０　アタッチメント
　９１　固定部材
　９２　眼鏡型フレーム
　１００、１１０、２００　画像投影装置
　

Claims (15)

  1. 　光源と、
    　前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、
    　前記ユーザの視線方向を撮像する撮像部と、
    　前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、
    　前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線と略一致する、画像投影装置。
  2. 　前記撮像部が撮像する前記画像の画角は前記複数の光線が前記収束点で収束する収束角度と略同じ角度から前記収束角度よりも大きい角度の範囲で変更可能である、又は、前記複数の光線が前記収束点で収束する収束角度は前記撮像部が撮像する前記画像の画角と略同じ角度から前記画角よりも小さい角度の範囲で変更可能である、請求項１に記載の画像投影装置。
  3. 　前記画角を変更又は前記収束角度を変更する角度制御部を備え、
    　前記角度制御部は、前記ユーザが前記ユーザからの距離が所定距離よりも近くにある対象物を見る場合には、前記所定距離よりも遠くにある対象物を見る場合に比べて、前記画角を大きく又は前記収束角度を小さくする、請求項２に記載の画像投影装置。
  4. 　前記角度制御部は、前記ユーザが前記所定距離よりも遠くにある対象物を見る場合には前記画角と前記収束角度とが略一致するようにし、前記所定距離よりも近くにある対象物を見る場合には前記画角が前記収束角度よりも大きくなるようにする、請求項３に記載の画像投影装置。
  5. 　前記所定距離は、８００ｍｍ～１６００ｍｍの範囲内の値である、請求項３または４に記載の画像投影装置。
  6. 　前記画角を変更又は前記収束角度を変更する角度制御部と、
    　前記ユーザが前記画角又は前記収束角度の変更情報を入力する入力部と、を備え、
    　前記角度制御部は、前記入力部に入力された前記変更情報に基づき、遠距離用若しくは前記遠距離用よりも前記画角が大きい又は前記収束角度が小さい手元用とで前記画角又は前記収束角度を変更する、請求項２に記載の画像投影装置。
  7. 　前記遠距離用は前記画角と前記収束角度とが略一致し、前記手元用は前記画角が前記収束角度よりも大きい、請求項６に記載の画像投影装置。
  8. 　前記撮像部が撮像する前記画像の画角と、前記複数の光線が前記収束点で収束する収束角度とは異なる、請求項１に記載の画像投影装置。
  9. 　前記撮像部の撮像面と前記収束点との間の距離と、前記撮像面から前記ユーザが見ている対象物までの距離と、前記画角及び前記収束角度と、に基づいて算出される、前記画像と前記収束角度との差異の割合が３％以内である、請求項２に記載の画像投影装置。
  10. 　光源と、
    　前記光源から出射される光線を二次元に走査する走査部を含み、前記走査部から異なる時間に出射される複数の前記光線をユーザの眼内の収束点で収束させた後に網膜に照射する光学系と、
    　前記ユーザの眼の前方に配置される反射ミラーと、
    　前記反射ミラーを介して前記ユーザの視線方向を撮像する撮像部と、
    　前記光源及び前記走査部を制御して、前記撮像部で撮像される画像を前記網膜に投影する投影制御部と、を備え、
    　前記撮像部の光軸は、前記複数の光線のうち前記網膜に投影される前記画像の中心に対応する中心光線が前記収束点から前記網膜に向かう方向で前記中心光線に重なって延びる仮想直線に前記反射ミラーで屈曲して略一致する、画像投影装置。
  11. 　前記撮像部で撮像される前記画像の画角と前記複数の光線が前記収束点で収束する収束角度とは略一致し、
    　前記撮像部の光軸と前記仮想直線とが前記反射ミラーにおいて略合わさる合致点と前記撮像部との間の距離と、前記反射ミラーの前記合致点と前記収束点との間の距離とは、略一致する、請求項１０に記載の画像投影装置。
  12. 　前記撮像部が撮像する前記画像の画角と、前記複数の光線が前記収束点で収束する収束角度とは異なる、請求項１０に記載の画像投影装置。
  13. 　前記撮像部の撮像面と前記収束点との間の距離と、前記撮像面からユーザが見ている対象物までの距離と、前記画角及び前記収束角度と、に基づいて算出される、前記画像と前記収束角度との差異の割合が３％以内である、請求項１１に記載の画像投影装置。
  14. 　前記光学系と前記撮像部とが取り付けられた眼鏡型フレームを備え、
    　前記光学系と前記撮像部は、前記眼鏡型フレームに対して一体となって移動可能である、請求項１から１３のいずれか一項に記載の画像投影装置。
  15. 　前記撮像部と光軸が一致するように前記撮像部に着脱可能に設置されたレンズを備える、請求項１から１４のいずれか一項に記載の画像投影装置。
    　
PCT/JP2021/032586 2020-09-09 2021-09-06 画像投影装置 WO2022054740A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021553020A JP7123452B2 (ja) 2020-09-09 2021-09-06 画像投影装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020151566 2020-09-09
JP2020-151566 2020-09-09

Publications (1)

Publication Number Publication Date
WO2022054740A1 true WO2022054740A1 (ja) 2022-03-17

Family

ID=80631764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032586 WO2022054740A1 (ja) 2020-09-09 2021-09-06 画像投影装置

Country Status (2)

Country Link
JP (1) JP7123452B2 (ja)
WO (1) WO2022054740A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787374A (ja) * 1993-06-22 1995-03-31 Agency Of Ind Science & Technol 投射方式による眼球運動追従型視覚提示装置
JP2014228805A (ja) * 2013-05-24 2014-12-08 富士通株式会社 画像表示装置及び画像表示方法
JP2018084886A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2019105723A (ja) * 2017-12-12 2019-06-27 株式会社Ｑｄレーザ 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
US10733439B1 (en) * 2016-10-20 2020-08-04 Facebook Technologies, Llc Imaging retina in head-mounted displays

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154144A (ja) 1999-11-30 2001-06-08 Shimadzu Corp 頭部装着型表示システム
JP2005286927A (ja) 2004-03-30 2005-10-13 Konica Minolta Photo Imaging Inc 透過式頭部搭載表示装置
JP2006023561A (ja) 2004-07-08 2006-01-26 Canon Inc 撮影装置
JP2006308674A (ja) 2005-04-26 2006-11-09 Mitsubishi Electric Corp 画像表示装置
JP2008046253A (ja) 2006-08-11 2008-02-28 Canon Inc 画像表示装置
JP5311440B2 (ja) 2007-12-05 2013-10-09 独立行政法人産業技術総合研究所 情報提示装置
JP2011128252A (ja) 2009-12-16 2011-06-30 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011171932A (ja) 2010-02-17 2011-09-01 Canon Inc 画像表示装置、画像表示方法及びプログラム
JP2015007722A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像表示装置
JP7118650B2 (ja) 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
JP2020071327A (ja) 2018-10-30 2020-05-07 キヤノン株式会社 光学系、それを備えるアクセサリ装置及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787374A (ja) * 1993-06-22 1995-03-31 Agency Of Ind Science & Technol 投射方式による眼球運動追従型視覚提示装置
JP2014228805A (ja) * 2013-05-24 2014-12-08 富士通株式会社 画像表示装置及び画像表示方法
US10733439B1 (en) * 2016-10-20 2020-08-04 Facebook Technologies, Llc Imaging retina in head-mounted displays
JP2018084886A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2019105723A (ja) * 2017-12-12 2019-06-27 株式会社Ｑｄレーザ 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム

Also Published As

Publication number Publication date
JP7123452B2 (ja) 2022-08-23
JPWO2022054740A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
TWI666467B (zh) 眼睛投影系統
US9798153B2 (en) Projection apparatus
US6201517B1 (en) Stereoscopic image display apparatus
US20160284129A1 (en) Display, control method of display, and program
CN110192143B (zh) 图像投影装置
US10921598B2 (en) Image projection device
JP2008176096A (ja) 画像表示装置
US20070097319A1 (en) Stereoscopic display
JP6780502B2 (ja) 画像表示装置及び表示装置
US20190265482A1 (en) Wearable glass device
JP2013524285A (ja) 二重対物３−ｄ立体顕微鏡
JPWO2019026929A1 (ja) 医療用観察装置
US20040109135A1 (en) Image display apparatus for displaying image in variable direction relative to viewer
CN114365027A (zh) 显示具有景深的物体的系统与方法
JP7275124B2 (ja) 映像投射システム、映像投射装置、映像表示光回折用光学素子、器具、及び映像投射方法
JP2018203245A (ja) 表示システム、電子ミラーシステム及び移動体
CN114815468A (zh) 在增强现实显示器中利用激光束扫描的多平面投影
JP7118650B2 (ja) 表示装置
WO2022054740A1 (ja) 画像投影装置
TWI832308B (zh) 頭戴式裝置之光學系統
JP5163535B2 (ja) ヘッドマウントディスプレイ
CN112543886A (zh) 一种用于投射激光束以在眼睛的视网膜上生成图像的设备装置
JP2010226217A (ja) ヘッドマウントディスプレイ
WO2018179860A1 (ja) レーザモジュール及び画像投影装置
JP7050292B2 (ja) 画像投影装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021553020

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866699

Country of ref document: EP

Kind code of ref document: A1