WO2023181602A1 - 表示装置および表示方法 - Google Patents

表示装置および表示方法 Download PDF

Info

Publication number
WO2023181602A1
WO2023181602A1 PCT/JP2023/001082 JP2023001082W WO2023181602A1 WO 2023181602 A1 WO2023181602 A1 WO 2023181602A1 JP 2023001082 W JP2023001082 W JP 2023001082W WO 2023181602 A1 WO2023181602 A1 WO 2023181602A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
focal length
image
variable focus
focus lens
Prior art date
Application number
PCT/JP2023/001082
Other languages
English (en)
French (fr)
Inventor
厚司 福井
要介 荒木
和平 上水
孝司 松田
和政 高田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023181602A1 publication Critical patent/WO2023181602A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images

Definitions

  • the present disclosure relates to a display device and a display method that allow objects in virtual space to be viewed three-dimensionally.
  • Patent Document 1 by displaying images that provide a convergence angle and binocular parallax on a left-eye display and a right-eye display, respectively, it is possible to display a virtual image with a three-dimensional effect and a sense of depth.
  • an object of the present disclosure is to provide a display device and a display method that can reduce the discomfort and fatigue of the eyes, in which objects in a virtual space can be viewed three-dimensionally.
  • a display device includes: a variable focus lens whose focal length can be changed; a display disposed opposite to the front variable focus lens; a control device that controls the focal length of the lens and displays an image on the display; the control device increases the focal length of the variable focus lens when displaying a distant image in the image; When displaying a nearby image in the image, the focal length of the variable focus lens is shortened.
  • FIG. 1 is a schematic diagram of a display device according to a first embodiment.
  • 3 is a graph showing changes in focal length of the variable focus lens according to the first embodiment.
  • FIG. 3 is a diagram for explaining a method of generating a group of images to be stored in the control device according to the first embodiment.
  • FIG. 2 is a diagram for explaining the operating principle of the display device according to the first embodiment.
  • 7 is a flowchart showing a process when displaying an image on a display according to the first embodiment.
  • FIG. 3 is a schematic diagram of a display device according to a second embodiment. 7 is a graph showing changes in focal length of a variable focus lens according to a second embodiment.
  • FIG. 1 is a schematic diagram of a display device according to a first embodiment.
  • the display device includes variable focus lenses 1L, 1R, displays 2L, 2R, and a control device 3.
  • a variable focus lens 1L (1R) and a display 2L (2R) are arranged in the line-of-sight direction of the user's left eye 4L (right eye 4R).
  • the variable focus lens 1L (1R) is a variable focus lens whose focal length f can be continuously changed.
  • the variable focus lens 1L (1R) changes the focal length f by changing the surface shape by moving liquid in and out by changing the physical shape of a piezo element in which liquid is sealed or an electromagnetic coil. Since the variable focus lens 1L (1R) changes the focal length f by changing its physical shape, the smaller the lens diameter, the faster the response becomes possible.
  • the maximum focal length of the variable focus lens 1L (1R) is assumed to be f1.
  • variable focus lens 1L (1R) is placed in front of the right eye 4R (left eye 4L) of the user using this display device.
  • the display 2L (2R) is a two-dimensional display that displays images.
  • the display 2L (2R) has, for example, a plurality of pixels, and each pixel is configured by arranging a set of minute LED elements of R, G, and B, which are the three primary colors of light.
  • R, G, and B which are the three primary colors of light.
  • a liquid crystal display or the like is used as a two-dimensional display for the display 2L (2R). Since the response speed of a liquid crystal display is several milliseconds, it is possible to update images at a rate of about 30 Hz, but if it is faster than that, afterimages are likely to occur.
  • the display 2L (2R) In order to display an image with a sense of depth using the display 2L (2R), it is necessary to update the image in the depth direction (about 30 Hz), so the display 2L (2R) needs to update the image at about 900 Hz. , which is difficult to display on a liquid crystal display. For this reason, the display 2L (2R) preferably has a pixel structure composed of LED elements, each of which is capable of high-speed response of several microseconds or less, and has the potential to update images at 1 kHz or more. It is preferable that there be.
  • the display 2L (2R) is arranged at a position at the maximum focal length f1 from the variable focus lens 1L (1R). That is, the display (2L) is placed opposite the variable focus lens 1L (1R).
  • the display 2L (2R) is placed farther than the maximum focal length f1 of the variable focus lens 1L (1R), even if the focal length f of the variable focus lens 1L (1R) is set to the maximum focal length f1, Since it becomes impossible to focus on the display 2L (2R), the distant image displayed on the display 2L (2R) becomes blurred.
  • the display 2L (2R) is placed closer to the variable focus lens 1L (1R) than the focal length f of the variable focus lens 1L (1R), the distance image displayed on the display 2L (2R) Although no blurring occurs, the adjustment range of the focal length f of the variable focus lens 1L (1R) cannot be used effectively.
  • the resolution of the display device becomes coarse, and the image quality of the depth image deteriorates.
  • the focal length of an optical element such as a lens
  • the position of the display 2L (2R) is set to the maximum focal length f1 of the variable focus lens 1L (1R)
  • Due to the manufacturing error of the optical element there is a possibility that the focal length f of the variable focus lens 1L (1R) will be out of the adjustment range with respect to the display 2L (2R).
  • the position of the display 2L (2R) is determined by taking into account an error of 10% with respect to the maximum focal length f1 of the variable focus lens, f1 ⁇ (0.9 ⁇ 0. 1) is desirable.
  • the adjustment resolution of the variable focus lens 1L (1R) will decrease by 10%. Note that if the error becomes large, f1 ⁇ (0.8 ⁇ 0.2) may be used considering 20%, but the adjustment resolution of the variable focus lens 1L (1R) will further deteriorate.
  • the display 2L (2R) may be placed farther away than the variable focus lens f1.
  • the position of the display 2L (2R) will range from f1 ⁇ 0.8 to f1 ⁇ 1.05.
  • the display 2L (2R) can be placed within a range of +5% to -20% from the variable focus lens 1L (1R) with respect to the maximum focal length f of the variable focus lens 1L (1R).
  • the control device 3 controls the variable focus lenses 1L, 1R and the displays 2L, 2R. Specifically, the control device 3 controls the focal lengths of the variable focus lenses 1L and 1R.
  • FIG. 2 is a graph showing changes in focal length of the variable focus lens according to the first embodiment.
  • the vertical axis represents the focal length f of the variable focus lens 1L (1R)
  • the horizontal axis represents time.
  • the control device 3 controls the focal length f of the variable focus lens 1L (1R) according to the graph shown in FIG.
  • the focal length f of the variable focus lens 1L (1R) is gradually shortened from the maximum focal length f1 to a predetermined focal length (the predetermined focal length can be arbitrarily determined). Then, the control device 3 gradually increases the focal length f of the variable focus lens 1L (1R) from a predetermined focal length to the maximum focal length f1. The control device 3 executes this control of the focal length f every scanning period t2. Note that the focal length f of the variable focus lens 1L (1R) is changed at every image update time t1, which is the interval at which the image on the display 2L (2R) is updated.
  • control device 3 outputs an image group consisting of a plurality of images to the display 2L (2R), and causes the display 2L (2R) to display an image with a three-dimensional effect.
  • the control device 3 stores the image group, sequentially outputs the images included in the image group to the display 2L (2R) every image update time t1, and converts the image displayed on the display 2L (2R) into an image. It is updated every update time t1.
  • the control device 3 reads out the image group from an external storage device (not shown) in which it is stored and stores it therein.
  • the scanning period t2 is at least 30 Hz or more. That is, all images included in the image group are displayed on the display 2L (2R) in 1/30 seconds or less. For example, when the number of images included in the image group is 30, the image update time t1 is 1/900 seconds or less.
  • FIG. 3 is a diagram for explaining a method for generating a group of images to be stored in the control device according to the first embodiment. For example, let us assume that we want the user to recognize that an object P1 is near the user and an object P2 is far away from the user in the virtual space. In this case, as shown in FIG. 3(a), a variable focus lens 1L (1R), objects P1 and P2, and an imaging surface 5 of a camera for generating an image are arranged.
  • a variable focus lens 1L (1R) objects P1 and P2
  • an imaging surface 5 of a camera for generating an image are arranged.
  • FIG. 3(b) shows an image captured by the camera (imaging surface 5) when the focal length f of the variable focus lens 1L (1R) is set to the distance A1
  • FIG. 3(c) shows an image captured by the camera (imaging surface 5).
  • (1R) shows an image captured by the camera (imaging surface 5) when the focal length f is set to the distance A2.
  • the focal length f of the variable focus lens 1L (1R) is set to the distance A1 near the imaging surface 5
  • the focus is on the object P1 located near the imaging surface 5.
  • the outline of the object P1 becomes clear, but the outline of the object P2 placed far from the imaging surface 5 becomes unclear.
  • FIG. 3(b) shows an image captured by the camera (imaging surface 5) when the focal length f of the variable focus lens 1L (1R) is set to the distance A1 near the imaging surface 5.
  • a plurality of images are generated by capturing images including the objects P1 and P2 with the camera (imaging surface 5) while changing the focal length f of the variable focus lens 1L (1R).
  • a plurality of images generated in this way are stored in an external storage device (and control device 3) as an image group.
  • the focal length f of the variable focus lens 1L (1R) becomes shorter, images are captured at smaller intervals, while as the focal length f of the variable focus lens 1L (1R) becomes longer, images are captured at larger intervals.
  • An image is captured. That is, when the focal length f is set near the imaging surface 5, images are generated (imaged) at fine intervals, and when the focal length f is set far from the imaging surface 5, images are generated at coarse intervals. An image is generated (imaged).
  • FIG. 4 is a diagram for explaining the operating principle of the display device according to the first embodiment. Specifically, FIG. 4(a) shows a state when the user is looking at a distant place, and FIG. 4(b) shows a state when the user is looking at a nearby place. Note that ⁇ indicates the parallax direction of the user's left eye 4L (right eye 4R).
  • the control device 3 sets the focal length f of the variable focus lens 1L (1R) to the maximum focal length f1
  • the display 2L (2R) is arranged at the maximum focal length f1 of the variable focus lens 1L (1R). Therefore, the left eye 4L (right eye 4R) focuses on the image displayed on the display 2L (2R) (specifically, the position of the image S1').
  • the light emitted from each pixel of the display 2L (2R) becomes parallel light by the variable focus lens 1L (1R).
  • the same light as when viewing the image S1 located far away enters the left eye 4L (right eye 4R).
  • the image S1 placed in the parallax direction ⁇ corresponds to the image S1' displayed on the display 2L (2R) and placed at a position of f1 ⁇ sin( ⁇ ).
  • the lens thickness of the crystalline lens of the user's left eye 4L (right eye 4R) is increased by the muscles, so that its focal length is shortened, and the lens is adjusted so that an image is formed on the retina.
  • the distance from the variable focus lens 1L (1R) to the image S2 is b1, and the imaging position of the image S2 when seen through the variable focus lens 1L (1R) is a1, then the distance from the variable focus lens 1L (1R) to the image S2 is a1.
  • 1/a1 1/f+1/b1. Therefore, if the focal length f of the variable focus lens 1L (1R) remains at the maximum focal length f1, the position (specifically, the image S2' ' position) will be in focus.
  • the left eye 4L (right eye 4R) adjusts the crystalline lens to display an image (image 2S' in FIG. 4B) displayed on the display 2L (2R). ) was adjusted to the focal length of the crystalline lens. This caused eye fatigue and discomfort.
  • the control device 3 sets the focal length f of the variable focus lens 1L (1R) to the focal length f'.
  • FIG. 5 is a flowchart showing the process of displaying an image on the display according to the first embodiment.
  • a group of images to be displayed on the display is generated (step S1). Specifically, as explained in FIG. 3, while changing the focal length f of the variable focus lens 1L (1R), a plurality of images (image group) including objects P1, P2, etc. are captured by the camera (imaging surface 5). Generate (image). Then, the image group is stored in an external storage device (step S2).
  • the control device 3 reads the image group from an external storage device (step S3), and replaces the image group stored in the control device 3 with the image group stored in itself (step S4). For example, when the control device 3 compares each image included in the image group and determines that the images are different, it replaces the images.
  • the control device 3 selects the next image to be displayed on the display 2L (2R) from among the images included in the image group (step S5), and displays the image on the display 2L (2R). Specifically, the control device 3 selects an image having a shorter (or longer) focal length than the previously selected image as the next image from among the group of images stored therein. In this case, the control device 3 selects the next image so that the focal length of the image displayed on the display 2L (2R) gradually becomes shorter (or longer). That is, the control device 3 selects the next image so that the image group is sequentially displayed on the display 2L (2R) in order of focal length. Then, the control device 3 sets the focal length f of the variable focus lens 1L (1R) to the focal length when the selected image was captured (step S6).
  • the control device 3 determines whether the selected image is the last image to be displayed among the images included in the image group (step S7). When the control device 3 determines that the selected image is not the last image to be displayed among the images included in the image group (No in step S7), the process returns to step S5.
  • step S7 When the control device 3 determines that the selected image is the last image to be displayed among the images included in the image group (Yes in step S7), the control device 3 selects the next image to be displayed on the display 2L (2R). , is set as the first image to be displayed among the images included in the image group (step S8). Note that after step S8, the control device 3 returns to step S3 and repeatedly executes the processing from step S3 onwards.
  • the display device includes a variable focus lens 1L (1R) that can change the focal length f, and a display 2L (2R) arranged opposite to the variable focus lens 1L (1R). , a control device 3 that controls the focal length f of the variable focus lens 1L and displays an image on a display 2L (2R).
  • the control device 3 increases the focal length f of the variable focus lens 1L (1R) when displaying a distant image 1S on the display 2L (2R), while increasing the focal length f of the variable focus lens 1L (1R) when displaying a nearby image 2S on the display 2L (2R).
  • the nearby image 2S is an image of an object that is closer to the user than the distant image 1S in the virtual space.
  • the user views the display 2L (2R) through a lens with a constant focal length, and even if the focal length of the image displayed on the display 2L (2R) changes, the user views the display 2L (2R) through a lens with a constant focal length. 2R) position does not change. Therefore, in order for the user to view the image displayed on the display 2L (2R), it is necessary to adjust the focal length of the crystalline lens of the eye, causing eye fatigue and discomfort.
  • the control device 3 when displaying the distant image 1S on the display 2L (2R), the control device 3 increases the focal length f of the variable focus lens 1L (1R), while increasing the focal length f of the variable focus lens 1L (1R). ), the focal length f of the variable focus lens 1L (1R) is shortened. That is, since the control device 3 adjusts the focal length f of the variable focus lens 1L (1R) according to the focal length of the image displayed on the display 2L (2R), eye fatigue and discomfort can be reduced. Can be done.
  • control device 3 causes the display 2L (2R) to sequentially display a group of images consisting of a plurality of images set at mutually different focal lengths in order of focal length. Further, the control device 3 sets the focal length of the variable focus lens 1L (1R) to the focal length of the image displayed on the display 2L (2R). As a result, when sequentially displaying a group of images including a plurality of images set at mutually different focal lengths, the images displayed on the display 2L (2R) and the focal length of the variable focus lens 1L (1R) gradually change. Therefore, the strain on the eyes can be reduced.
  • the group of images displayed on the display 2L (2R) is captured by the camera (imaging surface 5) through the variable focus lens 1L (1R) while changing the focal length f of the variable focus lens 1L (1R). be done. Thereby, it is possible to generate (capture) a plurality of images with different focal lengths.
  • FIG. 6 is a schematic diagram of a display device according to the second embodiment.
  • relay lenses 6L and 7L (6R, 7R) are arranged between the left eye 4L (right eye 4R) and the variable focus lens 1L (1R).
  • Relay lenses 6L and 6R correspond to first relay lenses
  • relay lenses 7L and 7R correspond to second relay lenses.
  • the relay lens 6L has an entrance surface 6L1 and an exit surface 6L2.
  • the relay lens 7L has an entrance surface 7L1 and an exit surface 7L2.
  • the relay lens 6L (6R) is arranged so that the focal plane on the exit surface side overlaps with the position of the pupil of the user's left eye 4L (right eye 4R). Further, the relay lens 6L (6R) is arranged so that the focal plane on the side of the entrance plane overlaps with the focal plane on the side of the entrance plane of the relay lens 7L (7R). Moreover, the relay lens 7L (7R) is arranged so that the focal plane on the exit surface side overlaps with the variable focus lens 1L (1R).
  • the focal plane means a plane that includes the focal point of the lens.
  • the relay lenses 6L (6R) and 7L (7R) form an image forming relationship. That is, the light emitted from the incident surface of the relay lens 6L (6R) is condensed at one point on the focal plane on the exit surface side of the relay lens 7L (7R).
  • the focal length of the relay lens 6L (6R) is fa and the focal length of the relay lens 7L (7R) is fb, then the pupil aperture of the left eye 4L (right eye 4R) times fa/fb is the variable focus lens 1L ( 1R) effective diameter.
  • variable focus lens 1L (1R) is It is necessary to increase the effective diameter of the
  • the distance between the pupil of the left eye 4L (right eye 4R) and the variable focus lens 1L (1R) becomes 0 due to the relay lenses 6L, 7L (6R, 7R), so the variable focus The effective diameter of the lens 1L (1R) can be made small.
  • variable focus lens 1L (1R) the pupil diameter size of the left eye 4L (right eye 4R) is multiplied by fa/fb, so by setting fa ⁇ fb, the effective diameter of the variable focus lens 1L (1R) can be further increased. Can be made smaller. Further, since the variable focus lens 1L (1R) can respond faster as the effective diameter becomes smaller, flickering of the image displayed on the display 2L (2R) can be suppressed.
  • the operation of the display device according to the second embodiment will be described.
  • pixels of three colors of RGB Red, Green, and Blue
  • the image to be displayed on the display 2L (2R) is separated into three images corresponding to RGB colors, and the three images are displayed in the order of R, G, and B. Display it on 2L (2R).
  • the control device 3 changes the focal length f of the variable focus lens 1L (1R) for each RGB color within one image update time t1 (see FIG. 7).
  • image update time t1 there is an image update time t11 for displaying an image decomposed into R, an image update time t12 for displaying an image decomposed into G, and an image decomposed into B. image update time t13.
  • the relay lenses 6L, 6R, 7L, and 7R are Fresnel lenses, they can be made thin and lightweight, but chromatic aberrations depending on the wavelength of light, that is, shifts in focal length for each color, tend to occur. Chromatic aberration can be corrected by combining multiple lenses, but the structure is complicated, bulky and heavy, and assembly and adjustment becomes difficult. Therefore, in the second embodiment, by controlling the focal length f of the variable focus lens 1L (1R) to reduce the focal length shift that occurs for each color, it is possible to reduce the influence of color shift in the image due to chromatic aberration or the like. Note that the control amount of the focal length for each RGB color may be determined by measuring in advance the amount that minimizes the color shift of the image due to chromatic aberration.
  • the display device includes the relay lenses 6L and 6R whose focal plane on the exit surface side overlaps the position of the pupil of the user's left eye 4L (right eye 4R), and the focal plane on the entrance surface side.
  • Relay lenses 7L and 7R are provided, the surfaces of which overlap the focal plane on the incident surface side of the first relay lens, and the variable focus lens is disposed on the focal plane on the exit surface side.
  • variable focus lens 1L (1R) the pupil diameter size of the left eye 4L (right eye 4R) is fa (focal length of relay lens 6L (6R))/fb (focal length of relay lens 7L (7R)). Therefore, by setting fa ⁇ fb, the effective diameter of the variable focus lens 1L (1R) can be further reduced.
  • relay lenses 6L, 6R, 7L, and 7R are Fresnel lenses. Thereby, the size of the display device in the optical axis direction of the lens can be reduced.
  • control device 3 separates the image displayed on the display 2L (2R) into each RGB color, displays the separated image on the display 2L (2R), and displays the image displayed on the display 2L (2R).
  • the focal length f of the variable focus lens 1L (1R) is set as the focal length.
  • relay lenses 6L, 6R, 7L, and 7R are Fresnel lenses, they are not limited to this, and an achromatic lens or a plurality of lenses may be used. In this case, use an achromatic lens or multiple lenses to reduce chromatic aberration, separate the image displayed on the display 2L (2R) into RGB colors, or change the focal length f of the variable focus lens 1L (1R). Control may not be performed.
  • color-separated images may not be displayed in the order of R, G, B, but may be displayed in any order.
  • FIG. 8 is a schematic diagram of a display device according to the third embodiment.
  • the display device according to the third embodiment includes a camera 8L (8R) and a sensor 9.
  • the camera 8L (8R) corresponds to the first sensor
  • the sensor 9 corresponds to the second sensor.
  • the camera 8L (8R) is, for example, a near-infrared camera.
  • the camera 8L (8R) images the left eye 4L (right eye 4R) via the half mirror 10L (10R) provided between the variable focus lens 1L (1R) and the relay lens 7L (7R).
  • the camera 8L (8R) is arranged to overlap the focal plane (focal length fb) on the exit surface side of the relay lens 7L (7R) via the half mirror 10L (10R).
  • the half mirror 10L (10R) is, for example, a near-infrared reflecting mirror, which transmits visible light and reflects only near-infrared light.
  • the sensor 9 is, for example, an acceleration sensor.
  • the sensor 9 is attached to the user's head and detects the direction in which the user's head is facing (head direction).
  • the relay lenses 6L (6R) and 7L (7R) are arranged so that their focal planes overlap. Further, the focal plane on the exit surface side of the relay lens 6L (6R) is arranged so as to overlap the position of the pupil of the user's left eye 4L (right eye 4R). Further, the focal plane of the relay lens 7L (7R) on the exit surface side is arranged to overlap with the imaging plane of the camera 8L (8R). Thereby, the camera 8L (8R) and the left eye 4L (right eye 4R) are in an imaging relationship, so that the camera 8L (8R) can image the left eye 4L (right eye 4R).
  • FIG. 9 is an example of an image captured by the camera according to the third embodiment.
  • the image captured by the camera 8L (8R) includes an image of the left eye 4L (or right eye 4R).
  • the control device 3 receives the image from the camera 8L (8R), it detects, for example, the pupil 41, the inner corner 42, and the outer corner 43 of the left eye 4L (or right eye 4R) from the image.
  • the control device 3 calculates the position of the pupil 41 (vertical position v_L and horizontal position h_L) with the inner corner of the eye 42 as a reference.
  • the control device 3 calculates the user's line of sight direction from the relationship between the reference position of the pupil 41 and the calculated position of the pupil 41.
  • the reference position of the pupil 41 is the position of the pupil 41 when a predetermined mark is displayed at an appropriate position on the display 2L (2R) and the user gazes at the mark.
  • FIG. 10 is a flowchart showing a process when displaying an image on a display according to the third embodiment.
  • the camera 8L (8R) captures an image of the left eye 4L (right eye 4R).
  • the control device 3 calculates the user's line of sight direction from the image of the pupil of the left eye 4L (right eye 4R) included in the image (step S11).
  • the control device 3 detects the direction of the user's head based on the output from the sensor 9 (step S12).
  • the control device 3 calculates the line of sight direction based on the line of sight direction and the head direction (step S13).
  • the distance Z to the object closest to the user in the calculated line-of-sight direction is calculated, and an image focused on the object is generated (step S14). At this time, the image is generated (imaged) by the method explained in FIG. 3.
  • the control device 3 displays the image generated in step S3 on the display 2L (2R), and sets the focal length f of the variable focus lens 1L (1R) to the distance Z (step S15).
  • the display device includes the cameras 8L and 8R (first sensor) that detect the position of the user's eyes, and the sensor 9 (second sensor) that detects the direction of the user's head. Equipped with.
  • the control device 3 calculates the direction of the user's line of sight based on the detection results of the camera 8L (8R) and sensor 9, and generates an image that is focused on the object closest to the line of sight in the virtual space. is displayed on the display 2L (2R), and the focal length f of the variable focus lens 1L (1R) is set to the focal length of the image.
  • the display 2L (2R) uses LEDs as pixels
  • the present invention is not limited to this, and organic EL may be used as pixels.
  • the pixels included in the display 2L (2R) are not limited to the three colors of RGB, but may be two or less colors, or may be four or more colors.
  • the image to be displayed on the display 2L (2R) may be displayed while being calculated if the control device 3 has high computing power, or an image that has been generated in advance may be displayed.
  • the number of objects imaged by the camera is not limited to two, and there are no restrictions on the arrangement of the objects.
  • a real image when generating an image, a real image may be captured, or the image may be generated based on 3D data in a virtual space.
  • steps S1 and S2 may be prepared in advance before image display, or image generation may be performed in parallel with image display.
  • the number of images included in the image group is not limited to 30, and it is sufficient that the image group includes at least two or more images with different focal lengths from each other.
  • the display resolution in the depth direction improves as the number of images included in the image group increases. However, along with this, it is necessary to increase the display update speed of the display 2L (2R).
  • a half mirror may be placed between the left eye 4L (right eye 4R) and the variable focus lens 1L (1R), and the real image and the virtual image displayed by the two-dimensional display may be superimposed.
  • the display devices according to the first to third embodiments may be, for example, head-mounted displays, head-up displays, wearable devices such as wearable cameras, etc., which have the respective configurations of the display devices according to the first to third embodiments. It is possible to apply it to
  • the display device of the present disclosure allows objects in virtual space to be viewed three-dimensionally, it can be used for head-up displays, wearable devices, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

本実施形態に係る表示装置は、焦点距離を変更可能な可変焦点レンズと、可変焦点レンズに対向して配置されるディスプレイと、可変焦点レンズの焦点距離を制御するとともに、ディスプレイに画像を表示させる制御装置とを備える。制御装置は、ディスプレイに遠方の像を表示させるときには、可変焦点レンズの焦点距離を長くする一方、ディスプレイに近傍の像を表示させるときには、可変焦点レンズの焦点距離を短くする。

Description

表示装置および表示方法
　本開示は、仮想空間上の物体を立体的に見ることができる表示装置および表示方法に関するものである。
　人は、輻輳角（物体に対しての両目の視線方向のなす角度）および両眼視差（右目と左目で見える画像の差異）により、物体の立体感や奥行感を感じることができる。この輻輳角および両眼視差を利用することにより、人に対して、２次元ディスプレイに表示された物体を３次元的に認識させることができる。
　例えば、特許文献１では、左目用のディスプレイと右目用のディスプレイとに、輻輳角と両眼視差を与える画像をそれぞれ表示することで、立体感や奥行感のある虚像を表示することができる。
特開２００１－１４８８７１号公報
　しかしながら、特許文献１の構成では、両目から虚像までの距離が常に一定となる。このため、両目から輻輳角と両眼視差とによって与えられる物体までの距離と、両目から虚像までの距離が一致しないため、目の違和感が生じるおそれがある。
　また、人は、通常、無意識に近傍および遠方を交互に見ることで、目の筋肉を動かし疲労蓄積を防いでいる。しかしながら、仮想空間上では、遠方および近傍を見ても、目の焦点距離調整は行われないので、長時間見続けることで疲労が生じやすい。
　そこで、本開示は、仮想空間上の物体を立体的に見ることができる表示装置および表示方法において、目の違和感や疲労感を軽減した表示装置および表示方法を提供することを目的とする。
　上記の目的を達成するために、本開示の一実施形態に係る表示装置は、焦点距離を変更可能な可変焦点レンズと、前前記可変焦点レンズに対向して配置されるディスプレイと、前記可変焦点レンズの焦点距離を制御するとともに、前記ディスプレイに画像を表示させる制御装置とを備え、前記制御装置は、前記画像に遠方の像を表示させるときには、前記可変焦点レンズの焦点距離を長くする一方、前記画像に近傍の像を表示させるときには、前記可変焦点レンズの焦点距離を短くする。
　本開示によると、仮想空間上の物体を立体的に見ることができる表示装置において、目の違和感や疲労感を軽減することができる。
第１実施形態に係る表示装置の模式図。 第１実施形態に係る可変焦点レンズの焦点距離の変化を示すグラフ。 第１実施形態に係る制御装置に格納される画像群を生成する方法を説明するための図。 第１実施形態に係る表示装置の動作原理を説明するための図。 第１実施形態に係るディスプレイに画像を表示する際の処理を示すフローチャート。 第２実施形態に係る表示装置の模式図。 第２実施形態に係る可変焦点レンズの焦点距離の変化を示すグラフ。 第３実施形態に係る表示装置の模式図。 第３実施形態に係るカメラによって撮像された画像例。 第３実施形態に係るディスプレイに画像を表示する際の処理を示すフローチャート。
　以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物あるいはその用途を制限することを意図するものでは全くない。なお、以下の説明では、同じ部分については同じ符号を付し、詳細な説明を適宜省略する。
　（第１実施形態）
　図１は、第１実施形態に係る表示装置の模式図である。
　図１に示すように、第１実施形態に係る表示装置は、可変焦点レンズ１Ｌ，１Ｒ、ディスプレイ２Ｌ，２Ｒおよび制御装置３を備える。図１に示すように、ユーザの左目４Ｌ（右目４Ｒ）の視線方向に、可変焦点レンズ１Ｌ（１Ｒ）およびディスプレイ２Ｌ（２Ｒ）が配置されている。
　可変焦点レンズ１Ｌ（１Ｒ）は、焦点距離ｆを連続的に変化させられる可変焦点レンズである。可変焦点レンズ１Ｌ（１Ｒ）は、内部に液体が封入されたピエゾ素子、または、電磁コイルなどの物理形状変化により液体を出し入れして表面形状を変形させることにより、焦点距離ｆを変化させる。可変焦点レンズ１Ｌ（１Ｒ）は、物理形状変化で、焦点距離ｆを変えるため、レンズ直径は小さいほど高速な応答が可能となる。なお、以下の説明において、可変焦点レンズ１Ｌ（１Ｒ）の最大焦点距離をｆ１とする。
　可変焦点レンズ１Ｌ（１Ｒ）は、本表示装置を使用するユーザの右目４Ｒ（左目４Ｌ）の前方に配置される。
　ディスプレイ２Ｌ（２Ｒ）は、画像を表示する２次元ディスプレイである。ディスプレイ２Ｌ（２Ｒ）は、例えば、複数の画素を有し、各画素は光の３原色であるＲ，Ｇ，Ｂを一組とする微小なＬＥＤ素子を配置して構成される。詳しくは後述するが、ディスプレイ２Ｌ（２Ｒ）は、短時間で表示する画像を切り替えるため、従来の２次元ディスプレイより高速な画面更新が必要とされる。例えば、ディスプレイ２Ｌ（２Ｒ）には、２次元ディスプレイとして液晶ディスプレイなどが用いられる。液晶ディスプレイの応答速度は数ミリ秒であるため、３０Ｈｚ程度の画像更新は可能であるが、それより早くなると残像が出やすくなる。ディスプレイ２Ｌ（２Ｒ）により、奥行感のある画像表示を行うためには、奥行方向の画像更新（３０Ｈｚ程度）が必要となるため、ディスプレイ２Ｌ（２Ｒ）には、９００Ｈｚ程度の画像更新が必要となり、液晶ディスプレイでは表示が困難となる。このため、ディスプレイ２Ｌ（２Ｒ）は、ＬＥＤ素子により構成される画素構造を有することが好ましく、各ＬＥＤ素子は数マイクロ秒以下の高速応答が可能であり、１ｋＨｚ以上の画像更新を行える可能性があることが好ましい。
　また、図１に示すように、ディスプレイ２Ｌ（２Ｒ）は、可変焦点レンズ１Ｌ（１Ｒ）から最大焦点距離ｆ１の位置に配置される。すなわち、ディスプレイ（２Ｌ）は、可変焦点レンズ１Ｌ（１Ｒ）と対向して配置される。
　なお、ディスプレイ２Ｌ（２Ｒ）の位置を可変焦点レンズ１Ｌ（１Ｒ）の最大焦点距離ｆ１より遠くに配置すると、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを最大である最大焦点距離ｆ１にしてもディスプレイ２Ｌ（２Ｒ）上に焦点を合わせることができなくなるため、ディスプレイ２Ｌ（２Ｒ）に表示される遠方画像がボケてしまうことになる。また、ディスプレイ２Ｌ（２Ｒ）の位置を可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆより可変焦点レンズ１Ｌ（１Ｒ）側に近づけた位置に配置すると、ディスプレイ２Ｌ（２Ｒ）に表示される遠方画像のボケは生じないが、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆの調整範囲を有効に使えなくなる。すなわち、表示装置の分解能が粗くなり、奥行画像の画質が低下することになる。一方、光学素子、たとえばレンズの焦点距離は、一般的に１～２％の製造誤差を有するので、ディスプレイ２Ｌ（２Ｒ）の位置を可変焦点レンズ１Ｌ（１Ｒ）の最大焦点距離ｆ１に設定すると、光学素子の製造誤差の影響で、ディスプレイ２Ｌ（２Ｒ）に対して可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆの調整範囲外となる可能性がある。そこで、レンズの製造誤差、組立て誤差を考慮し、ディスプレイ２Ｌ（２Ｒ）の位置は、可変焦点レンズの最大焦点距離ｆ１に対し、１０％の誤差を考慮してｆ１×（０．９±０．１）とするのが望ましい。この場合、可変焦点レンズ１Ｌ（１Ｒ）の調整分解能は１０％低下することになる。なお、誤差が大きくなるのであれば２０％を考慮してｆ１×（０．８±０．２）としてもよいが、可変焦点レンズ１Ｌ（１Ｒ）の調整分解能はさらに悪化する。
　ただし、ディスプレイ２Ｌ（２Ｒ）に表示される画像のボケをある程度許容するならば、ディスプレイ２Ｌ（２Ｒ）の位置を可変焦点レンズｆ１より遠くに配置してもよい。たとえば、５％を許容すると、ディスプレイ２Ｌ（２Ｒ）の位置は、ｆ１×０．８からｆ１×１．０５の範囲となる。以上から、ディスプレイ２Ｌ（２Ｒ）は、可変焦点レンズ１Ｌ（１Ｒ）から、可変焦点レンズ１Ｌ（１Ｒ）の最大焦点距離ｆに対して＋５％～－２０％の範囲に配置可能である。
　制御装置３は、可変焦点レンズ１Ｌ，１Ｒおよびディスプレイ２Ｌ，２Ｒの制御を行う。具体的には、制御装置３は、可変焦点レンズ１Ｌ，１Ｒの焦点距離の制御を行う。
　図２は第１実施形態に係る可変焦点レンズの焦点距離の変化を示すグラフである。図２は、縦軸を可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆ、横軸を時間としている。制御装置３は、図２に示すグラフに従って、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを制御する。
　具体的には、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを最大焦点距離ｆ１から所定の焦点距離（所定の焦点距離は任意に定めることができる）まで徐々に短くしていく。そして、制御装置３は、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを、所定の焦点距離から最大焦点距離ｆ１から徐々に長くしていく。この制御を焦点距離ｆの制御を、制御装置３は、走査周期ｔ２ごとに実行する。なお、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆの変化は、ディスプレイ２Ｌ（２Ｒ）の画像を更新する間隔である画像更新時間ｔ１ごとに行われる。
　また、制御装置３は、複数の画像からなる画像群をディスプレイ２Ｌ（２Ｒ）に出力し、ディスプレイ２Ｌ（２Ｒ）に立体感のある画像を表示させる。制御装置３は、当該画像群を格納しており、画像更新時間ｔ１ごとに当該画像群に含まれる画像をディスプレイ２Ｌ（２Ｒ）に順次出力し、ディスプレイ２Ｌ（２Ｒ）に表示される画像を画像更新時間ｔ１ごとに更新する。詳しくは後述するが、制御装置３は、当該画像群が格納された外部の記憶装置（図示省略）から読み出して、自己に格納する。
　なお、ディスプレイ２Ｌ（２Ｒ）に表示される画像のちらつきを低減するため、走査周期ｔ２は、少なくとも３０Ｈｚ以上である。すなわち、ディスプレイ２Ｌ（２Ｒ）には、１／３０秒以下で画像群に含まれる全画像を表示させることになる。例えば、画像群に含まれる画像が３０枚である場合、画像更新時間ｔ１は１／９００秒以下となる。
　図３は第１実施形態に係る制御装置に格納される画像群を生成する方法を説明するための図である。例えば、仮想空間上において、物体Ｐ１がユーザの近傍にあり、物体Ｐ２がユーザの遠方にあるとユーザに認識させたいとする。この場合、図３（ａ）に示すように、可変焦点レンズ１Ｌ（１Ｒ）、物体Ｐ１，Ｐ２、および、画像を生成するためのカメラの撮像面５が配置される。ここで、撮像面５から可変焦点レンズ１Ｌ（１Ｒ）までの距離をａとし、可変焦点レンズ１Ｌ（１Ｒ）から物体Ｐ１までの距離をｂとした場合、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆは、１／ｆ＝１／ａ＋１／ｂで表される。
　図３（ｂ）は可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが距離Ａ１に設定された場合にカメラ（撮像面５）により撮像される画像を示し、図３（ｃ）は可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが距離Ａ２に設定された場合にカメラ（撮像面５）により撮像される画像を示す。図３（ｂ）に示すように、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが撮像面５の近傍の距離Ａ１に設定された場合、撮像面５の近傍に配置された物体Ｐ１に焦点が合うため、物体Ｐ１の輪郭が鮮明になるが、撮像面５の遠方に配置された物体Ｐ２の輪郭が不鮮明となる。一方、図３（ｃ）に示すように、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが撮像面５の遠方の距離Ａ２に設定された場合、撮像面５の遠方に配置された物体Ｐ２に焦点が合うため、物体Ｐ２の輪郭が鮮明になるが、近傍に配置された物体Ｐ１の輪郭が不鮮明となる。
　本実施形態では、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを変更させつつ、カメラ（撮像面５）により物体Ｐ１，Ｐ２を含む撮像することで、複数の画像を生成する。このようにして生成された複数の画像が、画像群として外部の記憶装置（および制御装置３）に格納される。なお、このとき、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが短くなるにつれて、小さな間隔で画像が撮像される一方、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが長くなるにつれて、大きな間隔で画像が撮像される。すなわち、撮像面５の近傍に焦点距離ｆが設定されている場合には細かい間隔で画像が生成（撮像）され、撮像面５の遠方に焦点距離ｆが設定されている場合には粗い間隔で画像が生成（撮像）される。
　図４は第１実施形態に係る表示装置の動作原理を説明するための図である。具体的には、図４（ａ）はユーザが遠方を見ているときの状態を示し、図４（ｂ）はユーザが近傍を見ているときの状態を示す。なお、θは、ユーザの左目４Ｌ（右目４Ｒ）の視差方向を示す。
　図４（ａ）に示すように、遠方に配置された像Ｓ１を見ているとき、目に入る光線はほぼ平行光となる。このとき、ユーザの左目４Ｌ（右目４Ｒ）の水晶体レンズは、筋肉によって引っ張られ薄くなることで、その焦点距離が長くなり、網膜上に像が結像されるように調整される。
　ここで、制御装置３が、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを最大焦点距離ｆ１に設定した場合、可変焦点レンズ１Ｌ（１Ｒ）の最大焦点距離ｆ１にディスプレイ２Ｌ（２Ｒ）が配置されているため、ディスプレイ２Ｌ（２Ｒ）に表示された画像（具体的には、像Ｓ１’の位置）に左目４Ｌ（右目４Ｒ）の焦点が合うことになる。このとき、ディスプレイ２Ｌ（２Ｒ）の各画素からの出射された光は、可変焦点レンズ１Ｌ（１Ｒ）によって平行光となる。これにより、遠方に配置された像Ｓ１を見ているときと同様な光が左目４Ｌ（右目４Ｒ）に入射することになる。なお、図４（ａ）では、視差方向θに配置された像Ｓ１には、ディスプレイ２Ｌ（２Ｒ）上に表示され、ｆ１×ｓｉｎ（θ）の位置に配置された像Ｓ１’が対応する。
　図４（ｂ）に示すように、近傍に配置された像Ｓ２を見ているとき、目に入る光線は発散光となる。このとき、ユーザの左目４Ｌ（右目４Ｒ）の水晶体レンズは、筋肉によってレンズ厚みが厚くなることで、その焦点距離が短くなり、網膜上に像が結像するように調整される。
　ここで、可変焦点レンズ１Ｌ（１Ｒ）から像Ｓ２までの距離をｂ１とし、可変焦点レンズ１Ｌ（１Ｒ）を通してみたときの像Ｓ２の結像位置をａ１とすると、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆは、１／ｆ＝１／ａ１－１／ｂ１と表される。この式を変形すると、１／ａ１＝１／ｆ＋１／ｂ１となる。このため、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆが最大焦点距離ｆ１のままでは、ディスプレイ２Ｌ（２Ｒ）より可変焦点レンズ１Ｌ（１Ｒ）側にずれた位置（具体的には、像Ｓ２’’の位置）に焦点が合うことになる。このため、従来の表示装置（特許文献１など）では、左目４Ｌ（右目４Ｒ）が水晶体レンズを調整することにより、ディスプレイ２Ｌ（２Ｒ）に表示された画像（図４（ｂ）では像２Ｓ’）に水晶体の焦点距離を合わせていた。これにより、目の疲労感や違和感が生じていた。
　これに対して、本実施形態では、制御装置３が可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを焦点距離ｆ’に設定する。焦点距離ｆ’は、１／ｆ’＝１／ｆ－１／ｂ１で表される。これにより、ユーザが可変焦点レンズ１Ｌ（１Ｒ）を通して見たときに、ディスプレイ２Ｌ（２Ｒ）の位置（具体的には、像Ｓ２’の位置）に焦点が合うため、左目４Ｌ（右目４Ｒ）が水晶体レンズの焦点距離を調整する必要がなくなり、目の疲労感や違和感が生じにくくなる。なお、図４（ｂ）では、視差方向θに配置された像Ｓ２には、ディスプレイ２Ｌ（２Ｒ）上に表示され、ｆ１×ｓｉｎ（θ）の位置に配置された像Ｓ２’が対応する。
　図５は第１実施形態に係るディスプレイに画像を表示する際の処理を示すフローチャートである。
　まず、ディスプレイに表示させる画像群を生成する（ステップＳ１）。具体的には、図３で説明したように、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを変化させつつ、カメラ（撮像面５）により物体Ｐ１，Ｐ２などを含む複数の画像（画像群）を生成（撮像）する。そして、当該画像群を外部の記憶装置に格納する（ステップＳ２）。
　制御装置３は、外部の記憶装置から当該画像群を読み出して（ステップＳ３）、制御装置３内に格納された画像群と自己に格納されている画像群を入れ替える（ステップＳ４）。例えば、制御装置３は、画像群に含まれる各画像同士を比較して、異なる画像であると判定した場合、当該画像を入れ替える。
　制御装置３は、画像群に含まれる画像のうち、ディスプレイ２Ｌ（２Ｒ）に表示する次の画像を選択し（ステップＳ５）、当該画像をディスプレイ２Ｌ（２Ｒ）に表示させる。具体的には、制御装置３は、自己に格納された画像群のうち、前に選択した画像よりも焦点距離が短い（または長い）画像を次の画像として選択する。この場合、制御装置３は、ディスプレイ２Ｌ（２Ｒ）に表示される画像の焦点距離が徐々に短く（または長く）なるように、次の画像を選択する。すなわち、制御装置３は、画像群を焦点距離の長さ順にディスプレイ２Ｌ（２Ｒ）に順次表示されるように、次の画像を選択する。そして、制御装置３は、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを、選択した画像を撮像したときの焦点距離に設定する（ステップＳ６）。
　制御装置３は、選択された画像が、画像群に含まれる画像のうち、最後に表示する画像であるか否かを判定する（ステップＳ７）。制御装置３は、選択された画像が、画像群に含まれる画像のうち、最後に表示する画像でないと判定した場合（ステップＳ７のＮｏ）、ステップＳ５に戻る。
　制御装置３は、選択された画像が、画像群に含まれる画像のうち、最後に表示する画像であると判定した場合（ステップＳ７のＹｅｓ）、ディスプレイ２Ｌ（２Ｒ）に表示する次の画像を、画像群に含まれる画像のうち、最初に表示する画像に設定する（ステップＳ８）。なお、ステップＳ８の後、制御装置３は、ステップＳ３に戻って、ステップＳ３以降の処理を繰り返し実行する。
　以上の構成により、本実施形態に係る表示装置は、焦点距離ｆを変更可能な可変焦点レンズ１Ｌ（１Ｒ）と、可変焦点レンズ１Ｌ（１Ｒ）と対向して配置されるディスプレイ２Ｌ（２Ｒ）と、可変焦点レンズ１Ｌの焦点距離ｆを制御するとともに、ディスプレイ２Ｌ（２Ｒ）に画像を表示させる制御装置３とを備える。制御装置３は、ディスプレイ２Ｌ（２Ｒ）に遠方の像１Ｓを表示させるときには、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを長くする一方、ディスプレイ２Ｌ（２Ｒ）に近傍の像２Ｓを表示させるときには、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを短くする。ここで、近傍の像２Ｓとは、仮想空間上において遠方の像１Ｓよりもユーザに近い物体の像である。
　従来の構成では、ユーザは、焦点距離が一定であるレンズを介してディスプレイ２Ｌ（２Ｒ）を見ることとなり、ディスプレイ２Ｌ（２Ｒ）に表示される画像の焦点距離が変化しても、ディスプレイ２Ｌ（２Ｒ）の位置が変化しない。このため、ユーザがディスプレイ２Ｌ（２Ｒ）に表示された画像を見るには、目の水晶体レンズの焦点距離を調整する必要があり、目の疲労感や違和感が生じていた。
　これに対して、本実施形態では、制御装置３は、ディスプレイ２Ｌ（２Ｒ）に遠方の像１Ｓを表示させるときには、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを長くする一方、ディスプレイ２Ｌ（２Ｒ）に近傍の像２Ｓを表示させるときには、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを短くする。すなわち、制御装置３が、ディスプレイ２Ｌ（２Ｒ）に表示される画像の焦点距離に応じて、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを調整するため、目の疲労感や違和感を軽減することができる。
　また、制御装置３は、ディスプレイ２Ｌ（２Ｒ）に、互いに異なる焦点距離に設定された複数の画像からなる画像群を焦点距離の長さ順に順次表示させる。また、制御装置３は、ディスプレイ２Ｌ（２Ｒ）に表示された画像の焦点距離に可変焦点レンズ１Ｌ（１Ｒ）の焦点距離を設定する。これにより、互いに異なる焦点距離に設定された複数の画像を含む画像群を順次表示させる場合、ディスプレイ２Ｌ（２Ｒ）に表示される画像および可変焦点レンズ１Ｌ（１Ｒ）の焦点距離が徐々に変化するため、目の負担を軽減することができる。
　また、ディスプレイ２Ｌ（２Ｒ）に表示される画像群は、カメラ（撮像面５）によって、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを変化させつつ、可変焦点レンズ１Ｌ（１Ｒ）を介して撮像される。これにより、焦点距離の異なる複数の画像を生成（撮像）することができる。
　（第２実施形態）
　図６は第２実施形態に係る表示装置の模式図である。図６では、図１と比較すると、左目４Ｌ（右目４Ｒ）と可変焦点レンズ１Ｌ（１Ｒ）との間に、リレーレンズ６Ｌ，７Ｌ（６Ｒ，７Ｒ）が配置されている。リレーレンズ６Ｌ，６Ｒが第１リレーレンズに相当し、リレーレンズ７Ｌ，７Ｒが第２リレーレンズに相当する。リレーレンズ６Ｌは、入射面６Ｌ１と、出射面６Ｌ２とを有する。リレーレンズ７Ｌは、入射面７Ｌ１と、出射面７Ｌ２とを有する。
　図６に示すように、リレーレンズ６Ｌ（６Ｒ）は、出射面側の焦点面が、ユーザの左目４Ｌ（右目４Ｒ）の瞳の位置と重なるように配置される。また、リレーレンズ６Ｌ（６Ｒ）は、入射面側の焦点面が、リレーレンズ７Ｌ（７Ｒ）の入射面側の焦点面と重なるように配置される。また、リレーレンズ７Ｌ（７Ｒ）は、出射面側の焦点面が、可変焦点レンズ１Ｌ（１Ｒ）と重なるように配置される。ここで、焦点面とは、レンズの焦点を含む面を意味する。
　リレーレンズ６Ｌ（６Ｒ），７Ｌ（７Ｒ）の焦点面同士を重ねて配置することにより、リレーレンズ６Ｌ（６Ｒ）とリレーレンズ７Ｌ（７Ｌ）とが結像関係となる。すなわち、リレーレンズ６Ｌ（６Ｒ）の入射面の出た光は、リレーレンズ７Ｌ（７Ｒ）の射出面側の焦点面における１点に集光することになる。
　ここで、リレーレンズ６Ｌ（６Ｒ）の焦点距離をｆａ、リレーレンズ７Ｌ（７Ｒ）の焦点距離をｆｂとすると、左目４Ｌ（右目４Ｒ）の瞳の口径のｆａ／ｆｂ倍が可変焦点レンズ１Ｌ（１Ｒ）の有効径となる。第１実施形態では、左目４Ｌ（右目４Ｒ）と可変焦点レンズ１Ｌ（１Ｒ）との間に所定距離が必要となるため、画角、すなわち、視野の範囲に応じて可変焦点レンズ１Ｌ（１Ｒ）の有効径を大きくする必要がある。これに対して、第２実施形態では、リレーレンズ６Ｌ，７Ｌ（６Ｒ，７Ｒ）によって、左目４Ｌ（右目４Ｒ）の瞳と可変焦点レンズ１Ｌ（１Ｒ）との距離が０になるため、可変焦点レンズ１Ｌ（１Ｒ）の有効径を小さくすることができる。さらに、可変焦点レンズ１Ｌ（１Ｒ）上では、左目４Ｌ（右目４Ｒ）の瞳径サイズがｆａ／ｆｂ倍となるため、ｆａ＜ｆｂとすることで可変焦点レンズ１Ｌ（１Ｒ）の有効径をさらに小さくすることができる。また、可変焦点レンズ１Ｌ（１Ｒ）は、有効径が小さくなるほど高速な応答が可能となるので、ディスプレイ２Ｌ（２Ｒ）に表示される画像のちらつきを抑えることができる。
　次に、第２実施形態に係る表示装置の動作を説明する。第１実施形態に係る表示装置では、ディスプレイ２Ｌ（２Ｒ）の画像更新時にＲＧＢ（Red, Green, Blue）の三色の画素を同時に発光させていた。これに対して、第２実施形態に係る表示装置では、ディスプレイ２Ｌ（２Ｒ）に表示させる画像をＲＧＢの色に対応する３つの画像に分解し、３つの画像をＲ，Ｇ，Ｂの順にディスプレイ２Ｌ（２Ｒ）に表示させる。このとき、制御装置３は、１の画像更新時間ｔ１内で、ＲＧＢの色ごとに、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを変化させる（図７参照）。具体的には、画像更新時間ｔ１には、Ｒに分解された画像を表示する画像更新時間ｔ１１と、Ｇに分解された画像を表示する画像更新時間ｔ１２と、Ｂに分解された画像を表示する画像更新時間ｔ１３とを含む。
　上述したように、リレーレンズ６Ｌ，６Ｒ，７Ｌ，７Ｒは、フレネルレンズであるため、薄く軽量化ができるが、光の波長による色収差、すなわち、色ごとの焦点距離のずれが出やすくなる。色収差の補正として、複数のレンズを組み合わせることで収差補正ができるが、構造が複雑で大型化重量化し、また組み立て調整も難しくなる。そこで、第２実施形態では、色ごとに発生する焦点距離のズレを、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを制御することにより、色収差などによる画像の色ずれの影響を低減できる。なお、ＲＧＢの色ごとの焦点距離の制御量は、色収差による画像の色ずれが最小となる量をあらかじめ測定しておけばよい。
　以上の構成により、第２実施形態に係る表示装置は、出射面側の焦点面がユーザの左目４Ｌ（右目４Ｒ）の瞳の位置に重なっているリレーレンズ６Ｌ，６Ｒと、入射面側の焦点面が前記第１リレーレンズの入射面側の焦点面と重なっており、出射面側の焦点面に前記可変焦点レンズが配置されているリレーレンズ７Ｌ，７Ｒとを備える。これにより、リレーレンズ６Ｌ，７Ｌ（６Ｒ，７Ｒ）によって、左目４Ｌ（右目４Ｒ）の瞳と可変焦点レンズ１Ｌ（１Ｒ）との距離が０になるため、可変焦点レンズ１Ｌ（１Ｒ）の有効径を小さくすることができる。さらに、可変焦点レンズ１Ｌ（１Ｒ）上では、左目４Ｌ（右目４Ｒ）の瞳径サイズがｆａ（リレーレンズ６Ｌ（６Ｒ）の焦点距離）／ｆｂ（リレーレンズ７Ｌ（７Ｒ）の焦点距離）倍となるため、ｆａ＜ｆｂとすることで可変焦点レンズ１Ｌ（１Ｒ）の有効径をさらに小さくすることができる。
　また、リレーレンズ６Ｌ，６Ｒ，７Ｌ，７Ｒは、フレネルレンズである。これにより、レンズの光軸方向における、表示装置のサイズを小さくすることができる。
　また、制御装置３は、ディスプレイ２Ｌ（２Ｒ）に表示する画像をＲＧＢの色ごとに分解し、分解した画像をディスプレイ２Ｌ（２Ｒ）に表示させるとともに、ディスプレイ２Ｌ（２Ｒ）に表示された画像の焦点距離に可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを設定する。これにより、リレーレンズ６Ｌ，６Ｒ，７Ｌ，７Ｒがフレネルレンズである場合に生じる画像の色ごとの焦点距離のずれを補正することができる。
　なお、リレーレンズ６Ｌ，６Ｒ，７Ｌ，７Ｒは、フレネルレンズであるとしたが、これに限られず、色消しレンズまたは複数枚のレンズなどを用いてもよい。この場合、色消しレンズまたは複数枚のレンズなどにより、色収差を低減し、ディスプレイ２Ｌ（２Ｒ）に表示させる画像をＲＧＢの色ごとに分離したり、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆの制御を行わないようにしてもよい。
　また、色分離した画像の表示順はＲ，Ｇ，Ｂの順でなくてもよいし、任意の順番で表示してもよい。
　（第３実施形態）
　図８は第３実施形態に係る表示装置の模式図である。図８に示すように、第３実施形態に係る表示装置は、カメラ８Ｌ（８Ｒ）と、センサ９とを備える。カメラ８Ｌ（８Ｒ）が第１センサに相当し、センサ９が第２センサに相当する。
　カメラ８Ｌ（８Ｒ）は、例えば、近赤外線カメラなどである。カメラ８Ｌ（８Ｒ）は、可変焦点レンズ１Ｌ（１Ｒ）と、リレーレンズ７Ｌ（７Ｒ）との間に設けられたハーフミラー１０Ｌ（１０Ｒ）を介して、左目４Ｌ（右目４Ｒ）を撮像する。カメラ８Ｌ（８Ｒ）は、ハーフミラー１０Ｌ（１０Ｒ）を介して、リレーレンズ７Ｌ（７Ｒ）の出射面側の焦点面（焦点距離ｆｂ）に重ねて配置されている。なお、ハーフミラー１０Ｌ（１０Ｒ）は、例えば、近赤外線反射ミラーなどであり、可視光は透過し、近赤外光のみを反射させるものである。
　センサ９は、例えば、加速度センサなどである。センサ９は、ユーザの頭部に取り付けられ、ユーザの頭部が向いている方向（頭部方向）を検出する。
　リレーレンズ６Ｌ（６Ｒ），７Ｌ（７Ｒ）は、上述したように、焦点面同士が重なるように配置されている。また、リレーレンズ６Ｌ（６Ｒ）の出射面側の焦点面が、ユーザの左目４Ｌ（右目４Ｒ）の瞳の位置と重なるように配置されている。さらに、リレーレンズ７Ｌ（７Ｒ）の出射面側の焦点面が、カメラ８Ｌ（８Ｒ）の撮像面と重なるように配置される。これにより、カメラ８Ｌ（８Ｒ）と左目４Ｌ（右目４Ｒ）とが結像関係となるため、カメラ８Ｌ（８Ｒ）が左目４Ｌ（右目４Ｒ）を撮像可能となる。
　図９は第３実施形態に係るカメラによって撮像された画像例である。図９に示すように、カメラ８Ｌ（８Ｒ）によって撮像された画像には、左目４Ｌ（または右目４Ｒ）の画像が含まれる。制御装置３は、カメラ８Ｌ（８Ｒ）から当該画像を受信すると、例えば、当該画像の中から、左目４Ｌ（または右目４Ｒ）の瞳４１、目頭４２および目尻４３を検出する。制御装置３は、目頭４２を基準として、瞳４１の位置（縦方向の位置ｖ＿Ｌおよび横方向の位置ｈ＿Ｌ）を算出する。そして、制御装置３は、瞳４１の基準位置と、算出した瞳４１の位置との関係から、ユーザの目線方向を算出する。なお、瞳４１の基準位置は、ディスプレイ２Ｌ（２Ｒ）の適当な位置に所定のマークを表示させ、ユーザがそのマークを注視したときの瞳４１の位置である。
　図１０は第３実施形態に係るディスプレイに画像を表示する際の処理を示すフローチャートである。
　まず、カメラ８Ｌ（８Ｒ）は、左目４Ｌ（右目４Ｒ）の画像を撮像する。そして、制御装置３は、当該画像に含まれる左目４Ｌ（右目４Ｒ）の瞳の画像から、ユーザの目線方向を算出する（ステップＳ１１）。制御装置３は、センサ９からの出力に基づき、ユーザの頭部方向を検出する（ステップＳ１２）。制御装置３は、目線方向および頭部方向に基づき、視線方向を算出する（ステップＳ１３）。
　次に、仮想空間上において、算出した視線方向においてユーザに最も近い物体までの距離Ｚを算出し、当該物体に焦点を合わせた画像を生成する（ステップＳ１４）。このときの画像生成方法は、図３にて説明した方法により生成（撮像）される。
　制御装置３は、ステップＳ３にて生成した画像をディスプレイ２Ｌ（２Ｒ）に表示させるとともに、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを、距離Ｚに設定する（ステップＳ１５）。
　以上の構成により、第３実施形態に係る表示装置は、ユーザの瞳の位置を検出するカメラ８Ｌ，８Ｒ（第１センサ）と、ユーザの頭の向きを検出するセンサ９（第２センサ）とを備える。制御装置３は、カメラ８Ｌ（８Ｒ）およびセンサ９の検出結果に基づき、ユーザの視線方向を算出し、仮想空間上において視線方向に最も近い距離にある物体に焦点が合うように生成された画像をディスプレイ２Ｌ（２Ｒ）に表示させるとともに、当該画像の焦点距離に可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆを設定する。これにより、ユーザが視線方向を変化させた場合にのみ、可変焦点レンズ１Ｌ（１Ｒ）の焦点距離ｆおよびディスプレイ２Ｌ（２Ｒ）の画像を変化させればよいので、ディスプレイ２Ｌ（２Ｒ）に表示される画像のちらつきを大幅に抑えることができる。
　（その他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態について説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
　なお、ディスプレイ２Ｌ（２Ｒ）は、ＬＥＤを画素としたが、これに限られず、有機ＥＬを画素としてもよい。
　また、ディスプレイ２Ｌ（２Ｒ）が含む画素は、ＲＧＢの３色に限られず、２色以下であってもよいし、４色以上であってもよい。
　また、ディスプレイ２Ｌ（２Ｒ）に表示する画像は、制御装置３の演算能力が高ければ計算しながら表示してもよいし、予め画像を生成しておいた画像を表示してもよい。
　また、図４などにおいて、カメラで撮像する物体は２つに限定するものではなく、物体の配置についての制約もない。
　また、図４などにおいて、画像を生成する場合、実像を撮像してもよいし、仮想空間の３Ｄデータをもとに画像を生成してもよい。
　また、ステップＳ１，Ｓ２は、画像表示の前に予め用意しておいてもよいし、画像表示と平行して画像生成をおこなってもよい。
　なお、画像群に含まれる画像の枚数は、３０枚に限定されるものではなく、画像群に少なくとも互いに焦点距離が異なる画像が２枚以上含まれていればよい。なお、画像群に含まれる画像の枚数が多いほど奥行方向の表示解像度は向上する。ただし、それに伴い、ディスプレイ２Ｌ（２Ｒ）の表示更新速度を高速にする必要がある。
　また、左目４Ｌ（右目４Ｒ）と可変焦点レンズ１Ｌ（１Ｒ）との間にハーフミラーを配置し、実像と２次元ディスプレイによる奥行表示の虚像とを重ね合わせてもよい。
　また、第１～第３実施形態に係る表示装置は、例えば、第１～第３実施形態に係る表示装置の各構成を備えたヘッドマウントディスプレイや、ヘッドアップディスプレイ、ウェアラブルカメラなどのウェアラブルデバイスなどに適用することが可能である。
　本開示の表示装置は、仮想空間上の物体を立体的に見ることができるため、ヘッドアップディスプレイやウェラブルデバイスなどに用いることができる。
　１Ｌ，１Ｒ　可変焦点レンズ
　２Ｌ，２Ｒ　ディスプレイ
　３　制御装置
　４Ｌ，４Ｒ　ユーザの右目、左目
　６Ｌ，６Ｒ　リレーレンズ（第１リレーレンズ）
　７Ｌ，７Ｒ　リレーレンズ（第２リレーレンズ）
　８Ｌ，８Ｒ　カメラ（第１センサ）
　９　センサ（第２センサ）

Claims (9)

  1. 　焦点距離を変更可能な可変焦点レンズと、
    　前記可変焦点レンズに対向して配置されるディスプレイと、
    　前記可変焦点レンズの焦点距離を制御するとともに、前記ディスプレイに画像を表示させる制御装置とを備え、
    　前記制御装置は、前記画像に遠方の像を表示させるときには、前記可変焦点レンズの焦点距離を長くする一方、前記画像に近傍の像を表示させるときには、前記可変焦点レンズの焦点距離を短くすることを特徴とする表示装置。
  2. 　請求項１に記載の表示装置において、
    　前記制御装置は、前記ディスプレイに、互いに異なる複数の焦点距離に設定された複数の画像からなる画像群を焦点距離の長さ順に順次表示させるとともに、前記ディスプレイに表示された前記画像の焦点距離に前記可変焦点レンズの焦点距離を設定することを特徴とする表示装置。
  3. 　請求項２に記載の表示装置において、
    　前記画像群は、前記可変焦点レンズの焦点距離を変化させつつ、前記可変焦点レンズを介して撮像されることを特徴とする表示装置。
  4. 　請求項１～３のいずれか１項記載の表示装置において、
    　入射面と出射面とを有する第１リレーレンズと、
    　入射面と出射面とを有する第２リレーレンズとをさらに備え、
    　前記第１リレーレンズの出射面側の焦点面がユーザの瞳の位置に重なっており、
    　前記第２リレーレンズの入射面側の焦点面が前記第１リレーレンズの入射面側の焦点面と重なっており、
    　前記第２リレーレンズの出射面側の焦点面に前記可変焦点レンズが配置されていることを特徴とする表示装置。
  5. 　請求項４に記載の表示装置において、
    　前記第１および第２リレーレンズの各々は、フレネルレンズであることを特徴とする表示装置。
  6. 　請求項５に記載の表示装置において、
    　前記制御装置は、前記画像をＲＧＢの色に対応する３つの画像に分解し、前記３つの画像を前記ディスプレイに表示させるとともに、前記ディスプレイに表示された前記３つの画像の各々の焦点距離に前記可変焦点レンズの焦点距離を設定することを特徴とする表示装置。
  7. 　請求項１～６のいずれか１項記載の表示装置において、
    　ユーザの瞳の位置を検出する第１センサと、
    　前記ユーザの頭の向きを検出する第２センサとをさらに備え、
    　前記制御装置は、前記第１および第２センサの検出結果に基づき、前記ユーザの視線方向を算出し、仮想空間上において前記視線方向において前記ユーザに最も近い物体に焦点が合うように生成された画像を前記ディスプレイに表示させるとともに、当該画像の焦点距離に前記可変焦点レンズの焦点距離を設定することを特徴とする表示装置。
  8. 　焦点距離を変更可能な可変焦点レンズと、前記可変焦点レンズに対向して配置されるディスプレイと、前記可変焦点レンズの焦点距離を制御するとともに、前記ディスプレイに画像を表示させる制御装置とを備える表示装置を用いた表示方法であって、
    　互いに異なる複数の焦点距離に設定された複数の画像からなる画像群を生成する第１ステップと、
    　前記ディスプレイに、前記画像群を前記画像の焦点距離の長さ順に順次表示させるとともに、前記ディスプレイに表示された前記画像に対応する焦点距離に前記可変焦点レンズの焦点距離を設定する第２ステップと
    　前記第２ステップの後に、前記画像群を再生成し、前記第２ステップを再度行う第３ステップとを有すること特徴とした表示方法。
  9. 　焦点距離を変更可能な可変焦点レンズと、前記可変焦点レンズに対向して配置されるディスプレイと、前記可変焦点レンズの焦点距離を制御するとともに、前記ディスプレイに画像を表示させる制御装置とを備える表示装置を用いた表示方法であって、
    　ユーザの瞳の位置および前記ユーザの頭の向きから前記ユーザの視線方向を検出するステップと、
    　仮想空間上において前記視線方向において前記ユーザに最も近い物体に焦点が合うように設定された画像を生成するステップと
    　前記画像を前記ディスプレイに表示するとともに、前記画像の焦点距離に前記可変焦点レンズの焦点距離を設定するステップとを有することを特徴とした表示方法。
PCT/JP2023/001082 2022-03-25 2023-01-17 表示装置および表示方法 WO2023181602A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-049761 2022-03-25
JP2022049761 2022-03-25

Publications (1)

Publication Number Publication Date
WO2023181602A1 true WO2023181602A1 (ja) 2023-09-28

Family

ID=88100961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001082 WO2023181602A1 (ja) 2022-03-25 2023-01-17 表示装置および表示方法

Country Status (1)

Country Link
WO (1) WO2023181602A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6442998A (en) * 1987-08-10 1989-02-15 Nippon Telegraph & Telephone Steroscopic image input/output system
JPH04285993A (ja) * 1991-03-14 1992-10-12 Sony Corp 直視型画像表示装置
JPH09243960A (ja) * 1996-03-05 1997-09-19 Nippon Telegr & Teleph Corp <Ntt> 立体表示装置およびその駆動方法
US5984478A (en) * 1998-07-29 1999-11-16 International Business Machines Corporation Dynamic optical compensation for color sequential projection display
JP2002196280A (ja) * 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
JP2018042755A (ja) * 2016-09-14 2018-03-22 株式会社トプコン 立体画像提示装置、及び眼科装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6442998A (en) * 1987-08-10 1989-02-15 Nippon Telegraph & Telephone Steroscopic image input/output system
JPH04285993A (ja) * 1991-03-14 1992-10-12 Sony Corp 直視型画像表示装置
JPH09243960A (ja) * 1996-03-05 1997-09-19 Nippon Telegr & Teleph Corp <Ntt> 立体表示装置およびその駆動方法
US5984478A (en) * 1998-07-29 1999-11-16 International Business Machines Corporation Dynamic optical compensation for color sequential projection display
JP2002196280A (ja) * 2000-10-17 2002-07-12 Olympus Optical Co Ltd 表示装置
JP2018042755A (ja) * 2016-09-14 2018-03-22 株式会社トプコン 立体画像提示装置、及び眼科装置

Similar Documents

Publication Publication Date Title
US11221494B2 (en) Adaptive viewport optical display systems and methods
US9699440B2 (en) Image processing device, image processing method, non-transitory tangible medium having image processing program, and image-pickup device
KR101803137B1 (ko) 전체 이미지를 프로젝팅하기 위한 프로젝션 디스플레이 및 방법
JP6658529B2 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
JP6061852B2 (ja) 映像表示装置および映像表示方法
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
KR101919486B1 (ko) 완전 시차 초점 조절 3차원 디스플레이 장치
JP2000249974A (ja) 表示装置及び立体表示装置
US20230043244A1 (en) Image display device including moveable display element and image display method
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
JP2014103585A (ja) 立体画像表示装置
US11061237B2 (en) Display apparatus
JPH0250145A (ja) 立体像表示装置
US10698218B1 (en) Display system with oscillating element
WO2020095556A1 (ja) 虚像表示装置、および虚像表示方法
WO2023181602A1 (ja) 表示装置および表示方法
JP2007108626A (ja) 立体映像生成システム
US10718949B1 (en) Display apparatus and method of displaying
JP7127415B2 (ja) 虚像表示装置
JP2021064834A (ja) 立体画像表示システム
JP7139548B2 (ja) ヘッドマウントディスプレイ
RU2781475C2 (ru) Стереомикроскоп с одним объективом
JP2020076934A (ja) 虚像表示装置、および虚像表示方法
JP2006003822A (ja) ３次元画像撮像アダプター
JP2023048008A (ja) ヘッドマウントディスプレイおよびクロスリアリティシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774203

Country of ref document: EP

Kind code of ref document: A1