WO2024084819A1 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
WO2024084819A1
WO2024084819A1 PCT/JP2023/031039 JP2023031039W WO2024084819A1 WO 2024084819 A1 WO2024084819 A1 WO 2024084819A1 JP 2023031039 W JP2023031039 W JP 2023031039W WO 2024084819 A1 WO2024084819 A1 WO 2024084819A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame buffer
frame
video signal
scanning
Prior art date
Application number
PCT/JP2023/031039
Other languages
English (en)
French (fr)
Inventor
博之 古屋
三佳 森
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2024084819A1 publication Critical patent/WO2024084819A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an image generating device that generates an image by scanning light.
  • head-mounted displays such as goggles and glasses that realize AR (Augmented Reality) and VR (Virtual Reality) are known as image generating devices that generate images by scanning light.
  • image generating devices that generate images by scanning light.
  • light based on a video signal is directed toward a translucent display, and the reflected light is directed toward the user's eyes.
  • light based on a video signal is directly directed toward the user's eyes.
  • Patent Document 1 describes an apparatus that realizes a first line density in a first portion of an image and a second line density lower than the first line density in a second portion of the image by controlling the rotation of the fast axis and slow axis of a MEMS mirror, and determines the position of the first portion of the image based on the line of sight of the eye.
  • the resolution of the image in the second portion that does not correspond to the line of sight is lower than the resolution of the image in the first portion that corresponds to the line of sight, reducing eye fatigue for the user.
  • the image resolution is switched between the first and second parts when generating one frame of image.
  • the user's line of sight can change dynamically, if video signals of each resolution are generated according to the line of sight, the generation of the video signals cannot keep up, resulting in a delay in display. When such a display delay occurs, the image becomes distorted, causing discomfort to the user.
  • the present invention aims to provide an image generating device that can smoothly switch the image resolution between a first image area near the user's line of sight and a second image area elsewhere.
  • the image generating device includes a light source that emits light modulated by a video signal, a scanning unit that scans the light emitted from the light source along a plurality of scanning lines, a first frame buffer that stores the video signal corresponding to each of the scanning lines to form a frame image with a first number of scanning lines, a second frame buffer that stores the video signal corresponding to each of the scanning lines to form the frame image with a second number of scanning lines that is less than the first number of scanning lines, a detection unit that detects the user's line of sight, and a control unit.
  • the control unit controls the scanning unit so that an image is generated by applying the video signal from the first frame buffer to a first image area of a predetermined number of scanning lines that includes a viewpoint position on the frame image that corresponds to the line of sight, and controls the scanning unit so that an image is generated by applying the video signal from the second frame buffer to a second image area of the frame image other than the first image area.
  • the video signals stored in the first and second frame buffers are selectively used according to the user's line of sight to generate one frame of image. This allows smooth switching of image resolution between the first image area near the user's line of sight and the other second image area.
  • the image generating device includes a light source that emits light modulated by a video signal, a scanning unit that scans the light emitted from the light source along a plurality of scanning lines, a first frame buffer that stores the video signal expressed in a first number of gradations for each of the scanning lines, a second frame buffer that stores the video signal expressed in a second number of gradations that is less than the first number of gradations for each of the scanning lines, a detection unit for detecting the user's line of sight, and a control unit.
  • the control unit applies the video signal from the first frame buffer to a first image area including a viewpoint position on the frame image corresponding to the line of sight to emit the light from the light source, and applies the video signal from the second frame buffer to a second image area of the frame image other than the first image area to emit the light from the light source.
  • the video signals stored in the first and second frame buffers are selectively used according to the user's line of sight to generate one frame of image. This allows smooth switching of image resolution between the first image area near the user's line of sight and the other second image area.
  • the present invention provides an image generating device that can smoothly switch image resolution between a first image area near the user's line of sight and a second image area elsewhere.
  • FIG. 1 is a perspective view illustrating a schematic configuration of an image generating apparatus according to a first embodiment.
  • FIG. 2 is a diagram illustrating a schematic configuration of a projection unit according to the first embodiment.
  • FIG. 3 is a block diagram showing the configuration of a projection unit and a detection unit according to the first embodiment.
  • FIG. 4 is a schematic diagram for explaining the thinning process according to the first embodiment.
  • FIG. 5 is a schematic diagram for explaining the thinning process according to the first embodiment.
  • Fig. 6A is a diagram showing frame image generation according to a comparative example
  • Fig. 6B is a diagram showing frame image generation according to the first embodiment.
  • FIG. 7 is a flowchart showing a frame image generating process performed by the image generating device according to the first embodiment.
  • FIG. 8 is a diagram illustrating a first modification of the first embodiment, which illustrates how the first image area is set to one of five areas based on the viewpoint position.
  • FIG. 9 is a diagram showing the scanning speed of the second mirror in a case where five areas are respectively set as the first image area according to the first modification of the first embodiment.
  • FIG. 10 is a schematic diagram for explaining the interpolation process according to the second modification of the first embodiment.
  • FIG. 11 is a schematic diagram for explaining the interpolation process according to the second modification of the first embodiment.
  • FIG. FIG. 12 is a block diagram showing the configuration of a projection unit and a detection unit according to the second embodiment.
  • Fig. 13A is a diagram showing a frame image generation according to the second embodiment, and Fig.
  • FIG. 13B is a diagram showing an example of a frame image according to the second embodiment.
  • FIG. 14 is a flowchart showing a frame image generating process performed by the image generating device according to the second embodiment.
  • FIG. 15 is a block diagram showing the configuration of a projection unit and a detection unit according to the third embodiment.
  • FIG. 16 is a diagram illustrating the generation of a frame image according to the third embodiment.
  • the present invention is applied to an image generating device for AR glasses.
  • the following embodiment is one embodiment of the present invention, and the present invention is not limited to the following embodiment.
  • the present invention is not limited to an image generating device for AR glasses, but can also be applied to image generating devices such as AR goggles, VR glasses, VR goggles, and in-vehicle head-up displays.
  • FIG. 1 is a perspective view showing a schematic configuration of the AR glasses 1.
  • the mutually orthogonal X, Y, and Z axes are indicated in addition to the front, back, left, right, up, and down directions of the AR glasses 1.
  • the positive X-axis, positive Y-axis, and positive Z-axis directions correspond to the right, rear, and upward directions of the AR glasses 1, respectively.
  • the AR glasses 1 include a frame 2 and a pair of image generating devices 3.
  • the pair of image generating devices 3 are line-symmetrical with respect to the Y-Z plane that passes through the center of the AR glasses 1.
  • the image generating device 3 includes a projection unit 11, a half mirror 12, and a detection unit 13.
  • the AR glasses 1 are worn on the user's head, similar to ordinary eyeglasses.
  • the frame 2 is composed of a front portion 2a and a pair of support portions 2b.
  • the pair of support portions 2b extend rearward from the right and left ends of the front portion 2a.
  • the front portion 2a is positioned in front of the user's pair of eyes E.
  • the front portion 2a is composed of a transparent material (e.g., resin, etc.).
  • the projection unit 11 is installed on the inner surface of the support unit 2b.
  • the projection unit 11 projects light modulated by a video signal onto the corresponding half mirror 12.
  • the half mirror 12 is installed on the inner surface of the front portion 2a.
  • the half mirror 12 reflects light projected from the corresponding projection unit 11 to the user's eye E, and transmits light traveling in the forward and backward directions.
  • the light from the projection unit 11 reflected by the half mirror 12 is irradiated onto the fovea centralis, which is located at the center of the retina in the eye E. This allows the user to visually grasp the frame image 20 (see Figure 2) generated by the image generation device 3.
  • the user can see in front of the AR glasses 1 through the half mirror 12, the user can visually grasp the state in front of the AR glasses 1 by superimposing it on the frame image 20 generated by the image generation device 3.
  • the pair of detection units 13 are installed on the inner surface of the front portion 2a and positioned between the pair of half mirrors 12.
  • the detection units 13 are used to detect the user's line of sight. The detection of the user's line of sight will be explained later with reference to Figure 3.
  • FIG. 2 is a diagram showing a schematic configuration of the projection unit 11.
  • the projection unit 11 includes light sources 101, 102, and 103, collimator lenses 111, 112, and 113, apertures 121, 122, and 123, a mirror 131, dichroic mirrors 132 and 133, a first scanning unit 140, a relay optical system 150, and a second scanning unit 160.
  • Light sources 101, 102, and 103 are, for example, semiconductor laser light sources.
  • Light source 101 emits laser light with a red wavelength in the range of 635 nm to 645 nm
  • light source 102 emits laser light with a green wavelength in the range of 510 nm to 530 nm
  • light source 103 emits laser light with a blue wavelength in the range of 440 nm to 460 nm.
  • a color image is generated as the frame image 20 described below, so the projection unit 11 is equipped with light sources 101, 102, and 103 capable of emitting red, green, and blue laser light.
  • the projection unit 11 may be equipped with only one light source corresponding to the color of the image.
  • the projection unit 11 may also be configured to be equipped with two light sources with different emission wavelengths.
  • the light emitted from light sources 101, 102, and 103 is converted into parallel light by collimator lenses 111, 112, and 113, respectively.
  • the light transmitted through collimator lenses 111, 112, and 113 is shaped into a nearly circular beam by apertures 121, 122, and 123, respectively.
  • Mirror 131 almost completely reflects the red light that passes through aperture 121.
  • Dichroic mirror 132 reflects the green light that passes through aperture 122 and transmits the red light reflected by mirror 131.
  • Dichroic mirror 133 reflects the blue light that passes through aperture 123 and transmits the red and green light that passes through dichroic mirror 132.
  • Mirror 131 and the two dichroic mirrors 132 and 133 are positioned so as to align the optical axes of the light of each color emitted from light sources 101, 102, and 103.
  • the first scanning unit 140 reflects the light that has passed through the dichroic mirror 133.
  • the first scanning unit 140 is, for example, a MEMS (Micro Electro Mechanical System) mirror.
  • the first scanning unit 140 has a configuration for rotating the first mirror 141, on which the light that has passed through the dichroic mirror 133 is incident, around an axis 141a parallel to the Z-axis direction in response to a drive signal.
  • the rotation of the first mirror 141 changes the reflection direction of the light.
  • the light reflected by the first mirror 141 is scanned along a scanning line extending in the X-axis direction on the retina of the eye E, as described below.
  • the relay optical system 150 directs the light reflected by the first scanning unit 140 toward the center of the second mirror 161 of the second scanning unit 160. That is, the light incident on the first scanning unit 140 is deflected by the first mirror 141 at a predetermined deflection angle.
  • the relay optical system 150 directs the light at each deflection angle toward the center of the second mirror 161.
  • the relay optical system 150 also has multiple mirrors, and reflects the light reflected by the first scanning unit 140 by the multiple mirrors and directs it toward the second scanning unit 160. This makes it possible to realize a long optical path length inside the relay optical system 150 and suppress the deflection angle of the light when viewed from the second mirror 161.
  • the second scanning unit 160 reflects the light that has passed through the relay optical system 150.
  • the second scanning unit 160 is, for example, a MEMS mirror.
  • the second scanning unit 160 has a configuration that rotates the second mirror 161, on which the light that has passed through the relay optical system 150 is incident, around an axis 161a parallel to the XY plane in response to a drive signal.
  • the direction in which the light is reflected changes as the second mirror 161 rotates.
  • the scanning line on the retina of the eye E along which the light is scanned by the first scanning unit 140 is changed in the Z-axis direction as described below.
  • the light reflected by the second scanning unit 160 i.e., the light emitted from the projection unit 11, is reflected by the half mirror 12 and forms a frame image 20 on the retina of the eye E.
  • FIG. 3 is a block diagram showing the configuration of the projection unit 11 and the detection unit 13.
  • the detection unit 13 includes a light source 13a and an image sensor 13b, and is connected to the control unit 201 of the projection unit 11.
  • the light source 13a is, for example, an LED that emits light of an infrared wavelength.
  • the image sensor 13b is, for example, a CMOS image sensor or a CCD image sensor.
  • the light source 13a irradiates light onto the user's eye E in response to instructions from the control unit 201.
  • the image sensor 13b captures an image of the user's eye E in response to instructions from the control unit 201, and outputs the captured image to the control unit 201.
  • the projection unit 11 includes a control unit 201, a first mirror drive circuit 211, a second mirror drive circuit 212, a first mirror monitor sensor 213, a second mirror monitor sensor 214, a signal generation unit 221, a first frame buffer 231, a second frame buffer 232, a line memory 241, and a laser drive circuit 242.
  • the control unit 201 includes an arithmetic processing unit such as a CPU or FPGA, and a memory.
  • the control unit 201 processes video signals from an external device and controls each part of the projection unit 11.
  • the control unit 201 also detects the user's line of sight based on the captured image from the detection unit 13, for example, by the dark pupil method, the bright pupil method, or the corneal reflex method.
  • the control unit 201 acquires the viewpoint position in the frame image 20 formed on the user's retina based on the detected line of sight of the user.
  • the first mirror drive circuit 211 drives the first mirror 141 of the first scanning unit 140 in response to a drive signal from the control unit 201.
  • the second mirror drive circuit 212 drives the second mirror 161 of the second scanning unit 160 in response to a drive signal from the control unit 201.
  • the first mirror monitor sensor 213 is installed on the first mirror 141 and outputs a detection signal corresponding to the rotation of the first mirror 141 to the control unit 201.
  • the second mirror monitor sensor 214 is installed on the second mirror 161 and outputs a detection signal corresponding to the rotation of the second mirror 161 to the control unit 201. Based on the detection signals from the first mirror monitor sensor 213 and the second mirror monitor sensor 214, the control unit 201 outputs drive signals to the first mirror drive circuit 211 and the second mirror drive circuit 212 so that the first mirror 141 and the second mirror 161 rotate with the desired drive waveform.
  • the signal generating unit 221 processes the video signal. Specifically, the control unit 201 outputs one frame of video signal input from an external device to the signal generating unit 221. The signal generating unit 221 outputs one frame of video signal output from the control unit 201 to a first frame buffer. The signal generating unit 221 also performs a thinning process, described below with reference to Figures 4 and 5, on the one frame of video signal output from the control unit 201, and outputs the one frame of video signal after the thinning process to the second frame buffer 232.
  • a thinning process described below with reference to Figures 4 and 5
  • the first frame buffer 231 and the second frame buffer 232 are memories that store one frame's worth of video signal from the signal generating unit 221. In response to a drive signal from the control unit 201, the first frame buffer 231 and the second frame buffer 232 sequentially output one line's worth of video signal from the stored one frame's worth of video signal to the line memory 241. Either the one line's worth of video signal from the first frame buffer 231 or the one line's worth of video signal from the second frame buffer 232 is input to the line memory 241.
  • the line memory 241 outputs one line's worth of video signals output from the first frame buffer 231 or the second frame buffer 232 to the laser drive circuit 242.
  • the laser drive circuit 242 drives the light sources 101, 102, and 103 to emit light modulated by the one line's worth of video signals output from the line memory 241.
  • Figure 4 is a schematic diagram for explaining the thinning process.
  • the first frame buffer 231 stores multiple video signals for one frame.
  • one line's worth of video signals is indicated by solid and dashed lines.
  • odd-numbered video signals from the top are indicated by solid lines, and even-numbered video signals from the top are indicated by dashed lines.
  • 17 lines' worth of video signals are shown in the first frame buffer in FIG. 4, but the actual number of lines is several levels more.
  • the signal generating unit 221 performs a thinning process on a plurality of video signals for one frame stored in the first frame buffer 231 (a plurality of video signals for one frame among the video signals from an external device).
  • the second frame buffer 232 stores a plurality of video signals for one frame after the thinning process. If the number of scanning lines of the plurality of video signals stored in the first frame buffer 231 is a first number of scanning lines, the number of scanning lines of the plurality of video signals stored in the second frame buffer 232 is a second number of scanning lines that is less than the first number of scanning lines. In the case of FIG. 4, the number of scanning lines of the second frame buffer 232 is approximately half the number of scanning lines of the first frame buffer 231.
  • every other video signal of one frame's worth stored in the first frame buffer 231 is thinned out by the thinning process.
  • one of two adjacent video signals is thinned out.
  • the thinning process is not limited to this.
  • two of three adjacent video signals may be thinned out.
  • FIG. 6(a) is a diagram showing a schematic diagram of the generation of a frame image 20 according to a comparative example.
  • the first scanning unit 140 scans light along the scanning line in the X-axis direction, and the second scanning unit 160 changes the scanning line to the Z-axis direction, so that a frame image 20 is generated on the retina of the user's eye E.
  • the scanning line is changed, as shown by the dotted lines in FIG. 6A, the scanning positions of the first scanning unit 140 and the second scanning unit 160 are moved with the light sources 101, 102, and 103 turned off.
  • the scanning position is moved to the beginning of the scanning line of the next row when scanning of each row of scanning lines is completed, except for the bottom row of scanning lines.
  • the scanning position is moved to the beginning of the top row of scanning lines.
  • the frame image 20 is generated based only on the video signal of the first frame buffer 231.
  • the resolution (number of scanning lines) of the frame image 20 is set low in the outer area of a predetermined range including the user's viewpoint position P10, as shown in FIG. 6(b). This makes it less likely that the user's eyes will become tired.
  • a video signal with a large number of scanning lines (high resolution) is stored in advance in the first frame buffer 231, and a video signal with a small number of scanning lines (low resolution) is stored in the second frame buffer 232.
  • the control unit 201 then switches between the video signal from the first frame buffer 231 and the video signal from the second frame buffer 232 according to the viewpoint position P10 to generate the frame image 20. This makes it possible to suppress the above-mentioned display delay and realize image generation that tracks the user's viewpoint position P10.
  • FIG. 6(b) is a diagram showing a schematic diagram of the generation of a frame image 20 according to the first embodiment.
  • the control unit 201 detects the user's line of sight based on the captured image acquired by the detection unit 13, and acquires the viewpoint position P10 on the frame image 20 based on the detected line of sight.
  • the control unit 201 controls the first scanning unit 140 and the second scanning unit 160 so that an image is generated by applying a high-resolution video signal from the first frame buffer 231 to a first image region R1 of a predetermined number of scanning lines that includes the viewpoint position P10 on the frame image 20.
  • the control unit 201 also controls the first scanning unit 140 and the second scanning unit 160 so that an image is generated by applying a low-resolution video signal from the second frame buffer 232 to a second image region R2 other than the first image region R1 of the frame image 20.
  • FIG. 6(b) for convenience, about five scanning lines are shown in the first image region R1, and about eight scanning lines in total are shown in the second image region R2, but the actual number of scanning lines is several levels more.
  • the number of scanning lines included in the first image region R1 may be changed as appropriate. Also, in FIG. 6(b), the first image region R1 has ranges with the same number of scanning lines above and below the viewpoint position P10 as the center, but the number of scanning lines corresponding to the upper range and the number of scanning lines corresponding to the lower range may be different from each other.
  • FIG. 7 is a flowchart showing the process of generating a frame image 20 performed by the image generating device 3.
  • the processing in steps S11 to S19 is related to the generation of a frame image 20 corresponding to one frame.
  • the control unit 201 outputs a video signal input from an external device to the signal generation unit 221.
  • the signal generation unit 221 stores the input video signal in the first frame buffer 231 as a high-resolution video signal, performs the thinning process shown in Figures 4 and 5 on the input video signal, and stores the video signal after the thinning process in the second frame buffer 232 as a low-resolution video signal (S11).
  • steps S12 to S18 is related to the generation of one line's worth of image.
  • the control unit 201 controls the first mirror drive circuit 211 so that the first mirror 141 rotates repeatedly at the same period in the processing of each line, and drives the laser drive circuit 242 based on the one line's worth of video signal input to the line memory 241.
  • the control unit 201 detects the user's viewpoint position P10 based on the captured image acquired by the detection unit 13 (S12).
  • the control unit 201 sets the first image area R1 and the second image area R2 based on the viewpoint position P10 detected in step S12 (S13).
  • the control unit 201 determines whether the current scan line is within the first image region R1 (S14).
  • the control unit 201 causes the first frame buffer 231 to output a high-resolution video signal to the line memory 241 (S15). As a result, one line of image is generated by the video signal from the first frame buffer 231. In parallel with this, the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at the first scanning speed (S16). As a result, the spacing between vertically adjacent scan lines becomes narrower, as shown in the first image region R1 in FIG. 6(b).
  • the control unit 201 causes the second frame buffer 232 to output a low-resolution video signal to the line memory 241 (S17). As a result, one line of image is generated by the video signal from the second frame buffer 232. In parallel with this, the control unit 201 controls the second mirror drive circuit 212 so that the second mirror 161 rotates at a second scanning speed that is faster than the first scanning speed (S18). As a result, the spacing between vertically adjacent scanning lines becomes wider, as shown in the second image region R2 in FIG. 6(b).
  • the control unit 201 determines whether or not image generation for one frame has been completed (S19). If image generation for one frame has not been completed (S19: NO), the process returns to step S12, and steps S12 to S18 are performed again. When image generation for one frame has been completed in this manner (S19: YES), the process in FIG. 7 ends. Frame images 20 are generated continuously by repeating the process in FIG. 7.
  • the first frame buffer 231 stores video signals corresponding to each scanning line to form a frame image 20 with a first number of scanning lines
  • the second frame buffer 232 stores video signals corresponding to each scanning line to form a frame image 20 with a second number of scanning lines which is less than the first number of scanning lines.
  • the video signals stored in the first frame buffer 231 and the second frame buffer 232 are selectively used according to the user's line of sight to generate one frame of frame image 20. This makes it possible to quickly switch video signals according to the user's line of sight. This makes it possible to smoothly switch image resolution (number of scanning lines) between the first image region R1 near the user's line of sight and the second image region R2 elsewhere.
  • the second number of scanning lines in the second image region R2 other than the first image region R1 including the viewpoint position P10 is less than the first number of scanning lines in the first image region R1. This reduces the resolution (number of scanning lines) of the region outside the viewpoint position P10, making it less likely for the user's eyes to become tired. Furthermore, because the resolution (number of scanning lines) of the second image region R2 is lower, the processing load can be reduced compared to when the entire frame image 20 is generated at the same high resolution (high number of scanning lines) as the first image region R1.
  • the signal generation unit 221 thins out the video signals stored in the first frame buffer 231 for every predetermined number of scanning lines to generate a video signal to be stored in the second frame buffer 232.
  • This configuration makes it easy to generate the video signal stored in the second frame buffer 232.
  • the image generating device 3 includes a first scanning unit 140 having a first mirror 141 for scanning the light along the scanning lines as a scanning unit that scans the light emitted from the light sources 101, 102, and 103 along multiple scanning lines, and a second scanning unit 160 having a second mirror 161 for changing the scanning line along which the light is scanned.
  • the first image area R1 is set within a range of a predetermined number of scanning lines including the viewpoint position P10 based on the user's line of sight, but this is not limited thereto, and the first image area R1 may be set to one of a plurality of areas prepared in advance based on the viewpoint position P10.
  • FIG. 8 is a schematic diagram showing how the first image region R1 is set to one of five regions R11 to R15 based on the viewpoint position P10 in this modified example.
  • the control unit 201 sets the regions R11 to R15 as the first image region, respectively.
  • the viewpoint regions R01 to R05 are obtained by dividing the frame image 20 into five regions in the vertical direction (Z-axis direction).
  • the regions R11 to R15 are regions set corresponding to the viewpoint regions R01 to R05, and each includes a predetermined number of scanning lines.
  • FIG. 9 shows the scanning speed of the second mirror 161 when the five regions R11 to R15 are each set as the first image region in this modified example.
  • the scanning speed of the second mirror 161 is set as shown in the bottom graph of Figure 9.
  • the bottom graph of Figure 9 shows the scanning speed of the second mirror 161 for scanning one line.
  • the speed of the second mirror 161 is slower in regions R11 to R15.
  • the control unit 201 sets the area including the viewpoint position P10 as the first image area out of a plurality of areas R11 to R15 that are previously formed by dividing the frame image 20 in a direction (Z-axis direction) that intersects with the scanning lines.
  • ⁇ Modification 2 of First Embodiment> 4 and 5 from the plurality of video signals stored in the first frame buffer 231, the video signals are thinned out for every predetermined number of scanning lines to generate the video signals to be stored in the second frame buffer 232.
  • the plurality of video signals stored in the second frame buffer 232 may be interpolated between adjacent scanning lines to generate the video signals to be stored in the first frame buffer 231.
  • FIG. 10 is a schematic diagram for explaining the interpolation process according to this modified example.
  • the second frame buffer 232 stores multiple video signals for one frame.
  • the signal generation unit 221 performs an interpolation process on multiple video signals for one frame stored in the second frame buffer 232 (multiple video signals for one frame among the video signals from an external device).
  • the first frame buffer 231 stores multiple video signals for one frame after the interpolation process. In other words, if the number of scanning lines of the multiple video signals stored in the second frame buffer 232 is the second number of scanning lines, the number of scanning lines of the multiple video signals stored in the first frame buffer 231 is the first number of scanning lines, which is greater than the second number of scanning lines.
  • the interpolation process generates a new video signal between two adjacent video signals among the multiple video signals for one frame stored in the second frame buffer 232, to interpolate between these two video signals.
  • the interpolation process is not limited to this.
  • two video signals may be generated between two adjacent video signals to interpolate between these two video signals.
  • the signal generation unit 221 generates a video signal to be stored in the first frame buffer 231 by interpolating between adjacent scanning lines of a plurality of video signals stored in the second frame buffer 232 .
  • This configuration allows the video signal stored in the first frame buffer 231 to be generated properly.
  • FIG. 12 is a block diagram showing the configuration of the projection unit 11 and the detection unit 13 in embodiment 2.
  • a gradation adjustment unit 222 is added instead of the signal generation unit 221.
  • the other configuration of the second embodiment is the same as that of the first embodiment.
  • the gradation adjustment unit 222 processes the video signal. Specifically, the control unit 201 outputs one frame of video signal, which is input from an external device and is expressed in 256 gradations, to the gradation adjustment unit 222. The gradation adjustment unit 222 outputs the one frame of video signal output from the control unit 201 to the first frame buffer 231. The gradation adjustment unit 222 also performs a process to reduce the number of gradations on the one frame of video signal output from the control unit 201, and outputs the processed one frame of video signal to the second frame buffer 232. By the process of reducing the number of gradations, for example, a 256-gradation video signal is converted into a two-gradation video signal.
  • FIG. 13(a) is a diagram showing a schematic diagram of the generation of a frame image 20 according to the second embodiment.
  • the control unit 201 sets a first image region R31 of a predetermined size including the viewpoint position P10.
  • the first image region R31 corresponds to the user's visual field range of, for example, ⁇ 30° in the X-axis direction and ⁇ 10° in the Z-axis direction, with the viewpoint position P10 as the center.
  • the control unit 201 applies a video signal from the first frame buffer 231 to the first image region R31 including the viewpoint position P10, and causes the light sources 101, 102, and 103 to emit light.
  • the control unit 201 applies a video signal from the second frame buffer 232 to the second image region R32 other than the first image region R31, and causes the light sources 101, 102, and 103 to emit light.
  • a high-gradation image is displayed in the first image region R31 near the viewpoint position P10
  • a low-gradation image is displayed in the second image region R2 other than the first image region R31.
  • the first image region R1 is set to correspond to a field of view range of ⁇ 30° in the X-axis direction and ⁇ 10° in the Z-axis direction with the viewpoint position P10 as the center, but the angle range set for the viewpoint position P10 is not limited to this.
  • the range in the Z-axis direction of the first image region R1 may be a range of a predetermined number of scanning lines that includes the viewpoint position P10.
  • FIG. 14 is a flowchart showing the process of generating a frame image 20 performed by the image generating device 3 according to the second embodiment.
  • the processing in steps S21 to S28 is related to the generation of a frame image 20 corresponding to one frame.
  • the control unit 201 outputs a 256-level video signal input from an external device to the gradation adjustment unit 222.
  • the gradation adjustment unit 222 stores the input video signal in the first frame buffer 231 as a high-level video signal, performs a gradation reduction process on the input video signal, and stores the video signal after the gradation reduction process in the second frame buffer 232 as a low-level video signal (S21).
  • steps S22 to S27 is related to the generation of one line's worth of image.
  • the control unit 201 controls the first mirror drive circuit 211 and the second mirror drive circuit 212, and drives the laser drive circuit 242 based on the one line's worth of video signal input to the line memory 241.
  • the control unit 201 detects the user's viewpoint position P10 based on the captured image acquired by the detection unit 13 (S22).
  • the control unit 201 sets the first image area R31 and the second image area R32 based on the viewpoint position P10 detected in step S22 (S23).
  • the control unit 201 determines whether the current scan line is included only in the second image area R32 (S24).
  • the control unit 201 causes the second frame buffer 232 to output a low-gradation video signal to the line memory 241 (S25). As a result, one line of an image is generated by the video signal from the second frame buffer 232.
  • the control unit 201 determines whether the current scan line is included in both the first image region R31 and the second image region R32 (S24: NO).
  • the control unit 201 generates one line of video signals from the high gradation video signals of the first frame buffer 231 and the low gradation video signals of the second frame buffer 232 according to the position of the first image region R31 (S26).
  • the control unit 201 outputs the video signals generated in step S26 to the line memory 241 (S27).
  • one line of an image is generated by the video signals generated from the video signals of the first frame buffer 231 and the second frame buffer 232.
  • the control unit 201 determines whether or not image generation for one frame has been completed (S28). If image generation for one frame has not been completed (S28: NO), the process returns to step S22, and steps S22 to S27 are performed again. When image generation for one frame has been completed in this manner (S28: YES), the process in FIG. 14 ends. Frame images 20 are generated continuously by repeating the process in FIG. 14.
  • a video signal expressed by a first number of gradations is stored for each scanning line
  • a video signal expressed by a second number of gradations less than the first number of gradations is stored for each scanning line. Then, as shown in Fig.
  • light is emitted from the light sources 101, 102, and 103 by applying a high-gradation video signal from the first frame buffer 231 to a first image region R31 including the viewpoint position P10, and light is emitted from the light sources 101, 102, and 103 by applying a low-gradation video signal from the second frame buffer 232 to a second image region R32 other than the first image region R31.
  • the video signals stored in the first frame buffer 231 and the second frame buffer 232 are selectively used according to the user's line of sight to generate one frame of frame image 20. This makes it possible to quickly switch video signals according to the user's line of sight. This makes it possible to smoothly switch image resolution (gradation) between the first image region R1 near the user's line of sight and the second image region R2 elsewhere.
  • the second number of gradations in the second image region R32 other than the first image region R31 including the viewpoint position P10 is less than the first number of gradations in the first image region R31. This reduces the resolution (number of gradations) of the region outside the viewpoint position P10, making it less likely for the user's eyes to become tired. Furthermore, because the resolution (number of gradations) of the second image region R32 is lower, the processing load can be reduced compared to when the entire frame image 20 is generated at the same high resolution (high number of gradations) as the first image region R31.
  • the first number of scanning lines and the first number of gradations of the video signal stored in the first frame buffer 231 are set to be larger than the second number of scanning lines and the second number of gradations of the video signal stored in the second frame buffer 232, respectively.
  • FIG. 15 is a block diagram showing the configuration of the projection unit 11 and the detection unit 13 in embodiment 3.
  • a gradation adjustment unit 222 is added compared to embodiment 1 in FIG. 3.
  • the gradation adjustment unit 222 in embodiment 3 is the same as in embodiment 2.
  • the other configurations of embodiment 3 are the same as in embodiment 1.
  • the gradation adjustment unit 222 processes the video signal to change the gradation, and outputs the processed video signal to the signal generation unit 221. Specifically, the control unit 201 outputs one frame of video signal, which is input from an external device and is expressed in 256 gradations, to the gradation adjustment unit 222. The gradation adjustment unit 222 outputs one frame of video signal output from the control unit 201 to the signal generation unit 221. The gradation adjustment unit 222 also processes one frame of video signal output from the control unit 201 to reduce the number of gradations, and outputs the processed one frame of video signal to the signal generation unit 221. By the process of reducing the number of gradations, for example, a 256-gradation video signal is converted into a two-gradation video signal.
  • the signal generating unit 221 outputs the 256-level video signal output from the gradation adjusting unit 222 to the first frame buffer 231.
  • the signal generating unit 221 also performs a thinning process similar to that of the first embodiment on the two-level video signal output from the gradation adjusting unit 222, and outputs the video signal after the thinning process to the second frame buffer 232.
  • FIG. 16 is a diagram showing a schematic diagram of the generation of a frame image 20 according to the third embodiment.
  • control unit 201 controls the first scanning unit 140 and the second scanning unit 160 in the same manner as in the first embodiment, so that an image is generated by applying a high-resolution, high-gradation video signal from the first frame buffer 231 to a first image region R41 having a predetermined number of scanning lines including the viewpoint position P10.
  • the control unit 201 also controls the first scanning unit 140 and the second scanning unit 160 so that an image is generated by applying a low-resolution, low-gradation video signal from the second frame buffer 232 to a second image region R42 other than the first image region R41.
  • the number of scanning lines included in the first image region R41 may be changed as appropriate. Also, in FIG. 16, the first image region R41 has ranges with the same number of scanning lines above and below the viewpoint position P10 as the center, but the number of scanning lines corresponding to the upper range and the number of scanning lines corresponding to the lower range may be different from each other.
  • the gradation adjustment unit 222 supplies video signals expressed with a different number of gradations to the first frame buffer 231 and the second frame buffer 232.
  • the gradation adjustment unit 222 sets the number of gradations of the video signal stored in the second frame buffer 232 to be smaller than the number of gradations of the video signal stored in the first frame buffer 231.
  • the configuration of the image generating device 3 can be modified in various ways in addition to the configurations shown in the above embodiment and modified examples.
  • two frame buffers the first frame buffer 231 and the second frame buffer 232, are used, but three or more frame buffers with different resolutions or numbers of gradations may be used to output video signals to the line memory 241.
  • two of the three or more frame buffers are selected as the first frame buffer 231 and the second frame buffer 232, and processing is performed for image display.
  • the signal generation unit 221 makes the thinning pitch in the thinning process of FIG. 4 different for each frame buffer.
  • the signal processing unit 221 stores one frame of high resolution video signal in the high resolution frame buffer, stores the even-numbered video signal from the top of one frame of high resolution video signal in the medium resolution frame buffer, and stores every third video signal from the top of one frame of high resolution video signal in the low resolution frame buffer.
  • Two of these three frame buffers are used as the first frame buffer 231 and the second frame buffer 232 in the above-mentioned embodiment 1, and the process of FIG. 7 is performed.
  • the second mirror 161 is controlled at a scanning speed according to the resolution of the frame buffers selected as the first frame buffer 231 and the second frame buffer 232. The user selects which of the three frame buffers to use to generate the display image.
  • the signal generating unit 222 differentiates the gradation of the video signal stored in each frame buffer. For example, when three frame buffers for high gradation, medium gradation, and low gradation are used, the signal processing unit 221 stores a 256-gradation video signal in the high gradation frame buffer, a 32-gradation video signal in the medium gradation frame buffer, and a 2-gradation video signal in the low gradation frame buffer.
  • Two of these three frame buffers are used as the first frame buffer 231 and the second frame buffer 232 in the above-mentioned embodiment 1, and the process of FIG. 7 is performed.
  • the process of FIG. 14 is used as is. The user selects which of the three frame buffers to use for generating the display image.
  • the first mirror 141 and the second mirror 161 are provided separately, but instead of the first mirror 141 and the second mirror 161, a single mirror that rotates about two axes may be provided.
  • the signal generation unit 221 and the gradation adjustment unit 222 may be arranged in reverse, or the signal generation unit 221 and the gradation adjustment unit 222 may be configured as an integrated unit.
  • the detection of the viewpoint position P10 and the setting of the first image area and the second image area are performed for each line of image generation, but they may also be performed for each frame of image (frame image 20) generation.
  • a plurality of regions are prepared by dividing the frame image 20 in a direction intersecting the scanning line (Z-axis direction), and among these multiple regions, the region including the viewpoint position P10 may be set as the first image region R31, R41.
  • the gradation adjustment unit 222 performs processing to reduce the number of gradations of the input video signal to two gradations, but this is not limited thereto.
  • the video signal may be changed to a gradation other than two gradations (for example, 16 gradations) by processing of the gradation adjustment unit 222.
  • FIG. 1 (Technique 1) a light source that emits light modulated by a video signal; A scanning unit that scans the light emitted from the light source along a plurality of scanning lines; a first frame buffer for storing the video signals corresponding to each of the scanning lines to form a frame image with a first number of scanning lines; a second frame buffer for storing the video signals corresponding to each of the scanning lines to configure the frame image with a second number of scanning lines that is smaller than the first number of scanning lines; A detection unit for detecting a line of sight of a user; A control unit, The control unit is controlling the scanning unit so that an image is generated by applying the video signal from the first frame buffer to a first image region of a predetermined number of scanning lines including a viewpoint position on the frame image corresponding to the line of sight; controlling the scanning unit so that an image is generated by applying the video signal from the second frame buffer to a second image area other than the first image area of the frame image; 1.
  • An image generating apparatus comprising:
  • the video signals stored in the first and second frame buffers are selectively used according to the user's line of sight to generate one frame of image. This allows smooth switching of image resolution between the first image area near the user's line of sight and the second image area elsewhere.
  • the control unit sets an area including the viewpoint position as the first image area among a plurality of areas formed by dividing the frame image in advance in a direction intersecting the scanning lines.
  • a signal generating unit that generates a video signal to be stored in the second frame buffer by thinning out the video signals stored in the first frame buffer for every predetermined number of scanning lines, 1.
  • An image generating apparatus comprising:
  • This technology makes it easy to generate the video signal stored in the second frame buffer.
  • a signal generating unit that generates the video signal to be stored in the first frame buffer by interpolating the video signals stored in the second frame buffer between adjacent scanning lines, 1.
  • An image generating apparatus comprising:
  • This technology allows the video signal stored in the first frame buffer to be generated appropriately.
  • a gradation adjustment unit that supplies the video signals expressed with different numbers of gradations to the first frame buffer and the second frame buffer, the gradation adjustment unit sets the number of gradations of the video signal stored in the second frame buffer to be smaller than the number of gradations of the video signal stored in the first frame buffer;
  • the scanning unit includes a first scanning unit having a first mirror for scanning the light along the scanning line, and a second scanning unit having a second mirror for changing the scanning line along which the light is scanned.
  • An image generating apparatus comprising:
  • FIG. 7 (Technique 7) a light source that emits light modulated by a video signal;
  • a scanning unit that scans the light emitted from the light source along a plurality of scanning lines; a first frame buffer for storing the video signal represented by a first number of gradations for each of the scanning lines; a second frame buffer that stores the video signal expressed with a second number of gradations that is smaller than the first number of gradations for each of the scanning lines;
  • a detection unit for detecting a user's line of sight;
  • a control unit The control unit is applying the video signal from the first frame buffer to a first image region including a viewpoint position on the frame image corresponding to the line of sight to emit the light from the light source; applying the video signal from the second frame buffer to a second image area other than the first image area of the frame image, and causing the light source to emit the light;
  • An image generating apparatus comprising:
  • the video signals stored in the first and second frame buffers are selectively used according to the user's line of sight to generate one frame of image. This allows smooth switching of image gradations between the first image area near the user's line of sight and the second image area elsewhere.
  • Image generating device 13 Detection unit 20 Frame image 101, 102, 103 Light source 140 First scanning unit (scanning unit) 141 First mirror 160 Second scanning unit (scanning unit) 161 Second mirror 201 Control unit 221 Signal generation unit 222 Tone adjustment unit 231 First frame buffer 232 Second frame buffer P10 Viewpoint position R1, R31, R41 First image area R11 to R15 Area R2, R32, R42 Second image area

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

画像生成装置は、第1の走査線数でフレーム画像を構成するために各々の走査線に対応する映像信号を記憶する第1フレームバッファ(231)と、第1の走査線数より少ない第2の走査線数でフレーム画像を構成するために各々の走査線に対応する映像信号を記憶する第2フレームバッファ(232)と、制御部(201)と、を備える。制御部(201)は、視線に対応するフレーム画像上の視点位置を含む所定走査線数の第1画像領域には、第1フレームバッファ(231)からの映像信号を適用して画像が生成されるよう、走査部を制御し、フレーム画像の第1画像領域以外の第2画像領域には、第2フレームバッファ(232)からの映像信号を適用して画像が生成されるよう、走査部を制御する。

Description

画像生成装置
 本発明は、光を走査して画像を生成する画像生成装置に関する。
 従来、光を走査して画像を生成する画像生成装置として、たとえば、AR(AugmentedReality)やVR(Virtual Reality)を実現するゴーグルやグラスなどのヘッドマウントディスプレイが知られている。これらの装置では、たとえば、映像信号に基づく光が半透明のディスプレイに向けて照射され、その反射光がユーザの目に照射される。あるいは、映像信号に基づく光がユーザの目に直接照射される。
 以下の特許文献1には、MEMSミラーのファスト軸およびスロー軸の回転を制御することにより、画像の第1の部分において第1の線密度を実現し、画像の第2の部分において第1の線密度よりも低い第2の線密度を実現し、目の視線に基づいて画像の第1の部分の位置を決定する装置が記載されている。これにより、視線に対応しない第2の部分の画像の解像度が、視線に対応する第1の部分の画像の解像度より低くなるため、使用者の目が疲れにくくなる。
米国特許第9986215号明細書
 上記特許文献1の装置では、1フレーム分の画像生成において、第1の部分と第2の部分とにおいて画像の解像度が切り替えられる。しかしながら、使用者の視線は動的に変化し得るため、視線に応じて各解像度の映像信号を生成すると、映像信号の生成が間に合わず、表示に遅れが生じてしまう。このような表示遅れが生じると、画像が乱れ、使用者への違和感が生じてしまう。
 かかる課題に鑑み、本発明は、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて画像の解像度を円滑に切り替えることが可能な画像生成装置を提供することを目的とする。
 本発明の第1の態様に係る画像生成装置は、映像信号により変調された光を出射する光源と、複数の走査線に沿って前記光源から出射された光を走査させる走査部と、第1の走査線数でフレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第1フレームバッファと、前記第1の走査線数より少ない第2の走査線数で前記フレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第2フレームバッファと、使用者の視線を検出するための検出部と、制御部と、を備える。前記制御部は、前記視線に対応する前記フレーム画像上の視点位置を含む所定走査線数の第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御し、前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御する。
 本態様に係る画像生成装置によれば、第1および第2フレームバッファに記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームの画像が生成される。このため、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて、画像の解像度を円滑に切り替えることができる。
 本発明の第2の態様に係る画像生成装置は、映像信号により変調された光を出射する光源と、複数の走査線に沿って前記光源から出射された光を走査させる走査部と、第1の階調数で表現された前記映像信号を前記走査線ごとに記憶する第1フレームバッファと、前記第1の階調数より少ない第2の階調数で表現された前記映像信号を前記走査線ごとに記憶する第2フレームバッファと、使用者の視線を検出するための検出部と、制御部と、を備える。前記制御部は、前記視線に対応する前記フレーム画像上の視点位置を含む第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して前記光源から前記光を出射させ、前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して、前記光源から前記光を出射させる。
 本態様に係る画像生成装置によれば、第1および第2フレームバッファに記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームの画像が生成される。このため、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて、画像の解像度を円滑に切り替えることができる。
 以上のとおり、本発明によれば、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて画像の解像度を円滑に切り替えることが可能な画像生成装置を提供できる。
 本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
図1は、実施形態1に係る、画像生成装置の構成を模式的に示す斜視図である。 図2は、実施形態1に係る、投射部の構成を模式的に示す図である。 図3は、実施形態1に係る、投射部および検出部の構成を示すブロック図である。 図4は、実施形態1に係る、間引き処理を説明するための模式図である。 図5は、実施形態1に係る、間引き処理を説明するための模式図である。 図6(a)は、比較例に係る、フレーム画像の生成を模式的に示す図である。図6(b)は、実施形態1に係る、フレーム画像の生成を模式的に示す図である。 図7は、実施形態1に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図8は、実施形態1の変更例1に係る、視点位置に基づいて第1画像領域が5つの領域のいずれかに設定されることを模式的に示す図である。 図9は、実施形態1の変更例1に係る、5つの領域がそれぞれ第1画像領域に設定された場合の第2ミラーの走査速度を示す図である。 図10は、実施形態1の変更例2に係る、補間処理を説明するための模式図である。 図11は、実施形態1の変更例2に係る、補間処理を説明するための模式図である。 図12は、実施形態2に係る、投射部および検出部の構成を示すブロック図である。 図13(a)は、実施形態2に係る、フレーム画像の生成を模式的に示す図である。図13(b)は、実施形態2に係る、フレーム画像の例示図である。 図14は、実施形態2に係る、画像生成装置が行うフレーム画像の生成処理を示すフローチャートである。 図15は、実施形態3に係る、投射部および検出部の構成を示すブロック図である。 図16は、実施形態3に係る、フレーム画像の生成を模式的に示す図である。
 ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
 以下、本発明の実施形態について図面を参照して説明する。以下の実施形態には、ARグラスの画像生成装置に本発明を適用した例が示されている。ただし、以下の実施形態は、本発明の一実施形態あって、本発明は、以下の実施形態に何ら制限されるものではない。たとえば、本発明は、ARグラスの画像生成装置に限らず、ARゴーグル、VRグラス、VRゴーグル、車載のヘッドアップディスプレイなどの画像生成装置にも適用可能である。
 <実施形態1>
 図1は、ARグラス1の構成を模式的に示す斜視図である。
 図1には、ARグラス1の前後左右上下方向とともに、互いに直交するX、Y、Z軸が付記されている。X軸正方向、Y軸正方向およびZ軸正方向は、それぞれ、ARグラス1の右方向、後ろ方向および上方向に対応する。
 ARグラス1は、フレーム2と、一対の画像生成装置3と、を備える。一対の画像生成装置3は、ARグラス1の中心を通るY-Z平面に対して、互いに線対称である。画像生成装置3は、投射部11と、ハーフミラー12と、検出部13と、を備える。ARグラス1は、一般的な眼鏡と同様、使用者の頭部に装着される。
 フレーム2は、前面部2aおよび一対の支持部2bにより構成される。一対の支持部2bは、前面部2aの右端および左端から後方に延びている。フレーム2が使用者に装着されると、前面部2aが使用者の一対の目Eの前方に位置付けられる。前面部2aは、透明な材料(たとえば、樹脂等)により構成される。
 投射部11は、支持部2bの内側面に設置される。投射部11は、対応するハーフミラー12に対して、映像信号により変調された光を投射する。
 ハーフミラー12は、前面部2aの内側面に設置される。ハーフミラー12は、対応する投射部11から投射された光を使用者の目Eに反射するとともに、前後方向に進む光を透過する。ハーフミラー12により反射された投射部11からの光は、目E内の網膜の中心に位置する中心窩に照射される。これにより、使用者は、画像生成装置3により生成されたフレーム画像20(図2参照)を視覚的に把握できる。また、使用者は、ハーフミラー12を介してARグラス1の前方を見ることができるため、ARグラス1の前方の状態と、画像生成装置3により生成されたフレーム画像20とを重ねて視覚的に把握できる。
 一対の検出部13は、前面部2aの内側面に設置され、一対のハーフミラー12の間に位置付けられている。検出部13は、使用者の視線を検出するために用いられる。使用者の視線検出については、追って図3を参照して説明する。
 図2は、投射部11の構成を模式的に示す図である。
 投射部11は、光源101、102、103と、コリメータレンズ111、112、113と、アパーチャ121、122、123と、ミラー131と、ダイクロイックミラー132、133と、第1走査部140と、リレー光学系150と、第2走査部160と、を備える。
 光源101、102、103は、たとえば、半導体レーザ光源である。光源101は、635nm以上645nm以下の範囲に含まれる赤色波長のレーザ光を出射し、光源102は、510nm以上530nm以下の範囲に含まれる緑色波長のレーザ光を出射し、光源103は、440nm以上460nm以下の範囲に含まれる青色波長のレーザ光を出射する。
 実施形態1では、後述するフレーム画像20としてカラー画像が生成されるため、投射部11は、赤色、緑色および青色のレーザ光を出射可能な光源101、102、103を備える。フレーム画像20として単色の画像を表示する場合、投射部11は、画像の色に対応する1つの光源のみを備えていてもよい。また、投射部11は、出射波長の異なる2つの光源を備える構成でもよい。
 光源101、102、103から出射された光は、それぞれ、コリメータレンズ111、112、113によって平行光に変換される。コリメータレンズ111、112、113を透過した光は、それぞれ、アパーチャ121、122、123によって、ほぼ円形のビームに整形される。
 ミラー131は、アパーチャ121を通過した赤色光を略全反射する。ダイクロイックミラー132は、アパーチャ122を通過した緑色光を反射し、ミラー131で反射された赤色光を透過する。ダイクロイックミラー133は、アパーチャ123を通過した青色光を反射し、ダイクロイックミラー132を経由した赤色光および緑色光を透過する。ミラー131と2つのダイクロイックミラー132、133は、光源101、102、103から出射された各色の光の光軸を整合させるように配置されている。
 第1走査部140は、ダイクロイックミラー133を経由した光を反射する。第1走査部140は、たとえば、MEMS(Micro Electro Mechanical System)ミラーである。第1走査部140は、ダイクロイックミラー133を経由した光が入射する第1ミラー141を、駆動信号に応じて、Z軸方向に平行な軸141aの周りに回転させる構成を備える。第1ミラー141が回転することにより、光の反射方向が変化する。これにより、第1ミラー141によって反射された光は、後述のように、目Eの網膜においてX軸方向に延びる走査線に沿って走査される。
 リレー光学系150は、第1走査部140によって反射された光を、第2走査部160の第2ミラー161の中心へと向かわせる。すなわち、第1走査部140に入射する光は、第1ミラー141によって所定の振り角で振られる。リレー光学系150は、各振り角の光を、第2ミラー161の中心へと向かわせる。また、リレー光学系150は、複数のミラーを有し、第1走査部140によって反射された光を複数のミラーによって反射させて、第2走査部160に向かわせる。これにより、リレー光学系150の内部に長い光路長を実現でき、第2ミラー161から見たときの光の振り角を抑制できる。
 第2走査部160は、リレー光学系150を経由した光を反射する。第2走査部160は、たとえば、MEMSミラーである。第2走査部160は、リレー光学系150を経由した光が入射する第2ミラー161を、駆動信号に応じて、X-Y平面に平行な軸161aの周りに回転させる構成を備える。第2ミラー161が回転することにより、光の反射方向が変化する。これにより、目Eの網膜において、第1走査部140によって光が走査される走査線が、後述のようにZ軸方向に変更される。
 第2走査部160によって反射された光、すなわち、投射部11から出射された光は、ハーフミラー12によって反射され、目Eの網膜においてフレーム画像20を形成する。
 図3は、投射部11および検出部13の構成を示すブロック図である。
 検出部13は、光源13aおよび撮像素子13bを備え、投射部11の制御部201に接続されている。光源13aは、たとえば、赤外波長の光を出射するLEDである。撮像素子13bは、たとえば、CMOSイメージセンサまたはCCDイメージセンサである。光源13aは、制御部201の指示に応じて使用者の目Eに光を照射する。撮像素子13bは、制御部201の指示に応じて使用者の目Eを撮像し、撮像した撮像画像を制御部201に出力する。
 投射部11は、制御部201と、第1ミラー駆動回路211と、第2ミラー駆動回路212と、第1ミラーモニタ用センサ213と、第2ミラーモニタ用センサ214と、信号生成部221と、第1フレームバッファ231と、第2フレームバッファ232と、ラインメモリ241と、レーザ駆動回路242と、を備える。
 制御部201は、CPUやFPGAなどの演算処理ユニットやメモリを備える。制御部201は、外部装置からの映像信号を処理して、投射部11の各部を制御する。また、制御部201は、検出部13からの撮像画像に基づいて、たとえば、暗瞳孔法、明瞳孔法、角膜反射法などにより、使用者の視線を検出する。制御部201は、検出した使用者の視線に基づいて、使用者の網膜に形成されるフレーム画像20における視点位置を取得する。
 第1ミラー駆動回路211は、制御部201からの駆動信号に応じて、第1走査部140の第1ミラー141を駆動させる。第2ミラー駆動回路212は、制御部201からの駆動信号に応じて、第2走査部160の第2ミラー161を駆動させる。
 第1ミラーモニタ用センサ213は、第1ミラー141に設置されており、第1ミラー141の回転に応じた検出信号を制御部201に出力する。第2ミラーモニタ用センサ214は、第2ミラー161に設置されており、第2ミラー161の回転に応じた検出信号を制御部201に出力する。制御部201は、第1ミラーモニタ用センサ213および第2ミラーモニタ用センサ214からの検出信号に基づいて、第1ミラー141および第2ミラー161が所望の駆動波形で回転するよう、第1ミラー駆動回路211および第2ミラー駆動回路212に駆動信号を出力する。
 信号生成部221は、映像信号を処理する。具体的には、制御部201は、外部装置から入力された1フレーム分の映像信号を信号生成部221に出力する。信号生成部221は、制御部201から出力された1フレーム分の映像信号を第1フレームバッファに出力する。また、信号生成部221は、制御部201から出力された1フレーム分の映像信号に対して、図4、5を参照して後述する間引き処理を行い、間引き処理後の1フレーム分の映像信号を第2フレームバッファ232に出力する。
 第1フレームバッファ231および第2フレームバッファ232は、信号生成部221からの1フレーム分の映像信号を記憶するメモリである。第1フレームバッファ231および第2フレームバッファ232は、制御部201からの駆動信号に応じて、記憶した1フレーム分の映像信号のうちの1ライン分の映像信号を、順次ラインメモリ241に出力する。ラインメモリ241には、第1フレームバッファ231からの1ライン分の映像信号と、第2フレームバッファ232からの1ライン分の映像信号のいずれか一方が入力される。
 ラインメモリ241は、第1フレームバッファ231または第2フレームバッファ232から出力された1ライン分の映像信号を、レーザ駆動回路242に出力する。レーザ駆動回路242は、ラインメモリ241から出力された1ライン分の映像信号により変調された光を出射するよう、光源101、102、103を駆動する。
 図4は、間引き処理を説明するための模式図である。
 第1フレームバッファ231は、1フレーム分の複数の映像信号を記憶する。図4には、1ライン分の映像信号が、実線および破線で示されている。第1フレームバッファ231では、上から奇数番目の映像信号が実線で示され、上から偶数番目の映像信号が破線で示されている。便宜上、図4の第1フレームバッファには17ライン分の映像信号が示されているが、実際のライン数は、これより数段多い。
 信号生成部221は、第1フレームバッファ231に記憶された1フレーム分の複数の映像信号(外部装置からの映像信号のうち1フレーム分の複数の映像信号)に対して間引き処理を行う。第2フレームバッファ232は、間引き処理後の1フレーム分の複数の映像信号を記憶する。第1フレームバッファ231に記憶される複数の映像信号の走査線数を第1の走査線数とすると、第2フレームバッファ232に記憶される複数の映像信号の走査線数は、第1の走査線数よりも少ない第2の走査線数となる。図4の場合、第2フレームバッファ232の走査線数は、第1フレームバッファ231の走査線数の約半分である。
 なお、図4の例では、間引き処理によって、第1フレームバッファ231に記憶された1フレーム分の複数の映像信号が1つおきに間引かれた。すなわち、隣り合う2つの映像信号の一方が間引かれた。しかしながら、間引き処理はこれに限らない。たとえば、図5に示すように、隣り合う3つの映像信号のうち2つの映像信号が間引かれてもよい。
 次に、比較例に係るフレーム画像の生成方法と、実施形態1に係るフレーム画像の生成方法とを順に説明する。
 図6(a)は、比較例に係る、フレーム画像20の生成を模式的に示す図である。
 第1走査部140によって光が走査線に沿ってX軸方向に走査され、第2走査部160によって走査線がZ軸方向に変更されることにより、フレーム画像20が、使用者の目Eの網膜に生成される。走査線が変更される際には、図6(a)の点線に示すように、光源101、102、103が消灯された状態で、第1走査部140および第2走査部160による走査位置が移動される。走査線の変更においては、最下段の走査線を除き、各段の走査線の走査が終了すると、次の段の走査線の先頭に走査位置が移動される。最下段の走査線の走査が終了した場合、最上段の走査線の先頭に走査位置が移動される。比較例では、第1フレームバッファ231の映像信号のみに基づいて、フレーム画像20が生成される。
 ところで、図6(a)に示すようにフレーム画像20全体が高解像度であると、使用者の目が疲れやすくなってしまう。そこで、実施形態1では、図6(b)に示すように、使用者の視点位置P10を含む所定範囲の外側領域では、フレーム画像20の解像度(走査線数)が低く設定される。これにより、使用者の目が疲れにくくなる。
 ただし、フレーム画像20内で解像度(走査線数)を変化させようとすると、随時、変化後の解像度(走査線数)に応じた映像信号を用いて走査を行う必要がある。しかしながら、使用者の視点位置P10は動的に変化し得るため、視点位置P10の変化に応じて各解像度(走査線数)の映像信号を随時生成しようとすると、映像信号の生成が間合わず表示に遅れが生じ得る。このような表示遅れが生じると、フレーム画像20が乱れ、使用者への違和感が生じてしまう。
 そこで、実施形態1では、上述したようにあらかじめ、第1フレームバッファ231に走査線数の多い(高解像度の)映像信号が記憶され、第2フレームバッファ232に走査線数の少ない(低解像度の)映像信号が記憶される。そして、制御部201は、視点位置P10に応じて、第1フレームバッファ231からの映像信号と、第2フレームバッファ232からの映像信号とを切り替えて、フレーム画像20を生成する。これにより、上述の表示遅れを抑制でき、使用者の視点位置P10に追従した画像生成を実現できる。
 図6(b)は、実施形態1に係る、フレーム画像20の生成を模式的に示す図である。
 実施形態1では、制御部201は、検出部13により取得された撮像画像に基づいて使用者の視線を検出し、検出した視線に基づいてフレーム画像20上の視点位置P10を取得する。制御部201は、フレーム画像20上の視点位置P10を含む所定走査線数の第1画像領域R1には、第1フレームバッファ231からの高解像度の映像信号を適用して画像が生成されるよう、第1走査部140および第2走査部160を制御する。また、制御部201は、フレーム画像20の第1画像領域R1以外の第2画像領域R2には、第2フレームバッファ232からの低解像度の映像信号を適用して画像が生成されるよう、第1走査部140および第2走査部160を制御する。
 図6(b)では、便宜上、第1画像領域R1に5本程度の走査線が示され、第2画像領域R2には合計で8本程度の走査線が示されているが、実際の走査線数は、これより数段多い。
 なお、第1画像領域R1に含まれる走査線数は、適宜変更されてもよい。また、図6(b)では、第1画像領域R1が、視点位置P10を中心として上下に同じ走査線数の範囲を有したが、上側の範囲に対応する走査線数と下側の範囲に対応する走査線数とが、互いに異なってもよい。
 図7は、画像生成装置3が行うフレーム画像20の生成処理を示すフローチャートである。
 ステップS11~S19の処理は、1フレームに対応するフレーム画像20の生成に関する処理である。
 制御部201は、外部装置から入力された映像信号を、信号生成部221に出力する。これに応じて、信号生成部221は、入力された映像信号を高解像度の映像信号として第1フレームバッファ231に記憶させ、入力された映像信号に対して図4、5を示した間引き処理を行って、間引き処理後の映像信号を、低解像度の映像信号として第2フレームバッファ232に記憶させる(S11)。
 ステップS12~S18の処理は、1ライン分の画像の生成に関する処理である。制御部201は、ステップS12~S18の処理と並行して、第1ミラー141が各ラインの処理において同様の周期で反復回動するよう、第1ミラー駆動回路211を制御し、ラインメモリ241に入力された1ライン分の映像信号に基づいて、レーザ駆動回路242を駆動させる。
 制御部201は、検出部13により取得された撮像画像に基づいて、使用者の視点位置P10を検出する(S12)。制御部201は、ステップS12で検出した視点位置P10に基づいて、第1画像領域R1および第2画像領域R2を設定する(S13)。
 制御部201は、現在の走査ラインが第1画像領域R1内であるか否かを判定する(S14)。
 現在の走査ラインが第1画像領域R1内であると(S14:YES)、制御部201は、第1フレームバッファ231から高解像度の映像信号をラインメモリ241に出力させる(S15)。これにより、第1フレームバッファ231からの映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S16)。これにより、図6(b)の第1画像領域R1に示したように、上下に隣り合う走査線の間隔が狭くなる。
 他方、現在の走査ラインが第2画像領域R2内であると(S14:NO)、制御部201は、第2フレームバッファ232から低解像度の映像信号をラインメモリ241に出力させる(S17)。これにより、第2フレームバッファ232からの映像信号により、1ライン分の画像が生成される。これに並行して、制御部201は、第1走査速度よりも速い第2走査速度で第2ミラー161が回動するよう、第2ミラー駆動回路212を制御する(S18)。これにより、図6(b)の第2画像領域R2に示したように、上下に隣り合う走査線の間隔が広くなる。
 制御部201は、1フレームの画像生成が終了したか否かを判定する(S19)。1フレームの画像生成が終了していない場合(S19:NO)、処理がステップS12に戻され、再度、ステップS12~S18の処理が行われる。こうして1フレームの画像生成が終了すると(S19:YES)、図7の処理が終了する。図7の処理が繰り返し行われることにより、フレーム画像20が連続的に生成される。
 <実施形態1の効果>
 実施形態1によれば、以下の効果が奏される。
 図4、5に示したように、第1フレームバッファ231には、第1の走査線数でフレーム画像20を構成するために各々の走査線に対応する映像信号が記憶され、第2フレームバッファ232には、第1の走査線数より少ない第2の走査線数でフレーム画像20を構成するために各々の走査線に対応する映像信号が記憶される。そして、図6(b)に示したように、視点位置P10を含む第1画像領域R1には、第1フレームバッファ231からの映像信号により高解像度の画像が生成され、第1画像領域R1以外の第2画像領域R2には、第2フレームバッファ232からの映像信号により低解像度の画像が生成される。
 この構成によれば、第1フレームバッファ231および第2フレームバッファ232に記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームのフレーム画像20が生成される。このため、使用者の視線に応じて、映像信号の切り替えを迅速に行うことができる。よって、使用者の視線付近の第1画像領域R1とその他の第2画像領域R2とにおいて、画像の解像度(走査線数)を円滑に切り替えることができる。
 また、視点位置P10を含む第1画像領域R1以外の第2画像領域R2の第2の走査線数は、第1画像領域R1の第1の走査線数より少ない。これにより、視点位置P10の外側領域の解像度(走査線数)が低くなるため、使用者の目が疲れにくくなる。さらに、第2画像領域R2の解像度(走査線数)が低くなるため、フレーム画像20全体を第1画像領域R1と同様の高解像度(多い走査線数)で生成する場合に比べて、処理にかかる負荷を小さくできる。
 図4、5に示したように、信号生成部221は、第1フレームバッファ231に記憶される複数の映像信号から、所定数の走査線ごとに映像信号を間引いて、第2フレームバッファ232に記憶される映像信号を生成する。
 この構成によれば、第2フレームバッファ232に記憶される映像信号を簡易に生成できる。
 画像生成装置3は、複数の走査線に沿って光源101、102、103から出射された光を走査させる走査部として、光を走査線に沿って走査させるための第1ミラー141を有する第1走査部140と、光が走査される走査線を変更するための第2ミラー161を有する第2走査部160と、を備える。
 この構成によれば、走査線に沿った走査と走査線の変更とが別々の走査部(第1走査部140および第2走査部160)で行われるため、一方のミラー駆動が他方のミラー駆動に影響しない。よって、各走査を安定的に行える。
 <実施形態1の変更例1>
 実施形態1では、第1画像領域R1が、使用者の視線に基づく視点位置P10を含む所定走査線数の範囲に設定されたが、これに限らず、第1画像領域R1が、視点位置P10に基づいて、あらかじめ用意された複数の領域のうちの1つに設定されてもよい。
 図8は、本変更例に係る、視点位置P10に基づいて第1画像領域R1が5つの領域R11~R15のいずれかに設定されることを模式的に示す図である。
 フレーム画像20において視点位置P10が、視点領域R01~R05に含まれる場合、制御部201は、それぞれ、領域R11~R15を第1画像領域に設定する。視点領域R01~R05は、フレーム画像20を上下方向(Z軸方向)に5つに分割したものである。領域R11~R15は、視点領域R01~R05に対応して設定された領域であり、いずれも所定数の走査線を含む。
 図9は、本変更例に係る、5つの領域R11~R15がそれぞれ第1画像領域に設定された場合の第2ミラー161の走査速度を示す図である。
 図9の上段に示すように領域R11~R15が第1画像領域に設定される場合、それぞれ、図9の下段のグラフに示すように、第2ミラー161の走査速度が設定される。図9の下段のグラフは、1ライン分の走査における第2ミラー161の走査速度を示している。図9の下段の5つのグラフでは、それぞれ、領域R11~R15において第2ミラー161の速度が遅くなっている。これにより、5つの領域R11~R15がそれぞれ第1画像領域に設定された場合、各領域R11~R15に対応する範囲において画像の解像度が高められる。
 <実施形態1の変更例1の効果>
 制御部201は、予めフレーム画像20を走査線に交差する方向(Z軸方向)に区分して構成された複数の領域R11~R15のうち、視点位置P10を含む領域を第1画像領域に設定する。
 この構成によれば、予め複数の領域R11~R15が用意されるため、視点位置P10を含む第1画像領域を円滑に設定できる。
 <実施形態1の変更例2>
 実施形態1では、図4、5に示したように、第1フレームバッファ231に記憶される複数の映像信号から、所定数の走査線ごとに映像信号が間引かれ、第2フレームバッファ232に記憶される映像信号が生成された。しかしながら、これに限らず、第2フレームバッファ232に記憶される複数の映像信号が、隣り合う走査線間で補間され、第1フレームバッファ231に記憶される映像信号が生成されてもよい。
 図10は、本変更例に係る、補間処理を説明するための模式図である。
 第2フレームバッファ232は、1フレーム分の複数の映像信号を記憶する。信号生成部221は、第2フレームバッファ232に記憶された1フレーム分の複数の映像信号(外部装置からの映像信号のうち1フレーム分の複数の映像信号)に対して補間処理を行う。第1フレームバッファ231は、補間処理後の1フレーム分の複数の映像信号を記憶する。すなわち、第2フレームバッファ232に記憶される複数の映像信号の走査線数を第2の走査線数とすると、第1フレームバッファ231に記憶される複数の映像信号の走査線数は、第2の走査線数よりも多い第1の走査線数となる。
 なお、図10の例では、補間処理によって、第2フレームバッファ232に記憶された1フレーム分の複数の映像信号のうち、隣り合う2つの映像信号の間に、これら2つの映像信号を補間する1つの映像信号が新たに生成された。しかしながら、補間処理はこれに限らない。たとえば、図11に示すように、隣り合う2つの映像信号の間に、これら2つの映像信号を補間する2つの映像信号が生成されてもよい。
 <実施形態1の変更例2の効果>
 図10、11に示したように、信号生成部221は、第2フレームバッファ232に記憶される複数の映像信号を、隣り合う走査線間で補間して、第1フレームバッファ231に記憶される映像信号を生成する。
 この構成によれば、第1フレームバッファ231に記憶される映像信号を適正に生成できる。
 <実施形態2>
 実施形態2では、視点位置P10を含む第1画像領域R31では、256階調の映像信号に基づいて画像が生成され、第1画像領域R31以外の第2画像領域R32では、2階調の映像信号に基づいて画像が生成される。
 図12は、実施形態2に係る、投射部11および検出部13の構成を示すブロック図である。
 実施形態2では、図3の実施形態1と比較して、信号生成部221に代えて階調調整部222が追加されている。実施形態2の他の構成は、実施形態1と同様である。
 階調調整部222は、映像信号を処理する。具体的には、制御部201は、外部装置から入力され、濃淡が256階調で表現された1フレーム分の映像信号を階調調整部222に出力する。階調調整部222は、制御部201から出力された1フレーム分の映像信号を第1フレームバッファ231に出力する。また、階調調整部222は、制御部201から出力された1フレーム分の映像信号に対して、階調数を減じる処理を行い、処理後の1フレーム分の映像信号を第2フレームバッファ232に出力する。階調数を減じる処理により、たとえば、256階調の映像信号が、2階調の映像信号に変換される。
 図13(a)は、実施形態2に係る、フレーム画像20の生成を模式的に示す図である。
 制御部201は、視点位置P10を含む所定の大きさの第1画像領域R31を設定する。第1画像領域R31は、たとえば、視点位置P10を中心として、X軸方向に±30°、Z軸方向に±10°の使用者の視野範囲に対応する。制御部201は、視点位置P10を含む第1画像領域R31には、第1フレームバッファ231からの映像信号を適用して光源101、102、103から光を出射させる。一方、制御部201は、第1画像領域R31以外の第2画像領域R32には、第2フレームバッファ232からの映像信号を適用して、光源101、102、103から光を出射させる。これにより、図13(b)に示すように、視点位置P10付近の第1画像領域R31では高階調な画像が表示され、第1画像領域R31以外の第2画像領域R2では低階調な画像が表示される。
 なお、図13(a)、(b)では、第1画像領域R1は、視点位置P10を中心として、X軸方向に±30°、Z軸方向に±10°の視野範囲に対応するように設定されたが、視点位置P10に対して設定される角度範囲はこれに限らない。第1画像領域R1のZ軸方向の範囲は、視点位置P10を含む所定走査線数の範囲でもよい。
 図14は、実施形態2に係る、画像生成装置3が行うフレーム画像20の生成処理を示すフローチャートである。
 ステップS21~S28の処理は、1フレームに対応するフレーム画像20の生成に関する処理である。
 制御部201は、外部装置から入力された256階調の映像信号を、階調調整部222に出力する。これに応じて、階調調整部222は、入力された映像信号を高階調の映像信号として第1フレームバッファ231に記憶させ、入力された映像信号に対して低階調化の処理を行って、低階調化の処理後の映像信号を、低階調の映像信号として第2フレームバッファ232に記憶させる(S21)。
 ステップS22~S27の処理は、1ライン分の画像の生成に関する処理である。制御部201は、ステップS22~S27の処理と並行して、第1ミラー駆動回路211および第2ミラー駆動回路212を制御し、ラインメモリ241に入力された1ライン分の映像信号に基づいて、レーザ駆動回路242を駆動させる。
 制御部201は、検出部13により取得された撮像画像に基づいて、使用者の視点位置P10を検出する(S22)。制御部201は、ステップS22で検出した視点位置P10に基づいて、第1画像領域R31および第2画像領域R32を設定する(S23)。
 制御部201は、現在の走査ラインが第2画像領域R32のみに含まれるか否かを判定する(S24)。
 現在の走査ラインが第2画像領域R32のみに含まれる場合(S24:YES)、制御部201は、第2フレームバッファ232から低階調の映像信号をラインメモリ241に出力させる(S25)。これにより、第2フレームバッファ232からの映像信号により、1ライン分の画像が生成される。
 他方、現在の走査ラインが第1画像領域R31と第2画像領域R32の両方に含まれる場合(S24:NO)、制御部201は、第1画像領域R31の位置に応じて、第1フレームバッファ231の高階調の映像信号および第2フレームバッファ232の低階調の映像信号から、1ライン分の映像信号を生成する(S26)。制御部201は、ステップS26で生成した映像信号をラインメモリ241に出力させる(S27)。これにより、第1フレームバッファ231の映像信号および第2フレームバッファ232の映像信号から生成された映像信号により、1ライン分の画像が生成される。
 制御部201は、1フレームの画像生成が終了したか否かを判定する(S28)。1フレームの画像生成が終了していない場合(S28:NO)、処理がステップS22に戻され、再度、ステップS22~S27の処理が行われる。こうして1フレームの画像生成が終了すると(S28:YES)、図14の処理が終了する。図14の処理が繰り返し行われることにより、フレーム画像20が連続的に生成される。
 <実施形態2の効果>
 第1フレームバッファ231には、第1の階調数で表現された映像信号が走査線ごとに記憶され、第2フレームバッファ232には、第1の階調数より少ない第2の階調数で表現された映像信号が走査線ごとに記憶される。そして、図13(a)に示したように、視点位置P10を含む第1画像領域R31には、第1フレームバッファ231からの高階調の映像信号を適用して光源101、102、103から光が出射され、第1画像領域R31以外の第2画像領域R32には、第2フレームバッファ232からの低階調の映像信号を適用して光源101、102、103から光が出射される。
 この構成によれば、第1フレームバッファ231および第2フレームバッファ232に記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームのフレーム画像20が生成される。このため、使用者の視線に応じて、映像信号の切り替えを迅速に行うことができる。よって、使用者の視線付近の第1画像領域R1とその他の第2画像領域R2とにおいて、画像の解像度(階調)を円滑に切り替えることができる。
 また、視点位置P10を含む第1画像領域R31以外の第2画像領域R32の第2の階調数は、第1画像領域R31の第1の階調数より少ない。これにより、視点位置P10の外側領域の解像度(階調数)が低くなるため、使用者の目が疲れにくくなる。さらに、第2画像領域R32の解像度(階調数)が低くなるため、フレーム画像20全体を第1画像領域R31と同様の高解像度(高階調数)で生成する場合に比べて、処理にかかる負荷を小さくできる。
 <実施形態3>
 実施形態3では、第1フレームバッファ231に記憶される映像信号の第1の走査線数および第1の階調数が、それぞれ、第2フレームバッファ232に記憶される映像信号の第2の走査線数および第2の階調数より大きく設定される。
 図15は、実施形態3に係る、投射部11および検出部13の構成を示すブロック図である。
 実施形態3では、図3の実施形態1と比較して、階調調整部222が追加されている。実施形態3の階調調整部222は、実施形態2と同様である。実施形態3の他の構成は、実施形態1と同様である。
 階調調整部222は、映像信号に対して階調を変更する処理を施して、処理後の映像信号を信号生成部221に出力する。具体的には、制御部201は、外部装置から入力され、濃淡が256階調で表現された1フレーム分の映像信号を階調調整部222に出力する。階調調整部222は、制御部201から出力された1フレーム分の映像信号を信号生成部221に出力する。また、階調調整部222は、制御部201から出力された1フレーム分の映像信号に対して、階調数を減じる処理を行い、処理後の1フレーム分の映像信号を信号生成部221に出力する。階調数を減じる処理により、たとえば、256階調の映像信号が、2階調の映像信号に変換される。
 信号生成部221は、階調調整部222から出力された256階調の映像信号を、第1フレームバッファ231に出力する。また、信号生成部221は、階調調整部222から出力された2階調の映像信号に対して、実施形態1と同様の間引き処理を行って、間引き処理後の映像信号を第2フレームバッファ232に出力する。
 図16は、実施形態3に係る、フレーム画像20の生成を模式的に示す図である。
 実施形態3では、制御部201は、実施形態1と同様にして、視点位置P10を含む所定走査線数の第1画像領域R41には、第1フレームバッファ231からの高解像度かつ高階調の映像信号を適用して画像が生成されるよう、第1走査部140および第2走査部160を制御する。また、制御部201は、第1画像領域R41以外の第2画像領域R42には、第2フレームバッファ232からの低解像度かつ低階調の映像信号を適用して画像が生成されるよう、第1走査部140および第2走査部160を制御する。
 なお、第1画像領域R41に含まれる走査線数は、適宜変更されてもよい。また、図16では、第1画像領域R41が、視点位置P10を中心として上下に同じ走査線数の範囲を有したが、上側の範囲に対応する走査線数と下側の範囲に対応する走査線数とが、互いに異なってもよい。
 <実施形態3の効果>
 階調調整部222は、実施形態1の構成と比較して、異なる階調数で表現された映像信号を第1フレームバッファ231および第2フレームバッファ232にそれぞれ供給する。階調調整部222は、第2フレームバッファ232に記憶される映像信号の階調数が、第1フレームバッファ231に記憶される映像信号の階調数よりも少なく設定する。
 この構成によれば、視点から離れた第2画像領域R42には、低い階調表現の映像信号に基づく粗い画像が生成される。これにより、実施形態1と比較して、使用者の目をさらに疲れにくくできる。
 <その他の変更例>
 画像生成装置3の構成は、上記実施形態および変更例に示した構成以外に、種々の変更が可能である。
 上記実施形態および変更例において、第1フレームバッファ231および第2フレームバッファ232の2つのフレームバッファが用いられたが、互いに解像度または階調数が異なる3つ以上のフレームバッファを用いて、ラインメモリ241に映像信号を出力してもよい。この場合、3つ以上のフレームバッファのうち2つが、第1フレームバッファ231および第2フレームバッファ232として選択されて、画像表示に処理が行われる。
 すなわち、図3に示した実施形態1に係る信号生成部221は、図4の間引き処理における間引きのピッチを、フレームバッファごとに相違させる。たとえば、高解像度、中解像度および低解像度の3つのフレームバッファを用いる場合、信号処理部221は、高解像度のフレームバッファには、1フレーム分の高解像度の映像信号を記憶させ、中解像度のフレームバッファには、1フレーム分の高解像度の映像信号のうち、上から偶数番目の映像信号を記憶させ、低解像度のフレームバッファには、1フレーム分の高解像度の映像信号のうち、上から3つごとの映像信号を記憶させる。
 これら3つのフレームバッファのうち2つが、上記実施形態1における第1フレームバッファ231および第2フレームバッファ232として用いられて、図7の処理が行われる。この場合、ステップS16、S18では、第1フレームバッファ231および第2フレームバッファ232として選択されたフレームバッファの解像度に応じた走査速度で、第2ミラー161が制御される。3つのフレームバッファのうち何れを表示画像の生成に用いるかは、使用者により選択される。
 また、図12に示した実施形態2に係る信号生成部222は、それぞれのフレームバッファに記憶させる映像信号の階調を相違させる。たとえば、高階調、中階調および低階調の3つのフレームバッファを用いる場合、信号処理部221は、高階調のフレームバッファには、256階調の映像信号を記憶させ、中階調のフレームバッファには、32階調の映像信号を記憶させ、低階調のフレームバッファには、2階調の映像信号を記憶させる。
 これら3つのフレームバッファのうち2つが、上記実施形態1における第1フレームバッファ231および第2フレームバッファ232として用いられて、図7の処理が行われる。この場合、図14の処理はそのまま用いられる。3つのフレームバッファのうち何れを表示画像の生成に用いるかは、使用者により選択される。
 上記実施形態および変更例において、第1ミラー141および第2ミラー161は、別々に設けられたが、第1ミラー141および第2ミラー161に代えて、2つの軸について回動する1つのミラーが設けられてもよい。
 上記実施形態3において、信号生成部221および階調調整部222の配置は逆でもよく、信号生成部221および階調調整部222が、一体構成されてもよい。
 上記実施形態および変更例では、視点位置P10の検出と、第1画像領域および第2画像領域の設定とが、1ラインの画像生成ごとに行われたが、1フレームの画像(フレーム画像20)の生成ごとに行われてもよい。
 上記実施形態2、3においても、上記実施形態1の変更例1と同様、予めフレーム画像20を走査線に交差する方向(Z軸方向)に区分して構成された複数の領域が用意され、これら複数の領域のうち、視点位置P10を含む領域が第1画像領域R31、R41に設定されてもよい。
 上記実施形態2、3では、階調調整部222は、入力された映像信号の階調数を2階調に減じる処理を行ったが、これに限らず、階調調整部222の処理によって、映像信号が2階調以外の階調(たとえば、16階調)に変更されてもよい。
 本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
 (付記)
 以上の実施形態の記載により、下記の技術が開示される。
 (技術1)
 映像信号により変調された光を出射する光源と、
 複数の走査線に沿って前記光源から出射された光を走査させる走査部と、
 第1の走査線数でフレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第1フレームバッファと、
 前記第1の走査線数より少ない第2の走査線数で前記フレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第2フレームバッファと、
 使用者の視線を検出するための検出部と、
 制御部と、を備え、
 前記制御部は、
  前記視線に対応する前記フレーム画像上の視点位置を含む所定走査線数の第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御し、
  前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御する、
ことを特徴とする画像生成装置。
 この技術によれば、第1および第2フレームバッファに記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームの画像が生成される。このため、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて、画像の解像度を円滑に切り替えることができる。
 (技術2)
 技術1に記載の画像生成装置において、
 前記制御部は、予め前記フレーム画像を前記走査線に交差する方向に区分して構成された複数の領域のうち、前記視点位置を含む領域を前記第1画像領域に設定する、
ことを特徴とする画像生成装置。
 この技術によれば、予め複数の領域が用意されるため、視点位置を含む第1画像領域を円滑に設定できる。
 (技術3)
 技術1または2に記載の画像生成装置において、
 前記第1フレームバッファに記憶される複数の前記映像信号から、所定数の走査線ごとに前記映像信号を間引いて、前記第2フレームバッファに記憶される映像信号を生成する信号生成部を備える、
ことを特徴とする画像生成装置。
 この技術によれば、第2フレームバッファに記憶される映像信号を簡易に生成できる。
 (技術4)
 技術1または2に記載の画像生成装置において、
 前記第2フレームバッファに記憶される複数の前記映像信号を、隣り合う前記走査線間で補間して、前記第1フレームバッファに記憶される前記映像信号を生成する信号生成部を備える、
ことを特徴とする画像生成装置。
 この技術によれば、第1フレームバッファに記憶される映像信号を適正に生成できる。
 (技術5)
 技術1ないし4の何れか一項に記載の画像生成装置において、
 異なる階調数で表現された前記映像信号を前記第1フレームバッファおよび前記第2フレームバッファにそれぞれ供給する階調調整部を備え、
 前記階調調整部は、前記第2フレームバッファに記憶される前記映像信号の前記階調数が、前記第1フレームバッファに記憶される前記映像信号の前記階調数よりも少なく設定する、
ことを特徴とする画像生成装置。
 この技術によれば、視点から離れた第2画像領域には、低い階調表現の映像信号に基づく粗い画像が生成される。これにより、使用者の目を疲れにくくできる。
 (技術6)
 技術1ないし5の何れか一項に記載の画像生成装置において、
 前記走査部は、前記光を前記走査線に沿って走査させるための第1ミラーを有する第1走査部と、前記光が走査される前記走査線を変更するための第2ミラーを有する第2走査部と、を備える、
ことを特徴とする画像生成装置。
 この技術によれば、走査線に沿った走査と走査線の変更とが別々の走査部で行われるため、一方のミラー駆動が他方のミラー駆動に影響しない。よって、各走査を安定的に行える。
 (技術7)
 映像信号により変調された光を出射する光源と、
 複数の走査線に沿って前記光源から出射された光を走査させる走査部と、
 第1の階調数で表現された前記映像信号を前記走査線ごとに記憶する第1フレームバッファと、
 前記第1の階調数より少ない第2の階調数で表現された前記映像信号を前記走査線ごとに記憶する第2フレームバッファと、
 使用者の視線を検出するための検出部と、
 制御部と、を備え、
 前記制御部は、
  前記視線に対応する前記フレーム画像上の視点位置を含む第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して前記光源から前記光を出射させ、
  前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して、前記光源から前記光を出射させる、
ことを特徴とする画像生成装置。
 この技術によれば、第1および第2フレームバッファに記憶された映像信号が、使用者の視線に応じて選択的に用いられて、1フレームの画像が生成される。このため、使用者の視線付近の第1画像領域とその他の第2画像領域とにおいて、画像の階調を円滑に切り替えることができる。
 3 画像生成装置
 13 検出部
 20 フレーム画像
 101、102、103 光源
 140 第1走査部(走査部)
 141 第1ミラー
 160 第2走査部(走査部)
 161 第2ミラー
 201 制御部
 221 信号生成部
 222 階調調整部
 231 第1フレームバッファ
 232 第2フレームバッファ
 P10 視点位置
 R1、R31、R41 第1画像領域
 R11~R15 領域
 R2、R32、R42 第2画像領域

Claims (7)

  1.  映像信号により変調された光を出射する光源と、
     複数の走査線に沿って前記光源から出射された光を走査させる走査部と、
     第1の走査線数でフレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第1フレームバッファと、
     前記第1の走査線数より少ない第2の走査線数で前記フレーム画像を構成するために各々の前記走査線に対応する前記映像信号を記憶する第2フレームバッファと、
     使用者の視線を検出するための検出部と、
     制御部と、を備え、
     前記制御部は、
      前記視線に対応する前記フレーム画像上の視点位置を含む所定走査線数の第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御し、
      前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して画像が生成されるよう、前記走査部を制御する、
    ことを特徴とする画像生成装置。
     
  2.  請求項1に記載の画像生成装置において、
     前記制御部は、予め前記フレーム画像を前記走査線に交差する方向に区分して構成された複数の領域のうち、前記視点位置を含む領域を前記第1画像領域に設定する、
    ことを特徴とする画像生成装置。
     
  3.  請求項1に記載の画像生成装置において、
     前記第1フレームバッファに記憶される複数の前記映像信号から、所定数の走査線ごとに前記映像信号を間引いて、前記第2フレームバッファに記憶される映像信号を生成する信号生成部を備える、
    ことを特徴とする画像生成装置。
     
  4.  請求項1に記載の画像生成装置において、
     前記第2フレームバッファに記憶される複数の前記映像信号を、隣り合う前記走査線間で補間して、前記第1フレームバッファに記憶される前記映像信号を生成する信号生成部を備える、
    ことを特徴とする画像生成装置。
     
  5.  請求項1に記載の画像生成装置において、
     異なる階調数で表現された前記映像信号を前記第1フレームバッファおよび前記第2フレームバッファにそれぞれ供給する階調調整部を備え、
     前記階調調整部は、前記第2フレームバッファに記憶される前記映像信号の前記階調数が、前記第1フレームバッファに記憶される前記映像信号の前記階調数よりも少なく設定する、
    ことを特徴とする画像生成装置。
     
  6.  請求項1に記載の画像生成装置において、
     前記走査部は、前記光を前記走査線に沿って走査させるための第1ミラーを有する第1走査部と、前記光が走査される前記走査線を変更するための第2ミラーを有する第2走査部と、を備える、
    ことを特徴とする画像生成装置。
     
  7.  映像信号により変調された光を出射する光源と、
     複数の走査線に沿って前記光源から出射された光を走査させる走査部と、
     第1の階調数で表現された前記映像信号を前記走査線ごとに記憶する第1フレームバッファと、
     前記第1の階調数より少ない第2の階調数で表現された前記映像信号を前記走査線ごとに記憶する第2フレームバッファと、
     使用者の視線を検出するための検出部と、
     制御部と、を備え、
     前記制御部は、
      前記視線に対応する前記フレーム画像上の視点位置を含む第1画像領域には、前記第1フレームバッファからの前記映像信号を適用して前記光源から前記光を出射させ、
      前記フレーム画像の前記第1画像領域以外の第2画像領域には、前記第2フレームバッファからの前記映像信号を適用して、前記光源から前記光を出射させる、
    ことを特徴とする画像生成装置。
PCT/JP2023/031039 2022-10-21 2023-08-28 画像生成装置 WO2024084819A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-169206 2022-10-21
JP2022169206 2022-10-21

Publications (1)

Publication Number Publication Date
WO2024084819A1 true WO2024084819A1 (ja) 2024-04-25

Family

ID=90737647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031039 WO2024084819A1 (ja) 2022-10-21 2023-08-28 画像生成装置

Country Status (1)

Country Link
WO (1) WO2024084819A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62204294A (ja) * 1986-03-05 1987-09-08 富士通株式会社 ビデオ信号発生装置
JP2008035455A (ja) * 2006-08-01 2008-02-14 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラム
JP2013254368A (ja) * 2012-06-07 2013-12-19 Ntt Data Corp シミュレーション装置、シミュレーション方法およびプログラム
WO2017138458A1 (ja) * 2016-02-09 2017-08-17 株式会社ソニー・インタラクティブエンタテインメント 映像表示システム
US9986215B1 (en) * 2017-03-23 2018-05-29 Microsoft Technology Licensing, Llc Laser scan beam foveated display
WO2018122902A1 (ja) * 2016-12-26 2018-07-05 マクセル株式会社 映像表示装置及び映像表示方法
WO2018211673A1 (ja) * 2017-05-18 2018-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
JP2019512750A (ja) * 2016-04-01 2019-05-16 リニア アルジェブラ テクノロジーズ リミテッド 人間の視覚的なメカニズムに適合したヘッドマウント型ディスプレイのためのシステム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62204294A (ja) * 1986-03-05 1987-09-08 富士通株式会社 ビデオ信号発生装置
JP2008035455A (ja) * 2006-08-01 2008-02-14 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラム
JP2013254368A (ja) * 2012-06-07 2013-12-19 Ntt Data Corp シミュレーション装置、シミュレーション方法およびプログラム
WO2017138458A1 (ja) * 2016-02-09 2017-08-17 株式会社ソニー・インタラクティブエンタテインメント 映像表示システム
JP2019512750A (ja) * 2016-04-01 2019-05-16 リニア アルジェブラ テクノロジーズ リミテッド 人間の視覚的なメカニズムに適合したヘッドマウント型ディスプレイのためのシステム及び方法
WO2018122902A1 (ja) * 2016-12-26 2018-07-05 マクセル株式会社 映像表示装置及び映像表示方法
US9986215B1 (en) * 2017-03-23 2018-05-29 Microsoft Technology Licensing, Llc Laser scan beam foveated display
WO2018211673A1 (ja) * 2017-05-18 2018-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法

Similar Documents

Publication Publication Date Title
CN108474939B (zh) 图像投影系统
KR102458124B1 (ko) 디스플레이 시스템 및 방법
US6201517B1 (en) Stereoscopic image display apparatus
US10417975B2 (en) Wide field of view scanning display
US10499021B2 (en) Foveated MEMS scanning display
US6523955B1 (en) Method for improving optic perceptive faculty by modifying the retinal image
US8403490B2 (en) Beam scanning-type display device, method, program and integrated circuit
JP5316346B2 (ja) 網膜走査型画像表示装置
US7312765B2 (en) Display system and method for reducing the magnitude of or eliminating a visual artifact caused by a shift in a viewer's gaze
US8497888B2 (en) Image display device
JP2006350256A (ja) 走査型画像表示装置
IE20001060A1 (en) A display device
WO2017183446A1 (ja) 表示装置
WO2024084819A1 (ja) 画像生成装置
WO2014162414A1 (ja) 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP5163166B2 (ja) 画像表示装置
WO2024147249A1 (ja) 画像生成装置およびヘッドマウントディスプレイ
JP2006350257A (ja) 走査型表示装置
JPH11109278A (ja) 映像表示装置
JPH11109279A (ja) 映像表示装置
JP2019105723A (ja) 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
TWI838651B (zh) 用於虛擬實境及擴增實境裝置的虛擬影像顯示系統
EP4134727A1 (en) Display apparatuses and methods incorporating pattern conversion
TW202229975A (zh) 虛擬實境及擴增實境裝置的虛擬影像顯示系統
JP3248697B2 (ja) 網膜ディスプレー装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23879471

Country of ref document: EP

Kind code of ref document: A1