WO2016132618A1 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
WO2016132618A1
WO2016132618A1 PCT/JP2015/083098 JP2015083098W WO2016132618A1 WO 2016132618 A1 WO2016132618 A1 WO 2016132618A1 JP 2015083098 W JP2015083098 W JP 2015083098W WO 2016132618 A1 WO2016132618 A1 WO 2016132618A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
state
display device
display area
Prior art date
Application number
PCT/JP2015/083098
Other languages
English (en)
French (fr)
Inventor
歩 小林
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Priority to JP2017500287A priority Critical patent/JPWO2016132618A1/ja
Publication of WO2016132618A1 publication Critical patent/WO2016132618A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • the present invention relates to an information display device capable of changing the display state of an image based on a user's line-of-sight detection result.
  • Patent Document 1 counts the number of times that the user's line of sight coincides with the display position of the first information on the display device based on the image captured by the camera, and when that number reaches a predetermined number of times, An information display system for displaying second information associated with first information at the display position is disclosed.
  • the banner advertisement is always displayed in a form that attracts the user's attention. This may be undesirable because it makes it difficult to pay attention to information other than banner advertisements.
  • the present invention can display the information image in a recognizable state only when the user's line of sight is directed to the display area of the information image, and the user's attention is directed when the line of sight is not facing.
  • An object of the present invention is to provide a difficult information display device.
  • an information display device of the present invention is based on a line-of-sight detection unit that detects a user's line of sight, an image data processing unit that generates image data of an information image to be displayed, and image data.
  • An image forming unit that forms an information image in a predetermined display area on the image forming surface, and a user recognizes the information image when the line-of-sight detection unit detects that the user's line of sight is directed to the display area.
  • a control unit that displays the display area in a possible state.
  • “display in the display area in a recognizable state” means to display the information image in a recognizable state on all the image forming surfaces.
  • the information image is released from the recognizable state, and thus it is possible to perform driving or the like with the original field of view.
  • the image forming unit includes a plurality of optical elements for forming an information image on the image forming surface, and the control unit can recognize the optical elements by arranging the optical elements at predetermined positions. It is preferable to release the recognizable state by shifting at least one of the plurality of optical elements from a predetermined position.
  • releasing the recognizable state means displaying at least one of the image forming surfaces in an unrecognizable state.
  • one of the plurality of optical elements is an imaging lens
  • the recognizable state is preferably a state in which the focal position of the imaging lens is adjusted to the display area.
  • a clear information image without blur can be displayed when the display area is arranged at the focal position of the imaging lens, while a state where the information image can be recognized as blurred when shifted from the focal position. It can be released.
  • the image data processing unit generates image data that is released from a recognizable state by filtering the image data.
  • the information image can be displayed in a recognizable state in the display area, and the recognizable state can be canceled by applying the filtering process. That is, a recognizable state and an unrecognizable state can be switched using an electric circuit or software.
  • the filtering process is preferably a Gaussian filter, an RC filter, a Chebyshev filter, or a Butterworth filter.
  • the recognizable state is preferably a state in which the brightness of the information image in the display area is set to a predetermined multiple or more of the average brightness of the image in the area other than the display area.
  • the brightness of the information image can be made higher than the surroundings of the display area so that the information image can be recognized.
  • the recognizable state is preferably a state in which the information image in the display area has a predetermined color.
  • control unit be in a recognizable state by continuously displaying the information image and release the recognizable state by blinking the information image.
  • the recognizable state and the unrecognizable state can be switched by changing the display interval of the information image.
  • the recognizable state is preferably a state in which the contrast between the brightness of the information image in the display area and the average brightness of the images in the other areas is a predetermined value or more.
  • control unit be in a state where the information image can be recognized after a predetermined time has elapsed since it was detected that the user's line of sight was directed to the area.
  • the human eye can easily recognize a change over a certain period of time rather than a sudden change, it can be used by making the information image recognizable after a predetermined time has elapsed after turning the line of sight toward the display area. It is possible for a person to perceive an information image reliably and quickly.
  • the information display device is mounted on a vehicle, and the image forming unit serves as an image forming surface on which an intermediate image is formed by imaging a laser light source and light emitted from the laser light source. It is preferable to include a screen and a projection optical system that displays a virtual image of the information image in front of the windshield by projecting image light that forms an intermediate image onto the windshield of the vehicle.
  • the information image can be displayed in a recognizable state only when the user's line of sight is directed to the information image display area.
  • the line of sight can be surely directed to that area. Therefore, when the information display device is mounted on a vehicle, the driver's visual field and line of sight can be directed to the original range and direction.
  • FIG. 2 is a plan view illustrating a configuration of an image forming unit in the embodiment of the present invention. It is a top view which shows the example of the display area in a screen, and the display area in the front position of a windshield.
  • the present invention is applied to a vehicle head-up display device, and the user of the present invention is a vehicle driver.
  • FIG. 1 is a block diagram showing the configuration of the information display device 10 of the present embodiment.
  • the information display device 10 includes a line-of-sight detection device 20 as a line-of-sight detection unit, an image data processing unit 40, an image forming unit 50, a control unit 70, and a memory 71.
  • FIG. 2 is a block diagram illustrating a configuration of the line-of-sight detection device 20.
  • the line-of-sight detection device 20 includes a first light source 21, a second light source 22, a camera 23, a light source control unit 24, an image acquisition unit 25, a bright pupil image detection unit 26, a dark pupil image detection unit 27, A pupil center calculation unit 28, a corneal reflection light center detection unit 29, and a line-of-sight direction calculation unit 30 are provided.
  • the line-of-sight detection device 20 is installed so as to face the driver's seat on the instrument panel, the upper part of the windshield, and the like.
  • the first light source 21 and the second light source 22 have LEDs (light emitting diodes).
  • the first light source 21 emits infrared light (near infrared light) having a wavelength of 850 nm or a wavelength close to this as detection light
  • the second light source 22 emits infrared light having a wavelength of 940 nm.
  • infrared light near-infrared light
  • infrared light having a wavelength of 850 nm or a wavelength close thereto is not easily absorbed by moisture in the eyeball, and the amount of light that reaches and is reflected by the retina located in the back of the eyeball is large. Become.
  • infrared light with a wavelength of 940 nm is easily absorbed by moisture in the eyeball of the human eye, so that the amount of light that reaches the retina located at the back of the eyeball and is reflected is reduced.
  • light having a wavelength other than 850 nm and 940 nm may be used as the detection light.
  • the camera 23 includes an image sensor and a lens.
  • the imaging device is composed of a CMOS (complementary metal oxide semiconductor), a CCD (charge coupled device), or the like.
  • the imaging device acquires a face image including the eyes of the driver that is incident through the lens.
  • light is detected by a plurality of pixels arranged two-dimensionally.
  • the light source control unit 24, the image acquisition unit 25, the bright pupil image detection unit 26, the dark pupil image detection unit 27, the pupil center calculation unit 28, the corneal reflection light center detection unit 29, and the gaze direction calculation unit 30 Each circuit is configured by a circuit or the like, and each calculation is performed by executing preinstalled software.
  • the light source control unit 24 performs switching between light emission of the first light source 21 and light emission of the second light source 22, and control of light emission times of the first light source 21 and the second light source 22.
  • the image acquisition unit 25 acquires a face image from the camera 23 for each frame.
  • the image acquired by the image acquisition unit 25 is read into the bright pupil image detection unit 26 and the dark pupil image detection unit 27 for each frame.
  • the bright pupil image detection unit 26 detects a bright pupil image
  • the dark pupil image detection unit 27 acquires a dark pupil image.
  • the pupil center calculation unit 28 calculates the difference between the bright pupil image and the dark pupil image, generates an image in which the pupil image is brightly displayed, and calculates the center of the pupil image from the generated image.
  • the corneal reflection light center detection unit 29 extracts the corneal reflection light from the dark pupil image and calculates its center position.
  • the gaze direction calculation unit 30 calculates the gaze direction based on the pupil center calculated by the pupil center calculation unit 28 and the corneal reflection light center calculated by the corneal reflection light center detection unit 29.
  • Detection light having a wavelength of 850 nm emitted from the first light source 21 reaches the retina and is easily reflected. For this reason, in the image acquired by the camera 23 when the first light source 21 is turned on, since the infrared light reflected by the retina is detected through the pupil, the pupil looks bright. This image is detected by the bright pupil image detection unit 26 as a bright pupil image.
  • the detection light having a wavelength of 940 nm emitted from the second light source 22 is easily absorbed in the eyeball before reaching the retina. For this reason, in the image acquired by the camera 23 when the second light source 22 is turned on, the infrared light is hardly reflected from the retina, so that the pupil looks dark. This image is detected as a dark pupil image by the dark pupil image detection unit 27.
  • both detection light with a wavelength of 850 nm and a wavelength of 940 nm is reflected by the surface of the cornea, and the reflected light is detected by both the bright pupil image detection unit 26 and the dark pupil image detection unit 27.
  • the dark pupil image detection unit 27 since the pupil image is dark, the reflected light reflected from the cornea is detected as a bright spot image.
  • the pupil center calculation unit 28 the difference between the bright pupil image detected by the bright pupil image detection unit 26 and the dark pupil image detected by the dark pupil image detection unit 27 is obtained, and the pupil whose shape of the pupil is brightened. An image signal is generated, and the center of the pupil is calculated by detecting the luminance distribution of the pupil image.
  • the dark pupil image signal detected by the dark pupil image detection unit 27 is supplied to the corneal reflection light center detection unit 29.
  • the dark pupil image signal includes a luminance signal by reflected light reflected from the cornea.
  • the reflected light from the cornea forms a Purkinje image, and a spot image with a very small area is acquired on the image sensor of the camera 23.
  • the spot image is subjected to image processing, and the center of the reflected spot image from the cornea is obtained from the luminance portion.
  • the pupil center calculation value calculated by the pupil center calculation unit 28 and the corneal reflection light center calculation value calculated by the corneal reflection light center detection unit 29 are given to the gaze direction calculation unit 30.
  • the line-of-sight direction calculation unit 30 detects the direction of the line of sight from the pupil center calculated value and the corneal reflection light center calculated value.
  • the line-of-sight data detected in this way is output to the control unit 70 and stored in the memory 71.
  • the image data processing unit 40 includes a data generation unit 41 and a filter unit 42.
  • the data generation unit 41 and the filter unit 42 are configured by a digital circuit such as an arithmetic circuit of a computer or an analog circuit, and each calculation is performed by executing a preset procedure.
  • the data generation unit 41 generates image data of an information image formed in the display area DA1 (FIG. 4) of the screen 54.
  • the LCOS 52 is operated based on the image data and the laser light emitted from the laser light source 51 is reflected by the LCOS 52, an image formed by the reflected light is formed on the display area DA1 of the screen 54 by the lens 53 and can be recognized.
  • An information image in the correct state is displayed (see FIG. 3). Further, an image formed by light transmitted through the screen 54 and reflected by the mirror 55 and incident on the windshield 80 can be recognized.
  • the filter unit 42 generates image data that has been released from a recognizable state by applying a filtering process to the image data generated by the data generation unit 41.
  • This filtering process is performed on the image data generated by the data generation unit 41 in accordance with an instruction signal from the control unit 70.
  • the filter processing include a Gaussian filter, an RC filter (a filter formed by a circuit including a resistor and a capacitor), a Chebyshev filter, or a Butterworth filter.
  • FIG. 3 is a plan view showing the configuration of the image forming unit 50.
  • the laser driver 61, the LCOS driver 62a, the LCOS driving unit 62b, the lens driving unit 63, the screen driving unit 64, and the mirror driving unit 65 are not shown.
  • FIG. 4 is a plan view showing an example of the display area DA1 on the screen 54 and the display area DA2 on the virtual virtual image forming surface PS at the front position P of the windshield 80 (FIG. 3).
  • the image forming unit 50 includes a laser light source 51, an LCOS 52, a lens 53 as an imaging lens, a screen 54, and a mirror 55 as optical elements.
  • a driver 61, an LCOS driver 62a, an LCOS driving unit 62b, a lens driving unit 63, a screen driving unit 64, and a mirror driving unit 65 are provided.
  • the image forming unit 50 displays the display area DA1 (FIG. 4) of the screen 54 and the corresponding display area and window of the windshield 80.
  • Information images are respectively formed in the display area DA2 of the virtual image forming surface PS assumed at the front position P of the shield.
  • the screen 54, the windshield 80, and the virtual image forming surface PS constitute an image forming surface.
  • the screen 54 is used as an image forming surface.
  • Laser light source 51 is a light source that emits laser light in the visible region, and emits light having an intensity corresponding to the amount of current supplied from laser driver 61.
  • the amount of current supplied from the laser driver 61 is controlled by the control unit 70.
  • LCOS 52 is a reflective LCOS (Liquid Crystal On Silicon), and is a panel having a liquid crystal layer and an electrode layer such as aluminum.
  • electrodes that apply an electric field to the liquid crystal layer are regularly arranged to form a plurality of pixels, and a change in electric field strength applied to each electrode causes a change in the thickness direction of the crystal layer in the liquid crystal layer.
  • the tilt angle of the laser beam changes, and the phase of the reflected laser light is modulated for each pixel.
  • the change of the phase for each pixel is controlled by the LCOS driver 62a.
  • An instruction signal corresponding to the image data of the information image output from the image data processing unit 40 is input from the control unit 70 to the LCOS driver 62a, and the LCOS driver 62a is set for each pixel of the LCOS 52 according to the instruction signal.
  • the change in phase is controlled, whereby predetermined phase-modulated light is generated.
  • the LCOS 52 is supported by the LCOS driving unit 62b.
  • the LCOS driving unit 62 b is a mechanism that enables the LCOS 52 to move or rotate relative to the main body (not shown) of the information display device 10, and its operation is controlled by the control unit 70.
  • the phase-modulated light generated by the LCOS 52 is incident on a lens 53 as an imaging lens.
  • the lens 53 is a biconvex positive lens, and as a Fourier transform lens (FT lens), the incident light is Fourier-transformed and the incident light is condensed to generate image light.
  • This image light forms an image on the screen 54 as an intermediate image (hologram image).
  • the screen 54 is arranged such that its optical axis 54 c overlaps with an extension line of the optical axis 53 c of the lens 53.
  • the screen 54 is, for example, a diffuser (diffusion plate) that emits incident light as diffused light.
  • a lens having a positive refractive power of another shape or a positive refractive power optical system including a plurality of lenses may be used instead of the lens 53.
  • a transmissive LCOS or other modulation element may be used instead of the LCOS 52.
  • a laser beam may be incident on the lens 53 using a scanner capable of scanning incident light.
  • the lens 53 is supported by the lens driving unit 63.
  • the lens driving unit 63 is a mechanism that enables the lens 53 to move along the direction of the optical axis 53 c, and its operation is controlled by the control unit 70.
  • the screen 54 is supported by the screen driving unit 64.
  • the screen drive unit 64 is a mechanism that enables the screen 54 to move along the direction of the optical axis 54 c, and its operation is controlled by the control unit 70.
  • the light that has passed through the screen 54 enters the mirror 55 as divergent projection light.
  • the reflecting surface 55 a of the mirror 55 is a concave mirror (magnifying mirror), and the projection light including the hologram image formed on the screen 54 is magnified and reflected by the mirror 55.
  • This reflected light is projected onto the display area of the windshield 80 of the vehicle. Since the windshield 80 functions as a semi-reflective surface, the incident image light is reflected toward the driver, and a virtual image is formed in the display area DA2 of the virtual image forming surface PS at the front position P of the windshield 80. . By visually observing the virtual image in front of the windshield 80, it appears to the driver that an information image is displayed in front of the steering wheel.
  • the mirror 55 is supported by the mirror driving unit 65.
  • the mirror drive unit 65 is a mechanism that can change the distance to the screen 54 or the windshield 80, and its operation is controlled by the control unit 70.
  • the LCOS driving unit 62b, the lens driving unit 63, the screen driving unit 64, and the mirror driving unit 65 select an image formed in the display areas DA1 and DA2 between a recognizable state and an unrecognizable state.
  • An operation other than the above-described operations may be performed as long as the selection can be made.
  • the lens driving unit 63 does not move the lens 53 along the direction of the optical axis 53c, but directs the optical axis 53c of the lens 53 in another direction inclined from the optical axis 54c of the screen 54. May be.
  • the screen drive unit 64 does not move the screen 54 along the direction of the optical axis 54c, but directs the optical axis 54c of the screen 54 in another direction inclined from the optical axis 53c of the lens 53. It may be. Furthermore, the mirror driving unit 65 may change the orientation of the mirror 55 with respect to the screen 54.
  • the control unit 70 when the information display device 10 is activated, the control unit 70 causes the line-of-sight detection device 20 to start detecting the user's line of sight, and the detection result is continuously output to the control unit 70.
  • the control unit 70 instructs the image data processing unit 40 to generate image data of an information image based on information such as the vehicle running state that is sent from the vehicle side as needed.
  • the control unit 70 Based on the image data of the information image supplied from the image data processing unit 40, the control unit 70 provides the image forming unit 50 with information images in a state that can be recognized by the user in the display areas DA1 and DA2. Form and display. Specifically, an instruction signal is output to the LCOS driver 62a so that the LCOS 52 operates based on the image data supplied from the image data processing unit 40, and the intensity / corresponding to the image data is given to the laser driver 61. An instruction signal for emitting a color laser beam is output.
  • the LCOS driving unit 62b, the lens driving unit 63, the screen driving unit 64, and the mirror driving unit 65 output an instruction signal for displaying an information image in a state that can be recognized by the user.
  • an intermediate image formed by the light emitted from the lens 53 is formed on the screen 54, and the light transmitted through the screen 54 and reflected by the mirror 55 is incident on an appropriate position on the windshield 80.
  • the lens 53, the screen 54, and the mirror 55 are arranged at predetermined positions, and their directions are adjusted.
  • the line-of-sight detection device 20 detects that the line of sight of the user is not directed to the display area DA2 at the front position P of the windshield 80, the information image cannot be recognized in the display area DA2.
  • An instruction signal is sent to the image data processing unit 40 and / or the image forming unit 50 so as to achieve a proper state.
  • the procedure for selectively selecting the information image in a recognizable state and an unrecognizable state is stored in the memory 71 in advance, and a necessary instruction signal is sent to the device involved in this procedure. Output.
  • switching from an unrecognizable state of the information image (a state where the recognizable state is released) to a recognizable state is performed over a predetermined time. Specifically, when the state is switched over preferably 0.2 to 0.4 seconds, more preferably 0.3 seconds, the user can easily recognize the switching.
  • the switching from the recognizable state of the information image to the unrecognizable state is performed after a certain time has elapsed after the visual line detection device 20 detects that the user's visual line is out of the display area. It is preferable. This fixed time is, for example, 3 seconds. This is because it is preferable to keep the information image in a recognizable state when the line of sight is temporarily shifted from the display area for driving and the line of sight is returned to the display area again.
  • the information image is displayed in a recognizable state can be seen in the entire information image formed in the display areas DA1 and DA2 and / or in the display area DA2 at the front position P of the windshield 80.
  • the entire virtual image of the information image is clearly displayed.
  • the unrecognizable state is a state in which at least the information image in the display area D2 is unclear among the information images formed in the two display areas DA1 and DA2, or a part or all of the information image. It is in a state of being blurred or missing.
  • the recognizable state and the unrecognizable state are any of the following states or a combination thereof, and the controller 70 determines which one based on the detection result by the visual line detection device 20. Is selected, and a control signal corresponding to the selection result is output to the corresponding device.
  • the luminance of the information image is set to a predetermined multiple or more of the average luminance of the images in the areas other than the display areas DA1 and DA2, and the luminance of the information image is less than the predetermined multiple.
  • the predetermined multiple is, for example, double, but it is preferable to set different values for daytime and nighttime.
  • the brightness of the information image is increased or decreased by changing the output of the laser light source 51, for example.
  • a mechanism for taking in and out an optical element for example, a filter
  • the brightness of the information image may be adjusted depending on the presence or absence of the optical element.
  • the color of the information image is a predetermined color (a color in a predetermined wavelength range) is recognizable, and a state in which light of a wavelength outside this wavelength range is unrecognizable It is.
  • the predetermined color is, for example, red.
  • the color is changed by preparing a light source capable of emitting a plurality of colors of laser light as the laser light source 51 and emitting the laser light of the color specified by the instruction signal from the control unit 70.
  • a mechanism for taking in and out an optical element (not shown) (for example, a filter) may be provided, and the color of the information image may be changed depending on the presence or absence of the optical element.
  • the state where the color of the information image is a chromatic color is a recognizable state, and the color of the information image is a non-recognizable state.
  • the chromatic color and the achromatic color are changed by preparing a light source capable of emitting a plurality of colors of laser light as the laser light source 51 and emitting the laser light of the color specified by the instruction signal from the control unit 70. Further, a mechanism for taking in and out an optical element (not shown) (for example, a filter) may be provided, and the color of the information image may be changed depending on the presence or absence of the optical element.
  • the information image is continuously displayed in a recognizable state, and the information image blinked is in an unrecognizable state.
  • the blinking of the information image is performed, for example, by lowering the frequency of the drive waveform applied from the laser driver 61 to the laser light source 51 in accordance with an instruction signal from the control unit 70.
  • the contrast between the brightness of the information image and the average brightness of the images in the other areas is a predetermined value or more, and the contrast is less than the predetermined value.
  • the predetermined magnification is, for example, twice.
  • the contrast is changed, for example, by changing the drive waveform supplied from the laser driver 61 and thereby adjusting the intensity of the laser light emitted from the laser light source 51.
  • a mechanism for taking in and out an optical element for example, a filter
  • the contrast of the information image may be adjusted depending on the presence or absence of the optical element.
  • the human visual field has a central visual field and a peripheral visual field located outside the central visual field.
  • the central visual field contributes to high-definition vision and can distinguish colors that react only to bright light.
  • the peripheral visual field contributes to low resolution visual information processing, and although it is difficult to identify colors, it also responds to dark light. In the peripheral visual field, it reacts quickly to changes in state and has high time resolution.
  • the driver can easily attract attention to the information image. There is a risk that the line of sight cannot be sufficiently directed to the point to be directed. In other words, the driver has a wider peripheral field of view besides the gazing point, and if the information image fluctuates in the peripheral field of view, the spotlight of attention tends to go to that point, which must be processed. The amount of information that must be increased increases the cognitive load as a result.
  • the information display device 10 of the present embodiment when the driver's line of sight is directed to the display area DA2, that is, when the driver wants to see, the information image can be clearly recognized.
  • the information image cannot be recognized when the line of sight is not directed to the display area DA2.
  • the state of the information image does not fluctuate in the peripheral visual field, and it becomes easier to concentrate the line of sight on the point to be noted, so the driver's cognitive load can be reduced and the line of sight is directed to the display area If there is no state, it is possible to concentrate on driving without being distracted by the information image.
  • the state of the information image is switched based on the detection result of the user's line of sight. Instead, the direction of the user's face is detected, and the state of the information image is determined based on this. May be switched.
  • control unit 70 can change the display state of the information image to a recognizable state regardless of the driver's line of sight, depending on the driving situation or the like. .
  • the information display device is useful for a device in which a display area in which an information image is displayed is set in a part of the user's field of view, for example, a vehicle head-up display device.
  • SYMBOLS 10 Information display apparatus 20 Eye-gaze detection apparatus 21 1st light source 22 2nd light source 23 Camera 24 Light source control part 25 Image acquisition part 26 Bright pupil image detection part 27 Dark pupil image detection part 28 Pupil center calculation part 29 Corneal reflection light center detection part DESCRIPTION OF SYMBOLS 30 Gaze direction calculation part 40 Image data processing part 41 Data generation part 42 Filter part 50 Image formation part 51 Laser light source 52 LCOS 53 Lens 54 Screen 55 Mirror 61 Laser Driver 62a LCOS Driver 62b LCOS Drive Unit 63 Lens Drive Unit 64 Screen Drive Unit 65 Mirror Drive Unit 70 Control Unit 80 Windshield DA1, DA2 Display Area

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報画像の表示エリアに使用者の視線が向けられたときにのみ、情報画像を認識可能な状態で表示させることのできる情報表示装置を提供する。 【解決手段】使用者の視線を検出する視線検出部と、表示させる情報画像の画像データを生成する画像データ処理部と、画像データに基づいて、像形成面における所定の表示エリアに情報画像を形成する画像形成部と、使用者の視線が表示エリアに向けられていることを視線検出部が検出したときに、情報画像を、使用者が認識可能な状態で表示エリアに表示させる制御部とを備える。

Description

情報表示装置
　本発明は、使用者の視線検出結果に基づいて画像の表示状態を変更可能な情報表示装置に関する。
　特許文献１は、カメラが撮影した画像に基づいて、ユーザの視線の先がディスプレイ装置の第１の情報の表示位置と一致した回数をカウントし、その回数が所定の回数に達した場合に、第１の情報に関連づけられている第２の情報を上記表示位置に表示させる情報表示システムを開示している。
特開２００８－２０３９７１号公報
　しかしながら、特許文献１に記載の情報表示システムのような情報表示装置が車両に搭載され、情報画像がウインドシールドの前方に常時認識可能に表示される場合、運転者の注意が情報画像に向きやすくなるため、運転者の視野が本来向かうべき範囲からずれたり、運転者の視線が情報画像に惹かれるために走行中に視線が車両前方から逸れてしまうなど、本来注意すべきスポットに向かいづらくなるという問題がある。
　また、特許文献１に記載の情報表示システムのように第１の情報及び第２の情報がバナー広告である場合、バナー広告がユーザの注意を惹くような形で常時表示されていることは、バナー広告以外の情報に注意が向きづらくなるため好ましくない場合がある。
　そこで本発明は、情報画像の表示エリアに使用者の視線が向けられたときにのみ、情報画像を認識可能な状態で表示させることができ、視線が向いていないときに使用者の注意が向きづらい情報表示装置を提供することを目的とする。
　上記課題を解決するために、本発明の情報表示装置は、使用者の視線を検出する視線検出部と、表示させる情報画像の画像データを生成する画像データ処理部と、画像データに基づいて、像形成面における所定の表示エリアに情報画像を形成する画像形成部と、使用者の視線が表示エリアに向けられていることを視線検出部が検出したときに、情報画像を、使用者が認識可能な状態で表示エリアに表示させる制御部とを備えることを特徴としている。
　ここで、像形成面が複数ある場合、「認識可能な状態で表示エリアに表示させる」とは、すべての像形成面において情報画像を認識可能な状態で表示させることを意味する。
　上記構成によれば、使用者が情報画像の表示エリアに視線を向けていないときには、情報画像は認識可能な状態が解除されているため、本来の視野で運転等を行うことが可能となる。
　本発明の情報表示装置において、画像形成部は、情報画像を像形成面に形成するための複数の光学素子を備え、制御部は、複数の光学素子を所定位置にそれぞれ配置することによって認識可能な状態とし、複数の光学素子の少なくとも１つを所定位置からずらすことによって認識可能な状態を解除することが好ましい。
　ここで、像形成面が複数ある場合、認識可能な状態の解除は、像形成面の少なくとも１つについて認識不可能な状態で表示させることを意味する。
　上記構成により、複数の光学素子を所定位置にそれぞれ配置した状態では、表示エリアにぼけのない鮮明な情報画像を表示させることができ、いずれかの光学素子を所定位置からずらすことによって、表示エリアにおいて情報画像をぼけた状態として認識可能な状態を解除させることができる。すなわち、光学的に、認識可能な状態と認識不可能な状態を切り替えることができる。
　本発明の情報表示装置において、複数の光学素子の１つは結像レンズであり、認識可能な状態とは、結像レンズの焦点位置を表示エリアに合わせた状態であることが好ましい。
　これにより、結像レンズの焦点位置に表示エリアを配置したときにはぼけのない鮮明な情報画像を表示させることができる一方、焦点位置からずらしたときには、情報画像をぼけた状態として認識可能な状態を解除させることができる。
　本発明の情報表示装置において、画像データ処理部は、画像データにフィルタ処理をかけることによって、認識可能な状態を解除された画像データを生成することが好ましい。
　フィルタ処理をかけない画像データを用いた場合には認識可能な状態で情報画像を表示エリアに表示させることができ、フィルタ処理をかけることによって認識可能な状態を解除することができる。すなわち、電気回路又はソフトフェアを用いて、認識可能な状態と認識不可能な状態を切り替えることができる。
　本発明の情報表示装置において、フィルタ処理は、ガウシアンフィルタ、ＲＣフィルタ、チェビシェフフィルタ、又はバターワースフィルタであることが好ましい。
　本発明の情報表示装置において、認識可能な状態とは、表示エリアの情報画像の輝度を、表示エリア以外のエリアの画像の平均輝度の所定倍以上とした状態であることが好ましい。
　これにより、情報画像の輝度を表示エリアの周囲よりも高くして認識可能な状態とすることができる。
　本発明の情報表示装置において、認識可能な状態とは、表示エリアの情報画像を所定の色とした状態であることが好ましい。
　これにより、表示エリアの周囲に対して識別しやすい色で情報画像を表示させることによって、認識可能な状態を実現することができる。
　本発明の情報表示装置において、制御部は、情報画像を連続的に表示させることによって認識可能な状態とし、情報画像を点滅させることによって認識可能な状態を解除することが好ましい。
　このように情報画像の表示間隔を変更することによって、認識可能な状態と認識不可能な状態を切り替えることができる。
　本発明の情報表示装置において、認識可能な状態とは、表示エリアの情報画像の輝度とそれ以外のエリアの画像の平均輝度のコントラストを所定値以上とした状態であることが好ましい。
　これにより、表示エリアの周囲に対して識別しやすい輝度で情報画像を表示させることによって、認識可能な状態を実現することができる。
　本発明の情報表示装置において、制御部は、使用者の視線がエリアに向けられたことが検出されてから所定時間経過後に、情報画像を認識可能な状態とすることが好ましい。
　人間の目は、急激な変化よりも一定時間をおいた変化の方が認識しやすいことから、視線を表示エリアに向けてから所定時間経過後に情報画像を認識可能な状態とすることにより、使用者に対して確実かつ迅速に情報画像を知覚させることが可能となる。
　本発明の情報表示装置において、情報表示装置は車両に搭載され、画像形成部は、レーザ光源と、レーザ光源からの出射光が結像されることによって中間画像が形成される像形成面としてのスクリーンと、中間画像を形成するイメージ光を車両のウインドシールドに投影することによって、ウインドシールドの前方に情報画像の虚像を表示させる投影光学系とを備えることが好ましい。
　本発明によると、情報画像の表示エリアに使用者の視線が向けられたときにのみ、情報画像を認識可能な状態で表示させることができる。これにより、使用者が、情報画像の表示エリア以外のエリアを見ているときは、視線をそのエリアに確実に向かわせることができる。したがって、情報表示装置を車両に搭載した場合に、運転者の視野や視線を本来の範囲や方向に向かわせることができる。
本発明の実施形態に係る情報表示装置の構成を示すブロック図である。 本発明の実施形態における視線検出装置の構成を示すブロック図である。 本発明の実施形態における画像形成部の構成を示す平面図である。 スクリーンにおける表示エリア、及び、ウインドシールドの前方位置における表示エリアの例を示す平面図である。
　以下、本発明の実施形態に係る情報表示装置について図面を参照しつつ詳しく説明する。本実施形態では、本発明を車両用ヘッドアップディスプレイ装置に適用しており、本発明の使用者は車両の運転者である。
　図１は、本実施形態の情報表示装置１０の構成を示すブロック図である。図１に示すように、情報表示装置１０は、視線検出部としての視線検出装置２０と、画像データ処理部４０と、画像形成部５０と、制御部７０と、メモリ７１とを備える。
＜視線検出装置２０＞
　図２を参照して視線検出装置２０について説明する。図２は、視線検出装置２０の構成を示すブロック図である。
　図２に示すように、視線検出装置２０は、第１光源２１、第２光源２２、カメラ２３、光源制御部２４、画像取得部２５、明瞳孔画像検出部２６、暗瞳孔画像検出部２７、瞳孔中心算出部２８、角膜反射光中心検出部２９、及び、視線方向算出部３０を備える。視線検出装置２０は、インストルメントパネルやウインドシールドの上部などにおいて、運転席側へ向けるように設置される。
　第１光源２１と第２光源２２は、ＬＥＤ（発光ダイオード）を有している。第１光源２１は、検出光として、波長８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）を発するものであり、第２光源２２は波長９４０ｎｍの赤外光を発するものである。ここで、８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）は、眼球内の水分で吸収されにくく、眼球の奥に位置する網膜まで到達して反射される光の量が多くなる。一方、波長９４０ｎｍの赤外光は、人の目の眼球内の水分で吸収されやすいため、眼球の奥に位置する網膜に到達して反射される光量が少なくなる。なお、検出光としては、８５０ｎｍと９４０ｎｍ以外の波長の光を用いることも可能である。
　カメラ２３は、撮像素子とレンズなどから構成されている。撮像素子は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などで構成される。撮像素子は、レンズを経て入射した、運転者の目を含む顔画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
　光源制御部２４、画像取得部２５、明瞳孔画像検出部２６、暗瞳孔画像検出部２７、瞳孔中心算出部２８、角膜反射光中心検出部２９、及び、視線方向算出部３０は、コンピュータの演算回路等で構成されており、予めインストールされたソフトウエアを実行することでそれぞれの演算が行われる。
　光源制御部２４は、第１光源２１の発光と第２光源２２の発光の切換え、及び、第１光源２１と第２光源２２の発光時間の制御などを行う。
　画像取得部２５は、カメラ２３から顔画像をフレームごとに取得する。画像取得部２５で取得された画像は、フレームごとに、明瞳孔画像検出部２６と暗瞳孔画像検出部２７に読み込まれる。明瞳孔画像検出部２６では明瞳孔画像が検出され、暗瞳孔画像検出部２７では暗瞳孔画像が取得される。瞳孔中心算出部２８では、明瞳孔画像と暗瞳孔画像との差分が計算されて、瞳孔画像が明るく表示された画像が生成され、生成された画像から瞳孔画像の中心が算出される。角膜反射光中心検出部２９は、暗瞳孔画像から角膜反射光を抽出し、その中心位置を算出する。そして、視線方向算出部３０では、瞳孔中心算出部２８で算出した瞳孔中心と、角膜反射光中心検出部２９で算出した角膜反射光中心とに基づいて視線方向が算出される。
　以下、視線方向の算出についてより詳細に説明する。
　第１光源２１から出射される波長８５０ｎｍの検出光は、網膜に至って反射されやすい。このため、第１光源２１が点灯したときにカメラ２３で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出されることから、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部２６で検出される。
　これに対して、第２光源２２から出射される波長９４０ｎｍの検出光は、網膜に至るまでに眼球内で吸収されやすい。このため、第２光源２２が点灯したときにカメラ２３で取得される画像では、網膜から赤外光がほとんど反射されないことから、瞳孔が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部２７で検出される。
　一方、波長８５０ｎｍと波長９４０ｎｍの検出光はいずれも、角膜の表面で反射され、その反射光が明瞳孔画像検出部２６と暗瞳孔画像検出部２７の双方で検出される。特に暗瞳孔画像検出部２７では、瞳孔の画像が暗いため、角膜から反射された反射光が明るくスポット画像として検出される。
　瞳孔中心算出部２８では、明瞳孔画像検出部２６で検出された明瞳孔画像と、暗瞳孔画像検出部２７で検出された暗瞳孔画像との差分が求められ、瞳孔の形状が明るくなった瞳孔画像信号が生成され、さらに、瞳孔画像の輝度分布を検出することで、瞳孔の中心が算出される。
　暗瞳孔画像検出部２７で検出された暗瞳孔画像信号は、角膜反射光中心検出部２９に与えられる。暗瞳孔画像信号は、角膜から反射された反射光による輝度信号が含まれている。角膜からの反射光はプルキニエ像を結像するものであり、カメラ２３の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部２９では、スポット画像が画像処理されて、その輝度部分から、角膜からの反射スポット画像の中心が求められる。
　瞳孔中心算出部２８で算出された瞳孔中心算出値と角膜反射光中心検出部２９で算出された角膜反射光中心算出値は、視線方向算出部３０に与えられる。視線方向算出部３０では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。このように検出された視線の向きのデータは制御部７０へ出力され、メモリ７１に保存される。
＜画像処理部４０＞
　図１に示すように、画像データ処理部４０は、データ生成部４１とフィルタ部４２を備える。データ生成部４１とフィルタ部４２は、コンピュータの演算回路等のデジタル回路、又は、アナログ回路で構成されており、予め設定された手順を実行することでそれぞれの演算が行われる。
　データ生成部４１は、スクリーン５４の表示エリアＤＡ１（図４）に形成する情報画像の画像データを生成する。この画像データに基づいてＬＣＯＳ５２を動作させ、レーザ光源５１から出射されたレーザ光をＬＣＯＳ５２で反射させると、この反射光による像が、レンズ５３によってスクリーン５４の表示エリアＤＡ１に結像し、認識可能な状態の情報画像が表示される（図３参照）。さらに、スクリーン５４を透過してミラー５５で反射され、ウインドシールド８０に入射した光による画像も認識可能な状態となる。
　フィルタ部４２は、データ生成部４１が生成した画像データに対して、フィルタ処理をかけることによって、認識可能な状態を解除された画像データを生成する。このフィルタ処理は制御部７０からの指示信号にしたがって、データ生成部４１において生成した画像データに対して実行される。フィルタ処理としては、例えば、ガウシアンフィルタ、ＲＣフィルタ（抵抗器とコンデンサで構成される回路によるフィルタ）、チェビシェフフィルタ、又はバターワースフィルタが挙げられる。フィルタ部４２によってフィルタ処理をかけられた画像データに基づいてＬＣＯＳ５２を動作させ、レーザ光源５１から出射されたレーザ光をＬＣＯＳ５２で反射させた場合、この反射光はレンズ５３を透過してスクリーン５４に入射するが、表示エリアＤＡ１における像は認識不可能な状態となる。したがって、スクリーン５４を透過してミラー５５で反射され、ウインドシールド８０に入射した光による画像も認識不可能な状態である。
＜画像形成部５０＞
　次に、図１、図３、及び図４を参照して画像形成部５０の構成について説明する。図３は、画像形成部５０の構成を示す平面図である。図３においては、レーザドライバ６１、ＬＣＯＳドライバ６２ａ、ＬＣＯＳ駆動部６２ｂ、レンズ駆動部６３、スクリーン駆動部６４、及びミラー駆動部６５の図示を省略している。図４は、スクリーン５４における表示エリアＤＡ１、及び、ウインドシールド８０の前方位置Ｐ（図３）の仮想の虚像形成面ＰＳにおける表示エリアＤＡ２の例を示す平面図である。
　図１又は図３に示すように、画像形成部５０は、光学素子として、レーザ光源５１と、ＬＣＯＳ５２と、結像レンズとしてのレンズ５３と、スクリーン５４と、ミラー５５とを備え、さらに、レーザドライバ６１と、ＬＣＯＳドライバ６２ａと、ＬＣＯＳ駆動部６２ｂと、レンズ駆動部６３と、スクリーン駆動部６４と、ミラー駆動部６５と、を備える。画像形成部５０は、画像データ処理部４０から出力された情報画像の画像データに基づいて、スクリーン５４の表示エリアＤＡ１（図４）、及び、これに対応する、ウインドシールド８０の表示エリアとウインドシールドの前方位置Ｐに想定される虚像形成面ＰＳの表示エリアＤＡ２に情報画像をそれぞれ形成する。ここで、スクリーン５４、ウインドシールド８０、及び、虚像形成面ＰＳは、像形成面を構成する。
　なお、本発明の情報表示装置をヘッドアップディスプレイ装置以外の装置に適用する場合であって、ミラー５５及びウインドシールド８０を設けないときは、スクリーン５４を像形成面とする。
　レーザ光源５１は、可視領域のレーザ光を出射する光源であって、レーザドライバ６１から供給される電流量に応じた強度の光を出射する。レーザドライバ６１から供給される電流量は制御部７０によって制御される。
　ＬＣＯＳ５２は、反射型ＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）であって、液晶層とアルミニウムなどの電極層とを有するパネルである。ＬＣＯＳ５２においては、液晶層に電界を与える電極が規則的に並んで複数のピクセルが構成されており、それぞれの電極に与えられる電界強度の変化により、液晶層内の結晶の層の厚さ方向への倒れ角度が変化し、反射するレーザ光はピクセル毎に位相が変調させられる。
　このようなピクセル毎の位相の変化は、ＬＣＯＳドライバ６２ａによって制御される。ＬＣＯＳドライバ６２ａには、制御部７０から、画像データ処理部４０から出力された情報画像の画像データに対応する指示信号が入力され、この指示信号にしたがって、ＬＣＯＳドライバ６２ａは、ＬＣＯＳ５２のピクセル毎に位相の変化を制御し、これにより所定の位相変調光が生成される。
　ＬＣＯＳ５２は、ＬＣＯＳ駆動部６２ｂに支持されている。ＬＣＯＳ駆動部６２ｂは、情報表示装置１０の本体（不図示）に対してＬＣＯＳ５２を相対的に移動又は回動可能とする機構であり、その動作は制御部７０によって制御される。
　ＬＣＯＳ５２で生成された位相変調光は、結像レンズとしてのレンズ５３に入射する。このレンズ５３は、両凸正レンズであって、フーリエ変換レンズ（ＦＴレンズ）として入射光をフーリエ変換するとともに、入射光を集光することにより、イメージ光を生成する。このイメージ光は、中間像（ホログラム画像）として、スクリーン５４上に結像する。スクリーン５４は、その光軸５４ｃがレンズ５３の光軸５３ｃの延長線に重なるように配置される。スクリーン５４は、例えば、入射光を拡散光として出射するディフューザ（拡散板）である。
　ここで、位相変調光のフーリエ変換が可能であれば、レンズ５３に代えて、別の形状の正の屈折力のレンズや、複数枚のレンズからなる正の屈折力の光学系を用いても良い。また、位相変調が可能であれば、ＬＣＯＳ５２に代えて、透過型ＬＣＯＳ、その他の変調素子を用いても良い。また、ＬＣＯＳ５２に代えて、入射光をスキャン可能なスキャナを用いてレーザ光をレンズ５３に入射させるようにしてもよい。
　レンズ５３は、レンズ駆動部６３に支持されている。レンズ駆動部６３は、レンズ５３を、その光軸５３ｃの方向に沿って移動可能とする機構であり、その動作は制御部７０によって制御される。また、スクリーン５４は、スクリーン駆動部６４に支持されている。スクリーン駆動部６４は、スクリーン５４を、その光軸５４ｃの方向に沿って移動可能とする機構であり、その動作は制御部７０によって制御される。
　スクリーン５４を透過した光は、発散光の投影光となってミラー５５に入射する。ミラー５５の反射面５５ａは凹面鏡（拡大鏡）であって、スクリーン５４で結像したホログラム画像を含む投影光は、ミラー５５で拡大・反射される。この反射光は、車両のウインドシールド８０の表示エリアに投影される。ウインドシールド８０は半反射面として機能するため、入射したイメージ光は、運転者に向けて反射されるとともに、ウインドシールド８０の前方位置Ｐにおける虚像形成面ＰＳの表示エリアＤＡ２に虚像が形成される。ウインドシールド８０の前方の虚像を目視することで、運転者には、ステアリングホイールの上方の前方に情報画像が表示されているように見える。
　ここで、ミラー５５は、ミラー駆動部６５に支持されている。ミラー駆動部６５は、スクリーン５４又はウインドシールド８０に対する距離を変更可能とする機構であり、その動作は制御部７０によって制御される。
　ここで、ＬＣＯＳ駆動部６２ｂ、レンズ駆動部６３、スクリーン駆動部６４、及びミラー駆動部６５は、表示エリアＤＡ１、ＤＡ２に形成される画像を、認識可能な状態と認識不可能な状態とで択一的に選択可能とすることができれば、上述した動作以外の動作を行わせてもよい。例えば、レンズ駆動部６３については、レンズ５３をその光軸５３ｃの方向に沿って移動させるのではなく、レンズ５３の光軸５３ｃをスクリーン５４の光軸５４ｃから傾斜した別の方向に向けるようにしてもよい。また、スクリーン駆動部６４については、スクリーン５４をその光軸５４ｃの方向に沿って移動させるのではなく、スクリーン５４の光軸５４ｃを、レンズ５３の光軸５３ｃから傾斜した別の方向に向けるようにしてもよい。さらにまた、ミラー駆動部６５については、スクリーン５４に対するミラー５５の向きを変更するようにしてもよい。
　以上の構成において、情報表示装置１０が起動されると、制御部７０は、視線検出装置２０に使用者の視線の検出を開始させ、検出結果は連続的に制御部７０へ出力され続ける。一方、制御部７０は、車両側から随時送られる、車両の走行状態などの情報に基づいて、画像データ処理部４０に対して情報画像の画像データを生成するように指示する。
　視線検出装置２０により、使用者の視線がウインドシールド８０の前方位置Ｐの表示エリアＤＡ２（スクリーン５４の表示エリアＤＡ１に対応する位置）に向いていることが検出されたとき、この検出信号を受けた制御部７０は、画像データ処理部４０から供給された、情報画像の画像データに基づいて、画像形成部５０に対して、使用者が認識可能な状態の情報画像を表示エリアＤＡ１、ＤＡ２に形成・表示させる。具体的には、画像データ処理部４０から供給された画像データに基づいてＬＣＯＳ５２が動作するように、ＬＣＯＳドライバ６２ａに指示信号を出すとともに、レーザドライバ６１に対して、画像データに対応する強度・色のレーザ光を出射させる指示信号を出力する。ＬＣＯＳ駆動部６２ｂ、レンズ駆動部６３、スクリーン駆動部６４、及びミラー駆動部６５に対しては、情報画像が使用者に認識可能な状態で表示されるための指示信号を出力する。これにより、レンズ５３からの出射光による中間像がスクリーン５４上で結像し、スクリーン５４を透過してミラー５５で反射した光がウインドシールド８０上の適切な位置に入射するように、ＬＣＯＳ５２、レンズ５３、スクリーン５４、及びミラー５５が所定の位置に配置され、その向きが調整される。
　これに対して、視線検出装置２０により、使用者の視線がウインドシールド８０の前方位置Ｐの表示エリアＤＡ２に向いていないことが検出されている間は、表示エリアＤＡ２において情報画像が認識不可能な状態となるように、画像データ処理部４０及び／又は画像形成部５０に指示信号を送出する。ここで、情報画像を認識可能な状態と認識不可能な状態とで択一的に選択する手順は、予めメモリ７１に格納されており、この手順に拘わるデバイスに対して、必要な指示信号を出力する。
　情報画像の認識不可能な状態（認識可能な状態が解除された状態）から認識可能な状態への切り替えは、所定の時間をかけて行うことが好ましい。具体的には、好ましくは０．２～０．４秒、より好ましくは０．３秒かけて状態を切り替えると、使用者が切り替えを認識しやすくなる。
　また、情報画像の認識可能な状態から認識不可能な状態への切り替えについても、使用者の視線が表示エリアから外れたことを視線検出装置２０が検出してから一定の時間をおいてから行うことが好ましい。この一定時間は例えば３秒である。これは、運転のために表示エリアから一時的に視線をずらし、再び表示エリアに視線をもどすような場合に、情報画像を認識可能な状態に保持しておく方が好ましいためである。
　ここで、情報画像を認識可能な状態で表示されているというのは、表示エリアＤＡ１、ＤＡ２に形成された情報画像の全体、及び／又は、ウインドシールド８０の前方位置Ｐの表示エリアＤＡ２に見える情報画像の虚像の全体が鮮明に表示されている状態である。これに対して、認識不可能な状態とは、２つの表示エリアＤＡ１、ＤＡ２に形成された情報画像のうち少なくとも表示エリアＤ２の情報画像が不鮮明である状態や、情報画像の一部又は全部が不鮮明又は欠けている形などになっている状態である。認識可能な状態及び認識不可能な状態とは、具体的には次のような状態のいずれか、又は、組み合わせたものであって、視線検出装置２０による検出結果に基づいて制御部７０がいずれかの状態を選択し、この選択結果に応じた制御信号を対応するデバイスに出力する。
（１）像形成面（スクリーン５４、ウインドシールド８０、及び虚像形成面ＰＳ）において画像がぼけているのが認識不可能な状態であり、像形成面において情報画像の全体にぼけがなく、鮮明に表示されているのが認識可能な状態である。認識不可能な状態は、ＬＣＯＳ５２、レンズ５３、及びスクリーン５４のいずれか１つの位置をずらす、又は、スクリーン５４を傾けることによって実現する。また、不図示の光学素子（例えばレンズやフィルタ）を光路上に出し入れする機構を設け、この光学素子の有無によって、像形成面に情報画像が結像するか否かを選択することで認識可能状態と認識不可能状態を設定してもよい。
（２）フィルタ部４２によってフィルタ処理をかけられたために、情報画像がぼけているのが認識不可能な状態であり、フィルタ処理をかけていないために画像が鮮明に表示されているのが認識可能な状態である。
（３）情報画像の輝度を、表示エリアＤＡ１、ＤＡ２以外のエリアの画像の平均輝度の所定倍以上としたのが認識可能な状態であり、情報画像の輝度が前記所定倍未満であるのが認識不可能な状態である。ここで、所定倍とは、例えば２倍であるが、昼間と夜間で別の数値を設定することが好ましい。情報画像の輝度は、例えば、レーザ光源５１の出力を変更することによって増減させる。また、不図示の光学素子（例えばフィルタ）を光路上に出し入れする機構を設け、この光学素子の有無によって、情報画像の輝度を調整してもよい。
（４）情報画像の色を、所定の色（所定の波長範囲の色）としたのが認識可能な状態であり、この色の波長範囲以外の波長の光としたのが認識不可能な状態である。ここで、所定の色は、例えば赤色である。色の変更は、例えば、レーザ光源５１として複数の色のレーザ光を出射可能な光源を用意し、制御部７０からの指示信号で指定された色のレーザ光を出射させることによって行う。また、不図示の光学素子（例えばフィルタ）を光路上に出し入れする機構を設け、この光学素子の有無によって、情報画像の色を変更してもよい。
（５）情報画像の色を、有彩色としたのが認識可能な状態であり、無彩色としたのが認識不可能な状態である。有彩色と無彩色の変更は、レーザ光源５１として複数の色のレーザ光を出射可能な光源を用意し、制御部７０からの指示信号で指定された色のレーザ光を出射させることによって行う。また、不図示の光学素子（例えばフィルタ）を光路上に出し入れする機構を設け、この光学素子の有無によって、情報画像の色を変更してもよい。
（６）情報画像を連続的に表示させたのが認識可能な状態であり、情報画像を点滅させたのが認識不可能な状態である。情報画像の点滅は、例えば、制御部７０からの指示信号にしたがって、レーザドライバ６１からレーザ光源５１に与える駆動波形の周波数を下げることによって行う。
（７）情報画像の輝度とそれ以外のエリアの画像の平均輝度のコントラストを所定値以上としたのが認識可能状態であり、所定値未満としたのが認識不可能な状態である。所定倍とは、例えば２倍である。コントラストの変更は、例えば、レーザドライバ６１から供給される駆動波形を変更し、これによってレーザ光源５１から出射されるレーザ光の強度を調節することによって行う。また、不図示の光学素子（例えばフィルタ）を光路上に出し入れする機構を設け、この光学素子の有無によって、情報画像のコントラストを調整してもよい。
　人間の視野には、中心視野と、その外側に位置する周辺視野とがある。中心視野は、高精細な視覚に寄与し、明るい光にしか反応しないものの色を識別することができる。これに対して、周辺視野は低解像度の視覚情報処理に寄与し、色の識別は困難であるが暗い光にも反応する。また、周辺視野においては、状態が変化するものに素早く反応し、時間分解能が高い。
　一般に、運転中に情報画像が常時はっきりと表示され、運転状況に応じて情報画像が変動する構成においては、運転者は情報画像に注意が惹きつけやすくなるため、安全確認等のために注意を向けるべきポイントに視線を十分向けられなくなるおそれがある。すなわち、運転者においては、注視点以外にも周辺視野が広がっており、周辺視野で情報画像が変動すると、これに反応して注意のスポットライトがそちらに向かいやすくなってしまうため、処理しなければならない情報が多くなってしまい、結果として認知負荷が増大してしまう。
　これに対して、本実施形態の情報表示装置１０によれば、運転者の視線が表示エリアＤＡ２に向いたとき、すなわち運転者が見たいと思ったときに情報画像を認識可能な状態に鮮明に表示させることができ、視線が表示エリアＤＡ２に向いていないときには情報画像を認識不可能な状態としている。これにより、周辺視野において情報画像の状態が変動することがなくなるため、注意すべきポイントに視線を集中しやすくなることから、運転者の認知負荷を下げることができ、表示エリアに視線を向けていない状態であれば、情報画像によって注意を逸らされることなく運転に集中することができる。
　以上の実施形態においては、使用者の視線の検出結果に基づいて情報画像の状態を切り替えていたが、これに代えて、使用者の顔の向きを検出し、これに基づいて情報画像の状態を切り替えても良い。
　また、制御部７０は、運転の安全性確保等の観点から、運転状況等に応じて、運転者の視線に拘わらずに、情報画像の表示状態を認識可能状態へ変動させることも可能である。
　本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
　以上のように、本発明に係る情報表示装置は、使用者の視野の一部に情報画像が表示される表示エリアが設定された装置、例えば車両用ヘッドアップディスプレイ装置に有用である。
　１０　　情報表示装置
　２０　　視線検出装置
　２１　　第１光源
　２２　　第２光源
　２３　　カメラ
　２４　　光源制御部
　２５　　画像取得部
　２６　　明瞳孔画像検出部
　２７　　暗瞳孔画像検出部
　２８　　瞳孔中心算出部
　２９　　角膜反射光中心検出部
　３０　　視線方向算出部
　４０　　画像データ処理部
　４１　　データ生成部
　４２　　フィルタ部
　５０　　画像形成部
　５１　　レーザ光源
　５２　　ＬＣＯＳ
　５３　　レンズ
　５４　　スクリーン
　５５　　ミラー
　６１　　レーザドライバ
　６２ａ　ＬＣＯＳドライバ
　６２ｂ　ＬＣＯＳ駆動部
　６３　　レンズ駆動部
　６４　　スクリーン駆動部
　６５　　ミラー駆動部
　７０　　制御部
　８０　　ウインドシールド
　ＤＡ１、ＤＡ２　表示エリア
 

Claims (11)

  1. 　使用者の視線を検出する視線検出部と、
    　表示させる情報画像の画像データを生成する画像データ処理部と、
    　前記画像データに基づいて、像形成面における所定の表示エリアに前記情報画像を形成する画像形成部と、
    　前記使用者の視線が前記表示エリアに向けられていることを前記視線検出部が検出したときに、前記情報画像を、前記使用者が認識可能な状態で前記表示エリアに表示させる制御部と
    を備える
    ことを特徴とする情報表示装置。
  2. 　前記画像形成部は、前記情報画像を前記像形成面に形成するための複数の光学素子を備え、
    　前記制御部は、
    前記複数の光学素子を所定位置にそれぞれ配置することによって前記認識可能な状態とし、
    前記複数の光学素子の少なくとも１つを前記所定位置からずらすことによって前記認識可能な状態を解除する
    ことを特徴とする請求項１に記載の情報表示装置。
  3. 　前記複数の光学素子の１つは結像レンズであり、
    　前記認識可能な状態とは、前記結像レンズの焦点位置を前記表示エリアに合わせた状態である
    ことを特徴とする請求項２に記載の情報表示装置。
  4. 　前記画像データ処理部は、前記画像データにフィルタ処理をかけることによって、前記認識可能な状態を解除された画像データを生成する
    ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報表示装置。
  5. 　前記フィルタ処理は、ガウシアンフィルタ、ＲＣフィルタ、チェビシェフフィルタ、又はバターワースフィルタである
    ことを特徴とする請求項４に記載の情報表示装置。
  6. 　前記認識可能な状態とは、前記表示エリアの前記情報画像の輝度を、前記表示エリア以外のエリアの画像の平均輝度の所定倍以上とした状態である
    ことを特徴とする請求項１から請求項５のいずれか１項に記載の情報表示装置。
  7. 　前記認識可能な状態とは、前記表示エリアの前記情報画像を所定の色とした状態であることを特徴とする請求項１から請求項６のいずれか１項に記載の情報表示装置。
  8. 　前記制御部は、
    前記情報画像を連続的に表示させることによって前記認識可能な状態とし、
    前記情報画像を点滅させることによって前記認識可能な状態を解除する
    ことを特徴とする請求項１から請求項７のいずれか１項に記載の情報表示装置。
  9. 　前記認識可能な状態とは、前記表示エリアの前記情報画像の輝度とそれ以外のエリアの画像の平均輝度のコントラストを所定値以上とした状態である
    ことを特徴とする請求項１から請求項８のいずれか１項に記載の情報表示装置。
  10. 　前記制御部は、前記使用者の視線が前記エリアに向けられたことが検出されてから所定時間経過後に、前記情報画像を前記認識可能な状態とする
    ことを特徴とする請求項１から請求項９のいずれか１項に記載の情報表示装置。
  11. 　前記情報表示装置は車両に搭載され、
    　前記画像形成部は、
    　レーザ光源と、
    　レーザ光源からの出射光が結像されることによって中間画像が形成される前記像形成面としてのスクリーンと、
    　前記中間画像を形成するイメージ光を前記車両のウインドシールドに投影することによって、前記ウインドシールドの前方に前記情報画像の虚像を表示させる投影光学系と
    を備える
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の情報表示装置。
PCT/JP2015/083098 2015-02-18 2015-11-25 情報表示装置 WO2016132618A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017500287A JPWO2016132618A1 (ja) 2015-02-18 2015-11-25 情報表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-029558 2015-02-18
JP2015029558 2015-02-18

Publications (1)

Publication Number Publication Date
WO2016132618A1 true WO2016132618A1 (ja) 2016-08-25

Family

ID=56692497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/083098 WO2016132618A1 (ja) 2015-02-18 2015-11-25 情報表示装置

Country Status (2)

Country Link
JP (1) JPWO2016132618A1 (ja)
WO (1) WO2016132618A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018052281A (ja) * 2016-09-28 2018-04-05 矢崎総業株式会社 車両用表示装置
JP2020024141A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2020024578A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2020024561A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) * 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2009232945A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 運転者状態検出装置、意識状態検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249567A (ja) * 2006-03-15 2007-09-27 Omron Corp 表示装置および方法、並びにプログラム
JP2009232945A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 運転者状態検出装置、意識状態検出方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018052281A (ja) * 2016-09-28 2018-04-05 矢崎総業株式会社 車両用表示装置
JP2020024141A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2020024578A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP2020024561A (ja) * 2018-08-07 2020-02-13 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
CN110816407A (zh) * 2018-08-07 2020-02-21 本田技研工业株式会社 显示装置、显示控制方法及存储介质
CN110816408A (zh) * 2018-08-07 2020-02-21 本田技研工业株式会社 显示装置、显示控制方法及存储介质
CN110816409A (zh) * 2018-08-07 2020-02-21 本田技研工业株式会社 显示装置、显示控制方法及存储介质
JP7121583B2 (ja) 2018-08-07 2022-08-18 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP7165532B2 (ja) 2018-08-07 2022-11-04 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
CN110816408B (zh) * 2018-08-07 2023-09-15 本田技研工业株式会社 显示装置、显示控制方法及存储介质

Also Published As

Publication number Publication date
JPWO2016132618A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP5392276B2 (ja) 虚像表示装置
US10908417B2 (en) Vehicle vision system with virtual retinal display
JP5650661B2 (ja) 透過型表示装置
JP4353162B2 (ja) 車輌周囲情報表示装置
EP3200048A2 (en) Image display apparatus
WO2016132618A1 (ja) 情報表示装置
US10873742B2 (en) Head mounted display and image formation optical system
US20090040196A1 (en) Method of controlling the display of various data in a vehicle and Opto-acoustic data unit
US20130194244A1 (en) Methods and apparatuses of eye adaptation support
US7312765B2 (en) Display system and method for reducing the magnitude of or eliminating a visual artifact caused by a shift in a viewer's gaze
JP5109750B2 (ja) 運転者状態検出装置、意識状態検出方法
JP5197883B1 (ja) 画像表示装置
JP2011166396A (ja) 走査型表示装置
JP6701657B2 (ja) 透過型表示装置及び透過型表示装置用の調光シェード
JP2006327310A (ja) 車両用情報表示方法及び車両用情報表示装置
JP3566369B2 (ja) 観察光学装置
WO2018124299A1 (ja) 虚像表示装置及び方法
JP6248041B2 (ja) 自動車用のディスプレイ装置
US20200186701A1 (en) Imaging system for iris authentication and driver monitoring
JP2013039148A (ja) 眼科手術用顕微鏡
WO2015193953A1 (ja) 画像表示装置及び光学デバイス
WO2019073598A1 (ja) 車両用表示システム
WO2019151314A1 (ja) 表示装置
KR101826542B1 (ko) 사이드 미러 보조장치 및 그것의 제어방법
JP4731448B2 (ja) 観察装置および撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882719

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017500287

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882719

Country of ref document: EP

Kind code of ref document: A1