WO2015145933A1 - 虚像表示装置、ヘッドアップディスプレイシステム及び乗物 - Google Patents

虚像表示装置、ヘッドアップディスプレイシステム及び乗物 Download PDF

Info

Publication number
WO2015145933A1
WO2015145933A1 PCT/JP2015/000455 JP2015000455W WO2015145933A1 WO 2015145933 A1 WO2015145933 A1 WO 2015145933A1 JP 2015000455 W JP2015000455 W JP 2015000455W WO 2015145933 A1 WO2015145933 A1 WO 2015145933A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
observer
gazing point
display device
virtual image
Prior art date
Application number
PCT/JP2015/000455
Other languages
English (en)
French (fr)
Inventor
林　克彦
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2016509930A priority Critical patent/JPWO2015145933A1/ja
Publication of WO2015145933A1 publication Critical patent/WO2015145933A1/ja
Priority to US15/212,647 priority patent/US20160325683A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates to a virtual image display device, a head-up display system including the virtual image display device, and a vehicle equipped with the head-up system.
  • a virtual image display device such as a head-up display (HUD) displays an image in which auxiliary information for supporting driving is drawn on a foreground of a driver on a vehicle such as an automobile as a virtual image.
  • Patent Document 1 discloses a virtual image display device that changes the display distance of a virtual image by changing the amount of parallax between the left-eye virtual image and the right-eye virtual image to be visually recognized by both the left and right eyes and fusing them. ing.
  • Fusion is realized by the movement of the eyeball and the action of the visual center. Therefore, the time for realizing the fusion has individual differences. In a situation where a driver who is driving a vehicle has to pay much attention, it is not preferable from the viewpoint of safety if it takes time to realize the fusion.
  • This disclosure is intended to provide a virtual image display device, a head-up display system, and a vehicle that are improved in convenience by supporting fusion.
  • a virtual image display device includes a display device that outputs a parallax image, an optical system that displays a virtual image based on the parallax image, an acquisition unit that acquires a change in an observer's gaze point, and an observer's When the change of the gazing point from the first gazing point to the second gazing point is acquired, at least one between the parallax image corresponding to the first gazing point and the parallax image corresponding to the second gazing point is obtained.
  • a control unit that controls the display device to generate an intermediate parallax image.
  • FIG. 1 is a diagram illustrating a configuration of a head-up display system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the display device, the parallax barrier, the control unit, and the imaging apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating a relationship between the image for the left eye, the image for the right eye, and the stereoscopic image according to the first embodiment.
  • FIG. 4 is a diagram illustrating the amount of parallax when the observer's gazing point changes from near to far.
  • FIG. 5 is a diagram illustrating the amount of parallax when the observer's gazing point changes from far to near.
  • FIG. 6 is a flowchart showing the operation of the head-up display system according to the first embodiment.
  • FIG. 7 is a diagram illustrating a configuration of a head-up display system according to the second embodiment.
  • FIG. 8 is a flowchart showing the operation of the head-up display system according to the
  • Embodiment 1 [1-1. Head-up display system configuration]
  • the head-up display system of the present disclosure is provided, for example, in a driver's seat of an automobile. The configuration of the head-up display system will be described.
  • FIG. 1 is a diagram showing a configuration of a head-up display system 100 according to the first embodiment.
  • the head-up display system 100 includes a virtual image display device 200, an imaging device 300, and a windshield 400.
  • the virtual image display device 200 includes a housing 210, a display device 220, a parallax barrier 230, a mirror 240 including a first mirror 241, a second mirror 242, and a control unit such as a microcomputer. 250.
  • the housing 210 has an opening 260.
  • the opening 260 may be covered with a transparent cover.
  • the virtual image display device 200 is disposed, for example, inside a dashboard of an automobile.
  • the image displayed by the display device 220 is reflected through the first mirror 241, further reflected through the second mirror 242, further reflected through the windshield 400, and guided to the observer D inside the vehicle to be a virtual image. I is displayed.
  • a liquid crystal display Liquid Crystal Display
  • an organic EL display Organic Electroluminescence Display
  • a plasma display Plasma Display
  • the display device 220 displays various information such as road progress guidance, a distance to a preceding vehicle, a remaining battery level of the automobile, and a current vehicle speed.
  • the first mirror 241 is provided in the upper part of the display device 220 in the vertical direction, and its reflection surface is directed in the second mirror direction.
  • the mirror 240 may not be provided, and the image output from the display device 220 may be directly projected onto the windshield 400 through the opening 260.
  • the imaging device 300 is a camera that photographs the viewpoint area 500 of the observer D inside the automobile.
  • the imaging device 300 supplies the captured image to the control unit 250.
  • the control unit 250 detects the position of the gazing point of the observer D by analyzing the supplied captured image.
  • the position of the gazing point is a front position where the observer D is gazing through the windshield 400.
  • the position of the gazing point is grasped as a distance from the observer D.
  • the control unit 250 can derive the convergence point by analyzing the pupil direction of both eyes of the observer D and detect the position of the gazing point X.
  • the detection of the gazing point is not limited to this, and any other method may be used as long as it can detect the position of the gazing point of the observer D.
  • the windshield 400 is a shield provided to protect the observer D inside the automobile from the air flow coming from the front while the automobile is running.
  • the windshield 400 is made of glass, for example.
  • the windshield 400 is used, but the present invention is not limited to this. Instead of the windshield 400, a combiner may be used.
  • FIG. 2 is a configuration diagram of the display device 220, the parallax barrier 230, the control unit 250, and the imaging device 300.
  • the parallax barrier 230 is formed in a one-dimensional stripe shape on a glass substrate by depositing a light shielding material such as chromium on a glass substrate (not shown). A portion where the light shielding material is not deposited becomes the opening 231.
  • the display device 220 has pixels composed of R (RED), G (Green), and B (Blue).
  • each pixel of the display device 220 is spatially divided as a left-eye pixel 221 and a right-eye pixel 222. That is, the pixels of the display device 220 are alternately assigned as the left eye pixel 221 and the right eye pixel 222.
  • the control unit 250 analyzes the image captured by the imaging device 300 to detect the gazing point of the observer D, and controls the display image of the display device 220 based on the detected gazing point.
  • the display device 220 outputs a display image according to control from the control unit 250.
  • the parallax barrier 230 has openings 231 formed at predetermined intervals.
  • the light emitted from the display device 220 is controlled by the aperture 231, the light emitted from the left eye pixel 221 is directed to the left eye of the observer D, and the light emitted from the right eye pixel 222 is observed to the observer D. Reach the right eye.
  • the display device 220 and the parallax barrier 230 can present an image with parallax to the observer D.
  • FIG. 3 is a diagram showing a relationship among the virtual image image IL for the left eye, the virtual image IR for the right eye, and the stereoscopic image S of the observer D.
  • the left-eye virtual image IL and the right-eye virtual image IR which are virtual images I of parallax images, are displayed at predetermined positions.
  • the observer D perceives that the stereoscopic image S obtained by stereoscopic viewing of the left-eye virtual image image IL and the right-eye virtual image image IR is far from a predetermined position.
  • the predetermined positions at which the left-eye virtual image IL and the right-eye virtual image IR, which are the virtual images I are defined as “reference virtual image positions”.
  • the convergence angle of the virtual image displayed at an arbitrary position is different from the convergence angle of the virtual image displayed at the reference virtual image position.
  • the stereoscopic image becomes double and the visibility deteriorates.
  • the relationship between the parallax amount Q given to the display image of the display device 220 and the stereoscopic distance L that is the distance from the observer D to the fusion position, which is the position where the fused image is perceived, is expressed by ).
  • the controller 250 changes the parallax amount Q between the right-eye virtual image IR and the left-eye virtual image IL, so that the convergence angle ⁇ changes according to the parallax Q, and the virtual image I displayed to the observer D is displayed.
  • the display distance can be changed.
  • the fusion includes a case in which a straight line that connects the left and right pupil positions of the observer D and the left and right parallax images independently is left and right, and the intersection point corresponds to a gazing point.
  • a case where the convergence angle when the left and right parallax images are viewed independently by the left and right eyes and the convergence angle when the gazing point is at the same point is included.
  • the display device 220 outputs the left-eye image and the right-eye image by space division, but the present disclosure is not limited to this.
  • the display device 220 may sequentially output the left-eye image and the right-eye image by time division.
  • parallax barrier 230 is used in the above description, the present disclosure is not limited to this.
  • Other configurations such as a lenticular lens and a liquid crystal lens may be used as long as they can control the light distribution of the light projected from the display device 220.
  • the fusion support operation when the observer D moves the viewpoint from the first gazing point to the second gazing point will be described.
  • the movement of the viewpoint occurs due to a change in the driving environment of the observer D, for example, a speed change, a change in the vehicle window, a change in the outside environment, a change in navigation, and the like.
  • FIG. 4 is a diagram illustrating the amount of parallax when the gazing point of the observer D changes from near to far.
  • the left side shows the case where the viewpoint of the observer D is at the first gazing point Xa
  • the right side shows the case where the viewpoint of the observer D is at the second gazing point Xb.
  • the intersection point between the line connecting the right eye DR of the observer D and the first gazing point Xa and the reference virtual image position A-1 is represented by ARa.
  • the intersection of the line connecting the left eye DL of the observer D and the first gazing point Xa and the reference virtual image position A-1 is ALa, and the parallax amount of the first gazing point Xa is Qa.
  • the viewpoint of the observer D is at the second gazing point Xb
  • the intersection of the line connecting the left eye DL of the observer D and the second gazing point Xb and the reference virtual image position A-1 is ALb
  • the parallax amount of the second gazing point Xb is Qb.
  • the virtual image I of the parallax image is displayed on the reference virtual image position A-1. That is, the right-eye virtual image IR is displayed on ARa, and the left-eye virtual image IL is displayed on ALa.
  • the viewpoint of the observer D moves from the first gazing point Xa to the second gazing point Xb.
  • the virtual image I of the parallax image is displayed at the reference virtual image position A-1. That is, the right-eye virtual image IR is displayed on ARb, and the left-eye parallax virtual image IL is displayed on ALb.
  • FIG. 5 is a diagram illustrating the amount of parallax when the gazing point of the observer D changes from far to near.
  • the left side shows a case where the viewpoint of the observer D is at the first gazing point Xa
  • the right side shows a case where the viewpoint of the observer D is at the second gazing point Xb.
  • the intersection point between the line connecting the right eye DR of the observer D and the first gazing point Xa and the reference virtual image position A-1 is represented by ARa.
  • ALa be the intersection of the line connecting the left eye DL of the observer D and the first gazing point Xa and the reference virtual image position A-1.
  • the virtual image I of the parallax image is displayed on the reference virtual image position A-1. That is, the right-eye virtual image IR is displayed on ARa, and the left-eye virtual image IL is displayed on ALa.
  • the head-up display system 100 adjusts the parallax amount of the display image so as to be fused at the position of the gazing point of the observer D.
  • the movement of the gazing point is accompanied by the movement in the horizontal direction with respect to the traveling direction, but will be described mainly as the movement of the observer D in the front-rear direction.
  • the output image of the display device 220 does not need to be a parallax image.
  • the display device 220 displays a parallax image.
  • FIG. 6 is a flowchart showing the operation of the head-up display system 100 according to the first embodiment.
  • the position information of the gazing point is obtained by photographing the viewpoint region 500 of the observer D by the imaging device 300 and calculated.
  • the control unit 250 calculates the first parallax amount Qa for fusing the first gazing point Xa with the position information of the gazing point using (Equation 1). Then, the control unit 250 generates a parallax image based on the calculated first parallax amount Qa and causes the display device 220 to display the parallax image.
  • (S602) It is determined whether or not there is a change in the watch point of the observer D, that is, whether or not the observer has moved from the first watch point Xa to the second watch point Xb. The determination is made by detecting a change in the viewpoint area 500 of the observer D by the imaging apparatus 300. When there is no change in the gazing point of the observer D (in the case of No), the process returns to S602. If there is a change in the gazing point of the observer D (Yes), the process proceeds to S603.
  • the control unit 250 acquires the position information of the second gazing point Xb from the imaging apparatus 300, and uses the position information of the second gazing point Xb using (Equation 1) to determine the second gazing point Xb.
  • a second parallax amount Qb for fusing the image is calculated.
  • the control unit 250 calculates the difference ⁇ Q between the first parallax amount Qa and the second parallax amount Qb, and based on the calculated difference ⁇ Q, the parallax image of the first parallax amount Qa and the first parallax image Qa
  • the number n of intermediate parallax images provided between parallax images having a parallax amount Qb of 2 (n is a natural number of 1 or more) is determined. For example, when the viewpoint movement from the first gazing point Xa to the second gazing point Xb is 0.9 degrees as the angle change amount of the convergence angle, the number of stages is set to three.
  • the angle change amount is 0.9 degrees and the number of steps is 3, for example, the angle change amount is 0.3 degrees as the first step, the angle change amount 0.6 degrees as the second step, As an eye, the angular velocity change amount is 0.9 degrees, that is, the second gazing point Xb.
  • the control unit 250 calculates a parallax amount corresponding to these angle change amounts.
  • the control unit 250 generates a parallax image based on the calculated parallax amount, and causes the display device 220 to display the parallax image.
  • the display of the parallax image includes a parallax image corresponding to the first gazing point Xa, a parallax image corresponding to a parallax amount having an angle change amount of 0.3 degrees, a parallax image corresponding to a parallax amount having an angle change amount of 0.6 degrees,
  • the parallax images corresponding to the second gazing point Xb are continuously displayed in the order. Then, the observer D sees these parallax images displayed at the reference virtual image position, so that the stereoscopic image S obtained by stereoscopic viewing them is gradually moved from the first gazing point to the second gazing point. Can be visually recognized.
  • the head-up display system 100 is a virtual image of a parallax image generated in stages when the observer D moves his / her line of sight from the first gazing point Xa to the second gazing point Xb.
  • the viewpoint D moves, the viewer D is more comfortable than the case where the parallax image corresponding to the first gazing point Xa is directly switched from the parallax image corresponding to the second gazing point Xb and displayed.
  • 3D viewpoint movement is possible.
  • the “3D Consortium” established for the purpose of developing and popularizing 3D 3D display devices and expanding 3D content is “3DC Safety Guidelines for 3D dissemination that is friendly to humans” Revised on April 20, 2010 (3DC Safety Guidelines for Dissociation of Human-friendly 3D Revised on April 20, 2010) has been formulated. According to these guidelines, it is recommended that the comfortable parallax range should be about 2 degrees in the convergence angle when targeting an unspecified number of people, and 1 degree or less in the conventional research and empirical rules. However, even if the amount of change in the convergence angle accompanying the movement of the gazing point is 1 degree or less, the smaller the amount of parallax and the amount of change in the amount of parallax, the easier it is to stereoscopically view. Generating an intermediate parallax image is effective for stereoscopic viewpoint movement.
  • the generation of the intermediate parallax image is assumed to have changed from the convergence angle ⁇ to the convergence angle ⁇ , and ⁇ / n in accordance with the number of steps n with respect to the change in convergence angle ⁇ .
  • An intermediate parallax image to which a parallax amount is given may be generated and inserted. Further, the added amount may not be a per capita rate.
  • the display device 220 may not output a parallax image.
  • the speed at which the amount of parallax is changed and the number of steps in which the amount of parallax is changed may be statistically determined from the age of the observer D or the like, or may be corrected as appropriate based on the imaging result of the imaging device 300. You may do it. Further, the number of steps may be increased as the change amount of the parallax amount is larger.
  • Embodiment 2 [2-1. Head-up display system configuration] Next, a head-up display system according to Embodiment 2 will be described. In the present embodiment, the description will mainly focus on differences from the first embodiment in the configuration of the head-up display system.
  • FIG. 7 is a diagram showing a configuration of the head-up display system 700 according to the second embodiment.
  • the head-up display system 700 includes a virtual image display device 600, an imaging device 300, a windshield 400, and a sensor device 800.
  • the imaging apparatus 300 and the windshield 400 have the same configuration as that of the first embodiment, description thereof is omitted.
  • the virtual image display device 600 includes a housing 210, a display device 220, a parallax barrier 230, a mirror 240 including a first mirror 241 and a second mirror 242, and a control unit such as a microcomputer. 650.
  • the housing 210 has an opening 260. Since the structures of the housing 210, the display device 220, the parallax barrier 230, and the mirror 240 are the same as those in Embodiment 1, the description thereof is omitted.
  • the sensor device 800 is installed in a bumper or the like disposed in front of the automobile, and detects an object such as a pedestrian or a bicycle entering the field of view from the left and right directions outside the field of view of the observer D in front of the automobile.
  • the sensor device 800 supplies the detected result to the control unit 250.
  • the control unit 250 identifies the object by analyzing the supplied result.
  • FIG. 8 is a flowchart showing the operation of the head-up display system 700 according to the second embodiment.
  • control unit 650 calculates a first amount of parallax from the first gaze point, generates a parallax image based on the calculated amount of parallax, and displays it on the display device 220. Display.
  • the presence / absence of an object in front of the car is determined.
  • the control unit 650 determines by analyzing the result supplied from the sensor device 800. If it is determined that there is no object (No), the process returns to S802. If it is determined that there is an object (Yes), the process proceeds to S803.
  • the control unit 650 acquires the position information of the object from the detection result of the sensor device 800, and calculates the second amount of parallax based on the acquired position information.
  • the control unit 650 calculates the difference between the first parallax amount and the second parallax amount, and based on the calculated difference, the parallax image of the first parallax amount and the parallax image of the second parallax amount.
  • the number n of intermediate parallax images provided between them (n is a natural number of 1 or more) is determined.
  • the number of stages is set to three.
  • the control unit 650 calculates a parallax amount corresponding to these angle change amounts.
  • the control unit 650 generates a parallax image based on the calculated parallax amount, and causes the display device 220 to display the parallax image.
  • the display of the parallax image includes a parallax image corresponding to the first gazing point, a parallax image corresponding to a parallax amount having an angle change amount of 0.3 degrees, a parallax image corresponding to a parallax amount having an angle change amount of 0.6 degrees, and an object Are continuously displayed in the order of parallax images corresponding to the positions. Then, the observer D can visually recognize the virtual image I of the parallax image at the reference virtual image position.
  • the head-up display system 700 of the present disclosure is generated in stages when the observer D moves the gazing point from the first gazing point to the second gazing point that is the position of the object.
  • the viewpoint By stereoscopically viewing the virtual image of the parallax image, it is possible to assist the visual movement from the stereoscopic image fused to the first gazing point to the stereoscopic image fused to the position of the object. That is, when the observer D moves the viewpoint, the stereoscopic view is more comfortable than when the parallax image corresponding to the first gazing point is directly switched from the parallax image corresponding to the gazing point of the object and displayed. Can move the viewpoint.
  • the virtual image display device and the head-up display system including the virtual image display device according to the present disclosure are simulations that allow the user to experience not only the use of a vehicle such as an automobile but also the control seat of an airplane or a ship or a game machine. It can also be applied to systems.
  • Head-up display system 100,700 Head-up display system 200,600 Virtual image display device 210 Case 220 Display device 230 Parallax barrier 231 Opening 221 Pixel for left eye 222 Pixel for right eye 240 Mirror 241 First mirror 242 Second mirror 250, 650 Controller 260 Aperture 300 Imaging device 400 Windshield 500 Viewpoint area 800 Sensor device

Abstract

　本開示は、融像を支援することにより、利便性を向上させた虚像表示装置を提供することを目的とする。本開示の虚像表示装置は、視差画像を出力する表示デバイスと、視差画像に基づいて虚像を表示する光学系と、観察者の注視点の変化を取得する取得部と、取得部から観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、第１の注視点に対応する視差画像と第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように表示デバイスを制御する制御部と、を備える。

Description

虚像表示装置、ヘッドアップディスプレイシステム及び乗物
　本開示は、虚像表示装置、虚像表示装置を備えたヘッドアップディスプレイシステム及びヘッドアップシステムを搭載した乗物に関する。
　ヘッドアップディスプレイ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ：ＨＵＤ）のような虚像表示装置は、自動車等の車両に乗った運転手の前景に、運転を支援するための補助情報を描画した画像を虚像として重畳表示する。特許文献１には、左眼用虚像と右眼用虚像の視差量を変更して左右両眼のそれぞれで視認させ、融像させることにより、虚像の表示距離を変更する虚像表示装置が開示されている。
特開２００５－３０１１４４号公報
　融像は、眼球の運動や、視覚中枢の働きによって実現される。そのため、融像を実現する時間は、個人差がある。車両を運転中の運転手が、多くの注意を払わなければならない状況下において、融像の実現に時間を要していては、安全性の観点から好ましくない。
　本開示は、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供することを目的とする。
　本開示の虚像表示装置は、視差画像を出力する表示デバイスと、視差画像に基づいて虚像を表示する光学系と、観察者の注視点の変化を取得する取得部と、取得部から観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、第１の注視点に対応する視差画像と第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように表示デバイスを制御する制御部と、を備える。
　本開示によれば、融像を支援することにより、利便性を向上させた虚像表示装置、ヘッドアップディスプレイシステム及び乗物を提供できる。
図１は、実施の形態１に係るヘッドアップディスプレイシステムの構成を示す図である。 図２は、実施の形態１に係る表示デバイスと視差バリアと制御部と撮像装置の構成を示すブロック図である。 図３は、実施の形態１に係る観察者の左眼用画像と右眼用画像と立体像の関係を示す図である。 図４は、観察者の注視点が、近くから遠くに変化した場合の視差量を説明する図である。 図５は、観察者の注視点が、遠くから近くに変化した場合の視差量を説明する図である。 図６は、実施の形態１に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。 図７は、実施の形態２に係るヘッドアップディスプレイシステムの構成を示す図である。 図８は、実施の形態２に係るヘッドアップディスプレイシステムの動作を示すフローチャートである。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　［１－１．ヘッドアップディスプレイシステムの構成］
　本開示のヘッドアップディスプレイシステムは、例えば、自動車の運転席に備えられる。ヘッドアップディスプレイシステムの構成について説明する。
　図１は、実施の形態１に係るヘッドアップディスプレイシステム１００の構成を示す図である。ヘッドアップディスプレイシステム１００は、虚像表示装置２００と、撮像装置３００、ウインドシールド４００を備えている。
　虚像表示装置２００は、筐体２１０と、筐体２１０の内部に表示デバイス２２０と視差バリア（Ｐａｒａｌｌａｘ　Ｂａｒｒｉｅｒ）２３０と第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０とマイコン等の制御部２５０を備えている。また、筐体２１０は開口２６０を有している。開口２６０は、透明のカバーで覆われていてもよい。
　虚像表示装置２００は、例えば、自動車のダッシュボードの内部に配置される。表示デバイス２２０が表示する画像を、第１ミラー２４１を介して反射させ、さらに第２ミラー２４２を介して反射させ、さらにウインドシールド４００を介して反射させ、車両内部の観察者Ｄに導いて虚像Ｉを表示する。
　表示デバイス２２０は、液晶ディスプレイ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）、プラズマディスプレイ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ）などが用いられる。表示デバイス２２０は、道路進行案内や、前方車両までの距離、自動車のバッテリー残量、現在の車速など、各種の情報を表示する。第１ミラー２４１は、表示デバイス２２０の垂直方向上部に設けられ、その反射面を第２ミラー方向に向けている。
　なお、ミラー２４０は無くてもよく、表示デバイス２２０から出力された画像を、開口２６０を介してウインドシールド４００に直接投射してもよい。
　撮像装置３００は、自動車内部の観察者Ｄの視点領域５００を撮影するカメラである。撮像装置３００は、撮影した画像を制御部２５０に供給する。制御部２５０は、供給された撮影画像を解析することにより、観察者Ｄの注視点の位置を検出する。ここで、注視点の位置とは、観察者Ｄがウインドシールド４００越しに注視している前方の位置である。注視点の位置は、観察者Ｄからの距離として把握される。制御部２５０は、観察者Ｄの両眼の瞳方向を解析することにより輻輳点を導出し、注視点Ｘの位置を検出することができる。
　なお、注視点の検出は、これに限定されず、観察者Ｄの注視点の位置を検出できる方法であれば、他の方法であってもよい。
　ウインドシールド４００は、自動車走行中に前方から来る空気の流れから、自動車内部の観察者Ｄを保護するために設けられるシールドである。ウインドシールド４００は、例えば、ガラスにより構成される。
　本実施の形態では、ウインドシールド４００を用いた場合を例示するが、これに限定されない。ウインドシールド４００の代わりに、コンバイナーを用いてもよい。
　［１－２．表示デバイスと視差バリアの構成］
　次に、表示デバイス２２０と視差バリア２３０の構成について詳細に説明する。図２は、表示デバイス２２０と視差バリア２３０と制御部２５０と撮像装置３００の構成図である。視差バリア２３０は、図示しないガラス基板に、例えば、クロムなどの遮光材料を蒸着させ、ガラス基板上に１次元的にストライプ状に形成される。遮光材料が蒸着されない部分が開口２３１となる。
　表示デバイス２２０は、Ｒ（ＲＥＤ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）からなる画素を有している。実施の形態１では、表示デバイス２２０の各画素は、左眼用画素２２１及び右眼用画素２２２として、空間分割されている。すなわち、表示デバイス２２０の各画素は、左眼用画素２２１と右眼用画素２２２として交互に割り当てられる。
　制御部２５０は、撮像装置３００が撮像した画像を解析することにより、観察者Ｄの注視点を検出し、検出した注視点に基づいて表示デバイス２２０の表示画像を制御する。表示デバイス２２０は、制御部２５０からの制御に従って、表示画像を出力する。
　視差バリア２３０は、所定の間隔で開口２３１が形成されている。開口２３１によって、表示デバイス２２０から出射した光は、配光を制御され、左眼用画素２２１から出射した光は観察者Ｄの左眼に、右眼用画素２２２から出射した光は観察者Ｄの右眼に到達する。これにより、表示デバイス２２０と視差バリア２３０は、観察者Ｄに視差のある画像を提示することができる。
　図３は、観察者Ｄの左眼用虚像画像ＩＬと右眼用虚像画像ＩＲと立体像Ｓの関係を示す図である。観察者Ｄは、ヘッドアップディスプレイシステム１００を用いると、所定の位置に視差画像の虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲが表示される。観察者Ｄは、左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲを見ることで、これらを立体視して融像した立体像Ｓが所定の位置より遠方にあるように知覚する。
　ここで、虚像Ｉである左眼用虚像画像ＩＬ及び、右眼用虚像画像ＩＲの表示される所定の位置を「基準虚像位置」と定義する。
　一般的に、観察者Ｄの注視点と基準虚像位置が異なり、その距離が大きい場合、任意の位置に表示した虚像の輻輳角は、基準虚像位置に表示した虚像の輻輳角と角度が異なるために、立体像は二重になり視認性が劣化する。
　ここで、表示デバイス２２０の表示画像に与える視差量Ｑと、観察者Ｄから、融像した像を知覚する位置である融像位置までの距離である立体視距離Ｌとの関係を（数１）に示す。
Figure JPOXMLDOC01-appb-M000001
　制御部２５０は、右眼用虚像画像ＩＲと左眼用虚像画像ＩＬの視差量Ｑを変化させることで、輻輳角θが視差量Ｑに応じて変化し、観察者Ｄに表示される虚像Ｉの表示距離を変化させることが出来る。
　ここでの融像とは、観察者Ｄの左右の瞳位置と左右の視差画像をそれぞれ左右独立に接続する直線を引いた場合に、その交点が注視点に相当する場合を含む。また、左右の視差画像をそれぞれ独立に左右の眼で見た場合の輻輳角と、注視点にある場合の輻輳角が一致する場合も含む。
　なお、表示デバイス２２０は、空間分割により左眼用画像及び、右眼用画像を出力するとしたが、本開示はこれに限定されない。表示デバイス２２０は、時間分割により、左眼用画像及び、右眼用画像を順次出力するようにしてもよい。
　なお、上述では視差バリア２３０を用いるとしたが、本開示はこれに限定されない。レンチキュラレンズや、液晶レンズなど、表示デバイス２２０から投射された光の配光を制御できる構成であれば、他の構成であっても構わない。
　［１－３．動作］
　次に、ヘッドアップディスプレイシステム１００の動作を説明する。
　本実施の形態では、観察者Ｄが第１の注視点から第２の注視点へ視点移動をした場合の融像支援動作について説明する。視点移動は、観察者Ｄの運転の環境変化、例えば、スピード変化、車窓の変化、車外環境の変化、ナビゲーションの変化など、により発生する。
　図４は、観察者Ｄの注視点が、近くから遠くに変化した場合の視差量を説明する図である。図４において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図４において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ－１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ－１との交点をＡＬａとし、第１の注視点Ｘａの視差量をＱａとする。また、図４において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ－１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ－１との交点をＡＬｂとし、第２の注視点Ｘｂの視差量をＱｂとする。
　図４に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ－１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
　次に、観察者Ｄの視点が、第１の注視点Ｘａから第２の注視点Ｘｂに移動する。このとき、基準虚像位置Ａ－１に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲｂに表示させ、左眼用の視差虚像画像ＩＬをＡＬｂに表示する。
　図５は、観察者Ｄの注視点が遠くから近くに変化した場合の視差量を説明する図である。図５において、左側は観察者Ｄの視点が第１の注視点Ｘａにある場合で、右側は観察者Ｄの視点が第２の注視点Ｘｂにある場合を示している。図５において、観察者Ｄの視点が第１の注視点Ｘａにある場合、観察者Ｄの右眼ＤＲと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ－１との交点をＡＲａ、観察者Ｄの左眼ＤＬと第１の注視点Ｘａとを結ぶ線と基準虚像位置Ａ－１との交点をＡＬａとする。また、図５において、観察者Ｄの視点が第２の注視点Ｘｂにある場合、観察者Ｄの右眼ＤＲと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ－１との交点をＡＲｂ、観察者Ｄの左眼ＤＬと第２の注視点Ｘｂとを結ぶ線と基準虚像位置Ａ－１との交点をＡＬｂとする。
　図５に示すように、観察者Ｄの視点が第１の注視点Ｘａにある場合、基準虚像位置Ａ－１上に、視差画像の虚像Ｉを表示する。すなわち、右眼用虚像画像ＩＲをＡＲａに表示させ、左眼用虚像画像ＩＬをＡＬａに表示する。
　ヘッドアップディスプレイシステム１００は、観察者Ｄの注視点の位置に融像するよう表示画像の視差量を調整する。ここで、注視点の移動とは、進行方向に対して水平方向にも移動を伴うが、主として観察者Ｄの前後方向への移動であるとして説明する。第１の注視点の位置が、基準虚像位置と一致する場合は、表示デバイス２２０の出力画像は視差画像である必要はない。しかし、第１の注視点の位置が基準虚像位置と一致しない場合は、表示デバイス２２０は視差画像を表示する。
　図６は、実施の形態１に係るヘッドアップディスプレイシステム１００の動作を示すフローチャートである。
　（Ｓ６０１）注視点の位置情報は、撮像装置３００により観察者Ｄの視点領域５００を撮影することで取得し、算出される。制御部２５０は、注視点の位置情報を（数１）を用いて、第１の注視点Ｘａに融像するための第１の視差量Ｑａを算出する。そして、制御部２５０は、算出した第１の視差量Ｑａに基づいて視差画像を生成し、表示デバイス２２０に表示させる。
　（Ｓ６０２）観察者Ｄの注視点に変化があるか否か、すなわち、第１の注視点Ｘａから第２の注視点Ｘｂに移動したか否かを判定する。判定は、撮像装置３００による観察者Ｄの視点領域５００の変化を検知することで判定する。観察者Ｄの注視点に変化が無い場合（Ｎｏの場合）、Ｓ６０２に戻る。観察者Ｄの注視点に変化がある場合（Ｙｅｓの場合）、Ｓ６０３へ進む。
　（Ｓ６０３）制御部２５０は、撮像装置３００から第２の注視点Ｘｂの位置情報を取得し、第２の注視点Ｘｂの位置情報を（数１）を用いて、その第２の注視点Ｘｂに融像させるための第２の視差量Ｑｂを算出する。
　（Ｓ６０４）続いて、制御部２５０は、第１の視差量Ｑａと第２の視差量Ｑｂの差分ΔＱを算出し、算出した差分ΔＱに基づいて、第１の視差量Ｑａの視差画像と第２の視差量Ｑｂの視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。例えば、第１の注視点Ｘａから第２の注視点Ｘｂへの視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
　（Ｓ６０５）角度変化量が０．９度で、段階数が３段階の場合、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度、３断目として角速度変化量０．９度、すなわち、第２の注視点Ｘｂとする。制御部２５０は、これらの角度変化量に対応する視差量を算出する。
　（Ｓ６０６）制御部２５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点Ｘａに対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、第２の注視点Ｘｂに対応する視差画像の順に連続して表示させる。そして、観察者Ｄは、基準虚像位置に表示されたこれらの視差画像を見ることで、これらを立体視した立体像Ｓが第１の注視点から徐々に第２の注視点に移動しているように視認できる。
　［１－４．効果等］
　以上のように、本開示のヘッドアップディスプレイシステム１００は、観察者Ｄが、第１の注視点Ｘａから第２の注視点Ｘｂに視線移動したときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点Ｘａに融像された立体像から第２の注視点Ｘｂに融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点Ｘａに対応する視差画像から、第２の注視点Ｘｂに対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
　ここで、３Ｄ立体表示機器の開発、普及や３Ｄコンテンツの拡大を図ることを目的として設立された「３Ｄコンソーシアム」では、「人にやさしい３Ｄ普及のための３ＤＣ安全ガイドライン　２０１０年４月２０日改訂」（３ＤＣ　Ｓａｆｅｔｙ　Ｇｕｉｄｅｌｉｎｅｓ　ｆｏｒ　Ｄｉｓｓｅｍｉｎａｔｉｏｎ　ｏｆ　Ｈｕｍａｎ－ｆｒｉｅｎｄｌｙ　３Ｄ　ｒｅｖｉｓｅｄ　ｏｎ　Ａｐｒｉｌ　２０，２０１０）が策定されている。このガイドラインによると、快適視差範囲として、不特定多数を対象とする場合輻輳角で２度程度、従来の研究や経験則では１度以下が目安である、と推奨している。しかし、注視点の移動に伴う輻輳角の変化量が１度以下であっても、視差量及び視差量の変化量が少なければ少ない程、立体視はしやすいので、中間の視差量を付与した中間視差画像を生成することは、立体視の視点移動に効果がある。
　なお、中間の視差画像の生成は、図４、５に示すように、輻輳角αから輻輳角βに変化したとして、輻輳角の変化Δθに対して、段階数ｎに応じてΔθ／ｎずつ視差量を付与した中間視差像を生成し、挿入してもよい。また、付加量も均等割でなくても良い。
　なお、観察者Ｄの注視点が基準虚像位置と一致する場合は、表示デバイス２２０は、視差画像を出力しなくてもよい。
　なお、視差量を変化させる速度や、視差量を何段階で変化させるかについては、観察者Ｄの年齢等から統計的に割り出してもよいし、撮像装置３００の撮影結果に基づいて適宜補正するようにしてもよい。また、視差量の変化量が大きいほど、段階数を増やすようにしてもよい。
　（実施の形態２）
　［２－１．ヘッドアップディスプレイシステムの構成］
　次に、実施の形態２に係るヘッドアップディスプレイシステムについて説明する。本実施の形態では、ヘッドアップディスプレイシステムの構成のうち、主に実施の形態１との相違点を中心に説明する。
　図７は、実施の形態２に係るヘッドアップディスプレイシステム７００の構成を示す図である。ヘッドアップディスプレイシステム７００は、虚像表示装置６００と、撮像装置３００、ウインドシールド４００、センサーデバイス８００を備えている。
　撮像装置３００とウインドシールド４００は、実施の形態１と同じ構成であるので、説明を省略する。
　虚像表示装置６００は、筐体２１０と、筐体２１０の内部に、表示デバイス２２０と、視差バリア２３０と、第１ミラー２４１と第２ミラー２４２で構成されるミラー２４０と、マイコン等の制御部６５０を備えている。また、筐体２１０は開口２６０を有している。筐体２１０、表示デバイス２２０、視差バリア２３０、ミラー２４０の構成は、実施の形態１と同じ構成であるので、説明を省略する。
　センサーデバイス８００は、自動車の前方に配置されるバンパー等に設置され、自動車の前方の、観察者Ｄの視野外の左右方向から視野に入ってくる歩行者や自転車等の物体を検出する。センサーデバイス８００は、検出した結果を、制御部２５０に供給する。そして、制御部２５０は、供給された結果を解析することにより、物体を特定する。
　［２－２．動作］
　実施の形態２では、自動車の前方の、観察者Ｄの視野外の左右方向から視界に入る歩行者や自転車等の物体を検出した場合に、物体の位置へ観察者Ｄの注視点を移動させる動作、すなわち、観察者Ｄの注視点を、第１の注視点から物体の位置である第２の注視点へ視点を移動させる動作について説明する。図８は、実施の形態２に係るヘッドアップディスプレイシステム７００の動作を示すフローチャートである。
　（Ｓ８０１）実施の形態１のＳ６０１と同様に、制御部６５０は、第１の注視点から第１の視差量を算出し、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。
　（Ｓ８０２）自動車の前方の物体の有無を判定する。制御部６５０は、センサーデバイス８００から供給された結果を解析することで判定する。物体が無いと判定された場合（Ｎｏの場合）、Ｓ８０２に戻り、物体があると判定された場合（Ｙｅｓの場合）、Ｓ８０３へ進む。
　（Ｓ８０３）制御部６５０は、センサーデバイス８００の検出結果から、物体の位置情報を取得し、取得した位置情報に基づいて、第２の視差量を算出する。
　（Ｓ８０４）制御部６５０は、第１の視差量と第２の視差量の差分を算出し、算出した差分に基づいて、第１の視差量の視差画像と第２の視差量の視差画像の間に設ける中間視差画像の段階数ｎ（ｎは１以上の自然数）を決定する。
　例えば、第１の注視点から第２の注視点への視点移動が、輻輳角の角度変化量として０．９度であった場合に、段階数を３段階とする。
　（Ｓ８０５）角度変化量が０．９度で、段階数が３段階であるため、例えば、１段階目として角度変化量が０．３度、２段階目として角度変化量０．６度とする。制御部６５０は、これらの角度変化量に対応する視差量を算出する。
　（Ｓ８０６）そして、制御部６５０は、算出した視差量に基づいて視差画像を生成し、表示デバイス２２０に表示させる。視差画像の表示は、第１の注視点に対応する視差画像、角度変化量０．３度の視差量に対応する視差画像、角度変化量０．６度の視差量に対応する視差画像、物体の位置に対応する視差画像の順番で連続して表示させる。そして、観察者Ｄは、基準虚像位置に視差画像の虚像Ｉを視認できる。
　［２－３．効果等］
　以上のように、本開示のヘッドアップディスプレイシステム７００は、観察者Ｄが、第１の注視点から物体の位置である第２の注視点へ注視点を移動させるときに、段階的に生成された視差画像の虚像を立体視することで、第１の注視点に融像された立体像から物体の位置に融像された立体像への視認の移動を支援することができる。すなわち、観察者Ｄは、視点移動する場合に、第１の注視点に対応する視差画像から、物体の注視点に対応する視差画像へ直接切り替えて表示された場合と比べ、より快適な立体視の視点移動ができる。
　本開示の虚像表示装置および虚像表示装置を備えたヘッドアップディスプレイシステムは、自動車等の車両の用途だけでなく、飛行機や船舶の操縦席や、ゲーム機等の操縦をユーザに体感させるようなシミュレーションシステム等にも適用可能である。
　１００，７００　ヘッドアップディスプレイシステム
　２００，６００　虚像表示装置
　２１０　筐体
　２２０　表示デバイス
　２３０　視差バリア
　２３１　開口
　２２１　左眼用画素
　２２２　右眼用画素
　２４０　ミラー
　２４１　第１ミラー
　２４２　第２ミラー
　２５０，６５０　制御部
　２６０　開口
　３００　撮像装置
　４００　ウインドシールド
　５００　視点領域
　８００　センサーデバイス

Claims (6)

  1. 　視差画像を出力する表示デバイスと、
    　前記視差画像に基づいて虚像を表示する光学系と、
    　観察者の注視点の変化を取得する取得部と、
    　前記取得部から前記観察者の注視点の第１の注視点から第２の注視点への変化を取得すると、前記第１の注視点に対応する視差画像と前記第２の注視点に対応する視差画像との間に、少なくとも１つの中間視差画像を生成するように前記表示デバイスを制御する制御部と、を備える、
    虚像表示装置。
  2. 　前記観察者の注視点の第１の注視点から第２の注視点への変化とは、
    前記観察者による注視点の移動である、
    請求項１に記載の虚像表示装置。
  3. 　前記観察者の注視点の第１の注視点から第２の注視点への変化とは、
    前記第１の注視点は前記観察者の注視点であり、前記第２の注視点は前記観察者の視野外から視野内に入る物体の位置である、
    請求項１に記載の虚像表示装置。
  4. 　前記制御部は、前記第１の注視点と前記第２の注視点との差分に応じて、生成する前記中間視差画像の数を決定する、
    請求項１に記載の虚像表示装置。
  5. 　請求項１に記載の虚像表示装置を備えるヘッドアップディスプレイシステム。
  6. 　請求項５に記載のヘッドアップディスプレイシステムを搭載する乗物。
PCT/JP2015/000455 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物 WO2015145933A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016509930A JPWO2015145933A1 (ja) 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
US15/212,647 US20160325683A1 (en) 2014-03-26 2016-07-18 Virtual image display device, head-up display system, and vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014063495 2014-03-26
JP2014-063495 2014-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/212,647 Continuation US20160325683A1 (en) 2014-03-26 2016-07-18 Virtual image display device, head-up display system, and vehicle

Publications (1)

Publication Number Publication Date
WO2015145933A1 true WO2015145933A1 (ja) 2015-10-01

Family

ID=54194497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000455 WO2015145933A1 (ja) 2014-03-26 2015-02-03 虚像表示装置、ヘッドアップディスプレイシステム及び乗物

Country Status (3)

Country Link
US (1) US20160325683A1 (ja)
JP (1) JPWO2015145933A1 (ja)
WO (1) WO2015145933A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018122619A (ja) * 2017-01-30 2018-08-09 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
CN108608862A (zh) * 2016-12-12 2018-10-02 英锜科技股份有限公司 抗眩光的抬头显示系统
JP2019030004A (ja) * 2017-07-28 2019-02-21 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
CN110794580A (zh) * 2018-08-03 2020-02-14 深圳前海智云谷科技有限公司 汽车抬头显示系统及其安装方法和消除重影的方法
JPWO2020241863A1 (ja) * 2019-05-30 2020-12-03
JP2021051229A (ja) * 2019-09-25 2021-04-01 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138789A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Display system and method for displaying images
EP3827297A4 (en) * 2018-07-26 2022-01-26 Bayerische Motoren Werke Aktiengesellschaft APPARATUS AND METHOD FOR USE WITH A VEHICLE
JP7061943B2 (ja) * 2018-08-08 2022-05-02 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイシステム、および移動体
JP7332449B2 (ja) * 2019-11-27 2023-08-23 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
KR102641118B1 (ko) * 2019-12-30 2024-02-27 삼성전자주식회사 사용자에게 ar 오브젝트를 제공하는 방법 및 장치
EP4269153A1 (en) * 2021-03-02 2023-11-01 Samsung Electronics Co., Ltd. Electronic device for projecting image on windshield of vehicle, and operating method therefor
US11733531B1 (en) * 2022-03-16 2023-08-22 GM Global Technology Operations LLC Active heads up display system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2008176096A (ja) * 2007-01-19 2008-07-31 Brother Ind Ltd 画像表示装置
JP2010072455A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 車載用表示装置及び表示方法
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
JP2011134295A (ja) * 2009-11-26 2011-07-07 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
JP2011133508A (ja) * 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8953242B2 (en) * 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2008176096A (ja) * 2007-01-19 2008-07-31 Brother Ind Ltd 画像表示装置
JP2010072455A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 車載用表示装置及び表示方法
WO2010150554A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 立体視画像表示装置
JP2011134295A (ja) * 2009-11-26 2011-07-07 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
JP2011133508A (ja) * 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884243B2 (en) 2016-07-14 2021-01-05 Ricoh Company, Ltd. Display apparatus, movable body apparatus, producing method of the display apparatus, and display method
CN109477969B (zh) * 2016-07-14 2022-03-08 株式会社理光 显示设备、可移动体设备、显示设备的制造方法和显示方法
KR20190015552A (ko) * 2016-07-14 2019-02-13 가부시키가이샤 리코 표시 장치, 이동체 장치, 표시 장치의 제조 방법, 및 표시 방법
CN109477969A (zh) * 2016-07-14 2019-03-15 株式会社理光 显示设备、可移动体设备、显示设备的制造方法和显示方法
KR102222091B1 (ko) 2016-07-14 2021-03-04 가부시키가이샤 리코 표시 장치, 이동체 장치, 표시 장치의 제조 방법, 및 표시 방법
CN108608862A (zh) * 2016-12-12 2018-10-02 英锜科技股份有限公司 抗眩光的抬头显示系统
JP2018122619A (ja) * 2017-01-30 2018-08-09 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
JP2019030004A (ja) * 2017-07-28 2019-02-21 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
JP7098452B2 (ja) 2017-07-28 2022-07-11 三星電子株式会社 イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
CN110794580A (zh) * 2018-08-03 2020-02-14 深圳前海智云谷科技有限公司 汽车抬头显示系统及其安装方法和消除重影的方法
JPWO2020241863A1 (ja) * 2019-05-30 2020-12-03
WO2020241863A1 (ja) * 2019-05-30 2020-12-03 京セラ株式会社 ヘッドアップディスプレイシステムおよび移動体
JP7337153B2 (ja) 2019-05-30 2023-09-01 京セラ株式会社 ヘッドアップディスプレイシステムおよび移動体
WO2021059997A1 (ja) * 2019-09-25 2021-04-01 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
JP2021051229A (ja) * 2019-09-25 2021-04-01 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
JP7284053B2 (ja) 2019-09-25 2023-05-30 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法

Also Published As

Publication number Publication date
JPWO2015145933A1 (ja) 2017-04-13
US20160325683A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
WO2015145933A1 (ja) 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
JP6596668B2 (ja) 虚像表示装置、ヘッドアップディスプレイシステム、及び乗物
WO2015146042A1 (ja) 画像表示装置
US10146052B2 (en) Virtual image display apparatus, head-up display system, and vehicle
EP2914002B1 (en) Virtual see-through instrument cluster with live video
JP4686586B2 (ja) 車載用表示装置及び表示方法
JP6806097B2 (ja) 画像表示装置及び画像表示方法
JP4356763B2 (ja) 操作装置
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
EP3415972B1 (en) Information display apparatus
JP2008015188A (ja) 画像提示装置および画像提示方法
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
US20140293024A1 (en) Foldable display and method and apparatus for controlling the same
US20210271077A1 (en) Method for Operating a Visual Field Display Device for a Motor Vehicle
JP2011203643A (ja) 車両用ヘッドアップディスプレイ装置
JP2016048344A (ja) ヘッドアップディスプレイシステム、虚像表示装置
JP2014050062A (ja) 立体表示装置及びその表示方法
US20190283607A1 (en) Display device and electronic mirror
JP7127415B2 (ja) 虚像表示装置
JP2016051126A (ja) ヘッドアップディスプレイシステム、虚像表示装置
WO2022255424A1 (ja) 映像表示装置
JP2007129494A (ja) ディスプレイ装置
KR20200017832A (ko) 헤드 업 디스플레이 장치
WO2023228770A1 (ja) 画像表示装置
JP2007201716A (ja) ディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15768421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016509930

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15768421

Country of ref document: EP

Kind code of ref document: A1