WO2023228771A1 - 画像表示装置、車両及び画像表示方法 - Google Patents

画像表示装置、車両及び画像表示方法 Download PDF

Info

Publication number
WO2023228771A1
WO2023228771A1 PCT/JP2023/017794 JP2023017794W WO2023228771A1 WO 2023228771 A1 WO2023228771 A1 WO 2023228771A1 JP 2023017794 W JP2023017794 W JP 2023017794W WO 2023228771 A1 WO2023228771 A1 WO 2023228771A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observer
image display
unit
display device
Prior art date
Application number
PCT/JP2023/017794
Other languages
English (en)
French (fr)
Inventor
勇志 新谷
凌一 竹内
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2023228771A1 publication Critical patent/WO2023228771A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image display device, a vehicle, and an image display method.
  • the present disclosure particularly relates to an image display device, a vehicle, and an image display method that can make a driver perceive that the scenery outside the vehicle is connected by displaying captured images of the surroundings of the vehicle on a shielding part.
  • a transparency technology that allows an observer to perceive an image as if the object is transparent.
  • a computer creates a left-eye image and a right-eye image that are perceived by the observer's left and right eyes, respectively, based on images captured by a camera installed outside the vehicle.
  • the left-eye image and the right-eye image are projected onto a shielding part that blocks the line of sight, such as a pillar or door of the vehicle, and the driver, who is an observer, perceives the image of the scenery outside the vehicle as a three-dimensional image, and the area that becomes a blind spot.
  • the user perceives that the object is transparent and connected to the scenery of the outside world (for example, see Patent Document 1).
  • An image display device includes: an imaging unit that captures an image of an observer and the surroundings of the observer and outputs image data obtained by capturing the image; a first image processing unit that generates, based on the image data, a first image of a range that is seen by the observer's right eye and corresponds to a shielding part that blocks the observer's field of view; a second image processing unit that generates a second image of a range corresponding to the shielding portion, which is seen by the left eye of the observer, based on the image data; a line-of-sight detection unit that detects the direction of the observer's face or line-of-sight direction based on image data obtained by photographing the observer; an image display unit that displays, on the shielding unit, either the first image or the second image determined based on the relationship between the face orientation or line of sight direction of the observer with respect to the shielding unit, and a monochromatic uniform image; Equipped with.
  • An image display device includes: A first image of a range corresponding to a shielding part that blocks the observer's field of view as seen by the observer's right eye, and a first image of a range corresponding to the shielding part that blocks the viewer's field of view as seen by the observer's left eye.
  • an image data processing device that generates a second image
  • a line-of-sight detection unit that detects the direction of the observer's face or line-of-sight direction
  • an image display unit that causes the observer's left eye to perceive the second image and causes the observer's right eye to perceive the monochromatic uniform image.
  • a vehicle according to an embodiment of the present disclosure includes: It has the above image display device.
  • An image display device includes: causing the observer's right eye to perceive a first image in a range corresponding to a shielding portion that blocks the observer's field of view as seen by the observer's right eye; causing the observer's left eye to perceive a second image in a range corresponding to a shielding portion that blocks the observer's field of view as seen by the observer's left eye; Either the first image or the second image determined based on the relationship between the observer's face direction or line of sight with respect to the shielding part is caused to be perceived by either the right eye or the left eye of the observer. , causing a monochromatic, uniform image to be perceived by the other of the observer's right or left eye.
  • FIG. 1 is a plan view schematically showing an example of an image display device according to an embodiment of the present disclosure.
  • FIG. 2 is a partially enlarged sectional view showing the configuration of the screen and the diffuser plate.
  • FIG. 3 is a plan view schematically showing a vehicle equipped with an image display device.
  • FIG. 4 is a side view schematically showing a vehicle equipped with an image display device.
  • FIG. 5 is a block diagram showing the configuration of the image display device.
  • FIG. 6 is a flowchart for explaining the operation of the control section.
  • FIG. 7 is a diagram showing a conventional example of a display state when viewing a display image of a shielding part with the left eye.
  • FIG. 7 is a diagram showing a conventional example of a display state when viewing a display image of a shielding part with the left eye.
  • FIG. 8 is a diagram showing a conventional example of a display state when viewing a display image of a shielding part with the right eye.
  • FIG. 9 is a diagram illustrating a conventional example of display when a parallax image is displayed on the shielding portion without making the second image a monochromatic image.
  • FIG. 10 is a diagram illustrating an example of display when a parallax image is displayed on the shielding part with the second image as a monochromatic image.
  • FIG. 11 is a diagram illustrating how the surroundings appear when a face is on the left side with respect to the shielding part.
  • FIG. 12 is a diagram illustrating how the surroundings look when a face is on the right side of the shielding part.
  • FIG. 13 is a diagram for explaining the relationship between the direction of the observer's face and the shielding part.
  • FIG. 14 is a flowchart of the process of generating the first image and the second image.
  • FIG. 15 is a diagram for explaining the relationship between the observer's line of sight and the shielding part.
  • FIG. 16 is a flowchart of the process of generating the first image and the second image.
  • FIG. 1 is a plan view schematically showing an image display device 1 according to the present embodiment.
  • FIG. 2 is a partially enlarged sectional view showing the configuration of the retroreflective screen 11 and the diffuser plate 16 provided in the image display device 1.
  • FIG. 3 is a plan view schematically showing a vehicle 2 on which the image display device 1 is mounted.
  • FIG. 4 is a side view schematically showing a vehicle 2 on which the image display device 1 is mounted.
  • the image display device 1 includes an imaging section, a first image processing section 8 (see FIG. 5), a second image processing section 9 (see FIG. 5), an image display section, and a line of sight detection section.
  • the imaging unit images the observer and the surroundings of the observer, and outputs the image data obtained by capturing the image.
  • the imaging unit includes a front exterior camera 3a, a rear exterior camera 3b, and an interior camera 6.
  • the imaging section may include one of the front exterior camera 3a and the rear exterior camera 3b, and the interior camera 6.
  • the front exterior camera 3a and the rear exterior camera 3b capture images of the surrounding scenery of the vehicle 2.
  • the in-vehicle camera 6 images the driver 5.
  • the image data of the in-vehicle camera 6 detects the positions of the left eye EL and right eye ER of the driver 5 who is an observer seated in the driver's seat 4 of the vehicle 2, and calculates the positions of the left eye EL and right eye ER and the position of the pupil. It is used to detect the direction of the driver's 5 face or line of sight from the position.
  • the first image processing section 8 determines the first image processing section 8 in the range corresponding to the shielding section 7, which is seen by one of the left eye EL and the right eye ER, based on the image data output from the front exterior camera 3a and the rear exterior camera 3b. Generate one image.
  • the shielding part 7 is an object that blocks the observer's line of sight, and is an object that blocks the observer's field of view when looking outside the vehicle from the left eye EL and right eye ER.
  • the second image processing unit 9 generates an image of a range corresponding to the shielding unit 7, which is seen by the other of the left eye EL and the right eye ER, based on the image data output from the front exterior camera 3a and the rear exterior camera 3b. 2 images are generated.
  • the second image has parallax with respect to the first image. Therefore, even if the first image and the second image contain the same object, since the viewpoints from which the object is viewed are different, the position and shape of the object in the images differ depending on the parallax.
  • the range corresponding to the shielding part 7 that can be seen by the left eye EL refers to the range that would be visible by the left eye EL if the shielding part 7 did not exist.
  • the range corresponding to the shielding part 7 that can be seen by the right eye RL refers to the range that would be visible by the right eye RL if the shielding part 7 did not exist.
  • the image display section displays an image in which the first image and the second image are mixed on the shielding section 7.
  • the image display section includes a display device 10.
  • a dashboard, a door, a pillar, a back seat 23, etc. can be enumerated.
  • the line of sight detection unit detects the direction of the observer's face or the line of sight based on image data taken of the observer.
  • the line of sight detection unit may be configured to detect both the direction of the observer's face and the line of sight of the observer.
  • image data captured by the observer is output from the in-vehicle camera 6.
  • the display device 10 includes a retroreflective screen 11 and a diffuser plate 16 provided close to the retroreflective screen 11.
  • the diffuser plate 16 may be attached and laminated to the surface of the retroreflective screen 11 on the side facing the viewer.
  • the display device 10 includes a dashboard display device 10a provided on the dashboard, a right side pillar display device 10b provided on the right side pillar, a left side pillar display device 10c provided on the left side pillar, and a rear seat display device 10a.
  • the backsheet display device 10d may include a backsheet display device 10d provided with 22 backsheets 23.
  • the display device 10 also includes, as a projection section, a first projection section that projects the first image onto the retroreflective screen 11 and a second projection section that projects the second image onto the retroreflective screen 11.
  • the projection section (right side pillar projection section 12) of the right side pillar display device 10b attached to the right side pillar includes a first projection section 12R that projects a first image and a second projection section 12L that projects a second image.
  • the display devices 10a, 10b, 10c, and 10d have flexibility, and are bonded to each shielding portion 7 with adhesive or the like in a state of being flexibly curved according to the ups and downs of each shielding portion 7. . Since each projection section has the same configuration, the right side pillar projection section 12 will be explained in detail as an example.
  • the first projection unit 12R includes a liquid crystal display device 13R that displays a first image, and a first projection lens 14R that projects the image light of the first image emitted from the liquid crystal display device 13R onto the retroreflective screen 11. You may do so.
  • the second projection unit 12L includes a liquid crystal display device 13L that displays a second image, and a second projection lens 14L that projects the image light of the second image emitted from the liquid crystal display device 13L onto the retroreflective screen 11. You may do so.
  • Each of the liquid crystal display devices 13R and 13L may include a transmissive liquid crystal display element and a backlight device that emits light to the back surface of the liquid crystal display element.
  • an LED light emitting display device may be used instead of the liquid crystal display device.
  • Each projection lens 14R, 14L may be configured by a combination of a plurality of lenses, respectively, so that the first image and the second image are formed on the retroreflective screen 11 with parallax.
  • the driver 5 is illustrated as the observer, the observer may also be a fellow passenger sitting in the front passenger seat.
  • the first projection unit 12R may be arranged, for example, on the right side of the headrest so that its exit pupil is at the same height as and near the right eye ER of the observer.
  • the second projection section 12L may be arranged, for example, on the left side of the headrest so that its exit pupil is at the same height as and near the left eye EL of the observer.
  • the backseat projection section 24 and the dashboard projection section 25 are also configured similarly to the right side pillar projection section 12, and the backseat projection section 24 displays an image corresponding to the range covered by the backseat 23 on the backseat display device 10d. to project. Further, the dashboard projection unit 25 projects an image corresponding to the range covered by the dashboard onto the dashboard display device 10a.
  • the dashboard projection unit 25 may be attached to the center of the ceiling of the vehicle 2, for example.
  • the back seat projection section 24 may be attached, for example, to the upper part of the backrest seat of the driver's seat 4.
  • the retroreflective screen 11 has retroreflectivity and reflects incident light in the direction of incidence.
  • the image light of the first image and the image light of the second image emitted from the first projection lens 14R and the second projection lens 14L are directed to the first projection lens 14R and the second projection lens 14L by the retroreflective screen 11. reflected. Therefore, the image light of the first image and the image light of the second image, which are overlapped (mixed) on the retroreflective screen 11, are perceived separately at the observer's position.
  • a diffuser plate 16 is disposed on the viewer-side surface of the retroreflective screen 11.
  • the diffusing plate 16 has a diffusing ability to direct the light reflected by the retroreflective screen 11 to both eyes of the viewer.
  • the dashboard display device 10a may use a diffusion plate 16 with a large diffusion capacity in the vertical direction and a small diffusion capacity in the horizontal direction.
  • the diffusion power in the left and right direction is higher than the diffusion power in the vertical direction. It is preferable that it is also small.
  • the diffuser plate 16 may be, for example, a holographic optical element bonded onto the reflective surface of the retroreflective screen 11.
  • the retroreflective screen 11 may have a configuration in which a plurality of minute glass beads 11a having a diameter of, for example, 20 ⁇ m or more and 100 ⁇ m or less are arranged on a reflective film 11b.
  • the image light projected onto the retroreflective screen 11 enters the glass beads 11a, is refracted on the surface of the glass beads 11a, reaches the back surface on the reflective film 11b side, and is reflected by the reflective film 11b.
  • the light reflected by the reflective film 11b is refracted again at the back surface of the glass bead 11a, reaches the surface of the glass bead 11a, is separated from the incident path of the incident light by a minute distance less than the diameter of the glass bead 11a, and is reflected by the incident light. Since the light travels along a parallel optical path, retroreflection is achieved.
  • the image light of the first image for the right eye ER and the image light of the second image for the left eye EL, which overlap on the retroreflective screen 11, are separated at the observer's position, The light enters the right eye ER and the left eye EL separately.
  • the driver 5 who is an observer can perceive a three-dimensional image from the mixed image of the image light of the first image and the image light of the second image.
  • a mixed image of the image light of the first image and the image light of the second image reflecting the parallax of the observer is called a parallax image.
  • a coordinate system based on the vehicle body may be executed.
  • a coordinate system in which the vehicle length direction is the X axis, the vehicle width direction is the Y axis, and the vehicle height direction is the Z axis is used, and the positions of the left eye EL and right eye ER of the driver 5 are determined by the coordinates in this coordinate system.
  • the positions of both eyes of the driver 5 are determined in a coordinate system based on the vehicle body, and calculations regarding reflexive projection are performed, thereby ensuring continuity between the scenery outside the vehicle and the image displayed on the shielding part 7. can have. Furthermore, by detecting the positions of both eyes of the driver 5, it is possible to flexibly follow differences in body shape and posture of the driver 5 and display an image.
  • the front exterior camera 3a installed at the front of the vehicle 2 and the rear exterior camera 3b installed at the rear of the vehicle 2 may be cameras equipped with fisheye lenses. By using a fisheye lens, it is possible to image the scenery outside the vehicle over a wide range of solid angles.
  • the number of cameras 3 outside the vehicle is not limited, and may be one, for example, or three or more.
  • the installation location of the vehicle exterior camera 3 is not limited as long as it is possible to image the exterior of the vehicle. That is, the vehicle exterior camera 3 may be installed outside the vehicle or may be installed inside the vehicle.
  • the in-vehicle camera 6 is installed at a position where it can image the driver 5, such as a position adjacent to a room mirror.
  • the camera outside the vehicle 3 and the camera inside the vehicle 6 may be, for example, CCD cameras, but are not limited to a specific type of camera.
  • a line-of-sight detection unit is configured including the in-vehicle camera 6, the line-of-sight recognition device 31, and the in-vehicle camera control device 37.
  • FIG. 5 is a block diagram showing the configuration of the image display device 1.
  • Image data of images captured by the front exterior camera 3 a and the rear exterior camera 3 b are sent to the exterior camera control device 35 .
  • the vehicle exterior camera control device 35 constitutes a part of the image display device 1 .
  • the vehicle exterior camera control device 35 performs necessary signal processing (analog-to-digital conversion, for example) on the image data and outputs it to the image data processing device 33.
  • the image display device 1 includes a seating sensor 36 that detects whether or not the driver 5 is seated.
  • the seating sensor 36 is provided in the driver's seat 4.
  • the seating sensor 36 may be constituted by a known load sensor or limit switch.
  • the seat sensor 36 installed in the driver's seat 4 detects that the driver 5 is seated.
  • the detection result of the seating sensor 36 is sent to the line-of-sight recognition device 31, and the line-of-sight detection unit starts measuring the positions of the driver's 5 eyes.
  • the line of sight recognition device 31 extracts the positions of the left eye EL and right eye ER and the pupil position of the driver 5 from the captured image of the in-vehicle camera 6 through image recognition processing, and calculates the direction of the driver's 5 face and the direction of the line of sight. .
  • a known method may be used to calculate the direction of the face and the line of sight.
  • the line of sight recognition device 31 may determine, for example, a direction perpendicular to a virtual line connecting the left eye EL and the right eye ER as the direction of the driver's 5 face. Furthermore, the line of sight recognition device 31 may treat the eyeball as a sphere and calculate the line of sight direction using the deviation of the position of the pupil from the reference position (eyeball angle). The calculation result of the line of sight recognition device 31 is output to the image data processing device 33. The image data processing device 33 executes image processing to make the shielding portion 7 appear transparent, and the display control device 39 controls the display device 10 based on the result of the image processing. The line of sight recognition device 31 may detect only one of the direction of the face or the direction of the line of sight.
  • the line of sight recognition device 31 may detect the direction of the line of sight based on the direction of the face.
  • the line-of-sight recognition device 31 may determine the line-of-sight direction on the assumption that the direction of the face and the line-of-sight direction match.
  • a control unit 50 is configured including an external camera control device 35, an image data processing device 33, an in-vehicle camera control device 37, a line of sight recognition device 31, and a display control device 39.
  • the control unit 50 controls the image display device 1 .
  • the control unit 50 is realized by a processor such as an electronic control unit (ECU) as a hardware resource, and a computer-readable program as a software resource.
  • Control unit 50 may include one or more processors.
  • the processor may include a general-purpose processor that loads a specific program and executes a specific function, and a dedicated processor that is specialized for specific processing.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 50 may be either an SoC (System-on-a-Chip) or an SiP (System In-a-Package) in which one or more processors cooperate.
  • the control unit 50 includes a storage unit, and may store various information or programs for operating each component of the image display device 1 in the storage unit.
  • the storage unit may be composed of, for example, a semiconductor memory.
  • FIG. 6 is a flowchart for explaining the operation of the control unit 50 executed as the image display method according to the present embodiment.
  • the seating sensor 36 detects that the driver 5 is seated in the driver's seat 4 .
  • the vehicle exterior camera control device 35 operates each vehicle exterior camera 3a, 3b to image the surroundings of the vehicle 2 (step S1).
  • the in-vehicle camera control device 37 operates the line-of-sight recognition device 31 and the in-vehicle camera 6, and the in-vehicle camera 6 starts capturing an image.
  • the line of sight recognition device 31 detects the direction of the face or the line of sight of the driver 5 based on the image captured by the in-vehicle camera 6 (step S2).
  • the image data processing device 33 cuts out the image to be projected onto the shielding part 7 from the image captured by the camera outside the vehicle 3, and generates, for example, a first image and a second image (step S3).
  • the display control device 39 causes the shielding unit 7 to display the first image and the second image (step S4).
  • the display control device 39 causes the shielding unit 7 to display an image that is originally blocked by the shielding unit 7 and is not visible to the driver 5.
  • monochrome uniform display data can be generated and displayed instead of either the first image or the second image (monochrome processing).
  • Monochromatic uniform display data is an image composed of only a single color (for example, white).
  • the monochrome uniform image is displayed like a filter on top of the first image, and double images do not occur. If the first image is for the right eye ER, for example, the first image will not be clearly recognized by the left eye EL. Therefore, when viewing an image in which the first image and the uniform display data are mixed and partially overlapped with each other by both eyes, the first image is mainly seen.
  • the image data processing device 33 replaces either the first image or the second image displayed on the shielding unit 7 with monochromatic uniform display data (monochromatic uniform image) and displays the data.
  • This monochrome processing is executed whether the display target is the left or right side pillar.
  • the driver 5 can also perceive the left side pillar as if it were made transparent.
  • the monochromatic process is preferably applied to shielding objects that have a small width in the left and right direction, such as pillars.
  • the control unit 50 performs monochromatic processing on the image displayed on the display device 10 of the pillar only when the direction of the observer's line of sight recognized by the line of sight recognition device 31 is directed toward the pillar. good.
  • FIG. 7 is a diagram showing a conventional example of a display state when the display image of the shielding section 7 is viewed with the left eye EL.
  • FIG. 8 is a diagram showing a conventional example of a display state when the display image of the shielding unit 7 is viewed with the right eye ER.
  • monochrome processing is not performed. That is, the right-eye ER scenery image and the left-eye EL scenery image are displayed as they are on the right side pillar display device 10b. As shown in FIG.
  • the image will not be perceived as a double image, as shown in FIG.
  • the first image is an image for the right eye ER and the second image is an image for the left eye EL
  • monochrome uniform display data is displayed in place of the second image using monochromatic processing
  • the left eye EL When viewed on the screen, monochromatic white uniform display data is superimposed on the first image, giving the appearance of a milky-white filter, making the first image difficult to see. Therefore, in the left eye EL, the display of the first image is suppressed, the ability to recognize the actual scene image seen through the window is improved, and the phenomenon of seeing a double image is eliminated.
  • the monochromatic white uniform display data be displayed in an achromatic color such as white or gray.
  • the first image is for the right eye ER
  • the monochromatic white uniform display data is for the left eye EL.
  • the appearance differs depending on whether the viewer is facing the right side or the left side with respect to the shielding part 7 such as the right side pillar 40. Therefore, it is necessary to determine which of the first image and second image should be replaced with monochromatic uniform display data based on the direction of the observer's face and the relationship with the shielding unit 7.
  • FIG. 11 is a diagram illustrating how the surroundings are seen when the observer faces to the left with respect to the shielding part 7.
  • FIG. 12 is a diagram illustrating how the surroundings are seen when the observer is facing to the right with respect to the shielding part 7 regarding the same scene as in FIG.
  • an object 44 visible with the left eye EL in FIG. 11 is visible with the right eye ER in FIG.
  • the first image is assigned to the right eye ER where the object 44 cannot be seen, and the first image is assigned to the left eye EL.
  • Uniform display data of a single color is assigned.
  • the second image is assigned to the left eye EL where the object 44 cannot be seen, and the monochrome image is assigned to the right eye ER.
  • Uniform display data is assigned. That is, this makes it possible to reduce the occurrence of crosstalk and make the shielding part 7 appear transparent.
  • the first image processing section and the second image processing section determine that in step S3 of FIG.
  • the monochromatic uniform display data is determined to be the right eye ER image
  • the second image is determined to be the left eye EL image.
  • the image data processing device 33 determines the first image as an image for right eye ER when the detected face direction of the observer is on the left side with respect to the normal axis on the display surface of the shielding unit 7.
  • the monochromatic uniform display data is determined as the left eye EL image.
  • the direction of the face is calculated by the line of sight recognition device 31 based on the image taken by the in-vehicle camera 6, as described above.
  • the display surface is a surface on which the first image and the second image of the shielding section 7 are displayed, as shown in FIG. 13.
  • the normal axis is an axis that passes through the center of the shielding part 7 and intersects perpendicularly to the display surface.
  • FIG. 14 is a flowchart for explaining details of the process of generating the first image and the second image (corresponding to step S3 in FIG. 6).
  • the image data processing device 33 converts the second image into the left eye EL.
  • the monochromatic uniform display data is determined to be the image of the right eye ER side (step S13).
  • the image data processing device 33 converts the first image into the right eye ER when the detected face direction of the observer is not facing to the right with respect to the normal axis on the display surface of the shielding unit 7 (NO in step S11).
  • the image is determined to be the left eye EL side image (step S14), and the monochromatic uniform display data is determined to be the left eye EL side image (step S15).
  • the image data processing device 33 may use the detected line of sight of the observer instead of the direction of the observer's face.
  • the line of sight is calculated by the line of sight recognition device 31 based on the captured image of the in-vehicle camera 6, as described above.
  • the display surface is a surface on which the first image and the second image of the shielding section 7 are displayed, as shown in FIG. 15.
  • the normal axis is an axis that passes through the center of the shielding part 7 and intersects perpendicularly to the display surface.
  • FIG. 16 is a flowchart for explaining details of the process of generating the first image and the second image when using the observer's line of sight.
  • the image data processing device 33 converts the second image into an image on the left eye EL side. (Step S22), and the monochromatic uniform display data is determined as the right eye ER side image (Step S23).
  • the image data processing device 33 converts the first image into an image on the right eye ER side. (Step S24), and the monochromatic uniform display data is determined as the image on the left eye EL side (Step S25).
  • the image display device 1, the vehicle 2, and the image display method according to the present embodiment have the above-described configuration, so that the viewer perceives the shielding part 7 to be transparent while reducing the occurrence of crosstalk. It is possible to do so.
  • Embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in an apparatus. It is to be understood that these are also encompassed within the scope of the present disclosure.
  • Image display device 2 Vehicle 3 External camera 4 Driver's seat 5 Driver 6 In-vehicle camera 7 Shielding section 8 First image processing section 9 Second image processing section 10
  • Display device 11 Retroreflective screen 11a Glass beads 11b Reflective film 12 Projection section 12L Second projection section 12R First projection section 13L, 13R Liquid crystal display device 14L Second projection lens 14R First projection lens 16 Diffusion plate 22 Rear seat 23 Back seat 24 Back seat projection section 25 Dashboard projection section 31 Line of sight recognition device 33 Image data processing device 35 External camera control device 36 Seating sensor 37 In-vehicle camera control device 39 Display control device 40 Right side pillar 42 Windshield 43 Building 44 Object 45 Building 46 Right window glass 50 Control unit EL Left eye ER Right eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

クロストークの発生を低減しつつ遮蔽部が透明化されたように知覚させることが可能な画像表示装置、車両及び画像表示方法が提供される。画像表示装置（１）は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、画像データに基づいて、観察者の右眼によって見られる、観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、画像データに基づいて、観察者の左眼によって見られる、遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、観察者を撮影した画像データに基づいて、観察者の顔の向き又は視線方向を検出する視線検出部と、遮蔽部に対する観察者の顔の向き又は視線方向の関係に基づいて決定した第１画像又は第２画像のいずれかと、単色の均一画像とを遮蔽部に表示する画像表示部とを備える。

Description

画像表示装置、車両及び画像表示方法 関連出願の相互参照
　本出願は、日本国特許出願２０２２－０８７１５４号（２０２２年５月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は画像表示装置、車両及び画像表示方法に関する。本開示は、特に車両周囲の撮像画像を遮蔽部に表示することによって、車外の景色が繋がったように運転者に知覚させることができる画像表示装置、車両及び画像表示方法に関する。
　従来、再帰性投影技術を活用した技術として、あたかも物体が透けて見えるように画像を観察者に知覚させることができる透明化技術が知られている。この透明化技術では、車両の外部に設けたカメラの撮像画像に基づいて、観察者の左眼及び右眼のそれぞれが知覚する左眼画像及び右眼画像がコンピュータによって作成される。左眼画像及び右眼画像が例えば車両のピラー、ドア等の視線を遮る遮蔽部に投射され、観察者である運転者は車外の景色を撮像した画像を立体画像として知覚し、死角となる部分が透けて外界の景色とつながったように知覚する（例えば、特許文献１参照）。
特開２００６－４４５９６号公報
　本開示の一実施形態に係る画像表示装置は、
　観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
　前記画像データに基づいて、前記観察者の右眼によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、
　前記画像データに基づいて、前記観察者の左眼によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、
　前記観察者を撮影した画像データに基づいて、前記観察者の顔の向き又は視線方向を検出する視線検出部と、
　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかと、単色の均一画像とを前記遮蔽部に表示する画像表示部とを備える。
　本開示の一実施形態に係る画像表示装置は、
　観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を生成する画像データ処理装置と、
　前記観察者の顔の向き又は視線方向を検出する視線検出部と、
　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて、前記第１画像を前記観察者の右眼で知覚させ、単色の均一画像を前記観察者の左眼で知覚させる、又は前記第２画像を前記観察者の左眼で知覚させ、前記単色の均一画像を前記観察者の右眼で知覚させる、画像表示部と、を有する。
　本開示の一実施形態に係る車両は、
　上記の画像表示装置を有する。
　本開示の一実施形態に係る画像表示装置は、
　観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を前記観察者の右眼で知覚させ、
　前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を前記観察者の左眼で知覚させ、
　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかを前記観察者の右眼又は左眼のいずれか一方に知覚させ、単色の均一画像を前記観察者の右眼又は左眼の他方に知覚させる。
図１は、本開示の一実施形態に係る画像表示装置の一例を模式的に示す平面図である。 図２は、スクリーン及び拡散板の構成を示す一部の拡大断面図である。 図３は、画像表示装置を装備した車両を模式的に示す平面図である。 図４は、画像表示装置を装備した車両を模式的に示す側面図である。 図５は、画像表示装置の構成を示すブロック図である。 図６は、制御部の動作を説明するためのフローチャートである。 図７は、左眼で遮蔽部の表示画像を見たときの表示状態の従来例を示す図である。 図８は、右眼で遮蔽部の表示画像を見たときの表示状態の従来例を示す図である。 図９は、第２画像を単色画像とせずに遮蔽部に視差画像を表示させたときの表示の従来例を示す図である。 図１０は、第２画像を単色画像として遮蔽部に視差画像を表示させたときの表示の実施例を示す図である。 図１１は、遮蔽部に対して左側に顔があるときの周囲の見え方を例示する図である。 図１２は、遮蔽部に対して右側に顔があるときの周囲の見え方を例示する図である。 図１３は、観察者の顔の向きと遮蔽部との関係について説明するための図である。 図１４は、第１画像及び第２画像を生成する処理のフローチャートである。 図１５は、観察者の視線と遮蔽部との関係について説明するための図である。 図１６は、第１画像及び第２画像を生成する処理のフローチャートである。
　以下、図面を参照して本開示の実施形態に係る画像表示装置、車両及び画像表示方法が説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１は、本実施形態に係る画像表示装置１を模式的に示す平面図である。図２は、画像表示装置１に備えられる再帰反射性スクリーン１１及び拡散板１６の構成を示す一部の拡大断面図である。図３は、画像表示装置１を搭載する車両２を模式的に示す平面図である。図４は、画像表示装置１を搭載する車両２を模式的に示す側面図である。
　画像表示装置１は、撮像部と、第１画像処理部８（図５参照）と、第２画像処理部９（図５参照）と、画像表示部と、視線検出部と、を備える。
　撮像部は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する。本実施形態において、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂと、車内カメラ６と、を含んで構成される。ここで、撮像部は前部車外カメラ３ａ及び後部車外カメラ３ｂのうちの一方と、車内カメラ６とで構成されてよい。前部車外カメラ３ａ及び後部車外カメラ３ｂは車両２の周囲の景色を撮像する。車内カメラ６は運転者５を撮像する。車内カメラ６の画像データは、車両２の運転席４に着座した観察者である運転者５の左眼ＥＬ及び右眼ＥＲの位置を検出し、左眼ＥＬ及び右眼ＥＲの位置及び瞳の位置から運転者５の顔の向き又は視線を検出することに用いられる。
　第１画像処理部８は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの一方によって見られる、遮蔽部７に対応する範囲の第１画像を生成する。ここで、遮蔽部７は、観察者の視線を遮る物体であって、左眼ＥＬ及び右眼ＥＲから車外を見たときに観察者の視界を遮る物体である。
　第２画像処理部９は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの他方によって見られる、遮蔽部７に対応する範囲の第２画像を生成する。第２画像は、第１画像に対して視差を有する。従って、第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置及び形状は視差に応じて異なっている。ここで、左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。
　画像表示部は、遮蔽部７に第１画像及び第２画像が混合された画像を表示する。本実施形態において、画像表示部は、表示装置１０を含んで構成される。ここで、車両２における遮蔽部７としては、ダッシュボード、ドア、ピラー、バックシート２３等を列挙することができる。遮蔽部７に車外カメラ３で撮像され、画像処理された画像が映し出されることによって、観察者である運転者５は、画像が車外の景色とつながっているとの知覚を得ることができる。
　視線検出部は、観察者が撮影された画像データに基づいて、観察者の顔の向き又は視線を検出する。ここで、視線検出部は、観察者の顔の向きと観察者の視線の両方を検出する構成であってよい。本実施形態において、観察者が撮影された画像データは車内カメラ６から出力される。
　図１及び図２に示すように、表示装置１０は、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に近接して設けられる拡散板１６と、を含んで構成される。拡散板１６は再帰反射性スクリーン１１の観察者に臨む側の表面に貼り付けられて積層されてよい。表示装置１０は、ダッシュボードに設けられたダッシュボード表示装置１０ａと、右サイドピラーに設けられた右サイドピラー表示装置１０ｂと、左サイドピラーに設けられた左サイドピラー表示装置１０ｃと、後部座席２２のバックシート２３の設けられたバックシート表示装置１０ｄとを含んでよい。
　また、表示装置１０は、投射部として、第１画像を再帰反射性スクリーン１１に投射する第１投射部と、第２画像を再帰反射性スクリーン１１に投射する第２投射部を含んで構成される。例えば右サイドピラーに貼付けられた右サイドピラー表示装置１０ｂの投射部（右サイドピラー投射部１２）は、第１画像を投射する第１投射部１２Ｒ及び第２画像を投射する第２投射部１２Ｌを含んで構成される。ここで、表示装置１０ａ、１０ｂ、１０ｃ、１０ｄは可撓性を有し、各遮蔽部７の起伏に応じて柔軟に湾曲させた状態で、接着剤等によって各遮蔽部７に接合されている。各投射部は同じ構成であるので、右サイドピラー投射部１２を例に詳細に説明する。
　第１投射部１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有してよい。第２投射部１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有してよい。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備えてよい。ここで、液晶表示装置に代えてＬＥＤ発光表示装置が用いられてよい。各投射レンズ１４Ｒ、１４Ｌは、第１画像及び第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像されるように、それぞれ複数のレンズの組合わせによって構成されてよい。ここで、観察者として運転者５を例示したが、助手席に座っている同乗者が観察者であってよい。第１投射部１２Ｒは、その射出瞳が観察者の右眼ＥＲと同じ高さかつ右眼ＥＲの近傍となるように、例えばヘッドレストの右側に配置されてよい。第２投射部１２Ｌも同様に、その射出瞳が観察者の左眼ＥＬと同じ高さかつ左眼ＥＬの近傍となるように、例えばヘッドレストの左側に配置されてよい。
　バックシート投射部２４及びダッシュボード投射部２５もまた、右サイドピラー投射部１２と同様に構成され、バックシート投射部２４はバックシート表示装置１０ｄにバックシート２３によって遮蔽される範囲に対応する画像を投射する。またダッシュボード投射部２５はダッシュボード表示装置１０ａにダッシュボードによって遮蔽される範囲に対応する画像を投射する。
　ダッシュボード投射部２５は、例えば車両２の天井の中央部に取り付けられてよい。バックシート投射部２４は、例えば運転席４の背もたれシートの上部に取付けられてよい。
　再帰反射性スクリーン１１は、再帰反射性を有し、入射した光を入射方向に反射する。第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌから出射された第１画像の画像光及び第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌに向けて反射される。そのため、再帰反射性スクリーン１１上で重なっている（混合された）第１画像の画像光と第２画像の画像光は、観察者の位置において分離して知覚される。また、本実施形態において、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は、再帰反射性スクリーン１１で反射した光を、観察者の両眼に向けさせる拡散能力を有する。例えば、観察者の上方にダッシュボード投射部２５がある場合に、拡散能が上下方向に大きく、左右方向に小さい拡散板１６がダッシュボード表示装置１０ａで用いられてよい。ここで、右眼ＥＲ用の画像が左眼ＥＬに入るといった画像の混同をなるべく抑制して、観察者に明瞭な立体画像を知覚させるために、左右方向の拡散能は上下方向の拡散能よりも小さいことが好ましい。拡散板１６は、例えば再帰反射性スクリーン１１の反射面上に接合されたホログラフィック光学素子であってよい。
　図２に示すように、再帰反射性スクリーン１１は、直径が例えば２０μｍ以上１００μｍ以下の微小な複数のガラスビーズ１１ａを反射膜１１ｂに配置した構成であってよい。再帰反射性スクリーン１１に投射された画像光は、ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折して反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進むため、再帰反射が実現される。
　上記のように、再帰反射性スクリーン１１上で重なっている右眼ＥＲ用の第１画像の画像光と左眼ＥＬ用の第２画像の画像光は、観察者の位置で分離されており、右眼ＥＲ及び左眼ＥＬに個別に入射する。観察者である運転者５は、第１画像の画像光と第２画像の画像光との混合画像から立体的な像を知覚することができる。観察者の視差を反映させた第１画像の画像光と第２画像の画像光との混合画像を視差画像という。
　ここで、フロントガラス及び後部ウインドガラスから見える車外の景色と、遮蔽部７に表示される画像とがつながったように知覚させるために、車体を基準とする座標系を用いて再帰性投影に関する計算が実行されてよい。例えば車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする座標系が用いられて、運転者５の左眼ＥＬと右眼ＥＲの位置などがこの座標系における座標として定められてよい。車体を基準とする座標系において、運転者５の両眼の位置が定められて、再帰性投影に関する計算が実行されることによって、車外の景色と遮蔽部７に表示される画像とに連続性を持たせることができる。また、運転者５の両眼位置を検出することによって、運転者５の体形及び姿勢の相違に対しても柔軟に追従して画像を表示することができる。
　また、車両２の前部に設置される前部車外カメラ３ａと後部に設置される後部車外カメラ３ｂは、魚眼レンズを取り付けたカメラであってよい。魚眼レンズを用いることによって、車外の景色を立体角で広範囲にわたって撮像することができる。ここで、車外カメラ３の数は限定されず、例えば１台であってよいし、３台以上であってよい。また、車外の撮像が可能であれば、車外カメラ３の設置場所は限定されない。つまり、車外カメラ３は、車外に設置されていてよいし、車内に設置されていてよい。また、車内カメラ６は、例えばルームミラーに隣接する位置など、運転者５を撮像できる位置に設置される。車外カメラ３及び車内カメラ６は、例えばＣＣＤカメラであってよいが、特定の種類のカメラに限定されない。ここで、車内カメラ６、視線認識装置３１及び車内カメラ制御装置３７を含んで、視線検出部が構成される。
　図５は、画像表示装置１の構成を示すブロック図である。前部車外カメラ３ａ及び後部車外カメラ３ｂによって撮像された画像の画像データは、車外カメラ制御装置３５に送られる。車外カメラ制御装置３５は、画像表示装置１の一部を構成する。車外カメラ制御装置３５は、画像データに対して必要な信号処理（一例としてアナログ－デジタル変換）を実行して、画像データ処理装置３３に出力する。
　また、本実施形態において、画像表示装置１は運転者５の着席の有無を検出する着座センサ３６を備える。着座センサ３６は運転席４に設けられる。着座センサ３６は、公知の荷重センサ又はリミットスイッチによって構成されてよい。
　運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席が検出される。着座センサ３６の検出結果が視線認識装置３１に送られて、視線検出部は運転者５の両眼位置などの計測を開始する。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の左眼ＥＬ及び右眼ＥＲの位置及び瞳位置を画像認識処理によって抽出し、運転者５の顔の向き及び視線方向を計算する。顔の向き及び視線の計算は公知の手法が用いられてよい。視線認識装置３１は、例えば左眼ＥＬと右眼ＥＲを結ぶ仮想線に垂直な方向を運転者５の顔の向きと判定してよい。また、視線認識装置３１は、眼球を球体と扱って、基準位置からの瞳の位置のずれ（眼球角度）を用いて視線方向を計算してよい。視線認識装置３１の計算結果は画像データ処理装置３３に出力される。画像データ処理装置３３は遮蔽部７が透明化されたように知覚させるための画像処理を実行し、画像処理の結果に基づいて表示制御装置３９が表示装置１０を制御する。視線認識装置３１は、顔の向き又は視線方向の一方のみを検出してよい。視線認識装置３１は、顔の向きに基づいて視線方向を検出してよい。視線認識装置３１は、顔の向きと視線方向とが一致するものとして視線方向を決定してよい。
　また、画像表示装置１において、車外カメラ制御装置３５、画像データ処理装置３３、車内カメラ制御装置３７、視線認識装置３１及び表示制御装置３９を含んで、制御部５０が構成される。制御部５０は、画像表示装置１を制御する。制御部５０は、ハードウェア資源として例えば電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ；ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御部５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部５０は、１個又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってよい。制御部５０は、記憶部を備え、記憶部に各種情報又は画像表示装置１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。
　図６は、本実施形態に係る画像表示方法として実行される制御部５０の動作を説明するためのフローチャートである。運転者５が運転席４に着座し、スタートボタン等によって車両２の運転を開始すると、運転者５が運転席４に着座したことが着座センサ３６によって検出される。また、車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車両２の周囲を撮像する（ステップＳ１）。車内カメラ制御装置３７が視線認識装置３１及び車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視線認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の顔の向き又は視線を検出する（ステップＳ２）。画像データ処理装置３３は、遮蔽部７に投射する画像を、車外カメラ３によって撮像された画像から切り出し、例えば第１画像及び第２画像を生成する（ステップＳ３）。ステップＳ３において、例えば第１画像及び第２画像が生成されると、表示制御装置３９は、遮蔽部７に第１画像及び第２画像を表示させる（ステップＳ４）。表示制御装置３９は、本来、遮蔽部７によって遮られて運転者５から見えていない画像を、遮蔽部７に表示させる。
　ここで、本実施形態では、第１画像又は第２画像の一方に代えて単色の均一表示データを生成して表示することができる（単色化処理）。単色の均一表示データとは、単一の色（例えば白）のみで構成される画像である。例えば第２画像に代えて単色の均一表示データとした場合、均一表示データは第１画像の上に単色の均一画像がフィルタのように表示され、二重像になることがない。第１画像が例えば右眼ＥＲ用であるとすると、左眼ＥＬよって第１画像が明確に認識されることがなくなる。そのため、両眼によって第１画像と均一表示データとが混合されて一部が互いに重なった画像を見たときに、第１画像が主に見られる。このことによって、例えば右サイドピラーに隣接するフロントガラス及び右ウインドガラスを透過して見られる実際の景色と、右サイドピラー表示装置１０ｂに表示されている映像とのずれが緩和される。運転者５は、あたかも右ピラーが透明化されたように知覚し、死角が減少されて、運転の快適性の向上を支援することができる。ここで、単色の均一表示データは、大部分が単一の色のみで構成されていればよい。例えば、単色の均一表示データは、中央部分を含む９０％以上が単一の色のみで構成されていればよい。
　画像データ処理装置３３は、単色化処理として、遮蔽部７に表示させる第１画像又は第２画像の一方を、単色の均一表示データ（単色の均一画像）に差し替えて表示させる。この単色化処理は、表示対象が左右サイドピラーのいずれに対しても、実行される。運転者５は、左サイドピラーについても、あたかも透明化されたように知覚することができる。単色化処理は、ピラーのように左右方向の幅が小さい遮蔽物に適用することがよい。制御部５０は、視線認識装置３１が認識した観察者の視線方向がピラーのほうを向いたときにのみ、当該ピラーの表示装置１０に表示させる画像に対して単色化処理を実行するようにしてよい。
　以下、図面を参照しながら、二重映りが抑制されるメカニズムが詳細に説明される。図７は、左眼ＥＬで遮蔽部７の表示画像を見たときの表示状態の従来例を示す図である。図８は右眼ＥＲで遮蔽部７の表示画像を見たときの表示状態の従来例を示す図である。従来例では、単色化処理を実行していない。つまり、右サイドピラー表示装置１０ｂに右眼ＥＲ用の景色の画像と左眼ＥＬ用の景色の画像がそのまま表示されている。図７に示されるように、左眼ＥＬで見ると、フロントガラス４２を透過して見える建物４３と物体４４が４３ａ、４４ａのように右サイドピラー４０にも見えるクロストークが生じ、二重像として知覚される。つまり、外界の実景が繋がらず、右サイドピラー表示装置１０ｂに表示された画像を連続した透過映像として知覚することができない。また、図８も同様に、右眼ＥＲで見ると、右ウインドガラス４６越しに見える建物４５が４５ａのように右サイドピラー４０にも見えて、二重像として知覚される。そのため、観察者は、図９に示されるような二重像を知覚することになる。
　これに対して、単色化処理を実行した場合には、図１０に示すように、二重像として知覚することがなくなる。例えば、第１画像を右眼ＥＲ用の画像、第２画像を左眼ＥＬ用の画像とした場合、単色化処理によって第２画像に代えて白単色の均一表示データを表示すると、左眼ＥＬで見たときに第１画像の上に白単色の均一表示データが重畳して、乳白のフィルタがかかったような状態となり、第１画像が見えづらくなる。そのため、左眼ＥＬでは、第１画像の表示が抑制され、ウインドウ越しに見える実景映像の認知力が上がり、二重像に見える現象が解消されるためである。ここで、連続した映像として知覚されやすくするため、白単色の均一表示データとしては白又はグレーの無彩色で表示されることが好ましい。
　ここで、図１０の例では、第１画像が右眼ＥＲ用で、白単色の均一表示データが左眼ＥＬ用であった。しかし、右サイドピラー４０のような遮蔽部７に対して、観察者が右側を向いているか、左側を向いているかによって、見え方は異なってくる。そのため、観察者の顔の向きと、遮蔽部７との関係に基づいて、第１画像及び第２画像のいずれを単色の均一表示データに差し替えるかを決定する必要がある。例えば図１１は、観察者が遮蔽部７に対して左側を向いているときの周囲の見え方を例示する図である。図１２は、図１１と同じ景色について、観察者が遮蔽部７に対して右側を向いているときの周囲の見え方を例示する図である。例えば図１１において左眼ＥＬで見える物体４４は、図１２において右眼ＥＲで見える。本実施形態において、図１１のように観察者が遮蔽部７に対して左側を向いている場合に、物体４４が見えない右眼ＥＲに対して第１画像が割り当てられ、左眼ＥＬに対して単色の均一表示データが割り当てられる。また、図１２のように観察者が遮蔽部７に対して右側を向いている場合に、物体４４が見えない左眼ＥＬに対して第２画像が割り当てられ、右眼ＥＲに対して単色の均一表示データが割り当てられる。すなわち、このことによって、クロストークの発生を低減しつつ遮蔽部７が透明化されたように知覚させることが可能になる。
　第１画像処理部及び第２画像処理部（画像データ処理装置３３）は、図６のステップＳ３において、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側にある場合に、単色の均一表示データを右眼ＥＲ用の画像と決定し、第２画像を左眼ＥＬ用の画像と決定する。また、画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して左側にある場合に、第１画像を右眼ＥＲ用の画像と決定し、単色の均一表示データを左眼ＥＬ用の画像と決定する。ここで、顔の向きは、上記のように、車内カメラ６の撮影画像に基づき視線認識装置３１によって計算される。また、表示面は、図１３のように遮蔽部７の第１画像及び第２画像が表示される面である。法線軸は、遮蔽部７の中心を通り、表示面に対して垂直に交わる軸である。
　図１４は、第１画像及び第２画像を生成する処理（図６のステップＳ３に対応）の詳細を説明するためのフローチャートである。画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側を向いている場合に（ステップＳ１１のＹＥＳ）、第２画像を左眼ＥＬ側の画像と決定し（ステップＳ１２）、単色の均一表示データを右眼ＥＲ側の画像と決定する（ステップＳ１３）。画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側を向いていない場合に（ステップＳ１１のＮＯ）、第１画像を右眼ＥＲ側の画像と決定し（ステップＳ１４）、単色の均一表示データを左眼ＥＬ側の画像と決定する（ステップＳ１５）。
　ここで、画像データ処理装置３３は、観察者の顔の向きに代えて、検出した観察者の視線を用いてよい。ここで、視線は、上記のように、車内カメラ６の撮影画像に基づき視線認識装置３１によって計算される。また、表示面は、図１５のように遮蔽部７の第１画像及び第２画像が表示される面である。法線軸は、遮蔽部７の中心を通り、表示面に対して垂直に交わる軸である。
　図１６は、観察者の視線を用いる場合における、第１画像及び第２画像を生成する処理の詳細を説明するためのフローチャートである。画像データ処理装置３３は、検出された観察者の視線方向が遮蔽部７の表示面において法線軸に対して右側にある場合に（ステップＳ２１のＹＥＳ）、第２画像を左眼ＥＬ側の画像と決定し（ステップＳ２２）、単色の均一表示データを右眼ＥＲ側の画像と決定する（ステップＳ２３）。画像データ処理装置３３は、検出された観察者の視線方向が遮蔽部７の表示面において法線軸に対して右側にない場合に（ステップＳ２１のＮＯ）、第１画像を右眼ＥＲ側の画像と決定し（ステップＳ２４）、単色の均一表示データを左眼ＥＬ側の画像と決定する（ステップＳ２５）。
　以上のように、本実施形態に係る画像表示装置１、車両２及び画像表示方法は、上記の構成によって、クロストークの発生を低減しつつ遮蔽部７が透明化されたように観察者に知覚させることが可能である。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　１　画像表示装置
　２　車両
　３　車外カメラ
　４　運転席
　５　運転者
　６　車内カメラ
　７　遮蔽部
　８　第１画像処理部
　９　第２画像処理部
　１０　表示装置
　１１　再帰反射性スクリーン
　１１ａ　ガラスビーズ
　１１ｂ　反射膜
　１２　投射部
　１２Ｌ　第２投射部
　１２Ｒ　第１投射部
　１３Ｌ、１３Ｒ　液晶表示装置
　１４Ｌ　第２投射レンズ
　１４Ｒ　第１投射レンズ
　１６　拡散板
　２２　後部座席
　２３　バックシート
　２４　バックシート投射部
　２５　ダッシュボード投射部
　３１　視線認識装置
　３３　画像データ処理装置
　３５　車外カメラ制御装置
　３６　着座センサ
　３７　車内カメラ制御装置
　３９　表示制御装置
　４０　右サイドピラー
　４２　フロントガラス
　４３　建物
　４４　物体
　４５　建物
　４６　右ウインドガラス
　５０　制御部
　ＥＬ　左眼
　ＥＲ　右眼

Claims (11)

  1. 　観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
    　前記画像データに基づいて、前記観察者の右眼によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、
    　前記画像データに基づいて、前記観察者の左眼によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、
    　前記観察者を撮影した画像データに基づいて、前記観察者の顔の向き又は視線方向を検出する視線検出部と、
    　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかと、単色の均一画像とを前記遮蔽部に表示する画像表示部とを備える、画像表示装置。
  2. 　前記画像表示部は、前記第１画像が前記観察者の右眼によって知覚されるように表示し、前記第２画像が前記観察者の左眼によって知覚されるように表示し、前記単色の均一画像を前記第１画像又は前記第２画像に代えて前記観察者に知覚させるように表示する、請求項１に記載の画像表示装置。
  3. 　前記画像表示部は、検出された前記観察者の顔の向きが前記遮蔽部の表示面において法線軸に対して右側にある場合に、前記第１画像を画像表示部に表示させ、前記第２画像に代えて前記単色の均一画像を画像表示部に表示させる、請求項１に記載の画像表示装置。
  4. 　前記画像表示部は、検出された前記観察者の視線が前記遮蔽部の表示面において法線軸に対して右側にある場合に、前記第１画像を画像表示部に表示させ、前記第２画像に代えて前記単色の均一画像を画像表示部に表示させる、請求項１に記載の画像表示装置。
  5. 　車両に搭載され、前記遮蔽部がピラーである、請求項１から４のいずれか一項に記載の画像表示装置。
  6. 　前記画像表示部は、
    　　前記遮蔽部に設けられた、再帰反射性スクリーンと、
    　　前記観察者の右眼が知覚するように画像を前記再帰反射性スクリーンに投射する第１投射部と、
    　　前記観察者の左眼が知覚するように画像を前記再帰反射性スクリーンに投射する第２投射部と、を含み、
    　　前記第１投射部に前記第１画像を投射させ、且つ前記第２投射部に前記単色の均一画像を投射させる、又は、前記第１投射部に前記単色の均一画像を投射させ、且つ前記第２投射部に前記第２画像を投射させる、請求項１から４のいずれか一項に記載の画像表示装置。
  7. 　前記画像表示部は、
    　　前記再帰反射性スクリーンに近接して設けられた拡散板を、さらに含む、請求項６に記載の画像表示装置。
  8. 　前記第２画像が白又はグレーの無彩色で表示される、請求項１から４のいずれか一項に記載の画像表示装置。
  9. 　観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を生成する画像データ処理装置と、
    　前記観察者の顔の向き又は視線方向を検出する視線検出部と、
    　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて、前記第１画像を前記観察者の右眼で知覚させ、単色の均一画像を前記観察者の左眼で知覚させる、又は前記第２画像を前記観察者の左眼で知覚させ、前記単色の均一画像を前記観察者の右眼で知覚させる、画像表示部と、を有する、画像表示装置。
  10. 　請求項１に記載の画像表示装置を有する、車両。
  11. 　観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を前記観察者の右眼で知覚させ、
    　前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を前記観察者の左眼で知覚させ、
    　前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかを前記観察者の右眼又は左眼のいずれか一方に知覚させ、単色の均一画像を前記観察者の右眼又は左眼の他方に知覚させる、画像表示方法。
PCT/JP2023/017794 2022-05-27 2023-05-11 画像表示装置、車両及び画像表示方法 WO2023228771A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-087154 2022-05-27
JP2022087154A JP2023174349A (ja) 2022-05-27 2022-05-27 画像表示装置、車両及び画像表示方法

Publications (1)

Publication Number Publication Date
WO2023228771A1 true WO2023228771A1 (ja) 2023-11-30

Family

ID=88919068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017794 WO2023228771A1 (ja) 2022-05-27 2023-05-11 画像表示装置、車両及び画像表示方法

Country Status (2)

Country Link
JP (1) JP2023174349A (ja)
WO (1) WO2023228771A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125920A (ja) * 2018-01-17 2019-07-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法
WO2022181767A1 (ja) * 2021-02-26 2022-09-01 京セラ株式会社 画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125920A (ja) * 2018-01-17 2019-07-25 株式会社ジャパンディスプレイ モニター表示システム及びその表示方法
WO2022181767A1 (ja) * 2021-02-26 2022-09-01 京セラ株式会社 画像表示装置

Also Published As

Publication number Publication date
JP2023174349A (ja) 2023-12-07

Similar Documents

Publication Publication Date Title
CN113022448B (zh) 显示系统
US10247941B2 (en) Vehicle vision system with light field monitor
US10525886B2 (en) Display system, electronic mirror system and movable-body apparatus equipped with the same
US11235706B2 (en) Display system
WO2015174051A1 (ja) 表示装置、および表示方法
JP7003925B2 (ja) 反射板、情報表示装置および移動体
JP6706802B2 (ja) 表示システム、電子ミラーシステム及びそれを備える移動体
JP6697751B2 (ja) 車両用表示システム、電子ミラーシステム及び移動体
CN115244451A (zh) 空中影像显示装置
WO2022181767A1 (ja) 画像表示装置
WO2022230824A1 (ja) 映像表示装置および映像表示方法
WO2018124299A1 (ja) 虚像表示装置及び方法
WO2023228771A1 (ja) 画像表示装置、車両及び画像表示方法
JP6515796B2 (ja) ヘッドアップディスプレイ装置
WO2023228752A1 (ja) 画像表示装置
JP6697747B2 (ja) 表示システム、電子ミラーシステム及び移動体
WO2023228770A1 (ja) 画像表示装置
WO2021010123A1 (ja) ヘッドアップディスプレイ装置
WO2023233919A1 (ja) 画像投影システム
JP6941799B2 (ja) 表示システム
WO2020031549A1 (ja) 虚像表示装置
WO2020149008A1 (ja) カメラモニターシステム、虚像表示装置、及び虚像表示方法
WO2020070970A1 (ja) 車両用表示装置
WO2019124323A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
WO2022255424A1 (ja) 映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811645

Country of ref document: EP

Kind code of ref document: A1