WO2023228770A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2023228770A1
WO2023228770A1 PCT/JP2023/017792 JP2023017792W WO2023228770A1 WO 2023228770 A1 WO2023228770 A1 WO 2023228770A1 JP 2023017792 W JP2023017792 W JP 2023017792W WO 2023228770 A1 WO2023228770 A1 WO 2023228770A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
display device
observer
frame
Prior art date
Application number
PCT/JP2023/017792
Other languages
English (en)
French (fr)
Inventor
勇志 新谷
凌一 竹内
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2023228770A1 publication Critical patent/WO2023228770A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image display device.
  • the present disclosure particularly relates to an image display device that can display captured images of the surroundings of a vehicle on a shielding part, thereby making the driver perceive that the scenery outside the vehicle is connected.
  • An image display device includes: an imaging unit including an exterior camera that captures an image of the surroundings of a vehicle in which an observer is riding and outputs the obtained exterior image data; Based on the vehicle exterior image data, a first image of a range corresponding to a shielding part that blocks the observer's field of view, which is seen by one of the observer's left eye and right eye, and the observer's left eye and right eye.
  • an image data processing unit that generates a second image of a range corresponding to the shielding part, which is seen by the other of the two; an image display unit that displays a parallax image consisting of the first image and the second image on the shielding unit;
  • the image display section displays, together with the parallax image, a frame image displayed as a frame in at least a portion of a region surrounding a display related to an actual object or vehicle in the shielding section.
  • FIG. 1 is a plan view schematically showing an example of an image display device according to an embodiment of the present disclosure.
  • FIG. 2 is a partially enlarged sectional view showing the configuration of the screen and the diffuser plate.
  • FIG. 3 is a plan view schematically showing a vehicle equipped with an image display device.
  • FIG. 4 is a side view schematically showing a vehicle equipped with an image display device.
  • FIG. 5 is a block diagram showing the configuration of the image display device.
  • FIG. 6 is a flowchart for explaining the operation of the control section.
  • FIG. 7 is a diagram showing a state in which the dashboard is made transparent.
  • FIG. 8 is a diagram showing an example of a frame image.
  • FIG. 9 is a diagram showing an example of a frame image.
  • FIG. 10 is a diagram showing an example of a frame image.
  • FIG. 11 is a diagram showing an example of a frame image.
  • FIG. 12 is a diagram showing an example of a frame image.
  • FIG. 1 is a plan view schematically showing an image display device 1 according to the present embodiment.
  • FIG. 2 is a partially enlarged sectional view showing the configuration of the retroreflective screen 11 and the diffuser plate 16 provided in the image display device 1.
  • FIG. 3 is a plan view schematically showing a vehicle 2 on which the image display device 1 is mounted.
  • FIG. 4 is a side view schematically showing a vehicle 2 on which the image display device 1 is mounted.
  • the image display device 1 includes an imaging section, an image data processing device 33 (see FIG. 5) including a first image processing section 8 and a second image processing section 9, and an image display section. Further, the image display device 1 may include a detection section.
  • the image data processing device 33 is sometimes referred to as an image data processing section.
  • the imaging unit images the observer and the surroundings of the observer, and outputs the image data obtained by capturing the image.
  • the imaging unit includes a front exterior camera 3a, a rear exterior camera 3b, and an interior camera 6.
  • the front exterior camera 3a and the rear exterior camera 3b image the scenery around the vehicle 2 in which the observer is riding.
  • image data obtained by imaging the surroundings of the vehicle 2 in which the observer is boarded by the external cameras including the front external camera 3a and the rear external camera 3b may be referred to as external image data.
  • the in-vehicle camera 6 images the driver 5.
  • the in-vehicle camera 6 may photograph objects inside the vehicle including the dashboard.
  • the image data of the in-vehicle camera 6 detects the positions of the left eye EL and right eye ER of the driver 5, who is an observer seated in the driver's seat 4 of the vehicle 2, and calculates the positions of the left eye EL and right eye ER and the pupil. It is used to detect the line of sight of the driver 5 from the position.
  • image data obtained by imaging the inside of the vehicle 2 by the in-vehicle camera 6 may be referred to as in-vehicle image data.
  • the imaging unit may include only one of the front exterior camera 3a and the rear exterior camera 3b.
  • the first image processing section 8 of the image data processing section applies an image to the shielding section 7, which is seen by one of the left eye EL and the right eye ER, based on the image data output from the front exterior camera 3a and the rear exterior camera 3b.
  • a first image of the corresponding range is generated.
  • the shielding part 7 is an object that blocks the observer's line of sight, and is an object that blocks the observer's field of view when looking outside the vehicle from the left eye EL and right eye ER.
  • the first image may be an image in the range corresponding to the shielding part 7 that is seen by the right eye ER.
  • the second image processing section 9 of the image data processing section applies an image to the shielding section 7, which is seen by the other of the left eye EL and the right eye ER, based on the image data output from the front exterior camera 3a and the rear exterior camera 3b.
  • a second image of the corresponding range is generated.
  • the image of the range corresponding to the shielding part 7, which is seen by the left eye LR may be set as the second image.
  • the second image includes an image having parallax with respect to the first image. Therefore, even if the first image and the second image contain the same object, since the viewpoints from which the object is viewed are different, the position and shape of the object in the images differ depending on the parallax.
  • the range corresponding to the shielding part 7 that can be seen by the left eye EL refers to the range that would be visible by the left eye EL if the shielding part 7 did not exist.
  • the range corresponding to the shielding part 7 that can be seen by the right eye RL refers to the range that would be visible by the right eye RL if the shielding part 7 did not exist.
  • the image display section displays an image in which the first image and the second image are mixed on the shielding section 7.
  • the image display section includes a display device 10.
  • a dashboard instrument panel
  • a door a pillar, a back seat 23, etc.
  • the driver 5 who is an observer, can perceive that the image is connected to the scenery outside the vehicle.
  • the detection unit can detect the line of sight of the observer based on image data taken of the observer.
  • the image data captured by the observer is output from the in-vehicle camera 6, for example.
  • the display device 10 includes a retroreflective screen 11 and a diffuser plate 16 provided close to the retroreflective screen 11.
  • the diffuser plate 16 may be attached and laminated to the surface of the retroreflective screen 11 on the side facing the viewer.
  • the display device 10 includes a dashboard display device 10a provided on the dashboard, a right side pillar display device 10b provided on the right side pillar, a left side pillar display device 10c provided on the left side pillar, and a rear seat display device 10a.
  • the backsheet display device 10d may include a backsheet display device 10d provided with 22 backsheets 23.
  • the display device 10 also includes, as a projection section, a first projection section that projects the first image onto the retroreflective screen 11 and a second projection section that projects the second image onto the retroreflective screen 11.
  • the projection section (right side pillar projection section 12) of the right side pillar display device 10b attached to the right side pillar includes a first projection section 12R that projects a first image and a second projection section 12L that projects a second image.
  • the display devices 10a, 10b, 10c, and 10d have flexibility, and are bonded to each shielding portion 7 with adhesive or the like in a state of being flexibly curved according to the ups and downs of each shielding portion 7. . Since each projection section has the same configuration, the right side pillar projection section 12 will be explained in detail as an example.
  • the first projection unit 12R includes a liquid crystal display device 13R that displays a first image, and a first projection lens 14R that projects the image light of the first image emitted from the liquid crystal display device 13R onto the retroreflective screen 11. You may do so.
  • the second projection unit 12L includes a liquid crystal display device 13L that displays a second image, and a second projection lens 14L that projects the image light of the second image emitted from the liquid crystal display device 13L onto the retroreflective screen 11. You may do so.
  • Each of the liquid crystal display devices 13R and 13L may include a transmissive liquid crystal display element and a backlight device that emits light to the back surface of the liquid crystal display element.
  • an LED light emitting display device may be used instead of the liquid crystal display device.
  • Each projection lens 14R, 14L may be configured by a combination of a plurality of lenses, respectively, so that the first image and the second image are formed on the retroreflective screen 11 with parallax.
  • the driver 5 is illustrated as the observer, the observer may also be a fellow passenger sitting in the front passenger seat.
  • the first projection unit 12R may be arranged, for example, on the right side of the headrest so that its exit pupil is at the same height as and near the right eye ER of the observer.
  • the second projection section 12L may be arranged, for example, on the left side of the headrest so that its exit pupil is at the same height as and near the left eye EL of the observer.
  • the backseat projection section 24 and the dashboard projection section 25 are also configured similarly to the right side pillar projection section 12, and the backseat projection section 24 displays an image corresponding to the range covered by the backseat 23 on the backseat display device 10d. to project. Further, the dashboard projection unit 25 projects an image corresponding to the range covered by the dashboard onto the dashboard display device 10a.
  • the dashboard projection unit 25 may be attached to the center of the ceiling of the vehicle 2, for example.
  • the back seat projection section 24 may be attached, for example, to the upper part of the backrest seat of the driver's seat 4.
  • the retroreflective screen 11 has retroreflectivity and reflects incident light in the direction of incidence.
  • the image light of the first image and the image light of the second image emitted from the first projection lens 14R and the second projection lens 14L are directed to the first projection lens 14R and the second projection lens 14L by the retroreflective screen 11. reflected. Therefore, the image light of the first image and the image light of the second image, which are overlapped (mixed) on the retroreflective screen 11, are perceived separately at the observer's position.
  • a diffuser plate 16 is disposed on the viewer-side surface of the retroreflective screen 11.
  • the diffusing plate 16 has a diffusing ability to direct the light reflected by the retroreflective screen 11 to both eyes of the viewer.
  • the dashboard display device 10a may use a diffusion plate 16 with a large diffusion capacity in the vertical direction and a small diffusion capacity in the horizontal direction.
  • the diffusion power in the left and right direction is higher than the diffusion power in the vertical direction. It is preferable that it is also small.
  • the diffuser plate 16 may be, for example, a holographic optical element bonded onto the reflective surface of the retroreflective screen 11.
  • the retroreflective screen 11 may have a configuration in which a plurality of minute glass beads 11a having a diameter of, for example, 20 ⁇ m or more and 100 ⁇ m or less are arranged on a reflective film 11b.
  • the image light projected onto the retroreflective screen 11 enters the glass beads 11a, is refracted on the surface of the glass beads 11a, reaches the back surface on the reflective film 11b side, and is reflected by the reflective film 11b.
  • the light reflected by the reflective film 11b is refracted again at the back surface of the glass bead 11a, reaches the surface of the glass bead 11a, is separated from the incident path of the incident light by a minute distance less than the diameter of the glass bead 11a, and is reflected by the incident light. Since the light travels along a parallel optical path, retroreflection is achieved.
  • the image light of the first image for the right eye ER and the image light of the second image for the left eye EL, which overlap on the retroreflective screen 11, are separated at the observer's position, The light enters the right eye ER and the left eye EL separately.
  • the first image and the second image are images that reflect the parallax of the observer. Therefore, the driver 5 can perceive a three-dimensional image from the mixed image of the image light of the first image and the image light of the second image.
  • a mixed image of the image light of the first image and the image light of the second image reflecting the parallax of the observer is called a parallax image.
  • a coordinate system based on the vehicle body may be executed.
  • a coordinate system in which the vehicle length direction is the X axis, the vehicle width direction is the Y axis, and the vehicle height direction is the Z axis is used, and the positions of the left eye EL and right eye ER of the driver 5 are determined by the coordinates in this coordinate system.
  • the positions of both eyes of the driver 5 are determined in a coordinate system based on the vehicle body, and calculations regarding reflexive projection are performed, thereby ensuring continuity between the scenery outside the vehicle and the image displayed on the shielding part 7. can have. Furthermore, by detecting the positions of both eyes of the driver 5, it is possible to flexibly follow differences in body shape and posture of the driver 5 and display an image.
  • the front exterior camera 3a installed at the front of the vehicle 2 and the rear exterior camera 3b installed at the rear of the vehicle 2 may be cameras equipped with fisheye lenses. By using a fisheye lens, it is possible to image the scenery outside the vehicle over a wide range of solid angles.
  • the number of cameras 3 outside the vehicle is not limited, and may be one, for example, or three or more.
  • the installation location of the vehicle exterior camera 3 is not limited as long as it is possible to image the exterior of the vehicle. That is, the vehicle exterior camera 3 may be installed outside the vehicle or may be installed inside the vehicle.
  • the in-vehicle camera 6 is installed at a position where it can image the driver 5, such as a position adjacent to a room mirror.
  • the camera outside the vehicle 3 and the camera inside the vehicle 6 may be, for example, CCD cameras, but are not limited to a specific type of camera.
  • the detection section includes the in-vehicle camera 6, the line of sight recognition device 31, and the in-vehicle camera control device 37.
  • FIG. 5 is a block diagram showing the configuration of the image display device 1.
  • Image data of images captured by the front exterior camera 3 a and the rear exterior camera 3 b are sent to the exterior camera control device 35 .
  • the vehicle exterior camera control device 35 constitutes a part of the image display device 1 .
  • the vehicle exterior camera control device 35 performs necessary signal processing (analog-to-digital conversion, for example) on the image data and outputs it to the image data processing device 33.
  • the image display device 1 includes a seating sensor 36 that detects whether or not the driver 5 is seated.
  • the seating sensor 36 is provided in the driver's seat 4.
  • the seating sensor 36 may be constituted by a known load sensor or limit switch.
  • the seat sensor 36 installed in the driver's seat 4 detects that the driver 5 is seated.
  • the detection result of the seating sensor 36 is sent to the line of sight recognition device 31, and the detection unit starts measuring the positions of the driver's 5 eyes.
  • the line of sight recognition device 31 extracts the positions of the left eye EL and right eye ER and the pupil position of the driver 5 from the captured image of the in-vehicle camera 6 through image recognition processing, and calculates the line of sight of the driver 5 .
  • a known method may be used to calculate the line of sight.
  • the line of sight recognition device 31 may treat the eyeball as a sphere and calculate the line of sight using the deviation of the position of the pupil from the reference position (eyeball angle).
  • the calculation result of the line of sight recognition device 31 is output to the image data processing device 33.
  • the image data processing device 33 executes image processing (transparency processing) to make the shielding portion 7 appear transparent, and the display control device 39 controls the display device 10 based on the result of the image processing.
  • the line of sight recognition device 31 can detect not only the line of sight of the driver 5 who is the observer, but also the movement.
  • the line of sight recognition device 31 may recognize the hand of the driver 5 from the image taken by the in-vehicle camera 6 and detect an action such as the driver 5 reaching for the dashboard.
  • the line of sight recognition device 31 may recognize a part of the driver's 5 body using, for example, a known object recognition technique using deep learning or the like.
  • a proximity sensor may be provided on the dashboard, and the proximity sensor may detect an action such as the driver 5 reaching toward the dashboard. That is, the detection unit may further include a proximity sensor.
  • a control unit 50 is configured including an external camera control device 35, an image data processing device 33, an in-vehicle camera control device 37, a line of sight recognition device 31, and a display control device 39.
  • the control unit 50 controls the image display device 1 .
  • the control unit 50 is realized by a processor such as an electronic control unit (ECU) as a hardware resource, and a computer-readable program as a software resource.
  • Control unit 50 may include one or more processors.
  • the processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor specialized for specific processing.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 50 may be either an SoC (System-on-a-Chip) or an SiP (System In-a-Package) in which one or more processors cooperate.
  • the control unit 50 includes a storage unit, and may store various information or programs for operating each component of the image display device 1 in the storage unit.
  • the storage unit may be composed of, for example, a semiconductor memory.
  • the observer's focus must be on the scenery, that is, the viewer must be able to look into the distance. It is necessary.
  • the observer may look at the speedometer on the dashboard while driving.
  • the driver 5 may look at the steering wheel or the navigation system. That is, for the driver 5, images and objects with different focus positions may coexist, and it may be difficult for the driver 5 to focus on each (particularly, to immediately return focus from a far object to a near object). In other words, it may be difficult for the driver 5 to perceive the speedometer or the like on the dashboard while viewing the scenery image projected on the dashboard or the like.
  • the image display device 1 for example, a case where both a parallax image of a scenery outside the vehicle and an area of the shielding section 7 where a display regarding an actual object or the vehicle 2 is displayed are located beyond the observer's line of sight. Then, a frame image is generated, and the image display unit displays the frame image on the shielding unit 7.
  • the frame image may be displayed as a frame in the area surrounding the area where the display regarding the real object or vehicle 2 is performed, or at least in part of the boundary thereof.
  • the frame image may be displayed together with the display regarding the vehicle 2, or may be displayed around the area where the display regarding the vehicle 2 is scheduled to be displayed.
  • the viewer can perceive the frame image included in the parallax image.
  • the images representing the frames included in the first image and the second image may have a form without parallax.
  • the frame image does not need to be displayed as a parallax image.
  • the frame image is not perceived three-dimensionally among the parallax images of the scenery outside the vehicle that are perceived three-dimensionally by the viewer.
  • the images representing the frames included in the first image and the second image may have no parallax.
  • a frame image surrounding this may also be displayed as a parallax image. If the display related to the vehicle 2 is not displayed as a parallax image, or if an actual object is surrounded by a frame image, the frame image does not need to be displayed as a parallax image. By displaying the frame image, a so-called frame effect occurs, and the enclosed area is emphasized, making it easier to focus on the enclosed area (display related to the real object or vehicle 2). By preventing the frame image from being perceived three-dimensionally in the parallax image that is perceived three-dimensionally, the viewer can more easily focus on the portion surrounded by the frame image.
  • the image display device 1 allows an observer who focuses on a distant object outside the vehicle to perceive that the shielding part 7 is transparent, while making it easier to focus on a nearby object. It is possible. Furthermore, by making it easier to focus, the driver 5 can quickly check the speedometer, etc., thereby helping to improve driving comfort.
  • the parallax image is an image in which the first image and the second image are mixed, and is an image for making the viewer perceive that the shielding part 7 is made transparent.
  • the display regarding the real object and the vehicle 2 is an object and display that can be clearly seen by the observer by focusing on the shielding part 7, and a specific example will be described later.
  • the shielding unit 7 on which the image display device 1 displays the frame image is not particularly limited, but will be described below as a dashboard.
  • FIG. 6 is a flowchart for explaining the operation of the control unit 50.
  • the seating sensor 36 detects that the driver 5 is seated in the driver's seat 4 .
  • the vehicle exterior camera control device 35 operates each vehicle exterior camera 3a, 3b to image the surroundings of the vehicle 2 (step S1).
  • the in-vehicle camera control device 37 operates the line-of-sight recognition device 31 and the in-vehicle camera 6, and the in-vehicle camera 6 starts capturing an image.
  • the line of sight recognition device 31 detects the line of sight and motion of the driver 5 based on the image captured by the in-vehicle camera 6 (step S2).
  • the image data processing device 33 changes the image to be projected onto the shielding part 7. , a first image and a second image are generated by cutting out the image captured by the camera 3 outside the vehicle (step S4). Whether or not to display the parallax image on the shielding unit 7 may be set by the driver 5, or may be automatically determined depending on the driving state of the vehicle 2.
  • the parallax image is not displayed on the shielding unit 7 (NO in step S3), or after step S4, at least one of the surrounding scenery of the vehicle 2 and the parallax image, and the display regarding the real object or the vehicle 2 are It is determined whether the object exists in front of the person's line of sight (step S5).
  • Real objects are, for example, things that are seen by the driver 5 while driving, and include, for example, instruments 51 (see FIG. 7) such as a speedometer and tachometer attached to the dashboard, and a navigation system 52 (see FIG. 11). ), a handle 53 (see FIG. 11), and the like.
  • the display related to the vehicle 2 includes a display for driving support, such as a body image showing the size of the vehicle 2, for example.
  • the control unit 50 detects that the instrument 51 on the dashboard is in a state where it can be seen along with the scenery, that is, the controller 50 detects that the driver 5 is looking forward in the direction of travel. It may be determined that a display related to the object exists in front of the observer's line of sight. Further, for example, even when the detection unit detects that the driver 5 extends his hand toward the dashboard, the control unit 50 may cause the display related to the real object and the vehicle 2 to be displayed in front of the observer's line of sight. It may be determined that "exists”. Further, for example, when the detection unit detects that the line of sight of the driver 5 is on the backseat 23, the control unit 50 determines that “no real object or display related to the vehicle 2 exists beyond the line of sight of the observer”. It can be determined that
  • the image data processing device 33 If it is determined that "the display regarding the real object and the vehicle 2 exists ahead of the observer's line of sight" (YES in step S5), the image data processing device 33 generates a frame image (step S6), The process advances to step S7. Further, when it is determined that "the display regarding the real object and the vehicle 2 does not exist in front of the observer's line of sight” (NO in step S5), the image data processing device 33 does not generate a frame image and processes The process proceeds to step S7.
  • the frame image is an image that is displayed as a frame on at least part of the boundary of the display regarding the real object or vehicle 2 when viewed from the viewer.
  • the frame of the frame image may be a single color.
  • the color of the frame is not limited to a specific color, but it is preferably a color that has a high contrast with the surroundings so that a frame effect is produced.
  • the color of the frame may be selected by the image data processing device 33 so as to have a high contrast with respect to the first image and the second image. Further, the color of the frame of the frame image may be changed depending on the surrounding brightness, weather, etc.
  • the image display section displays the generated image on the shielding section 7 (step S7).
  • the image display unit displays the frame image on the shielding unit 7, and the viewer can see the dashboard or instrument 51 highlighted by the frame.
  • FIG. 7 is a diagram showing a state in which the dashboard 55, which is the shielding part 7, is made transparent.
  • the portion of the dashboard 55 including the gauges 51 changes from the left diagram to the right diagram in FIG. 7. That is, a parallax image in which the first image and the second image are mixed is displayed on the dashboard display device 10a, and the driver 5 perceives that the dashboard 55 is connected to the scenery seen through the windshield 42. .
  • the dashboard 55 may be displayed from the right diagram of FIG. 7 back to the left diagram.
  • the image display device 1 generates and displays a frame image 60 so as to surround the outer frame of the dashboard 55, which is the shielding part 7, as shown in FIG. 8, for example.
  • the frame image 60 only needs to surround at least a part of the display regarding the actual object or vehicle 2, and is not limited to surrounding the entirety.
  • the frame image 60 does not have to be drawn with continuous lines.
  • the frame image 60 may be drawn as a line with a gap in part, or may be shown as a broken line.
  • the image display device 1 may generate and display a frame image 60 surrounding the outer frame of the meter 51, as shown in FIG. 9, for example.
  • the frame image 60 may be displayed for each of the meters 51, or the frame image 60 may be displayed for some of the meters 51.
  • the instrument 51 can be made transparent (the instrument 51 can be seen by the observer). ), it is possible to make the dashboard 55 transparent.
  • the image display device 1 may generate and display a frame image 60 so as to surround the transparent outer frame of the meter 51.
  • a frame image 60 may be generated for the navigation system 52, steering wheel 53, etc. that are real objects that are not included in the dashboard 55 to be made transparent.
  • the driver 5 looks at the navigation system 52 or the steering wheel 53, it is possible to quickly adjust the focus, and it is possible to reduce the unnatural feeling that the navigation system 52 and the steering wheel 53 appear to be floating in the landscape image due to transparency. can.
  • control unit 50 recognizes the position of a real object (wallet, drink, etc.) placed on the transparent dashboard 55 from the image taken by the in-vehicle camera 6, and determines whether the real object exists.
  • a real object wallet, drink, etc.
  • the parallax image may not be displayed.
  • the frame image 60 may be displayed around the area where the real object exists.
  • a frame image 60 may be generated for the vehicle body image. Since the driver 5 can quickly focus on the vehicle body image, driving comfort is improved.
  • the image display device 1 allows the viewer to perceive the shielding part as being transparent, and can easily focus on a nearby object.
  • Embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in an apparatus. It is to be understood that these are also encompassed within the scope of the present disclosure.
  • switching between transmitting the device or equipment included in the shielding unit 7 as shown in FIG. 10 or displaying or not displaying the frame image 60 may be performed based on the viewer's actions.
  • the dashboard 55 is equipped with an actual object such as a drink holder and the detection unit detects an action of the observer using the drink holder, a parallax image is displayed for the area where the drink holder is present. You can try not to let it happen. By not displaying the parallax image, the drink holder, which was previously difficult to see due to its transparency, can now be seen clearly. Then, the frame image 60 may be displayed in the area around the drink holder.
  • the detection unit may detect the observer's motion based on the in-vehicle image data captured by the in-vehicle camera 6. For example, when an observer makes a gesture of reaching for the drink holder, if the distance between the drink holder and the observer's hand becomes within a predetermined distance, the movement is detected as indicating an intention to use the drink holder. good. If the observer is holding a drink in his/her hand, it may be detected that the observer is using the drink holder. When the detection unit detects an action in which the observer does not intend to use the drink holder, a parallax image may be displayed for the area where the drink holder is present.
  • the observer takes action to release his/her hand from the drink holder and the distance between the drink holder and the observer's hand becomes a predetermined distance or more, it may be determined that the observer does not intend to use the drink holder. If there is no drink in the car, it may be detected that there is no intention to use the drink holder.
  • Image display device 2 Vehicle 3 External camera 4 Driver's seat 5 Driver 6 In-vehicle camera 7 Shielding section 8 First image processing section 9 Second image processing section 10
  • Display device 11 Retroreflective screen 11a Glass beads 11b Reflective film 12 Projection section 12L Second projection section 12R First projection section 13L, 13R Liquid crystal display device 14L Second projection lens 14R First projection lens 16 Diffusion plate 22 Rear seat 23 Back seat 24 Back seat projection section 25
  • Dashboard projection section 31 Line of sight recognition device 33 Image data processing device 35 External camera control device 36 Seating sensor 37 In-vehicle camera control device 39 Display control device 42 Windshield 46 Right window glass 50 Control unit 51 Instrument 52 Navigation system 53 Steering wheel 55 Dashboard 60 Frame image EL Left eye ER Right eye

Abstract

観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能な画像表示装置が提供される。画像表示装置（１）は、観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、観察者の左眼及び右眼の他方によって見られる、遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、遮蔽部に第１画像及び第２画像からなる視差画像を遮蔽部上に表示する画像表示部と、を備え、画像表示部は、遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を視差画像とともに表示する。

Description

画像表示装置 関連出願の相互参照
　本出願は、日本国特許出願２０２２－０８７１５２号（２０２２年５月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は画像表示装置に関する。本開示は、特に車両周囲の撮像画像を遮蔽部に表示することによって、車外の景色が繋がったように運転者に知覚させることができる画像表示装置に関する。
　従来、ウィンドシールド等の表示領域に物標を表示させる車両用の情報表示装置が知られている（例えば、特許文献１参照）。さらに再帰性投影技術を活用して、あたかも物体が透けて見えるように画像を観察者に知覚させることができる透明化技術が知られている。この透明化技術では、例えば車両の外部に設けたカメラの撮像画像に基づいて、観察者の左眼及び右眼のそれぞれが知覚する左眼画像及び右眼画像がコンピュータによって作成される。左眼画像及び右眼画像が例えば車両のピラー、ダッシュボード等の視線を遮る遮蔽部に投射され、観察者である運転者は車外の景色を撮像した画像を立体画像として知覚し、死角となる部分が透けて外界の景色とつながったように知覚する。
特開２０１５－１２８２０２号公報
　本開示の一実施形態に係る画像表示装置は、
　観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、
　前記車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
　前記遮蔽部に前記第１画像及び前記第２画像からなる視差画像を前記遮蔽部上に表示する画像表示部と、を備え、
　前記画像表示部は、前記遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を前記視差画像とともに表示する。
図１は、本開示の一実施形態に係る画像表示装置の一例を模式的に示す平面図である。 図２は、スクリーン及び拡散板の構成を示す一部の拡大断面図である。 図３は、画像表示装置を装備した車両を模式的に示す平面図である。 図４は、画像表示装置を装備した車両を模式的に示す側面図である。 図５は、画像表示装置の構成を示すブロック図である。 図６は、制御部の動作を説明するためのフローチャートである。 図７は、ダッシュボードが透明化される状態を示す図である。 図８は、枠画像の一例を示す図である。 図９は、枠画像の一例を示す図である。 図１０は、枠画像の一例を示す図である。 図１１は、枠画像の一例を示す図である。 図１２は、枠画像の一例を示す図である。
　以下、図面を参照して本開示の実施形態に係る画像表示装置が説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１は、本実施形態に係る画像表示装置１を模式的に示す平面図である。図２は、画像表示装置１に備えられる再帰反射性スクリーン１１及び拡散板１６の構成を示す一部の拡大断面図である。図３は、画像表示装置１を搭載する車両２を模式的に示す平面図である。図４は、画像表示装置１を搭載する車両２を模式的に示す側面図である。
　画像表示装置１は、撮像部と、第１画像処理部８及び第２画像処理部９を含む画像データ処理装置３３（図５参照）と、画像表示部と、を備える。また、画像表示装置１は検出部を備えてよい。画像データ処理装置３３は画像データ処理部と称されることがある。
　撮像部は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する。本実施形態において、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂと、車内カメラ６と、を含んで構成される。前部車外カメラ３ａ及び後部車外カメラ３ｂは観察者が搭乗する車両２の周囲の景色を撮像する。以下において、前部車外カメラ３ａ及び後部車外カメラ３ｂを含む車外カメラが、観察者が搭乗する車両２の周囲を撮像して得られた画像データを車外画像データと称することがある。車内カメラ６は運転者５を撮像する。車内カメラ６は、ダッシュボードを含む車内の物体を撮影してよい。車内カメラ６の画像データは、例えば車両２の運転席４に着座した観察者である運転者５の左眼ＥＬ及び右眼ＥＲの位置を検出し、左眼ＥＬ及び右眼ＥＲの位置及び瞳の位置から運転者５の視線を検出することに用いられる。以下において、車内カメラ６が、車両２の内部を撮像して得られた画像データを車内画像データと称することがある。ここで、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂのうち、一方のみを含んでよい。
　画像データ処理部の第１画像処理部８は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの一方によって見られる、遮蔽部７に対応する範囲の第１画像を生成する。ここで、遮蔽部７は、観察者の視線を遮る物体であって、左眼ＥＬ及び右眼ＥＲから車外を見たときに観察者の視界を遮る物体である。例えば、右眼ＥＲによって見られる、遮蔽部７に対応する範囲の画像が第１画像とされてよい。
　画像データ処理部の第２画像処理部９は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの他方によって見られる、遮蔽部７に対応する範囲の第２画像を生成する。例えば、左眼ＬＲによって見られる、遮蔽部７に対応する範囲の画像が第２画像とされてよい。第２画像は、第１画像に対して視差を有する画像を含む。従って、第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置及び形状は視差に応じて異なっている。ここで、左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。
　画像表示部は、遮蔽部７に第１画像及び第２画像が混合された画像を表示する。本実施形態において、画像表示部は、表示装置１０を含んで構成される。ここで、車両２における遮蔽部７としては、ダッシュボード（インストルメントパネル）、ドア、ピラー、バックシート２３等を列挙することができる。遮蔽部７に車外カメラ３で撮像され、画像処理された画像が映し出されることによって、観察者である運転者５は、画像が車外の景色とつながっているとの知覚を得ることができる。
　検出部は、観察者が撮影された画像データに基づいて、観察者の視線などを検出できる。観察者が撮影された画像データは例えば車内カメラ６から出力される。
　図１及び図２に示すように、表示装置１０は、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に近接して設けられる拡散板１６と、を含んで構成される。拡散板１６は再帰反射性スクリーン１１の観察者に臨む側の表面に貼り付けられて積層されてよい。表示装置１０は、ダッシュボードに設けられたダッシュボード表示装置１０ａと、右サイドピラーに設けられた右サイドピラー表示装置１０ｂと、左サイドピラーに設けられた左サイドピラー表示装置１０ｃと、後部座席２２のバックシート２３の設けられたバックシート表示装置１０ｄとを含んでよい。
　また、表示装置１０は、投射部として、第１画像を再帰反射性スクリーン１１に投射する第１投射部と、第２画像を再帰反射性スクリーン１１に投射する第２投射部を含んで構成される。例えば右サイドピラーに貼付けられた右サイドピラー表示装置１０ｂの投射部（右サイドピラー投射部１２）は、第１画像を投射する第１投射部１２Ｒ及び第２画像を投射する第２投射部１２Ｌを含んで構成される。ここで、表示装置１０ａ、１０ｂ、１０ｃ、１０ｄは可撓性を有し、各遮蔽部７の起伏に応じて柔軟に湾曲させた状態で、接着剤等によって各遮蔽部７に接合されている。各投射部は同じ構成であるので、右サイドピラー投射部１２を例に詳細に説明する。
　第１投射部１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有してよい。第２投射部１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有してよい。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備えてよい。ここで、液晶表示装置に代えてＬＥＤ発光表示装置が用いられてよい。各投射レンズ１４Ｒ、１４Ｌは、第１画像及び第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像されるように、それぞれ複数のレンズの組合わせによって構成されてよい。ここで、観察者として運転者５を例示したが、助手席に座っている同乗者が観察者であってよい。第１投射部１２Ｒは、その射出瞳が観察者の右眼ＥＲと同じ高さかつ右眼ＥＲの近傍となるように、例えばヘッドレストの右側に配置されてよい。第２投射部１２Ｌも同様に、その射出瞳が観察者の左眼ＥＬと同じ高さかつ左眼ＥＬの近傍となるように、例えばヘッドレストの左側に配置されてよい。
　バックシート投射部２４及びダッシュボード投射部２５もまた、右サイドピラー投射部１２と同様に構成され、バックシート投射部２４はバックシート表示装置１０ｄにバックシート２３によって遮蔽される範囲に対応する画像を投射する。またダッシュボード投射部２５はダッシュボード表示装置１０ａにダッシュボードによって遮蔽される範囲に対応する画像を投射する。
　ダッシュボード投射部２５は、例えば車両２の天井の中央部に取り付けられてよい。バックシート投射部２４は、例えば運転席４の背もたれシートの上部に取付けられてよい。
　再帰反射性スクリーン１１は、再帰反射性を有し、入射した光を入射方向に反射する。第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌから出射された第１画像の画像光及び第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌに向けて反射される。そのため、再帰反射性スクリーン１１上で重なっている（混合された）第１画像の画像光と第２画像の画像光は、観察者の位置において分離して知覚される。また、本実施形態において、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は、再帰反射性スクリーン１１で反射した光を、観察者の両眼に向けさせる拡散能力を有する。例えば、観察者の上方にダッシュボード投射部２５がある場合に、拡散能が上下方向に大きく、左右方向に小さい拡散板１６がダッシュボード表示装置１０ａで用いられてよい。ここで、右眼ＥＲ用の画像が左眼ＥＬに入るといった画像の混同をなるべく抑制して、観察者に明瞭な立体画像を知覚させるために、左右方向の拡散能は上下方向の拡散能よりも小さいことが好ましい。拡散板１６は、例えば再帰反射性スクリーン１１の反射面上に接合されたホログラフィック光学素子であってよい。
　図２に示すように、再帰反射性スクリーン１１は、直径が例えば２０μｍ以上１００μｍ以下の微小な複数のガラスビーズ１１ａを反射膜１１ｂに配置した構成であってよい。再帰反射性スクリーン１１に投射された画像光は、ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折して反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進むため、再帰反射が実現される。
　上記のように、再帰反射性スクリーン１１上で重なっている右眼ＥＲ用の第１画像の画像光と左眼ＥＬ用の第２画像の画像光は、観察者の位置で分離されており、右眼ＥＲ及び左眼ＥＬに個別に入射する。第１画像及び第２画像は、観察者の視差を反映させた画像である。そのため、運転者５は、第１画像の画像光と第２画像の画像光との混合画像から立体的な像を知覚することができる。観察者の視差を反映させた第１画像の画像光と第２画像の画像光との混合画像を視差画像という。
　ここで、フロントガラス及び後部ウインドガラスから見える車外の景色と、遮蔽部７に表示される画像とがつながったように知覚させるために、車体を基準とする座標系を用いて再帰性投影に関する計算が実行されてよい。例えば車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする座標系が用いられて、運転者５の左眼ＥＬと右眼ＥＲの位置などがこの座標系における座標として定められてよい。車体を基準とする座標系において、運転者５の両眼の位置が定められて、再帰性投影に関する計算が実行されることによって、車外の景色と遮蔽部７に表示される画像とに連続性を持たせることができる。また、運転者５の両眼位置を検出することによって、運転者５の体形及び姿勢の相違に対しても柔軟に追従して画像を表示することができる。
　また、車両２の前部に設置される前部車外カメラ３ａと後部に設置される後部車外カメラ３ｂは、魚眼レンズを取り付けたカメラであってよい。魚眼レンズを用いることによって、車外の景色を立体角で広範囲にわたって撮像することができる。ここで、車外カメラ３の数は限定されず、例えば１台であってよいし、３台以上であってよい。また、車外の撮像が可能であれば、車外カメラ３の設置場所は限定されない。つまり、車外カメラ３は、車外に設置されていてよいし、車内に設置されていてよい。また、車内カメラ６は、例えばルームミラーに隣接する位置など、運転者５を撮像できる位置に設置される。車外カメラ３及び車内カメラ６は、例えばＣＣＤカメラであってよいが、特定の種類のカメラに限定されない。ここで、車内カメラ６、視線認識装置３１及び車内カメラ制御装置３７を含んで、検出部が構成される。
　図５は、画像表示装置１の構成を示すブロック図である。前部車外カメラ３ａ及び後部車外カメラ３ｂによって撮像された画像の画像データは、車外カメラ制御装置３５に送られる。車外カメラ制御装置３５は、画像表示装置１の一部を構成する。車外カメラ制御装置３５は、画像データに対して必要な信号処理（一例としてアナログ－デジタル変換）を実行して、画像データ処理装置３３に出力する。
　また、本実施形態において、画像表示装置１は運転者５の着席の有無を検出する着座センサ３６を備える。着座センサ３６は運転席４に設けられる。着座センサ３６は、公知の荷重センサ又はリミットスイッチによって構成されてよい。
　運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席が検出される。着座センサ３６の検出結果が視線認識装置３１に送られて、検出部は運転者５の両眼位置などの計測を開始する。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の左眼ＥＬ及び右眼ＥＲの位置及び瞳位置を画像認識処理によって抽出し、運転者５の視線を計算する。視線の計算は公知の手法が用いられてよい。視線認識装置３１は、眼球を球体と扱って、基準位置からの瞳の位置のずれ（眼球角度）を用いて視線を計算してよい。視線認識装置３１の計算結果は画像データ処理装置３３に出力される。画像データ処理装置３３は遮蔽部７が透明化されたように知覚させるための画像処理（透明化処理）を実行し、画像処理の結果に基づいて表示制御装置３９が表示装置１０を制御する。また、本実施形態において、視線認識装置３１は、観察者である運転者５の視線だけでなく動作を検知することができる。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の手などを認識して、運転者５がダッシュボードに手を伸ばしているといった動作を検知してよい。ここで、視線認識装置３１は例えばディープラーニングなどを用いた公知の物体認識技術によって、運転者５の体の一部を認識してよい。また、例えばダッシュボードなどに近接センサが設けられて、近接センサによって運転者５がダッシュボードに手を伸ばしているといった動作が検知されてよい。つまり、検出部は、さらに近接センサを含んで構成されてよい。
　また、画像表示装置１において、車外カメラ制御装置３５、画像データ処理装置３３、車内カメラ制御装置３７、視線認識装置３１及び表示制御装置３９を含んで、制御部５０が構成される。制御部５０は、画像表示装置１を制御する。制御部５０は、ハードウェア資源として例えば電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ；ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御部５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部５０は、１個又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってよい。制御部５０は、記憶部を備え、記憶部に各種情報又は画像表示装置１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。
　ここで、ダッシュボード等に投射される景色の画像を外界の景色とつながったように正しく知覚するためには、観察者のピントが景色にあっていること、すなわち遠方を見るようになっていることが必要である。しかし、例えば観察者が運転者５であるような場合に、走行中にダッシュボードのスピードメータ等を見ることがある。また、運転者５はハンドル又はナビゲーションシステム等を見ることがある。つまり、運転者５にとって、ピント位置の異なる映像及び物体が混在することがあり、それぞれにピントを合わせること（特に遠くから近くにピントを直ちに戻すこと）が難しい場合がある。言い換えれば、運転者５にとってダッシュボード等に投射される景色の画像を見ている状態で、ダッシュボードのスピードメータ等を知覚するのが難しい場合がある。
　本実施形態に係る画像表示装置１では、例えば車外の景色の視差画像と、実在の物体又は車両２に関する表示が行われる遮蔽部７の領域と、が共に観察者の視線の先に存在する場合に、枠画像を生成し、画像表示部が遮蔽部７に枠画像を表示する。枠画像は実在の物体又は車両２に関する表示が行われる領域の周囲の領域、又はこれらの境界の少なくとも一部に枠として表示されてよい。枠画像は、車両２に関する表示と共に表示してよいし、車両２に関する表示を行う予定の領域の周辺に表示してよい。第１画像と第２画像に枠を表す画像が含まれることで、観察者は視差画像に含まれる枠画像を知覚することができる。ここで、第１画像と第２画像に含まれる枠を表す画像は、視差を有さない形態としてよい。言い換えれば、枠画像は視差画像として表示されなくてよい。この場合、観察者が立体的に知覚する車外の景色の視差画像の中において、枠画像は立体的に知覚されない。例えば、第１画像と第２画像に含まれる、枠を表す画像は視差を有さないものとしてよい。第１画像と第２画像において、枠を表す画像の表示位置及び形状を同一することで、枠画像は立体的に知覚されない形態で表示される。車両２に関する表示を視差画像として表示する場合には、これを囲う枠画像も視差画像として表示してよい。車両２に関する表示を視差画像として表示しない場合、実在の物体を枠画像で囲う場合には、枠画像は視差画像で表示しなくてよい。枠画像が表示されることにより、いわゆる額縁効果が発生し、囲まれた部分が強調されるため、囲まれた部分（実在の物体又は車両２に関する表示）にピントを合わせやすくなる。立体的に知覚される視差画像の中で、枠画像が立体的に知覚されないようにすることで、観察者は枠画像で囲まれた部分に、よりピントを合わせやすくなる。つまり、本実施形態に係る画像表示装置１は、車外の遠方にピントが合った観察者に遮蔽部７が透明化されたように知覚させる一方、近くへピントを合わせることを容易にすることが可能である。また、ピントを合わせることが容易になることによって、運転者５は素早くスピードメータ等を見ることができるため、運転の快適性の向上を支援することができる。ここで、視差画像は第１画像及び第２画像が混合された画像であって、観察者に遮蔽部７が透明化されたように知覚させるための画像である。また、実在の物体及び車両２に関する表示は、観察者がピントを遮蔽部７に合わせることによって明確に見ることができる物体及び表示であって、具体例について後述する。画像表示装置１が枠画像を表示する遮蔽部７は、特に限定されないが、以下においてダッシュボードであるとして説明する。
　図６は、制御部５０の動作を説明するためのフローチャートである。運転者５が運転席４に着座し、スタートボタン等によって車両２の運転を開始すると、運転者５が運転席４に着座したことが着座センサ３６によって検出される。そして、運転中に、車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車両２の周囲を撮像する（ステップＳ１）。
　車内カメラ制御装置３７が視線認識装置３１及び車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視線認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の視線及び動作を検出する（ステップＳ２）。
　観察者に遮蔽部７が透明化されたように知覚させるため、視差画像を遮蔽部７に表示する場合に（ステップＳ３のＹＥＳ）、画像データ処理装置３３は、遮蔽部７に投射する画像を、車外カメラ３によって撮像された画像から切り出し、第１画像及び第２画像を生成する（ステップＳ４）。視差画像を遮蔽部７に表示するか否かは、運転者５によって設定されてよいし、車両２の走行状態に応じて自動的に決定されてよい。
　視差画像を遮蔽部７に表示しない場合に（ステップＳ３のＮＯ）、又は、ステップＳ４の後に、車両２の周囲の景色及び視差画像の少なくとも一方と、実在の物体又は車両２に関する表示が、観察者の視線の先に存在するかについて判定される（ステップＳ５）。実在の物体は、例えば運転者５によって走行中に見られるものであって、具体例としてダッシュボードに取り付けられたスピードメータ、タコメータなどの計器５１（図７参照）、ナビゲーションシステム５２（図１１参照）などの車載機器、ハンドル５３（図１１参照）などを含む。また、車両２に関する表示は、例えば車両２のサイズを示す車体像などの運転支援のための表示を含む。例えば制御部５０は、検出部によって運転者５の視線が進行方向前方にあると検出された場合に、ダッシュボードの計器５１などが景色とともに見られる状態にある、すなわち「実在の物体又は車両２に関する表示が、観察者の視線の先に存在する」と判定してよい。また、例えば制御部５０は、検出部によって運転者５が手をダッシュボードに伸ばす動作があると検出された場合にも、「実在の物体及び車両２に関する表示が、観察者の視線の先に存在する」と判定してよい。また、例えば制御部５０は、検出部によって運転者５の視線がバックシート２３にあると検出された場合に、「実在の物体又は車両２に関する表示が、観察者の視線の先に存在しない」と判定してよい。
　「実在の物体及び車両２に関する表示が、観察者の視線の先に存在する」と判定された場合に（ステップＳ５のＹＥＳ）、画像データ処理装置３３は枠画像を生成し（ステップＳ６）、処理がステップＳ７に進む。また、「実在の物体及び車両２に関する表示が、観察者の視線の先に存在しない」と判定された場合に（ステップＳ５のＮＯ）、画像データ処理装置３３は枠画像を生成せず、処理がステップＳ７に進む。上記のように、枠画像は、観察者から見て、実在の物体又は車両２に関する表示の境界の少なくとも一部に枠として表示される画像である。枠画像の枠は単色であってよい。枠の色は、特定の色に限定されないが、額縁効果が生じるように周囲に対してコントラストの高い色であることが好ましい。例えば枠の色は、第１画像及び第２画像に対して高いコントラストを有するように、画像データ処理装置３３によって選択されてよい。また、枠画像の枠の色は、周囲の明るさ、天候などに応じて変更されてよい。
　画像表示部は、遮蔽部７に生成された画像を表示する（ステップＳ７）。画像データ処理装置３３によって枠画像が生成された場合に、画像表示部が枠画像を遮蔽部７に表示し、観察者は枠によって強調されたダッシュボード又は計器５１などを見ることができる。以下に図面を参照しながら、いくつかの表示例が説明される。
　図７は、遮蔽部７であるダッシュボード５５が透明化される状態を示す図である。透明化処理が実行されると、計器５１などを有するダッシュボード５５の部分について、図７の左図から右図のように変化する。つまり、ダッシュボード表示装置１０ａに第１画像及び第２画像が混合された視差画像が表示されて、運転者５は、ダッシュボード５５の部分がフロントガラス４２から見える景色とつながったように知覚する。ただし、運転者５が計器５１などを確認する場合など、運転状況に応じて、図７の右図から左図のように戻ってダッシュボード５５が表示されることがある。本実施形態に係る画像表示装置１は、例えば図８に示すように、遮蔽部７であるダッシュボード５５の外枠を囲むように、枠画像６０を生成して表示する。枠画像６０が表示されて額縁効果が生じることによって、それまで遠方の景色にピントを合わせていた運転者５は、素早くダッシュボード５５にピントを合わせ、計器５１などを確認することができる。ここで、枠画像６０は、実在の物体又は車両２に関する表示の少なくとも一部を囲めばよく、全体を囲むものに限定されない。また、枠画像６０は、連続する線で描かれなくてよい。例えば枠画像６０は、一部に隙間がある線で描かれてよいし、破線で示されてよい。
　画像表示装置１は、例えば図９のように、計器５１の外枠を囲むように、枠画像６０を生成して表示してよい。複数の計器５１がある場合に、それぞれに対して枠画像６０が表示されてよいし、一部の計器５１に対して枠画像６０が表示されてよい。
　また、図１０のように、例えばダッシュボード上の領域のうち、計器５１が存在する部分については視差画像を表示させないことによって、計器５１を透過させて（計器５１を観察者が見えるようにして）、ダッシュボード５５を透明化することが可能である。画像表示装置１は、透過させた計器５１の外枠を囲むように、枠画像６０を生成して表示してよい。
　また、図１１のように、透明化されるダッシュボード５５に含まれない実在の物体であるナビゲーションシステム５２及びハンドル５３などについて枠画像６０が生成されてよい。運転者５がナビゲーションシステム５２又はハンドル５３を見る場合に素早くピントを調整できるとともに、透明化による景色の画像の中にナビゲーションシステム５２及びハンドル５３が浮遊しているように見える違和感を低減することができる。
　また、制御部５０は、車内カメラ６で撮影した画像から、透明化されるダッシュボード５５上に置かれた実在の物体（財布、ドリンク等）の位置を認識し、当該実在の物体が存在する領域については、視差画像を表示させないようにしてよい。若しくは、当該実在の物体が存在する領域の周囲に枠画像６０を表示してよい。
　また、図１２のように、運転者５の運転支援のために車両２のサイズを示す車体像が表示される場合に、車体像について枠画像６０が生成されてよい。運転者５は、車体像に素早くピントを合わせることができるため、運転の快適性が向上する。
　以上のように、本実施形態に係る画像表示装置１は、上記の構成によって、観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能である。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　例えば図１０のような遮蔽部７に含まれる装置又は装備の透過、又は枠画像６０の表示の有無を切替えることは、観察者の動作に基づいて実行されてよい。例えばダッシュボード５５にドリンクホルダー等の実在の物体が備えられており、検出部が観察者のドリンクホルダーを使用する動作を検出した場合に、当該ドリンクホルダーが存在する領域については、視差画像を表示させないようにしてよい。視差画像が表示されないことで、それまで透明化によって視認しづらかったドリンクホルダーが明瞭に見えるように変化する。そして、ドリンクホルダーの周囲の領域に対して枠画像６０が表示されてよい。検出部は、車内カメラ６が撮像する車内画像データに基づいて観察者の動作を検出してよい。例えば、観察者がドリンクホルダーに手を伸ばす動作をした場合、ドリンクホルダーと観察者の手との距離が所定以内となった場合に、ドリンクホルダーを使用する意思が有る動作であると検出してよい。観察者が、ドリンクを手に把持している場合に、ドリンクホルダーを使用する動作であると検出してよい。検出部が、観察者がドリンクホルダーを使用する意思がない動作を検出した場合に、当該ドリンクホルダーが存在する領域について、視差画像を表示させてよい。例えば、観察者がドリンクホルダーから手を放す動作をした場合、ドリンクホルダーと観察者の手との距離が所定以上となった場合に、ドリンクホルダーを使用する意思がないと検出してよい。車内にドリンクが存在してない場合に、ドリンクホルダーを使用する意思がないと検出してよい。
　１　画像表示装置
　２　車両
　３　車外カメラ
　４　運転席
　５　運転者
　６　車内カメラ
　７　遮蔽部
　８　第１画像処理部
　９　第２画像処理部
　１０　表示装置
　１１　再帰反射性スクリーン
　１１ａ　ガラスビーズ
　１１ｂ　反射膜
　１２　投射部
　１２Ｌ　第２投射部
　１２Ｒ　第１投射部
　１３Ｌ、１３Ｒ　液晶表示装置
　１４Ｌ　第２投射レンズ
　１４Ｒ　第１投射レンズ
　１６　拡散板
　２２　後部座席
　２３　バックシート
　２４　バックシート投射部
　２５　ダッシュボード投射部
　３１　視線認識装置
　３３　画像データ処理装置
　３５　車外カメラ制御装置
　３６　着座センサ
　３７　車内カメラ制御装置
　３９　表示制御装置
　４２　フロントガラス
　４６　右ウインドガラス
　５０　制御部
　５１　計器
　５２　ナビゲーションシステム
　５３　ハンドル
　５５　ダッシュボード
　６０　枠画像
　ＥＬ　左眼
　ＥＲ　右眼

Claims (15)

  1. 　観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、
    　前記車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
    　前記遮蔽部に前記第１画像及び前記第２画像からなる視差画像を前記遮蔽部上に表示する画像表示部と、を備え、
    　前記画像表示部は、前記遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を前記視差画像とともに表示する、画像表示装置。
  2. 　前記撮像部は、前記車両の内部を撮像して車内画像データを出力する車内カメラを含み、
    　前記車内画像データに基づいて認識した、前記実在の物体が存在する領域の周囲の領域の少なくとも一部に前記枠画像を表示する、請求項１に記載の画像表示装置。
  3. 　前記車内画像データに基づいて認識した、前記観察者の動作に基づいて、前記枠画像の表示の有無を切替える、請求項２に記載の画像表示装置。
  4. 　前記観察者による前記実在の物体を使用する意思が有ると検出した場合に、使用する意思のある前記実在の物体の周囲の領域の少なくとも一部に前記枠画像を表示する、請求項３に記載の画像表示装置。
  5. 　前記視差画像と、実在の物体又は前記車両に関する表示と、が前記観察者の視線の先に存在する場合に、前記画像データ処理部は、前記枠画像を表示する、請求項１に記載の画像表示装置。
  6. 　前記視差画像は、前記観察者に前記車外画像データに基づく画像を立体的に知覚させ、前記枠画像を立体的に知覚させない、請求項１に記載の画像表示装置。
  7. 　前記視差画像は、前記観察者に車外画像データに基づく画像を立体的に知覚させ、
    　前記画像表示部は、前記実在の物体又は観察者に立体的に知覚させない前記車両に関する表示の周囲の領域に、立体的に知覚させない前記枠画像を表示させる、請求項１に記載の画像表示装置。
  8. 　前記第２画像は前記第１画像に対して視差を有する車外画像データに基づく画像を含み、
    　前記枠画像は、前記第１画像及び前記第２画像に含まれる視差を有さない画像から生成される、請求項６又は請求項７に記載の画像表示装置。
  9. 　前記遮蔽部がダッシュボードである、請求項１から７のいずれか一項に記載の画像表示装置。
  10. 　前記枠は単色である、請求項１から７のいずれか一項に記載の画像表示装置。
  11. 　前記枠の色は、前記第１画像及び前記第２画像に対して高いコントラストを有するように選択される、請求項１から７のいずれか一項に記載の画像表示装置。
  12. 　前記実在の物体が計器である、請求項１から７のいずれか一項に記載の画像表示装置。
  13. 　前記車両に関する表示が前記車両のサイズを示す車体像である、請求項１から７のいずれか一項に記載の画像表示装置。
  14. 　前記画像表示部は、
    　　前記遮蔽部に設けられた、再帰反射性スクリーンと、
    　　前記第１画像を、前記再帰反射性スクリーンに投射する第１投射部と、
    　　前記第２画像を、前記再帰反射性スクリーンに投射する第２投射部と、を含む、請求項１から７のいずれか一項に記載の画像表示装置。
  15. 　前記画像表示部は、
    　　前記再帰反射性スクリーンに近接して設けられた拡散板を、さらに含む、請求項１４に記載の画像表示装置。
PCT/JP2023/017792 2022-05-27 2023-05-11 画像表示装置 WO2023228770A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022087152A JP2023174347A (ja) 2022-05-27 2022-05-27 画像表示装置
JP2022-087152 2022-05-27

Publications (1)

Publication Number Publication Date
WO2023228770A1 true WO2023228770A1 (ja) 2023-11-30

Family

ID=88919136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017792 WO2023228770A1 (ja) 2022-05-27 2023-05-11 画像表示装置

Country Status (2)

Country Link
JP (1) JP2023174347A (ja)
WO (1) WO2023228770A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム
JP2015012559A (ja) * 2013-07-02 2015-01-19 株式会社デンソー 投射型表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109684A (ja) * 2008-10-30 2010-05-13 Clarion Co Ltd 車両周辺画像表示システム
JP2015012559A (ja) * 2013-07-02 2015-01-19 株式会社デンソー 投射型表示装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANEDA, NARIHIRO ET AL.: "Evaluation of the impression that a visual support system gives to users by making vehicles transparent using reflexive projection technology", PROCEEDINGS OF THE 18TH ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN; 2013.9.18-20, VIRTUAL REALITY SOCIETY OF JAPAN, JP, vol. 18, 20 September 2013 (2013-09-20) - 20 September 2013 (2013-09-20), JP, pages 47 - 50, XP009550799 *
SHOTA SASAI, ITARU KITAHARA, YOSHINARI KAMEDA, YUICHI OHTA: "H-011: MR Visualization of Wheel Trajectories by Seeing-Through Dashboard", FIT2014: 3RD VOLUME OF LECTURE PROCEEDINGS OF THE 13TH FORUM ON INFORMATION TECHNOLOGY; SEPTEMBER 3-5, 2014, IEICE, JP, vol. 3, 19 August 2014 (2014-08-19) - 5 September 2014 (2014-09-05), JP, pages 89 - 90, XP009550800 *
SHUNKI HASEGAWA, YUJI UEMA, NARIHIRO HANEDA, MAKOTO SAKAI, MASAHIKO INAMI: "Study on designing transparent A-pillar by retro-reflective projection technology", PROCEEDINGS OF THE ANNUAL CONFERENCE OF THE VIRTUAL REALITY SOCIETY OF JAPAN, VIRTUAL REALITY SOCIETY OF JAPAN, JAPAN, vol. 18, 20 September 2013 (2013-09-20) - 20 September 2013 (2013-09-20), Japan , pages 43 - 46, XP009550798, ISSN: 1349-5062 *

Also Published As

Publication number Publication date
JP2023174347A (ja) 2023-12-07

Similar Documents

Publication Publication Date Title
US10247941B2 (en) Vehicle vision system with light field monitor
US10730440B2 (en) Display system, electronic mirror system, and moving body
JP7003925B2 (ja) 反射板、情報表示装置および移動体
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
JP2019174794A (ja) 表示システム、電子ミラーシステム、移動体、及び表示方法
JP6697751B2 (ja) 車両用表示システム、電子ミラーシステム及び移動体
WO2022181767A1 (ja) 画像表示装置
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
WO2023228770A1 (ja) 画像表示装置
JPH07105484A (ja) 車両用情報表示装置
JP2021067909A (ja) 立体表示装置及びヘッドアップディスプレイ装置
WO2018101170A1 (ja) 表示装置、及び、電子ミラー
JP6515796B2 (ja) ヘッドアップディスプレイ装置
WO2023228771A1 (ja) 画像表示装置、車両及び画像表示方法
JP3513664B2 (ja) 車両用情報表示装置
WO2023228752A1 (ja) 画像表示装置
WO2023233919A1 (ja) 画像投影システム
JP6941799B2 (ja) 表示システム
JPWO2018030320A1 (ja) 車両用表示装置
JP6697747B2 (ja) 表示システム、電子ミラーシステム及び移動体
WO2022230824A1 (ja) 映像表示装置および映像表示方法
WO2019124323A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
WO2022255424A1 (ja) 映像表示装置
JP6995294B1 (ja) 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム
JP2021018295A (ja) ウィンドシールド表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811644

Country of ref document: EP

Kind code of ref document: A1