WO2013157184A1 - 車両用後方視界支援装置及び車両用後方視界支援方法 - Google Patents

車両用後方視界支援装置及び車両用後方視界支援方法 Download PDF

Info

Publication number
WO2013157184A1
WO2013157184A1 PCT/JP2013/001331 JP2013001331W WO2013157184A1 WO 2013157184 A1 WO2013157184 A1 WO 2013157184A1 JP 2013001331 W JP2013001331 W JP 2013001331W WO 2013157184 A1 WO2013157184 A1 WO 2013157184A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
rear side
window frame
mask
Prior art date
Application number
PCT/JP2013/001331
Other languages
English (en)
French (fr)
Inventor
草柳 佳紀
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Publication of WO2013157184A1 publication Critical patent/WO2013157184A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a display technology that supports a field of view behind a vehicle.
  • Patent Document 1 Conventionally, as a technique for deforming an image captured by a camera and displaying it on a monitor, for example, there is a technique described in Patent Document 1.
  • the image when displaying an image captured by a camera installed backward with respect to the front-rear direction of the vehicle, the image is displayed so that the horizontal scale ratio of the screen is larger than the scale ratio of the central portion of the screen. It has been converted. Specifically, the scale factor of the image near the side surface of the host vehicle is reduced, and the scale factor of the image away from the side surface of the host vehicle is increased.
  • the image display an image on the side close to the side surface of the own vehicle is displayed large, and an image on the side far from the side surface of the own vehicle is displayed small. For this reason, when the attention object in a picture
  • the present invention has been made in view of the above-described problems, and is suitable for displaying a captured image on the rear side of the host vehicle so as to easily perceive a sense of perspective and distance from a target object in the captured image.
  • An object of the present invention is to provide a vehicular rear view support device and a vehicular rear view support method.
  • a rear side image capturing unit mounted on a vehicle captures a region on the rear side of the vehicle including a part of a side surface portion of the vehicle in the capturing range.
  • two straight lines extending radially from the starting point set on one region side where the side image region that is an image region including a part of the side surface portion exists toward the other region side , Two straight lines extending radially to the end of the rear side image in a predetermined radial direction at a radiation angle at which a preset ponzo illusion is effective, and radiation separated by the two straight lines
  • Mask processing which is processing for masking the remaining image region, is performed by leaving the image region surrounded by the window frame including the outer edge portion of the image region inside the corner and the frame line portion. Then, the rear side image subjected to the mask process is displayed.
  • the area surrounded by the window frame includes a vanishing point in the rear side image, a rear area that includes a part of the side image area and a part of the rear area of the vehicle, and traveling of the vehicle.
  • the positions of the start points, the emission angles, and the emission directions of the two straight lines are set so as to include the movement area of the subsequent vehicle that travels in the adjacent lane adjacent to the lane.
  • the remaining image area is masked while leaving the image area surrounded by the window frame in the rear side image.
  • the succeeding vehicle existing in the area inside the radiation angle of the two straight lines that radiate from the start point is felt larger as it approaches the start point and smaller as it moves away from the start point due to the ponzo illusion. Therefore, it is possible to emphasize the perspective of both of the vehicle and the following vehicle (or obstacle) in the window frame without changing the distance.
  • FIG. 4 is a diagram illustrating an arrangement example of cameras 400 to 404 and monitors 405 to 409.
  • FIG. 4 is a diagram illustrating an example of an imaging range of cameras 400 to 404. It is a block diagram which shows an example of a function structure of the vehicle back view assistance apparatus. It is a schematic diagram for demonstrating the Ponzo illusion. It is a figure for demonstrating the setting requirements of the window frame Wf.
  • (A) is a schematic diagram showing an example of setting an ideal emission angle and emission direction of an illusion oblique line
  • (b) to (e) are examples of setting an inappropriate emission angle and emission direction of an illusion oblique line.
  • (A) And (b) is a figure for demonstrating the setting requirements of a virtual straight line.
  • (A) And (b) is a figure which shows the example of a shape of the mask image of this embodiment, and a window frame.
  • (A) And (b) is a schematic diagram which shows an example of the ideal shape setting of the back window frame Wfb and the rear side window frame Wfbs
  • (c) And (d) is the back window frame W.
  • It is a flowchart which shows an example of the process sequence of a rear view assistance process.
  • (A)-(c) is a figure which shows the mask example by the mask image Im1 corresponding to the single window frame Wf1
  • (d) is a schematic diagram which shows an example which displayed only the single window frame Wf1 .
  • (A) ⁇ (c) is a diagram showing a mask example by the mask image I m2 corresponding to the rear window frame W fb and the rear side window frame W fbs, (d), the rear window frame W fb and after It is a schematic diagram which shows an example which displayed only the side window frame W fbs .
  • It is a block diagram which shows an example of a function structure of the vehicle back view assistance apparatus 100 of 2nd Embodiment.
  • A)-(c) is a schematic diagram which shows the example of a setting of single- piece
  • (d) is a schematic diagram which shows an example of mask image Im1
  • (A)-(b) is a schematic diagram which shows the example of a setting of the back window frame Wfb and the rear side window frame Wfbs
  • (c) is a schematic diagram which shows an example of the mask image Im2 .
  • (A) is a schematic diagram illustrating an example of a normal composite image that is normally combined with a mask image Im2
  • (b) is a schematic diagram illustrating an example of a transparent composite image that is transparently combined with a mask image Im2
  • (C) is a schematic diagram which shows an example when the inter-vehicle distance becomes less than the distance threshold and the mask process is canceled.
  • It is a block diagram which shows an example of a function structure of the vehicle back view assistance apparatus 100 of 3rd Embodiment.
  • It is a flowchart which shows an example of the process sequence of the back view assistance process of 3rd Embodiment.
  • FIG. 1 It is a flowchart which shows an example of the process sequence of the transparent display flag setting process of 3rd Embodiment.
  • (A)-(b) is a schematic diagram which shows an example of the display result of the various images according to the detection result of R position, and the setting content of transparent display mode.
  • (A) ⁇ (b) is a schematic diagram showing another display example of the mask image I m.
  • FIG. 1 to FIG. 13 are views showing a first embodiment of a vehicular rear view support apparatus and vehicular rear view support method according to the present invention.
  • FIG. 1 is a schematic configuration diagram of a vehicular rear view assistance device according to the present embodiment.
  • the vehicle rear view assistance device 100 is mounted on the vehicle A.
  • the vehicular rear view assistance apparatus 100 includes a CPU 10, a camera group 11, a RAM 12, a ROM 13, and a monitor group 14.
  • the camera group 11 includes a camera 400, a camera 401, a camera 402, a camera 403, and a camera 404.
  • the cameras 400 to 404 are composed of known cameras such as a CCD camera and a CMOS camera.
  • the monitor group 14 includes a monitor 405 (or 407), a monitor 406 (or 408), and a monitor 409.
  • the monitors 405 to 409 are composed of known monitors such as a liquid crystal monitor, an organic EL monitor, and a plasma monitor.
  • FIG. 2 is a diagram illustrating an arrangement example of the cameras 400 to 404 and the monitors 405 to 409. In this embodiment, the cameras 400 to 404 and the monitors 405 to 409 replace the door mirror and the room mirror that are mounted on a conventional vehicle and display an image reflected on the mirror surface.
  • the camera 400 is provided in the vicinity of the installation position of the conventional right door mirror outside the passenger compartment of the host vehicle A, and the camera 401 is provided in the vicinity of the installation position of the conventional left door mirror outside the passenger compartment of the host vehicle A.
  • the camera 402 is provided at the same height as the camera 400 at the right rear end of the host vehicle A, and the camera 403 is provided at the same height as the camera 401 at the left rear end of the host vehicle A.
  • the camera 404 is provided at the upper end of the rear window at the center of the rear end of the host vehicle A.
  • FIG. 3 is a diagram showing an example of the photographing range of the cameras 400 to 404.
  • the camera 400 captures an image corresponding to a reflection image of a conventional right door mirror, and is installed at a position where the right rear side region including a part of the right side surface of the host vehicle A can be captured.
  • the right rear side area including the right side area from the vicinity of the conventional right door mirror to the rear end of the right rear bumper is installed at a position where photographing is possible.
  • the camera 400 installed at such a position images a right rear side region including a part of the right side surface portion of the own vehicle A, and image data obtained by the image capturing (hereinafter referred to as right rear side image data and To the CPU 10.
  • the camera 401 captures an image corresponding to the reflection image of the conventional left door mirror, and is installed at a position where the left rear side region including a part of the left side portion of the vehicle A can be photographed.
  • the left rear side area including the left side area from the vicinity of the conventional left door mirror to the rear end of the left rear bumper is installed at a position where it can be photographed.
  • the camera 401 installed at such a position captures a left rear side area including a part of the left side surface portion of the host vehicle A, and image data (hereinafter referred to as left rear side image data) obtained by capturing the image.
  • image data hereinafter referred to as left rear side image data
  • the camera 402 covers an area that becomes a blind spot by the right side surface portion of the own vehicle A in the photographing range of the camera 400.
  • the camera 402 can shoot a rear area (hereinafter referred to as a right rear area) including an area where a part of the right side portion of the host vehicle A becomes a blind spot in the shooting range of the camera 400.
  • Install in. The camera 402 installed at such a position captures a right rear area of the host vehicle A, and transmits image data obtained by the capturing (hereinafter referred to as right rear image data) to the CPU 10.
  • the camera 403 covers an area that becomes a blind spot by the left side surface portion of the own vehicle A in the shooting range of the camera 401.
  • the camera 403 can photograph a left rear region (hereinafter referred to as a left rear region) including a region where a blind spot is formed by a part of the left side surface portion of the host vehicle A within the photographing range of the camera 401.
  • the camera 403 installed at such a position photographs the left rear area of the host vehicle A, and transmits image data obtained by photographing (hereinafter referred to as left rear image data) to the CPU 10.
  • the camera 404 captures an image corresponding to a reflection image of a conventional room mirror, and is installed at a position where the area behind the center of the host vehicle A can be captured.
  • the camera 404 installed at such a position captures the center rear of the host vehicle and transmits image data obtained by the capturing (hereinafter referred to as center rear image data) to the CPU 10.
  • center rear image data image data obtained by the capturing
  • FIG. 3 only the uniaxial range is shown as the shooting range, but in actuality, it is a conical shooting range with the center of the lens of each camera as the apex.
  • the photographing range of the cameras 400 to 404 is an angle of view determined by the characteristics of the lens (wide angle lens) of each camera.
  • the monitor 405 is provided in the vicinity of the installation position of the conventional right door mirror outside the cabin of the host vehicle A, and the monitor 406 is installed at the position of the conventional left door mirror outside the cabin of the host vehicle A. It is provided near.
  • the monitor 407 is provided near the base of the right A pillar in the passenger compartment of the host vehicle A (near the same height position as the conventional right door mirror), and the monitor 408 is provided on the left A pillar in the passenger compartment of the host vehicle A. It is provided near the base (near the same height as the conventional left door mirror).
  • the monitor 409 is provided in the vicinity of the conventional room mirror installation position in the upper center of the front side in the vehicle interior.
  • the monitor 405 corresponds to a conventional right door mirror, and image data generated based on right rear side image data obtained by photographing with the camera 400 and right rear image data obtained by photographing with the camera 402. The image of is displayed.
  • the monitor 405 is waterproofed so as to be installed outside the passenger compartment.
  • the monitor 406 corresponds to a conventional left door mirror, and image data generated based on left rear side image data obtained by photographing with the camera 401 and left rear image data obtained by photographing with the camera 403. The image of is displayed.
  • the monitor 406 is waterproofed for installation outside the passenger compartment.
  • the monitor 407 corresponds to a conventional right side door mirror similar to the monitor 405, and is based on right rear side image data obtained by photographing with the camera 400 and right rear image data obtained by photographing with the camera 402. An image of the generated image data is displayed.
  • the monitor 408 corresponds to a conventional left side door mirror similar to the monitor 406, and is based on left rear side image data obtained by photographing with the camera 401 and left rear image data obtained by photographing with the camera 403. An image of the generated image data is displayed.
  • a monitor 409 corresponds to a conventional room mirror and displays an image of the central rear image data obtained by photographing with the camera 404. Since the camera 404 is installed at the rear end of the vehicle, the captured image does not include the interior of the host vehicle, unlike a reflection image of a conventional room mirror. Therefore, it is desirable to superimpose and display an image of a part of the passenger compartment (such as the rear window frame) generated by the CG on the captured image of the camera 404. Note that both the monitors 405 and 406 and the monitors 407 and 408 can be installed, but it is desirable to install either one. In this embodiment, the monitors 405 and 406 are installed, and the monitors 407 and 408 are not installed.
  • the ROM 13 stores a dedicated program for realizing a later-described rear view support process and various data necessary for executing the program.
  • the ROM 13 reads various stored data and inputs it to the CPU 10 in response to a request from the CPU 10. Specifically, the ROM 13 stores data necessary for execution of a program such as mask image information used in mask processing described later.
  • the RAM 12 is used as a work memory when executing a dedicated program.
  • the RAM 12 temporarily stores various data (various photographed image data, various flag data, etc.) necessary for executing the dedicated program.
  • a CPU (Central Processing Unit) 10 executes a dedicated program stored in the ROM 13 and monitors 405 and 406 that replace the reflected images of the conventional left and right door mirrors based on various image data transmitted from the cameras 400 to 403. A display image is generated. Based on the image data transmitted from the camera 404, the CPU 10 generates a display image on the monitor 409 that substitutes for a reflection image of a conventional room mirror.
  • the cameras 400 to 404 are digital video cameras that shoot moving images, and moving images are displayed on the monitors 405 to 409.
  • the CPU 10 masks a region other than the image region surrounded by the window frame having a shape that enables the Ponzo illusion for the left and right rear side images when the display images of the monitors 405 and 406 are generated. Apply. Then, the CPU 10 displays the left and right rear side images subjected to the mask processing on the monitors 405 and 406.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the vehicular rear view assistance device 100.
  • the vehicular rear view assistance device 100 includes a mask processing unit 109 as a functional component.
  • the mask processing unit 109 synthesizes the mask image stored in the ROM 13 with the left and right rear side images obtained by photographing with the cameras 400 to 401.
  • a window frame having a shape in which the Ponzo illusion is effective is set for the left and right rear side images obtained by photographing with the cameras 400 to 401. Then, the image area surrounded by the set window frame is left among the respective rear side images, and the remaining image area is masked with the mask image.
  • this mask image is generated in advance before shipment from the factory. The generated mask image is stored in the ROM 13 in advance.
  • the vehicle type of the own vehicle A since the mask image is generated in advance, the vehicle type of the own vehicle A, the installation position, the installation angle, the imaging range, etc. of the cameras 400 to 401 on the own vehicle A are fixed (known). . Therefore, when the host vehicle A is stopped, the position of the vanishing point and the position of the horizon in the captured image are fixed. Further, since the vehicle type of the host vehicle A is known, the vehicle body shape and the like are also known.
  • FIG. 5 is a schematic diagram for explaining the Ponzo illusion.
  • the Ponzo illusion is an equal length of 2 between two straight lines extending radially from the same starting point P v at a preset radiation angle (for example, 45 to 55 °).
  • This is an illusion created by drawing lines of books side by side.
  • the line closer to the start point P v is look longer than the line farther from the starting point P v (felt).
  • FIG. 5B two circles having the same diameter are drawn side by side between two straight lines extending radially from the same starting point P v at a preset radiation angle.
  • the circle of people close to the starting point P v looks larger than the circle of people far from the starting point P v (felt).
  • the two straight lines having a relationship that causes the Ponzo illusion are referred to as oblique illusions.
  • the interval between the two lines of the illusion oblique line is narrow as in FIG.
  • the line drawn on the side looks longer (feels) than the line drawn on the wider line spacing.
  • a part of the rear side image, particularly a subsequent vehicle traveling in an adjacent lane is set as an illusion target of the Ponzo illusion. That is, the succeeding vehicle traveling in the adjacent lane AL is displayed in the area between the upper side L du and the lower side L dd of the illusion oblique line L d . Therefore, as shown in FIG.
  • window frame W f is set with and as the frame part. However, this window frame Wf is set so that the movement range of the following vehicle traveling in the adjacent lane is included in the window frame without any shortage.
  • the window frame W f is set so that the movement range of the following vehicle traveling in the adjacent lane is included in the window frame without any shortage.
  • the Ponzo illusion is larger when the mask process is performed and the subsequent vehicle and the obstacle are closer to the start point P v than when the mask process is not performed. It means an illusion that can be felt and felt as it gets farther away from the starting point Pv .
  • the vanishing point V p needs to be displayed.
  • the side image area which is an image area including a part of the side surface portion of the own vehicle A, and the area behind the traveling lane of the own vehicle A are completely masked, the sense of distance from the following vehicle is impaired. .
  • the window frame is set based on the following setting requirements.
  • FIG. 6 is a diagram for explaining the configuration requirements of the window frame W f.
  • FIG. 7 (a) is a schematic diagram showing an example of setting an ideal emission angle and emission direction of an illusion oblique line
  • FIGS. 7 (b) to (e) are inappropriate emission angle and emission direction of the illusion oblique line.
  • It is a schematic diagram which shows the example of a setting.
  • FIGS. 8A and 8B are diagrams for explaining the setting requirements for the virtual straight line.
  • FIGS. 9A and 9B are diagrams showing examples of mask images and window frame shapes according to this embodiment.
  • the rear side image includes a side image area 500 of the own vehicle A, an area behind the traveling lane SL of the own vehicle A (hereinafter referred to as the own lane SL), and the own vehicle A. And rear side area.
  • the rear side area includes the adjacent lane AL adjacent to the own lane SL and the following vehicle B traveling in the adjacent lane AL.
  • the following vehicle B travels in the adjacent lane AL from the distant region 560 shown in FIG. That is, the following vehicle B moves in a rear side range 550 (a dotted line in the figure) that is a range from the far region 560 to the neighborhood region 570.
  • the intersection of the horizon 510 and the virtual straight line 525 is the vanishing point V p .
  • the virtual straight line 525 will be described later.
  • the window frame W f when setting the window frame W f, to satisfy the set requirements of the following (a) ⁇ (d).
  • C) The vanishing point V p is included in the window frame W f (required by law). However, in the present embodiment, the vanishing point V p is included in the window frame W f when the host vehicle A travels on a straight road. For example, when traveling on a curve or the like, the mask is temporarily released, for example.
  • (D) a portion of the rear region of the part and the own lane SL side image region 500 included in the window frame W f.
  • the position of the start point P v of the illusion oblique line L d (hereinafter referred to as the window frame vanishing point P v ), the radiation angle of the illusion oblique line L d , and Radiation direction is important.
  • FIG. 7 (a) is a diagram showing an example of an ideal setting position of the window frame W f.
  • the rear side image is considered by dividing it into two left and right regions F b and F bs divided by a virtual straight line 525.
  • Window frame vanishing point P v is the two rear side image region F b and existing area F b side of the side image area 500 of the F bs (7 left) at and horizon 510 height following
  • the height position is set (a position within a preset offset amount Ofsh range).
  • illusion hatched L d is in the range of the window frame for vanishing point P v shown in FIG. 7 (a) of the emitting angle 45 ⁇ 55 ° (FIGS. 7 (a) in 55 °), radial side of the upper side L du Is set to a radial direction in which the end of the image reaches the upper right corner of the rear side image.
  • at least a part of the side image area 500, a part of the area behind the own lane SL, the vanishing point V p, and the rear side area 550 are within the range surrounded by the window frame W f. Movement area of the following vehicle.
  • the setting method of the virtual straight line 525 of this embodiment is demonstrated.
  • the window frame W f first, as shown in FIG. 8 (a), detecting a horizon 510 from the rear side image.
  • a line that passes through the preset lateral offset amount Ofsw from the end of the side image area 500 outside the vehicle and intersects the horizon 510 is set as a virtual straight line 525.
  • This offset amount Ofsw is set based on the position of the center of the optical axis of the cameras 400-401 .
  • FIG. 8B it is assumed that cameras 400 to 401 are installed at a position corresponding to a position directly below a conventional door mirror.
  • an offset amount is set in a range where the virtual straight line 525 matches at an infinite point.
  • the lateral distance from the side surface of the host vehicle A to the outer end of the door mirror is about 30 [cm]
  • the optical axis center of the lenses of the cameras 400 to 401 from the side surface of the host vehicle A The distance is about 20 [cm].
  • the offset amount Ofsw is a distance on the rear side image corresponding to about 20 [cm].
  • FIG. 7 (b) a vanishing point P v for window frame, in the region F b, an example of setting to the right from the side surface image region 500.
  • the range enclosed by the window frame W f does not include the following vehicle B that is close to the position adjacent to the host vehicle A.
  • FIG. 7C shows an example in which the window frame vanishing point P v is set to the left of the side image region 500 (the left end of the image) in the region F b , contrary to FIG. 7B. It is. In this case, the mask area becomes too small, and the effect of the Ponzo illusion is weakened.
  • FIG. 7 (d) shows an example in which the distance away from is set to a position where the distance is longer than the offset amount Ofsh .
  • FIG. 7D shows an example in which the radiation direction of the illusion oblique line L d is set to a direction in which the end portion in the radiation direction of the upper side L du reaches the upper end of the image before the upper right corner of the image.
  • the range surrounded by the window frame W f does not include both the far region 560 and the nearby region 570 in addition to a part of the side image region 500 and a part of the rear region of the own lane SL. .
  • the window frame vanishing point P v is set to the left side of the side image region 500 (image of the image), contrary to FIG. This is an example set at the left end.
  • the neighboring region 570 is not included.
  • the length of the upper side L du becomes too short, and the effect of the Ponzo illusion cannot be obtained. From the above, the setting contents illustrated in FIGS. 7B to 7E are all examples of inappropriate setting contents.
  • the window frame W f is configured as shown in FIG. 9B in addition to the shape of the illusion oblique line L d as it is, as shown in FIG. 9A. Is also possible. Specifically, as shown in FIG. 9 (b), 2 two windows of the window frame W f, and the rear window frame W fb rectangular in this embodiment, the side windows W fbs after substantially trapezoidal Set by dividing into frames.
  • the rear window frame W fb includes the upper side L dup that is a part of the upper side L du of the illusion oblique line L d , the lower side L ddp that is a part of the lower side L dd , and the upper side on the side image region 500 side.
  • an illusion oblique line portion L dp a part of the illusion oblique line L d composed of the upper side portion L dup and the lower side portion L ddp is referred to as an illusion oblique line portion L dp .
  • the rear window frame W fb is a region including a part of the side image region 500 and a part of the rear region of the own lane SL within the range surrounded by the rear window frame W fb (hereinafter, rear (Referred to as a region).
  • the rear side window frame W fbs includes a vanishing point V p within the range surrounded by the rear side window frame W fbs and the moving range of the following vehicle B in the rear side range 550. (Hereinafter, referred to as a movement region).
  • the vanishing point V p is included in the rear side window frame W fbs when the vehicle A travels on a straight road.
  • the range to be subject to Ponzo illusion because the moving range of the following vehicle B, if it is possible to include this range between 2-wire illusion hatched L d, running range of the following vehicle B ahead of it
  • the range up to the vanishing point Pv for window frames that does not include the window frame does not need to have a shape that converges to the vanishing point Pv for window frames (a shape that enables the Ponzo illusion).
  • the rear area and the moving area are displayed in separate window frames. That is, the following vehicle (hereinafter referred to as the following vehicle C) traveling in the own lane SL and the following vehicle B traveling in the adjacent lane AL are displayed in different window frames. It is possible to make the display form easy to distinguish.
  • FIGS. 10A and 10B are schematic views showing an example of ideal shape settings for the rear window frame W fb and the rear side window frame W fbs
  • FIGS. 10C and 10D show the rear window frame.
  • It is a schematic diagram which shows an example of the inappropriate shape setting of the frame W fb and the rear side window frame W fbs .
  • the setting requirements for the rear window frame W fb and the rear side window frame W fbs include the following requirements (e) and (f) in addition to the requirements (a) to (d). is there.
  • the rear window frame W fb is configured to include a rear area (a part of the side image area 500 and a part of the area behind the host vehicle A).
  • the moving area (the vanishing point V p and the moving range of the following vehicle B) is included in the rear side window frame W fbs .
  • a rear area is included in the rear window frame W fb and a moving area is included in the rear side window frame W fbs .
  • the length of the side L ds of the rear side window frame W fbs is the same as the length of the side facing the side L ds of the rear window frame W fb .
  • the length of each side of the rear window frame W fb may be made longer than the side L ds to increase the display area of the rear region.
  • the vehicle type of the host vehicle A is known
  • the cameras 400 to 401 are fixed cameras
  • the installation positions, installation angles, field angles, focal lengths, and the like of the cameras 400 to 401 are known.
  • a rear side image is captured by the cameras 400 to 401 before shipment from the factory, and a mask image Im is generated using the captured rear side image.
  • the mask image Im is an image of a color such as black that makes it clear that the mask is being applied. Then, it stores the generated mask image I m in advance in ROM 13.
  • FIG. 11 is a flowchart illustrating an example of a processing procedure of the rear view support process.
  • the CPU 10 executes an initialization process for initially setting timers, counters, and flags used in the subsequent processes, and the process proceeds to step S102.
  • step S102 the CPU 10 transmits a shooting start instruction to the camera group 11, starts shooting the left and right rear side images, the left and right rear images, and the center rear image, and proceeds to step S104.
  • step S104 the mask processing unit 109 acquires a rear side image at a preset sampling cycle, and proceeds to step S106.
  • step S106 the mask processing unit 109, reads the mask image I m from ROM 13, the process proceeds to step S108.
  • step S108 the mask processing unit 109, the side image after obtaining the horizontally inverted image in step S104, by combining the mask image I m read in step S106, the process proceeds to step S110.
  • the captured image is reversed left and right.
  • step S110 the mask processing unit 109 generates an image display signal of the composite image, and outputs the generated image display signal to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S112. Thus, a composite image corresponding to the input image display signal is displayed on each monitor of the monitor group 14.
  • step S112 the CPU 10 determines whether or not the ignition is turned off based on a signal from an ignition switch (not shown). If it is determined that it has been turned off (YES), the series of processing is terminated, and if it is determined that it has not been turned off (NO), the process proceeds to step S104.
  • FIGS. 12A to 12C are diagrams showing examples of masks by the mask image I m1 corresponding to the single window frame W f1
  • FIG. 12D is a schematic diagram showing an example in which only the single window frame W f1 is displayed
  • FIG. FIGS. 13A to 13C are diagrams showing mask examples based on the mask image I m2 corresponding to the rear window frame W fb and the rear side window frame W fbs
  • FIG. 13D shows the rear window frame W fb. It is a schematic diagram showing an example in which only the rear side window frame W fbs is displayed.
  • a dedicated program is executed in the CPU 10.
  • various flags and variables used in the program are initialized (S100).
  • the cameras 400 to 404 are also initialized.
  • the cameras 400 to 404 are arranged at preset angles at preset positions. Then, shooting is performed with the orientation, shooting range, and the like fixed at the arranged positions.
  • the cameras 400 to 404 of the camera group 11 start the photographing operation, and the camera 400 shoots the right rear side image and the camera 401 shoots the left rear side image. Further, a right rear image is taken by the camera 402, a left rear image is taken by the camera 403, and a central rear image is taken by the camera 404 (S102).
  • the vehicle rear view assistance apparatus 100 acquires rear side images from the cameras 400 to 401 in the mask processing unit 109 at a preset sampling cycle (S104).
  • the mask processing unit 109, the ROM 13, reads the mask image I m (S106).
  • the ROM 13 stores the mask image I m1 corresponding to the single window frame W f1 shown in FIG. 9A and the rear window frame W fb and the rear side window frame W fbs shown in FIG. 9B. Assume that the corresponding mask image Im2 is stored. The user can arbitrarily select one of these window frames via an operation unit (not shown).
  • the mask processing unit 109 synthesizes the read mask image Im1 with an image obtained by horizontally inverting the right rear side image as shown in FIG. 12B, for example (S108).
  • the composite result is obtained by adding a part of the side image region 500 and the own lane SL to the image region that is not masked corresponding to the single window frame W f1 in the rear side image.
  • a part of the area behind the vehicle, the vanishing point V p, and the movement range of the following vehicle B are included.
  • the other image area is an image masked (hidden) by the mask image Im1 .
  • the mask processing unit 109 generates an image display signal of the composite image and outputs the generated image display signal to the monitor 405.
  • the composite image shown in FIG. 12C is displayed on the monitor 405 (S110).
  • a window frame line from the top L DU1 and lower L dd1 of unitary window frame W f1 only (illusion hatched L d1) the rear side image synthesis
  • an image region other than the region sandwiched between the two illusion oblique lines L d1 is also displayed. This weakens the effect of the Ponzo illusion. Therefore, in the present embodiment, only the window frame line is not displayed, and the image area other than the area sandwiched between the two illusion oblique lines L d1 is masked by the mask image I m1 .
  • the mask processing unit 109 As shown in FIG. 13A, a mask image corresponding to a case where two window frames, a rear window frame W fb and a rear side window frame W fbs , are set from the ROM 13. It is assumed that I m2 is read (S106).
  • the mask processing unit 109 synthesizes the read mask image Im2 with an image obtained by horizontally inverting the right rear side image as shown in FIG. 13B, for example (S108).
  • the composite result is obtained by adding a part of the side image region 500 and the own lane SL to an image region that is not masked corresponding to the rear window frame W fb in the rear side image. And a part of the area behind.
  • the vanishing point V p and the moving range of the following vehicle B are included in the image area (display area) that is not masked corresponding to the rear side window frame W fbs .
  • the other image area (non-display area) is an image masked by the mask image Im2 .
  • the mask processing unit 109 generates an image display signal of the composite image and outputs the generated image display signal to the monitor 405.
  • the composite image shown in FIG. 13C is displayed on the monitor 405 (S110).
  • FIG. 13D for example, an upper side portion L dup , a lower side portion L ddp, and a side side L ds in the rear window frame W fb and the rear side window frame W fbs are converted into a rear side image.
  • they are synthesized.
  • an image area other than the area between two illusion oblique lines is displayed. This weakens the effect of the Ponzo illusion.
  • the cameras 400 to 401 constitute a rear side image photographing unit.
  • the mask processing unit 109 constitutes a mask processing unit.
  • Monitors 405 to 409 constitute a display unit.
  • the cameras 400 to 401 mounted on the host vehicle A capture a rear side image that is an image of a rear side region of the host vehicle A including a part of the side surface portion of the host vehicle A in the shooting range. .
  • a virtual straight line 525 that passes through the vanishing point V p in the rear side image and intersects the horizon 510 in the rear side image among the rear side images captured by the cameras 400 to 401 by the mask processing unit 109.
  • the side image region 500 which is an image region including a part of the side portion, out of the two regions of the rear side image divided into right and left with reference to Two straight lines extending radially toward the region side, and having a preset radiation angle (for example, an angle within a range of 45 ° to 55 °) at which the preset Ponzo illusion is effective, and a preset radiation direction Two lines L du and L dd extending radially to the end of the rear side image and an outer edge portion of the image area inside the radiation angle divided by the two lines L du and L dd. Leave the image area surrounded by the window frame W f included in the line part, Mask the remaining image area.
  • a preset radiation angle for example, an angle within a range of 45 ° to 55 °
  • Monitors 405 (407) to 406 (408) display rear side images that have been subjected to mask processing by the mask processing unit 109.
  • a rear region that is a region including the vanishing point V p in the rear side image, a part of the side image region 500, and a part of the region behind the host vehicle A in the region surrounded by the window frame W f.
  • the position and radiation angle of the start point Pv of the two straight lines L du and L dd so as to include the moving area that is the area including the moving area of the succeeding vehicle B traveling in the adjacent lane AL adjacent to the driving lane SL And the radiation direction is set.
  • the driver can easily read the relative speed between the host vehicle A and the following vehicle from the displayed image, such as whether the following vehicle is approaching, away from the vehicle, or whether the inter-vehicle distance does not change.
  • (2) ROM 13 is to store the mask image I m for masking the image region other than the image area surrounded by the window frame W f of the rear side image.
  • the mask processing unit 109 the side image after being photographed by the camera 400 to 401, and perform mask processing for synthesizing the mask image I m, which is stored in the ROM 13, to mask the remaining areas. Since to perform the masking process by using a pre-stored mask image I m in ROM 13, for example, configured to generate a mask image becomes unnecessary. Further, for example, since a mask image can be generated in advance for each vehicle type, it is possible to perform mask processing using an optimal mask image for each vehicle type.
  • the window frame W f is a rear window frame W fb having a frame line part including the rear region of the host vehicle A, and the other of the two straight lines L du and L dd than the rear window frame W fb . and the straight line portion L dup and L ddp region side to constitute the outer edge portion L e and a side window frame W fbs after including the border portion. That is, the rear area of the host vehicle A is displayed in the area set by the rear window frame W fb , and the movement area of the host vehicle A is displayed in the area set by the rear side window frame W fbs . As a result, the succeeding vehicle C traveling in the own lane SL and the succeeding vehicle B traveling in the adjacent lane AL are displayed in different window frames. Is possible.
  • FIGS. 14 to 19 are views showing a second embodiment of the vehicular rear view support apparatus and the vehicular rear view support method according to the present invention.
  • the factory prior to shipment or the like stores the mask image I m for setting position of the vehicle type and the camera was produced in a known state in advance in the ROM 13. Then, using the mask image I m stored in the ROM 13, and configured to perform mask processing on the side image after taken by the camera 400 to 401.
  • the horizon 510 and the virtual straight line 525 are detected from the rear side images captured by the cameras 400 to 401, and the vanishing point V p is determined from the intersection of the horizon 510 and the virtual straight line 525.
  • the window frame vanishing point P v is set based on the detected vanishing point V p
  • the window frame W f is set based on the vanishing point V p and the window frame vanishing point P v .
  • a mask image I m from the set window frame W f.
  • the generated mask image I m that performs masking processing on the rear side images are different.
  • the means for setting the window frame W f the means and points the first embodiment with a generating a mask image I m on the basis of the set window frame W f different.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of the vehicular rear view assistance device 100 of the present embodiment.
  • the vehicular rear view assistance apparatus 100 includes, as functional components, a horizon detection unit 101, a virtual straight line detection unit 102, a vanishing point detection unit 103, and a window frame vanishing point.
  • a setting unit 104, a window frame setting unit 105, an other vehicle detection unit 106, a mask processing control unit 107, a transmission composition control unit 108, and a mask processing unit 109 are provided.
  • the horizon detection unit 101 detects the horizon 510 from the rear side image captured by the cameras 400 to 401.
  • the positional relationship between the camera installation conditions such as the direction of the imaging axes of the cameras 400 to 401 and the horizon 510 is stored in the ROM 13 in advance. Then, a horizon 510 at a position corresponding to the current camera installation conditions is set. Therefore, in this case, it is necessary to input (or acquire) the installation conditions after installing the camera on the host vehicle A or after changing the direction of the photographing axis.
  • the host vehicle A when traveling on a road with a small road gradient (for example, an expressway) that can be regarded as a flat road, it is also possible to calculate the horizon 510 by detecting the boundary between the road surface and the landscape. is there.
  • the horizon detection unit 101 outputs the detected horizon coordinate information to the virtual straight line detection unit 102.
  • the virtual straight line detection unit 102 first detects the side image region 500 from the rear side image. Next, an imaginary straight line 525 that intersects the horizon 510 is detected through a range from the outer edge of the detected side image region 500 to a preset offset amount Ofsw .
  • the detection of the side image area 500 is performed by, for example, reading out the template data of the left and right side image areas of the host vehicle A stored in advance in the ROM 13 and performing template matching between the read template data and the left and right rear side images.
  • an area composed of pixels of the same color as or close to the body color of the vehicle A for example, a color within a preset difference value range
  • the positional relationship between the camera installation conditions such as the direction of the shooting axis of the cameras 400 to 401 and the side image area is stored in the ROM 13 in advance. Then, an infinite point is detected from the positional relationship corresponding to the current camera installation conditions.
  • the installation conditions are input (or acquired) after the camera is installed in the host vehicle A or the direction of the photographing axis is changed.
  • an infinite point is detected from the road surface flow (optical flow) near the side image area.
  • a virtual straight line is detected by calculating a straight line connecting a point in the range of the offset amount Ofsw from the side image region and a point at infinity.
  • the virtual straight line detection unit 102 outputs the coordinate information of the horizon 510 and the coordinate information of the virtual straight line 525 to the vanishing point detection unit 103.
  • the vanishing point detection unit 103 detects the vanishing point V p in the left and right rear side images based on the acquired coordinate information of the horizon 510 and the coordinate information of the virtual straight line 525. Specifically, the intersection of the virtual straight line 525 and the horizon 510 is detected as the vanishing point V p .
  • the vanishing point detection unit 103 outputs the coordinate information of the detected vanishing point V p to the window frame vanishing point setting unit 104.
  • the window frame vanishing point setting unit 104 sets the window frame vanishing point P v in the left and right rear side images based on the coordinate information of the vanishing point V p from the vanishing point detection unit 103.
  • the coordinate information of the window frame vanishing point P v corresponding to each coordinate information of the vanishing point V p in a preset range is set in advance in the ROM 13 as a coordinate table.
  • the window frame vanishing point setting unit 104 reads the coordinate information of the window frame vanishing point P v corresponding to the acquired coordinate information of the vanishing point V p from the ROM 13. Then, based on the read coordinate information, a window frame vanishing point Pv for the left and right rear side images is set.
  • the window frame vanishing point setting unit 104 outputs the coordinate information of the vanishing point V p and the coordinate information of the window frame vanishing point P v to the window frame setting unit 105.
  • the other vehicle detection unit 106 includes a subsequent vehicle detection unit 200, an inter-vehicle distance detection unit 201, and an inter-vehicle distance determination unit 202.
  • the succeeding vehicle detection unit 200 responds to a storage notification (to be described later) from the window frame setting unit 105, based on various captured images obtained by photographing with the cameras 400 to 404, the following vehicle that travels in the right adjacent lane of the host vehicle A ( Hereinafter, a right lane following vehicle) and a following vehicle (hereinafter referred to as a left lane following vehicle) traveling in the left adjacent lane of the host vehicle A are detected.
  • the succeeding vehicle detection unit 200 performs image processing such as edge detection and pattern recognition processing on various captured image data from the cameras 400 to 404, and detects a following vehicle traveling in the adjacent lane of the own vehicle A. To detect.
  • the subsequent vehicle detection unit 200 outputs the detection results of the right lane and the left lane subsequent vehicle to the inter-vehicle distance detection unit 201.
  • the installation position, installation angle, field angle, and lens focus of the cameras 400 to 404 stored in the ROM 13 are determined. Based on the information such as the distance, the distance between the detected various succeeding vehicles is calculated. However, in this embodiment, when a plurality of succeeding vehicles are detected in the same lane, only the inter-vehicle distance from the first succeeding vehicle is calculated.
  • the inter-vehicle distance detection unit 201 outputs the calculated inter-vehicle distance to the inter-vehicle distance determination unit 202 in association with the type of the following vehicle (right lane or left lane). On the other hand, if it is determined that the following vehicle is not detected based on the detection result from the following vehicle detection unit 200, information indicating that the following vehicle is not detected is output to the inter-vehicle distance determination unit 202.
  • the inter-vehicle distance detection unit 201 includes camera geometric information such as the installation position, installation angle, field angle, and focal length of each camera in the camera group 11, and the position of the subsequent vehicle in the captured image. Based on the above, the inter-vehicle distance between the host vehicle A and the following vehicle is calculated. In other words, the relationship between the actual position of the following vehicle in the rear side area of the host vehicle A and the position of the coordinate system in the captured image of the camera is uniquely determined from the camera installation position, installation angle, field angle, focal length, and the like. Since it can be specified, the inter-vehicle distance between the host vehicle A and the following vehicle can be calculated from the position of the following vehicle in the captured image of the camera.
  • a method for calculating the inter-vehicle distance based on the photographed image for example, a method of calculating from the size of the subsequent vehicle in the photographed image and its change, the license plate of the subsequent vehicle in the photographed image, or the characters of the license plate
  • a calculation method based on an object having a known size a calculation method based on a captured image taken using a stereo camera, or the like may be used.
  • an object detection device such as a laser range finder, an in-vehicle millimeter wave radar or a laser radar is mounted on the own vehicle A
  • the distance between the following vehicles based on the information detected by the object detection device May be calculated.
  • the inter-vehicle distance from the following vehicle may be calculated based on both the result of the image processing on the captured image of the camera group 11 and the information detected by the object detection device.
  • the inter-vehicle distance determination unit 202 compares the inter-vehicle distance detected by the inter-vehicle distance detection unit 201 with a distance threshold stored in advance in the ROM 13 and determines whether the inter-vehicle distance is equal to or greater than the distance threshold.
  • the inter-vehicle distance determination unit 202 outputs information indicating the determination result to the mask processing control unit 107.
  • the inter-vehicle distance determination unit 202 outputs information indicating a determination result equal to or greater than the distance threshold to the mask processing control unit 107 when acquiring information indicating that no subsequent vehicle has been detected.
  • the mask processing control unit 107 sets a mask release flag in a mask release flag region preset in the RAM 12 based on the determination result of the inter-vehicle distance from the inter-vehicle distance determination unit 202. Specifically, when the mask processing control unit 107 determines that the inter-vehicle distance is equal to or greater than the distance threshold, the mask processing flag is set to off (for example, “0”). On the other hand, if it is determined that the inter-vehicle distance is less than the distance threshold, the mask release flag is set to ON (for example, “1”).
  • the mask release flag is a flag for the mask processing unit 109 to determine whether or not to perform mask processing.
  • the transparent composition control unit 108 sets a transparent display flag in a region for a transparent display flag preset in the RAM 12. Specifically, the transmission composition control unit 108 sets the transmission display flag to on (for example, “1”) based on an instruction input to turn on the transmission display flag. On the other hand, based on the instruction input for turning off the transmissive display flag, the transmissive display flag is set to off (for example, “0”).
  • the transparent display flag is a flag for the mask processing unit 109 to determine whether or not to perform a transparent composition process (described later).
  • the window frame setting unit 105 Based on the coordinate information of the window frame vanishing point Pv from the window frame vanishing point setting unit 104, the window frame setting unit 105 applies the single window frame Wf1 or the rear window frame W to the left and right rear side images. Set fb and rear side window frame W fbs .
  • the information of the single window frame W f1 corresponding to the coordinate information of the vanishing point V p and the window frame vanishing point P v and the information of the rear window frame W fb and the rear side window frame W fbs are:
  • a coordinate table is set in the ROM 13 in advance. Accordingly, the window frame setting unit 105 obtains information on the single window frame W f1 corresponding to the acquired coordinate information of the vanishing point V p and the window frame vanishing point P v , or the rear window frame W fb and the rear side window frame W.
  • the information of the single window frame W f1 includes, for example, information on the radiation angle and radiation direction of the illusion oblique line L d corresponding to the coordinate information of the vanishing point V p and the window frame vanishing point P v .
  • the information on the rear window frame W fb and the rear side window frame W fbs is, for example, information on the division position of the window frame, the rear window frame W fb in addition to the information on the radiation angle and radiation direction of the illusion oblique line L d.
  • the user can specify which of the single window frame W f1 or the rear window frame W fb or the rear side window frame W fbs to set. Therefore, the window frame setting unit 105 reads out the information of the window frame specified by the user from the ROM 13 and sets the window frame in the rear side image based on the read information.
  • the window frame setting unit 105 reads out the information of the window frame specified by the user from the ROM 13 and sets the window frame in the rear side image based on the read information.
  • W f1 when it is not necessary to distinguish W f1 from the rear window frame W fb and the rear side window frame W fbs , they are simply referred to as a window frame.
  • the window frame setting unit 105 based on the window frame set, generates a mask image I m. Specifically, the window frame setting unit 105 generates a mask image I m for masking the image region other than the image area surrounded by the set window frame of the rear side image.
  • the designated window frame of the single window frame W f1 or the rear window frame W fb and the rear side window frame W fbs is set. Therefore, when the single window frame W f1 is set, the window frame setting unit 105 generates a mask image I m1 that masks an image area other than the image area surrounded by the single window frame W f1 in the rear side image. To do.
  • the window frame setting unit 105 is surrounded by the rear window frame W fb and the rear side window frame W fbs in the rear side image.
  • a mask image Im2 for masking an image region other than the image region is generated.
  • the window frame setting unit 105 stores the generated mask images I m1 and I m2 in the RAM 12. Further, the window frame setting unit 105 notifies the subsequent vehicle detection unit 200 of the other vehicle detection unit 106 that the mask image I m1 or I m2 has been stored. Hereinafter, when it is not necessary to distinguish the mask image I m1 or I m2 , it is simply referred to as a mask image Im .
  • the mask processing unit 109 according to the storage notification of the mask image I m from the window frame setting unit 105 obtains the left and right rear side image data from the camera unit 11. Then, based on the setting contents of the mask release flag and the transmissive display flag set in the RAM 12, mask processing is performed on the acquired image of the left and right rear side image data. In the following description, when there is no need to distinguish between the right rear side image and the left rear side image, only the rear side image will be described without distinction between left and right.
  • the mask processing unit 109 the unmasking flag and the transmissive display flag is determined to be both turned off, reads the mask image I m from RAM 12. Then, the mask image I m read, the camera 400 is synthesized in the side image after obtaining from ⁇ 401.
  • this image synthesis is referred to as normal synthesis processing, and the synthesized image is referred to as normal synthesis image.
  • the mask processing unit 109 generates an image display signal of a normal composite image and outputs the generated image display signal to a corresponding monitor of the monitor group 14.
  • the mask processing unit 109 the mask release flag is determined to turn off a and the transmissive display flag is on, reads the mask image I m from RAM 12.
  • the mask processing unit 109 since the transmissive display flag is on, the read mask image I m, a transmission rate p as a translucent preset mask image I m of the rear side image
  • the image composition is performed so that an image region at a position corresponding to the image region (hereinafter referred to as a corresponding image region) is transparently displayed.
  • the image area of the mask object at the rear side image rather than completely invisible by a mask image I m, the mask image I m is masked permeable display in the transmission rate p to be translucent.
  • the transmittance is set in the range of “0 ⁇ p ⁇ 50, unit is [%]”.
  • this image synthesis is referred to as “transmission synthesis”, and the synthesis image is referred to as “transmission synthesis image”.
  • Synthesized as transmittance synthesis process for example, by thinning the mask image I m line by line, and the corresponding image region mask image I m to display the image corresponding to the thinning position of the corresponding image region with respect to the thinning portion There is a process to do. Further, for example, the mask image I m is the foreground, the background of the corresponding image area, by using a known ⁇ blending, there is a process for synthesizing the corresponding image area with the mask image I m.
  • each pixel value of the mask image I m (foreground) is multiplied by a coefficient ⁇ (0 ⁇ ⁇ 1) corresponding to a preset transmittance, and each pixel value of the corresponding image region (background) is ( 1- ⁇ ). Then, the pixel values after multiplication of the corresponding pixel positions are added.
  • the mask processing unit 109 further generates an image display signal of the transmission composite image, and outputs the generated image display signal to a corresponding monitor in the monitor group 14.
  • the mask processing unit 109 determines that the mask release flag is on, the mask processing unit 109 stops the mask image Im synthesis processing (mask processing). Then, an image display signal of a rear side image that has not been combined with a mask image (not subjected to mask processing) is generated, and the generated image display signal is output to a corresponding monitor of the monitor group 14.
  • FIG. 15 is a flowchart illustrating an example of a processing procedure of the rear view support process according to the present embodiment.
  • the CPU 10 executes an initialization process for initializing timers, counters, and flags used for the subsequent processes, and the process proceeds to step S202.
  • step S202 the CPU 10 transmits a shooting start instruction to the camera group 11, starts shooting the left and right rear side images, the left and right rear images, and the center rear image, and proceeds to step S204.
  • step S204 the horizon detection unit 101 acquires rear side image data from the camera group 11, and proceeds to step S206.
  • step S206 the horizon detection unit 101 detects the horizon 510 from the rear side image, outputs the coordinate information of the detected horizon 510 and the rear side image data to the virtual straight line detection unit 102, and proceeds to step S208.
  • step S208 the virtual straight line detection unit 102 detects a virtual straight line 525 from the acquired image of the rear side image data. Then, the detected coordinate information of the virtual straight line 525 and the coordinate information of the horizon 510 are output to the vanishing point detection unit 103, and the process proceeds to step S210.
  • step S210 the vanishing point detecting unit 103, and the coordinate information of the horizon 510, based on the coordinate information of the virtual straight line 525, for detecting the vanishing point V p from the image of the side image data after obtaining. Then, the coordinate information of the detected vanishing point V p is output to the window frame vanishing point setting unit 104, and the process proceeds to step S212.
  • step S212 the window frame vanishing point setting unit 104 sets the window frame vanishing point P v in the rear side image based on the coordinate information of the vanishing point V p acquired from the vanishing point detecting unit 103. Then, the coordinate information of the vanishing point V p and the coordinate information of the set window frame vanishing point P v are output to the window frame setting unit 105, and the process proceeds to step S214.
  • step S214 in the window frame setting unit 105, based on the coordinate information of the vanishing point V p and the window frame vanishing point P v acquired from the window frame vanishing point setting unit 104, the acquired image of the rear side image data is displayed.
  • a window frame is set, and the process proceeds to step S216.
  • step S216 the window frame setting unit 105, based on the window frame set in step S214, the generated mask image I m, the process proceeds to step S218.
  • step S218 the window frame setting unit 105, and stores the mask image I m generated in step S216 in RAM 12. And it notifies the following vehicle detection part 200 of the other vehicle detection part 106 that it memorize
  • step S220 the CPU 10 executes a mask release flag setting process and proceeds to step S222.
  • step S222 the mask processing unit 109 acquires a rear side image from the camera group 11, and proceeds to step S224.
  • step S118 the mask processing unit 109 determines whether or not the mask release flag is set on based on the mask release flag set in the RAM 12. If it is determined that the mask release flag is set to ON (YES), the process proceeds to step S226. If it is determined that the mask release flag is not set to ON (NO), the process proceeds to step S230. To do.
  • step S226 the mask processing unit 109 proceeds to step S228 without performing the mask process on the rear side image acquired in step S222.
  • step S224 determines whether or not the transparent display flag is set on. If it is determined that the transparent display flag is set to ON (YES), the process proceeds to step S232. If it is determined that the transparent display flag is not set to ON (NO), the process proceeds to step S234. To do.
  • step S232 the mask processing unit 109 transmits and composites the mask image Im and the image of the rear side image data. Then, an image display signal of the generated transmission composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S236.
  • step S230 if it is determined in step S230 that the transmissive display flag is not set to ON and the process proceeds to step S234, the mask processing unit 109 normally combines the mask image Im and the image of the rear side image data. To do. Then, an image display signal of the generated normal composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S236.
  • step S236 a composite image corresponding to the input image display signal is displayed on each monitor of the monitor group 14, and the process proceeds to step S238.
  • FIG. 16 is a flowchart illustrating an example of a processing procedure of mask release flag setting processing.
  • step S220 when the mask release flag setting process is started, the process proceeds to step S300 as shown in FIG.
  • step S300 in response to the notification from the window frame setting unit 105, the succeeding vehicle detection unit 200 acquires from the camera group 11 various captured image data obtained by capturing with the cameras 400 to 404, and the process proceeds to step S302. Transition.
  • step S302 the subsequent vehicle detection unit 200 performs a subsequent vehicle detection process for detecting the subsequent vehicle from the images of the various captured image data acquired in step S300, and the process proceeds to step S304.
  • step S304 when the subsequent vehicle is detected by the subsequent vehicle detection unit 200, information on the detection result including the type of the detected subsequent vehicle (own lane, right lane, left lane) is output to the inter-vehicle distance detection unit 201. Then, the process proceeds to step S306. On the other hand, when the following vehicle is not detected, information indicating that there is no following vehicle is output to the inter-vehicle distance detection unit 201, and the process proceeds to step S306.
  • step S ⁇ b> 306 the inter-vehicle distance detection unit 201 determines whether or not a subsequent vehicle has been detected based on the detection result information from the subsequent vehicle detection unit 200. And when it determines with having detected (YES), it transfers to step S308. On the other hand, when it determines with not having detected (NO), it transfers to step S322.
  • step S308 each subsequent distance detected by the inter-vehicle distance detection unit 201 based on the preset installation positions, installation angles, and focal lengths of the cameras 400 to 404, and the captured image data including the following vehicle. The distance between the vehicle and the vehicle A is calculated. Thereafter, the process proceeds to step S310.
  • step S310 the inter-vehicle distance detection unit 201 outputs information associating the calculation result of the inter-vehicle distance in step S308 with the type of each subsequent vehicle to the inter-vehicle distance determination unit 202, and the process proceeds to step S312.
  • step S312 the inter-vehicle distance determination unit 202 detects the inter-vehicle distance in each subsequent vehicle detected based on the information on the calculation result of the inter-vehicle distance from the inter-vehicle distance detection unit 201 and the information on the distance threshold stored in the ROM 13. It is determined whether or not there is a following vehicle having a distance less than the distance threshold. If it is determined that there is a subsequent vehicle having an inter-vehicle distance less than the distance threshold (YES), the process proceeds to step S314, and if it is determined that there is no subsequent vehicle having an inter-vehicle distance less than the distance threshold (NO) The process proceeds to step S318.
  • the inter-vehicle distance determination unit 202 uses information indicating that there is a subsequent vehicle less than the distance threshold as information on the determination result, and associates information indicating the type of each subsequent vehicle with the mask processing control unit. Then, the process proceeds to step S316.
  • step S316 the mask process control unit 107 sets the mask release flag to ON, ends the series of processes, and returns to the original process. Specifically, a value indicating ON (for example, “1”) is set (stored) in an area for a mask release flag set in advance in the RAM 12. Note that the mask release flag is set independently for each of the left and right rear side images. In this embodiment, when the inter-vehicle distance with the vehicle following the right lane is less than the distance threshold, the mask release flag for the right rear side image is set to ON, and the inter-vehicle distance with the vehicle following the left lane is less than the distance threshold. In this case, the mask release flag for the left rear side image is set to ON.
  • the mask release flag for the right rear side image is set to ON, and the mask release flag for the left rear side image is set to OFF. Further, when only the inter-vehicle distance with the vehicle following the left lane is less than the distance threshold, the mask release flag for the left rear side image is set to ON, and the mask release flag for the right rear side image is set to OFF.
  • step S3108 the inter-vehicle distance determination unit 202 outputs information indicating that there is no subsequent vehicle less than the distance threshold to the mask processing control unit 107 as information on the determination result, and then proceeds to step S320. Transition.
  • step S320 the mask process control unit 107 sets the mask release flag to OFF, ends the series of processes, and returns to the original process. Specifically, a value (for example, “0”) indicating OFF is set (stored) in an area for a mask release flag set in advance in the RAM 12.
  • a value for example, “0”
  • both the mask release flags for the left and right rear side images are set to OFF.
  • FIGS. 17A to 17C are schematic diagrams illustrating an example of setting the single window frame W f1
  • FIG. 17D is a schematic diagram illustrating an example of the mask image I m1
  • FIGS. 18A to 18B are schematic diagrams illustrating setting examples of the rear window frame W fb and the rear side window frame W fbs
  • FIG. 18C is a schematic diagram illustrating an example of the mask image I m2 . is there.
  • Figure 19 (a) is a schematic diagram showing an example of a normal synthetic images that typically synthesized with the mask image I m2, (b) is a schematic diagram showing an example of transmission synthesized transmitted composite image mask image I m2 Yes, (c) is a schematic diagram showing an example when the inter-vehicle distance is less than the distance threshold and the mask processing is canceled.
  • a dedicated program is executed in the CPU 10.
  • various flags and variables used in the program are initialized (S200).
  • the cameras 400 to 404 are also initialized.
  • the cameras 400 to 404 are arranged at preset angles at preset positions. Then, shooting is performed with the orientation, shooting range, and the like fixed at the arranged positions.
  • the cameras 400 to 404 of the camera group 11 start the photographing operation, and the camera 400 shoots the right rear side image and the camera 401 shoots the left rear side image. Further, a right rear image is taken by the camera 402, a left rear image is taken by the camera 403, and a central rear image is taken by the camera 404 (S202).
  • Rearward visibility support apparatus 100 for a vehicle in order to generate a mask image I m, first, in the horizon detector 101, taken by the camera unit 11, and acquires the right laterally rearward image, and the left laterally rearward image (S204).
  • the generation timing of the mask image I m for example, another timing in accordance with the generation instruction from the user via the operation unit (not shown), the mask image I m is determined not to exist in the memory Timing etc.
  • the timing is changed every time the angle is changed.
  • the horizon detection unit 101 detects the horizon 510 from the acquired left and right rear side images (S206).
  • the coordinates of the horizon of the position corresponding to the current camera installation conditions are acquired from the table of the positional relationship between the camera installation conditions and the horizon stored in advance in the ROM 13.
  • the acquired coordinate information of the horizon is output to the virtual straight line detection unit 102.
  • the horizon detection unit 101 outputs the detected horizon coordinate information to the virtual straight line detection unit 102.
  • the virtual straight line detection unit 102 detects the side image region 500 from the rear side image by template matching.
  • an imaginary straight line 525 orthogonal to the horizon 510 is detected through a range from the outer edge of the detected side image region 500 to a preset offset amount Ofsw (S208).
  • the coordinate information of the infinity point corresponding to the current camera installation condition is acquired from the table of the positional relationship between the camera installation condition and the side image area stored in advance in the ROM 13.
  • a virtual straight line 525 is detected by calculating a straight line connecting a point in the range from the outer edge of the side image region 500 to the offset amount Ofsw and the infinity point.
  • the virtual straight line detection unit 102 outputs the coordinate information of the horizon 510 and the coordinate information of the virtual straight line 525 to the vanishing point detection unit 103.
  • the vanishing point detector 103 is based on the coordinate information of the horizon 510 from the virtual straight line detector 102 and the coordinate information of the virtual straight line 525, and as shown in FIG. 17A, the intersection of the horizon 510 and the virtual straight line 525. Is detected as a vanishing point 525 (S210).
  • the vanishing point detection unit 103 outputs the coordinate information of the detected vanishing point V p to the window frame vanishing point setting unit 104.
  • the window frame vanishing point setting unit 104 reads the coordinate information of the window frame vanishing point P v corresponding to the acquired coordinate information of the vanishing point V p from the coordinate table stored in the ROM 13. Then, based on the read coordinate information, as shown in FIG. 17B, a window frame vanishing point Pv is set (S212).
  • the window frame vanishing point P v includes the side image region 500 of the two regions F b and F bs of the rear side image divided by the virtual straight line 525 to the left and right. It is set to a position within the range of the offset amount Ofsh set in advance from the height position of the horizon 510 on the region F b side. Also, the position in the left-right direction is also set within a distance range (not shown) set in advance from the window frame vanishing point P v to the region F b side. Specifically, the window frame vanishing point Pv is set within a position range that can satisfy the setting requirements (a) to (d) described in the first embodiment.
  • the window frame vanishing point setting unit 104 outputs the set window frame vanishing point P v coordinate information and vanishing point V p coordinate information to the window frame setting unit 105.
  • the window frame setting unit 105 stores in advance in the ROM 13 information on the designated window frame corresponding to the coordinate information of the window frame vanishing point P v and the vanishing point V p acquired from the window frame vanishing point setting unit 104. Is obtained from the registered information table. Based on the acquired information, a window frame is set in the rear side image (S214).
  • the window frame setting unit 105 starts the window frame vanishing point Pv as a starting point, as shown in FIG. 17C, and includes the radiation angle (45 ° to 55 °) included in the acquired information and An illusion oblique line L d extending to the end of the rear side image in the radial direction (for example, the radial direction of the upper side L du ) is set.
  • the illusion oblique line L d a window frame W f1 containing the image outer edge L e of the radiation angle inside which is partitioned in the illusion hatched L d to the border portion is set.
  • the window frame setting unit 105 further generates a mask image Im1 that masks the remaining image area while leaving the image area surrounded by the set window frame Wf1 in the rear side image (S216). Specifically, an image corresponding to the dot pattern image portion shown in FIG. 17D is generated as, for example, a black mask image Im1 . Note that the color of the mask image Im1 is not limited to black, and may be other colors such as blue, green, and gray.
  • the window frame setting unit 105 stores the generated mask image I m1 in the RAM 12 and outputs a notification indicating that the mask image I m1 has been stored to the subsequent vehicle detection unit 200 of the other vehicle detection unit 106 (S218). ).
  • the window frame setting unit 105 reads information on the rear window frame W fb and the rear side window frame W fbs corresponding to the coordinate information of the vanishing point V p and the window frame vanishing point P v from the ROM 13.
  • the information on the rear window frame W fb and the rear side window frame W fbs includes information on the radiation direction and angle of the illusion oblique line L d , information on the division position of the window frame, and the shape and size of the rear window frame W fb. Information.
  • the radiation direction and radiation angle of the illusion oblique line L d , and the window frame dividing position are located in a region including the moving region described in the first embodiment in the region surrounded by the right rear side window frame W fbs. Is set.
  • the shape of the rear window frame W fb, size, for like the position, including a rear area described in the first embodiment in the enclosed behind window frame W fb region and the effect of Ponzo illusion The shape, size, position, etc. are set within the valid range.
  • the window frame setting unit 105 starts the window frame vanishing point P v as a starting point, as shown in FIG. 18A, and includes the radiation angle and radiation direction (for example, the upper side L).
  • An illusion oblique line L d extending to the end of the rear side image is set in the (radiation direction of du ).
  • setting the rear window frame W fb based on the shape and size of the information of the rear window frame W fb. In the example of FIG. 18A, a rectangular rear window frame W fb is set.
  • Window frame setting unit 105 based on the information of the division position of the window frame, as shown in FIG. 18 (b), the rear window frame W fb right, in the position C p indicated by the information of the division position of the illusion oblique line L d A part of the window frame vanishing point Pv side is cut. Further, the window frame setting unit 105 connects the cut end portions of the upper side L du and the lower side L dd with the side side L ds .
  • the window frame W fbs included in the section is set (S214).
  • the window frame setting unit 105 leaves the image area surrounded by the set rear window frame W fb and the rear side window frame W fbs in the rear side image, and mask image I for masking the remaining image area.
  • m2 is generated (S216). Specifically, an image corresponding to the dot pattern image portion shown in FIG. 18C is generated as, for example, a black mask image Im2 .
  • the color of the mask image Im2 is not limited to black, and may be other colors such as blue, green, and gray.
  • the window frame setting unit 105 stores the generated mask image I m2 in the RAM 12 and outputs a notification indicating that the mask image I m2 has been stored to the subsequent vehicle detection unit 200 of the other vehicle detection unit 106 (S218). ).
  • the mask release flag setting process is started (S220).
  • the succeeding vehicle detection unit 200 of the other vehicle detection unit 106 captures the right rear side image, the left rear side image, the right rear image, and the left rear image captured by the camera group 11. An image and a center rear image are acquired (S300). And based on these acquired picked-up images, the process which detects a following vehicle is performed (S302). Specifically, the following vehicle detection unit 200 reads template data stored in the ROM 13 in advance, and detects other vehicles in the captured image by matching processing using the read template data. Then, information indicating the detection result is output to the inter-vehicle distance detection unit 201.
  • the inter-vehicle distance detection unit 201 determines whether or not a subsequent vehicle has been detected based on the detection result information. Here, it is assumed that a vehicle following the right lane is detected (YES in S306). The inter-vehicle distance detection unit 201 is based on the geometric information (installation position, installation angle, angle of view, focal length, etc.) of the camera 400 stored in advance in the ROM 13 and the acquired right rear side image. The distance between the vehicle and the vehicle following the right lane detected is calculated (S308). The inter-vehicle distance detection unit 201 outputs information indicating the calculated inter-vehicle distance with the vehicle following the right lane to the inter-vehicle distance determination unit 202 (S310).
  • the inter-vehicle distance determination unit 202 When the inter-vehicle distance determination unit 202 receives information indicating the inter-vehicle distance from the vehicle following the right lane from the inter-vehicle distance detection unit 201, the inter-vehicle distance determination unit 202 reads a distance threshold value (for example, 5 [m]) stored in the ROM 13. Then, based on the read distance threshold value and the acquired information indicating the inter-vehicle distance from the succeeding vehicle on the right lane, it is determined whether or not there is a subsequent vehicle having an inter-vehicle distance less than the distance threshold value.
  • a distance threshold value for example, 5 [m]
  • the inter-vehicle distance determination unit 202 determines that there is no subsequent vehicle that is less than the distance threshold (YES in S312). Then, information indicating that there is no subsequent vehicle having an inter-vehicle distance of less than 5 [m] is output to the mask processing control unit 107 (S314).
  • the mask processing control unit 107 sets the mask release flag for the left and right rear side image regions of the RAM 12 to OFF (“0”) (S320).
  • the transparent composition control unit 108 sets a transparent display flag in response to an instruction input from the user via an operation unit (not shown).
  • the transmissive display flag is set to off.
  • the mask processing unit 109 acquires left and right rear side images from the camera group 11 (S222).
  • the mask processing unit 109 determines whether or not the mask release flag is on based on the mask release flag set in the RAM 12 (S224).
  • the processing is executed first from the mask release flag for the right rear side image.
  • both the mask release flags for the left and right rear side images are set to OFF. Therefore, the mask processing unit 109 determines that the mask release flag for the right rear side image is set to OFF (NO in S224).
  • the mask processing unit 109 next determines whether or not the transmissive display flag is on based on the transmissive display flag set in the RAM 12 (S230).
  • S230 transmissive display flag set in the RAM 12
  • since it is set to OFF (NO in S230) mask processing is performed on the right rear side image (S234).
  • the mask processing unit 109 reads the mask image I m1 corresponding to the single window frame W f1 stored in the RAM 12. Then, the read mask image Im1 and the right rear side image are normally combined to generate a normal combined image. Further, the mask processing unit 109 generates an image display signal of the generated normal composite image, and outputs the generated image display signal to the monitor 405. As a result, as shown in FIG. 17D, the monitor 405 leaves an image area surrounded by the single window frame W f1 in the rear side image, and the remaining image area is a point of the mask image I m1 . An image masked by the pattern portion is displayed (S236).
  • the mask processing unit 109 displays the rear window frame W fb and the rear side window stored in the RAM 12.
  • the mask image I m2 corresponding to the frame W fbs is read out.
  • the read mask image Im2 and the right rear side image are normally synthesized to generate a normal synthesized image.
  • the mask processing unit 109 generates an image display signal of the generated normal composite image, and outputs the generated image display signal to the monitor 405.
  • the monitor 405 leaves an image area surrounded by the rear window frame W fb and the rear side window frame W fbs in the rear side image, and the remaining images.
  • area image 610 that is masked is displayed by a point pattern portion of the mask image I m2 (S236).
  • a similar normal composition process is performed on the left rear side image. While the setting contents of the respective flags are the same, the same processing as described above is repeatedly performed.
  • the mask processing unit 109 When the mask release flag is off and the transmissive display flag is on (YES in S230), the mask processing unit 109 performs the rear window frame W fb and the rear side window frame W fbs stored in the RAM 12. The mask image I m2 corresponding to is read out. Then, the read mask image Im2 and the right rear side image are transparently combined to generate a transparent combined image. Further, the mask processing unit 109 generates an image display signal of the generated transmission composite image, and outputs the generated image display signal to the monitor 405 (S232). As a result, as shown in FIG. 19B, the monitor 405 leaves the image area surrounded by the rear window frame W fb and the rear side window frame W fbs in the rear side image, and the remaining images. An image in which the area is masked so as to be transmissively displayed by the translucent mask image Im2 with the transmittance p is displayed (S236).
  • the inter-vehicle distance determination unit 202 determines that there is a succeeding vehicle having an inter-vehicle distance less than the distance threshold (YES in S312).
  • the inter-vehicle distance determination unit 202 outputs information indicating a determination result that there is a subsequent vehicle that is less than the distance threshold to the mask processing control unit 107 (S314).
  • the mask processing control unit 107 acquires information indicating a determination result indicating that there is a following vehicle less than the distance threshold from the inter-vehicle distance determination unit 202, the mask processing control unit 107 sets the mask release flag of the RAM 12 to ON (S316).
  • the mask processing unit 109 stops the mask processing that has been performed on the right rear side image (S226). Then, the mask processing unit 109 generates an image display signal of the right rear side image that has not been subjected to mask processing, and outputs the generated image display signal to the monitor 405. As a result, as shown in FIG. 19C, the rear side image not subjected to the mask processing is displayed on the monitor 405 (S228). That is, the mask process is canceled when the vehicle following the right lane approaches a distance that is less than the distance threshold.
  • the cameras 400 to 401 constitute a rear side image photographing unit.
  • Monitors 405 to 409 constitute a display unit.
  • the horizon detection unit 101 constitutes a horizon detection unit.
  • the virtual straight line detection unit 102 constitutes a virtual straight line detection unit.
  • the vanishing point detection unit 103 constitutes a vanishing point detection unit.
  • the window frame vanishing point setting unit 103 constitutes a window frame vanishing point setting unit.
  • the window frame setting unit 105 constitutes a window frame setting unit.
  • the subsequent vehicle detection unit 200 constitutes a subsequent vehicle detection unit.
  • the inter-vehicle distance detection unit 201 constitutes an inter-vehicle distance detection unit.
  • the inter-vehicle distance determination unit 202 constitutes an inter-vehicle distance determination unit.
  • the mask processing control unit 107 constitutes a mask processing control unit.
  • the mask processing unit 109 constitutes a mask processing unit.
  • the horizon detection unit 101 detects the horizon 510 from a rear side image captured by the cameras 400 to 401.
  • the virtual straight line detection unit 102 includes a point within a range from a vehicle outer end of the side image region 500 in the rear side image to a position separated by a preset offset amount in the other region direction, and the rear side A virtual straight line 525 connecting the point at infinity in the image is detected.
  • the vanishing point detecting unit 103 detects the vanishing point V p based on the horizon 510 detected by the horizon detecting unit 101 and the virtual straight line 525 detected by the virtual straight line detecting unit 102.
  • the window frame vanishing point setting unit 104 sets the window frame vanishing point P v that is the starting point of the illusion oblique line L d based on the vanishing point V p detected by the vanishing point detection unit 103.
  • the window frame setting unit 105 sets the window frame W f based on the vanishing point V p detected by the vanishing point detection unit 103 and the window frame vanishing point P v set by the window frame vanishing point setting unit 104.
  • the mask processing unit 109 masks the remaining image regions from the rear side images captured by the cameras 400 to 401 while leaving the image region surrounded by the window frame W f set by the window frame setting unit 105. A mask process is performed.
  • the window frame W f that automatically enables the ponzo illusion is set, You can display the side image after masking the area other than the area surrounded by the window frame W f become.
  • the subsequent vehicle detection unit 200 travels in the adjacent lane AL adjacent to the travel lane SL of the host vehicle A, which is included in the rear side image based on the rear side image captured by the cameras 400 to 401.
  • Car B is detected. If the mask processing control unit 107 determines that the following vehicle B is detected based on the detection result of the following vehicle detection unit 200, the mask processing unit 109 performs the mask processing, and determines that the following vehicle B is not detected. The mask process of the processing unit 109 is stopped. Monitors 405 (407) to 406 (408) display a rear side image subjected to mask processing when the mask processing unit 109 performs mask processing, and the mask processing unit 109 stops the mask processing. The rear side image not subjected to mask processing is displayed.
  • Mask processing for enabling the ponzo illusion is performed when the following vehicle B is present in the adjacent lane AL, and a rear side image subjected to the mask processing is displayed.
  • the mask process is stopped and the rear side image not subjected to the mask process is displayed.
  • the following vehicle B present in the radiation angle inside the image region of the illusion hatched L d radiating from the window frame for vanishing point P v is the Ponzo illusion, felt significantly closer to the window frame for vanishing point P v The distance from the vanishing point P v for the window frame is smaller.
  • the inter-vehicle distance detection unit 201 determines that the subsequent vehicle is detected based on the detection result of the subsequent vehicle detection unit 200, the inter-vehicle distance between the detected subsequent vehicle and the host vehicle A is detected.
  • the inter-vehicle distance determination unit 202 determines whether the inter-vehicle distance is less than a preset distance threshold based on the detection result of the inter-vehicle distance detection unit 201.
  • the mask processing control unit 107 determines that the inter-vehicle distance with the following vehicle is equal to or greater than the distance threshold based on the determination result of the inter-vehicle distance determining unit 202, the mask processing unit 109 performs the mask processing, and the inter-vehicle distance with the subsequent vehicle Is determined to be less than the distance threshold, the mask processing unit 109 stops the mask processing.
  • Monitors 405 (407) to 406 (408) display a rear side image subjected to mask processing when the mask processing unit 109 performs mask processing, and the mask processing unit 109 stops the mask processing. The rear side image not subjected to mask processing is displayed.
  • FIG. 20 to 24 are views showing a third embodiment of the vehicular rear view support apparatus and vehicular rear view support method according to the present invention.
  • the mask process for the rear side image is stopped.
  • it performs transmissive synthesis transmissive display in the transmission rate of the corresponding image area transmittance of 50% or less of the side image p after corresponding to the mask image I m to the mask image I m in this rear side image.
  • the point which displays this transmission side image after a side composition on a monitor is different from the 2nd embodiment of the above.
  • the same components as those in the second embodiment are denoted by the same reference numerals, description thereof will be omitted as appropriate, and different portions will be described in detail.
  • FIG. 20 is a block diagram illustrating an example of a functional configuration of the vehicular rear view assistance device 100 according to the present embodiment.
  • the vehicular rear view support apparatus 100 of the present embodiment has a configuration in which an inhibitor switch (hereinafter referred to as an inhibitor SW) 15 is added to the vehicular rear view support apparatus 100 of the second embodiment.
  • an inhibitor switch hereinafter referred to as an inhibitor SW
  • the backward (R) position detection unit 110 is added to the functional configuration unit of the vehicular rear view assistance device 100 of the second embodiment.
  • the inhibitor SW15 is disposed on a shift lever (not shown) provided in the host vehicle A, and has a shaft that moves in accordance with the movement of the shift lever and a contact fitting corresponding to each gear.
  • the inhibitor SW15 detects the shift position of a transmission (not shown) provided in the host vehicle A by detecting the presence / absence of conduction between each gear and the contact fitting (for example, the presence / absence of a 12 [V] voltage).
  • Inhibitor SW15 inputs a detection signal to CPU10.
  • the R position detection unit 110 detects whether or not the shift position of the transmission included in the host vehicle A has been changed to the R position based on the detection signal from the inhibitor SW15.
  • the R position detection unit 110 outputs detection result information to the mask processing control unit 107 and the transmission composition control unit 108, respectively.
  • the mask processing control unit 107 determines that the shift position has shifted to the R position based on the detection result information from the R position detection unit 110 in addition to the processing of the second embodiment, the mask release flag is turned on. Set to. If the transmission composition control unit 108 determines that the shift position has been shifted to the R position based on the detection result information from the R position detection unit 110 in addition to the processing of the second embodiment, the transmission display flag is turned on. Set to.
  • FIG. 21 is a flowchart illustrating an example of a processing procedure of the rear view support processing of the present embodiment.
  • the power is turned on (ignition is turned on) and a dedicated program is executed in the CPU 10, as shown in FIG. 21, first, the process proceeds to step S400.
  • the processing in steps S400 to S420 and S424 to S440 is the same as the processing in steps S200 to S220 and S222 to S238 in the second embodiment, and a description thereof will be omitted.
  • step S422 the CPU 10 executes a transparent display flag setting process, and proceeds to step S424.
  • FIG. 22 is a flowchart illustrating an example of a processing procedure of mask release flag setting processing according to the present embodiment.
  • step S502 based on the detection signal received in step S500, the R position detection unit 110 determines whether the detection signal is a signal indicating the R position. If it is determined that the signal indicates the R position (YES), the process proceeds to step S504. If it is determined that the signal does not indicate the R position (NO), the process proceeds to step S508.
  • step S504 the R position detection unit 110 outputs information indicating that a shift change to the R position is detected to the mask processing control unit 107 and the transmission composition control unit 108, respectively. Thereafter, the process proceeds to step S506.
  • step S506 the mask processing control unit 107 determines whether or not the transmissive display mode is set. When it is determined that the transmissive display mode is set (YES), the process proceeds to step S508, and when it is determined that the transmissive display mode is not set (NO), the process proceeds to step S510.
  • the present embodiment there are a transmissive display mode in which the mask image Im is transmissively displayed when the R position is detected, and a mode in which the mask process is canceled.
  • the user can arbitrarily set which mode is applied.
  • the mode is switched depending on whether or not the transmissive display mode is set. That is, when the transmissive display mode is set, the transmissive display is performed, and when the transmissive display mode is not set, the mask process is canceled.
  • step S508 the mask process control unit 107 sets the mask release flag to OFF, ends the series of processes, and returns to the original process.
  • step S510 the mask process control unit 107 sets the mask release flag to ON, ends the series of processes, and returns to the original process.
  • step S512 the R position detection unit 110 uses the following vehicle detection information to indicate that a shift change to the R position has not been detected. The data is output to the output unit 200, the mask processing control unit 107, and the transmission composition control unit 108, respectively. Thereafter, the process proceeds to step S514.
  • step S514 the following vehicle detection unit 200 obtains various captured image data from the cameras 400 to 404 from the camera group 11 according to information indicating that the R position from the R position detection unit 110 has not been detected. To do. Thereafter, the process proceeds to step S516.
  • the subsequent processing in steps S516 to S538 is the same as the processing in steps S302 to S324 in the second embodiment, and a description thereof will be omitted.
  • FIG. 23 is a flowchart illustrating an example of a processing procedure of a transparent display flag setting process according to the present embodiment.
  • the transparent display flag setting process is executed in step S422, first, the process proceeds to step S600.
  • the transmission composition control unit 108 determines whether information indicating a shift position detection result has been acquired from the R position detection unit 110. If it is determined that information indicating the detection result of the shift position has been acquired (YES), the process proceeds to step S602. On the other hand, when it is determined that the information indicating the detection result of the shift position has not been acquired (NO), the determination process is repeated until the information is acquired.
  • step S602 the transmission composition control unit 108 determines whether or not the shift position is the R position based on the information acquired in step S600. If it is determined that the position is the R position (YES), the process proceeds to step S604. If it is determined that the position is not the R position (NO), the process proceeds to step S606.
  • step S604 the transmissive composition control unit 108 sets the transmissive display flag to ON, ends the series of processes, and returns to the original process.
  • step S606 the transmission composition control unit 108 sets the transmission display flag to OFF, ends the series of processes, and returns to the original process.
  • FIGS. 24A and 24B are schematic diagrams illustrating examples of display results of various images according to the detection result of the R position and the setting contents of the transmissive display mode.
  • the operation will be described assuming that the host vehicle A is a right-hand drive vehicle. Note that the operation from step S400 to S418 is the same as the operation from step S200 to S218 in the second embodiment, and a description thereof will be omitted.
  • the R position detection unit 110 receives a detection signal of the inhibitor SW15 (S500). Based on the received detection signal, the R position detection unit 110 determines whether or not the detection signal is a signal indicating the R position (S502). Here, it is assumed that the signal indicates the R position (YES in S502). Thereby, the R position detection unit 110 outputs information indicating that the R position is detected to the mask processing control unit 107 and the transmission composition control unit 108, respectively (S504).
  • the mask processing control unit 107 sets the transmissive display mode (YES in S506), and sets the mask release flag of the RAM 12 to OFF (S508).
  • the transmission composition control unit 108 acquires information indicating that the R position is detected from the R position detection unit 110 (YES in S600, YES in 602), the transmission display flag of the RAM 12 is set to ON ( S604).
  • the mask processing control unit 107 sets the mask release flag of the RAM 12 to ON because the transmissive display mode is not set (NO in S506) (S510).
  • the transmission composition control unit 108 acquires information indicating that the R position is detected from the R position detection unit 110 (YES in S600, YES in 602)
  • the transmission display flag of the RAM 12 is set to ON ( S604).
  • the same processing as in the second embodiment when the mask release flag is on is performed (YES in S424, S426, S430, S438 to S440), and the monitor 405 shows the state shown in FIG. As described above, the rear side image not subjected to the mask process is displayed.
  • the cameras 400 to 401 constitute a rear side image photographing unit.
  • Monitors 405 to 409 constitute a display unit.
  • the horizon detection unit 101 constitutes a horizon detection unit.
  • the virtual straight line detection unit 102 constitutes a virtual straight line detection unit.
  • the vanishing point detection unit 103 constitutes a vanishing point detection unit.
  • the window frame vanishing point setting unit 103 constitutes a window frame vanishing point setting unit.
  • the window frame setting unit 105 constitutes a window frame setting unit.
  • the subsequent vehicle detection unit 200 constitutes a subsequent vehicle detection unit.
  • the inter-vehicle distance detection unit 105 constitutes an inter-vehicle distance detection unit.
  • the inter-vehicle distance determination unit 202 constitutes an inter-vehicle distance determination unit.
  • the mask processing control unit 107 constitutes a mask processing control unit.
  • the mask processing unit 109 constitutes a mask processing unit.
  • the inhibitor SW15 constitutes a shift position detection unit.
  • the reverse position detection unit 110 constitutes a reverse position detection unit.
  • the inhibitor SW15 detects the shift position of the transmission included in the host vehicle A.
  • the R position detection unit 110 detects a shift change to the reverse (R) position based on the detection result of the inhibitor SW15.
  • the mask processing control unit 107 determines that a shift change to the reverse position is detected based on the detection result of the reverse position detection unit 110, the mask processing of the mask processing unit 109 is stopped.
  • the inhibitor SW15 detects the shift position of the transmission included in the host vehicle A.
  • the R position detection unit 110 detects a shift change to the reverse (R) position based on the detection result of the inhibitor SW15.
  • Masking control unit 107 determines that detects a shift change to the reverse (R) position based on the detection result of the R-position detecting unit 110, and the mask image I m, the mask image I m at the rear side image
  • the image area to be masked is synthesized so that the mask image in which the image area is set in advance is translucently displayed at a transmittance p at which the mask image becomes translucent.
  • the configuration is not limited thereto.
  • the rear window frame W fb and the rear side window frame W fbs are connected to form one window frame. This configuration can also be applied to normal composite images.
  • the camera 400 to 401 is configured to photograph the rear side area including a part of the side surface portion of the host vehicle A.
  • the configuration is not limited to this, and only the cameras 402 to 403 may be used.
  • the images of the side portions of the vehicle are not included in the captured images of the cameras 402 to 403, and therefore images (icons, etc.) corresponding to the partially captured images of the side portions by CG or the like in advance. ), And this image is superimposed and displayed on the captured images of the cameras 402 to 403.
  • detection is performed using a coordinate table and an information table prepared in advance according to the position of the vanishing point V p and each coordinate position such as the window frame vanishing point P v .
  • Information corresponding to the vanishing point V p and the set window frame vanishing point P v is acquired from the table, and the window frame W f is set.
  • rear side images are analyzed (if necessary, a plurality of time-series rear side images are analyzed) to detect a rear region and a moving region, and these detected regions and setting the illusion oblique line L d by the processing to include in the window frame W f, may set the window frame W f using another method.

Abstract

 自車両の後側方の撮影画像を、撮影画像中における注意対象物との遠近感及び距離感を知覚し易く表示する。車両用後方視界支援装置(100)は、自車両Aの後側方の撮影画像のうち、消失点(Vp)を基準に領域(Fb)側に設定された窓枠用消失点(Pv)から領域(Fbs)側に向かって、予め設定されたポンゾ錯視が有効となる放射角度でかつ予め設定された放射方向に後側方画像の端部まで放射状に延びる2本の直線(Ld)と、当該(Ld)で区切られた放射角内側の画像領域の外縁部分(Le)とを枠線部に含む窓枠(Wf)で囲まれた画像領域以外の画像領域をマスクする。そして、このマスクした後側方画像を表示する。また、窓枠(Wf)を、当該(Wf)で囲まれた領域に、消失点(Vp)と、側面画像領域(500)の一部と、自車両(A)の後方の領域の一部と、隣接車線(AL)を走行する後続車(B)の移動領域とを含むように構成する。

Description

車両用後方視界支援装置及び車両用後方視界支援方法
 本発明は、車両後側方の視界を支援する表示技術に関する。
 従来、カメラで撮影した画像を変形してモニタへ表示する技術として、例えば、特許文献1に記載された技術がある。
 上記従来技術では、車両の前後方向に対して後ろ向きに設置されたカメラで撮像した映像を表示する際に、画面横方向の縮尺率を、画面中央部の縮尺率よりも大きくなるように映像を変換している。具体的に、自車の側面に近い側の映像の縮尺率を小さく、自車側面から離れた側の映像の縮尺率を大きくしている。結果的に、画像表示としては、自車の側面に近い側の映像が大きく表示され、自車の側面から離れた側の映像が小さく表示される。このため、映像内の注意対象物が遠方に存在する場合はより遠くに、近くに存在する場合はより近くに表示されるようになる。
特開2000-246588号公報
 しかしながら、上記従来技術を、自動車の運転のように、後続車が接近してくるような、動きのある環境に適用したとする。この場合、注意対象物の遠近感が助長されているため、モニタで遠方に見えた注意対象物が実際の接近速度よりもゆっくり接近してくるように表示される。また、モニタで近くに見えた注意対象物が実際の接近速度よりも速い速度で接近してくるように表示される。
 本発明は、上記課題を鑑みてなされたものであり、自車両の後側方の撮影画像を、撮影画像中における注意対象物との遠近感及び距離感を知覚し易く表示するのに好適な車両用後方視界支援装置及び車両用後方視界支援方法を提供することを目的としている。
 上記課題を解決するために、本発明の一態様は、車両に搭載された後側方画像撮影部によって車両の側面部分の一部を撮影範囲に含む車両の後側方の領域を撮影する。この撮影によって得られる後側方画像のうち、当該後側方画像中の消失点を通りかつ当該後側方画像中の地平線と交差する仮想直線を基準に左右に分かれる当該後側方画像の2つの領域のうち、前記側面部分の一部を含む画像領域である側面画像領域の存在する一方の領域側に設定した始点から、他方の領域側に向かって放射状に延びる2本の直線であって、予め設定されたポンゾ錯視が有効となる放射角度でかつ予め設定された放射方向に前記後側方画像の端部まで放射状に延びる2本の直線と、当該2本の直線で区切られた放射角内側の画像領域の外縁部分と、を枠線部に含む窓枠で囲まれた画像領域を残して、残りの画像領域をマスクする処理であるマスク処理を実施する。そして、マスク処理の施された後側方画像を表示する。また、窓枠で囲まれた領域に、後側方画像中の、消失点と、側面画像領域の一部と車両の後方の領域の一部とを含む領域である後方領域と、車両の走行車線に隣接する隣接車線を走行する後続車の移動領域とを含むように2本の直線の始点の位置、放射角度及び放射方向が設定されている。
 本発明によれば、後側方画像のうち、上記窓枠で囲まれた画像領域を残して、残りの画像領域をマスクする。これにより、始点から放射状に広がる2本の直線の放射角内側の領域に存在する後続車は、ポンゾ錯視によって、始点に近づくほど大きく感じられ、始点から遠ざかるほど小さく感じられる。そのため、窓枠内の自車両と後続車(又は障害物)との距離感を変化させることなく、それら両者の遠近感を強調することが可能である。
本発明の実施形態に係る車両用後方視界支援装置の概要構成図である。 カメラ400~404及びモニタ405~409の配置例を示す図である。 カメラ400~404の撮影範囲の一例を示す図である。 車両用後方視界支援装置100の機能構成の一例を示すブロック図である。 ポンゾ錯視を説明するための模式図である。 窓枠Wfの設定要件を説明するための図である。 (a)は、錯視斜線の理想的な放射角度及び放射方向の設定例を示す模式図であり、(b)~(e)は、錯視斜線の不適切な放射角度及び放射方向の設定例を示す模式図である。 (a)及び(b)は、仮想直線の設定要件を説明するための図である。 (a)及び(b)は、本実施形態のマスク画像及び窓枠の形状例を示す図である。 (a)及び(b)は、後方窓枠Wfb及び後側方窓枠Wfbsの理想的な形状設定の一例を示す模式図であり、(c)及び(d)は、後方窓枠Wfb及び後側方窓枠Wfbsの不適切な形状設定の一例を示す模式図である。 後方視界支援処理の処理手順の一例を示すフローチャートである。 (a)~(c)は、単体窓枠Wf1に対応するマスク画像Im1によるマスク例を示す図であり、(d)は、単体窓枠Wf1のみを表示した一例を示す模式図である。 (a)~(c)は、後方窓枠Wfb及び後側方窓枠Wfbsに対応するマスク画像Im2によるマスク例を示す図であり、(d)は、後方窓枠Wfb及び後側方窓枠Wfbsのみを表示した一例を示す模式図である。 第2実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。 第2実施形態の後方視界支援処理の処理手順の一例を示すフローチャートである。 マスク解除フラグ設定処理の処理手順の一例を示すフローチャートである。 (a)~(c)は、単体窓枠Wf1の設定例を示す模式図であり、(d)は、マスク画像Im1の一例を示す模式図である。 (a)~(b)は、後方窓枠Wfb及び後側方窓枠Wfbsの設定例を示す模式図であり、(c)は、マスク画像Im2の一例を示す模式図である。 (a)は、マスク画像Im2で通常合成した通常合成画像の一例を示す模式図であり、(b)は、マスク画像Im2で透過合成した透過合成画像の一例を示す模式図であり、(c)は、車間距離が距離閾値未満となってマスク処理を解除した場合の一例を示す模式図である。 第3実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。 第3実施形態の後方視界支援処理の処理手順の一例を示すフローチャートである。 第3実施形態のマスク解除フラグ設定処理の処理手順の一例を示すフローチャートである。 第3実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。 (a)~(b)は、Rポジションの検出結果及び透過表示モードの設定内容に応じた各種画像の表示結果の一例を示す模式図である。 (a)~(b)は、マスク画像Imの他の表示例を示す模式図である。
(第1実施形態)
 以下、本発明の第1実施形態を図面に基づき説明する。図1~図13は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第1実施形態を示す図である。
(構成)
 まず、車両用後方視界支援装置の構成について説明する。
 図1は、本実施形態に係る車両用後方視界支援装置の概要構成図である。
 本実施形態において、車両用後方視界支援装置100は、車両Aに搭載されている。車両用後方視界支援装置100は、CPU10と、カメラ群11と、RAM12と、ROM13と、モニタ群14とを備える。
 カメラ群11は、カメラ400と、カメラ401と、カメラ402と、カメラ403と、カメラ404とを備える。カメラ400~404は、CCDカメラ、CMOSカメラ等の公知のカメラから構成される。
 モニタ群14は、モニタ405(又は407)と、モニタ406(又は408)と、モニタ409とを備える。モニタ405~409は、液晶モニタ、有機ELモニタ、プラズマモニタ等の公知のモニタから構成される。
 図2は、カメラ400~404及びモニタ405~409の配置例を示す図である。
 なお、本実施形態において、カメラ400~404及びモニタ405~409は、従来の車両に搭載された、鏡面に反射する像を表示するドアミラー及びルームミラーの代替となる。
 カメラ400は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、カメラ401は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。カメラ402は、自車両Aの右後端部におけるカメラ400と同じ高さ位置に設けられ、カメラ403は、自車両Aの左後端部におけるカメラ401と同じ高さ位置に設けられる。カメラ404は、自車両Aの後端部中央における後部ウィンドウの上端部に設けられる。
 図3は、カメラ400~404の撮影範囲の一例を示す図である。
 具体的に、カメラ400は、従来の右側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの右側面部分の一部を含む右後側方の領域を撮影可能な位置に設置する。例えば、従来の右側ドアミラーの付近から、右後方のバンパーの後端までの右側面領域を含む、右後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ400は、自車両Aの右側面部分の一部を含む右後側方の領域を撮影し、撮影して得た画像データ(以下、右後側方画像データと称す)をCPU10に送信する。
 また、カメラ401は、従来の左側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの左側面部分の一部を含む左後側方の領域を撮影可能な位置に設置する。例えば、従来の左側ドアミラーの付近から、左後方のバンパーの後端までの左側面領域を含む、左後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ401は、自車両Aの左側面部分の一部を含む左後側方の領域を撮影し、撮影して得た画像データ(以下、左後側方画像データと称す)をCPU10に送信する。
 また、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分の一部によって死角となる領域を含む後方の領域(以下、右後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ402は、自車両Aの右後方の領域を撮影し、撮影して得た画像データ(以下、右後方画像データと称す)をCPU10に送信する。
 また、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分の一部によって死角となる領域を含む左後方の領域(以下、左後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ403は、自車両Aの左後方の領域を撮影し、撮影して得た画像データ(以下、左後方画像データと称す)をCPU10に送信する。
 また、カメラ404は、従来のルームミラーの反射像に対応する画像を撮影するもので、自車両Aの中央後方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ404は、自車両の中央後方を撮影し、撮影して得た画像データ(以下、中央後方画像データと称す)をCPU10に送信する。
 なお、図3では、撮影範囲として、一軸方向の範囲しか示していないが、実際は各カメラのレンズ中央を頂点とした円錐状の撮影範囲となる。また、カメラ400~404の撮影範囲は、各カメラの有するレンズ(広角レンズ)の特性によって決まる画角の範囲となる。
 図2に戻って、モニタ405は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、モニタ406は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。また、モニタ407は、自車両Aの車室内における右側Aピラーの付け根付近(従来の右側ドアミラーと同じ高さ位置付近)に設けられ、モニタ408は、自車両Aの車室内における左側Aピラーの付け根付近(従来の左側ドアミラーと同じ高さ位置付近)に設けられる。モニタ409は、車室内の前側中央上部の従来のルームミラー設置位置の付近に設けられる。
 モニタ405は、従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ405は、車室外に設置するため防水加工を施してある。
 モニタ406は、従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ406は、車室外に設置するため防水加工を施してある。
 モニタ407は、モニタ405と同様に従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。
 モニタ408は、モニタ406と同様に従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。
 モニタ409は、従来のルームミラーに対応し、カメラ404によって撮影して得られた中央後方画像データの画像を表示する。なお、カメラ404は、車両の後端部に設置されるため、従来のルームミラーの反射像とは違って撮影画像には自車両の車室内が含まれない。従って、CGにより生成された車室内の一部(後部の窓枠等)の画像をカメラ404の撮影画像に重畳表示することが望ましい。
 なお、モニタ405及び406と、モニタ407及び408とは、両方を設置することも可能であるが、いずれか一方を設置することが望ましい。
 本実施形態では、モニタ405及び406を設置し、モニタ407及び408は設置しない構成とする。
 図1に戻って、ROM13は、後述する後方視界支援処理を実現するための専用プログラムや、プログラムの実行に必要な各種データが格納されている。ROM13は、CPU10からの要求に応じて、格納された各種データを読み出してCPU10に入力する。
 具体的に、ROM13には、後述するマスク処理において用いられるマスク画像の情報等のプログラムの実行に必要なデータを記憶する。
 RAM12は、専用のプログラムを実行する際のワークメモリとして活用される。RAM12は、専用のプログラムの実行に必要な各種データ(各種撮影画像データ、各種フラグデータ等)を一時記憶する。
 CPU(Central Processing Unit)10は、ROM13に記憶された専用のプログラムを実行して、カメラ400~403から送信された各種画像データに基づき、従来の左右ドアミラーの反射像に代替するモニタ405及び406の表示画像を生成する。CPU10は、カメラ404から送信された画像データに基づき、従来のルームミラーの反射像に代替するモニタ409の表示画像を生成する。
 なお、本実施形態において、カメラ400~404は動画を撮影するデジタルビデオカメラであり、モニタ405~409には動画像を表示する。
 CPU10は、モニタ405及び406の表示画像の生成に際し、左右後側方画像に対して、ポンゾ錯視を有効にする形状の窓枠で囲まれた画像領域以外の領域をマスクする処理であるマスク処理を施す。そして、CPU10は、マスク処理が施された左右後側方画像をモニタ405及び406に表示する。
 次に、車両用後方視界支援装置100のCPU10において専用のプログラムを実行することによって実現される機能構成を説明する。
 図4は、車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
 図4に示すように、車両用後方視界支援装置100は、機能構成部として、マスク処理部109を備える。
 マスク処理部109は、カメラ400~401で撮影して得られる左右後側方画像に対して、ROM13に記憶されたマスク画像を合成する。
 以下、マスク画像の生成方法について説明する。
 本実施形態では、カメラ400~401で撮影して得られた左右後側方画像に対してポンゾ錯視が有効となる形状の窓枠を設定する。そして、各後側方画像のうち設定した窓枠で囲まれた画像領域を残して、残りの画像領域をマスク画像によってマスクする。本実施形態において、このマスク画像は、工場出荷前等に事前に生成しておく。そして、生成したマスク画像を、予めROM13に記憶しておく。
 また、本実施形態では、マスク画像を事前に生成するため、自車両Aの車種、自車両Aへのカメラ400~401の設置位置、設置角度、撮影範囲等を固定とする(既知とする)。従って、自車両Aが停車状態において、撮影された画像中における消失点の位置や地平線の位置が固定される。また、自車両Aの車種が既知なことから車体形状等も既知となる。
 次に、図5に基づき、ポンゾ錯視について簡単に説明する。図5は、ポンゾ錯視を説明するための模式図である。
 ポンゾ錯視は、図5(a)に示すように、同一始点Pvから予め設定された放射角度(例えば、45~55°)で放射状に延びる2本の直線の間に、長さの等しい2本の線を並行に並べて描くことにより生じる錯視である。これにより、人間の目の視覚特性から、始点Pvに近い方の線が始点Pvから遠い方の線よりも長く見える(感じられる)。または、図5(b)に示すように、同一始点Pvから予め設定された放射角度で放射状に延びる2本の直線の間に、直径の等しい2つの円を並べて描く。これにより、始点Pvに近い方の円が始点Pvから遠い方の円よりも大きく見える(感じられる)。以下、このポンゾ錯視を引き起こす関係を有する2本の直線を、錯視斜線と称す。
 また、図5(c)に示すように、錯視斜線を構成する2本線が同一始点Pvに接続していなくても、図5(a)と同様に、錯視斜線の2本線の間隔の狭い方に描かれた線の方が、線間隔の広い方に描かれた線よりも長く見える(感じられる)。
 ここで、本実施形態の基本的な考えとして、図5(d)に示すように、後側方画像の一部、特に隣接車線を走行する後続車を、ポンゾ錯視の錯視対象とする。つまり、隣接車線ALを走行する後続車が、錯視斜線Ldの上辺Ldu及び下辺Lddの線間の領域内に表示されるようにする。そのために、図5(d)に示すように、後側方画像に対して、上辺Ldu及び下辺Lddと、この上辺Ldu及び下辺Lddで区切られる後側方画像の外縁部Leとを枠線部とした窓枠Wfを設定する。但し、この窓枠Wfは、窓枠内に隣接車線を走行する後続車の移動範囲を不足無く含むように設定する。そして、後側方画像のうち、この窓枠Wfで囲まれた画像領域を表示領域として残し、残りの画像領域をマスク画像Imによってマスクする。
 なお、本実施形態において、ポンゾ錯視とは、上記マスク処理が施されている場合に、マスク処理が施されていない場合と比較して、後続車や障害物が、始点Pvに近づくほど大きく感じられ、始点Pvから遠ざかるほど小さく感じられる錯視を意味する。
 ここで、法規的に、消失点Vpは表示する必要がある。また、自車両Aの側面部分の一部を含む画像領域である側面画像領域及び自車両Aの走行車線の後方の領域を完全にマスクしてしまうと後続車との距離感が損なわれてしまう。
 従って、例えば、図5(e)に示すように、表示領域内に消失点Vp、側面画像領域の一部及び自車両Aの後方領域の一部が含まれるように窓枠Wfの始点側の形状を変形等することが望ましい。
 上記の基本概念を踏まえて、本実施形態では、以下の設定要件に基づいて窓枠を設定する。
 ここで、図6は、窓枠Wfの設定要件を説明するための図である。また、図7(a)は、錯視斜線の理想的な放射角度及び放射方向の設定例を示す模式図であり、(b)~(e)は、錯視斜線の不適切な放射角度及び放射方向の設定例を示す模式図である。また、図8(a)及び(b)は、仮想直線の設定要件を説明するための図である。また、図9(a)及び(b)は、本実施形態のマスク画像及び窓枠の形状例を示す図である。
 図6に示すように、後側方画像には、自車両Aの側面画像領域500と、自車両Aの走行車線SL(以下、自車線SLと称す)の後方の領域と、自車両Aの後側方の領域とが含まれる。また、図6の例において、後側方の領域には、自車線SLに隣接する隣接車線ALと、隣接車線ALを走行する後続車Bとが含まれる。
 後続車Bは、図6に示す遠方領域560から近傍領域570に向かって隣接車線ALを走行してくる。つまり、後続車Bは、遠方領域560から近傍領域570に至るまでの範囲である後側方範囲550(図中点線)内を移動する。また、図6に示すように、地平線510と、仮想直線525との交点が消失点Vpとなる。仮想直線525については、後述する。
 本実施形態では、窓枠Wfを設定するに際して、下記(a)~(d)の設定要件を満たすようにする。
(a)錯視斜線Ldの放射角度の範囲をポンゾ錯視が有効な「45°~55°」の範囲内とする。
(b)後側方範囲550内を移動する後続車Bの動きをマスクで隠さない。
(c)消失点Vpを窓枠Wf内に含める(法規上必須)。但し、本実施形態では、自車両Aが直線路を走行時に、消失点Vpを窓枠Wf内に含めることとする。例えば、カーブなどを走行時は、一時的にマスクを解除する等して対応する。
(d)側面画像領域500の一部及び自車線SLの後方の領域の一部を窓枠Wf内に含める。
 上記(a)~(d)の要件を満足するためには、錯視斜線Ldの始点Pv(以下、窓枠用消失点Pvと称す)の位置と、錯視斜線Ldの放射角度及び放射方向とが重要となる。
 例えば、図7(a)は、窓枠Wfの理想的な設定位置の一例を示す図である。図7(a)に示すように、後側方画像を、仮想直線525によって分割される左右2つの領域Fb及びFbsに分けて考える。窓枠用消失点Pvは、後側方画像の2つの領域Fb及びFbsのうち側面画像領域500の存在する領域Fb側(図7では左側)でかつ地平線510の高さ以下の高さ位置(予め設定されたオフセット量Ofshの範囲内の位置)に設定する。
 更に、錯視斜線Ldは、図7(a)に示す窓枠用消失点Pvから放射角度45~55°の範囲(図7(a)では55°)で、上辺Lduの放射方向側の端部が後側方画像の右上隅に到達する放射方向に設定する。これにより、窓枠Wfで囲まれた範囲内に、側面画像領域500の一部と、自車線SLの後方の領域の一部と、消失点Vpと、後側方範囲550のうち少なくとも後続車の移動領域とが含まれる。
 ここで、図8に基づき、本実施形態の仮想直線525の設定方法について説明する。
 窓枠Wfを設定するにあたって、まず、図8(a)に示すように、後側方画像から地平線510を検出する。次に、側面画像領域500の車両外側の端部から予め設定された横方向のオフセット量Ofswの範囲内を通り、地平線510と交差する線を仮想直線525として設定する。
 このオフセット量Ofswは、カメラ400~401の光軸中心の位置に基づき設定する。例えば、図8(b)に示すように、従来のドアミラーの直下に相当する位置にカメラ400~401を設置したとする。この場合に、仮想直線525が無限遠点で一致する範囲のオフセット量を設定する。図8(b)の例では、自車両Aの側面からドアミラーの外側端部までの横方向の距離が約30[cm]で、自車両Aの側面からカメラ400~401のレンズの光軸中心までの距離が約20[cm]となっている。この場合に、オフセット量Ofswは、この約20[cm]に対応する後側方画像上の距離となる。
 図7に戻って、例えば、図7(b)は、窓枠用消失点Pvを、領域Fb内において、側面画像領域500よりも右寄りに設定した例である。この場合は、窓枠Wfで囲まれた範囲内に、側面画像領域500の一部と、自車線SLの後方領域とが含まれなくなる。加えて、窓枠Wfで囲まれた範囲内には、自車両Aと隣接する位置に接近した後続車Bが含まれなくなる。
 また、例えば、図7(c)は、窓枠用消失点Pvを、領域Fb内において、図7(b)とは逆に側面画像領域500の左寄り(画像の左端)に設定した例である。この場合は、マスク面積が小さくなり過ぎてしまい、ポンゾ錯視の効果が弱くなってしまう。
 また、例えば、図7(d)は、窓枠用消失点Pvを、領域Fb内において、側面画像領域500よりも右寄りに、かつ側面画像領域500の上下方向の中央付近(地平線から下方に向かって離れる距離がオフセット量Ofshよりも長くなる位置)に設定した例となる。更に、図7(d)は、錯視斜線Ldの放射方向を、上辺Lduの放射方向の端部が画像右上隅より手前で画像上端に到達する方向に設定した例となる。この場合は、窓枠Wfで囲まれた範囲内に、側面画像領域500の一部及び自車線SLの後方領域の一部に加えて、遠方領域560及び近傍領域570の双方が含まれなくなる。
 また、例えば、図7(e)は、図7(d)の放射方向のままで、窓枠用消失点Pvを、図7(d)とは逆に側面画像領域500の左寄り(画像の左端)に設定した例となる。この場合は、窓枠Wfで囲まれた範囲内に、側面画像領域500の一部と、自車線SLの後方の領域の一部と、遠方領域560とが含まれるようになる。しかし、近傍領域570が含まれなくなる。加えて、上辺Lduの長さが短くなり過ぎて、ポンゾ錯視の効果が得られなくなる。
 以上より、図7(b)~(e)に例示した設定内容は、いずれも不適切な設定内容の例となる。
 また、本実施形態において、窓枠Wfは、図9(a)に示すように、錯視斜線Ldの形状をそのまま用いたものの他に、図9(b)に示すような構成とすることも可能である。
 具体的に、図9(b)に示すように、窓枠Wfを、本実施形態では矩形状の後方窓枠Wfbと、略台形状の後側方窓枠Wfbsとの2つの窓枠に分けて設定する。この場合、後方窓枠Wfbは、錯視斜線Ldの上辺Lduの一部である上辺部Ldupと、下辺Lddの一部である下辺部Lddpと、側面画像領域500側において上辺部Ldup及び下辺部Lddpの端部を結ぶ側辺Ldsと、外縁部Leとから構成される。以下、上辺部Ldup及び下辺部Lddpから構成される錯視斜線Ldの一部を錯視斜線部Ldpと称す。
 そして、後方窓枠Wfbを、当該後方窓枠Wfbで囲まれた範囲内に、側面画像領域500の一部と、自車線SLの後方の領域の一部とを含む領域(以下、後方領域と称す)が含まれるように構成する。また、後側方窓枠Wfbsを、当該後側方窓枠Wfbsで囲まれた範囲内に、消失点Vpと、後側方範囲550のうち後続車Bの移動範囲とを含む領域(以下、移動領域と称す)が含まれるように構成する。但し、本実施形態では、上記窓枠Wfと同様に、自車両Aが直線路を走行時に、消失点Vpを後側方窓枠Wfbs内に含めることとする。
 具体的に、ポンゾ錯視の対象にしたい範囲は、後続車Bの移動範囲となるので、この範囲を錯視斜線Ldの2線間に含ませることができれば、その先の後続車Bの走行範囲を含まない窓枠用消失点Pvまでの範囲は、当該窓枠用消失点Pvに収束する形状(ポンゾ錯視を有効にする形状)とする必要は無い。むしろ、図9(b)に例示した矩形状の後方窓枠Wfbのように、後方領域がより見やすくなる表示形状とすることが望ましい。
 また、窓枠Wfを、図9(b)に示す構成とすることで、後方領域と、移動領域とが別々の窓枠内に表示されることになる。つまり、自車線SLを走行する後続車(以下、後続車Cと称す)と、隣接車線ALを走行する後続車Bとが別の窓枠内に表示されることになるので、両者の走行車線を区別しやすい表示形態とすることが可能である。
 以下、図10に基づき、後方窓枠Wfbと、後側方窓枠Wfbsの設定要件について説明する。図10(a)及び(b)は、後方窓枠Wfb及び後側方窓枠Wfbsの理想的な形状設定の一例を示す模式図であり、(c)及び(d)は、後方窓枠Wfb及び後側方窓枠Wfbsの不適切な形状設定の一例を示す模式図である。
 本実施形態において、後方窓枠Wfb及び後側方窓枠Wfbsの設定要件は、上記(a)~(d)の要件に加えて、次の、(e)及び(f)の要件がある。
(e)後方窓枠Wfb内に後方領域(側面画像領域500の一部及び自車両Aの後方の領域の一部)を含むように構成する。
(f)後側方窓枠Wfbs内に移動領域(消失点Vp及び後続車Bの移動範囲)を含むように構成する。
 図10(a)の理想的な形状例では、後方窓枠Wfb内に後方領域が含まれており、後側方窓枠Wfbs内に移動領域が含まれている。また、図10(a)の例では、後側方窓枠Wfbsの側辺Ldsの長さと、後方窓枠Wfbの側辺Ldsと対向する辺の長さとを同じ長さとしている。なお、この構成に限らず、両者の長さを異なる長さに構成してもよい。
 例えば、図10(b)に示すように、後方窓枠Wfbの各辺の長さを側辺Ldsよりも長くして後方領域の表示面積をより大きくする構成としてもよい。
 但し、例えば、図10(c)や(d)に示すように、後側方窓枠Wfbs側の形状を、放射角度を広げる方向に変更してしまうと、上辺部Ldupと下辺部Lddpとが平行に近づくため、ポンゾ錯視の効果が得られなくなる。
 以上のことから、本実施形態では、後側方画像に対して、上記設定要件(a)~(f)を満たす設定内容で窓枠Wf又は、後方窓枠Wfb及び後側方窓枠Wfbsを設定する。
 なお、本実施形態では、自車両Aの車種が既知であり、かつカメラ400~401が固定カメラであり、カメラ400~401の設置位置、設置角度、画角、焦点距離等が既知である。このような条件下において、工場出荷前等に、カメラ400~401で後側方画像を撮影し、この撮影した後側方画像を用いてマスク画像Imを生成する。具体的に、後側方画像のうち設定した窓枠内の画像領域を残して、残りの画像領域をマスクする形状のマスク画像Imを生成する。本実施形態において、マスク画像Imは、黒色などの、マスクをしていることが明確となる色の画像とする。そして、この生成したマスク画像Imを予めROM13に記憶する。
(後方視界支援処理)
 次に、図11に基づき、車両用後方視界支援装置100の機能構成部において行われる後方視界支援処理の処理手順について説明する。
 図11は、後方視界支援処理の処理手順の一例を示すフローチャートである。
 電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図11に示すように、まずステップS100に移行する。
 ステップS100では、CPU10において、以降の処理の実行に使用するタイマやカウンタ、フラグを初期設定する初期化処理を実行して、ステップS102に移行する。
 ステップS102では、CPU10において、カメラ群11に対して撮影開始指示を送信して、左右後側方画像、左右後方画像及び中央後方画像の撮影を開始して、ステップS104に移行する。
 ステップS104では、マスク処理部109において、予め設定されたサンプリング周期で後側方画像を取得して、ステップS106に移行する。
 ステップS106では、マスク処理部109において、ROM13からマスク画像Imを読み出して、ステップS108に移行する。
 ステップS108では、マスク処理部109において、ステップS104で取得した後側方画像を左右反転した画像に、ステップS106で読み出したマスク画像Imを合成して、ステップS110に移行する。ここでは、鏡面像を再現するために、撮影画像を左右反転する。
 ステップS110では、マスク処理部109において、合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS112に移行する。これにより、モニタ群14の各モニタにおいて、入力された画像表示信号に対応する合成画像が表示される。
 ステップS112では、CPU10において、イグニッションスイッチ(不図示)からの信号に基づき、イグニッションがOFFになったか否かを判定する。そして、OFFになったと判定した場合(YES)は、一連の処理を終了し、OFFになっていないと判定した場合(NO)は、ステップS104に移行する。
(動作)
 次に、図12~図13に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
 図12(a)~(c)は、単体窓枠Wf1に対応するマスク画像Im1によるマスク例を示す図であり、(d)は、単体窓枠Wf1のみを表示した一例を示す模式図である。図13(a)~(c)は、後方窓枠Wfb及び後側方窓枠Wfbsに対応するマスク画像Im2によるマスク例を示す図であり、(d)は、後方窓枠Wfb及び後側方窓枠Wfbsのみを表示した一例を示す模式図である。
 イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S100)。また、初期化処理においては、カメラ400~404の初期設定も行われる。なお、ここでは、カメラ400~404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。
 初期化処理が終了すると、カメラ群11のカメラ400~404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S102)。
 以下、自車両Aを右ハンドル車として動作を説明する。なお、左ハンドル車についても処理対象の各画像が左右反転するだけで右ハンドル車と同様の処理内容となる。
 カメラ群11による撮影が開始されると、車両用後方視界支援装置100は、マスク処理部109において、予め設定されたサンプリング周期で、カメラ400~401から後側方画像を取得する(S104)。
 次に、マスク処理部109は、ROM13から、マスク画像Imを読み出す(S106)。ここでは、ROM13に、図9(a)に示す、単体窓枠Wf1に対応するマスク画像Im1と、図9(b)に示す、後方窓枠Wfb及び後側方窓枠Wfbsに対応するマスク画像Im2とが記憶されているとする。そして、ユーザは、不図示の操作部を介して、これらのうちいずれか一方の窓枠を任意に選択できることとする。
 ここでは、まず、ROM13から、図12(a)に示すように、単体窓枠Wf1に対応するマスク画像Im1を読み出したとする(S106)。
 マスク処理部109は、読み出したマスク画像Im1を、例えば、図12(b)に示すような右後側方画像を左右反転した画像に合成する(S108)。この合成結果は、図12(c)に示すように、後側方画像のうち、単体窓枠Wf1に対応するマスク対象外の画像領域に、側面画像領域500の一部と、自車線SLの後方の領域の一部と、消失点Vpと、後続車Bの移動範囲とが含まれる。そして、それ以外の画像領域がマスク画像Im1にマスクされた(隠された)画像となる。
 マスク処理部109は、この合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。これにより、モニタ405には、図12(c)に示す合成画像が表示される(S110)。
 なお、図12(d)に示すように、例えば、単体窓枠Wf1のうち上辺Ldu1及び下辺Ldd1から構成される窓枠線(錯視斜線Ld1)のみを、後側方画像に合成したとする。この場合、錯視斜線Ld1の2本線に挟まれた領域以外の画像領域も表示されてしまう。これにより、ポンゾ錯視の効果が弱くなる。従って、本実施形態では、窓枠線のみを表示することはせずに、錯視斜線Ld1の2本線に挟まれた領域以外の画像領域をマスク画像Im1によってマスクする。
 一方、マスク処理部109において、ROM13から、図13(a)に示すように、後方窓枠Wfbと、後側方窓枠Wfbsとの2つの窓枠を設定した場合に対応するマスク画像Im2を読み出したとする(S106)。
 マスク処理部109は、読み出したマスク画像Im2を、例えば、図13(b)に示すような右後側方画像を左右反転した画像に合成する(S108)。この合成結果は、図13(c)に示すように、後側方画像のうち、後方窓枠Wfbに対応するマスク対象外の画像領域に、側面画像領域500の一部と、自車線SLの後方の領域の一部とが含まれる。また、後側方窓枠Wfbsに対応するマスク対象外の画像領域(表示領域)に、消失点Vpと、後続車Bの移動範囲とが含まれる。そして、それ以外の画像領域(非表示領域)がマスク画像Im2にマスクされた画像となる。
 マスク処理部109は、この合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。これにより、モニタ405には、図13(c)に示す合成画像が表示される(S110)。
 なお、図13(d)に示すように、例えば、後方窓枠Wfbと、後側方窓枠Wfbsにおける上辺部Ldup、下辺部Lddp及び側辺Ldsを、後側方画像に合成したとする。この場合も、錯視斜線の2線間の領域以外の画像領域が表示される。これにより、ポンゾ錯視の効果が弱くなる。従って、本実施形態では、窓枠線のみを表示することはせずに、錯視斜線の2線間の領域以外の画像領域をマスク画像Im2によってマスクする。
 ここで、カメラ400~401は、後側方画像撮影部を構成する。マスク処理部109は、マスク処理部を構成する。モニタ405~409は、表示部を構成する。
(本実施形態の効果)
(1)自車両Aに搭載されたカメラ400~401が、自車両Aの側面部分の一部を撮影範囲に含む自車両Aの後側方の領域の画像である後側方画像を撮影する。マスク処理部109が、カメラ400~401で撮影された後側方画像のうち、当該後側方画像中の消失点Vpを通りかつ当該後側方画像中の地平線510と交差する仮想直線525を基準に左右に分かれる当該後側方画像の2つの領域のうち、側面部分の一部を含む画像領域である側面画像領域500の存在する一方の領域側に設定した始点Pvから、他方の領域側に向かって放射状に延びる2本の直線であって、予め設定されたポンゾ錯視が有効となる放射角度(例えば、45°~55°の範囲内の角度)でかつ予め設定された放射方向に後側方画像の端部まで放射状に延びる2本の直線Ldu及びLddと、当該2本の直線Ldu及びLddで区切られた放射角内側の画像領域の外縁部分と、を枠線部に含む窓枠Wfで囲まれた画像領域を残して、残りの画像領域をマスクする。モニタ405(407)~406(408)が、マスク処理部109でマスク処理の施された後側方画像を表示する。窓枠Wfで囲まれた領域に、後側方画像中の、消失点Vpと、側面画像領域500の一部と自車両Aの後方の領域の一部とを含む領域である後方領域と、走行車線SLに隣接する隣接車線ALを走行する後続車Bの移動領域を含む領域である移動領域とを含むように2本の直線Ldu及びLddの始点Pvの位置、放射角度及び放射方向が設定されている。
 後側方画像のうち、上記窓枠Wfで囲まれた画像領域を残して、残りの画像領域をマスクするようにした。これにより、同一始点Pvから放射状に広がる2本の直線Ldu及びLddの放射角内側の画像領域に存在する後続車は、ポンゾ錯視によって、始点Pvに近いほど大きく感じられ、始点Pvから遠いほど小さく感じられる。そのため、窓枠Wf内の自車両Aと後続車(又は障害物)との距離感を変化させることなく、それら両者の遠近感を強調することが可能である。従って、遠くの後続車がマスク処理を施していない場合と比較して大きく感じる。即ち、遠方の後続車がマスク処理を施していない場合よりも近くに居るように感じるので、合流や車線変更で、強引な割り込みを行い難くすることができる。また、後続車が接近してきているのか、離れているのか、または車間距離が変化しないのか、など、運転者が、表示された映像から自車両Aと後続車との相対速度を読み取り易くなる。
(2)ROM13が、後側方画像のうち窓枠Wfで囲まれた画像領域以外の画像領域をマスクするマスク画像Imを記憶する。マスク処理部109が、カメラ400~401で撮影された後側方画像に、ROM13に記憶されたマスク画像Imを合成するマスク処理を実施して、上記残りの領域をマスクする。
 ROM13に予め記憶されたマスク画像Imを用いてマスク処理を行うようにしたので、例えば、マスク画像を生成する構成が不用となる。また、例えば、マスク画像を車種毎に事前に生成することができるので、車種毎に最適なマスク画像を用いてマスク処理を行うことが可能となる。
(3)窓枠Wfを、自車両Aの後方領域を内包する枠線部を有する後方窓枠Wfbと、2本の直線Ldu及びLddのうち後方窓枠Wfbよりも他方の領域側の直線部分Ldup及びLddpと、外縁部分Leとを枠線部に含む後側方窓枠Wfbsとから構成した。
 つまり、後方窓枠Wfbによって設定される領域に自車両Aの後方領域が表示され、後側方窓枠Wfbsによって設定される領域に自車両Aの移動領域が表示される。これにより、自車線SLを走行する後続車Cと、隣接車線ALを走行する後続車Bとが別の窓枠内に表示されることになるので、両者の走行車線を区別しやすい表示形態とすることが可能である。
(第2実施形態)
 次に、図14~図19に基づき、本発明の第2実施形態を説明する。図14~図19は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第2実施形態を示す図である。
(構成)
 上記第1実施形態では、工場出荷前等に、車種やカメラの設置位置等が既知の状態で生成したマスク画像Imを予めROM13に記憶しておく。そして、このROM13に記憶したマスク画像Imを用いて、カメラ400~401で撮影した後側方画像に対してマスク処理を実施する構成とした。これに対して、本実施形態では、カメラ400~401で撮影した後側方画像に対して地平線510及び仮想直線525の検出を行い、地平線510と仮想直線525との交点から消失点Vpを検出する。更に、検出した消失点Vpを基準にして窓枠用消失点Pvを設定し、消失点Vp及び窓枠用消失点Pvに基づき窓枠Wfを設定する。更に、設定した窓枠Wfからマスク画像Imを生成する。そして、この生成したマスク画像Imを用いて、後側方画像に対してマスク処理を行う点が異なる。つまり、窓枠Wfを設定する手段と、設定した窓枠Wfに基づきマスク画像Imを生成する手段とを備える点が上記第1実施形態と異なる。
 以下、上記第1実施形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分を詳細に説明する。
 まず、図14に基づき、本実施形態の車両用後方視界支援装置100の機能構成を説明する。図14は、本実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
 図14に示すように、本実施形態の車両用後方視界支援装置100は、機能構成部として、地平線検出部101と、仮想直線検出部102と、消失点検出部103と、窓枠用消失点設定部104と、窓枠設定部105と、他車両検出部106と、マスク処理制御部107と、透過合成制御部108と、マスク処理部109とを備える。
 地平線検出部101は、カメラ400~401で撮影した後側方画像から地平線510を検出する。例えば、カメラ400~401の撮影軸の向きなどのカメラの設置条件と地平線510との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置の地平線510を設定する。従って、この場合は、自車両Aにカメラを設置後、または、撮影軸の向きを変更後などに設置条件を入力(又は取得)する必要がある。また、自車両Aが、平坦路とみなせる路面勾配の少ない道路(例えば、高速道路など)を走行している場合は、路面と風景との境界を検出して地平線510を演算することも可能である。地平線検出部101は、検出した地平線の座標情報を、仮想直線検出部102に出力する。
 仮想直線検出部102は、まず、後側方画像から側面画像領域500を検出する。次に、検出した側面画像領域500の外側端部から予め設定されたオフセット量Ofswまでの範囲を通って、地平線510と交差する仮想直線525を検出する。
 ここで、側面画像領域500の検出は、例えば、ROM13に予め記憶されている自車両Aの左右側面画像領域のテンプレートデータを読み出し、読み出したテンプレートデータと左右後側方画像とのテンプレートマッチングによって左右後側方画像から左右側面画像領域を検出する方法がある。また、別の方法として、例えば、自車両Aのボディカラーと同じ色又は近い色(例えば、予め設定された差分値の範囲以内の色)の画素から構成される領域を側面画像領域として検出する方法がある。
 また、仮想直線の検出は、例えば、カメラ400~401の撮影軸の向きなどのカメラの設置条件と側面画像領域との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置関係から無限遠点を検出する。この場合は、自車両Aにカメラを設置後、または、撮影軸の向きを変更後などに設置条件を入力(又は取得)する。または、側面画像領域の近くの路面フロー(オプティカルフロー)から無限遠点を検出する。そして、側面画像領域からオフセット量Ofswの範囲の点と無限遠点とを結ぶ直線を演算することで仮想直線を検出する。
 仮想直線検出部102は、地平線510の座標情報と、仮想直線525の座標情報とを消失点検出部103に出力する。
 消失点検出部103は、取得した地平線510の座標情報と、仮想直線525の座標情報とに基づき、左右後側方画像における消失点Vpを検出する。具体的に、仮想直線525と地平線510との交点を消失点Vpとして検出する。消失点検出部103は、検出した消失点Vpの座標情報を窓枠用消失点設定部104に出力する。
 なお、車体にカメラ400~401を固定する場合は、撮影した左右後側方画像における消失点Vpの位置に該当する画素位置が一定となる。そのため、同じ車種にカメラ400~401を固定する場合、個体毎に消失点Vpを検出する必要がない。
 窓枠用消失点設定部104は、消失点検出部103からの消失点Vpの座標情報に基づき、左右後側方画像中に窓枠用消失点Pvを設定する。本実施形態では、予め設定された範囲の消失点Vpの各座標情報に対応する窓枠用消失点Pvの座標情報が、予めROM13に座標テーブルとして設定されていることとする。
 従って、窓枠用消失点設定部104は、ROM13から、取得した消失点Vpの座標情報に対応する窓枠用消失点Pvの座標情報を読み出す。そして、読み出した座標情報に基づき、左右後側方画像に対する窓枠用消失点Pvを設定する。
 窓枠用消失点設定部104は、消失点Vpの座標情報と、窓枠用消失点Pvの座標情報とを窓枠設定部105に出力する。
 一方、他車両検出部106は、後続車検出部200と、車間距離検出部201と、車間距離判定部202とを備える。
 後続車検出部200は、窓枠設定部105からの後述する記憶通知に応じて、カメラ400~404で撮影して得られる各種撮影画像から、自車両Aの右隣接車線を走行する後続車(以下、右車線後続車と称す)と、自車両Aの左隣接車線を走行する後続車(以下、左車線後続車と称す)とを検出する。具体的に、後続車検出部200は、カメラ400~404からの各種撮影画像データに対してエッジ検出やパターン認識処理などの画像処理を施して、自車両Aの隣接車線を走行する後続車を検出する。後続車検出部200は、右車線及び左車線後続車の検出結果を車間距離検出部201に出力する。
 車間距離検出部201は、後続車検出部200からの検出結果に基づき、後続車を検出したと判定すると、ROM13に記憶されたカメラ400~404の設置位置、設置角度、画角、レンズの焦点距離等の情報に基づき、検出した各種後続車との車間距離を演算する。但し、本実施形態では、同じ車線に複数台の後続車を検出した場合は、先頭の後続車との車間距離のみ演算する。車間距離検出部201は、演算した車間距離を後続車の種別(右車線又は左車線)に対応付けて車間距離判定部202に出力する。一方、後続車検出部200からの検出結果に基づき、後続車を検出しなかったと判定すると、後続車を検出しなかった旨を示す情報を車間距離判定部202に出力する。
 本実施の形態において、車間距離検出部201は、カメラ群11の各カメラの設置位置、設置角度、画角、焦点距離等のカメラの幾何学的情報と、撮影画像中の後続車の位置とに基づいて自車両Aと後続車との車間距離を演算する。つまり、自車両Aの後側方の領域における後続車の実際の位置とカメラの撮影画像における座標系の位置との関係は、カメラの設置位置や設置角度、画角、焦点距離などから一意に特定できるので、カメラの撮影画像中における後続車の位置から、自車両Aと後続車との間の車間距離を演算することができる。
 なお、撮影画像に基づき車間距離を演算する別の方法として、例えば、撮影画像中の後続車の大きさと、その変化とから演算する方法、撮影画像中の後続車のナンバープレートやナンバープレートの文字などの既知の大きさの物体に基づき演算する方法、ステレオカメラを用いて撮影した撮影画像から演算する方法等を用いてもよい。
 また、レーザレンジファインダ、車載用ミリ波レーダやレーザレーダなどの物体検出装置を自車両Aに搭載している場合には、この物体検出装置で検出された情報に基づき、後続車との車間距離を演算するようにしてもよい。または、カメラ群11の撮影画像に対する画像処理の結果と物体検出装置で検出された情報との双方に基づき、後続車との車間距離を演算するようにしてもよい。
 車間距離判定部202は、車間距離検出部201で検出した車間距離と、ROM13に予め記憶されている距離閾値とを比較し、車間距離が距離閾値以上か否かを判定する。車間距離判定部202は、判定結果を示す情報をマスク処理制御部107に出力する。また、本実施形態において、車間距離判定部202は、後続車が検出されなかった旨を示す情報を取得した場合、距離閾値以上である判定結果を示す情報をマスク処理制御部107に出力する。
 マスク処理制御部107は、車間距離判定部202からの車間距離の判定結果に基づき、RAM12に予め設定されたマスク解除フラグ用の領域にマスク解除フラグを設定する。具体的に、マスク処理制御部107は、車間距離が距離閾値以上であると判定すると、マスク解除フラグをオフ(例えば、「0」)に設定する。一方、車間距離が距離閾値未満であると判定すると、マスク解除フラグをオン(例えば、「1」)に設定する。
 ここで、マスク解除フラグは、マスク処理部109が、マスク処理を実施するか否かを判断するためのフラグである。
 透過合成制御部108は、不図示の操作部を介した指示入力に基づき、RAM12に予め設定された透過表示フラグ用の領域に透過表示フラグを設定する。具体的に、透過合成制御部108は、透過表示フラグをオンにする指示入力に基づき、透過表示フラグをオン(例えば、「1」)に設定する。一方、透過表示フラグをオフにする指示入力に基づき、透過表示フラグをオフ(例えば、「0」)に設定する。
 ここで、透過表示フラグは、マスク処理部109が、透過合成処理(後述)を実施するか否かを判断するためのフラグである。
 窓枠設定部105は、窓枠用消失点設定部104からの、窓枠用消失点Pvの座標情報に基づき、左右後側方画像に対して、単体窓枠Wf1又は後方窓枠Wfb及び後側方窓枠Wfbsを設定する。
 本実施形態では、消失点Vp及び窓枠用消失点Pvの座標情報に対応する単体窓枠Wf1の情報と、後方窓枠Wfb及び後側方窓枠Wfbsの情報とが、予めROM13に座標テーブルとして設定されている。
 従って、窓枠設定部105は、取得した消失点Vp及び窓枠用消失点Pvの座標情報に対応する単体窓枠Wf1の情報、又は後方窓枠Wfb及び後側方窓枠Wfbsの情報をROM13から読み出す。そして、読み出した情報に基づき、左右後側方画像に単体窓枠Wf1、又は後方窓枠Wfb及び後側方窓枠Wfbsを設定する。
 ここで、単体窓枠Wf1の情報は、例えば、消失点Vp及び窓枠用消失点Pvの座標情報に対応する錯視斜線Ldの放射角度及び放射方向の情報を含む。
 また、後方窓枠Wfb及び後側方窓枠Wfbsの情報は、例えば、錯視斜線Ldの放射角度及び放射方向の情報に加えて、窓枠の分割位置の情報、後方窓枠Wfbの形状や大きさの情報等を含む。
 本実施形態では、単体窓枠Wf1、又は後方窓枠Wfb及び後側方窓枠Wfbsのいずれの窓枠を設定するのかをユーザが指定可能となっている。従って、窓枠設定部105は、ユーザによって指定された方の窓枠の情報をROM13から読み出し、読み出した情報に基づき後側方画像に窓枠を設定する。
 以下、Wf1と、後方窓枠Wfb及び後側方窓枠Wfbsとを区別する必要が無い場合に、単に窓枠という。
 また、窓枠設定部105は、設定した窓枠に基づき、マスク画像Imを生成する。具体的に、窓枠設定部105は、後側方画像のうち設定した窓枠で囲まれた画像領域以外の画像領域をマスクするマスク画像Imを生成する。本実施形態では、単体窓枠Wf1、又は後方窓枠Wfb及び後側方窓枠Wfbsのいずれか指定された方の窓枠が設定される。従って、窓枠設定部105は、単体窓枠Wf1を設定した場合は、後側方画像のうち単体窓枠Wf1で囲まれた画像領域以外の画像領域をマスクするマスク画像Im1を生成する。一方、窓枠設定部105は、後方窓枠Wfb及び後側方窓枠Wfbsを設定した場合は、後側方画像のうち後方窓枠Wfb及び後側方窓枠Wfbsで囲まれた画像領域以外の画像領域をマスクするマスク画像Im2を生成する。
 窓枠設定部105は、生成したマスク画像Im1及びIm2を、RAM12に記憶する。また、窓枠設定部105は、マスク画像Im1又はIm2を記憶したことを、他車両検出部106の後続車検出部200に通知する。以下、マスク画像Im1又はIm2を区別する必要が無い場合は、単にマスク画像Imという。
 マスク処理部109は、窓枠設定部105からのマスク画像Imの記憶通知に応じて、カメラ群11から左右後側方画像データを取得する。そして、RAM12に設定されたマスク解除フラグ及び透過表示フラグの設定内容に基づき、取得した左右後側方画像データの画像に対してマスク処理を実施する。なお、以下の説明において、右後側方画像と左後側方画像とについて区別する必要がない場合に、左右の区別無く単に後側方画像として説明する。
 具体的に、マスク処理部109は、マスク解除フラグ及び透過表示フラグが共にオフであると判定すると、RAM12からマスク画像Imを読み出す。そして、読み出したマスク画像Imを、カメラ400~401から取得した後側方画像に合成する。以下、この画像合成を通常合成処理と称し、その合成画像を通常合成画像と称す。マスク処理部109は、通常合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14の対応するモニタに出力する。
 また、マスク処理部109は、マスク解除フラグがオフでかつ透過表示フラグがオンであると判定すると、RAM12からマスク画像Imを読み出す。この場合、マスク処理部109は、透過表示フラグがオンであるので、読み出したマスク画像Imに対して、予め設定した半透明となる透過率pで、後側方画像のうちマスク画像Imの画像領域に対応する位置の画像領域(以下、対応画像領域と称す)を透過表示するように画像合成を行う。つまり、後側方画像におけるマスク対象の画像領域をマスク画像Imによって完全に見えなくするのではなく、マスク画像Imが半透明となる透過率pで透過表示可能にマスクする。但し、透過率を高くし過ぎるとマスクの効果が薄れて、ポンゾ錯視の効果が弱くなる。従って、本実施形態では、「0<p≦50、単位は[%]」の範囲で透過率を設定する。以下、この画像合成を透過合成と称し、その合成画像を透過合成画像と称す。
 透過合成処理として、例えば、マスク画像Imをライン単位で間引きし、間引きした部分に対して対応画像領域の間引き位置に対応する画像を表示するようにマスク画像Imと対応画像領域とを合成する処理がある。また、例えば、マスク画像Imを前景とし、対応画像領域を背景として、公知のαブレンディングを用いて、マスク画像Imと対応画像領域とを合成する処理がある。αブレンディングでは、マスク画像Im(前景)の各画素値に予め設定された透過率に対応する係数α(0<α<1)を乗算し、対応画像領域(背景)の各画素値に(1-α)を乗算する。そして、各対応する画素位置の乗算後の両者の画素値を加算する。
 マスク処理部109は、更に、透過合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力する。
 一方、マスク処理部109は、マスク解除フラグがオンであると判定するとマスク画像Imの合成処理(マスク処理)を停止する。そして、マスク画像を合成していない(マスク処理を施していない)後側方画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14の対応するモニタに出力する。
(後方視界支援処理)
 次に、図15に基づき、本実施形態の車両用後方視界支援装置100の機能構成部において行われる後方視界支援処理の処理手順について説明する。
 図15は、本実施形態の後方視界支援処理の処理手順の一例を示すフローチャートである。
 電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図15に示すように、まずステップS200に移行する。
 ステップS200では、CPU10において、以降の処理の実行に使用するタイマやカウンタ、フラグを初期設定する初期化処理を実行して、ステップS202に移行する。
 ステップS202では、CPU10において、カメラ群11に対して撮影開始指示を送信して、左右後側方画像、左右後方画像及び中央後方画像の撮影を開始して、ステップS204に移行する。
 ステップS204では、地平線検出部101において、カメラ群11から後側方画像データを取得して、ステップS206に移行する。
 ステップS206において、地平線検出部101において、後側方画像から地平線510を検出し、検出した地平線510の座標情報と後側方画像データとを仮想直線検出部102に出力して、ステップS208に移行する。
 ステップS208では、仮想直線検出部102において、取得した後側方画像データの画像から仮想直線525を検出する。そして、検出した仮想直線525の座標情報と、地平線510の座標情報とを、消失点検出部103に出力して、ステップS210に移行する。
 ステップS210では、消失点検出部103において、地平線510の座標情報と、仮想直線525の座標情報とに基づき、取得した後側方画像データの画像から消失点Vpを検出する。そして、検出した消失点Vpの座標情報を、窓枠用消失点設定部104に出力して、ステップS212に移行する。
 ステップS212では、窓枠用消失点設定部104において、消失点検出部103から取得した消失点Vpの座標情報に基づき、後側方画像に窓枠用消失点Pvを設定する。そして、消失点Vpの座標情報と、設定した窓枠用消失点Pvの座標情報とを窓枠設定部105に出力して、ステップS214に移行する。
 ステップS214では、窓枠設定部105において、窓枠用消失点設定部104から取得した消失点Vp及び窓枠用消失点Pvの座標情報に基づき、取得した後側方画像データの画像に対して窓枠を設定して、ステップS216に移行する。
 ステップS216では、窓枠設定部105において、ステップS214で設定した窓枠に基づき、マスク画像Imを生成して、ステップS218に移行する。
 ステップS218では、窓枠設定部105において、ステップS216で生成したマスク画像ImをRAM12に記憶する。そして、記憶したことを他車両検出部106の後続車検出部200に通知して、ステップS220に移行する。
 ステップS220では、CPU10において、マスク解除フラグ設定処理を実行して、ステップS222に移行する。
 ステップS222では、マスク処理部109において、カメラ群11から、後側方画像を取得して、ステップS224に移行する。
 ステップS118では、マスク処理部109において、RAM12に設定されたマスク解除フラグに基づき、マスク解除フラグがオンに設定されているか否かを判定する。そして、マスク解除フラグがオンに設定されていると判定した場合(YES)は、ステップS226に移行し、マスク解除フラグがオンに設定されていないと判定した場合(NO)は、ステップS230に移行する。
 ステップS226に移行した場合は、マスク処理部109において、ステップS222で取得した後側方画像に対してマスク処理を実施せずに、ステップS228に移行する。
 ステップS228では、ステップS222で取得した後側方画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力して、ステップS238に移行する。
 一方、ステップS224において、マスク解除フラグがオフであり、ステップS230に移行した場合は、マスク処理部109において、透過表示フラグがオンに設定されているか否かを判定する。そして、透過表示フラグがオンに設定されていると判定した場合(YES)は、ステップS232に移行し、透過表示フラグがオンに設定されていないと判定した場合(NO)は、ステップS234に移行する。
 ステップS232に移行した場合は、マスク処理部109において、マスク画像Imと、後側方画像データの画像とを透過合成する。そして、生成した透過合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS236に移行する。
 一方、ステップS230において透過表示フラグがオンに設定されてないと判定してステップS234に移行した場合は、マスク処理部109において、マスク画像Imと、後側方画像データの画像とを通常合成する。そして、生成した通常合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS236に移行する。
 ステップS236では、モニタ群14の各モニタにおいて、入力された画像表示信号に対応する合成画像を表示して、ステップS238に移行する。
 ステップS238では、CPU10において、イグニッションスイッチ(不図示)からの信号に基づき、イグニッションがOFFになったか否かを判定する。そして、OFFになったと判定した場合(YES)は、一連の処理を終了し、OFFになっていないと判定した場合(NO)は、ステップS220に移行する。
(マスク解除フラグ設定処理)
 次に、ステップS220で行われるマスク解除フラグ設定処理の処理手順について説明する。
 図16は、マスク解除フラグ設定処理の処理手順の一例を示すフローチャートである。
 ステップS220において、マスク解除フラグ設定処理が開始されると、図16に示すように、まず、ステップS300に移行する。
 ステップS300では、後続車検出部200において、窓枠設定部105からの通知に応じて、カメラ群11から、カメラ400~404で撮影して得られる各種撮影画像データを取得して、ステップS302に移行する。
 ステップS302では、後続車検出部200において、ステップS300で取得した各種撮影画像データの画像から後続車を検出する後続車検出処理を実施して、ステップS304に移行する。
 ステップS304では、後続車検出部200において、後続車を検出した場合に、検出した後続車の種別(自車線、右車線、左車線)を含む検出結果の情報を車間距離検出部201に出力して、ステップS306に移行する。一方、後続車を検出しなかった場合は、後続車が存在しないことを示す情報を、車間距離検出部201に出力して、ステップS306に移行する。
 ステップS306では、車間距離検出部201において、後続車検出部200からの検出結果の情報に基づき、後続車が検出されたか否かを判定する。そして、検出したと判定した場合(YES)は、ステップS308に移行する。一方、検出しなかったと判定した場合(NO)は、ステップS322に移行する。
 ステップS308に移行した場合は、車間距離検出部201において、予め設定されたカメラ400~404の設置位置、設置角度及び焦点距離と、後続車を含む撮影画像データとに基づき、検出された各後続車と自車両Aとの車間距離を演算する。その後、ステップS310に移行する。
 ステップS310では、車間距離検出部201において、ステップS308の車間距離の演算結果を各後続車の種別に対応付けた情報を車間距離判定部202に出力して、ステップS312に移行する。
 ステップS312では、車間距離判定部202において、車間距離検出部201からの車間距離の演算結果の情報と、ROM13に記憶された距離閾値の情報とに基づき、検出した各後続車のなかに車間距離が距離閾値未満の後続車が存在するか否かを判定する。そして、車間距離が距離閾値未満である後続車が存在すると判定した場合(YES)は、ステップS314に移行し、車間距離が距離閾値未満である後続車が存在しないと判定した場合(NO)は、ステップS318に移行する。
 ステップS314に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在することを示す情報を各後続車の種別に対応づけた情報をマスク処理制御部107に出力して、ステップS316に移行する。
 ステップS316では、マスク処理制御部107において、マスク解除フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたマスク解除フラグ用の領域にオンを示す値(例えば「1」)を設定(格納)する。なお、マスク解除フラグは、左右後側方画像に対して、それぞれ独立して設定する。本実施形態では、右車線後続車との車間距離が距離閾値未満の場合に右後側方画像用のマスク解除フラグをオンに設定し、左車線後続車との車間距離が距離閾値未満である場合に左後側方画像用のマスク解除フラグをオンに設定する。従って、右車線後続車との車間距離のみ距離閾値未満の場合は右後側方画像用のマスク解除フラグをオンに設定し、左後側方画像用のマスク解除フラグをオフに設定する。また、左車線後続車との車間距離のみ距離閾値未満の場合は左後側方画像用のマスク解除フラグをオンに設定し、右後側方画像用のマスク解除フラグをオフに設定する。
 一方、ステップS318に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在しないことを示す情報をマスク処理制御部107に出力して、ステップS320に移行する。
 ステップS320では、マスク処理制御部107において、マスク解除フラグをオフに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたマスク解除フラグ用の領域にオフを示す値(例えば「0」)を設定(格納)する。ここでは、左右後側方画像用のマスク解除フラグを両方ともオフに設定する。
(動作)
 次に、図17~図19に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
 図17(a)~(c)は、単体窓枠Wf1の設定例を示す模式図であり、(d)は、マスク画像Im1の一例を示す模式図である。図18(a)~(b)は、後方窓枠Wfb及び後側方窓枠Wfbsの設定例を示す模式図であり、(c)は、マスク画像Im2の一例を示す模式図である。図19(a)は、マスク画像Im2で通常合成した通常合成画像の一例を示す模式図であり、(b)は、マスク画像Im2で透過合成した透過合成画像の一例を示す模式図であり、(c)は、車間距離が距離閾値未満となってマスク処理を解除した場合の一例を示す模式図である。
 イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S200)。また、初期化処理においては、カメラ400~404の初期設定も行われる。なお、ここでは、カメラ400~404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。
 初期化処理が終了すると、カメラ群11のカメラ400~404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S202)。
 以下、自車両Aを右ハンドル車として動作を説明する。なお、左ハンドル車についても処理対象の各画像が左右反転するだけで右ハンドル車と同様の処理内容となる。
 車両用後方視界支援装置100は、マスク画像Imを生成するために、まず、地平線検出部101において、カメラ群11で撮影された、右後側方画像、及び左後側方画像を取得する(S204)。なお、本実施形態において、マスク画像Imの生成タイミングは、例えば、不図示の操作部を介したユーザからの生成指示に応じたタイミングの他、マスク画像Imがメモリに存在しないと判定したタイミングなどとなる。また、例えば、従来のドアミラーの角度変更と同様に、カメラの角度を変更できる構成とした場合は、角度が変更される毎のタイミングとなる。
 次に、地平線検出部101は、取得した左右後側方画像から、地平線510を検出する(S206)。ここでは、ROM13に予め記憶されたカメラの設置条件と地平線との位置関係のテーブルから、現在のカメラの設置条件に対応する位置の地平線の座標を取得する。そして、取得した地平線の座標情報を、仮想直線検出部102に出力する。地平線検出部101は、検出した地平線の座標情報を、仮想直線検出部102に出力する。
 仮想直線検出部102は、まず、後側方画像から、テンプレートマッチングによって側面画像領域500を検出する。次に、検出した側面画像領域500の外側端部から予め設定されたオフセット量Ofswまでの範囲を通って、地平線510と直交する仮想直線525を検出する(S208)。
 具体的に、予めROM13に記憶されたカメラの設置条件と側面画像領域との位置関係のテーブルから、現在のカメラの設置条件に対応する無限遠点の座標情報を取得する。そして、図17(a)に示すように、側面画像領域500の外側端部からオフセット量Ofswまでの範囲の点と無限遠点とを結ぶ直線を演算することで仮想直線525を検出する。
 仮想直線検出部102は、地平線510の座標情報と、仮想直線525の座標情報とを消失点検出部103に出力する。
 消失点検出部103は、仮想直線検出部102からの地平線510の座標情報と、仮想直線525の座標情報とに基づき、図17(a)に示すように、地平線510と仮想直線525との交点を消失点525として検出する(S210)。
 消失点検出部103は、検出した消失点Vpの座標情報を窓枠用消失点設定部104に出力する。
 窓枠用消失点設定部104は、ROM13に記憶された座標テーブルから、取得した消失点Vpの座標情報に対応する窓枠用消失点Pvの座標情報を読み出す。そして、読み出した座標情報に基づき、図17(b)に示すように、窓枠用消失点Pvを設定する(S212)。
 窓枠用消失点Pvは、図17(b)に示すように、仮想直線525によって左右に分割される後側方画像の2つの領域Fb及びFbsのうち側面画像領域500の存在する領域Fb側でかつ地平線510の高さ位置から予め設定されたオフセット量Ofshの範囲内の位置に設定される。また、左右方向の位置も、窓枠用消失点Pvから領域Fb側に予め設定された距離範囲内(不図示)に設定される。具体的に、窓枠用消失点Pvは、上記第1実施形態で説明した設定要件(a)~(d)を満たすことができる位置範囲内に設定される。
 窓枠用消失点設定部104は、設定した窓枠用消失点Pvの座標情報と、消失点Vpの座標情報とを、窓枠設定部105に出力する。
 窓枠設定部105は、窓枠用消失点設定部104から取得した、窓枠用消失点Pv及び消失点Vpの座標情報に対応する指定された窓枠の情報を、ROM13に予め記憶された情報テーブルから取得する。そして、取得した情報に基づき、後側方画像に窓枠を設定する(S214)。ここでは、単体窓枠Wf1が指定されているとして、ROM13から、消失点Vp及び窓枠用消失点Pvの座標情報に対応する錯視斜線Ldの放射方向及び放射角度の情報等を含む情報を取得する。
 窓枠設定部105は、取得した情報に基づき、図17(c)に示すように、窓枠用消失点Pvを始点として、取得した情報に含まれる放射角度(45°~55°)及び放射方向(例えば、上辺Lduの放射方向)に後側方画像の端部まで延びる錯視斜線Ldを設定する。これにより、錯視斜線Ldと、当該錯視斜線Ldで区分された放射角内側の画像外縁部Leとを枠線部に含む窓枠Wf1が設定される。
 窓枠設定部105は、更に、後側方画像のうち設定した窓枠Wf1で囲まれた画像領域を残して、残りの画像領域をマスクするマスク画像Im1を生成する(S216)。
 具体的に、図17(d)に示す、点模様の画像部分に該当する画像を例えば黒塗りのマスク画像Im1として生成する。なお、マスク画像Im1の色は、黒色に限らず、例えば、青色、緑色、灰色など他の色としてもよい。
 窓枠設定部105は、生成したマスク画像Im1を、RAM12に記憶すると共に、マスク画像Im1を記憶したことを示す通知を、他車両検出部106の後続車検出部200に出力する(S218)。
 一方、単体窓枠Wf1ではなく、後方窓枠Wfb及び後側方窓枠Wfbsの表示が指定された場合を説明する。この場合は、窓枠設定部105は、ROM13から、消失点Vp及び窓枠用消失点Pvの座標情報に対応する後方窓枠Wfb及び後側方窓枠Wfbsの情報を読み出す。後方窓枠Wfb及び後側方窓枠Wfbsの情報は、錯視斜線Ldの放射方向及び放射角度の情報と、窓枠の分割位置の情報と、後方窓枠Wfbの形状や大きさの情報とを含む。
 ここで、錯視斜線Ldの放射方向及び放射角度、窓枠の分割位置は、右後側方窓枠Wfbsで囲まれた領域に、上記第1実施形態で説明した移動領域を含む位置に設定されている。また、後方窓枠Wfbの形状、大きさ、位置などについても、後方窓枠Wfbで囲まれた領域内に上記第1実施形態で説明した後方領域を含み、かつ、ポンゾ錯視の効果が有効となる範囲内で、形状、大きさ、位置などが設定されている。
 窓枠設定部105は、取得した情報に基づき、図18(a)に示すように、窓枠用消失点Pvを始点として、取得した情報に含まれる放射角度及び放射方向(例えば、上辺Lduの放射方向)に後側方画像の端部まで延びる錯視斜線Ldを設定する。加えて、後方窓枠Wfbの形状や大きさの情報に基づき後方窓枠Wfbを設定する。なお、図18(a)の例では、矩形状の後方窓枠Wfbが設定されている。
 窓枠設定部105は、窓枠の分割位置の情報に基づき、図18(b)に示すように、後方窓枠Wfbの右側、分割位置の情報の示す位置Cpで錯視斜線Ldの窓枠用消失点Pv側の一部を切断する。更に、窓枠設定部105は、上辺Ldu及び下辺Lddの切断側端部を側辺Ldsで結ぶ。これにより、錯視斜線Ldのうち上辺Ldu及び下辺Lddの分割位置Cpから放射方向側の直線部分Ldup及びLddpと、側辺Ldsと、画像外縁部Leとを枠線部に含む窓枠Wfbsが設定される(S214)。なお、図18の例では、側辺Ldsと対向する辺がLdsと同じ長さとなる矩形状の後方窓枠Wfbが設定されている。
 窓枠設定部105は、更に、後側方画像のうち設定した後方窓枠Wfb及び後側方窓枠Wfbsで囲まれた画像領域を残して、残りの画像領域をマスクするマスク画像Im2を生成する(S216)。
 具体的に、図18(c)に示す、点模様の画像部分に該当する画像を例えば黒塗りのマスク画像Im2として生成する。なお、マスク画像Im2の色は、黒色に限らず、例えば、青色、緑色、灰色など他の色としてもよい。
 窓枠設定部105は、生成したマスク画像Im2を、RAM12に記憶すると共に、マスク画像Im2を記憶したことを示す通知を、他車両検出部106の後続車検出部200に出力する(S218)。
 一方、後続車検出部200が、窓枠設定部105からの記憶通知を受信すると、マスク解除フラグ設定処理が開始される(S220)。
 マスク解除フラグ設定処理が開始されると、他車両検出部106の後続車検出部200は、カメラ群11で撮影された、右後側方画像、左後側方画像、右後方画像、左後方画像及び中央後方画像を取得する(S300)。そして、これら取得した撮影画像に基づき、後続車を検出する処理を実行する(S302)。
 後続車検出部200は、具体的に、予めROM13に記憶されたテンプレートデータを読み出し、読み出したテンプレートデータを用いたマッチング処理によって、撮影画像中の他車両を検出する。そして、検出結果を示す情報を、車間距離検出部201に出力する。
 車間距離検出部201は、検出結果の情報に基づき、後続車が検出されたか否かを判定する。ここでは、右車線後続車が検出されたとする(S306のYES)。
 車間距離検出部201は、ROM13に予め記憶されたカメラ400の幾何学的情報(設置位置、設置角度、画角、焦点距離等)と、取得した右後側方画像とに基づき、自車両Aと検出した右車線後続車との車間距離を演算する(S308)。車間距離検出部201は、演算した右車線後続車との車間距離を示す情報を、車間距離判定部202に出力する(S310)。
 車間距離判定部202は、車間距離検出部201からの右車線後続車との車間距離を示す情報を受信すると、ROM13に記憶された距離閾値(例えば5[m]とする)を読み出す。そして、読み出した距離閾値と、取得した右車線後続車との車間距離を示す情報とに基づき、車間距離が距離閾値未満である後続車が存在するか否かを判定する。ここでは、右車線後続車は5[m]以上離れた位置を走行しているとする。これにより、車間距離判定部202は、距離閾値未満の後続車は存在しないと判定する(S312のYES)。そして、車間距離が5[m]未満の後続車が存在しないことを示す情報を、マスク処理制御部107に出力する(S314)。
 これにより、マスク処理制御部107は、RAM12の左右後側方画像領域用のマスク解除フラグをオフ(「0」)に設定する(S320)。
 一方、透過合成制御部108は、不図示の操作部を介したユーザからの指示入力に応じて、透過表示フラグを設定する。ここでは、透過表示フラグはオフに設定されたとする。
 また、マスク処理部109は、マスク解除フラグが設定されると、カメラ群11から、左右後側方画像を取得する(S222)。
 次に、マスク処理部109は、RAM12に設定されたマスク解除フラグに基づき、マスク解除フラグがオンか否かを判定する(S224)。ここでは、右後側方画像用のマスク解除フラグから先に処理を実行する。現在、左右後側方画像用のマスク解除フラグは両方ともオフに設定されている。そのため、マスク処理部109は、右後側方画像用のマスク解除フラグがオフに設定されていると判定する(S224のNO)。これにより、マスク処理部109は、次に、RAM12に設定された透過表示フラグに基づき、透過表示フラグがオンか否かを判定する(S230)。ここでは、オフに設定されているので(S230のNO)、右後側方画像に対して、マスク処理を実施する(S234)。
 具体的に、マスク処理部109は、RAM12に記憶された単体窓枠Wf1に対応するマスク画像Im1を読み出す。そして、読み出したマスク画像Im1と、右後側方画像とを通常合成して通常合成画像を生成する。更に、マスク処理部109は、生成した通常合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
 これにより、モニタ405には、図17(d)に示すように、後側方画像のうち単体窓枠Wf1で囲まれた画像領域を残して、残りの画像領域がマスク画像Im1の点模様部分によってマスクされた画像が表示される(S236)。
 また、同様のフラグ設定内容で後方窓枠Wfb及び後側方窓枠Wfbsの表示が指定された場合、マスク処理部109は、RAM12に記憶された後方窓枠Wfb及び後側方窓枠Wfbsに対応するマスク画像Im2を読み出す。そして、読み出したマスク画像Im2と、右後側方画像とを通常合成して通常合成画像を生成する。更に、マスク処理部109は、生成した通常合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
 これにより、モニタ405には、図19(a)に示すように、後側方画像のうち後方窓枠Wfb及び後側方窓枠Wfbsで囲まれた画像領域を残して、残りの画像領域がマスク画像Im2の点模様部分によってマスクされた画像610が表示される(S236)。
 なお、左後側方画像に対しても同様の通常合成処理を実施する。
 上記各フラグの設定内容が同じ間は、上記同様の処理が繰り返し実施される。
 また、マスク解除フラグがオフで、かつ透過表示フラグがオンになった場合(S230のYES)は、マスク処理部109は、RAM12に記憶された後方窓枠Wfb及び後側方窓枠Wfbsに対応するマスク画像Im2を読み出す。そして、読み出したマスク画像Im2と、右後側方画像とを透過合成して透過合成画像を生成する。更に、マスク処理部109は、生成した透過合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する(S232)。
 これにより、モニタ405には、図19(b)に示すように、後側方画像のうち後方窓枠Wfb及び後側方窓枠Wfbsで囲まれた画像領域を残して、残りの画像領域が透過率pで半透明のマスク画像Im2によって透過表示可能にマスクされた画像が表示される(S236)。
 次に、上記検出された右車線後続車が、距離閾値未満となる距離まで接近した場合の動作を説明する。
 この場合、車間距離判定部202において、車間距離が距離閾値未満の後続車が存在すると判定される(S312のYES)。車間距離判定部202は、距離閾値未満の後続車が存在する判定結果を示す情報を、マスク処理制御部107に出力する(S314)。
 マスク処理制御部107は、車間距離判定部202からの距離閾値未満の後続車が存在する判定結果を示す情報を取得すると、RAM12のマスク解除フラグをオンに設定する(S316)。
 マスク処理部109は、マスク解除フラグがオンになっているので(S224のYES)、右後側方画像に対して実施していたマスク処理を停止する(S226)。そして、マスク処理部109は、マスク処理を施していない右後側方画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
 これにより、モニタ405には、図19(c)に示すように、マスク処理の施されていない後側方画像が表示される(S228)。つまり、右車線後続車が距離閾値未満の距離に接近したときに、マスク処理を解除する。
 ここで、上記説明において、カメラ400~401は、後側方画像撮影部を構成する。モニタ405~409は、表示部を構成する。地平線検出部101は、地平線検出部を構成する。仮想直線検出部102は、仮想直線検出部を構成する。消失点検出部103は、消失点検出部を構成する。窓枠用消失点設定部103は、窓枠用消失点設定部を構成する。窓枠設定部105は、窓枠設定部を構成する。後続車検出部200は、後続車検出部を構成する。車間距離検出部201は、車間距離検出部を構成する。車間距離判定部202は、車間距離判定部を構成する。マスク処理制御部107は、マスク処理制御部を構成する。マスク処理部109は、マスク処理部を構成する。
(本実施形態の効果)
 本実施形態は、上記第1実施形態の効果に加えて、以下の効果を奏する。
(1)地平線検出部101が、カメラ400~401で撮影した後側方画像から地平線510を検出する。仮想直線検出部102が、後側方画像中における側面画像領域500の車両外側の端部から他方の領域方向に予め設定されたオフセット量だけ離れた位置までの範囲内の点と、後側方画像中の無限遠点とを結ぶ仮想直線525を検出する。消失点検出部103が、地平線検出部101で検出した地平線510と仮想直線検出部102で検出した仮想直線525とに基づき消失点Vpを検出する。窓枠用消失点設定部104が、消失点検出部103で検出した消失点Vpに基づき、錯視斜線Ldの始点となる窓枠用消失点Pvを設定する。窓枠設定部105が、消失点検出部103で検出した消失点Vpと、窓枠用消失点設定部104で設定した窓枠用消失点Pvとに基づき、窓枠Wfを設定する。マスク処理部109が、カメラ400~401で撮影された後側方画像のうち、窓枠設定部105で設定された窓枠Wfで囲まれた画像領域を残して、残りの画像領域をマスクするマスク処理を実施する。
 カメラ400~401で撮影した後側方画像から、地平線510、仮想直線520及び消失点Vpを検出し、検出した消失点Vpに基づき窓枠用消失点Pvを設定する。更に、設定した窓枠用消失点Pvと、消失点Vpとに基づき窓枠Wfを設定する。そして、後側方画像における設定した窓枠Wfで囲まれた画像領域を残し、残りの画像領域をマスクするようにした。
 これにより、例えば、カメラ400~401を自車両Aに設置したときや、カメラ400~401の撮影角度を変更したときなどに、自動でポンゾ錯視を有効にする窓枠Wfを設定して、窓枠Wfで囲まれた領域以外の領域をマスクした後側方画像を表示することが可能となる。
(2)後続車検出部200が、カメラ400~401で撮影した後側方画像に基づき当該後側方画像内に含まれる、自車両Aの走行車線SLに隣接する隣接車線ALを走行する後続車Bを検出する。マスク処理制御部107が、後続車検出部200の検出結果に基づき、後続車Bを検出したと判定するとマスク処理部109のマスク処理を実施し、後続車Bを検出していないと判定するとマスク処理部109のマスク処理を停止する。モニタ405(407)~406(408)が、マスク処理部109がマスク処理を実施しているときはマスク処理の施された後側方画像を表示し、マスク処理部109がマスク処理を停止しているときはマスク処理の施されていない後側方画像を表示する。
 隣接車線ALに後続車Bが存在するときにポンゾ錯視を有効にするマスク処理を実施して、当該マスク処理の施された後側方画像を表示する。一方、隣接車線ALに後続車Bが存在しないときにマスク処理を停止して、マスク処理の施されていない後側方画像を表示するようにした。これにより、窓枠用消失点Pvから放射状に広がる錯視斜線Ldの放射角内側の画像領域に存在する後続車Bは、ポンゾ錯視によって、窓枠用消失点Pvに近いほど大きく感じられ、窓枠用消失点Pvから遠いほど小さく感じられる。そのため、窓枠Wf内の自車両Aと後続車B(又は障害物)との距離感を変化させることなく、それら両者の遠近感を強調することが可能である。また、後続車Bが存在しないときは、撮影された後側方画像をそのまま表示するので、マスクで隠されない分、視認可能な範囲が広がる。つまり、後続車Bの有無に応じて、距離感の知覚を優先にした表示と、広範囲の視認を優先にした表示とを切り替えることが可能である。
(3)後続車検出部200が、カメラ400~401で撮影した後側方画像に基づき当該後側方画像内に含まれる、自車両Aの走行車線に隣接する隣接車線を走行する後続車Bを検出する。車間距離検出部201が、後続車検出部200の検出結果に基づき後続車を検出したと判定すると、検出した後続車と自車両Aとの車間距離を検出する。車間距離判定部202が、車間距離検出部201の検出結果に基づき車間距離が予め設定した距離閾値未満であるか否かを判定する。マスク処理制御部107が、車間距離判定部202の判定結果に基づき、後続車との車間距離が距離閾値以上であると判定するとマスク処理部109にマスク処理を実施させ、後続車との車間距離が距離閾値未満であると判定するとマスク処理部109にマスク処理を停止させる。モニタ405(407)~406(408)が、マスク処理部109がマスク処理を実施しているときはマスク処理の施された後側方画像を表示し、マスク処理部109がマスク処理を停止しているときはマスク処理の施されていない後側方画像を表示する。
 自車両Aと後続車Bとの車間距離が距離閾値以上の場合にマスク処理を実施し、マスク処理の施された後側方画像を表示する。一方、自車両Aと後続車Bとの車間距離が距離閾値未満の場合にマスク処理を停止し、マスク処理の施されていない後側方画像を表示する。つまり、後続車Bとの車間距離が距離閾値以上の場合に、視認可能な範囲を広くするようにした。一方、後続車Bとの車間距離が距離閾値未満の場合は、マスク処理の施されていない後側方画像を表示する。つまり、後続車Bとの車間距離が距離閾値未満の場合に、マスク処理によるポンゾ錯視を有効にして、後続車Bとの遠近感を強調するようにした。これにより、後続車Bとの位置関係を知覚しやすくすることが可能となる。
(第3実施形態)
 次に、本発明の第3実施形態を図面に基づき説明する。図20~図24は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第3実施形態を示す図である。
 本実施形態は、自車両Aの備える変速機が後退(R)ポジションにシフトチェンジしたときに、後側方画像に対するマスク処理を停止する。加えて、この後側方画像におけるマスク画像Imに対してマスク画像Imに対応する後側方画像の対応画像領域を透過率50%以下の透過率pで透過表示する透過合成を行う。そして、この透過合成した後側方画像をモニタに表示する点が上記第2実施形態と異なる。
 以下、上記第2実施形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分を詳細に説明する。
(構成)
 図20は、本実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
 本実施形態の車両用後方視界支援装置100は、上記第2実施形態の車両用後方視界支援装置100にインヒビタースイッチ(以下、インヒビターSWと称す)15を追加した構成となる。
 更に、図20に示すように、上記第2実施形態の車両用後方視界支援装置100の機能構成部に、後退(R)ポジション検出部110を追加した構成となる。
 インヒビターSW15は、自車両Aの備えるシフトレバー(不図示)に配設され、シフトレバーの動きに合わせて動く軸と各ギヤに対応する接点金具とを有する。インヒビターSW15は、各ギヤと接点金具との導通の有無(例えば、12[V]電圧の有無)を検出することで、自車両Aの備える変速機(不図示)のシフトポジションを検出する。インヒビターSW15は、検出信号をCPU10に入力する。
 Rポジション検出部110は、インヒビターSW15からの検出信号に基づき、自車両Aの備える変速機のシフトポジションがRポジションにシフトチェンジしたか否かを検出する。Rポジション検出部110は、検出結果の情報を、マスク処理制御部107と、透過合成制御部108とにそれぞれ出力する。
 マスク処理制御部107は、上記第2実施形態の処理に加えて、Rポジション検出部110からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、マスク解除フラグをオンに設定する。
 透過合成制御部108は、上記第2実施形態の処理に加えて、Rポジション検出部110からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、透過表示フラグをオンに設定する。
(後方視界支援処理)
 次に、図21に基づき、本実施形態の車両用後方視界支援装置100の機能構成部において行われる後方視界支援処理の処理手順について説明する。
 図21は、本実施形態の後方視界支援処理の処理手順の一例を示すフローチャートである。
 電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図21に示すように、まずステップS400に移行する。
 なお、ステップS400~S420、S424~S440の処理は、上記第2実施形態のステップS200~S220、S222~S238の処理と同様の処理となるので説明を省略する。
 ステップS422では、CPU10において、透過表示フラグ設定処理を実行して、ステップS424に移行する。
(マスク解除フラグ設定処理)
 次に、図22に基づき、本実施形態のマスク解除フラグ設定処理の処理手順を説明する。図22は、本実施形態のマスク解除フラグ設定処理の処理手順の一例を示すフローチャートである。
 ステップS420においてマスク解除フラグ設定処理が実行されると、まず、ステップS500に移行する。
 ステップS500では、Rポジション検出部110において、インヒビターSW15からのシフトポジションの検出信号を受信して、ステップS502に移行する。
 ステップS502では、Rポジション検出部110において、ステップS500で受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する。そして、Rポジションを示す信号であると判定した場合(YES)は、ステップS504に移行し、Rポジションを示す信号ではないと判定した場合(NO)は、ステップS508に移行する。
 ステップS504に移行した場合は、Rポジション検出部110において、Rポジションへのシフトチェンジが検出されたことを示す情報を、マスク処理制御部107及び透過合成制御部108にそれぞれ出力する。その後、ステップS506に移行する。
 ステップS506では、マスク処理制御部107において、透過表示モードが設定されているか否かを判定する。そして、透過表示モードが設定されていると判定した場合(YES)は、ステップS508に移行し、透過表示モードが設定されていないと判定した場合(NO)は、ステップS510に移行する。
 本実施形態では、Rポジションを検出時に、マスク画像Imを透過表示させる透過表示モードと、マスク処理を解除するモードとがある。いずれのモードを適用するかは、ユーザが任意に設定することができる。また、本実施形態では、透過表示モードを設定しているか否かでモードが切り替わるようになっている。つまり、透過表示モードが設定されている場合は、透過表示を行い、透過表示モードが設定されていない場合は、マスク処理を解除する。
 ステップS508に移行した場合は、マスク処理制御部107において、マスク解除フラグをオフに設定して、一連の処理を終了し元の処理に復帰する。
 一方、ステップS510に移行した場合は、マスク処理制御部107において、マスク解除フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。
 また、ステップS502において、Rポジションを示す信号ではないと判定しステップS512に移行した場合は、Rポジション検出部110において、Rポジションへのシフトチェンジが検出されなかったことを示す情報を、後続車検出部200、マスク処理制御部107及び透過合成制御部108にそれぞれ出力する。その後、ステップS514に移行する。
 ステップS514では、後続車検出部200において、Rポジション検出部110からのRポジションが検出されなかったことを示す情報に応じて、カメラ群11から、カメラ400~404からの各種撮影画像データを取得する。その後、ステップS516に移行する。
 なお、以降のステップS516~S538の処理は、上記第2実施形態のステップS302~S324の処理と同様となるので説明を省略する。
(透過表示フラグ設定処理)
 次に、図23に基づき、本実施形態の透過表示フラグ設定処理の処理手順を説明する。図23は、本実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。
 ステップS422において透過表示フラグ設定処理が実行されると、まず、ステップS600に移行する。
 ステップS600では、透過合成制御部108において、Rポジション検出部110からシフトポジションの検出結果を示す情報を取得したか否かを判定する。そして、シフトポジションの検出結果を示す情報を取得したと判定した場合(YES)は、ステップS602に移行する。一方、シフトポジションの検出結果を示す情報を取得していないと判定した場合(NO)は、情報を取得するまで判定処理を繰り返す。
 ステップS602に移行した場合は、透過合成制御部108において、ステップS600で取得した情報に基づき、シフトポジションがRポジションか否かを判定する。そして、Rポジションであると判定した場合(YES)は、ステップS604に移行し、Rポジションでは無いと判定した場合(NO)は、ステップS606に移行する。
 ステップS604に移行した場合は、透過合成制御部108において、透過表示フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。
 一方、ステップS606に移行した場合は、透過合成制御部108において、透過表示フラグをオフに設定して、一連の処理を終了し元の処理に復帰する。
(動作)
 次に、図24に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
 図24(a)~(b)は、Rポジションの検出結果及び透過表示モードの設定内容に応じた各種画像の表示結果の一例を示す模式図である。
 以下、自車両Aを右ハンドル車として動作を説明する。
 なお、ステップS400~S418までの動作は、上記第2実施形態のステップS200~S218までの動作と同様となるので説明を省略する。
 以下、ステップS420の動作から説明する。
 マスク解除フラグ設定処理が開始されると(S420)、Rポジション検出部110において、インヒビターSW15の検出信号を受信する(S500)。Rポジション検出部110は、受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する(S502)。ここでは、Rポジションを示す信号であったと判定したとする(S502のYES)。これにより、Rポジション検出部110は、Rポジションが検出されたことを示す情報を、マスク処理制御部107及び透過合成制御部108にそれぞれ出力する(S504)。
 以下、透過表示モードが設定されている場合の動作を説明する。
 マスク処理制御部107は、Rポジションが検出されたことを示す情報を取得すると、透過表示モードが設定されているので(S506のYES)、RAM12のマスク解除フラグをオフに設定する(S508)。
 一方、透過合成制御部108は、Rポジション検出部110からのRポジションが検出されたことを示す情報を取得すると(S600のYES,602のYES)、RAM12の透過表示フラグをオンに設定する(S604)。
 これにより、マスク解除フラグがオフで、かつ透過表示フラグがオンであるときの上記第2実施形態と同様の処理が実施され(S424、S426のNO、S432のYES、S434~S440)、モニタ405には、図24(a)に示すように、透過合成画像が表示される。
 次に、透過表示モードが設定されていない場合の動作を説明する。
 マスク処理制御部107は、Rポジションが検出されたことを示す情報を取得すると、透過表示モードが設定されていないので(S506のNO)、RAM12のマスク解除フラグをオンに設定する(S510)。
 一方、透過合成制御部108は、Rポジション検出部110からのRポジションが検出されたことを示す情報を取得すると(S600のYES,602のYES)、RAM12の透過表示フラグをオンに設定する(S604)。
 これにより、マスク解除フラグがオンであるときの上記第2実施形態と同様の処理が実施され(S424、S426のYES、S430、S438~S440)、モニタ405には、図24(b)に示すように、マスク処理が施されていない後側方画像が表示される。
 ここで、上記説明において、カメラ400~401は、後側方画像撮影部を構成する。モニタ405~409は、表示部を構成する。地平線検出部101は、地平線検出部を構成する。仮想直線検出部102は、仮想直線検出部を構成する。消失点検出部103は、消失点検出部を構成する。窓枠用消失点設定部103は、窓枠用消失点設定部を構成する。窓枠設定部105は、窓枠設定部を構成する。後続車検出部200は、後続車検出部を構成する。車間距離検出部105は、車間距離検出部を構成する。車間距離判定部202は、車間距離判定部を構成する。マスク処理制御部107は、マスク処理制御部を構成する。マスク処理部109は、マスク処理部を構成する。インヒビターSW15は、シフトポジション検出部を構成する。後退ポジション検出部110は、後退ポジション検出部を構成する。
(本実施形態の効果)
 本実施形態は、上記第1実施形態及び第2実施形態の効果に加えて、以下の効果を奏する。
(1)インヒビターSW15が、自車両Aの備える変速機のシフトポジションを検出する。Rポジション検出部110が、インヒビターSW15の検出結果に基づき、後退(R)ポジションへのシフトチェンジを検出する。マスク処理制御部107が、後退ポジション検出部110の検出結果に基づき後退ポジションへのシフトチェンジを検出したと判定すると、マスク処理部109のマスク処理を停止する。
 つまり、自車両Aの備える変速機のシフトポジションが、後退ポジションにシフトチェンジされたと判定すると、マスク処理を停止するようにした。そして、マスク処理の施されていない後側方画像を表示するようにした。これにより、自車両Aが後退時において、側面画像領域500と直近の障害物との位置関係を知覚しやすい画像表示を行うことが可能となる。
(2)インヒビターSW15が、自車両Aの備える変速機のシフトポジションを検出する。Rポジション検出部110が、インヒビターSW15の検出結果に基づき、後退(R)ポジションへのシフトチェンジを検出する。マスク処理制御部107が、Rポジション検出部110の検出結果に基づき後退(R)ポジションへのシフトチェンジを検出したと判定すると、前記マスク画像Imと、後側方画像におけるマスク画像Imでマスクする画像領域とを、当該画像領域を予め設定したマスク画像が半透明となる透過率pで透過表示可能に合成する。
 これにより、マスク画像Imによって隠れるところに他車両等の障害物が存在する場合に、障害物を含む画像領域をマスク画像Imに対して透過表示することができる。従って、自車両Aの後側方に存在する障害物をドライバが知覚し易くすることが可能となる。
(変形例)
(1)上記実施形態では、マスク画像Imを黒色等のべた塗りの画像として構成する例を説明したが、この構成に限らない。例えば、図25(a)の通常合成画像617に示すように、マスク画像Im2の画像形状に対して、消失点Vpからの放射方向の肌理を付けたマスク画像Im3を採用してもよい。図25(a)では、一例として市松模様で肌理を構成した。これにより、後側方窓枠Wfbsの枠形状だけでなく、より広い面で距離感を表現することが可能となる。
(2)上記実施形態では、後方窓枠Wfb及び後側方窓枠Wfbsを、分割位置においてそれぞれ独立した窓枠として構成する例を説明したが、この構成に限らない。例えば、図25(b)の透過合成画像618に示すように、マスク画像Im2の分割位置の近傍にある柱状の部分を取り除いた形状のマスク画像Im4を採用してもよい。この場合は、後方窓枠Wfb及び後側方窓枠Wfbsが繋がって1つの窓枠を構成する。この構成は、通常合成画像に対しても適用可能である。
(3)上記実施形態では、カメラ400~401によって、自車両Aの側面部分の一部を含む後側方の領域を撮影する構成とした。この構成に限らず、カメラ402~403のみを用いる構成としてもよい。この構成とした場合は、カメラ402~403の撮影画像中に車両の側面部分の一部の画像が含まれないため、予めCG等により側面部分の一部の撮影画像に相当する画像(アイコン等)を生成しておき、この画像をカメラ402~403の撮影画像に重畳表示する。
(4)上記第2及び第3実施形態では、消失点Vpの位置や、窓枠用消失点Pvなどの各座標位置に応じて予め用意した座標テーブルや情報テーブルを用いて、検出した消失点Vpや設定した窓枠用消失点Pvに対応する情報をテーブルから取得して、窓枠Wfを設定する構成とした。この構成に限らず、例えば、後側方画像を画像解析(必要であれば時系列の複数の後側方画像を解析)して、後方領域と、移動領域とを検出し、これら検出した領域を窓枠Wf内に含むように演算処理によって錯視斜線Ldを設定するなど、別の方法を用いて窓枠Wfを設定する構成としてもよい。
(5)上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
 また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、均等物等は本発明に含まれるものである。
 以上、本願が優先権を主張する日本国特許出願P2012-93408(2012年4月16日出願)の全内容は、ここに引用例として包含される。
 ここでは、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく各実施形態の改変は当業者にとって自明のことである。
A        自車両
10       CPU
11       カメラ群
12       RAM
13       ROM
14       モニタ群
15       インヒビターSW
100      車両用後方視界支援装置
101      地平線検出部
102      仮想直線検出部
103      消失点検出部
104      窓枠用消失点設定部
105      窓枠設定部
106      他車両検出部
107      マスク処理制御部
108      透過合成制御部
109      マスク処理部
110      Rポジション検出部
200      後続車検出部
201      車間距離検出部
202      車間距離判定部
400~404  カメラ
405~409  モニタ
p      消失点
v      窓枠用消失点

Claims (12)

  1.  車両に搭載され、前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域の画像である後側方画像を撮影する後側方画像撮影部と、
     前記後側方画像撮影部で撮影された前記後側方画像のうち、当該後側方画像中の消失点を通りかつ当該後側方画像中の地平線と交差する仮想直線を基準に左右に分かれる当該後側方画像の2つの領域のうち、前記側面部分の一部を含む画像領域である側面画像領域の存在する一方の領域側に設定した始点から、他方の領域側に向かって放射状に延びる2本の直線であって、予め設定されたポンゾ錯視が有効となる放射角度でかつ予め設定された放射方向に前記後側方画像の端部まで放射状に延びる2本の直線と、当該2本の直線で区切られた前記放射角内側の画像領域の外縁部分と、を枠線部に含む窓枠で囲まれた画像領域を残して、残りの画像領域をマスクする処理であるマスク処理を実施するマスク処理部と、
     前記マスク処理部でマスク処理の施された前記後側方画像を表示する表示部と、を備え、
     前記窓枠で囲まれた画像領域に、前記後側方画像中の、前記消失点と、前記側面画像領域の一部及び前記車両の後方の領域の一部を含む領域である後方領域と、前記車両の走行車線に隣接する隣接車線を走行する後続車の移動領域とを含むように前記2本の直線の前記始点の位置、前記放射角度及び前記放射方向とが設定されていることを特徴とする車両用後方視界支援装置。
  2.  前記後側方画像のうち前記窓枠で囲まれた領域以外の領域をマスクするマスク画像を記憶するマスク画像記憶部を備え、
     前記マスク処理部は、前記後側方画像撮影部で撮影された前記後側方画像に、前記マスク画像記憶部に記憶された前記マスク画像を合成するマスク処理を実施して、前記残りの画像領域をマスクすることを特徴とする請求項1に記載の車両用後方視界支援装置。
  3.  前記後側方画像撮影部で撮影した前記後側方画像から地平線を検出する地平線検出部と、
     前記後側方画像中における前記側面画像領域の前記車両外側の端部から前記他方の領域方向に予め設定されたオフセット量だけ離れた位置までの範囲内の点と、前記後側方画像中の無限遠点とを結ぶ仮想直線を検出する仮想直線検出部と、
     前記地平線検出部で検出した前記地平線と前記仮想直線検出部で検出した前記仮想直線とに基づき消失点を検出する消失点検出部と、
     前記消失点検出部で検出した前記消失点に基づき、前記2本の直線の始点である窓枠用消失点を設定する窓枠用消失点設定部と、
     前記消失点検出部で検出した前記消失点と、前記窓枠用消失点設定部で設定した前記窓枠用消失点とに基づき、前記窓枠を設定する窓枠設定部と、を備え、
     前記マスク処理部は、前記後側方画像撮影部で撮影された前記後側方画像のうち、前記窓枠設定部で設定された前記窓枠で囲まれた画像領域を残して、残りの画像領域をマスクするマスク処理を実施することを特徴とする請求項1に記載の車両用後方視界支援装置。
  4.  前記窓枠を、前記後方領域を内包する枠線部を有する予め設定された形状の後方窓枠と、前記移動領域を含み前記2本の直線のうち前記後方窓枠よりも前記他方の領域側の直線部分と、前記外縁部分とを枠線部に含む後側方窓枠とから構成したことを特徴とする請求項1乃至請求項3のいずれか1項に記載の車両用後方視界支援装置。
  5.  前記後側方画像撮影部で撮影した前記後側方画像に基づき当該後側方画像内に含まれる、前記車両の走行車線に隣接する隣接車線を走行する後続車を検出する後続車検出部と、
     前記後続車検出部の検出結果に基づき、前記後続車を検出したと判定すると前記マスク処理部の前記マスク処理を実施し、前記後続車を検出していないと判定すると前記マスク処理部の前記マスク処理を停止するマスク処理制御部と、を備え、
     前記表示部は、前記マスク処理部が前記マスク処理を実施しているときは前記マスク処理の施された前記後側方画像を表示し、前記マスク処理部が前記マスク処理を停止しているときは前記マスク処理の施されていない前記後側方画像を表示することを特徴とする請求項1乃至請求項4のいずれか1項に記載の車両用後方視界支援装置。
  6.  前記後側方画像撮影部で撮影した前記後側方画像に基づき当該後側方画像内に含まれる、前記車両の走行車線に隣接する隣接車線を走行する後続車を検出する後続車検出部と、
     前記後続車検出部の検出結果に基づき前記後続車を検出したと判定すると、検出した後続車と前記車両との車間距離を検出する車間距離検出部と、
     前記車間距離検出部の検出結果に基づき前記車間距離が予め設定した距離閾値未満であるか否かを判定する車間距離判定部と、
     前記車間距離判定部の判定結果に基づき、前記後続車との車間距離が前記距離閾値以上であると判定すると前記マスク処理部の前記マスク処理を実施し、前記後続車との車間距離が前記距離閾値未満であると判定すると前記マスク処理部の前記マスク処理を停止するマスク処理制御部と、を備え、
     前記表示部は、前記マスク処理部が前記マスク処理を実施しているときは前記マスク処理の施された前記後側方画像を表示し、前記マスク処理部が前記マスク処理を停止しているときは前記マスク処理の施されていない前記後側方画像を表示することを特徴とする請求項1乃至請求項4のいずれか1項に記載の車両用後方視界支援装置。
  7.  前記車両の備える変速機のシフトポジションを検出するシフトポジション検出部と、
     前記シフトポジション検出部の検出結果に基づき、後退ポジションへのシフトチェンジを検出する後退ポジション検出部と、
     前記後退ポジション検出部の検出結果に基づき、前記後退ポジションへのシフトチェンジを検出したと判定すると前記マスク処理部の前記マスク処理を停止することを特徴とする請求項1乃至請求項6のいずれか1項に記載の車両用後方視界支援装置。
  8.  前記車両の備える変速機のシフトポジションを検出するシフトポジション検出部と、
     前記シフトポジション検出部の検出結果に基づき、後退ポジションへのシフトチェンジを検出する後退ポジション検出部と、を備え、
     前記マスク処理部は、前記後退ポジション検出部の検出結果に基づき前記後退ポジションへのシフトチェンジを検出したと判定すると、前記マスク画像と、前記後側方画像における前記マスク画像でマスクする画像領域とを、当該画像領域を予め設定した前記マスク画像が半透明となる透過率で透過表示可能に合成することを特徴とする請求項1乃至請求項6のいずれか1項に記載の車両用後方視界支援装置。
  9.  前記マスク処理部は、前記消失点から放射状に延びる肌理を施したマスク画像を用いて前記マスク処理を実施することを特徴とする請求項1乃至請求項8のいずれか1項に記載の車両用後方視界支援装置。
  10.  車両に搭載された後側方画像撮影部によって前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域を撮影して得られる後側方画像のうち、当該後側方画像中の消失点を通りかつ当該後側方画像中の地平線と交差する仮想直線を基準に左右に分かれる当該後側方画像の2つの領域のうち、前記側面部分の一部を含む画像領域である側面画像領域の存在する一方の領域側に設定した始点から、他方の領域側に向かって放射状に延びる2本の直線であって、予め設定されたポンゾ錯視が有効となる放射角度でかつ予め設定された放射方向に前記後側方画像の端部まで放射状に延びる2本の直線と、当該2本の直線で区切られた前記放射角内側の画像領域の外縁部分と、を枠線部に含む窓枠で囲まれた画像領域を残して、残りの画像領域をマスクする処理であるマスク処理を実施するマスク処理ステップと、
     前記マスク処理ステップでマスク処理の施された前記後側方画像を表示する表示ステップと、を含み、
     前記窓枠で囲まれた画像領域に、前記後側方画像中の、前記消失点と、前記側面画像領域の一部及び前記車両の後方の領域の一部を含む領域である後方領域と、前記車両の走行車線に隣接する隣接車線を走行する後続車の移動領域とを含むように前記2本の直線の前記始点の位置、前記放射角度及び前記放射方向とが設定されていることを特徴とする車両用後方視界支援方法。
  11.  車両に搭載され、前記車両の後側方の領域の画像である後側方画像を撮影する後側方画像撮影部と、
     前記後側方画像撮影部で撮影された前記後側方画像上に、該後側方画像中の前記車両の走行車線の幅方向の中央側に交点を有する2本の仮想直線であって、該交点から予め設定された交差角度で該後側方画像の幅方向にかつ該後側方画像の外縁部へと広がる2本の仮想直線を設定し、該2本の仮想直線のうち上側の仮想直線の上方の画像領域及び下側の仮想直線の下方の画像領域をマスクする処理であるマスク処理を実施するマスク処理部と、
     前記マスク処理部でマスク処理の施された前記後側方画像を表示する表示部と、を備えることを特徴とする車両用後方視界支援装置。
  12.  前記後側方画像のうち前記マスク処理部でマスクされていない画像領域内に、消失点と、前記車両の後方の領域の一部とを含むように前記交点の位置及び前記交差角度が設定されていることを特徴とする請求項11に記載の車両用後方視界支援装置。
PCT/JP2013/001331 2012-04-16 2013-03-04 車両用後方視界支援装置及び車両用後方視界支援方法 WO2013157184A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-093408 2012-04-16
JP2012093408 2012-04-16

Publications (1)

Publication Number Publication Date
WO2013157184A1 true WO2013157184A1 (ja) 2013-10-24

Family

ID=49383159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001331 WO2013157184A1 (ja) 2012-04-16 2013-03-04 車両用後方視界支援装置及び車両用後方視界支援方法

Country Status (1)

Country Link
WO (1) WO2013157184A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035581A1 (ja) * 2014-09-05 2016-03-10 アイシン精機株式会社 画像表示制御装置および画像表示システム
CN105590513A (zh) * 2016-03-09 2016-05-18 江南大学 一种长短对比视错觉观察仪
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
JP2017212481A (ja) * 2016-05-23 2017-11-30 マツダ株式会社 電子ミラー装置
JP2017212480A (ja) * 2016-05-23 2017-11-30 マツダ株式会社 電子ミラー装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028445A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 画像表示システム
JP2007028444A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 画像表示システム
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028445A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 画像表示システム
JP2007028444A (ja) * 2005-07-20 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 画像表示システム
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035581A1 (ja) * 2014-09-05 2016-03-10 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2016055684A (ja) * 2014-09-05 2016-04-21 アイシン精機株式会社 画像表示制御装置および画像表示システム
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN107054222B (zh) * 2015-12-03 2022-04-22 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN105590513A (zh) * 2016-03-09 2016-05-18 江南大学 一种长短对比视错觉观察仪
JP2017212481A (ja) * 2016-05-23 2017-11-30 マツダ株式会社 電子ミラー装置
JP2017212480A (ja) * 2016-05-23 2017-11-30 マツダ株式会社 電子ミラー装置

Similar Documents

Publication Publication Date Title
US11572017B2 (en) Vehicular vision system
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US10293745B2 (en) Projection of a pre-definable light pattern
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20140114534A1 (en) Dynamic rearview mirror display features
US11336839B2 (en) Image display apparatus
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP5035643B2 (ja) 画像表示装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6512016B2 (ja) 車両用表示装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2013129386A (ja) 車両用後方監視装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US10965872B2 (en) Image display apparatus
WO2013157184A1 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US10750093B2 (en) Image processing device and image processing method
JP2009248721A (ja) 車両用情報表示装置
JP2019110492A (ja) 画像表示装置
TW201526638A (zh) 車用障礙物偵測顯示系統
JPWO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP2016136326A (ja) 情報表示装置および情報表示方法
US20200231099A1 (en) Image processing apparatus
WO2020213111A1 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP2010016746A (ja) 周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13778079

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13778079

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP