WO2010122747A1 - 運転支援装置、運転支援方法及びプログラム - Google Patents

運転支援装置、運転支援方法及びプログラム Download PDF

Info

Publication number
WO2010122747A1
WO2010122747A1 PCT/JP2010/002742 JP2010002742W WO2010122747A1 WO 2010122747 A1 WO2010122747 A1 WO 2010122747A1 JP 2010002742 W JP2010002742 W JP 2010002742W WO 2010122747 A1 WO2010122747 A1 WO 2010122747A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
distance
superimposed image
superimposed
Prior art date
Application number
PCT/JP2010/002742
Other languages
English (en)
French (fr)
Inventor
野上健士
脇有紀
岩井和彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10766809.7A priority Critical patent/EP2423901B1/en
Priority to US13/147,730 priority patent/US8559675B2/en
Priority to JP2011510181A priority patent/JP5523448B2/ja
Publication of WO2010122747A1 publication Critical patent/WO2010122747A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • the present invention relates to a driving support device, a driving support method, and a program, and more particularly, to a driving support device and a driving support method for presenting to a driver an image of a vehicle side rear area taken by a camera.
  • Patent Document 1 describes a parking assist device that draws a guide line of a vehicle width in the traveling direction (reverse direction) of a vehicle, and superimposes and displays a ladder-like figure in which the guide lines are connected at a predetermined distance.
  • the apparatus described in Patent Document 1 displays a predicted travel locus in a superimposed manner according to, for example, a steering angle detected by a steering sensor.
  • Patent Document 2 as driving assistance when changing lanes, guide lines (horizontal lines crossing the monitor) are provided at the boundary positions of the dangerous area, the caution area, and the safety area on the road surface determined based on the distance or relative speed.
  • a driving support device for superimposing display is described.
  • an electronic mirror system as another system using an in-vehicle camera.
  • the electronic mirror system displays a side rear image captured by a camera on a monitor in a vehicle, in a state from a side mirror to a rear side (hereinafter referred to as side rear), which has been confirmed by a side mirror or visual observation.
  • side rear a side rear image captured by a camera on a monitor in a vehicle
  • side mirror or visual observation a side mirror or visual observation.
  • the electronic mirror system it is possible to confirm the side mirror and the visual confirmation of the rear of the side, which have conventionally been a large angle for turning the neck and waist for the driver, only by confirming the display near the driver's seat.
  • a wide-angle lens and a monitor arrangement near the front field of view even when changing lanes, it is possible to confirm the safety of the rear side by simply checking the electronic mirror near the front field of view.
  • the rear side image displayed on the monitor has less stereoscopic effect than the rear side virtual image viewed through the side mirror, and the vehicle on the adjacent lane is simply displayed by displaying the captured image. It is difficult to measure the distance.
  • it is necessary to be able to instantly grasp the presence / absence of a vehicle in the adjacent lane, the distance from another vehicle, and the relative speed.
  • Patent Document 3 describes a driving support device that supports a driver's distance determination by displaying a mark indicating the degree of danger from the vehicle from the driver's viewpoint on the side rear image, and a mark at a position behind a predetermined distance. Yes.
  • the device described in Patent Literature 3 reads the mark superimposed on the vicinity of the other vehicle shown in the image when viewing the side rear image, so that the distance from the host vehicle to the other vehicle is almost accurately determined. Can know.
  • the electronic mirror system has the problem that the image is greatly distorted and the sense of distance is difficult to grasp in exchange for the advantage that the blind spot is eliminated by the wide-angle image.
  • the electronic mirror system has the problem that the image is greatly distorted and the sense of distance is difficult to grasp in exchange for the advantage that the blind spot is eliminated by the wide-angle image.
  • An object of the present invention is to provide a driving support apparatus, a driving support method, and a program that allow a driver to more intuitively correctly determine the distance to other vehicles in the vicinity.
  • the driving support apparatus includes a photographing means for photographing a surrounding image of the own vehicle, a vehicle detecting means for detecting another vehicle in the photographed image, and a distance detecting means for detecting a distance between the own vehicle and the other vehicle.
  • Vehicle length information storage means for storing the total length of the vehicle as host vehicle length information; host vehicle length information stored in the host vehicle length information storage means; and the other vehicle detected by the distance detection means Based on the distance to the vehicle length, and a superimposed image generating means for generating a superimposed image based on the calculated distance, and the superimposed image generating means on the captured surrounding image
  • a display image generating unit that generates a display image by combining the generated superimposed images and a display unit that is installed in the host vehicle and displays the display image generated by the display image generating unit are adopted.
  • the driving support method of the present invention includes a step of capturing a surrounding image of the host vehicle, a step of detecting another vehicle in the captured image, a step of detecting a distance between the host vehicle and the other vehicle, Based on the own vehicle length information and the detected distance to the other vehicle, a distance in units of the own vehicle length is calculated based on the step of storing the total length as own vehicle length information in advance, and the calculated distance is superimposed. Generating an image; synthesizing the generated superimposed image on the photographed surrounding image; generating a display image; and displaying the generated display image.
  • the present invention is a program for causing a computer to execute each step of the driving support method.
  • the driver can more intuitively determine the distance from the other vehicle in the image by visualizing the distance information using the vehicle length as a reference unit of length. I can grasp it. As a result, the driver can grasp the distance and relative speed at the time of lane change more intuitively and reliably. Further, the driver can intuitively grasp the distance to the other vehicle at the same time as confirming the situation behind the side, so that the operation of changing the lane can be performed more accurately.
  • FIG. 1 The block diagram which shows the structure of the driving assistance device which concerns on Embodiment 1 of this invention.
  • FIG. The flowchart which shows operation
  • FIG. The figure which shows an example of the display image synthesize
  • FIG. The figure which shows the preparation process of the superimposed image of the driving assistance device which concerns on the said Embodiment 1.
  • FIG. The figure which shows the preparation process of the superimposed image of the driving assistance device which concerns on the said Embodiment 1.
  • FIG. 1 The figure which shows the preparation process of the superimposed image of the driving assistance device which concerns on the said Embodiment 1.
  • FIG. The flowchart which shows operation
  • the block diagram which shows the structure of the driving assistance device which concerns on Embodiment 5 of this invention.
  • FIG. The figure which shows the example of a display of the composite image of the production process of the superimposed image of the driving assistance device which concerns on the said Embodiment 5, and the superimposed image which uses the own vehicle length as a reference unit of distance
  • FIG. 1 is a block diagram showing the configuration of the driving support apparatus according to Embodiment 1 of the present invention.
  • the present embodiment is an example in which the present invention is applied to an electronic mirror system that presents an image of a rear side area of a vehicle photographed by a camera to a driver.
  • the driving support device 100 includes an imaging unit 110, a distance measurement unit 120, a vehicle detection unit 130, a superimposed image generation unit 140, a host vehicle length information storage unit 150, a display image generation unit 160, and a display unit. 170 is comprised.
  • the imaging unit 110 is a stereo camera for visible light or infrared light for acquiring an image around the vehicle.
  • the imaging unit 110 reverses the captured image from left to right with respect to the side rear image, and transfers the captured image to the display image generation unit 140 and the distance measurement unit 120 for use as the base image of the electronic mirror system.
  • an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) is mainly used.
  • the captured image may be distorted.
  • the imaging unit 110 also corrects such distortion. Since the imaging unit is a stereo camera, there are two images for each imaging unit, but one of the images may be transferred to the display generation unit.
  • the distance measurement unit 120 calculates the distance of each pixel in the image based on the two stereo images taken by the imaging unit 110.
  • SAD Sum Absolute Difference
  • SSD Small Square Difference
  • NCC Normalized Cross-Correlation
  • the vehicle detection unit 130 detects other vehicles existing in the distance image generated by the distance measurement unit 120 using an object detection algorithm.
  • an object detection algorithm In the case of a stereo camera, since there are known algorithms such as a method using parallax and a planar projection stereo method, it is possible to use them.
  • the vehicle detection unit 130 detects a vehicle using such an object detection algorithm.
  • the superimposed image generation unit 140 calculates a distance in units of the own vehicle length from the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicle, and the superimposed image based on the calculated distance. Is generated.
  • the superimposed image is an image that is arranged and displayed on or around the surrounding image including the side rear image in order to assist the driver in grasping the distance.
  • the own vehicle length information storage unit 150 stores own vehicle length information inherent to each vehicle type.
  • the own vehicle length information is information based on the vehicle length of the own vehicle, and may be stored in a fixed manner in advance, or may be appropriately set by an external input via an input interface. In the case of towing, it is possible to consider it as the own vehicle leader including the towed object.
  • the display image generation unit 160 combines the superimposed image generated by the superimposed image generation unit 140 with the base side rear image transferred from the imaging unit 110 to display the final image on the display unit 17. An image to be shown to the driver is generated.
  • the display unit 170 is a display or the like installed in the vehicle, and displays the image generated by the display image generation unit 160.
  • the display unit 170 is installed at a position that does not obstruct the driver's front view.
  • the types of displays are liquid crystal displays, self-luminous displays such as organic EL (Organic ⁇ ⁇ Electro-Luminescence), fluorescent tube displays, laser displays, or optical systems and combiners (screens that display virtual and real images at the same distance).
  • HUD Head-Up Display
  • the driving support device 100 includes a CPU that is a control unit, a ROM that stores a control program, a RAM for executing a program, a camera that is an imaging device, and a display unit that is a display / alarm device.
  • the unit controls the operation of each unit of the driving support device 100.
  • FIG. 1 is clearly shown as a block for performing a driving support process executed by the control unit.
  • FIG. 2 is a diagram illustrating a situation around the vehicle on which the driving support device 100 is mounted.
  • the host vehicle 111 is provided with cameras 112 ⁇ / b> L and 112 ⁇ / b> R facing the rear side above the side mirror.
  • the cameras 112L and 112R correspond to the imaging unit 110 of the driving support device 100.
  • the cameras 112L and 112R capture images in the fields of view 113L and 113R.
  • the other vehicle 114 is photographed in the field of view 113L, 113R by the camera.
  • the own vehicle 111 travels in the middle lane of the three-lane road with the cameras 112L and 112R installed at the side mirror positions, and images are taken in real time (for example, 30 fps) by the cameras 112L and 112R. Images taken by the cameras 112L and 112R are processed in frame units in a signal processing circuit (not shown) in the imaging unit 110, and are displayed to the driver by the display unit 170 near the driver's seat via the display image generation unit 160. Presented. A series of flows in such a state will be described with reference to FIG.
  • FIG. 3 is a flowchart showing the operation of the driving support device 100.
  • S indicates each step of the flow.
  • step S1 the cameras 112L and 112R, that is, the imaging unit 110 acquire a stereo image at the set timing, and transfer the stereo image to the distance measurement unit 120 and the display image generation unit 160.
  • gain control according to the brightness of the field of view of the imaging unit 110 is performed.
  • the distortion of the image increases. Therefore, the distortion may be corrected according to the installation position, the angle of view, the orientation, and the like of the imaging unit 110.
  • step S2 the distance measuring unit 120 measures the distance by generating a distance image from the stereo image.
  • step S3 the vehicle detection unit 130 detects a vehicle (another vehicle) based on the distance measurement result, and checks whether the vehicle is detected.
  • the superimposed image generating unit 140 proceeds to step S7 without generating anything as a superimposed image in step S6.
  • step S7 the display image generation unit 160 combines the superimposed image with the side rear image to generate a display image.
  • the superimposed image generation unit 140 generates nothing as a superimposed image.
  • the display image generation unit 160 combines the output of the superimposed image generation unit 140 that has not generated anything with the side rear image. The result is the side rear image itself.
  • step S8 the display unit 170 displays the image of the side rear image itself and ends this flow.
  • step S1 the imaging unit 110 acquires a stereo image and transfers the stereo image to the distance measurement unit 120 and the display image generation unit 160.
  • step S2 the distance measurement unit 120 measures the distance
  • step S3 the vehicle detection unit 130 detects the vehicle. In this case, the vehicle detection unit 130 detects the other vehicle 114 shown in FIG. 2 and proceeds to step S4.
  • step S4 the superimposed image generation unit 140 calculates a distance in units of the own vehicle length from the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicle.
  • the distance from the camera 112R to the rear end of the vehicle is d1 [m]
  • the distance to the other vehicle is d2 [m]
  • the own vehicle length is L [m]
  • the other is from the rear end of the own vehicle in units of the own vehicle length.
  • the approximate distance D to the vehicle is expressed as the following equation (1).
  • step S5 the superimposed image generation unit 140 generates a superimposed image using the distance D. Specifically, a superimposed screen using up to ([N] +1) lines including the reference line at the rear end of the vehicle is generated.
  • step S7 the display image generation unit 160 combines the superimposed image generated by the superimposed image generation unit 140 with the side rear image transferred from the imaging unit 110 to generate a display image.
  • step S8 the display unit 170 displays a display image obtained by synthesizing the superimposed image with the side rear image, and ends this flow.
  • FIG. 4 is a diagram illustrating an example of a display image synthesized by the display image generation unit 160.
  • the display screen 200 of the display unit 170 includes a side rear image 210 when viewing the rear right side from the host vehicle, the other vehicle 114 in the side rear image 210, and a superimposed image. 220 and the image are combined and displayed.
  • the superimposed image 220 is displayed as a series of frames with the vehicle length as a reference unit of distance. More specifically, the superimposed image 220 is a series of at least one frame composed of a line segment 221 parallel to the road width direction and a line segment 222 parallel to the road direction. When displayed as a series of frames, the superimposed image 220 is displayed on the road surface of the lane adjacent to the own lane on the side rear image 210 from the driver's viewpoint. In addition, the superimposed image 220 starts from the position of the rear end of the host vehicle in the side rear image 210 and continues from the driver viewpoint toward the rear by a predetermined number (5 in FIG. 4).
  • the superimposed image 220 may display a series of frames only when the distance to the other vehicle 114 is included within the distance represented by the series of frames. Only a frame that exists before the distance may be displayed.
  • a frame that is present in front of the distance to the other vehicle is displayed from the driver's viewpoint, and the far frame is parallel to the width direction of the road and close to the own lane. Only the vicinity of the connection portion of the vertical line segment connected to this line segment is set as the superimposed image.
  • this superimposed image 220 the distance to the other vehicle 114 can be grasped intuitively, and the distance from the other vehicle 114 is simplified while displaying the own vehicle length line segment, thereby improving visibility. Can be made.
  • 5 and 6 are diagrams showing a process of creating a superimposed image.
  • the line 121 at the rear end of the host vehicle is directed rearward.
  • the frame 220a is the superimposed image 220 (see FIG. 4).
  • the series of frames 220a is defined as the depth to the distance of five of the own vehicle, and the frame 220a has inner line segments 122-1, 122-2, ..., 122-5 with respect to the own vehicle, and outer line segment 123-. 1, 123-2,..., 123-5, and distance lines 124-0, 124-1,.
  • the support information 223 is converted into a viewpoint image from the camera 112R, and a superimposed image 220 is superimposed on the side rear image 210 (see FIG. 4).
  • the distance measuring unit 120 calculates a distance corresponding to each pixel on the image.
  • the superimposed image generation unit 140 generates an image corresponding to the support information 223 on the road surface on the adjacent lane based on the measurement distance.
  • a display image 220 as shown in FIG. 4 is generated.
  • the driving support apparatus 100 includes the imaging unit 110 that captures the side rear image of the host vehicle, the distance measurement unit 120 that measures the distance between the host vehicle and the other vehicle, and the shooting. And the vehicle detection unit 130 for detecting other vehicles in the captured image.
  • the superimposed image generation unit 140 is detected by the vehicle length information stored in the vehicle length information storage unit 150 and the distance measurement unit 120. Based on the distance to the other vehicle, the distance of the own vehicle length is calculated, and a superimposed image is generated based on the calculated distance.
  • the display image generation unit 160 synthesizes the superimposed image generated by the superimposed image generation unit 140 on the surrounding image including the side rear image captured by the imaging unit 110, and is installed at a position that does not hinder the driver's front view. Displayed on the displayed display unit 170.
  • the driver can visually recognize the side rear image in which the superimposed image having the own vehicle length as the reference unit of distance is synthesized, and can more intuitively grasp the distance to the other vehicle. . That is, the driver is separated by 2.5 times the own vehicle length, for example, how far the other vehicle is away from the own vehicle and how fast the vehicle is approaching. Etc. can be recognized intuitively.
  • the driver is separated by 2.5 times the own vehicle length, for example, how far the other vehicle is away from the own vehicle and how fast the vehicle is approaching. Etc. can be recognized intuitively.
  • it is possible to solve the problem that it is difficult to grasp a sense of distance while taking advantage of the electronic mirror system (the advantage that a blind spot is eliminated by a wide-angle image). Since it becomes possible to instantly recognize the distance between the own vehicle length and the other vehicle, it is possible to eliminate distance errors during high speed driving and the like, and to prevent the possibility of an accident.
  • the superimposed image generation unit 140 uses, as a superimposed image, a series of at least one frame composed of a line segment parallel to the road width direction and a line segment parallel to the road direction. Generate.
  • the series of frames can be recognized as drawn on the road surface of the lane adjacent to the own lane on the side rear image.
  • the frame series starts from the position of the rear end of the host vehicle in the side rear image, and continues a predetermined number toward the rear in the side rear image.
  • the series of frames is displayed only when the distance to the other vehicle is included within the distance represented by the series of frames.
  • the frame series is not displayed unless the other vehicle is approached to a predetermined distance, so that there is an effect that it is easy to understand the presence or absence of an approaching vehicle to which attention should be paid.
  • a frame that is present in front of the side rear image from the distance to the other vehicle is displayed, and the far frame is a line segment that is parallel to the width direction of the road and close to the own lane. Then, only the vicinity of the connection portion of the vertical line segment connected to the line segment is set as a superimposed image. Thereby, when a plurality of vehicles are connected, it is possible to measure an approximate distance to a vehicle other than the closest vehicle.
  • the vertical position of the vehicle relative to the road surface may be detected, and the display position of the image may be controlled so that the position of the superimposed image on the side rear image does not vibrate.
  • a relative speed calculation unit that calculates the relative speed of the other vehicle with respect to the host vehicle speed is further provided, and the superimposed image generation unit 140 generates a superimposed image indicating the relative speed.
  • a superimposed image indicating the relative speed For example, an image such as an arrow indicating the relative speed may be additionally displayed depending on the relative speed.
  • the presence or absence of the adjacent lane may be detected by detecting the white line or the road surface width in the image, and the vehicle may be detected only when the adjacent lane exists.
  • a display in units of meters may be used together with the superimposed image generated by the superimposed image generation unit 140.
  • accurate distance measurement in meters is possible.
  • FIG. 7 is a diagram illustrating a process of creating a superimposed image of the driving assistance apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a diagram illustrating an example of a superimposed image of the driving support device.
  • the hardware configuration is the same as that of the driving support apparatus 100 of FIG.
  • the superimposed image generation unit 140 differs in the operation of generating a superimposed image.
  • the field length of the host vehicle is determined based on the line 121 at the rear end of the host vehicle in the field of view 113R of the camera 112R. Assume that distance lines 125-1, 125-2,. In this case, distance lines 125-1, 125-2,..., 125-5 are superimposed images.
  • the other vehicle 114 is placed at a distance of, for example, 1.1 vehicles from the rear end of the own vehicle at a certain time point. Is detected.
  • the superimposed image generation unit 140 generates a simple image in which the host vehicle 111 is the head and the host vehicle 111 traveling on the road surface and the other vehicle 114 are viewed from the side.
  • FIG. 8 is a diagram illustrating a simple image of the host vehicle 111 and the other vehicle 114 viewed from the side, and a superimposed image indicated by a grid 220b for each host vehicle length.
  • the superimposed image is an image that displays other vehicles up to, for example, five vehicles behind, with the symbol indicating the own vehicle as the head and the own vehicle length as a unit.
  • the symbol indicating the host vehicle is a symbol corresponding to the model of the host vehicle (for example, a passenger car). Behind the host vehicle symbol, a grid 220b is displayed for each host vehicle length with the rear end of the host vehicle as a reference. Other vehicles in the image move in the grid 220b.
  • the direction of the host vehicle is rightward (leftward in the case of a left camera image).
  • the other vehicle 114 When the other vehicle 114 is closer to the own vehicle 111 and closer to the rear end of the own vehicle, the other vehicle symbol is displayed in a form superimposed on the own vehicle symbol. In this case, the other vehicle 114 overtakes the host vehicle 111.
  • FIG. 7 The display in FIG. 7 and the display in FIG. 8 are preferably displayed simultaneously. A mode in which the display of FIG. 7 and the display of FIG. 8 are switched may be used.
  • the superimposed image generation unit 140 has a segment of the length of the own vehicle length, and is displayed as a symbol on the line segment viewed from the lateral direction of the vehicle and on the line segment.
  • a superimposed image composed of the host vehicle and another vehicle is generated. That is, the superimposed image generation unit 140 generates the symbol of the other vehicle according to the distance to the other vehicle on the adjacent lane by dividing the rear space by the length of the own vehicle with the own vehicle symbol as the foremost part.
  • the superimposed image generation unit 140 generates a superimposed image that indicates the distance to the other vehicle in proportion to the length from the rear end of the host vehicle symbol, starting from the position of the rear end of the host vehicle. Therefore, since the real-time change in the relative distance between the host vehicle symbol and the other vehicle symbol can be visually grasped, the change in the positional relationship can be grasped more intuitively.
  • the symbol of the host vehicle may be highlighted without displaying the symbol of the other vehicle. In this way, since the other vehicle symbol is not displayed, the driver can be further alerted and the danger can be conveyed as compared with the case where the host vehicle and the other vehicle are simply displayed in a superimposed manner.
  • the movement of the corresponding other vehicle becomes substantially the same direction, so the positional relationship between the host vehicle and the other vehicle is more intuitive. It becomes possible to grasp.
  • highlighting such as blinking or coloring may be performed on the image of the other vehicle.
  • other vehicle symbols may be displayed for the plurality of other vehicles.
  • the body color of the other vehicle may be detected, and the body color of the corresponding other vehicle symbol may be colored with the detected color.
  • FIG. 9 is a flowchart showing the operation of the driving support apparatus according to Embodiment 3 of the present invention, and shows a processing flow in consideration of detection of a plurality of vehicles.
  • the same processing steps as those in FIG. 3 are denoted by the same reference numerals.
  • vehicle detection unit 130 detects a plurality of other vehicles based on the distance measurement result.
  • the superimposed image generation unit 140 further generates a superimposed image for the closest vehicle.
  • step S1 the cameras 112L and 112R, that is, the imaging unit 110 acquire a stereo image at the set timing, and transfer the stereo image to the distance measurement unit 120 and the display image generation unit 160. Since the image capturing unit is a stereo camera, there are two images per image capturing unit, but one of the images may be transferred to the display image generating unit.
  • step S2 the distance measuring unit 120 measures the distance by generating a distance image from the stereo image.
  • step S3 the vehicle detection unit 130 detects a vehicle (another vehicle) based on the distance measurement result, and checks whether the vehicle is detected.
  • the superimposed image generating unit 140 proceeds to step S7 without generating anything as a superimposed image in step S6.
  • step S7 the display image generation unit 160 combines the superimposed image with the side rear image to generate a display image.
  • the superimposed image generation unit 140 generates nothing as a superimposed image.
  • the display image generation unit 160 combines the output of the superimposed image generation unit 140 that has not generated anything with the side rear image. The result is the side rear image itself.
  • step S8 the display unit 170 displays the image of the side rear image itself and ends this flow.
  • step S3 if the vehicle detection unit 130 detects a vehicle (another vehicle) in step S3, the process proceeds to step S11.
  • step S12 the superimposed image generation unit 140 selects a vehicle that is closest to the host vehicle from the detected vehicles based on the distance measurement result, and proceeds to step S4. For example, as shown in FIG. 10 described later, the other vehicle 114A closest to the host vehicle is selected from the detected vehicles 114A and 114B. If the number of detected vehicles is one, the process proceeds to step S4 as it is.
  • step S4 the superimposed image generation unit 140 calculates a distance in units of the own vehicle length from the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicle.
  • the distance from the camera 112R to the rear end of the vehicle is d1 [m]
  • the distance to the other vehicle is d2 [m]
  • the own vehicle length is L [m]
  • the other is from the rear end of the own vehicle in units of the own vehicle length.
  • the approximate distance D to the vehicle is expressed by the above formula (1).
  • step S5 the superimposed image generation unit 140 generates a superimposed image using the distance D. Specifically, a superimposed screen using up to ([N] +1) lines including the reference line at the rear end of the vehicle is generated.
  • step S7 the display image generation unit 160 combines the superimposed image generated by the superimposed image generation unit 140 with the side rear image transferred from the imaging unit 110 to generate a display image.
  • step S8 the display unit 170 displays a display image obtained by synthesizing the superimposed image with the side rear image, and ends this flow.
  • FIG. 10 is a diagram illustrating an example in which a plurality of vehicles are detected by the vehicle detection unit 130.
  • FIG. 10 corresponds to FIG.
  • the display screen 200 of the display unit 170 includes a side rear image 210 when the left rear is viewed from the host vehicle, the other vehicles 114A and 114B in the side rear image 210, The superimposed image 220 is combined and displayed.
  • the superimposed image 220 is displayed as a series of frames with the vehicle length as a reference unit of distance. More specifically, the superimposed image 220 is a series of at least one frame composed of a line segment 221 parallel to the road width direction and a line segment 222 parallel to the road direction. When displayed as a series of frames, the superimposed image 220 is displayed on the road surface of the lane adjacent to the own lane on the side rear image 210 from the driver's viewpoint. In addition, the superimposed image 220 starts from the position of the rear end of the host vehicle in the side rear image 210 and continues from the driver viewpoint toward the rear by a predetermined number (5 in FIG. 4).
  • the superimposed image 220 may display a series of frames only when the distance to the other vehicle 114A closest to the host vehicle is included within the distance represented by the series of frames. Only a frame existing in front of the distance to the other vehicle from the driver's viewpoint may be displayed.
  • a frame that is present in front of the distance to the other vehicle is displayed from the driver's viewpoint, and the far frame is parallel to the width direction of the road and close to the own lane. Only the vicinity of the connection portion of the vertical line segment connected to this line segment is set as the superimposed image.
  • the superimposed image 220 can be intuitively grasped the distance to the other vehicle 114A that is closest to the own vehicle, and the distance from the other vehicle 114A is simplified while the own vehicle length line segment is displayed. The visibility can be improved.
  • a superimposed image is generated for the nearest vehicle.
  • FIG. 11 is a flowchart showing the operation of the driving support apparatus according to Embodiment 4 of the present invention, and shows a processing flow in consideration of a plurality of vehicles and vehicles closer to the rear end of the own vehicle.
  • the same processing steps as those in FIG. 9 are denoted by the same reference numerals.
  • vehicle detection unit 130 detects a plurality of other vehicles based on the distance measurement result.
  • the superimposed image generation unit 140 further generates a superimposed image for a vehicle farther from the rear end of the host vehicle.
  • step S1 the cameras 112L and 112R, that is, the imaging unit 110 acquire a stereo image at the set timing, and transfer the stereo image to the distance measurement unit 120 and the display image generation unit 160. Since the image capturing unit is a stereo camera, there are two images per image capturing unit, but one of the images may be transferred to the display image generating unit.
  • step S2 the distance measuring unit 120 measures the distance by generating a distance image from the stereo image.
  • step S3 the vehicle detection unit 130 detects a vehicle (another vehicle) based on the distance measurement result, and checks whether the vehicle is detected.
  • step S6 the superimposed image generation unit 140 does not generate anything as a superimposed image and proceeds to step S21.
  • step S3 If the vehicle detection unit 130 detects a vehicle (another vehicle) in step S3, the process proceeds to step S11.
  • step S12 the superimposed image generation unit 140 selects a vehicle that is closest to the host vehicle from the detected vehicles based on the distance measurement result, and proceeds to step S4. For example, as shown in FIG. 10, the other vehicle 114A that is closest to the host vehicle is selected from the detected vehicles 114A and 114B. If the number of detected vehicles is one, the process proceeds to step S4 as it is.
  • step S4 the superimposed image generation unit 140 calculates a distance in units of the own vehicle length from the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicle.
  • the distance from the camera 112R to the rear end of the vehicle is d1 [m]
  • the distance to the other vehicle is d2 [m]
  • the own vehicle length is L [m]
  • the other is from the rear end of the own vehicle in units of the own vehicle length.
  • the approximate distance D to the vehicle is expressed by the above formula (1).
  • step S6 If the superimposed image is not generated in step S6 or if the distance in units of the vehicle length is calculated in step S4, the process proceeds to step S21.
  • step S21 the superimposed image generation unit 140 determines whether another vehicle approaching the host vehicle is farther from the rear end of the host vehicle.
  • the superimposed image generation unit 140 does not generate a superimposed image in step S22. Proceed to S5. If the other vehicle approaching the host vehicle is far from the rear end of the host vehicle in step S21, the process proceeds to step S5 as it is.
  • step S5 the superimposed image generation unit 140 generates a superimposed image using the distance D. Specifically, a superimposed screen using up to ([N] +1) lines including the reference line at the rear end of the vehicle is generated.
  • step S7 the display image generation unit 160 combines the superimposed image generated by the superimposed image generation unit 140 with the side rear image transferred from the imaging unit 110 to generate a display image.
  • step S8 the display unit 170 displays a display image obtained by synthesizing the superimposed image with the side rear image, and ends this flow.
  • FIG. 12 is a block diagram showing the configuration of the driving support apparatus according to Embodiment 5 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals, and description of overlapping portions is omitted.
  • the driving support apparatus 300 includes an imaging unit 310, a distance measurement unit 320, a vehicle detection unit 130, a superimposed image generation unit 140, a host vehicle length information storage unit 150, a lane change detection unit 330, and a display image selection. 340, a display image generation unit 160, and a display unit 170.
  • the imaging unit 310 is a stereo camera for visible light or infrared light for acquiring a plurality of images around the vehicle.
  • the imaging unit 110 displays a display image to be used as a base image of an electronic mirror system without performing left-right reversal for the other rear images, with the left-right reversal of the plurality of captured images.
  • the data is transferred to the selection unit 340 and the distance measurement unit 320. Since the imaging unit is a stereo camera, there are two images for each imaging unit, but one of the images may be transferred to the display selection unit.
  • the imaging unit 310 may have any configuration as long as it acquires a plurality of images around the vehicle.
  • the imaging unit 310 installs a plurality of cameras on the front and rear, left and right, and / or the rearview mirror of the vehicle.
  • the imaging unit 310 captures a wide area around the vehicle with one or a plurality of cameras, cuts out a predetermined area on the side rear and front of the vehicle, and acquires a plurality of images around the vehicle.
  • the first configuration and the second configuration may be used in combination.
  • the distance measuring unit 320 calculates the distance of each pixel in the plurality of images based on the two stereo images taken by the imaging unit 310.
  • a distance measurement algorithm using a stereo image SAD, SSD, NCC, or the like is used.
  • the vehicle detection unit 130 detects other vehicles existing in the distance image generated by the distance measurement unit 320 using an object detection algorithm.
  • an object detection algorithm In the case of a stereo camera, since there are known algorithms such as a method using parallax and a planar projection stereo method, it is possible to use them.
  • the lane change detection unit 330 detects the intention of the lane change that the host vehicle changes the lane. Specifically, the lane change detection unit 330 inputs a turn signal signal of a direction indicator for overtaking from a travel control unit (not shown) of the vehicle. The lane change detection unit 330 determines that there is an intention to change lanes when a winker signal is input from a travel control unit (not shown) of the vehicle during vehicle travel. As another method, the lane change detection unit 330 analyzes the route guidance information based on the route guidance of the navigation system (not shown) or inputs a tag in the route guidance information that has been formulated in advance. It is determined that there is an intention to change lanes on the assumption that the vehicle travels along the route guidance.
  • the display image selection unit 340 selects an image to be displayed from a plurality of images captured by the imaging unit 310. Details will be described later.
  • the driving support apparatus 300 includes a CPU that is a control unit, a ROM that stores a control program, a RAM for executing a program, a camera that is an imaging device, and a display unit that is a display / alarm device.
  • the unit controls the operation of each unit of the driving support device 300.
  • FIG. 12 is clearly shown as a block for performing a driving support process executed by the control unit.
  • the driving support device 300 is characterized in that a plurality of cameras included in the imaging unit 310 are provided and the lane change detection unit 330 and the display image selection unit 340 are included.
  • the display image selection unit 340 selects an image to be displayed from images acquired by a plurality of cameras included in the imaging unit 310.
  • the display operation changes depending on the presence or absence of a lane change operation.
  • the presence or absence of the lane change operation is determined by the lane change detection unit 330 based on the direction indicator or the route guidance of the navigation.
  • the driving assistance device 300 displays all images in which vehicles that satisfy the caution determination condition exist.
  • the attention determination condition is determined based on the distance from the own vehicle, the approach speed, TTC (Time To Collision), or a combination thereof. Only images that need the most attention may be selectively displayed.
  • the driving support device 300 displays only an image of the vehicle that should be more carefully noted when detecting a vehicle that satisfies the caution determination condition in the lane change destination lane. Only images that need the most attention may be selectively displayed.
  • FIG. 13 is a flowchart showing the operation of the driving support device 300.
  • FIG. 14 is a flowchart showing image generation processing corresponding to the imaging unit 310 in the flow of FIG. The same processing steps as those in FIG. 3 are denoted by the same reference numerals.
  • step S31 the driving support apparatus 300 executes the image generation process shown in FIG. 14 for a plurality of images around the vehicle captured by the imaging unit 310.
  • the imaging unit 310 generates images for a plurality of images around the vehicle photographed by a plurality of cameras (each imaging unit 1, 2,..., N).
  • step S32 the display image generation unit 160 generates a display image corresponding to each superimposed image. Specifically, the display image generation unit 160 combines the superimposed image with the side rear image to generate a display image. When no vehicle is detected by the vehicle detection unit 130, the superimposed image generation unit 140 generates nothing as a superimposed image. In that case, the display image generation unit 160 combines the output of the superimposed image generation unit 140 that has not generated anything with the side rear image. The result is the side rear image itself.
  • step S33 the display image selection unit 340 determines which of the images 1, 2,.
  • the display image selection unit 340 selects, as the selection image, an image that matches the selection condition from among the vehicle surrounding images transferred from the imaging unit 310. For example, when the vicinity of the host vehicle is in the situation as shown in FIGS. 15 to 28 and the display image selection condition is “display the vehicle with the smallest distance from the host vehicle”, the distance of the vehicle on the right front is Since it is the smallest, image 1 (an image in which the vehicle in the right front direction is image 1 is selected) is selected. Examples of conditions for judgment by the display image selection unit 340 are as follows.
  • Example 1 A vehicle whose distance from the own vehicle is less than 10 m.
  • Example 2) A vehicle whose distance from the own vehicle is less than 20 m, and a vehicle whose relative speed is 2 m / s or more or a distance from the own vehicle.
  • Example 3) A vehicle having a TTC of 5 s or less or a vehicle having a distance from the own vehicle of three or less of the vehicle length.
  • step S34 the display unit 170 selects the most An image with a vehicle requiring attention is displayed and this flow ends.
  • an image is selected in step 34 based on the detection result of the lane change detection unit 330.
  • step S ⁇ b> 1 the imaging unit 310 acquires a stereo image at the set timing, and transfers the stereo image to the distance measurement unit 320 and the display image selection unit 340. At that time, gain control is performed in accordance with the brightness of the field of view of the imaging unit 310. In particular, when a wide-angle lens is used, image distortion increases, and therefore distortion correction may be performed according to the installation position, field angle, orientation, and the like of the imaging unit 310.
  • step S2 the distance measuring unit 320 measures the distance by generating a distance image from the stereo image.
  • step S3 the vehicle detection unit 130 detects a vehicle (another vehicle) based on the distance measurement result, and checks whether the vehicle is detected.
  • step S4 the superimposed image generation unit 140 calculates a distance in units of the own vehicle length from the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicle. .
  • step S5 the superimposed image generation unit 140 generates a superimposed screen using up to ([N] +1) lines including the reference line at the rear end of the host vehicle, and returns to step S32 in FIG.
  • the superimposed image generation unit 140 returns to step S32 in FIG. 13 without generating anything as a superimposed image in step S6.
  • the processing flow takes into consideration not only the side rear image of the own vehicle but also the detection of vehicles around the own vehicle.
  • FIGS. 15 to 28 are diagrams illustrating an example of a superimposed image creation process of the driving support device 300 and a display example of an image obtained by combining superimposed images with the vehicle length as a reference unit of distance.
  • FIG. 15A to FIG. 28A are views showing the situation around the vehicle on which the driving support device 300 is mounted.
  • FIGS. 15B to 28B are diagrams illustrating examples of superimposed images of the driving support device 300.
  • FIG. FIGS. 15C to 28C are diagrams illustrating examples of display images synthesized by the display image generation unit 160 of the driving support device 300.
  • 15 and 16 are examples in the case where a vehicle is present at the left rear right position of the host vehicle.
  • FIG. 17 shows an example when a vehicle is present at the right front position of the host vehicle.
  • FIG. 18 shows an example in which a vehicle is present at the left position of the host vehicle.
  • FIG. 19 shows an example in which a vehicle is present at the front left and right positions of the host vehicle and the vehicle at the front left position is closest.
  • FIG. 20 shows an example in which a vehicle is present at the front left and right positions of the host vehicle and the vehicle at the front right position is closest.
  • FIG. 21 shows an example in which a vehicle is present at the right front and rear positions of the host vehicle and the vehicle at the rear left position is closest.
  • FIG. 22 shows an example in which a vehicle is present at the right front and rear positions of the host vehicle, and the vehicle at the right front position is closest.
  • FIG. 23 shows an example in which a vehicle is present at the left front and rear positions of the host vehicle and the vehicle at the rear left position is closest.
  • FIG. 24 shows an example in which a vehicle is present at the left front and rear positions of the host vehicle and the vehicle at the front left position is closest.
  • FIG. 25 shows an example in which a vehicle is present at the left and right front and rear positions of the host vehicle, and the vehicle at the rear left position is closest.
  • FIG. 26 shows an example in which vehicles exist at the left and right front and rear positions of the host vehicle, and the vehicle at the right rear position is closest.
  • FIG. 27 shows an example in which vehicles exist at the left and right front and rear positions of the host vehicle and the vehicle at the front left position is closest.
  • FIG. 28 shows an example in which vehicles exist at the left and right front and rear positions of the host vehicle and the vehicle at the right front position is closest.
  • the imaging unit 310 acquires a plurality of images around the host vehicle 111, 130 detects other vehicles A, B, C, and D existing in the distance image generated by the distance measuring unit 320.
  • the superimposed image generation unit 140 is based on the own vehicle length information stored in the own vehicle length information storage unit 150 and the distance to the other vehicles A, B, C, D detected by the distance measurement unit 320. A long unit distance is calculated, and a superimposed image is generated based on the calculated distance.
  • the display image selection unit 340 selects, as a selection image, an image that matches the selection condition from among the vehicle surrounding images transferred from the imaging unit 310. For example, when the vicinity of the host vehicle 111 is in the situation as shown in FIG. 28 and the display image selection condition is “display the vehicle with the shortest distance from the host vehicle”, the distance of the other vehicle A on the right front is Since it is the smallest, the superimposed image shown in FIG. 28B is created, and the composite image shown in FIG. 28C is displayed.
  • the present embodiment has the same effects as those of the first to fourth embodiments described above, that is, how far the other vehicle is away from the host vehicle, and how fast the vehicle is approaching. It can be intuitively recognized as the vehicle length unit. Since it becomes possible to instantly recognize the distance between the own vehicle length and the other vehicle, it is possible to eliminate distance errors during high-speed driving and the like, and to reduce the possibility of an accident.
  • a stereo camera is used to measure the distance.
  • the present invention is not limited to the stereo camera, and other distance measuring means such as a monocular camera, millimeter wave, and vehicle detecting means may be used.
  • the system may be configured in combination.
  • the side rear image in the direction of the blinker turned on may be displayed or the superimposed image may be superimposed and displayed on the side rear image in accordance with the driver blinker operation timing.
  • the color of the superimposed image may be sequentially changed according to the distance to the other vehicle, for example, blue to yellow to red as the distance approaches.
  • the relative speed of the other vehicle is calculated from the time change of the distance of the other vehicle, and the colors of the superimposed images are sequentially changed in colors such as blue to yellow to red according to the relative speed of the other vehicle, for example, as the relative speed increases. It may be changed. It is also possible to convey the degree of urgency by changing the color of the superimposed image in the same manner depending on the combination of distance and relative speed.
  • the maximum number of displayed frames can be changed depending on the relative speed of the other vehicle. For example, when the relative speed of the other vehicle based on the host vehicle speed is less than 10 km / h, a maximum of five frames may be used, and when the relative speed is greater than or equal to 10 km / h and less than 30 km / h, a maximum of seven frames may be used.
  • the names driving support device and driving support method are used.
  • the device is a driving support system, an electronic mirror system, and the method is a vehicle information display method. Also good.
  • each component constituting the driving support device for example, the type of the distance measurement unit, the vehicle detection method of the vehicle detection unit, and the superimposed image generation method of the superimposed image generation unit are limited to the above-described embodiments. Absent.
  • the driving support method described above is also realized by a program for causing this driving support method to function.
  • This program is stored in a computer-readable recording medium.
  • the driving support device and the driving support method according to the present invention are useful as an electronic mirror system that presents an image of a vehicle rear side area photographed by a camera to a driver. In addition, it can be applied to applications such as driving support devices for all vehicles.

Abstract

　ドライバーが側後方の他車両までの距離をより直感的に正しく判断することができる運転支援装置、運転支援方法及びプログラムを提供すること。運転支援装置(１００)は、自車両の側後方画像を撮影する撮像部(１１０)と、自車両と他車両の距離を測定する距離測定部(１２０)と、撮影された画像中の他車両を検出する車両検出部(１３０)とを備え、重畳画像生成部(１４０)は、自車長情報記憶部(１５０)に記憶されている自車長情報と距離測定部(１２０)により検出された他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する。表示画像生成部(１６０)は、撮影された側後方画像を含む側周囲画像上に、生成された重畳画像を合成して、ドライバーの前方視界を妨げない位置に設置された表示部(１７０)に表示する。

Description

運転支援装置、運転支援方法及びプログラム
　本発明は、運転支援装置、運転支援方法及びプログラムに係り、詳細には、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する運転支援装置及び運転支援方法に関する。
　近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。特に、車両の駐車支援システムでは、広角レンズ搭載のカメラを搭載することにより、運転席からは直接見ることのできない後方の死角領域を含む領域をドライバーが確認しながら駐車が可能である。
　特許文献１には、車両の進行方向（後退方向）の車幅のガイド線を引き、ガイド線を所定の距離おきに結んだはしご状の図形を重畳表示する駐車補助装置が記載されている。特許文献１記載の装置は、例えばステアリングセンサによって検出されたステアリング角度に応じて走行予想軌跡を重畳表示する。
　特許文献２には、車線変更時の運転支援として、距離、又は相対速度に基づいて決定された路面上の危険領域、注意領域、安全領域の境界位置にガイド線（モニタを横断する横線）を重畳表示する運転支援装置が記載されている。
　ところで、車載カメラを活用した他のシステムとして、電子ミラーシステムがある。電子ミラーシステムは、従来はサイドミラーや目視によって確認していた側方から後方にかけての領域（以降、側後方と称する）の状況を、カメラで撮影した側後方画像を車内のモニタに表示する。電子ミラーシステムは、従来はドライバーにとって首や腰を回す角度の大きかったサイドミラー確認と側後方の目視確認が、運転席近傍の表示を確認するだけで可能になる。また、広角のレンズの使用と前方視界近傍へのモニタ配置とすることで、車線変更時にも、前方視界近傍の電子ミラーを確認するだけで側後方の安全確認が可能になる。
　しかし、電子ミラーシステムにおいて、モニタに表示された側後方の画像は、サイドミラー介して見た側後方の虚像と比較すると立体感に乏しく、単に撮影した画像を表示するだけでは隣接車線上の車両との距離が測りにくい。車線変更時には、隣接車線に存在する車両の有無と、他車との距離、相対速度を瞬時に把握できる必要がある。
　特許文献３には、側後方画像上にドライバーの視点で自車両から危険度を示す目印、所定距離後方の位置に目印を表示して、ドライバーの距離判断を支援する運転支援装置が記載されている。特許文献３記載の装置は、側後方画像を見たときに、画像内に映っている他車両の付近に重畳表示されている目印を読み取ることにより、自車両から他車両までの距離をほぼ正確に知ることができる。
特開２００４－１４２７４１号公報 特開２００６－５１８５０号公報 特開２００７－３３４５６６号公報
　しかしながら、このような従来の運転支援装置にあっては、以下のような課題がある。
　（１）特許文献１記載の装置では、走行時の車線変更に適用した場合、単純に一定の距離おきのはしご状図形の表示を行っただけでは他車との距離が直感的に把握できない。例えば、３ｍおきのはしご状表示の５～６本目の間に車両の存在が分かった場合、ドライバーは、３ｍ／本×４本＝１２ｍというような距離の換算が必要である。また、自車後端からある程度以上の距離にある遠方の車両は、重畳表示の図形により隠されてしまい、車両の存在に気付きにくくなる。
　（２）特許文献２記載の装置では、広角で撮影した側後方の画像は車線が斜め方向に走るため、横一直線状のガイド線では画像中の車両とガイド線の位置関係が分からず、他車との距離を直感的に把握することが困難である。
　（３）特許文献３記載の装置では、自車両から他車両までの距離をメートル単位で表示するため、ドライバーにとって直感的に分かりにくいという課題があった。例えば、車線変更を行う際に、画面上で距離が１０ｍと表示されても、その１０ｍという距離が自車両のすぐ後ろで車線変更できない距離なのか、ある程度余裕があって車線変更が可能な距離なのかを判断するのは直感的には難しい。
　いずれにしても、電子ミラーシステムは、広角の映像によって死角がなくなるという利点に引き換え、画像の歪みが大きく、距離感が掴みにくいという課題がある。例えば、高速道路を走行中、ドライバーが車線変更をする場合、電子ミラーシステムによって表示された側後方画像を見て車線変更が可能であるかを判断し、行動する必要がある。このとき、側後方画像の中に車両が映っている場合でも、単なる側後方画像の表示では、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを瞬時に認識することは困難である。
　本発明の目的は、ドライバーが周囲の他車両までの距離をより直感的に正しく判断することができる運転支援装置、運転支援方法及びプログラムを提供することである。
　本発明の運転支援装置は、自車両の周囲画像を撮影する撮影手段と、撮影された画像中の他車両を検出する車両検出手段と、自車両と前記他車両の距離を検出する距離検出手段と、自車両の全長を自車長情報として記憶する自車長情報記憶手段と、前記自車長情報記憶手段に記憶されている自車長情報と前記距離検出手段により検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する重畳画像生成手段と、前記撮影された周囲画像上に、前記重畳画像生成手段により生成された重畳画像を合成して表示画像を生成する表示画像生成手段と、自車両に設置され、かつ前記表示画像生成手段により生成された表示画像を表示する表示手段と、を備える構成を採る。
　本発明の運転支援方法は、自車両の周囲画像を撮影するステップと、撮影された画像中の他車両を検出するステップと、自車両と前記他車両の距離を検出するステップと、自車両の全長を自車長情報として予め記憶するステップと、前記自車長情報と検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成するステップと、前記撮影された周囲画像上に、生成された前記重畳画像を合成して表示画像を生成するステップと、生成された前記表示画像を表示するステップとを有する。
　また他の観点から、本発明は、上記運転支援方法の各ステップをコンピュータに実行させるためのプログラムである。
　本発明によれば、画像中に存在する他車両との距離を、自車長を長さの基準単位とした距離情報を視覚化することにより、ドライバーはより直感的に他車両との距離を把握することができる。これにより、ドライバーは車線変更時の距離、相対速度把握をより直感的に、早く確実に行うことができる。また、ドライバーは側後方の状況を確認すると同時に他車両までの距離を直感的に把握することができ、車線変更の動作をより正確に行えるようになる。
本発明の実施の形態１に係る運転支援装置の構成を示すブロック図 上記実施の形態１に係る運転支援装置を搭載した自車周辺の状況を示す図 上記実施の形態１に係る運転支援装置の動作を示すフロー図 上記実施の形態１に係る運転支援装置の表示画像生成部により合成された表示画像の一例を示す図 上記実施の形態１に係る運転支援装置の重畳画像の作成過程を示す図 上記実施の形態１に係る運転支援装置の重畳画像の作成過程を示す図 本発明の実施の形態２に係る運転支援装置の重畳画像の作成過程を示す図 上記実施の形態２に係る運転支援装置の重畳画像の例を示す図 本発明の実施の形態３に係る運転支援装置の動作を示すフロー図 上記実施の形態２に係る運転支援装置の車両検出部により複数台の車両が検出されている場合の例を示す図 本発明の実施の形態４に係る運転支援装置の動作を示すフロー図 本発明の実施の形態５に係る運転支援装置の構成を示すブロック図 上記実施の形態５に係る運転支援装置の動作を示すフロー図 上記実施の形態５に係る運転支援装置の撮像部に対応した画像生成処理を示すフロー図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図 上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る運転支援装置の構成を示すブロック図である。本実施の形態は、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する電子ミラーシステムに適用した例である。
　図１に示すように、運転支援装置１００は、撮像部１１０、距離測定部１２０、車両検出部１３０、重畳画像生成部１４０、自車長情報記憶部１５０、表示画像生成部１６０、及び表示部１７０を備えて構成される。
　撮像部１１０は、車両周辺の画像を取得するための可視光又は赤外光用のステレオのカメラである。撮像部１１０は、撮影した画像を、側後方画像については左右反転した上で、電子ミラーシステムのベース画像として使用するために表示画像生成部１４０と距離測定部１２０へ転送する。撮像方式は主にＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサが用いられる。また、特に広角のレンズを使用した場合、撮影した画像に歪みが発生することがある。撮像部１１０では、そのような歪みの補正も行う。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示生成部へ転送する画像はそのどちらか１枚でよい。
　距離測定部１２０は、撮像部１１０によって撮影された２枚からなるステレオ画像を基にして、画像内の各画素の距離を算出する。ステレオ画像による測距アルゴリズムとしてはＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）などを使用する。
　車両検出部１３０は、距離測定部１２０によって生成される距離画像の中に存在する他車両を、物体検出アルゴリズムを用いて検出する。ステレオカメラであれば、視差を利用した方式や平面投影ステレオ法など、公知のアルゴリズムが存在するため、それらを使用することが可能である。車両検出部１３０は、このような物体検出アルゴリズムを利用して車両を検出する。
　重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出し、算出した距離を基に重畳画像を生成する。重畳画像は、ドライバーの距離把握を支援するために側後方画像を含む周囲画像上又はその近傍に配置して表示する画像である。
　自車長情報記憶部１５０は、車種ごとに固有で持っている自車長情報を記憶している。自車長情報は、自車の車長を基準にした情報であり、予め固定的に記憶されていてもよいし、入力インタフェースを介して外部からの入力により適宜設定されもよい。牽引を行っている場合などは、牽引物を含めて自車長と見做すことも可能である。
　表示画像生成部１６０は、撮像部１１０から転送された、ベースとなる側後方画像の上に、重畳画像生成部１４０により生成された重畳画像を合成することにより、表示部１７に表示して最終的にドライバーに見せる画像を生成する。
　表示部１７０は、車両に設置されたディスプレイなどであり、表示画像生成部１６０により生成された画像を表示する。表示部１７０は、ドライバーの前方視界を妨げない位置に設置される。ディスプレイの種類は、液晶ディスプレイ、有機ＥＬ（Organic Electro-Luminescence）などの自発光ディスプレイ、蛍光管ディスプレイ、レーザーディスプレイ、又はそれらに光学系とコンバイナ（仮想と実画像を同一の距離に表示するスクリーン）を組み合わせたＨＵＤ（Head-Up Display）でもよい。
　上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。すなわち、運転支援装置１００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が運転支援装置１００の各部の動作を制御する。図１の各部は、制御部が実行する運転支援処理を行うブロックとして明示したものである。
　以下、上述のように構成された運転支援装置１００の動作を説明する。
　図２は、運転支援装置１００を搭載した自車周辺の状況を示す図である。
　図２に示すように、自車両１１１は、サイドミラー上部に側後方を向いてカメラ１１２Ｌ，１１２Ｒが設置される。カメラ１１２Ｌ，１１２Ｒは、運転支援装置１００の撮像部１１０に対応する。カメラ１１２Ｌ，１１２Ｒは、カメラによる視界１１３Ｌ，１１３Ｒ内の画像を撮影する。カメラによる視界１１３Ｌ，１１３Ｒ内には、他車両１１４が撮影されている。
　自車両１１１は、サイドミラー位置にカメラ１１２Ｌ，１１２Ｒが設置された状態で３車線道路の真ん中の車線を走行しており、カメラ１１２Ｌ，１１２Ｒによってリアルタイム（例えば３０ｆｐｓ）で画像が撮影されている。カメラ１１２Ｌ，１１２Ｒにより撮影された画像は、撮像部１１０内の信号処理回路（図示略）においてフレーム単位で処理され、表示画像生成部１６０を経由して、運転席近傍の表示部１７０によってドライバーに提示される。このような状態での一連の流れを、図３を参照しながら説明する。
　図３は、運転支援装置１００の動作を示すフローチャートである。図中Ｓはフローの各ステップを示す。
　ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。その際、撮像部１１０の視界の明るさに応じたゲインのコントロールを行っている。また、特に広角レンズを用いている場合には画像の歪みが大きくなるため、撮像部１１０の設置位置、画角、向きなどに応じた歪みの補正を行ってもよい。
　ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
　ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
　画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ７に進む。
　ステップＳ７では、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。ここでは、重畳画像生成部１４０は、重畳画像としては何も生成していない。表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
　ステップＳ８では、表示部１７０は、側後方画像そのものの画像を表示して本フローを終了する。
　次に、図２においてドライバーが右の隣接車線へ車線変更しようとしているときに、隣接車線上に他車両１１４が徐々に接近してきている場合の動作について説明する。
　この場合にも、ステップＳ１で撮像部１１０は、ステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。ステップＳ２で距離測定部１２０は、距離を測定し、ステップＳ３で車両検出部１３０は、車両を検出する。この場合、車両検出部１３０は、図２に示す他車両１１４を検出してステップＳ４に進む。
　ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、次式（１）のように表される。
　Ｄ＝（ｄ２－ｄ１）／Ｌ　…（１）
　ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
　ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
　ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
　図４は、表示画像生成部１６０により合成された表示画像の一例を示す図である。
　図４に示すように、表示部１７０（図１）の表示画面２００には、自車両から右側後方を見た場合の側後方画像２１０と、側後方画像２１０中の他車両１１４と、重畳画像２２０とが合成して表示される。
　重畳画像２２０は、自車長を距離の基準単位とする枠の連なりで表示される。より具体的には、重畳画像２２０は、道路の幅方向に平行な線分２２１と、道路方向に平行な線分２２２とから構成される少なくとも一つ以上の枠の連なりである。重畳画像２２０は、枠の連なりで表示される場合、ドライバー視点で側後方画像２１０上の自車線に隣接する車線の路面上に表示される。また、重畳画像２２０は、側後方画像２１０中の自車両後端の位置を起点とし、ドライバー視点で後方に向かって所定数（図４では５）だけ連なる。
　ここで、重畳画像２２０は、他車両１１４までの距離が、枠の連なりによって表される距離内に含まれる場合にのみ、枠の連なりを表示してもよく、ドライバー視点で前記他車両までの距離より手前に存在する枠のみを表示してもよい。
　また、図４に示すように、ドライバー視点で他車両までの距離より手前に存在する枠を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、この線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。この重畳画像２２０は、他車両１１４までの距離が直感的に把握することができ、かつ他車両１１４より以遠は、自車長線分が表示されつつも簡略化されていることにより視認性を向上させることができる。
　次に、重畳画像の具体的な生成方法及び表示方法について説明する。
　図５及び図６は、重畳画像の作成過程を示す図である。
　図５に示すように、自車両１１１の走行する自車線の右に隣接する車線上、右側後方を写すカメラ１１２Ｒの視界１１３Ｒの中に、自車両後端のライン１２１を基準として後方に向けて連なった枠２２０ａを想定する。この場合、この枠２２０ａが重畳画像２２０（図４参照）である。ここでは、枠２２０ａの連なりを自車両の５台分遠方までの奥行きとし、枠２２０ａは自車両に対する内側の線分１２２－１，１２２－２，…，１２２－５、外側の線分１２３－１，１２３－２，…，１２３－５、自車長を単位として等距離に並んだ距離ライン１２４－０，１２４－１，…，１２４－５から構成される。
　このように想定した枠２２０ａの連なりに対して、ある時点で図６に示すように、自車長を単位として自車両後端から１．１台分の距離に他車両１１４が検出されたとする。この場合、他車両１１４より後方の外側の線分すなわち図５の１２３－２，１２３－３，１２３－４，１２３－５は重畳画像には使用しない。また、他車両１１４より後方の距離ラインすなわち図５の１２４－２，１２４－３，１２４－４，１２４－５は、内側の線分に接続する一部を除いて使用しない。これを平面上で具体的に表すと、重畳画像２２０の支援情報２２３となる。
　上記支援情報２２３を、カメラ１１２Ｒからの視点の画像に変換し、側後方画像２１０（図４参照）に重畳する重畳画像２２０とする。距離測定部１２０は、画像上の各画素に対応する距離を算出する。重畳画像生成部１４０は、測定距離を基に、隣接車線上の路面上に支援情報２２３に対応する画像を生成する。図４に示すような表示画像２２０が生成される。
　以上詳細に説明したように、本実施の形態の運転支援装置１００は、自車両の側後方画像を撮影する撮像部１１０と、自車両と他車両の距離を測定する距離測定部１２０と、撮影された画像中の他車両を検出する車両検出部１３０とを備え、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と距離測定部１２０により検出された他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する。表示画像生成部１６０は、撮像部１１０により撮影された側後方画像を含む周囲画像上に、重畳画像生成部１４０により生成された重畳画像を合成して、ドライバーの前方視界を妨げない位置に設置された表示部１７０に表示する。
　この構成により、ドライバーは、自車長を距離の基準単位とする重畳画像が合成された側後方画像を視認することができ、より直感的に他車両との距離を把握することが可能となる。すなわち、ドライバーは、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを、自車長単位として、例えば自車長の２．５倍分離れているなど、直感的に認識することができる。特に、電子ミラーシステムに適用した場合、電子ミラーシステムの利点（広角の映像によって死角がなくなるという利点）を活かしたまま、距離感が掴みにくいという課題を解決することができる。自車長と他車両との距離を瞬時に認識することが可能になるため、高速走行時などの距離見誤りをなくすことができ、事故の可能性を未然に防止することができる。
　また、側後方の状況を確認すると同時に他車両までの距離を直感的に把握することができ、車線変更の動作をより正確に行えるようになる。
　また、本実施の形態では、重畳画像生成部１４０は、道路の幅方向に平行な線分と、道路方向に平行な線分とから構成される少なくとも一つ以上の枠の連なりを重畳画像として生成する。枠の連なりは、側後方画像上の自車線に隣接する車線の路面上に描かれたように認識可能である。この構成により、重畳画面が側後方画像と同じ遠近感を持って視認できるため、より直感的に他車両の距離を把握することが可能になる。
　また、枠の連なりは、側後方画像中の自車両後端の位置を起点とし、側後方画像中の後方に向かって所定数だけ連なる。これにより、自車両後端からの距離が分かるため、車線変更時の他車両との距離把握をより確実に行うことが可能になる。
　また、図４に示すように、他車両までの距離が、枠の連なりによって表される距離内に含まれる場合にのみ、枠の連なりを表示する。これにより、他車両が所定の距離まで接近しなければ枠の連なりを表示しないため、注意すべき接近車両の有無が分かりやすくなる効果がある。
　また、図４に示すように、他車両までの距離より側後方画像上手前に存在する枠のみを重畳画像として生成する。これにより、側後方画像内の接近車両上にはラインがかからないため、接近車両が存在するときに接近車両の存在を容易に見分けることが可能になる。
　また、図４に示すように、他車両までの距離より側後方画像上手前に存在する枠を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、前記線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。これにより、複数の車両が連なっているときに、最も接近している車両以外の車両までのおおよその距離を測ることが可能になる。
　なお、本実施の形態において、路面に対する車両の上下運動を検出し、側後方画像上の重畳画像の位置が振動しないよう画像の表示位置を制御してもよい。
　また、自車速に対する他車両の相対速度を算出する相対速度算出部をさらに備え、重畳画像生成部１４０は、相対速度を示す重畳画像を生成する。例えば、相対速度の大きさによって、相対速度の大きさを示す矢印などの画像を追加表示してもよい。このように構成すれば、距離と同時に相対速度も視認可能であるため、車線変更などの動作を行うかどうかの判断をより短時間で行うことが可能になる。
　また、本実施の形態において、画像内の白線や路面の幅を検出することにより隣接車線の有無を検出し、隣接車線の存在する場合にのみ車両を検出するようにしてもよい。
　また、重畳画像生成部１４０が生成する重畳画像と共に、メートル単位の表示を併用してもよい。直感的な距離の把握に加えて、メートル単位による正確な距離の把握が可能になる。
　（実施の形態２）
　図７は、本発明の実施の形態２に係る運転支援装置の重畳画像の作成過程を示す図である。図８は、上記運転支援装置の重畳画像の例を示す図である。
　ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、重畳画像生成部１４０は、重畳画像生成の動作が異なる。
　図７に示すように、自車両１１１の走行する自車線の右に隣接する車線上、右側後方を写すカメラ１１２Ｒの視界１１３Ｒの中に、自車両後端のライン１２１を基準とし自車長を単位として後方に向け等距離に区切った距離ライン１２５－１，１２５－２，…，１２５－５を想定する。この場合、距離ライン１２５－１，１２５－２，…，１２５－５が重畳画像である。
　このように想定した距離ライン１２５－１，１２５－２，…，１２５－５に対して、ある時点で自車長を単位として自車両後端から例えば１．１台分の距離に他車両１１４が検出されたとする。重畳画像生成部１４０は、自車両１１１を先頭とし、路面を走行する自車両１１１と他車両１１４を側面から見た簡易画像を生成する。図８は、側面から見た自車両１１１及び他車両１１４の簡易画像と、自車長ごとの格子２２０ｂで示される重畳画像を示す図である。
　上述したように、重畳画像は、自車両を示すシンボルを先頭とし、自車長を単位とした、例えば５台分後方までの他車両を表示する画像である。自車両を示すシンボルは、自車両の車種（例えば乗用車）に対応するシンボルである。自車両シンボルの後方には、自車両後端を基準として自車長ごとに格子２２０ｂが表示されており、検出された他車両との実際の距離が変化すると、距離の変化に比例して重畳画像中の他車両は格子２２０ｂの中を移動する。重畳画像において、自車両の向きは右向き（左カメラ画像の場合には左向き）である。
　他車両１１４がさらに自車両１１１に近く、自車両後端よりも近付いた場合には他車両シンボルを自車両シンボルの上に重ねた形で表示する。この場合は、他車両１１４が自車両１１１に対して追い越しをかける状況である。
　図７の表示と図８の表示は、同時に表示することが好ましい。図７の表示と図８の表示を切替えて表示する態様でもよい。
　このように、本実施の形態によれば、重畳画像生成部１４０は、自車長単位の長さの区切りを有し、かつ車両横方向からみた線分と、線分上にシンボル表示される自車両及び他車両とからなる重畳画像を生成する。すなわち、重畳画像生成部１４０は、自車両シンボルを最前部として、後方の空間を自車長の長さで区切り、隣接車線上の他車両までの距離に応じて他車両のシンボルを生成する。この構成により、進行方向に対して車両の位置関係を横方向から視覚的に把握できるため、車両間の距離把握がより直感的に行えるようになる。
　また、図７に示すように、重畳画像生成部１４０は、自車両後端の位置を起点とし、自車両シンボル後端からの長さに比例させて他車両までの距離を示す重畳画像を生成するので、自車両シンボルと他車両シンボル間の相対距離のリアルタイムな変化を視覚的に捉えることができるため、位置関係の変化をより直感的に把握することができる。
　また、他車両の前端が前記自車両の後端より前方にある場合には、他車両のシンボルを表示せず、自車両のシンボルを強調表示させるようにしてもよい。このようにすれば、他車両シンボルを表示しないため、単に自車両と他車両を重ねて表示する場合と比べて、ドライバーに、より一層注意を喚起することができ、危険を伝えることができる。
　また、前方方向を、側後方画像を撮影する撮像部の向きと同じ方向に採ることで、対応する他車両の動きが略同一方向になるため、自車両と他車両の位置関係をより直感的に把握することが可能になる。
　また、自車両と他車両をシンボル表示とすることで、自車両と他車両の位置関係をより直感的に把握することが可能になる。
　なお、本実施の形態において、他車両が自車両後端よりも近付いた場合には、他車両のイメージ画像に点滅や着色などの強調表示を行ってもよい。
　また、本実施の形態において、複数の他車両が同時に検出される場合には、複数の他車両について他車両シンボルを表示してもよい。また、他車両のボディの色を検知し、対応する他車両シンボルのボディの色を検知された色で着色してもよい。
　また、自車、他車両を上方向から見たときの位置関係を示す重畳画像として表示することも可能である。
　さらに、自車両と他車両の重畳画像を横方向ではなく縦方向の画像として生成することも可能である。
　（実施の形態３）
　図９は、本発明の実施の形態３に係る運転支援装置の動作を示すフローチャートであり、複数台の車両の検出を考慮した処理フローを示す。図３と同一処理ステップには同一符号を付している。
　ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、車両検出部１３０は、距離測定結果を基に複数台の他車両を検出する。重畳画像生成部１４０は、さらに最も接近している車両に対して重畳画像を生成する。
　ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示画像生成部へ転送する画像はそのどちらか１枚でよい。
　ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
　ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
　画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ７に進む。
　ステップＳ７では、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。ここでは、重畳画像生成部１４０は、重畳画像としては何も生成していない。表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
　ステップＳ８では、表示部１７０は、側後方画像そのものの画像を表示して本フローを終了する。
　一方、上記ステップＳ３で車両検出部１３０は、車両（他車両）を検出した場合、ステップＳ１１に進む。
　ステップＳ１１では、重畳画像生成部１４０は、検出した車両の台数が１台（検出車両の台数＝１）か否かを判別する。
　検出車両の台数が複数台の場合は、ステップＳ１２で重畳画像生成部１４０は、検出車両のうち、距離測定結果を基に自車両に最も接近している車両を選択してステップＳ４に進む。例えば、後述する図１０に示すように、検出車両１１４Ａ，１１４Ｂのうち、自車両に最も接近している他車両１１４Ａを選択する。検出車両の台数が１台の場合は、そのままステップＳ４に進む。
　ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、前記式（１）のように表される。
　ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
　ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
　ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
　図１０は、車両検出部１３０により複数台の車両が検出されている場合の例を示す図である。図１０は、図４に対応する図である。
　図１０に示すように、表示部１７０（図１）の表示画面２００には、自車両から左側後方を見た場合の側後方画像２１０と、側後方画像２１０中の他車両１１４Ａ，１１４Ｂと、重畳画像２２０とが合成して表示される。
　重畳画像２２０は、自車長を距離の基準単位とする枠の連なりで表示される。より具体的には、重畳画像２２０は、道路の幅方向に平行な線分２２１と、道路方向に平行な線分２２２とから構成される少なくとも一つ以上の枠の連なりである。重畳画像２２０は、枠の連なりで表示される場合、ドライバー視点で側後方画像２１０上の自車線に隣接する車線の路面上に表示される。また、重畳画像２２０は、側後方画像２１０中の自車両後端の位置を起点とし、ドライバー視点で後方に向かって所定数（図４では５）だけ連なる。
　ここで、重畳画像２２０は、自車両に最も接近している他車両１１４Ａまでの距離が、枠の連なりによって表される距離内に含まれる場合にのみ、枠の連なりを表示してもよく、ドライバー視点で前記他車両までの距離より手前に存在する枠のみを表示してもよい。
　また、図１０に示すように、ドライバー視点で他車両までの距離より手前に存在する枠を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、この線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。この重畳画像２２０は、自車両に最も接近している他車両１１４Ａまでの距離が直感的に把握することができ、かつ他車両１１４Ａより以遠は、自車長線分が表示されつつも簡略化されていることにより視認性を向上させることができる。
　このように、本実施の形態によれば、複数の他車両が同時に検出される場合には、最も近い車両を対象として重畳画像を生成する。これにより、例えば隣接車線上の車両より手前に別の車両が割り込んできた場合にも、対応可能となる。
　（実施の形態４）
　図１１は、本発明の実施の形態４に係る運転支援装置の動作を示すフローチャートであり、複数台の車両検出及び自車後端より近い車両を考慮した処理フローを示す。図９と同一処理ステップには同一符号を付している。
　ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、車両検出部１３０は、距離測定結果を基に複数台の他車両を検出する。重畳画像生成部１４０は、さらに自車後端より遠い車両に対して重畳画像を生成する。
　ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示画像生成部へ転送する画像はそのどちらか１枚でよい。
　ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
　ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
　画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ２１に進む。
　上記ステップＳ３で車両検出部１３０は、車両（他車両）を検出した場合、ステップＳ１１に進む。
　ステップＳ１１では、重畳画像生成部１４０は、検出した車両の台数が１台（検出車両の台数＝１）か否かを判別する。
　検出車両の台数が複数台の場合は、ステップＳ１２で重畳画像生成部１４０は、検出車両のうち、距離測定結果を基に自車両に最も接近している車両を選択してステップＳ４に進む。例えば、図１０に示すように、検出車両１１４Ａ，１１４Ｂのうち、自車両に最も接近している他車両１１４Ａを選択する。検出車両の台数が１台の場合は、そのままステップＳ４に進む。
　ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、前記式（１）のように表される。
　上記ステップＳ６で重畳画像を生成しなかった場合、あるいは上記ステップＳ４で自車長単位の距離を算出した場合は、ステップＳ２１に進む。
　ステップＳ２１では、重畳画像生成部１４０は、自車両に接近している他車両が自車後端より遠いか否かを判別する。
　自車両に接近している他車両が自車後端より近い、すなわち他車両が自車両を追い越している状況の場合は、ステップＳ２２で重畳画像生成部１４０は、重畳画像を生成せずにステップＳ５に進む。上記ステップＳ２１で自車両に接近している他車両が自車後端より遠い場合は、そのままステップＳ５に進む。
　ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
　ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
　ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
　このように、本実施の形態によれば、他車両が自車後端より近い場合には、重畳画像を生成しない。これにより、例えば他車両が自車両を追い越している状況の場合にも、対応可能となる。
　（実施の形態５）
　上記各実施の形態１乃至４は、自車両の周囲画像の一例として、側後方画像を例に採り説明した。自車両の周囲画像であればよく、側前方画像も同様の手法で実現可能である。また、側後方画像と側前方画像が組み合わされてもよい。以下、実施の形態５により説明する。
　図１２は、本発明の実施の形態５に係る運転支援装置の構成を示すブロック図である。図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
　図１２に示すように、運転支援装置３００は、撮像部３１０、距離測定部３２０、車両検出部１３０、重畳画像生成部１４０、自車長情報記憶部１５０、車線変更検出部３３０、表示画像選択部３４０、表示画像生成部１６０、及び表示部１７０を備えて構成される。
　撮像部３１０は、車両周辺の複数の画像を取得するための可視光又は赤外光用のステレオのカメラである。撮像部１１０は、撮影した複数の画像のうち、側後方画像については左右反転した上で、それ以外の画像については左右反転を行わずに、電子ミラーシステムのベース画像として使用するために表示画像選択部３４０と距離測定部３２０へ転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示選択部へ転送する画像はそのどちらか１枚でよい。また、撮像部３１０は、車両周辺の複数の画像を取得する構成であればどのような構成でもよい。例えば、第１の構成として、撮像部３１０は、複数のカメラを、車両の前後、左右、及び／又はバックミラー等に設置する。第２の構成として、撮像部３１０は、車両周辺を１又は複数のカメラで広範囲で撮影し、広範囲撮影した画像から車両の側後方・前方の所定領域を切り出して車両周辺の複数の画像を取得する。上記第１の構成と第２の構成とを併用してもよい。
　距離測定部３２０は、撮像部３１０によって撮影された２枚からなるステレオ画像を基にして、複数の画像内の各画素の距離を算出する。ステレオ画像による測距アルゴリズムとしてはＳＡＤやＳＳＤ、ＮＣＣなどを使用する。
　車両検出部１３０は、距離測定部３２０によって生成される距離画像の中に存在する他車両を、物体検出アルゴリズムを用いて検出する。ステレオカメラであれば、視差を利用した方式や平面投影ステレオ法など、公知のアルゴリズムが存在するため、それらを使用することが可能である。
　車線変更検出部３３０は、自車両が車線変更する車線変更の意図を検出する。具体的には、車線変更検出部３３０は、車両の走行制御部（図示略）から、追い越しのための方向指示器のウィンカ信号を入力する。車線変更検出部３３０は、車両走行中に車両の走行制御部（図示略）からウィンカ信号が入力されると、車線変更の意図があると判断する。その他の方法として、車線変更検出部３３０は、ナビゲーションシステム（図示略）の経路案内に基づいて、その経路案内情報を解析するか、予め策定されている経路案内情報内のタグを入力して、車両がその経路案内に沿って走行することを想定して車線変更の意図があると判断する。
　表示画像選択部３４０は、撮像部３１０が撮像した複数の画像から、表示する画像を選択する。詳細については、後述する。
　上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。すなわち、運転支援装置３００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が運転支援装置３００の各部の動作を制御する。図１２の各部は、制御部が実行する運転支援処理を行うブロックとして明示したものである。
　以下、上述のように構成された運転支援装置３００の動作を説明する。
　本実施の形態の運転支援装置３００は、撮像部３１０に含まれるカメラが複数設けられ、車線変更検出部３３０と、表示画像選択部３４０と有する点に特徴がある。
　表示画像選択部３４０は、撮像部３１０に含まれる複数のカメラが取得した画像から表示する画像を選択する。
　表示画像選択部３４０の動作について説明する。
　本実施の形態のシステムは、車線変更動作の有無によって、表示の動作が変わる。車線変更動作の有無は、車線変更検出部３３０が、方向指示器もしくはナビの経路案内に基づいて判断する。車線変更動作のない場合、運転支援装置３００は、注意判定条件を満たす車両の存在する全画像を表示する。注意判定条件は、自車からの距離、接近速度、もしくはＴＴＣ（Time To Collision）、又はそれらの組み合わせに基づいて判定する。なお、最も注意の必要な画像のみを選択表示してもよい。
　一方、車線変更動作のある場合、運転支援装置３００は、車線変更先車線に注意判定条件を満たす車両を検知したとき、より深く注意すべき車両の画像のみを表示する。なお、最も注意の必要な画像のみを選択表示してもよい。
　図１３は、運転支援装置３００の動作を示すフローチャートである。図１４は、図１３のフローの撮像部３１０に対応した画像生成処理を示すフローチャートである。図３と同一処理ステップには同一符号を付している。
　ステップＳ３１では、運転支援装置３００は、撮像部３１０が撮影した車両周辺の複数の画像について、図１４に示す画像生成処理を実行する。例えば、撮像部３１０は、複数のカメラ（各撮像部１，２，…，ｎ）により撮影した車両周辺の複数の画像について画像を生成する。
　ステップＳ３２では、表示画像生成部１６０は、各重畳画像に対応する表示画像を生成する。詳細には、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。車両検出部１３０において車両が検出されない場合には、重畳画像生成部１４０は、重畳画像としては何も生成しない。その場合、表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
　ステップＳ３３では、表示画像選択部３４０は、画像１，２，…，ｎのうち最も注意を必要とする車両のある画像はどれかを判別する。
　詳細には、表示画像選択部３４０が、撮像部３１０から転送された車両周囲画像の中で、選択条件に合致する画像を選択画像として選択する。例えば、自車両周辺が図１５乃至図２８のような状況であり、表示画像選択条件が「自車両からの距離が最も小さい車両を表示する」である場合には、前方右の車両の距離が最も小さいため、画像１（前方右方向の車両の映った画像を画像１とする）が選択される。表示画像選択部３４０による判断条件例は、下記がある。
　例１）　自車からの距離が１０ｍ未満の車両
　例２）　自車からの距離が２０ｍ未満の車両、かつ、自車に対して相対速度が２ｍ／ｓ以上接近の車両又は自車からの距離が５ｍ未満の車両
　例３）　ＴＴＣが５ｓ以下の車両又は自車からの距離が自車長の３台分以下の車両
　ステップＳ３４では、表示部１７０は、表示画像選択部３４０により選択された最も注意を必要とする車両のある画像を表示して本フローを終了する。
　ここで、車線変更時を条件とする場合には、上記ステップ３４の中で車線変更検出部３３０の検出結果に基づいて画像を選択する。
　上記ステップＳ３１の画像生成処理の詳細を、図１４に示す。
　図１４に示すように、ステップＳ１では、撮像部３１０は、設定されたタイミングでステレオ画像を取得し、距離測定部３２０と表示画像選択部３４０に転送する。その際、撮像部３１０の視界の明るさに応じたゲインのコントロールを行っている。また、特に広角レンズを用いている場合には画像の歪みが大きくなるため、撮像部３１０の設置位置、画角、向きなどに応じた歪みの補正を行ってもよい。
　ステップＳ２では、距離測定部３２０は、ステレオ画像から距離画像を生成することで距離を測定する。
　ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
　車両を検出した場合、ステップＳ４で重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。
　ステップＳ５では、重畳画像生成部１４０は、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成して図１３のステップＳ３２に戻る。
　上記ステップＳ３で画像中に他車両が検出されない場合、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずに図１３のステップＳ３２に戻る。
　上述したように、自車両の側後方画像のみならず、自車両の周囲の車両の検出を考慮した処理フローとなっている。
　図１５乃至図２８は、運転支援装置３００の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図である。
　図１５Ａ乃至図２８Ａは、運転支援装置３００を搭載した自車周辺の状況を示す図である。図１５Ｂ乃至図２８Ｂは、運転支援装置３００の重畳画像の例を示す図である。図１５Ｃ乃至図２８Ｃは、運転支援装置３００の表示画像生成部１６０により合成された表示画像の一例を示す図である。
　図１５及び図１６は、自車両の左後方右位置に車両が存在する場合の例である。
　図１７は、自車両の前方右位置に車両が存在する場合の例である。
　図１８は、自車両の左方位置に車両が存在する場合の例である。
　図１９は、自車両の前方左右位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
　図２０は、自車両の前方左右位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
　図２１は、自車両の右前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
　図２２は、自車両の右前後位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
　図２３は、自車両の左前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
　図２４は、自車両の左前後位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
　図２５は、自車両の左右前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
　図２６は、自車両の左右前後位置に車両が存在し、後方右位置の車両が最も接近した場合の例である。
　図２７は、自車両の左右前後位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
　図２８は、自車両の左右前後位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
　例えば、図２８において、自車両１１１の左右前後位置に他車両Ａ，Ｂ，Ｃ，Ｄが存在している場合、撮像部３１０は、自車両１１１周辺の複数の画像を取得すると、車両検出部１３０は、距離測定部３２０によって生成される距離画像の中に存在する他車両Ａ，Ｂ，Ｃ，Ｄを検出する。
　重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と距離測定部３２０により検出された他車両Ａ，Ｂ，Ｃ，Ｄまでの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する。
　表示画像選択部３４０は、撮像部３１０から転送された車両周囲画像の中で、選択条件に合致する画像を選択画像として選択する。例えば、自車両１１１周辺が図２８のような状況であり、表示画像選択条件が「自車両からの距離が最も小さい車両を表示する」である場合には、前方右の他車両Ａの距離が最も小さいため、図２８Ｂに示す重畳画像が作成され、図２８Ｃに示す合成画像が表示される。
　本実施の形態は、上記各実施の形態１乃至４と同様の効果、すなわち、ドライバーは、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを、自車長単位として、直感的に認識することができる。自車長と他車両との距離を瞬時に認識することが可能になるため、高速走行時などの距離見誤りをなくすことができ、事故の可能性を低減することができる。
　以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
　例えば、上記各実施の形態では、距離を測定するのにステレオカメラを使用しているが、ステレオカメラに限定するものではなく、単眼カメラ、ミリ波など、他の距離測定手段と車両検出手段を組み合わせてシステムを構成してもよい。
　また、上記各実施の形態において、ドライバーのウィンカ動作タイミングに合わせて、ＯＮになったウィンカの方向の側後方画像を表示したり、側後方画像に重畳画像を重畳表示させるようにしてもよい。
　また、上記各実施の形態において、他車両まで距離に応じて、例えば距離が近付くにつれて青～黄～赤などの色で重畳画像の色を順次変化させてもよい。また、他車両の距離の時間変化から他車両の相対速度を算出し、他車両の相対速度に応じて、例えば相対速度が大きくなるに従って青～黄～赤などの色で重畳画像の色を順次変化させてもよい。また、距離と相対速度の組み合わせによって同様に重畳画像の色を変化させたりすることにより切迫度合いを伝えることも可能である。
　また、上記各実施の形態において、他車両の相対速度の大きさによって、表示される枠の最大数を変化させることも可能である。例えば、自車速を基準とした他車両の相対速度が１０ｋｍ／ｈ未満の場合には最大５つの枠、相対速度が１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満では最大７つの枠、などとしてもよい。
　さらに、上記各実施の携帯において、他の情報提示手段、例えば音や音声情報、振動などと組み合わせた提示を行うことも可能である。また、メートル表示を併用可能である。
　また、本実施の形態では、運転支援装置及び運転支援方法という名称を用いたが、これは説明の便宜上であり、装置は運転支援システム、電子ミラーシステム、方法は車両情報表示方法等であってもよい。
　さらに、上記運転支援装置を構成する各構成部、例えば距離測定部の種類、車両検出部の車両検出方法など、さらには重畳画像生成部の重畳画像生成方法などは前述した実施の形態に限られない。
　以上説明した運転支援方法は、この運転支援方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
　２００９年４月２３日出願の特願２００９－１０５３０５の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明に係る運転支援装置及び運転支援方法は、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する電子ミラーシステムとして有用である。また、あらゆる車両の運転支援装置などの用途にも応用することができる。
　１００，３００　運転支援装置
　１１０，３１０　撮像部
　１２０，３２０　距離測定部
　１３０　車両検出部
　１４０　重畳画像生成部
　１５０　自車長情報記憶部
　１６０　表示画像生成部
　１７０　表示部
　３３０　車線変更検出部
　３４０　表示画像選択部

Claims (14)

  1. 　自車両の側周囲画像を撮影する撮影手段と、
    　撮影された画像中の他車両を検出する車両検出手段と、
    　自車両と前記他車両の距離を検出する距離検出手段と、
    　自車両の全長を自車長情報として記憶する自車長情報記憶手段と、
    　前記自車長情報記憶手段に記憶されている自車長情報と前記距離検出手段により検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する重畳画像生成手段と、
    　前記撮影された側周囲画像上に、前記重畳画像生成手段により生成された重畳画像を合成して表示画像を生成する表示画像生成手段と、
    　自車両に設置され、かつ前記表示画像生成手段により生成された表示画像を表示する表示手段と、
    　を備える運転支援装置。
  2. 　前記自車両の側周囲画像は、前記自車両の側後方画像、及び／又は側前方画像である請求項１記載の運転支援装置。
  3. 　前記重畳画像生成手段は、
    　道路の幅方向に平行な線分と、道路方向に平行な線分とから構成される枠の連なりからなる重畳画像を生成する請求項１記載の運転支援装置。
  4. 　前記重畳画像生成手段は、
    　前記側周囲画像上の自車線に隣接する車線の路面上に描かれた前記枠の連なりからなる重畳画像を生成する請求項１記載の運転支援装置。
  5. 　前記重畳画像生成手段は、
    　前記側周囲画像中の自車両後端の位置を起点とし、後方に向かって所定数だけ連なる前記枠の連なりからなる重畳画像を生成する請求項１記載の運転支援装置。
  6. 　前記重畳画像生成手段は、
    　前記他車両までの距離が、前記枠の連なりによって表される距離内に含まれる場合に、前記枠の連なりからなる重畳画像を生成する請求項１記載の運転支援装置。
  7. 　前記重畳画像生成手段は、
    　前記他車両までの距離より手前の枠のみを重畳画像として生成する請求項１記載の運転支援装置。
  8. 　前記重畳画像生成手段は、
    　前記他車両までの距離より手前の枠より遠い枠については、道路の幅方向に平行で、自車線に近い側の線分と、前記線分に接続する垂直な線分の接続部を重畳画像として生成する請求項１記載の運転支援装置。
  9. 　前記重畳画像生成手段は、
    　自車長単位の長さの区切りを有し、かつ車両横方向からみた線分と、前記線分上にシンボル表示される自車両及び他車両とからなる重畳画像を生成する請求項１記載の運転支援装置。
  10. 　前記重畳画像生成手段は、
    　前記他車両の前端が前記自車両の後端より前方にある場合には、前記他車両のシンボルを表示せず、かつ前記自車両のシンボルを強調表示する重畳画像を生成する請求項９記載の運転支援装置。
  11. 　前記撮影手段が撮像した複数の画像から、所定選択条件に基づいて前記表示手段に表示する画像を選択する表示画像選択手段を備える請求項１記載の運転支援装置。
  12. 　前記選択条件は、自車からの距離、自車に対する相対速度、又はＴＴＣ（Time To Collision）からの情報を含む請求項１１記載の運転支援装置。
  13. 　自車両の側周囲画像を撮影するステップと、
    　撮影された画像中の他車両を検出するステップと、
    　自車両と前記他車両の距離を検出するステップと、
    　自車両の全長を自車長情報として予め記憶するステップと、
    　前記自車長情報と検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成するステップと、
    　前記撮影された側周囲画像上に、生成された前記重畳画像を合成して表示画像を生成するステップと、
    　生成された前記表示画像を表示するステップと
    　を有する運転支援方法。
  14. 　請求項１３記載の運転支援方法の各ステップをコンピュータに実行させるためのプログラム。
     
PCT/JP2010/002742 2009-04-23 2010-04-15 運転支援装置、運転支援方法及びプログラム WO2010122747A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10766809.7A EP2423901B1 (en) 2009-04-23 2010-04-15 Driving support device, driving support method and program
US13/147,730 US8559675B2 (en) 2009-04-23 2010-04-15 Driving support device, driving support method, and program
JP2011510181A JP5523448B2 (ja) 2009-04-23 2010-04-15 運転支援システム、情報表示装置、及び情報表示プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009105305 2009-04-23
JP2009-105305 2009-04-23

Publications (1)

Publication Number Publication Date
WO2010122747A1 true WO2010122747A1 (ja) 2010-10-28

Family

ID=43010875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002742 WO2010122747A1 (ja) 2009-04-23 2010-04-15 運転支援装置、運転支援方法及びプログラム

Country Status (4)

Country Link
US (1) US8559675B2 (ja)
EP (1) EP2423901B1 (ja)
JP (1) JP5523448B2 (ja)
WO (1) WO2010122747A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012003941A3 (de) * 2010-07-06 2012-04-26 Daimler Ag Verfahren und vorrichtung zur erfassung eines seitlichen umfeldes eines fahrzeuges
JP2012096637A (ja) * 2010-11-01 2012-05-24 Denso Corp 車両用表示装置
JP2012121524A (ja) * 2010-12-10 2012-06-28 Clarion Co Ltd 撮影システム
JP2015101282A (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置
WO2016027432A1 (ja) * 2014-08-21 2016-02-25 株式会社デンソー 車両用通知装置
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法
JP2018061253A (ja) * 2016-10-04 2018-04-12 フィコミロース， エセ． ア． ウ．Ｆｉｃｏｍｉｒｒｏｒｓ， Ｓ．Ａ．Ｕ． 車両運転支援システム
JP2018129668A (ja) * 2017-02-08 2018-08-16 トヨタ自動車株式会社 画像表示装置
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
JP2019101883A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 運転支援装置およびカメラモニタリングシステム
WO2019193715A1 (ja) * 2018-04-05 2019-10-10 三菱電機株式会社 運転支援装置
JP2020027468A (ja) * 2018-08-13 2020-02-20 Ｋｙｂ株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2020179271A1 (ja) * 2019-03-07 2020-09-10 パナソニックＩｐマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
JP7298063B1 (ja) * 2022-11-15 2023-06-27 Ｐｃｉソリューションズ株式会社 機械学習認識システム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5278378B2 (ja) * 2009-07-30 2013-09-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
DE102011082483A1 (de) * 2011-09-12 2013-03-14 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
CN104321665B (zh) * 2012-03-26 2017-02-22 罗伯特·博世有限公司 基于多表面模型的跟踪
CN104272345B (zh) * 2012-05-18 2016-01-06 日产自动车株式会社 车辆用显示装置和车辆用显示方法
JP5783155B2 (ja) * 2012-10-05 2015-09-24 株式会社デンソー 表示装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9280901B2 (en) * 2013-03-25 2016-03-08 E-Lead Electronic Co., Ltd. Method for displaying the vehicle safety distance
RU2542835C1 (ru) * 2013-09-05 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Московский государственный индустриальный университет" Способ контроля "слепой зоны" боковых зеркал движущегося впереди автомобиля и устройство для его осуществления
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
JP6303428B2 (ja) * 2013-11-19 2018-04-04 日本精機株式会社 車両情報投影システム
US10475242B2 (en) * 2014-01-10 2019-11-12 Aisin Seiki Kabushiki Kaisha Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image
EP3179462B1 (en) * 2014-08-04 2018-10-31 Nissan Motor Co., Ltd Device and method for calculating a position of a vehicle
DE112014007205B4 (de) * 2014-11-26 2020-12-17 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
JP6564576B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US10131356B2 (en) 2015-07-28 2018-11-20 Nissan Motor Co., Ltd. Travel control method and travel control apparatus
JP6451852B2 (ja) * 2015-07-28 2019-01-16 日産自動車株式会社 走行制御装置の制御方法および走行制御装置
RU2688553C1 (ru) * 2015-07-28 2019-05-21 Ниссан Мотор Ко., Лтд. Способ и устройство управления движением
EP3330945B1 (en) * 2015-07-28 2019-09-18 Nissan Motor Co., Ltd. Method for controlling travel control device, and travel control device
JP2017062706A (ja) * 2015-09-25 2017-03-30 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援方法及びコンピュータプログラム
JP6555058B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 車両用画像処理装置
CN108473131B (zh) * 2015-12-17 2021-04-13 日产自动车株式会社 停车辅助方法和装置
JP6209232B2 (ja) * 2016-02-19 2017-10-04 本田技研工業株式会社 車線変更支援装置
JP6607163B2 (ja) * 2016-10-07 2019-11-20 株式会社デンソー 画像処理装置
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
US11059421B2 (en) 2018-03-29 2021-07-13 Honda Motor Co., Ltd. Vehicle proximity system using heads-up display augmented reality graphics elements
US11548509B2 (en) 2018-04-11 2023-01-10 Hyundai Motor Company Apparatus and method for controlling lane change in vehicle
US11597403B2 (en) 2018-04-11 2023-03-07 Hyundai Motor Company Apparatus for displaying driving state of vehicle, system including the same and method thereof
US11173910B2 (en) * 2018-04-11 2021-11-16 Hyundai Motor Company Lane change controller for vehicle system including the same, and method thereof
US10843710B2 (en) 2018-04-11 2020-11-24 Hyundai Motor Company Apparatus and method for providing notification of control authority transition in vehicle
US11334067B2 (en) 2018-04-11 2022-05-17 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
US11084490B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for controlling drive of vehicle
US11351989B2 (en) 2018-04-11 2022-06-07 Hyundai Motor Company Vehicle driving controller, system including the same, and method thereof
EP3552902A1 (en) 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for providing a driving path to a vehicle
EP3552913B1 (en) 2018-04-11 2021-08-18 Hyundai Motor Company Apparatus and method for controlling to enable autonomous system in vehicle
US11084491B2 (en) 2018-04-11 2021-08-10 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
EP3569460B1 (en) 2018-04-11 2024-03-20 Hyundai Motor Company Apparatus and method for controlling driving in vehicle
US11077854B2 (en) 2018-04-11 2021-08-03 Hyundai Motor Company Apparatus for controlling lane change of vehicle, system having the same and method thereof
EP3552901A3 (en) 2018-04-11 2020-04-29 Hyundai Motor Company Apparatus and method for providing safety strategy in vehicle
KR20200023802A (ko) * 2018-08-27 2020-03-06 주식회사 만도 사각지대 감지 장치 및 그 사각지대 감지 방법
JP2020083070A (ja) * 2018-11-26 2020-06-04 本田技研工業株式会社 映像表示装置
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
KR20200129526A (ko) * 2019-05-09 2020-11-18 주식회사 만도 차량용 레이더 장치, 및 차량용 레이더 제어 방법과 시스템
JP7344031B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
US20210155158A1 (en) * 2019-11-22 2021-05-27 Telenav, Inc. Navigation system with lane estimation mechanism and method of operation thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796806A (ja) * 1993-09-28 1995-04-11 Hitachi Ltd 車両の周囲を監視する方法と装置、及びそれを用いた車両の運転支援システム
JPH08178679A (ja) * 1994-12-19 1996-07-12 Honda Motor Co Ltd 車載用表示装置
JP2004142741A (ja) 2003-11-25 2004-05-20 Aisin Seiki Co Ltd 駐車補助装置
JP2006051850A (ja) 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP2007334566A (ja) 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2008123215A (ja) * 2006-11-10 2008-05-29 Aisin Seiki Co Ltd 運転支援装置、運転支援方法、及び、プログラム
JP2008193339A (ja) * 2007-02-02 2008-08-21 Toyota Motor Corp 後方監視装置
JP2009105305A (ja) 2007-10-25 2009-05-14 Yamaha Corp 熱電モジュール

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275754B1 (en) * 1996-10-09 2001-08-14 Honda Giken Kogyo Kabushiki Kaisha Automatic steering system for vehicle
US7734500B1 (en) * 2001-10-17 2010-06-08 United Toll Systems, Inc. Multiple RF read zone system
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
WO2005013235A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld
DE10336638A1 (de) 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
US7466338B2 (en) * 2004-02-26 2008-12-16 Yiling Xie Wide-angled image display system for automobiles
JP4329622B2 (ja) * 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2007030700A (ja) * 2005-07-27 2007-02-08 Aisin Seiki Co Ltd 駐車支援装置
JP4380655B2 (ja) * 2006-04-25 2009-12-09 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796806A (ja) * 1993-09-28 1995-04-11 Hitachi Ltd 車両の周囲を監視する方法と装置、及びそれを用いた車両の運転支援システム
JPH08178679A (ja) * 1994-12-19 1996-07-12 Honda Motor Co Ltd 車載用表示装置
JP2004142741A (ja) 2003-11-25 2004-05-20 Aisin Seiki Co Ltd 駐車補助装置
JP2006051850A (ja) 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP2007334566A (ja) 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2008123215A (ja) * 2006-11-10 2008-05-29 Aisin Seiki Co Ltd 運転支援装置、運転支援方法、及び、プログラム
JP2008193339A (ja) * 2007-02-02 2008-08-21 Toyota Motor Corp 後方監視装置
JP2009105305A (ja) 2007-10-25 2009-05-14 Yamaha Corp 熱電モジュール

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2423901A4

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012003941A3 (de) * 2010-07-06 2012-04-26 Daimler Ag Verfahren und vorrichtung zur erfassung eines seitlichen umfeldes eines fahrzeuges
JP2012096637A (ja) * 2010-11-01 2012-05-24 Denso Corp 車両用表示装置
JP2012121524A (ja) * 2010-12-10 2012-06-28 Clarion Co Ltd 撮影システム
JP2015101282A (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置
WO2015079623A1 (ja) * 2013-11-27 2015-06-04 株式会社デンソー 運転支援装置
WO2016027432A1 (ja) * 2014-08-21 2016-02-25 株式会社デンソー 車両用通知装置
JP2016045659A (ja) * 2014-08-21 2016-04-04 株式会社デンソー 車両用通知装置
US10363871B2 (en) 2014-08-21 2019-07-30 Denso Corporation Vehicle notification apparatus
JPWO2017061230A1 (ja) * 2015-10-08 2018-09-13 日産自動車株式会社 表示支援装置及び表示支援方法
US10311618B2 (en) 2015-10-08 2019-06-04 Nissan Motor Co., Ltd. Virtual viewpoint position control device and virtual viewpoint position control method
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法
JP2018061253A (ja) * 2016-10-04 2018-04-12 フィコミロース， エセ． ア． ウ．Ｆｉｃｏｍｉｒｒｏｒｓ， Ｓ．Ａ．Ｕ． 車両運転支援システム
JP2018129668A (ja) * 2017-02-08 2018-08-16 トヨタ自動車株式会社 画像表示装置
JP2018169667A (ja) * 2017-03-29 2018-11-01 株式会社デンソー 運転情報記録システム、運転情報記録方法、及びプログラム
JP2019101883A (ja) * 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 運転支援装置およびカメラモニタリングシステム
WO2019193715A1 (ja) * 2018-04-05 2019-10-10 三菱電機株式会社 運転支援装置
CN111937055A (zh) * 2018-04-05 2020-11-13 三菱电机株式会社 驾驶辅助装置
JPWO2019193715A1 (ja) * 2018-04-05 2021-01-07 三菱電機株式会社 運転支援装置
JP2020027468A (ja) * 2018-08-13 2020-02-20 Ｋｙｂ株式会社 画像処理装置、画像処理方法及び画像処理システム
JP7129270B2 (ja) 2018-08-13 2022-09-01 Ｋｙｂ株式会社 画像処理装置、画像処理方法及び画像処理システム
WO2020179271A1 (ja) * 2019-03-07 2020-09-10 パナソニックＩｐマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
JP7298063B1 (ja) * 2022-11-15 2023-06-27 Ｐｃｉソリューションズ株式会社 機械学習認識システム

Also Published As

Publication number Publication date
EP2423901A4 (en) 2013-07-31
JPWO2010122747A1 (ja) 2012-10-25
EP2423901A1 (en) 2012-02-29
EP2423901B1 (en) 2017-03-15
JP5523448B2 (ja) 2014-06-18
US20110293145A1 (en) 2011-12-01
US8559675B2 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
JP5523448B2 (ja) 運転支援システム、情報表示装置、及び情報表示プログラム
JP5099451B2 (ja) 車両周辺確認装置
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
JP5132249B2 (ja) 車載用撮像装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
WO2011007484A1 (ja) 運転支援装置、運転支援方法及びプログラム
JP6045796B2 (ja) 映像処理装置、映像処理方法、および映像表示システム
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP7163748B2 (ja) 車両用表示制御装置
JP2009269551A (ja) 車両用表示装置
JP2008222153A (ja) 合流支援装置
JP2012040883A (ja) 車両周囲画像生成装置
JP2014129093A (ja) 車両用周辺監視装置
JP2009231937A (ja) 車両用周囲監視装置
JP2012001126A (ja) 車両用周辺監視装置
JP2008114691A (ja) 車両周辺監視装置および車両周辺監視映像表示方法
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP2011211432A (ja) 車載用撮像装置
JP2012166689A (ja) 運転支援装置
JP2008182312A (ja) 撮像画像表示装置
JP5821622B2 (ja) 障害物警報装置
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2006224927A (ja) 車両周辺視認装置
JP7378892B2 (ja) 一時停止線表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10766809

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011510181

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13147730

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2010766809

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010766809

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE