WO2014017302A1 - 車載用周囲環境認識装置 - Google Patents

車載用周囲環境認識装置 Download PDF

Info

Publication number
WO2014017302A1
WO2014017302A1 PCT/JP2013/068935 JP2013068935W WO2014017302A1 WO 2014017302 A1 WO2014017302 A1 WO 2014017302A1 JP 2013068935 W JP2013068935 W JP 2013068935W WO 2014017302 A1 WO2014017302 A1 WO 2014017302A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
image
reflection
dimensional object
Prior art date
Application number
PCT/JP2013/068935
Other languages
English (en)
French (fr)
Inventor
雅幸 竹村
玲 宇田川
彰二 村松
將裕 清原
早川 泰久
修 深田
Original Assignee
クラリオン株式会社
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社, 日産自動車株式会社 filed Critical クラリオン株式会社
Priority to EP13822459.7A priority Critical patent/EP2879109B1/en
Priority to CN201380039231.7A priority patent/CN104508722B/zh
Priority to JP2014526848A priority patent/JP6254083B2/ja
Priority to US14/417,677 priority patent/US9721460B2/en
Publication of WO2014017302A1 publication Critical patent/WO2014017302A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • G08B29/185Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to an on-vehicle ambient environment recognition device.
  • Patent Document 1 the technology described in Patent Document 1 is for extracting a high-intensity area due to road surface reflection of headlights and preventing false detection. Therefore, it is not possible to prevent an alarm from being output at an incorrect timing as a reflection of a background on a non-high luminance road surface is erroneously detected as a vehicle.
  • an in-vehicle ambient environment recognition apparatus that captures an area around a vehicle based on an image capturing unit that captures an image of a road surface around the vehicle and acquires a captured image;
  • An application execution unit that recognizes the other vehicle that is traveling and detects the relative velocity of the other vehicle with respect to the vehicle, a reflection determination unit that determines the presence or absence of a background object on the road based on the captured image, and the application
  • the alarm control unit that controls the output of the alarm signal based on the recognition result of the other vehicle by the execution unit, and the relative speed of the other vehicle when it is determined by the reflection determination unit that the background object is reflected on the road surface
  • an alarm suppression adjustment unit configured to suppress the output of the alarm signal based on the information.
  • the alarm suppression adjustment unit is a condition for the reflection determination unit to determine the presence or absence of a background object on the road surface. It is preferable to adjust the degree of suppression of the output of the alarm signal by changing the speed of the vehicle according to the relative speed of the other vehicle.
  • the in-vehicle surrounding environment recognition apparatus of the second aspect includes a region setting unit that sets a background region and a reflection region in a captured image.
  • the reflection determination unit compares the image in the background region of the captured image with the image in the reflection region of the captured image, and the correlation thereof is at least a predetermined threshold value. It is preferable to determine the presence or absence of the reflection of the background on the road surface by determining whether there is any. Moreover, it is preferable that the warning suppression adjustment unit adjust the suppression degree of the output of the warning signal by changing the threshold according to the relative speed of the other vehicle.
  • the in-vehicle surrounding environment recognition apparatus of the second aspect includes an area setting unit for setting a background area and a reflection area in a captured image, and an image in the background area of the captured image.
  • the reflection determination unit may determine the presence or absence of the background object on the road surface by comparing the feature amount of the background region with the feature amount of the reflection region.
  • the alarm suppression adjustment unit adjust the suppression degree of the output of the alarm signal by changing the detection condition according to the relative speed of the other vehicle.
  • the alarm suppression adjustment unit adjusts the condition for the application execution unit to recognize another vehicle according to the relative speed of the other vehicle It is preferable to adjust the suppression degree of the output of the alarm signal by changing it.
  • the application executing unit determines that the image information value based on the image in the detection area set in the captured image is equal to or more than a predetermined threshold. It is preferable to recognize other vehicles by determining whether there is any.
  • the warning suppression adjustment unit adjust the suppression degree of the output of the warning signal by changing the threshold according to the relative speed of the other vehicle.
  • the application execution unit detects predetermined image information value based on the image in the detection area set in the captured image. It is preferable to detect the image information value as a detection target when it satisfy
  • the alarm suppression adjusting unit determines that the reflection judging unit judges that the background is reflected on the road surface, and then the road surface is corrected. It is preferable to adjust the suppression degree of the output of the alarm signal by extending the suppression of the output of the alarm signal according to the relative speed of the other vehicle when it is determined that the background object is not reflected.
  • the alarm suppression adjustment unit satisfies the case where the relative speed of the other vehicle satisfies the predetermined speed condition.
  • the speed condition is that the relative speed of the other vehicle is within a predetermined range, and the fluctuation of the relative speed of the other vehicle is predetermined. It is preferable to include at least one of being within the range.
  • an in-vehicle surrounding environment recognition apparatus that captures an area around a vehicle based on an imaging unit that images a road surface around the vehicle and acquires a captured image, and a captured image acquired by the imaging unit.
  • a reflection judging unit which judges the recognition of the other vehicle by the application executing unit when it is judged by the reflection judging unit that the background object is reflected on the road surface.
  • FIG. 1 is a block diagram showing the configuration of a vehicle-mounted ambient environment recognition apparatus according to an embodiment of the present invention. It is a figure which shows the imaging
  • FIG. 15 It is a figure which shows the example of a functional block of a reflection determination part. It is a figure which shows the example of a functional block of an application execution part. It is a figure explaining setting of a road surface field and a background field in three dimensions. It is a figure for explaining the reduction effect of the false alarm obtained by a 1st embodiment. It is a schematic block diagram of the vehicles for explaining other vehicles recognition processing. It is a top view which shows the travel state of the vehicle of FIG. 13 (three-dimensional object detection by difference waveform information). It is a block diagram which shows the detail of an other vehicle recognition part. It is a figure for demonstrating the outline
  • FIG. 16 (a) is a top view which shows the movement state of a vehicle
  • FIG.16 (b) is an image which shows the outline of alignment. It is the schematic which shows the mode of a production
  • FIG. 25A is a plan view showing a positional relationship of a detection area etc.
  • FIG. 25B is a detection area etc. in a real space It is a perspective view which shows the positional relationship of.
  • FIG. 26A is a view for explaining the operation of the luminance difference calculation unit of FIG. 15, and FIG. 26A is a view showing a positional relationship of an attention line, a reference line, an attention point and a reference point in a bird's eye view image; ) Is a diagram showing the positional relationship between the attention line, the reference line, the attention point and the reference point in real space.
  • FIG. 27A is a diagram showing a detection area in a bird's-eye view image
  • FIG. 27B is a reference line in the bird's-eye view image
  • FIG. It is a figure which shows the positional relationship of a line, an attention point, and a reference point.
  • FIG. 28A is a diagram showing an edge line and a brightness distribution on the edge line
  • FIG. 28A is a diagram showing a brightness distribution in the case where a three-dimensional object (vehicle) exists in the detection area
  • FIG. It is a figure which shows luminance distribution in case there is no three-dimensional object.
  • the 2 which shows the solid-object detection method using the edge information performed by the viewpoint conversion part, the brightness
  • FIG. 34 (A) shows an example of differential waveform information when there are other vehicles in the detection area
  • FIG. 34 (B) shows that there is no other vehicle in the detection area and a water film is formed
  • It is a 1st flow chart which shows the control procedure of solid thing judgment in consideration of existence of a virtual image.
  • FIG. 1 is a block diagram showing the configuration of a vehicle-mounted ambient environment recognition apparatus 100 according to an embodiment of the present invention.
  • the on-vehicle ambient environment recognition apparatus 100 shown in FIG. 1 is mounted on a vehicle and used, and includes a camera 1, a control unit 2, an alarm output unit 3, and an operation state notification unit 4.
  • the camera 1 is installed toward the rear of the vehicle, and captures an image in a shooting area including the road surface behind the vehicle at predetermined time intervals.
  • an imaging device such as a CCD or a CMOS is used.
  • the photographed image acquired by the camera 1 is output from the camera 1 to the control unit 2.
  • FIG. 2 is a view showing a shooting area of the camera 1 and shows the camera 1 viewed from the side.
  • the camera 1 shoots an image including the road surface behind the vehicle in the shooting area.
  • the imaging area (field angle) of the camera 1 is set relatively wide so that the road surface behind the vehicle can be photographed in a sufficiently wide range in the left-right direction.
  • FIG. 3 is a view showing an example of the attachment position of the camera 1.
  • a license plate 21 is installed on the vehicle body 20 at the rear portion of the vehicle.
  • the camera 1 is attached obliquely downward at a position immediately above the license plate 21.
  • the attachment position shown here is an example to the last, you may attach the camera 1 to another position.
  • the present method may be used also for the side camera and the front camera.
  • the control unit 2 performs predetermined image processing using a captured image from the camera 1 and performs various controls according to the processing result.
  • Various controls such as lane recognition, other vehicle recognition, pedestrian detection, sign detection, trapping prevention detection, parking frame recognition, moving object detection, are performed in the on-vehicle surrounding environment recognition device 100 by the control performed by the control unit 2. Function is realized.
  • the alarm output unit 3 is a part for outputting an alarm such as an alarm lamp or an alarm buzzer to a driver of the vehicle.
  • the operation of the alarm output unit 3 is controlled by the control unit 2. For example, if it is determined that the vehicle is about to deviate from the lane in which the vehicle is traveling in the lane recognition described above, it may collide with the vehicle in other vehicle detection, pedestrian detection, entrainment prevention, moving object detection, etc.
  • the alarm output unit 3 outputs an alarm according to the control of the control unit 2.
  • the operation state notification unit 4 is a portion for notifying the driver of the vehicle of the operation state of the in-vehicle surrounding environment recognition device 100.
  • the controller 2 is installed near the driver's seat of the vehicle as the operating state notification unit 4. Turn on the lamp. As a result, the driver is notified that the in-vehicle surrounding environment recognition device 100 is in a non-operating state.
  • warning suppression at the time of road surface reflection performed in the in-vehicle surrounding environment recognition device 100 will be described.
  • various background objects in the background portion of the captured image may occur if the road surface is wet and the reflection coefficient is high. , May be reflected in the water film etc. formed on the road surface.
  • a background object reflected on the road surface may be erroneously detected as a recognition object, and a warning to the driver may be output at an incorrect timing.
  • the on-vehicle ambient environment recognition apparatus 100 determines the presence or absence of the reflection of the background on the road surface by the water film or the like, and suppresses the output of the alarm when it is determined that the reflection is present. As a result, the reflection of background objects on the road surface is erroneously detected as another vehicle, thereby preventing an alarm from being output at an incorrect timing.
  • FIG. 4 is a control block diagram of the control unit 2 regarding the warning suppression at the time of road surface reflection.
  • the control unit 2 controls control blocks of the area setting unit 201, the feature amount calculation unit 202, the reflection determination unit 203, the application execution unit 204, the alarm control unit 205, and the alarm suppression adjustment unit 206 with respect to alarm suppression at the time of road surface reflection.
  • each control block of FIG. 4 is realized by executing a program corresponding to each of these control blocks by a microcomputer.
  • the area setting unit 201 sets a plurality of background areas corresponding to the background area and a plurality of reflection areas on the road surface corresponding to the background area on the left and right of the photographed image acquired by the camera 1.
  • FIG. 7 is a diagram showing an example of functional blocks of the area setting unit 201.
  • the area setting unit 201 includes, for example, a road surface area setting unit 201a, a background horizontal position setting unit 201b, a reflective background area setting unit 201c, and an image area conversion unit 201d.
  • a road surface area setting unit 201a sets a road surface area of an adjacent lane to be used for other vehicle recognition with respect to a captured image acquired by the camera 1.
  • FIG. 11 is a diagram for explaining setting of the road surface area and the background area in three dimensions. As shown in FIG. 11, the road surface area setting unit 201a sets left and right processing areas 110 and 111 centered on the camera position of the host vehicle to further divide the road surface area for vehicle detection as shown in FIG. Set multiple local areas.
  • the reflective background area setting unit 201c it is possible to calculate a vector direction specularly reflected on the road surface from the host vehicle camera, it is not possible to specify which lateral position the background is from the host vehicle camera. That is, it is unknown whether the background reflected in the road surface is a nearby obstacle or a streetlight 20m away. For this reason, in the background horizontal position setting unit 201b, the horizontal position is set by setting a predetermined value.
  • the reflection background area setting unit 201c determines the lateral position 112 as shown in FIG. 11, assuming that the large wall 113 stands here, and extends the reflection vector at each vertex of the road surface local area previously obtained. , And estimate a three-dimensional position 114 that collides with the wall 113. Thereby, estimation calculation of the reflective background area is performed.
  • the image area conversion unit 201d implements which position on the image the image area is to be.
  • the feature amount calculation unit 202 calculates, for each background region and each reflection region set by the region setting unit 201, a feature amount indicating the feature of the image in each of these regions.
  • FIG. 8 is a diagram showing an example of functional blocks of the feature quantity calculation unit 202.
  • the feature quantity calculation unit 202 includes, for example, a road surface edge angle histogram extraction unit 202a, a white line edge angle estimation unit 202b, a background edge angle histogram extraction unit 202c, a background road surface edge angle correlation estimation unit 202d, and It consists of a background road surface solid object edge estimation unit 202e.
  • FIG. 9 is a diagram showing an example of a functional block of the reflection determination unit 203. As shown in FIG. As shown in FIG.
  • the reflection determination unit 203 includes, for example, an edge strength analysis unit 203a, a white line edge suppression unit 203b, a solid object edge emphasis unit 203c, a local region specific correlation analysis unit 203d, and left / right differential correlation analysis. It consists of part 203e.
  • FIG. 10 is a diagram showing an example of a functional block of the application execution unit 204.
  • the application execution unit 204 includes, for example, a lane recognition unit 204a, another vehicle recognition unit 204b, a pedestrian detection unit 204c, a sign detection unit 204d, a trapping prevention recognition unit 204e, a parking frame recognition unit 204f, and movement. It consists of a body detection unit 204g.
  • the lane recognition unit 204 a recognizes lanes on the left and right of the host vehicle based on the captured image acquired by the camera 1.
  • White line feature quantities are extracted from the captured image, a straight line in which the white line feature quantities are arranged is extracted, and finally the relative position of the host vehicle and the white line in the world coordinates and the relative attitude are calculated from the lines on the image. Determine if it is likely to deviate outside.
  • the alarm control unit 205 is instructed to output an alarm.
  • the other vehicle recognition unit 204 b recognizes the other vehicle present on the left rear or the right rear of the own vehicle based on the photographed image acquired by the camera 1.
  • the application execution unit 204 recognizes the other vehicle based on the image information value based on the image in the detection area set in the captured image by executing the other vehicle recognition process as described in detail later.
  • the relative speed of the other vehicle recognized with respect to the host vehicle is detected.
  • the application execution unit 204 determines the presence or absence of the other vehicle which may collide with the own vehicle. For example, it is determined that there is a possibility that the vehicle may collide with the vehicle when the vehicle is about to start a lane change and another vehicle existing in the lane change direction is approaching the vehicle, alarm control It instructs the unit 205 to output an alarm.
  • the pedestrian detection unit 204 c detects a pedestrian from the captured image based on the captured image acquired by the camera 1. It detects pedestrians who may have a collision in the traveling direction of the host vehicle, and warns when there is a risk of a collision.
  • the sign detection unit 204 d detects a sign in the captured image based on the captured image acquired by the camera 1 and conveys the type of the sign to the user by voice or display.
  • the entrainment prevention recognition unit 204e recognizes based on the captured image acquired by the camera 1 whether there is a two wheeled vehicle or the like involved when turning an intersection, and warns when there is a risk of contact with the own vehicle. Do.
  • the parking frame recognition 204 f recognizes a parking frame for the purpose of automatic parking and parking assistance, and executes assistance or control for parking the vehicle from the position and posture of the parking frame.
  • the moving body detection unit 204 g recognizes a moving body around the host vehicle at a low vehicle speed based on the captured image acquired by the camera 1. If it is determined that the moving object is detected from the captured image and the possibility of contact is high based on the moving direction and the behavior of the vehicle, the alarm control unit 205 is instructed to output an alarm.
  • the alarm control unit 205 outputs an alarm output signal to the alarm output unit 3 in response to an instruction from the application execution unit 204. By the output of the alarm output signal, the alarm output unit 3 outputs an alarm to the driver.
  • an alarm is realized when there is a risk of a collision such as an obstacle in the in-vehicle surrounding environment recognition apparatus 100.
  • the alarm control unit 205 stops the output of the alarm output signal to the alarm output unit 3 when receiving the notification of the presence of reflection from the reflection determination unit 203. At this time, even if an instruction for alarm output is issued from the application execution unit 204, the alarm control unit 205 does not output an alarm output signal to the alarm output unit 3. As a result, when there is reflection of a background on the road surface, the alarm output by the alarm output unit 3 is suppressed.
  • the alarm suppression adjustment unit 206 adjusts the suppression degree of the alarm output performed by the alarm control unit 205 based on the relative speed of the other vehicle detected by the other vehicle recognition unit 204b in the application execution unit 204. That is, when the relative speed of the other vehicle is relatively low, it is considered that there is a high possibility that the background object reflected on the road surface is erroneously recognized as the other vehicle. Therefore, in such a case, the degree of suppression of the alarm output is increased by the alarm suppression adjustment unit 206, thereby making it more difficult to generate a false alarm due to the reflection of a background object.
  • the specific adjustment method of the suppression degree of the warning output which this warning suppression adjustment part 206 performs is demonstrated later.
  • FIG. 5 is a flowchart of the process executed in the warning suppression at the time of road surface reflection described above. The processing shown in this flowchart is performed in the control unit 2 at predetermined processing cycles while the application (application) is being executed.
  • step S110 the control unit 2 uses the camera 1 to image the inside of a predetermined imaging area including the road surface around the vehicle, and acquires a photographed image.
  • the photographed image is output from the camera 1 to the control unit 2 and used in the subsequent processing.
  • step S120 the control unit 2 sets a background area and a reflection area in the captured image acquired in step S110.
  • the area setting unit 201 sets a plurality of background areas and a plurality of reflection areas in predetermined portions in the captured image.
  • use of a front camera is premised.
  • any of a front camera, a side camera, and a rear camera may be used. You may use either a side camera or a rear camera for prevention of a roll-in and parking frame recognition. No matter which camera is used, the basic method or idea can be applied as it is.
  • FIG. 6 is a view showing an example of a background area and a reflection area set in a photographed image.
  • the photographed image 30 shown in FIG. 6 is divided into a road surface image area 32 where the road surface is photographed and a background image area 33.
  • background areas 34a to 34f and reflection are displayed at positions corresponding to the rear right of the vehicle (for a rear camera) or left front (for a front camera) with respect to the photographed image 30.
  • Inset areas 35a to 35f are set, and background areas 36a to 36f and reflection areas 37a to 37f are set at positions corresponding to the left rear (for a rear camera) or the front right (for a front camera).
  • the road surface area setting unit 201a thus sets the reflection areas 35a to 35f of the right or left adjacent lanes and the reflection areas 37a to 37f of the left or right adjacent lanes. Further, the reflective background area setting unit 201c sets right or left background areas 34a to 34f and right or left background areas 36a to 36f.
  • Background regions 34a to 34f and 36a to 36f are respectively set at symmetrical positions in the background image region 33 along the direction of the positional change of the background object in the photographed image 30 which occurs as the vehicle travels.
  • Reflected areas 35a to 35f and 37a to 37f are set in the road surface image area 32 corresponding to the background areas 34a to 34f and 36a to 36f, respectively.
  • background areas 34a and 36a set at the left and right ends in the photographed image 30, that is, positions closest to the vehicle in real space correspond to the reflection areas 35a and 37a, respectively.
  • background areas 34f and 36f set closer to the center in the captured image 30, that is, at positions farthest from the vehicle in real space correspond to the reflection areas 35f and 37f, respectively.
  • reflection areas 35a to 35f and 37a to 37f are respectively set in the road surface image area 32, and a position in the background image area 33 at which reflection of a background object occurs in these reflection areas is set.
  • Background areas 34a to 34f, 36a to 36f are set respectively.
  • the set positions of the reflection areas 35a to 35f and 37a to 37f are areas where application detection is performed, for example, other vehicles whose other vehicle recognition unit 204b exists in the left rear or right rear of the own vehicle.
  • the position corresponds to a detection area used for recognition.
  • step S130 the control unit 2 causes the other vehicle recognition unit 204b of the application execution unit 204 to perform another vehicle recognition processing for recognizing another vehicle traveling around the host vehicle.
  • the other vehicle recognition processing when the other vehicle exists in the left rear or the right rear of the own vehicle, the other vehicle is recognized, and the relative speed of the other vehicle with respect to the own vehicle is detected.
  • the specific content of the other vehicle recognition process performed here is demonstrated in detail later.
  • step S140 the control unit 2 determines whether the other vehicle present in the left rear (right front) or the right rear (left front) of the host vehicle is recognized by the other vehicle recognition processing in step S130. If another vehicle is recognized, the process proceeds to step S150. If not recognized, the process proceeds to step S170.
  • step S150 the control unit 2 determines whether the relative speed of the other vehicle detected in the other vehicle recognition process in step S130 is within a predetermined range, for example, within a range of 0 to 10 km / hr. If the relative speed of the other vehicle is within this range, the process proceeds to step S160, and if it is out of the range, the process proceeds to step S170.
  • step S160 the control unit 2 causes the alarm suppression adjustment unit 206 to adjust the degree of alarm suppression.
  • the control unit 2 causes the alarm suppression adjustment unit 206 to adjust the degree of alarm suppression.
  • the degree of alarm suppression is adjusted so that the alarm suppression can be easily performed as compared with the case where it is not so.
  • the specific method of relieving the conditions for determining the presence or absence of reflection of a background thing is demonstrated in detail later.
  • step S170 the control unit 2 causes the feature amount calculation unit 202 to set the background areas 34a to 34f and 36a to 36f set in step S120 and the reflection areas 35a to 35f and 37a to 37f, respectively.
  • Feature quantities representing features of the image in the area are respectively calculated. For example, for each pixel of the image corresponding to each of the background areas 34a to 34f and 36a to 36f and each pixel of the image corresponding to each of the reflected areas 35a to 35f and 37a to 37f, Based on this, edge angles in the photographed image 30 are respectively calculated. By histogramming the edge angle of each pixel thus calculated for each area, it is possible to calculate the feature amount of each area according to the edge angle of the image of each area.
  • the method of calculating the feature amount is not limited to this as long as the feature of the image in each area can be appropriately represented.
  • the process of the feature amount calculation unit 202 will be described in detail with reference to the functional block diagram of FIG.
  • an angle of a vector indicating a gradient direction of luminance is extracted as an edge angle.
  • the edge angle is extracted for each pixel in each reflection area, and the distribution is analyzed for the edge angle in each reflection area by making a histogram for each reflection area.
  • the edge angle histogram is relatively likely to include the white line edge angle component of the road surface.
  • the white line edge angle estimation unit 202b estimates the edge angle of the white line in each reflection area. The estimation result is later used to suppress the edge angle component of the white line with respect to the reflection area when correlating the background area with the reflection area in the process of step S180.
  • the background road surface edge angle correlation property estimation unit 202d estimates the correspondence between the background edge angle and the road surface edge angle for each of the background area and the reflection area corresponding to each other.
  • a correspondence table is generated which indicates how many edge angles on the image the corresponding reflection area will be if the edge is reflected on the road surface .
  • the background road surface three-dimensional object edge estimation unit 202e separates the corresponding table from the above-mentioned correspondence table. Make an estimate and record the estimate.
  • step S180 the control unit 2 causes the reflection determination unit 203 to perform reflection determination to determine the presence or absence of a background object on the road surface based on the feature amounts of the respective regions calculated in step S170.
  • the feature amounts calculated for the background regions 34a to 34f and 36a to 36f and the feature amounts calculated for the reflection regions 35a to 35f and 37a to 37f, respectively correspond to each other. Compare with each. For example, the feature of the background area 34a is compared with the feature of the reflected area 35a, and the feature of the background area 36a is compared with the feature of the reflected area 37a.
  • the feature quantity of the background area 34f is compared with the feature quantity of the reflection area 35f corresponding thereto, and the feature quantity of the background area 36f is compared with the feature quantity of the reflection area 37f corresponding thereto.
  • feature amounts of the other background areas and reflection areas are compared with each other. In this way, by comparing the feature amounts of each background area and each reflected area, the image in each background area is compared with the image in each reflected area, and the correlation is analyzed for each combination.
  • the reason why it is desirable to determine the reflection on the road surface is to suppress false detection due to reflection of the road surface when reflection of the background object occurs. That is, if the edge strength of the road surface is weak, false detection does not occur in lane recognition, other vehicle recognition, pedestrian detection, and the like. In addition, when the edge strength of the background is low, there is a high possibility that there is no object to be reflected in the background in the first place, and therefore, there is a high possibility that there is no object to be reflected on the road surface. Therefore, before the reflection determination is performed, it is analyzed by the edge strength analysis unit 203a that there is an appropriate edge distribution on the road surface and the background.
  • the white line edge suppression unit 203b uses the above-described white line edge angle estimated in step S170 to select the size of the histogram near the white line edge angle among the histograms of the edge angles of the reflection area of the road surface. Suppress. For example, for a predetermined angle range centered on the white line edge angle, the preprocessing is performed to reduce the influence of the white line by multiplying the height of the actual histogram by 0.3 times before the white line edge suppression before correlating with the background. It is executed by the unit 203b. As a result, the influence of the white line, which is an erroneous judgment factor of reflection, can be reduced.
  • the background area estimated by the background road three-dimensional object edge estimation unit 202e from the edge angle histogram is the three-dimensional object edge angle
  • the road surface reflection area is the three-dimensional object reflected edge angle
  • the local region specific correlation analysis unit 203 d analyzes the correlation between the corresponding road surface reflection region and the edge angle histogram of the background region.
  • the histograms of the above-mentioned edge angles calculated as the feature amounts of the respective regions in consideration of the change in the edge angle due to the reflection. That is, it is calculated in advance by the background road surface edge angle correlation estimation unit 202d which arrangement position in the histogram of the edge angle of each reflected area corresponds to the arrangement position in the histogram of the edge angle of each background area. Both histograms are compared based on the calculation results. In this way, the correlation between the histogram of the edge angle representing the feature amount of each background region and the histogram of the edge angle representing the feature amount of each reflected region is correctly analyzed by reflecting the reflection state. Can.
  • the correlation check in the local area is performed by comparing the corresponding processing areas of the reflection area 35a and the background area 34a from the left side of the screen. Continuing on, the reflection area 35b and the background area 34b, the reflection area 35c and the background area 34c, the reflection area 35d and the background area 34d, the reflection area 35e and the background area 34e, and the reflection area 35f and the background area 34f, respectively. It is analyzed whether there is a correlation between the feature value of the background area corresponding to the road surface reflection and the background area.
  • the reflection area 37a and the background area 36a, the reflection area 37b and the background area 36b, the reflection area 37c and the background area 36c, the reflection area 37d and the background area 36d, and the reflection area 37e and the background area The correlation is analyzed in 36e, the reflected area 37f and the background area 36f, respectively.
  • the feature amounts of the background areas and the corresponding areas of the reflection areas are compared with each other. That is, on the left side of the screen, the feature quantities calculated for each of the background areas 34a to 34f are compared with the reflection areas 35a to 35f of the road surface. Similarly, on the right side of the screen, the feature values calculated for each of the background areas 36a to 36f are compared with the reflection areas 37a to 37f of the road surface. These regions are compared with each other with the same alphabetic subscripts.
  • the left and right separate correlation analysis unit 203e analyzes the correlation by putting together the background area and the reflection area on the left and right of the screen.
  • the feature amount moves backward in both the background area and the reflection area of the road surface. For example, when there is a feature quantity indicating an edge angle of 45 degrees in the reflection area 35b on the left of the screen, this feature quantity flows backward in the next frame, for example, a similar tendency occurs in the reflection area 35e.
  • a feature quantity indicating an edge angle of 45 degrees in the reflection area 35b on the left of the screen
  • this feature quantity flows backward in the next frame, for example, a similar tendency occurs in the reflection area 35e.
  • I got scared Further, it is assumed that there is a highly correlated background edge angle in the background, which is also moved from the background area 34b to the background area 34e in time series. In such a case, it is determined that there is a high possibility that reflection of background on the road surface has occurred.
  • the local correlation between the background area and the reflection area of the road surface it is also determined whether or not there is a correlation between the presence or absence of the feature amount and the depth direction. For example, on the left side of the screen, if there is a correlation only in the background area 34b and the reflection area 35b, and there is a feature amount in other areas but the correlation is low, then a coincident local area exists by chance I think that the possibility is high. On the other hand, if there is a correlation between only the background area 34b and the reflection area 35b, and the feature quantities of the background area and the road surface reflection area are small in other areas, this is the state on the left side of the screen.
  • step S180 the feature quantities of the respective regions as described above are compared, and based on the comparison result, the background regions 34a to 34f and the reflected regions 35a to 35f, and the background regions 36a to 36f are reflected. It is determined whether or not there is a reflection of the background among the areas 37a to 37f. For example, the correlation between the background areas 34a to 34f and the reflection areas 35a to 35f is sufficiently high, and each image in the background area groups 34a to 34f and each image in the reflection area groups 35a to 35f are the whole. If the vehicle is moving in a direction away from the vehicle, it is determined that there is a reflection of a background on the road surface at the right rear of the vehicle.
  • the correlation between the background areas 36a to 36f and the reflected areas 37a to 37f is sufficiently high, and each image in the background area groups 36a to 36f and each image in the reflected area groups 37a to 37f are similar to each other.
  • step S160 the reference values at the time of determining the presence or absence of the background object on the road surface by comparing the feature amounts of the respective regions as described above in step S180 are changed. , Can adjust the degree of alarm suppression. That is, in the step S180, the correlation of the feature amount between the background areas 34a to 34f and the reflection areas 35a to 35f and between the background areas 36a to 36f and the reflection areas 37a to 37f is a predetermined threshold or more. If there is, it is determined that there is a reflection of the background, considering that the correlation between the images in each of these regions is high. In step S160, the threshold value for this correlation is lowered to ease the conditions for determining the presence or absence of background reflection in step S180, and alarm suppression so that alarm suppression is facilitated in step S200 described later. You can adjust the degree of
  • the degree of alarm suppression can also be adjusted by changing the conditions for calculating the feature quantities of the respective areas in step S170, more specifically, changing the detection conditions of the edge. That is, in step S170, for each of the background areas 34a to 34f and 36a to 36f and the reflection areas 35a to 35f and 37a to 37f, portions where the luminance difference between adjacent pixels is a predetermined value or more are used as edges. The feature amount of each area is calculated by detecting and histogramting the edge angle. In step S160, by reducing the luminance difference as the edge detection condition so that more edge components are detected, in step S180, the condition for determining the presence or absence of the reflection of the background is relaxed. The degree of alarm suppression can be adjusted so that the alarm suppression can be easily performed in step S200 described later.
  • the change in the threshold with respect to the correlation in step S180 and the change in the edge detection condition in step S170 may be performed independently. , Both may be executed together.
  • step S190 the control unit 2 determines the presence or absence of the background object on the road surface from the result of the reflection determination in step S180. If it is determined in step S180 that there is a reflection of the background on the road surface at least one of the left rear and the right rear of the vehicle, the process proceeds from step S190 to step S200. On the other hand, if it is determined in step S180 that there is no reflection of background objects on the road surface in any of the left and right rear of the vehicle, the flowchart of FIG. 5 is ended without executing step S200.
  • step S200 the control unit 2 causes the alarm output unit 3 to stop the output of the alarm output signal.
  • the control unit 2 sends a predetermined notification from the reflection determination unit 203 to the alarm control unit 205 to stop the alarm output signal from the alarm control unit 205 to the alarm output unit 3, and the alarm output unit 3. Suppress the alarm output by.
  • the alarm output unit is erroneously Do not output an alarm from 3).
  • step S200 it is preferable to stop the output of the alarm only for the left rear and the right rear of the vehicle, for which it is determined in step S180 that there is a reflection of a background object on the road surface.
  • the reflection is erroneously detected as a moving object. Therefore, by suppressing the output of the alarm, an effect of suppressing the erroneous alarm can be obtained.
  • the sign detection unit 204d there is a possibility that the reflection may be erroneously detected as a sign. Therefore, by suppressing the output of the alarm, an effect of suppressing the erroneous alarm can be obtained.
  • the trapping prevention recognition unit 204e there is a possibility that the reflection is erroneously detected as an obstacle. Therefore, by suppressing the output of the alarm, an effect of suppressing the erroneous alarm can be obtained.
  • the parking frame recognition unit 204f since there is a possibility that the position of the parking frame may become unstable or erroneously recognized due to the reflection, erroneous control or the like is suppressed by stopping the application using the parking frame.
  • the moving body detection unit 204g since there is a possibility that the reflection is erroneously detected as the moving body, the effect of suppressing the false alarm can be obtained by suppressing the output of the warning.
  • FIG. 12 is a view for explaining the reduction effect of the false alarm obtained by the on-vehicle ambient environment recognition apparatus 100 of the present embodiment as described above.
  • the alarm from the alarm output unit 3 is adjusted by adjusting the suppression degree of the alarm output performed by the alarm suppression adjustment unit 206 described above. It illustrates how the output timing of H changes.
  • the relative speed of the other vehicle shown in FIG. 12 (a) is within the predetermined range as described in step S150 of FIG. 5 from time Tv1 to time Tv2 and is otherwise It is outside.
  • the alarm suppression adjustment unit 206 executes the adjustment of the suppression degree of the alarm output as described above in the period from the time Tv1 to the time Tv2 described above, and determines the condition for determining the presence or absence of the background object on the road surface. ease. As a result, the reflection determination unit 203 can easily obtain the determination result that reflection is present. As a result, for example, as shown in FIG. 12B, the timing at which it is determined that there is no reflection is moved from time Tr4 to time Tr4a, and the period in which the determination result that there is reflection is obtained is extended. The portion shown by the broken line in FIG. 12B shows an example of the determination result of the reflection of the background object on the road surface obtained when the adjustment of the suppression degree of the alarm output is not performed.
  • the image information value indicated by reference numeral 50 in FIG. 12C is obtained in the other vehicle recognition process executed by the other vehicle recognition unit 204b of the application execution unit 204.
  • the image information value 50 exceeds the threshold value Th0, it is recognized as another vehicle.
  • the threshold Th0 since the image information value 50 exceeds the threshold Th0 in the period from time To1 to time To2, the other vehicle is recognized in this period.
  • the alarm output unit 3 outputs an alarm at a timing as shown in FIG. 12 (d) according to the alarm output signal from the alarm control unit 205.
  • the timing of the alarm output is a period during which it is determined that the reflection is present in FIG. 12 (b) and another vehicle is recognized in FIG. 12 (c).
  • the part shown with a broken line in FIG.12 (d) is the timing of the alarm output in case adjustment of suppression level of alarm output is not performed, and an alarm output is performed in the period of said time Tr4 to time To2. It shows.
  • the degree of suppression of the alarm output is adjusted, and according to this, it is determined that reflection is present as shown in FIG.
  • the period of time to obtain is extended. As a result, it is possible to suppress the alarm output in the period from time Tr4 to time To2.
  • FIG. 13 is a schematic configuration diagram of a vehicle for illustrating another vehicle recognition processing performed by the other vehicle recognition unit 204b in the on-vehicle surrounding environment recognition device 100 of the present invention.
  • the on-vehicle ambient environment recognition device 100 detects another vehicle that the driver of the host vehicle V should pay attention to while driving, for example, another vehicle that may be in contact when the host vehicle V changes lanes as an obstacle Device.
  • the on-vehicle surrounding environment recognition apparatus 100 of this example detects another vehicle traveling on an adjacent lane (hereinafter, also simply referred to as an adjacent lane) next to the lane on which the host vehicle travels.
  • the in-vehicle surrounding environment recognition device 100 of this example can calculate the movement distance and movement speed of the detected other vehicle.
  • the on-vehicle ambient environment recognition device 100 is mounted on the host vehicle V, and among the three-dimensional objects detected around the host vehicle, the vehicle travels in the adjacent lane next to the lane where the host vehicle V travels.
  • An example of detecting a different vehicle is shown.
  • the vehicle-mounted ambient environment recognition apparatus 100 of this example is provided with the camera 1, the vehicle speed sensor 5, and the other vehicle recognition part 204b.
  • the camera 1 is attached to the vehicle V such that the optical axis is directed downward from the horizontal at an angle ⁇ at a position of height h behind the vehicle V.
  • the camera 1 images a predetermined area of the surrounding environment of the host vehicle V from this position.
  • one camera 1 is provided to detect a three-dimensional object behind the host vehicle V in the present embodiment, for other applications, for example, another camera for acquiring an image around the vehicle may be provided. You can also.
  • the vehicle speed sensor 5 detects the traveling speed of the host vehicle V, and calculates, for example, the vehicle speed from the wheel speed detected by the wheel speed sensor that detects the number of revolutions of the wheel.
  • the other vehicle recognition unit 204b detects a three-dimensional object behind the vehicle as another vehicle, and in the present example, calculates the movement distance and the movement speed of the three-dimensional object.
  • FIG. 14 is a plan view showing a traveling state of the vehicle V of FIG.
  • the camera 1 captures an image of the vehicle rear side at a predetermined angle of view a.
  • the angle of view a of the camera 1 is set to an angle of view that enables imaging of the left and right lanes in addition to the lane in which the host vehicle V is traveling.
  • the imageable area includes the detection target areas A1 and A2 on the rear of the host vehicle V and on the adjacent lanes to the left and right of the traveling lane of the host vehicle V.
  • FIG. 15 is a block diagram showing details of the other vehicle recognition unit 204b of FIG. In FIG. 15, the camera 1 and the vehicle speed sensor 5 are also illustrated in order to clarify the connection relationship.
  • the other vehicle recognition unit 204 b includes a viewpoint conversion unit 31, an alignment unit 32, a three-dimensional object detection unit 33, a three-dimensional object determination unit 34, a virtual image determination unit 38 and a control unit 39. , And a smear detection unit 40.
  • Another vehicle recognition part 204b of this embodiment is the composition about a detection block of a solid thing using difference waveform information.
  • the other vehicle recognition unit 204b according to this embodiment can also be configured as a detection block of a three-dimensional object using edge information. In this case, in the configuration shown in FIG.
  • the detection block configuration B including the three-dimensional object detection unit 37 can be substituted.
  • both detection block configuration A and detection block configuration B can be used to perform detection of a three-dimensional object using differential waveform information as well as detection of a three-dimensional object using edge information .
  • the detection block configuration A and the detection block configuration B can be operated according to an environmental factor such as brightness.
  • the on-vehicle ambient environment recognition device 100 of the present embodiment detects a three-dimensional object present in the right side detection area or the left side detection area on the rear side of the vehicle based on the image information obtained by the single-eye camera 1 that images the rear side of the vehicle.
  • the viewpoint conversion unit 31 inputs captured image data of a predetermined area obtained by imaging with the camera 1 and converts the input captured image data into bird's eye image data in a state of being viewed from a bird's-eye view.
  • the state of being viewed from a bird's eye is a state viewed from the viewpoint of a virtual camera looking down from above, for example, vertically downward.
  • This viewpoint conversion can be performed, for example, as described in Japanese Patent Laid-Open No. 2008-219063.
  • the viewpoint conversion of the captured image data to the bird's-eye view image data is based on the principle that the vertical edge unique to the three-dimensional object is converted into a straight line group passing through a specific fixed point by the viewpoint conversion to the bird's-eye view image data This is because it is possible to distinguish between a flat object and a three-dimensional object by using it.
  • the result of the image conversion process by the viewpoint conversion unit 31 is also used in detection of a three-dimensional object based on edge information described later.
  • the alignment unit 32 sequentially inputs the bird's-eye view image data obtained by the viewpoint conversion of the viewpoint conversion unit 31 and aligns the positions of the input bird's-eye view image data at different times.
  • 16A and 16B are diagrams for explaining the outline of the process of the alignment unit 32.
  • FIG. 16A is a plan view showing a movement state of the host vehicle V
  • FIG. 16B is an image showing an outline of alignment.
  • the host vehicle V at the current time is located at V1, and the host vehicle V at one time ago is located at V2.
  • the other vehicle VX is positioned behind the host vehicle V and is in parallel with the host vehicle V
  • the other vehicle VX at the current time is positioned at V3
  • the other vehicle VX at one time ago is positioned at V4.
  • the host vehicle V has moved a distance d at one time.
  • “one time before” may be a time in the past by a predetermined time (for example, one control cycle) from the current time, or may be a time in the past by any time.
  • the bird's-eye image PB t at the current time is as shown in FIG. 16 (b).
  • the bird's-eye image PB t becomes a rectangular shape for the white line drawn on the road surface, but a relatively accurate is a plan view state, tilting occurs about the position of another vehicle VX at position V3.
  • the white line drawn on the road surface is rectangular and relatively flatly viewed, but the other vehicle VX at position V4 Falls down.
  • the vertical edges of a three-dimensional object are straight lines along the falling direction by viewpoint conversion processing to bird's eye view image data While the plane image on the road surface does not include vertical edges while it appears as a group, such fall-over does not occur even if viewpoint conversion is performed.
  • the alignment unit 32 performs alignment of the bird's-eye view images PB t and PB t-1 as described above on the data. At this time, the alignment unit 32 offsets the bird's-eye view image PB t-1 one time before and makes the position coincide with the bird's-eye view image PB t at the current time.
  • the image on the left and the image at the center in FIG. 16 (b) show the state of being offset by the moving distance d '.
  • This offset amount d ' is the amount of movement on bird's-eye view image data corresponding to the actual movement distance d of the vehicle V shown in FIG. It is determined based on the time to time.
  • the alignment unit 32 obtains the difference between the bird's-eye view images PB t and PB t-1 and generates data of the difference image PD t .
  • the pixel value of the difference image PD t may be an absolute value of the difference between the pixel values of the bird's-eye view images PB t and PB t-1 , or the absolute value may be predetermined to correspond to the change in the illumination environment.
  • the threshold p of is exceeded, "1" may be set, and when not exceeding it, "0" may be set.
  • the threshold value p may be set in advance, or may be changed in accordance with a control command according to the result of the virtual image determination of the control unit 39 described later.
  • the three-dimensional object detection unit 33 detects a three-dimensional object on the basis of the data of the difference image PD t shown in FIG. 16 (b). At this time, the three-dimensional object detection unit 33 of this example also calculates the movement distance of the three-dimensional object in real space. In the detection of the three-dimensional object and the calculation of the movement distance, the three-dimensional object detection unit 33 first generates a differential waveform. In addition, the movement distance per time of a solid thing is used for calculation of the movement speed of a solid thing. The moving speed of the three-dimensional object can be used to determine whether the three-dimensional object is a vehicle.
  • Three-dimensional object detection unit 33 of the present embodiment when generating the differential waveform sets a detection area in the difference image PD t.
  • the on-vehicle ambient environment recognition device 100 of this example is another vehicle that the driver of the host vehicle V pays attention to, and in particular, the host vehicle V which may contact when the host vehicle V changes lanes travels The other vehicle traveling in the lane next to the lane is detected as a detection target. For this reason, in this example which detects a solid object based on image information, two detection fields are set up on the right side and the left side of self-vehicles V among the pictures acquired by camera 1.
  • the other vehicle detected in the detection areas A1 and A2 is detected as an obstacle traveling on the adjacent lane next to the lane on which the host vehicle V travels.
  • detection areas A1 and A2 may be set from the relative position with respect to the host vehicle V, or may be set based on the position of the white line.
  • the moving distance detection device 1 may use, for example, the existing white line recognition technology or the like.
  • the three-dimensional object detection unit 33 recognizes the sides (sides along the traveling direction) on the side of the vehicle V of the set detection areas A1 and A2 as ground lines L1 and L2 (FIG. 14).
  • the ground line means a line at which a three-dimensional object contacts the ground, but in the present embodiment, it is not the line that contacts the ground but is set as described above. Even in this case, from the experience, the difference between the ground contact line according to the present embodiment and the ground contact line originally obtained from the position of the other vehicle VX does not become too large, and there is no problem in practical use.
  • FIG. 17 is a schematic diagram showing how a differential waveform is generated by the three-dimensional object detection unit 33 shown in FIG.
  • the three-dimensional object detection unit 33 generates a differential waveform from the portion corresponding to the detection areas A1 and A2 in the differential image PD t (right view in FIG. 16B) calculated by the alignment unit 32. Generate DW t .
  • the three-dimensional object detection unit 33 generates a differential waveform DW t along the direction in which the three-dimensional object falls down due to viewpoint conversion.
  • FIG. 17 for convenience will be described with reference to only the detection area A1, to produce a difference waveform DW t in the same procedure applies to the detection region A2.
  • the three-dimensional object detection unit 33 defines a line La in the direction in which the three-dimensional object falls on the data of the difference image DW t . Then, the three-dimensional object detection unit 33 counts the number of difference pixels DP indicating a predetermined difference on the line La.
  • the difference pixel DP indicating a predetermined difference is a predetermined threshold value. In the case where the pixel is exceeded and the pixel value of the difference image DW t is expressed by “0” “1”, it is a pixel representing “1”.
  • the three-dimensional object detection unit 33 After counting the number of difference pixels DP, the three-dimensional object detection unit 33 obtains an intersection CP of the line La and the ground line L1. Then, the three-dimensional object detection unit 33 associates the intersection point CP with the count number, determines the horizontal axis position based on the position of the intersection point CP, that is, the position in the vertical axis in FIG. The axial position, i.e., the position on the left and right axis in the right view of FIG.
  • the three-dimensional object detection unit 33 defines lines Lb, Lc, ... in the direction in which the three-dimensional object falls down, counts the number of difference pixels DP, and determines the horizontal axis position based on the position of each intersection point CP. The vertical position is determined from the count number (the number of difference pixels DP) and plotted.
  • the three-dimensional object detection unit 33 generates the difference waveform DW t as shown in the right of FIG.
  • the distance between the line La and the line Lb in the direction in which the three-dimensional object falls is different from that in the detection area A1. Therefore, assuming that the detection area A1 is filled with the difference pixels DP, the number of difference pixels DP is larger on the line La than on the line Lb. Therefore, when the three-dimensional object detection unit 33 determines the position of the vertical axis from the count number of the difference pixels DP, the three-dimensional object detection unit 33 performs the regular operation based on the overlapping distance between the lines La and Lb and the detection area A1 in the falling direction. Turn As a specific example, in the left view of FIG. 17, there are six difference pixels DP on the line La, and there are five difference pixels DP on the line Lb.
  • the three-dimensional object detection unit 33 normalizes the count number by dividing it by the overlap distance.
  • the value of the differential waveform DW t corresponding to Lb is substantially the same.
  • the three-dimensional object detection unit 33 calculates the movement distance by comparison with the difference waveform DW t-1 one time before. That is, the three-dimensional object detection unit 33 calculates the movement distance from the time change of the differential waveforms DW t and DW t ⁇ 1 .
  • the three-dimensional object detection unit 33 divides the differential waveform DW t into a plurality of small areas DW t1 to DW tn (n is an arbitrary integer of 2 or more).
  • FIG. 18 is a diagram showing small areas DW t1 to DW tn divided by the three-dimensional object detection unit 33. As shown in FIG. The small areas DW t1 to DW tn are divided so as to overlap each other as shown in, for example, FIG. For example, the small area DW t1 and the small area DW t2 overlap, and the small area DW t2 and the small area DW t3 overlap.
  • the three-dimensional object detection unit 33 obtains an offset amount (moving amount in the horizontal axis direction (vertical direction in FIG. 18) of the differential waveform) for each of the small areas DW t1 to DW tn .
  • the offset amount is determined from the difference between the differential waveform DW t in the difference waveform DW t-1 and the current time before one unit time (distance in the horizontal axis direction).
  • three-dimensional object detection unit 33 for each small area DW t1 ⁇ DW tn, when moving the differential waveform DW t1 before one unit time in the horizontal axis direction, the differential waveform DW t at the current time The position where the error is minimized (the position in the horizontal axis direction) is determined, and the amount of movement in the direction of the horizontal axis between the original position of the differential waveform DWt -1 and the position where the error is minimized is determined as the offset amount. Then, the three-dimensional object detection unit 33 counts the offset amount obtained for each of the small areas DW t1 to DW tn to form a histogram.
  • FIG. 19 is a diagram illustrating an example of a histogram obtained by the three-dimensional object detection unit 33.
  • the three-dimensional object detection unit 33 histograms the offset amount including the variation and calculates the movement distance from the histogram.
  • the three-dimensional object detection unit 33 calculates the movement distance of the three-dimensional object from the maximum value of the histogram. That is, in the example shown in FIG. 19, the three-dimensional object detection unit 33 calculates the offset amount indicating the maximum value of the histogram as the movement distance ⁇ * .
  • the movement distance ⁇ * is the relative movement distance of the other vehicle VX with respect to the host vehicle V. Therefore, when calculating the absolute movement distance, the three-dimensional object detection unit 33 calculates the absolute movement distance based on the obtained movement distance ⁇ * and the signal from the vehicle speed sensor 5.
  • FIG. 20 is a view showing weighting by the three-dimensional object detection unit 33. As shown in FIG.
  • the small area DW m (m is an integer of 1 or more and n ⁇ 1 or less) is flat. That is, the small area DW m is the difference between the maximum value and the minimum value of the count of the number of pixels indicating a predetermined difference is small.
  • the three-dimensional object detection unit 33 reduces the weight of such a small area DW m . This is because there is no feature in the flat small area DW m and there is a high possibility that the error will be large in calculating the offset amount.
  • the small area DW m + k (k is an integer less than or equal to n ⁇ m) is rich in irregularities. That is, the small area DW m is the difference between the maximum value and the minimum value of the count of the number of pixels indicating a predetermined difference is large.
  • the three-dimensional object detection unit 33 increases the weight of such a small area DW m . This is because the small region DW m + k rich in unevenness is characteristic and the possibility of accurately calculating the offset amount is high. By weighting in this manner, it is possible to improve the calculation accuracy of the movement distance.
  • the other vehicle recognition unit 204 b includes a smear detection unit 40.
  • the smear detection unit 40 detects a smear generation area from data of a captured image obtained by capturing with the camera 1.
  • the smear is a whiteout phenomenon that occurs in a CCD image sensor or the like, so the smear detection unit 40 may be omitted when the camera 1 using a CMOS image sensor or the like in which such smear does not occur is adopted.
  • FIG. 21 is an image diagram for explaining the processing by the smear detection unit 40 and the calculation processing of the differential waveform DW t by the processing.
  • data of the captured image P in which the smear S exists is input to the smear detection unit 40.
  • the smear detection unit 40 detects the smear S from the captured image P.
  • CCD Charge-Coupled? Device
  • a region having a luminance value equal to or more than a predetermined value from the lower side of the image to the upper side of the image is searched, and a region continuous in the vertical direction is searched, and this is identified as the smear S generation region.
  • the smear detection unit 40 generates data of a smear image SP in which the pixel value is set to “1” for the generation portion of the smear S and the other portion is set to “0”. After generation, the smear detection unit 40 transmits data of the smear image SP to the viewpoint conversion unit 31. Further, the viewpoint conversion unit 31 which has input the data of the smear image SP converts the data into a state of being viewed as a bird's eye view. Thus, the viewpoint conversion unit 31 generates data of the smear bird's-eye view image SB t. After generation, the viewpoint conversion unit 31 transmits the data of the smear bird's-eye view image SB t the positioning unit 33. Further, the viewpoint conversion unit 31 transmits the data of the smear bird's-eye view image SB t-1 one time before to the alignment unit 33.
  • the alignment unit 32 performs alignment of the smear bird's-eye view images SB t and SB t-1 on the data.
  • the specific alignment is the same as when the alignment of the bird's-eye view images PB t and PB t-1 is performed on data.
  • the alignment unit 32 ORs the generation areas of the smears S of the smear bird's-eye view images SB t and SB t ⁇ 1 . Thereby, the alignment unit 32 generates data of the mask image MP. After generation, the alignment unit 32 transmits the data of the mask image MP to the three-dimensional object detection unit 33.
  • the three-dimensional object detection unit 33 sets the count number of the frequency distribution to zero for the portion corresponding to the generation region of the smear S in the mask image MP. That is, when the differential waveform DW t as shown in FIG. 21 is generated, the three-dimensional object detection unit 33 sets the count number SC by the smear S to zero and generates the corrected differential waveform DW t ′. Become.
  • the three-dimensional object detection unit 33 obtains the moving speed of the vehicle V (camera 1), and obtains the offset amount for the stationary object from the obtained moving speed. After obtaining the offset amount of the stationary object, the three-dimensional object detection unit 33 calculates the movement distance of the three-dimensional object after ignoring the offset amount corresponding to the stationary object among the maximum values of the histogram.
  • FIG. 22 is a view showing another example of the histogram obtained by the three-dimensional object detection unit 33.
  • the three-dimensional object detection unit 33 obtains the offset amount for the stationary object from the moving speed, ignores the local maximum corresponding to the offset amount, and calculates the moving distance of the three-dimensional object by adopting the other local maximum. Do.
  • the three-dimensional object detection unit 33 stops the calculation of the movement distance.
  • FIG.23 and FIG.24 is a flowchart which shows the solid-object detection procedure of this embodiment.
  • the other-vehicle recognition unit 204b inputs data of an image P captured by the camera 1, and the smear detection unit 40 generates a smear image SP (S1).
  • the viewpoint conversion unit 31 generates the data of the bird's-eye view image PB t from captured image data P from the camera 1 generates data of the smear bird's-eye view image SB t from the data of the smear image SP (S2).
  • the positioning unit 33 includes a data bird's-eye view image PB t, with aligning the one unit time before bird's PB t-1 of the data, and data of the smear bird's-eye view image SB t, one time before the smear bird's
  • the data of the image SB t-1 is aligned (S3).
  • the alignment unit 33 generates the data of the difference image PD t, generates data of the mask image MP (S4).
  • three-dimensional object detection unit 33, the data of the difference image PD t, and a one unit time before the difference image PD t-1 of the data generates a difference waveform DW t (S5).
  • the three-dimensional object detection unit 33 After generating the differential waveform DW t , the three-dimensional object detection unit 33 sets the count number corresponding to the generation region of the smear S in the differential waveform DW t to zero, and suppresses the influence of the smear S (S6).
  • the three-dimensional object detection unit 33 determines whether the peak of the difference waveform DW t is equal to or more than the first threshold value ⁇ (S7).
  • the first threshold value ⁇ may be set in advance and may be changed according to a control command of the control unit 39 shown in FIG. 15, but the details will be described later.
  • the peak of the difference waveform DW t is not equal to or more than the first threshold value ⁇ , that is, when there is almost no difference, it is considered that there is no three-dimensional object in the captured image P.
  • the three-dimensional object detection unit 33 does not have a three-dimensional object, and another vehicle is present as an obstacle. It is judged that it does not (FIG. 24: S16). Then, the processing illustrated in FIGS. 23 and 24 is ended.
  • the three-dimensional object detection unit 33 determines that a three-dimensional object exists, and the difference waveform DW t It is divided into small regions DW t1 to DW tn (S8). Next, the three-dimensional object detection unit 33 performs weighting for each of the small areas DW t1 to DW tn (S9). Thereafter, the three-dimensional object detection unit 33 calculates an offset amount for each of the small regions DW t1 to DW tn (S10), and generates a histogram by adding weights (S11).
  • the three-dimensional object detection unit 33 calculates the relative movement distance, which is the movement distance of the three-dimensional object with respect to the host vehicle V, based on the histogram (S12). Next, the three-dimensional object detection unit 33 calculates the absolute movement speed of the three-dimensional object from the relative movement distance (S13). At this time, the three-dimensional object detection unit 33 differentiates the relative movement distance by time to calculate the relative movement speed, and adds the own vehicle speed detected by the vehicle speed sensor 5 to calculate the absolute movement speed.
  • the three-dimensional object detection unit 33 determines whether the absolute movement speed of the three-dimensional object is 10 km / h or more and the relative movement speed of the three-dimensional object with respect to the host vehicle V is +60 km / h or less (S14). If the both are satisfied (S14: YES), the three-dimensional object detection unit 33 determines that the three-dimensional object is the other vehicle VX (S15). Then, the processing illustrated in FIGS. 23 and 24 is ended. On the other hand, when either one is not satisfied (S14: NO), the three-dimensional object detection unit 33 determines that there is no other vehicle (S16). Then, the processing illustrated in FIGS. 23 and 24 is ended.
  • the rear side of the host vehicle V is set as the detection areas A1 and A2, and attention should be paid while the host vehicle V is traveling, for example, in the adjacent lane next to the lane of the host vehicle.
  • Emphasis is placed on detecting the vehicle VX, in particular, whether or not the host vehicle V may touch if the vehicle changes lanes. This is to determine whether there is a possibility of contact with another vehicle VX traveling in the adjacent lane next to the traveling lane of the own vehicle when the own vehicle V changes lanes. Therefore, the process of step S14 is performed.
  • the following effects can be obtained by determining whether the absolute moving speed of the three-dimensional object is 10 km / h or more and the relative moving speed of the three-dimensional object with respect to the host vehicle V is +60 km / h or less in step S14.
  • the absolute moving speed of the stationary object may be detected as several km / h. Therefore, it is possible to reduce the possibility that the stationary object is determined to be the other vehicle VX by determining whether it is 10 km / h or more.
  • the relative velocity of the three-dimensional object to the vehicle V may be detected as a velocity exceeding +60 km / h. Therefore, the possibility of false detection due to noise can be reduced by determining whether the relative speed is +60 km / h or less.
  • the threshold of the relative moving speed for determining the other vehicle VX in step S14 can be set arbitrarily. For example, -20 km / h or more and 100 km / h or less can be set as the threshold of the relative moving speed.
  • the negative lower limit value is the lower limit value of the moving speed when the detected object moves to the rear of the host vehicle VX, that is, the detected object flows backward.
  • the threshold can be appropriately set in advance, but can be changed in accordance with a control command of the control unit 39 described later.
  • step S14 it may be determined that the absolute moving speed is not negative or not 0 km / h. Further, in the present embodiment, emphasis is placed on whether there is a possibility of contact when the host vehicle V changes lanes, so when the other vehicle VX is detected in step S15, the driver of the host vehicle V is A warning sound may be emitted or a display corresponding to the warning may be performed by a predetermined display device.
  • the number of pixels indicating a predetermined difference is counted on the data of the difference image PD t along the direction in which the three-dimensional object falls
  • the difference waveform DW t is generated by performing frequency distribution.
  • the pixel indicating a predetermined difference on the data of the difference image PD t is a pixel that has changed in the image at a different time, in other words, it can be said that it is a place where a three-dimensional object was present.
  • the difference waveform DW t is generated by counting the number of pixels along the direction in which the three-dimensional object falls and performing frequency distribution at the location where the three-dimensional object exists.
  • the differential waveform DW t is generated from the information in the height direction for the three-dimensional object. Then, it calculates the movement distance of the three-dimensional object from a time change of the differential waveform DW t that contains information in the height direction. For this reason, in the three-dimensional object, the detection location before the time change and the detection location after the time change are specified to include information in the height direction, as compared to the case where attention is focused only to the movement of only one point. The movement distance is easily calculated from the time change of the same portion, and the calculation accuracy of the movement distance can be improved.
  • the count number of the frequency distribution is set to zero for the portion of the difference waveform DW t that corresponds to the generation region of the smear S.
  • the movement distance of the three-dimensional object is calculated from the offset amount of the differential waveform DW t when the error of the differential waveform DW t generated at different times is minimized. Therefore, the movement distance is calculated from the offset amount of one-dimensional information called waveform, and the calculation cost can be suppressed in calculating the movement distance.
  • the differential waveform DW t generated at different times is divided into a plurality of small areas DW t1 to DW tn .
  • a plurality of waveforms representing the respective portions of the three-dimensional object can be obtained.
  • weighting is performed for each of the plurality of small areas DW t1 to DW tn , and the offset amount obtained for each of the small areas DW t1 to DW tn is counted according to the weights to form a histogram. Therefore, the moving distance can be calculated more appropriately by increasing the weight for the characteristic area and reducing the weight for the non-characteristic area. Therefore, the calculation accuracy of the movement distance can be further improved.
  • the weight is increased as the difference between the maximum value and the minimum value of the count of the number of pixels indicating a predetermined difference increases. For this reason, the weight increases as the characteristic relief area has a large difference between the maximum value and the minimum value, and the weight decreases for a flat area where the relief is small.
  • the movement distance is calculated by increasing the weight in the area where the difference between the maximum value and the minimum value is large. Accuracy can be further improved.
  • the movement distance of the three-dimensional object is calculated from the maximum value of the histogram obtained by counting the offset amount obtained for each of the small regions DW t1 to DW tn . For this reason, even if there is a variation in the offset amount, it is possible to calculate a moving distance with higher accuracy from the maximum value.
  • the offset amount for the stationary object is obtained and the offset amount is ignored, it is possible to prevent the situation in which the calculation accuracy of the moving distance of the three-dimensional object is reduced due to the stationary object.
  • the calculation of the movement distance of the solid object is stopped. For this reason, it is possible to prevent a situation in which an erroneous movement distance having a plurality of maximum values is calculated.
  • the vehicle speed of the host vehicle V is determined based on the signal from the vehicle speed sensor 5 in the above embodiment, the present invention is not limited to this, and the speed may be estimated from a plurality of images at different times. In this case, the vehicle speed sensor becomes unnecessary, and the configuration can be simplified.
  • the captured image of the current time and the image of the immediately preceding time are converted into a bird's-eye view, the converted bird's-eye view is aligned, and a difference image PD t is generated.
  • the differential waveform DW t is generated by evaluating t along the falling direction (the falling direction of the three-dimensional object when the captured image is converted into a bird's-eye view), but the invention is not limited thereto.
  • the differential waveform DW t may be generated by evaluating the image data along the direction corresponding to the falling direction (that is, the direction in which the falling direction is converted to the direction on the captured image).
  • the difference image PD t is generated from the difference between the aligned images, and the three-dimensional object when the difference image PD t is converted to a bird's eye view It is not always necessary to generate a bird's eye view clearly if it can be evaluated along the falling direction of.
  • FIG. 25 is a view showing an imaging range and the like of the camera 1 of FIG. 15, and FIG. 25 (a) is a plan view, and FIG. 25 (b) is a perspective view in real space Show.
  • the camera 1 has a predetermined angle of view a, and images the rear side from the host vehicle V included in the predetermined angle of view a.
  • the angle of view a of the camera 1 is set so that, in addition to the lane in which the host vehicle V is traveling, an adjacent lane is also included in the imaging range of the camera 1 as in the case shown in FIG.
  • the detection areas A1 and A2 in this example are trapezoidal in plan view (in a bird's-eye view), and the positions, sizes, and shapes of the detection areas A1 and A2 are determined based on the distances d 1 to d 4. Be done.
  • the detection areas A1 and A2 in the example shown in the figure are not limited to the trapezoidal shape, but may be another shape such as a rectangle in a bird's-eye view as shown in FIG.
  • the distance d1 is a distance from the host vehicle V to the ground lines L1 and L2.
  • Grounding lines L1 and L2 mean lines on which a three-dimensional object existing in a lane adjacent to the lane in which the host vehicle V travels contacts the ground. In the present embodiment, it is an object to detect another vehicle VX or the like (including a two-wheeled vehicle etc.) traveling on the left and right lanes adjacent to the lane of the own vehicle V on the rear side of the own vehicle V.
  • the distance d1 which is the position of the ground line L1, L2 of the other vehicle VX It can be determined substantially fixedly.
  • the distance d1 is not limited to being fixed and may be variable.
  • the other vehicle recognition unit 204b recognizes the position of the white line W with respect to the host vehicle V by a technique such as white line recognition, and determines the distance d11 based on the recognized position of the white line W.
  • the distance d1 is variably set using the determined distance d11.
  • the distance d1 is It shall be fixedly determined.
  • the distance d2 is a distance extending from the rear end of the host vehicle V in the traveling direction of the vehicle.
  • the distance d2 is determined so that the detection areas A1 and A2 fall within at least the angle of view a of the camera 1.
  • the distance d2 is set to be in contact with the range divided into the angle of view a.
  • the distance d3 is a distance indicating the length of the detection areas A1 and A2 in the vehicle traveling direction.
  • the distance d3 is determined based on the size of the three-dimensional object to be detected. In the present embodiment, since the detection target is the other vehicle VX or the like, the distance d3 is set to a length including the other vehicle VX.
  • the distance d4 is a distance indicating a height set so as to include a tire of another vehicle VX or the like in the real space, as shown in FIG. 25 (b).
  • the distance d4 is a length shown in FIG. 25 (a) in the bird's-eye view image.
  • the distance d4 may be a length not including lanes adjacent to the left and right adjacent lanes (that is, lanes adjacent to two lanes) in the bird's-eye view image. If the lane adjacent to the two lanes from the lane of the host vehicle V is included, whether the other vehicle VX exists in the adjacent lanes to the left and right of the host lane where the host vehicle V is traveling This is because no distinction can be made as to whether the other vehicle VX exists.
  • the distances d1 to d4 are determined, and thereby the positions, sizes, and shapes of the detection areas A1 and A2 are determined.
  • the position of the upper side b1 of the trapezoidal detection areas A1 and A2 is determined by the distance d1.
  • the start position C1 of the upper side b1 is determined by the distance d2.
  • the end point position C2 of the upper side b1 is determined by the distance d3.
  • Sides b2 of the trapezoidal detection areas A1 and A2 are determined by the straight line L3 extending from the camera 1 toward the start position C1.
  • the side b3 of the trapezoidal detection areas A1 and A2 is determined by the straight line L4 extending from the camera 1 toward the end position C2.
  • the position of the lower side b4 of the trapezoidal detection areas A1 and A2 is determined by the distance d4.
  • regions surrounded by the sides b1 to b4 are detection regions A1 and A2.
  • the detection areas A1 and A2 are, as shown in FIG. 25 (b), square (rectangular) in real space on the rear side from the host vehicle V.
  • the viewpoint conversion unit 31 inputs captured image data of a predetermined area obtained by imaging by the camera 1.
  • the viewpoint conversion unit 31 performs viewpoint conversion processing on the input captured image data on bird's-eye view image data in a state of being viewed from a bird's-eye view.
  • the state of being viewed as a bird's eye is a state viewed from the viewpoint of a virtual camera looking down from above, for example, vertically downward (or slightly obliquely downward).
  • This viewpoint conversion process can be realized, for example, by the technology described in Japanese Patent Application Laid-Open No. 2008-219063.
  • the luminance difference calculation unit 35 calculates the luminance difference with respect to the bird's-eye view image data whose viewpoint is converted by the viewpoint conversion unit 31 in order to detect an edge of a three-dimensional object included in the bird's-eye view image.
  • the luminance difference calculation unit 35 calculates, for each of a plurality of positions along a vertical imaginary line extending in the vertical direction in real space, the luminance difference between two pixels in the vicinity of each position.
  • the luminance difference calculation unit 35 can calculate the luminance difference by either a method of setting only one vertical imaginary line extending in the vertical direction in real space or a method of setting two vertical imaginary lines.
  • the luminance difference calculation unit 35 is different from the first vertical imaginary line corresponding to a line segment extending in the vertical direction in the real space and the first vertical imaginary line in the vertical direction in the real space with respect to the bird's-eye view image subjected to viewpoint conversion.
  • a second vertical imaginary line corresponding to the extending line segment is set.
  • the brightness difference calculation unit 35 continuously obtains the brightness difference between the point on the first vertical imaginary line and the point on the second vertical imaginary line along the first vertical imaginary line and the second vertical imaginary line.
  • the luminance difference calculation unit 35 corresponds to a line segment extending in the vertical direction in real space, as shown in FIG. 26A, and passes through the detection area A1 as a first vertical virtual line La (hereinafter referred to as the attention line La. Set). Further, unlike the attention line La, the luminance difference calculation unit 35 corresponds to a line segment extending in the vertical direction in real space, and a second vertical imaginary line Lr (hereinafter referred to as a reference line Lr) passing through the detection area A1.
  • the reference line Lr is set at a position separated from the attention line La by a predetermined distance in real space.
  • a line corresponding to a line segment extending in the vertical direction in real space is a line that radially spreads from the position Ps of the camera 1 in a bird's-eye view image.
  • the radially extending line is a line along the direction in which the three-dimensional object falls when converted to bird's-eye view.
  • the luminance difference calculation unit 35 sets an attention point Pa (a point on the first vertical imaginary line) on the attention line La. Further, the luminance difference calculation unit 35 sets a reference point Pr (a point on the second vertical imaginary line) on the reference line Lr.
  • the attention line La, the attention point Pa, the reference line Lr, and the reference point Pr have the relationship shown in FIG. 26B in real space.
  • the attention line La and the reference line Lr are lines extending in the vertical direction in real space, and the attention point Pa and the reference point Pr have substantially the same height in real space
  • the point is set to The attention point Pa and the reference point Pr do not necessarily have exactly the same height, and an error that allows the attention point Pa and the reference point Pr to be regarded as the same height is allowed.
  • the luminance difference calculation unit 35 obtains the luminance difference between the attention point Pa and the reference point Pr. If the luminance difference between the attention point Pa and the reference point Pr is large, it is considered that an edge exists between the attention point Pa and the reference point Pr. Therefore, the edge line detection unit 36 illustrated in FIG. 15 detects an edge line based on the luminance difference between the attention point Pa and the reference point Pr.
  • FIG. 27 is a diagram showing the detailed operation of the luminance difference calculation unit 35, and FIG. 27 (a) shows a bird's-eye view image in a bird's-eye view state, and FIG. 27 (b) is shown in FIG. It is the figure which expanded some B1 of the bird's-eye view image.
  • FIG. 27 shows only the detection area A1 is illustrated and described with reference to FIG. 27, the luminance difference is calculated for the detection area A2 according to the same procedure.
  • the other vehicle VX appears in the captured image captured by the camera 1, the other vehicle VX appears in the detection area A1 in the bird's-eye view image, as shown in FIG. 27 (a).
  • an attention line La is set on a rubber portion of a tire of another vehicle VX on a bird's-eye view image.
  • the luminance difference calculation unit 35 first sets the reference line Lr.
  • the reference line Lr is set along the vertical direction at a position separated by a predetermined distance in real space from the attention line La.
  • the reference line Lr is set at a position 10 cm away from the attention line La in real space.
  • the reference line Lr is set, for example, on the wheel of the tire of the other vehicle VX which is separated by 10 cm from the rubber of the tire of the other vehicle VX on the bird's-eye view image.
  • the luminance difference calculation unit 35 sets a plurality of attention points Pa1 to PaN on the attention line La.
  • attention points Pai when indicating arbitrary points
  • the number of attention points Pa set on the attention line La may be arbitrary. In the following description, it is assumed that N attention points Pa are set on the attention line La.
  • the luminance difference calculation unit 35 sets each of the reference points Pr1 to PrN to have the same height as each of the attention points Pa1 to PaN in real space. Then, the luminance difference calculation unit 35 calculates the luminance difference between the attention point Pa at the same height and the reference point Pr. Thereby, the luminance difference calculation unit 35 calculates the luminance difference of the two pixels at each of a plurality of positions (1 to N) along the vertical imaginary line extending in the vertical direction in the real space. The luminance difference calculation unit 35 calculates, for example, the luminance difference between the first reference point Pa1 and the first reference point Pr1, and the luminance difference between the second attention point Pa2 and the second reference point Pr2. Will be calculated.
  • the luminance difference calculation unit 35 continuously obtains the luminance difference along the attention line La and the reference line Lr. That is, the luminance difference calculation unit 35 sequentially obtains the luminance differences between the third to Nth attention points Pa3 to PaN and the third to Nth reference points Pr3 to PrN.
  • the luminance difference calculation unit 35 repeatedly executes processing such as setting of the reference line Lr, setting of the attention point Pa and the reference point Pr, and calculation of the luminance difference while shifting the attention line La in the detection area A1. That is, the luminance difference calculation unit 35 repeatedly executes the above process while changing the positions of the attention line La and the reference line Lr by the same distance in the extending direction of the ground line L1 in real space.
  • the luminance difference calculation unit 35 sets, for example, a line that has been the reference line Lr in the previous process to the attention line La, sets the reference line Lr to the attention line La, and sequentially obtains the luminance difference. It will be.
  • the edge line detection unit 36 detects an edge line from the continuous luminance difference calculated by the luminance difference calculation unit 35.
  • the luminance difference is small because the first attention point Pa1 and the first reference point Pr1 are located in the same tire portion.
  • the second to sixth attention points Pa2 to Pa6 are located in the rubber portion of the tire, and the second to sixth reference points Pr2 to Pr6 are located in the wheel portion of the tire. Therefore, the luminance difference between the second to sixth attention points Pa2 to Pa6 and the second to sixth reference points Pr2 to Pr6 becomes large.
  • the edge line detection unit 36 can detect that an edge line exists between the second to sixth focus points Pa2 to Pa6 having a large luminance difference and the second to sixth reference points Pr2 to Pr6. it can.
  • the edge line detection unit 36 first uses the i-th attention point Pai (coordinates (xi, yi)) and the i-th reference point Pri (coordinates (coordinates (coordinate From the luminance difference with xi ′, yi ′)), the i-th attention point Pai is attributed.
  • Equation 1 t indicates a threshold, I (xi, yi) indicates the luminance value of the i-th attention point Pai, and I (xi ', yi') indicates the luminance value of the i-th reference point Pri .
  • the attribute s (xi, yi) of the attention point Pai is “1”.
  • the attribute s (xi, yi) of the attention point Pai is ' ⁇ 1'.
  • the threshold value t may be set in advance and may be changed in accordance with a control command issued by the control unit 39 shown in FIG. 15, but the details thereof will be described later.
  • the edge line detection unit 36 determines whether or not the attention line La is an edge line based on continuity c (xi, yi) of the attribute s along the attention line La based on Formula 2 below.
  • c (xi, yi) 1
  • c (xi, yi) 0
  • the edge line detection unit 36 obtains the sum of the continuity c of all the attention points Pa on the attention line La.
  • the edge line detection unit 36 normalizes the continuity c by dividing the sum of the obtained continuity c by the number N of the attention points Pa.
  • the edge line detection unit 36 determines that the attention line La is an edge line.
  • the threshold value ⁇ is a value set in advance by experiments or the like.
  • the threshold value ⁇ may be set in advance, or may be changed in accordance with a control command according to the determination result of the virtual image of the control unit 39 described later.
  • the edge line detection unit 36 determines whether the attention line La is an edge line based on the following Equation 3. Then, the edge line detection unit 36 determines whether all the attention lines La drawn on the detection area A1 are edge lines. (Equation 3) Cc (xi, yi) / N> ⁇
  • the three-dimensional object detection unit 37 detects a three-dimensional object based on the amount of edge lines detected by the edge line detection unit 36.
  • the on-vehicle ambient environment recognition apparatus 100 detects an edge line extending in the vertical direction in real space. The fact that many edge lines extending in the vertical direction are detected means that there is a high possibility that three-dimensional objects exist in the detection areas A1 and A2.
  • the three-dimensional object detection unit 37 detects a three-dimensional object based on the amount of edge lines detected by the edge line detection unit 36. Furthermore, prior to detecting a three-dimensional object, the three-dimensional object detection unit 37 determines whether the edge line detected by the edge line detection unit 36 is correct.
  • the three-dimensional object detection unit 37 determines whether or not the change in luminance along the edge line of the bird's-eye view image on the edge line is larger than a predetermined threshold. If the brightness change of the bird's-eye view image on the edge line is larger than the threshold value, it is determined that the edge line is detected due to an erroneous determination. On the other hand, when the luminance change of the bird's-eye view image on the edge line is not larger than the threshold, it is determined that the edge line is correct.
  • the threshold is a value set in advance by experiment or the like.
  • FIG. 28 shows the luminance distribution of the edge line
  • FIG. 28 (a) shows the edge line and the luminance distribution when another vehicle VX is present as a three-dimensional object in the detection area A1
  • FIG. 28 (b) Shows an edge line and a luminance distribution when there is no three-dimensional object in the detection area A1.
  • the attention line La set in the tire rubber portion of the other vehicle VX in the bird's-eye view image is determined to be an edge line.
  • the luminance change of the bird's-eye view image on the attention line La is gentle. This is because the tire of the other vehicle VX is stretched in the bird's-eye view image by the viewpoint conversion of the image captured by the camera 1 into the bird's-eye view image.
  • the attention line La set in the white character portion “50” drawn on the road surface in the bird's-eye view image is erroneously determined as an edge line.
  • the change in luminance of the bird's-eye view image on the attention line La has a large undulation. This is because on the edge line, a portion with high luminance in white characters and a portion with low luminance such as the road surface are mixed.
  • the three-dimensional object detection unit 37 determines whether or not the edge line is detected due to an erroneous determination.
  • the three-dimensional object detection unit 37 determines that the edge line is detected by an erroneous determination when the change in luminance along the edge line is larger than a predetermined threshold. And the said edge line is not used for detection of a solid thing.
  • white characters such as “50” on the road surface, weeds on the road shoulder, and the like are determined as edge lines, and the detection accuracy of the three-dimensional object is prevented from being lowered.
  • the three-dimensional object detection unit 37 calculates the luminance change of the edge line according to any one of the following expressions 4 and 5.
  • the change in luminance of the edge line corresponds to the evaluation value in the vertical direction in real space.
  • Equation 4 evaluates the luminance distribution by the sum of squares of differences between the ith luminance value I (xi, yi) on the attention line La and the adjacent i + 1th luminance value I (xi + 1, yi + 1).
  • Equation 5 evaluates the luminance distribution by the sum of the absolute values of the differences between the ith luminance value I (xi, yi) on the attention line La and the adjacent i + 1 luminance value I (xi + 1, yi + 1). Do.
  • b (xi, yi) 0
  • the attribute b (xi, yi) of the attention point Pa (xi, yi) Become.
  • the attribute b (xi, yi) of the focused point Pai is '0'.
  • the threshold value t2 is preset by an experiment or the like to determine that the attention line La is not on the same three-dimensional object. Then, the three-dimensional object detection unit 37 adds up the attributes b for all the attention points Pa on the attention line La to obtain an evaluation value in the vertical equivalent direction, and determines whether the edge line is correct.
  • FIG.29 and FIG.30 is a flowchart which shows the detail of the solid-object detection method which concerns on this embodiment.
  • the process for the detection area A1 will be described, but the same process is performed for the detection area A2.
  • step S21 the camera 1 captures an image of a predetermined area specified by the angle of view a and the mounting position.
  • the viewpoint conversion unit 31 inputs the captured image data captured by the camera 1 in step S21, performs viewpoint conversion, and generates bird's-eye view image data.
  • step S23 the luminance difference calculation unit 35 sets an attention line La on the detection area A1. At this time, the luminance difference calculation unit 35 sets a line corresponding to a line extending in the vertical direction in real space as the attention line La.
  • step S24 the luminance difference calculation unit 35 sets a reference line Lr on the detection area A1. At this time, the luminance difference calculation unit 35 corresponds to a line segment extending in the vertical direction in real space, and sets a line separated from the attention line La and the real space by a predetermined distance as a reference line Lr.
  • step S25 the luminance difference calculation unit 35 sets a plurality of focus points Pa on the focus line La. At this time, the luminance difference calculation unit 35 sets as many attention points Pa as there is no problem at the time of edge detection by the edge line detection unit 36. Further, in step S26, the luminance difference calculation unit 35 sets the reference point Pr so that the attention point Pa and the reference point Pr have substantially the same height in real space. As a result, the attention point Pa and the reference point Pr are aligned in a substantially horizontal direction, and it becomes easy to detect an edge line extending in the vertical direction in real space.
  • step S27 the luminance difference calculation unit 35 calculates the luminance difference between the reference point Pa and the reference point Pr, which have the same height in real space.
  • the edge line detection unit 36 calculates the attribute s of each attention point Pa according to the above-described Equation 1.
  • step S28 the edge line detection unit 36 calculates the continuity c of the attribute s of each attention point Pa according to Equation 2 described above.
  • step S29 the edge line detection unit 36 determines whether or not the value obtained by normalizing the sum of the continuity c is larger than the threshold value ⁇ according to Equation 3 above.
  • the edge line detection unit 36 detects the attention line La as an edge line in step S30. Then, the process proceeds to step S31. If it is determined that the normalized value is not greater than the threshold value ⁇ (S29: NO), the edge line detection unit 36 does not detect the attention line La as an edge line, and the process proceeds to step S31.
  • the threshold value ⁇ can be set in advance, but can be changed by the control unit 39 in accordance with a control command.
  • step S31 the luminance difference calculation unit 35 determines whether or not the processing in steps S23 to S30 has been performed for all of the attention lines La that can be set on the detection area A1. If it is determined that the above process has not been performed for all the attention lines La (S31: NO), the process returns to step S23, a new attention line La is set, and the process up to step S31 is repeated. On the other hand, when it is determined that the above process has been performed for all the attention lines La (S31: YES), the process proceeds to step S32 in FIG.
  • step S32 in FIG. 30 the three-dimensional object detection unit 37 calculates, for each edge line detected in step S30 in FIG. 29, a change in luminance along the edge line.
  • the three-dimensional object detection unit 37 calculates the luminance change of the edge line according to any one of the expressions 4, 5 and 6 described above.
  • step S33 the three-dimensional object detection unit 37 excludes, among the edge lines, an edge line whose luminance change is larger than a predetermined threshold. That is, it is determined that the edge line having a large change in luminance is not a correct edge line, and the edge line is not used for detection of a three-dimensional object.
  • the predetermined threshold value is a value set based on a change in luminance generated by a character on the road surface, a weed on the road shoulder, and the like, which is obtained in advance by experiments and the like.
  • step S34 the three-dimensional object detection unit 37 determines whether the amount of edge lines is equal to or greater than a second threshold value ⁇ .
  • the second threshold value ⁇ may be obtained in advance by experiment or the like and set, and may be changed in accordance with a control command issued by the control unit 39 shown in FIG. 15, but the details thereof will be described later. For example, when a four-wheeled vehicle is set as a three-dimensional object to be detected, the second threshold value ⁇ is set in advance based on the number of edge lines of the four-wheeled vehicle that has appeared in the detection area A1 by experiment or the like.
  • the three-dimensional object detection unit 37 detects that there is a three-dimensional object in the detection area A1 in step S35. On the other hand, when it is determined that the amount of edge lines is not the second threshold ⁇ or more (S34: NO), the three-dimensional object detection unit 37 determines that there is no three-dimensional object in the detection area A1. Thereafter, the processing shown in FIGS. 29 and 30 ends.
  • the detected three-dimensional object may be determined to be another vehicle VX traveling in the adjacent lane next to the lane in which the host vehicle V is traveling, or in consideration of the relative velocity of the detected three-dimensional object to the host vehicle V It may be determined whether it is another vehicle VX traveling in the adjacent lane.
  • the second threshold value ⁇ can be set in advance, but can be changed to the control unit 39 according to a control command.
  • the vertical direction in real space with respect to the bird's-eye view image Set a vertical imaginary line as a line segment extending to Then, for each of a plurality of positions along a virtual imaginary line, it is possible to calculate the luminance difference between two pixels in the vicinity of each position, and to determine the presence or absence of a three-dimensional object based on the continuity of the luminance difference.
  • an attention line La corresponding to a line segment extending in the vertical direction in real space and a reference line Lr different from the attention line La are set for the detection areas A1 and A2 in the bird's-eye view image. Then, the luminance difference between the attention point Pa on the attention line La and the reference point Pr on the reference line Lr is continuously obtained along the attention line La and the reference line La. Thus, the luminance difference between the attention line La and the reference line Lr is determined by continuously determining the luminance difference between the points. When the luminance difference between the attention line La and the reference line Lr is high, there is a high possibility that the edge of the three-dimensional object is present at the setting location of the attention line La.
  • a three-dimensional object can be detected based on the continuous luminance difference.
  • the three-dimensional object Detection process is not affected. Therefore, according to the method of this embodiment, the detection accuracy of the three-dimensional object can be improved.
  • the difference in luminance between two points of substantially the same height near the vertical imaginary line is determined. Specifically, since the luminance difference is determined from the attention point Pa on the attention line La and the reference point Lr on the reference line Lr, which have substantially the same height in real space, the luminance in the case where there is an edge extending in the vertical direction The difference can be clearly detected.
  • FIG. 31 is a view showing an example of an image for explaining the processing of the edge line detection unit 36. As shown in FIG.
  • This image example shows a first stripe pattern 101 showing a stripe pattern in which a high brightness area and a low brightness area are repeated, and a second stripe pattern in which a low brightness area and a high brightness area are repeated.
  • 102 are adjacent images. Further, in this example of the image, the area with high luminance of the first stripe pattern 101 and the area with low luminance of the second stripe pattern 102 are adjacent to each other, and the area with low luminance of the first stripe pattern 101 and the second stripe pattern 102. The region where the luminance of the image is high is adjacent. The portion 103 located at the boundary between the first stripe pattern 101 and the second stripe pattern 102 tends not to be perceived as an edge by human senses.
  • the part 103 is recognized as an edge when an edge is detected based on only the luminance difference.
  • the edge line detection part 36 determines that the part 103 is an edge line only when there is continuity in the attribute of the luminance difference. It is possible to suppress an erroneous determination in which a part 103 not recognized as an edge line as a sense is recognized as an edge line, and edge detection in accordance with human sense can be performed.
  • the change in luminance of the edge line detected by the edge line detection unit 36 is larger than a predetermined threshold value, it is determined that the edge line is detected due to an erroneous determination.
  • a three-dimensional object included in the captured image tends to appear in the bird's-eye view image in a stretched state.
  • the tire of the other vehicle VX is stretched as described above, since one portion of the tire is stretched, the brightness change of the bird's-eye view image in the stretched direction tends to be small.
  • the bird's-eye view image includes a mixed region of a high luminance such as a character part and a low luminance region such as a road part.
  • the luminance change in the stretched direction tends to be large. Therefore, by determining the luminance change of the bird's-eye view image along the edge line as in the present example, the edge line detected by the erroneous determination can be recognized, and the detection accuracy of the three-dimensional object can be enhanced.
  • the other vehicle recognition unit 204b in the on-vehicle ambient environment recognition device 100 of this example determines the three-dimensional object.
  • a unit 34, a virtual image determination unit 38, and a control unit 39 are provided.
  • the three-dimensional object judgment unit 34 determines whether the detected three-dimensional object is another vehicle VX present in the detection areas A1 and A2. Make a final decision.
  • the three-dimensional object detection unit 33 (or the three-dimensional object detection unit 37) performs detection of a three-dimensional object reflecting the determination result of the virtual image determination unit 38 described later. From the result of texture analysis of the image corresponding to the detected three-dimensional object, the virtual image determination unit 38 determines whether the detected three-dimensional object is a virtual image in which an image of a building or the like is transferred to a water film or the like formed on the road surface. To judge. When it is determined that the image corresponding to the three-dimensional object detected by virtual image determination unit 38 is a virtual image, control unit 39 is another vehicle V in which the three-dimensional object to be detected is present in detection regions A1 and A2. And outputs a control command for controlling each part (including the control part 39) constituting the other vehicle recognition part 204b so as to be suppressed.
  • the three-dimensional object determination unit 34 of the present embodiment finally determines whether the three-dimensional object detected by the three-dimensional object detection units 33 and 37 is another vehicle VX present in the detection areas A1 and A2.
  • the three-dimensional object determination unit 34 determines that the three-dimensional object detected is the other vehicle VX present in the detection areas A1 and A2
  • processing such as notification to the occupant is executed.
  • the three-dimensional object determination unit 34 can suppress the determination that the detected three-dimensional object is the other vehicle VX in accordance with the control command of the control unit 39.
  • the control unit 39 suppresses the determination that the detected three-dimensional object is the other vehicle VX
  • Control instruction is sent to the three-dimensional object determination unit 34.
  • the three-dimensional object determination unit 34 stops the determination processing of the three-dimensional object according to this control command, or determines that the detected three-dimensional object is not the other vehicle VX, that is, the other vehicle VX does not exist in the detection areas A1 and A2.
  • the control command is not obtained, it can also be determined that the three-dimensional object detected by the three-dimensional object detection units 33 and 37 is the other vehicle VX present in the detection areas A1 and A2.
  • the virtual image determination unit 38 of the present embodiment can determine, based on the difference waveform information generated by the three-dimensional object detection unit 33, whether or not the image of the three-dimensional object relating to the detection is a virtual image.
  • the virtual image determination unit 38 determines that the brightness difference of the image area of the image information corresponding to the three-dimensional object, particularly the image information corresponding to the contour of the three-dimensional object along the vertical direction is less than a predetermined value. In this case, it is determined that the three-dimensional object detected in the area including the image area is a virtual image.
  • the virtual image determination unit 38 determines that the frequency counted in the differential waveform information is a predetermined value among the determination lines (La to Lf in FIG. 17) along the direction in which the three-dimensional object falls when converting a bird's-eye view image into a viewpoint.
  • One or more reference judgment lines for example, La which are the above are specified, and one or more comparison judgments including the luminance of the image area on the reference judgment line (La) and the judgment line (Lc or Ld) adjacent to the reference judgment line It is determined whether the luminance difference with the luminance of the image area on the line (Lb, Lc, Ld, Le) is less than a predetermined value, and if the luminance difference is less than the predetermined value, the area including the image area It is determined that the three-dimensional object detected in is a virtual image.
  • the comparison of the luminance difference is performed by comparing the luminance of a certain pixel on the reference determination line (La) or the image area including this pixel and the one pixel or comparison pixel having the comparison determination line (Lb, Lc, Ld, Le).
  • the brightness of the area can be compared.
  • the luminance difference can be determined based on the number of pixels indicating the predetermined difference in the differential waveform information shown in FIG. 17 or a frequency-distributed value.
  • the virtual image determination unit 38 sets a predetermined number of comparison determination lines (Lb, Lc, Ld, Le) including an image area whose luminance difference from the luminance of the image area on the reference determination line (La) is less than a predetermined value.
  • Lb, Lc, Ld, Le comparison determination lines
  • it can be determined that the three-dimensional object detected in the area including the image area is a virtual image.
  • whether or not the image is a virtual image can be accurately determined by verifying the presence or absence of contrast in a wide range and determining whether the image is a virtual image.
  • FIG. 32 is a view showing a state where a water puddle (water film) is formed on the road surface in the detection area A2 and an image of a surrounding structure is reflected on the surface.
  • 33 and 34 show the difference waveform information DWt1 generated from the bird's-eye view image of the image of the other vehicle VX existing in the detection area A1, and the image of the surrounding structure reflected in the water film formed in the detection area A2.
  • the differential waveform information DWt2 generated from the bird's-eye view image of the base image is shown. As shown in the left side of FIG. 33 and FIG.
  • the image of the virtual image in which the surrounding structure is reflected in the water film of the road surface is a real image that is the image corresponding to the detected three-dimensional object by using the feature of low contrast. It can be determined whether it is a virtual image.
  • the virtual image determination unit 38 of the present embodiment determines whether the image of the three-dimensional object to be detected is a virtual image based on the edge information generated by the three-dimensional object detection unit 37. Can. Specifically, when the virtual image determination unit 38 performs the viewpoint conversion of the bird's-eye view image, the luminance difference between the image areas adjacent to each other among the determination lines (La to Ld, Lr in FIG.
  • One reference determination line for example, Lr
  • Lr the luminance of the image area on the reference determination line (Lr) and the determination line (Lb ⁇ ) adjacent to the reference determination line (Lr)
  • the luminance difference with the luminance of the image area on one or more comparison determination lines (La to Ld) including Lc) is less than a predetermined value
  • the three-dimensional object detected in the area including the image area is a virtual image I judge that there is.
  • the virtual image determination unit 38 determines that there are a predetermined number or more of comparison determination lines (Lb to Lc) including an image area whose luminance difference from the luminance of the image area on the reference determination line (Lr) is less than a predetermined value. It can be determined that the three-dimensional object detected in the area including the image area is a virtual image. As described above, whether or not the image is a virtual image can be accurately determined by verifying the presence or absence of contrast in a wide range and determining whether the image is a virtual image.
  • the virtual image determination unit 38 of this embodiment determines whether the image information corresponding to the three-dimensional object detected based on the contrast of the image information of the detection area A1 and the detection area A2 is a virtual image or a real image.
  • the contrast of the image information is calculated based on the feature amount of the texture of the image information of the detection area A1 and the detection area A2.
  • methods such as extraction, evaluation and quantification of the texture of the image information can be appropriately applied to the texture analysis method known at the time of filing.
  • control unit 39 When the virtual image determination unit 38 determines that the three-dimensional object detected by the three-dimensional object detection unit 33 is a virtual image in the previous process, the control unit 39 of the present embodiment determines the three-dimensional object detection unit 33 in the next process.
  • a control command to be executed in any one or more of 37, the three-dimensional object determination unit 34, the virtual image determination unit 38, or the control unit 39 that is the control unit 39 can be generated.
  • the control command of the present embodiment is a command for controlling the operation of each part so that it is suppressed that the detected three-dimensional object is the other vehicle VX. This is to prevent a virtual image in which the surrounding structure is reflected in the water film on the road surface from being erroneously judged as the other vehicle VX. Since the other vehicle recognition unit 204b of this embodiment is a computer, control instructions for the three-dimensional object detection process, the three-dimensional object determination process, and the virtual image determination process may be incorporated in the program of each process in advance or may be sent out at the time of execution. .
  • the control command of the present embodiment may be a command to a result of stopping the process of determining the detected three-dimensional object as another vehicle, or determining the detected three-dimensional object as not the other vehicle.
  • An instruction to reduce the sensitivity when detecting a three-dimensional object based on differential waveform information, an instruction to adjust the sensitivity when detecting a three-dimensional object based on edge information, and a luminance difference when determining whether it is a virtual image or not It may be an instruction to adjust the value of.
  • control commands output by the control unit 39 will be described.
  • control instructions in the case of detecting a three-dimensional object based on differential waveform information will be described.
  • the three-dimensional object detection unit 33 detects a three-dimensional object based on the difference waveform information and the first threshold value ⁇ .
  • the control unit 39 of the present embodiment generates a control instruction to increase the first threshold value ⁇ , and the three-dimensional object detection unit Output to 33.
  • the first threshold ⁇ is the first threshold ⁇ for determining the peak of the differential waveform DW t in step S7 of FIG. 23 (see FIG. 17).
  • the control unit 39 can output a control instruction to increase the threshold value p regarding the difference of the pixel value in the difference waveform information to the three-dimensional object detection unit 33.
  • control unit 39 determines that the image information corresponding to the three-dimensional object is a virtual image in the previous processing, a water film is formed on the detection regions A1 and A2, and the control unit 39 generates image information on the detection regions A1 and A2. It can be judged that there is a high possibility of reflection of surrounding structures. If a three-dimensional object is detected by the same method as usual, a virtual image reflected in the water film may be erroneously detected as a real image of the other vehicle VX although there is no other vehicle VX in the detection areas A1 and A2. is there.
  • the threshold value regarding the difference in pixel value when generating the difference waveform information is changed to a high value so that a three-dimensional object is not easily detected in the next processing.
  • the detection sensitivity is adjusted so that the other vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect, so the surrounding structure reflected in the water film It is possible to prevent an object from being erroneously detected as another vehicle VX traveling in the adjacent lane.
  • the control unit 39 of the present embodiment determines the number of pixels indicating a predetermined difference on the difference image of the bird's-eye view image.
  • a control instruction that counts and outputs the frequency-distributed value low can be output to the three-dimensional object detection unit 33.
  • the value obtained by frequency distribution by counting the number of pixels indicating a predetermined difference on the difference image of the bird's-eye view image is the value on the vertical axis of the difference waveform DW t generated in step S5 of FIG.
  • control unit 39 determines that the three-dimensional object is a virtual image in the previous processing, it can be determined that there is a high possibility that a water film is formed in the detection regions A1 and A2.
  • the frequency-distributed value of the difference waveform DW t is changed to a low value so that the other vehicle VX is not erroneously detected in A1 and A2.
  • the detection sensitivity is adjusted so that the other vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect, the virtual image formed on the water film Erroneous detection as another vehicle VX traveling in a lane can be prevented.
  • control instructions in the case of detecting a three-dimensional object based on edge information will be described.
  • the control unit 39 When the virtual image determination unit 38 determines that the image information corresponding to the three-dimensional object is a virtual image, the control unit 39 according to the present embodiment performs control to increase a predetermined threshold regarding luminance used when detecting edge information.
  • the instruction is output to the three-dimensional object detection unit 37.
  • the predetermined threshold value for luminance used when detecting edge information is a threshold value ⁇ for determining a value obtained by normalizing the sum total of the continuity c of the attribute of each attention point Pa in step S29 of FIG.
  • the second threshold ⁇ for evaluating the amount of edge lines at 34.
  • a water film may be formed in the detection areas A1 and A2, and the surrounding structure may be reflected in the water film. Since it can be determined to be high, the threshold ⁇ used when detecting an edge line or the second threshold ⁇ for evaluating the amount of the edge line is changed high so that a three-dimensional object is difficult to detect in the next processing. As described above, by changing the determination threshold value high, the detection sensitivity is adjusted so that the other vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect, so the surrounding structure reflected in the water film It is possible to prevent false detection of a virtual image of an object as another vehicle VX traveling in the next lane.
  • the control unit 39 of the present embodiment reduces the amount of detected edge information to a three-dimensional object. It is output to the detection unit 37.
  • the amount of detected edge information is a value obtained by normalizing the total sum of the continuity c of the attributes of the attention points Pa in step S29 in FIG. 29, or the amount of edge lines in step 34 in FIG. If the control unit 39 determines that the three-dimensional object is a virtual image in the previous processing, it can determine that there is a high possibility that the surrounding structure is reflected in the water film such as a puddle.
  • the value obtained by normalizing the sum of the continuity c of the attributes of each attention point Pa or the amount of edge lines is changed to a low value so that an object is not easily detected.
  • the detection sensitivity is adjusted by reducing the output value so that the other vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect. It is possible to prevent false detection of the virtual image of the reflected surrounding structure as the other vehicle VX traveling in the adjacent lane.
  • control unit 39 makes the first threshold ⁇ , the threshold p, the second threshold ⁇ , or the threshold ⁇ higher if the luminances of the detection areas A1 and A2 are equal to or higher than a predetermined value.
  • Control instructions can be generated and output to the three-dimensional object detection units 33 and 37.
  • the luminance of the detection areas A1 and A2 can be acquired from the captured image of the camera 1.
  • the brightness of the detection areas A1 and A2 is higher than a predetermined value and bright, it can be determined that there is a high possibility that a water film reflecting light is formed in the detection areas A1 and A2.
  • the detection sensitivity is enhanced by increasing the threshold so that another vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect.
  • control unit 39 acquires the moving speed of the host vehicle V from the vehicle speed sensor 5, and when the moving speed of the host vehicle V detected by the vehicle speed sensor 5 is less than a predetermined value, A control instruction to further increase the threshold value ⁇ , the threshold value p, the second threshold value ⁇ or the threshold value ⁇ can be generated and output to the solid object detection unit.
  • a control instruction to further increase the threshold value ⁇ , the threshold value p, the second threshold value ⁇ or the threshold value ⁇ can be generated and output to the solid object detection unit.
  • the threshold value is increased by making it difficult to detect another vehicle VX traveling next to the traveling lane of the host vehicle V.
  • the control unit 39 of the present embodiment In the process of determining that the vehicle VX or the like is to be detected, the detection sensitivity is adjusted so that the other vehicle VX traveling next to the traveling lane of the host vehicle V is difficult to detect.
  • the control unit 39 determines a predetermined range for evaluating the relative movement speed in the three-dimensional object detection unit 33, 37. A control command to be reduced is generated and output to the three-dimensional object detection units 33 and 37.
  • the three-dimensional object detected in the previous process is a virtual image
  • the three-dimensional object is an image of a water film formed on the road surface, and it is presumed that the three-dimensional object is a stationary object. can do.
  • the detection sensitivity can be increased by narrowing the predetermined range of the relative movement speed used to determine whether the vehicle is the other vehicle VX so as not to erroneously detect such a stationary object as the other vehicle VX.
  • control unit 39 can generate a control instruction to reduce the predetermined range by changing the lower limit value indicated by the negative value of the predetermined range to a high value to evaluate the relative movement speed. .
  • the control unit 39 can change the lower limit value indicated by a negative value to a high value in the predetermined range defined as -20 km to 100 km, and can define it as -5 km to 100 km, for example.
  • the relative movement speed indicated by a negative value is the speed at which the vehicle V travels rearward with respect to the traveling direction. If it is determined that the three-dimensional object detected in the previous process is a virtual image, the three-dimensional object is an image of a water film formed on the road surface, and it is presumed that the three-dimensional object is a stationary object. can do.
  • the control unit 39 When adjusting the threshold related to the speed, the control unit 39 generates a control command to further reduce the predetermined range for evaluating the relative movement speed when the luminance of the detection areas A1 and A2 is equal to or more than the predetermined value. It can be output to the three-dimensional object detection units 33 and 37.
  • the luminances of the detection areas A1 and A2 can be acquired from the image information of the camera 1 as described above. When the brightness of the detection areas A1 and A2 is higher than a predetermined value and bright, it can be determined that there is a high possibility that a water film reflecting light is formed in the detection areas A1 and A2.
  • the detection sensitivity so that VX is hard to be detected, it is possible to prevent false detection of the virtual image of the surrounding structure reflected in the water film as another vehicle VX traveling on the adjacent adjacent lane.
  • the control unit 39 acquires the moving speed of the own vehicle V from the vehicle speed sensor 5 and the moving speed of the own vehicle V detected by the vehicle speed sensor 5 is less than a predetermined value. Can generate a control command for further reducing the predetermined range for evaluating the relative movement speed, and can output the control command to the three-dimensional object detection units 33 and 37.
  • the moving speed of the host vehicle V is low, there is a tendency that the discriminability of the difference in the difference waveform information and the difference in the edge information decreases.
  • the predetermined range for evaluating the relative moving speed is further reduced to travel next to the traveling lane of the host vehicle V.
  • FIGS. 35 to 39 operations of the control unit 39 and the three-dimensional object determination unit 34 and the three-dimensional object detection units 33 and 37 that have acquired the control command will be described.
  • the processing shown in FIGS. 35 to 39 is the present three-dimensional detection processing performed using the result of the previous processing after the previous three-dimensional object detection processing.
  • the virtual image determination unit 38 determines whether the three-dimensional object detected by the three-dimensional object detection unit 33 is a virtual image. Whether or not the three-dimensional object is a virtual image can be determined based on the contrast of the image information of the detected three-dimensional object. In this case, it can be performed based on the difference waveform information generated by the three-dimensional object detection unit 33 described above, or can be performed based on the edge information generated by the three-dimensional object detection unit 37.
  • step 42 the control unit 39 determines whether the detected three-dimensional object is a virtual image in the determination of the virtual image calculated in step 41.
  • the control unit 39 When the detected three-dimensional object is a virtual image, the control unit 39 outputs a control command to each unit so that it is suppressed that the detected three-dimensional object is the other vehicle VX. As one example, the process proceeds to step S46, and the control unit 39 outputs, to the three-dimensional object determination unit 34, a control instruction of the content for stopping the three-dimensional object detection process. Further, as another example, the process proceeds to step S47, and the control unit 39 can also determine that the detected three-dimensional object is not the other vehicle VX.
  • step S43 perform three-dimensional object detection processing.
  • the process of detecting the three-dimensional object is performed according to the process using the differential waveform information of FIG. 23 or 24 by the above-mentioned three-dimensional object detection unit 33 or the process using edge information of FIG. It will be.
  • step 43 when a solid object is detected in the detection areas A1 and A2 by the solid object detection units 33 and 37, the process proceeds to step S45, and it is determined that the detected solid object is another vehicle VX.
  • step S47 determines the other vehicle VX does not exist in the detection areas A1 and A2.
  • FIG. 36 shows another processing example.
  • the control unit 39 proceeds to step S51, and uses the threshold value p regarding the difference in pixel value when generating difference waveform information, and difference waveform information
  • One or more of the first threshold ⁇ used when judging a solid object, the threshold ⁇ when generating edge information, and the second threshold ⁇ used when judging a solid object from edge information are set high
  • the control command is sent to the three-dimensional object detection units 33 and 37.
  • the first threshold value ⁇ is for determining the peak of the differential waveform DW t in step S7 of FIG.
  • the threshold value ⁇ is a threshold value for determining a value obtained by normalizing the sum total of the continuity c of the attributes of the attention points Pa in step S29 in FIG. 29, and the second threshold value ⁇ is the amount of edge lines in step 34 in FIG. Is a threshold for evaluating Note that, instead of raising the threshold value, the control unit 39 may generate a control instruction to lower the output value evaluated by the threshold value and output the control command to the three-dimensional object detection units 33 and 37.
  • the other processes are the same as those shown in FIG.
  • step S52 when it is determined that the three-dimensional object detected in step 42 is a virtual image as shown in FIG. 37, the process proceeds to step S52 and the luminance of detection areas A1 and A2 is at least a predetermined value. It is determined whether or not If the luminances of the detection areas A1 and A2 are equal to or higher than the predetermined value, the process may proceed to step S53 to generate a control instruction to further increase the threshold in step S51 of FIG. . Note that, instead of raising the threshold value, the control unit 39 may generate a control command to further lower the output value evaluated by the threshold value, and may output the control command to the three-dimensional object detection units 33 and 37.
  • the other processes are the same as those shown in FIG.
  • step S54 when it is determined that the three-dimensional object detected in step 42 is a virtual image, as shown in FIG. 38, the process proceeds to step S54 and the moving speed of the vehicle is less than a predetermined value. Determine if it is or not. If the moving speed of the host vehicle is less than the predetermined value, the process proceeds to step S55, and a control instruction may be generated to further increase the threshold in step S51 of FIG.
  • the control unit 39 generates a control instruction to further lower the output value evaluated by the threshold instead of raising the threshold, and the other processes are the same as those shown in FIG.
  • the control unit 39 When the output value is lowered, the control unit 39 counts the number of pixels indicating a predetermined difference on the difference image of the bird's-eye view image, and outputs a control instruction for outputting a low frequency distribution value at a low level. It is output to the detection unit 33.
  • the value obtained by frequency distribution by counting the number of pixels indicating a predetermined difference on the difference image of the bird's-eye view image is the value on the vertical axis of the difference waveform DW t generated in step S5 of FIG.
  • the control unit 39 can output, to the three-dimensional object detection unit 37, a control instruction that outputs a low amount of detected edge information.
  • the amount of detected edge information is a value obtained by normalizing the total sum of the continuity c of the attributes of the attention points Pa in step S29 in FIG. 29, or the amount of edge lines in step 34 in FIG.
  • the control unit 39 determines that the three-dimensional object detected in the previous process is a virtual image, it can determine that a water film is formed in the detection areas A1 and A2, and therefore the three-dimensional object in the next process It is possible to output to the three-dimensional object detection unit 37 a value obtained by normalizing the total sum of the continuity c of the attributes of each attention point Pa or changing the amount of the edge line to a low value so that objects are difficult to be detected.
  • FIG. 39 shows still another processing example. If it is determined that the three-dimensional object detected in step 42 is a virtual image, the control unit 39 proceeds to step S61 and generates a control command to reduce a predetermined range for evaluating the relative movement speed, Output to the object detection units 33 and 37. Incidentally, when the relative movement speed of the detected three-dimensional object with respect to the vehicle is within a predetermined range, the three-dimensional object detection unit 33, 37 detects the three-dimensional object as a detection target of another vehicle or the like. Send to 34
  • step S130 of FIG. 5 the other vehicle recognition unit 204b of the application execution unit 204 can execute the other vehicle recognition processing as described above.
  • the on-vehicle ambient environment recognition device 100 recognizes the other vehicle traveling around the vehicle by the application execution unit 204 based on the captured image acquired by the camera 1 and compares the other vehicle with the vehicle The speed is detected (step S130). Further, the reflection determination unit 203 determines the presence / absence of reflection of a background object on the road surface based on the photographed image (step S180). When it is determined in step S180 that there is a reflection, the alarm control unit 205 stops the alarm output signal to the alarm output unit 3 (step S200), and suppresses the alarm output by the alarm output unit 3.
  • the degree of suppression of the output of the alarm signal is adjusted by the alarm suppression adjustment unit 206 based on the relative speed of the other vehicle detected in step S130 (step S160), and the alarm signal is adjusted according to the adjusted degree of suppression. Suppress the output. Since this is done, it is possible to prevent an alarm from being output at an incorrect timing as a reflection of a background object on the road surface is erroneously detected as a vehicle.
  • step S160 the warning suppression adjustment unit 206 changes the conditions for the reflection determination unit 203 to determine the presence or absence of background objects on the road surface according to the relative speed of the other vehicle.
  • the degree of suppression of the output of the alarm signal can be adjusted. Specifically, adjustment of the degree of warning suppression is made by changing the reference value at the time of determining the presence or absence of the background object on the road surface by comparing the feature amounts of the respective regions in step S180. Do. That is, in the on-vehicle ambient environment recognition apparatus 100, background areas 34a to 34f and 36a to 36f and reflection areas 35a to 35f and 37a to 37f are displayed on the photographed image 30 acquired by the camera 1 by the area setting unit 201. Are set (step S20).
  • step S180 the reflection determination unit 203 determines the images in the background areas 34a to 34f and 36a to 36f of the captured image 30, and the images in the reflection areas 35a to 35f and 37a to 37f of the captured image 30.
  • the threshold is changed according to the relative speed of the other vehicle, and more specifically, when the relative speed of the other vehicle is within the predetermined range, the alarm suppression degree is adjusted by lowering the threshold. . Since it did in this way, adjustment of the warning suppression degree can be performed easily and reliably.
  • the condition for determining the presence or absence of the background object may be relaxed in step S180 to facilitate alarm suppression.
  • the warning suppression adjustment unit 206 can also adjust the degree of warning suppression by changing the conditions for calculating the feature quantities of the respective regions in step S170. That is, in the on-vehicle ambient environment recognition apparatus 100, the feature quantity calculation unit 202 determines the predetermined values of the images in the background areas 34a to 34f and 36a to 36f and the images in the reflection areas 35a to 35f and 37a to 37f. Edges satisfying the detection conditions are respectively detected, and feature amounts corresponding to the detected edges are respectively calculated for the background regions 34a to 34f and 36a to 36f and the reflection regions 35a to 35f and 37a to 37f (step S170).
  • step S180 the reflection determination unit 203 compares the feature amounts of the background regions 34a to 34f and 36a to 36f with the feature amounts of the reflection regions 35a to 35f and 37a to 37f to obtain a background object on the road surface. Determine the presence or absence of reflection.
  • step S160 the detection condition is changed according to the relative speed of the other vehicle, more specifically, when the relative speed of the other vehicle is within a predetermined range, the luminance difference as the edge detection condition is lowered. Adjust the degree of alarm suppression. Also in this case, the adjustment of the warning suppression degree can be easily and reliably performed. Furthermore, the condition for determining the presence or absence of the background object may be relaxed in step S180 to facilitate alarm suppression.
  • the alarm control unit 205 stops the output of the alarm output signal to the alarm output unit 3 when the notification of the reflection is received from the reflection determination unit 203, thereby outputting an alarm.
  • An example of suppression is described.
  • the present embodiment when the notification with reflection is received from the reflection determination unit 203, the other vehicle is unlikely to be recognized in the other vehicle recognition process executed by the other vehicle recognition unit 204b of the application execution unit 204.
  • An example in the case of suppressing an alarm output will be described.
  • the configuration of the on-vehicle ambient environment recognition apparatus 100 according to the present embodiment and the control block diagram of the control unit 2 for suppressing the warning when the road surface is reflected are the same as those shown in FIGS. Therefore, these descriptions are omitted below.
  • FIG. 40 is a flowchart of processing executed in the warning suppression at the time of road surface reflection in the present embodiment. Similar to the flowchart of FIG. 5 described in the first embodiment, the process shown in this flowchart is performed at predetermined processing cycles in the control unit 2 while an application (application) is being executed.
  • step S161 the control unit 2 causes the alarm suppression adjustment unit 206 to adjust the degree of alarm suppression.
  • the alarm suppression can be easily performed by any of the following methods (A), (B), and (C) compared to the case where it is not so As such, adjust the degree of alarm suppression.
  • the other vehicle recognition condition is changed when it is determined that there is reflection of a background object on the road surface in the other vehicle recognition process of step S130 from next time onwards. That is, the differential waveform information is acquired as the image information value based on the image in the detection area set in the photographed image, and based on this, the detection of the three-dimensional object by the differential waveform information as described above is performed.
  • the threshold value for determining whether or not a three-dimensional object exists from the difference waveform DW t , specifically, the value of the first threshold value ⁇ used for the determination in step S7 of FIG.
  • edge information is acquired as an image information value based on an image in a detection area set in a captured image, and based on this, another vehicle is recognized by executing detection of a three-dimensional object by edge information as described above.
  • the threshold value for determining whether or not the attention line is an edge line specifically, the value of the threshold ⁇ in Expression 3 is increased.
  • the condition at the time of acquiring the image information value may be changed. That is, the differential waveform information is acquired as the image information value based on the image in the detection area set in the photographed image, and based on this, the detection of the three-dimensional object by the differential waveform information as described above is performed.
  • the threshold value for obtaining the difference image PD t used to generate the difference waveform DW t specifically, the value of the threshold value p described with reference to FIG.
  • edge information is acquired as an image information value based on an image in a detection area set in a captured image, and based on this, another vehicle is recognized by executing detection of a three-dimensional object by edge information as described above.
  • the threshold value for attributeing the attention point specifically, the value of the threshold value t in Expression 1 is increased.
  • the other vehicle recognition condition can also be changed by adjusting these threshold values.
  • step S130 By setting the conditions for recognizing other vehicles in step S130 to be strict by the method described above, it is possible to increase the degree of suppression of the alarm output so that the other vehicles are not easily recognized. As a result, when the relative speed of the other vehicle is within the predetermined range, the degree of alarm suppression is adjusted so that the alarm suppression can be easily performed as compared with the case where it is not so. Note that only one of the adjustment of the threshold as the detection condition of the three-dimensional object and the adjustment of the threshold as the acquisition condition of the image information value described above may be performed, or both may be performed simultaneously.
  • step S180 it is determined in step S180 whether the background object is reflected on the road or not. Change the conditions. That is, the threshold value for determining the correlation of the image between the background areas 34a to 34f and the reflected areas 35a to 35f and the background areas 36a to 36f and the reflected areas 37a to 37f in FIG. 6 is lowered. Alternatively, the luminance difference of the edge detection condition for each of the background areas 34a to 34f and 36a to 36f and the reflection areas 35a to 35f and 37a to 37f is lowered.
  • step S180 By relaxing the conditions for determining the presence or absence of background objects on the road surface in step S180 by the method as described above, it is easy to obtain the determination result of presence of reflection, so that the alarm output is performed.
  • the degree of suppression can be increased.
  • the degree of alarm suppression is adjusted so that the alarm suppression can be easily performed as compared with the case where it is not so. Note that only one of the adjustment of the threshold for the correlation and the adjustment of the edge detection condition described above may be performed, or both may be performed simultaneously.
  • the alarm suppression period is extended when it is determined that there is no reflection of background objects on the road surface. That is, in the reflection determination in step S180, it is determined that there is no reflection of background objects on the road surface, and it is extended after the determination result of no reflection is obtained if it is determined that there is no reflection thereafter. To suppress the alarm. As a result, when the relative speed of the other vehicle is within the predetermined range, the degree of alarm suppression is adjusted so that the alarm suppression can be easily performed as compared with the case where it is not so.
  • the period during which the alarm suppression is extended may be a period during which it is determined that the relative speed of the other vehicle is within the predetermined range after it is determined that the background is not reflected, or the predetermined time or the vehicle may It may be a period until the vehicle travels a predetermined distance.
  • step S161 the degree of alarm suppression can be adjusted using at least one of the methods (A) to (C) described above.
  • Each of the methods (A) to (C) may be employed singly or in combination.
  • step S190 the control unit 2 determines the presence or absence of the background object on the road surface based on the result of the reflection determination in step S180, as in the flowchart of FIG. 5 described in the first embodiment. If it is determined in step S180 that there is reflection of a background on the road surface in at least one of left rear and right rear of the vehicle, the process proceeds from step S190 to step S210. On the other hand, if it is determined in step S180 that there is no reflection of background objects on the road surface in any of left and right rear of the vehicle, the process proceeds from step S190 to step S220.
  • step S210 the control unit 2 adopts the threshold value Th1 for the other vehicle recognition process of step S130 after step S130.
  • control unit 2 adopts threshold value Th0 for the other vehicle recognition process of step S130 after step S130.
  • Th1> Th0 Th0.
  • the above-mentioned thresholds Th1 and Th0 correspond to the threshold as the detection condition of the three-dimensional object used in the method of (A) in the above-mentioned step S161. That is, the differential waveform information is acquired as the image information value based on the image in the detection area set in the photographed image, and based on this, the detection of the three-dimensional object by the differential waveform information as described above is performed. Is recognized, the value of either Th1 or Th0 is adopted as the first threshold value ⁇ used in the determination of step S7 of FIG.
  • edge information is acquired as an image information value based on an image in a detection area set in a captured image, and based on this, another vehicle is recognized by executing detection of a three-dimensional object by edge information as described above.
  • a value of either Th1 or Th0 is adopted as the threshold ⁇ of Formula 3.
  • step S210 when it is determined in the reflection determination in step S180 that there is a reflection of a background object on the road surface, in step S210, another vehicle recognizes a threshold Th1 higher than the threshold Th0 when there is no reflection. Adopted as a threshold in processing. In this manner, by making the conditions for recognizing the other vehicle strict in step S130, the alarm output can be suppressed so that the other vehicle is hardly recognized.
  • the threshold value Th1 when it is determined that the background object is reflected on the road surface is used. The alarm output is further suppressed by tightening the acquisition condition of the image information value when it is determined that the background object is reflected or raised on the road surface.
  • FIGS. 41 to 45 are diagrams for explaining the reduction effect of the false alarm obtained by the on-vehicle ambient environment recognition apparatus 100 of the present embodiment as described above.
  • the relative speed of the other vehicle shown in each of FIGS. 41 (a) to 45 (a) changes in the same manner as FIG. 12 described in the first embodiment, It has each illustrated how the output timing of the alarm from the alarm output part 3 changes with adjustment of the suppression degree of the alarm output to perform.
  • FIGS. 41 and 42 each show an example in the case where the degree of alarm suppression is adjusted using the method (A) of the aforementioned (A) to (C) in step S161 in FIG.
  • FIG. 41 shows an example in the case of adjusting the threshold as a detection condition of a three-dimensional object, that is, the threshold Th1 of other vehicle recognition corresponding to the above-mentioned first threshold ⁇ or threshold ⁇ , and FIG. It is an example at the time of adjusting the threshold as a condition, ie, the above-mentioned threshold p or threshold t.
  • the alarm suppression adjustment unit 206 is shown in FIG. 41 (c) in the period from time Tr1 to time Tr2 and time Tr3 to time Tr4 when it is determined that there is a background object on the road surface.
  • the alarm output is suppressed by changing the threshold for recognizing the other vehicle from Th0 to Th1.
  • adjustment of the suppression degree of the alarm output is executed by raising the threshold Th1.
  • the part shown with a broken line in FIG.41 (c) has shown threshold value Th1 when not adjusting adjustment degree of warning output.
  • the other vehicle recognition unit 204b of the application execution unit 204 can not easily recognize the other vehicle.
  • the timing when the other vehicle starts to be recognized is determined as no reflection from time To3 at which the image information value 50 exceeds the threshold Th1 before adjustment, and the alarm output is suppressed. Is changed to time Tr4 at which the The timing at which the image information value 50 falls below the threshold Th0 and the recognition of the other vehicle ends is unchanged at the time To4 and is not changed.
  • the alarm output period is shortened to the period from time Tr4 to time To4.
  • the portion shown by the broken line in FIG. 41 (d) is the timing of the alarm output when the adjustment of the suppression degree of the alarm output is not performed, and the alarm output is also in the period from time To3 to time Tr4 in addition to the above period. It shows that it is done.
  • the threshold Th1 for recognizing the other vehicle is changed in the period from time Tr3 to time Tr4 when the relative speed of the other vehicle is within the predetermined range and it is determined that the reflection is present.
  • the degree of suppression of the alarm output is adjusted. As a result, it is possible to suppress the alarm output in the period from time To3 to time Tr4.
  • the warning suppression adjustment unit 206 performs the same process as in FIG.
  • the alarm output is suppressed by changing the threshold value for recognizing another vehicle from Th0 to Th1. Furthermore, in the period from time Tr3 to time Tr4, since the relative speed of the other vehicle is within the predetermined range, the degree of suppression of the alarm output is adjusted by making the conditions for acquiring the image information value strict.
  • the obtained image information value 50 is, for example, FIG. As shown in (c), it decreases and it becomes difficult to recognize other vehicles.
  • the part shown with a broken line among the image information values 50 in FIG.42 (c) has shown the value when adjustment of the suppression degree of alarm output is not performed.
  • the timing when the other vehicle starts to be recognized is determined as no reflection from time To3 at which the image information value 50 before adjustment exceeds the threshold Th1, and the alarm output is suppressed.
  • the alarm output period is shortened to the period from time Tr4 to time To4 as in the case of FIG.
  • the part shown with a broken line in FIG. 42 (d) is the timing of the alarm output when adjustment of the suppression degree of the alarm output is not performed, and the alarm output is also in the period from time To3 to time Tr4 in addition to the above period. It shows that it is done.
  • FIG. 43 shows an example in which the degree of alarm suppression is adjusted using the method (B) among the above-mentioned (A) to (C) in step S161 of FIG.
  • the alarm suppression adjustment unit 206 starts from time Tv1 at which the relative speed of the other vehicle shown in FIG. 43 (a) is within the predetermined range.
  • the period Tv2 adjustment of the suppression degree of the alarm output is performed by relaxing the condition for determining the presence or absence of the background object on the road surface.
  • the reflection determination unit 203 can easily obtain the determination result that reflection is present.
  • the timing at which it is determined that there is no reflection is moved from time Tr4 to time Tr4a, and the period in which the determination result that there is reflection is obtained is extended.
  • the period in which the determination result that the reflection is present is extended, the period in which the alarm output is suppressed is also extended correspondingly as shown in FIG. 43 (c). That is, the timing at which the threshold value for recognizing the other vehicle is lowered from Th1 to Th0 is changed from time Tr4 to time Tr4a. As a result, the timing at which the recognition of the other vehicle ends is the time at which the image information value 50 falls below the threshold Th1 when the alarm output is suppressed from the time To4 at which the image information value 50 falls below Changed to To4a. The timing at which the image information value 50 exceeds the threshold Th1 and another vehicle starts to be recognized remains unchanged at time To3. As a result, as shown in FIG.
  • the alarm output period is shortened to the period from time To3 to time To4a.
  • the part shown with a broken line in FIG. 43 (d) is the timing of the alarm output when the adjustment of the suppression degree of the alarm output is not performed, and the alarm output is also in the period from time To4a to time To4 in addition to the above period. It shows that it is done.
  • FIG. 44 shows an example in which the degree of alarm suppression is adjusted using the method (C) among the above-mentioned (A) to (C) in step S161 of FIG.
  • the alarm suppression adjustment unit 206 performs the same operation as in FIGS. 41 to 43 in the period from time Tr1 to time Tr2 and the period from time Tr3 to time Tr4 when it is determined that there is a background object on the road surface.
  • the alarm output is suppressed by changing the threshold for recognizing the other vehicle from Th0 to Th1.
  • adjustment of the suppression degree of alarm output is performed by extending the period which makes a threshold value Th1 until time Tv2 whose relative speed of other vehicles is in a predetermined range.
  • the part shown with a broken line in FIG.44 (c) has shown the timing which reduces a threshold value from Th1 to Th0, when adjustment of the suppression degree of alarm output is not performed.
  • the timing at which the threshold for recognizing the other vehicle is lowered from Th1 to Th0 is changed from time Tr4 to time Tv2.
  • the timing when the recognition of the other vehicle ends is the threshold Th1 when the alarm output is suppressed from the time To4 at which the image information value 50 falls below the threshold Th0 when the alarm output is not suppressed. Is changed to a time To4a at which the image information value 50 falls.
  • the alarm output period is shortened to the period from time To3 to time To4a.
  • the part shown with a broken line in FIG. 44 (d) is the timing of the alarm output when adjustment of the suppression degree of the alarm output is not executed, and the alarm output is also in the period from time To4a to time To4 in addition to the above period. It shows that it is done.
  • the alarm suppression is extended in the period from the time Tr4 when the determination that the background object is reflected on the road surface is completed to the time Tv2 in which the relative speed of the other vehicle is within the predetermined range.
  • the degree of suppression of the alarm output is adjusted. As a result, it is possible to suppress the alarm output in the period from time To4a to time To4.
  • FIG. 45 shows an example in which the degree of alarm suppression is adjusted using the method of (A) and the method of (C) among the above (A) to (C) in combination in step S161 of FIG. It shows.
  • the threshold as the detection condition of a three-dimensional object, that is, the above-described first threshold ⁇ or threshold ⁇ is adjusted.
  • the warning suppression adjustment unit 206 is shown in FIG. 45C in the period from time Tr1 to time Tr2 and time Tr3 to time Tr4 when it is determined that there is a background object on the road surface.
  • the alarm output is suppressed by changing the threshold for recognizing the other vehicle from Th0 to Th1. Further, in the period from time Tr3 to time Tr4, the relative speed of the other vehicle is within the predetermined range, and therefore, the degree of suppression of the alarm output is adjusted by raising the threshold Th1. Furthermore, also after time Tr4, adjustment of the suppression degree of alarm output is performed by extending the period which makes a threshold value Th1 until time Tv2 whose relative speed of other vehicles is in a predetermined range.
  • the threshold Th1 is not adjusted when the degree of suppression of alarm output is not adjusted in the period from time Tr3 to time Tr4, and the degree of suppression of alarm output is not performed after time Tr4.
  • the timing at which the threshold value is lowered from Th1 to Th0 is shown.
  • the other vehicle recognition unit 204b of the application execution unit 204 can not easily recognize other vehicles.
  • the image information value 50 does not exceed the adjusted threshold Th1 within the period from time Tr3 to time Tv2, and other vehicles are not recognized.
  • the alarm is not output in all the periods. That is, the alarm output in all the periods can be suppressed.
  • the portion shown by the broken line in FIG. 45 (d) is the timing of the alarm output when the adjustment degree of the alarm output is not adjusted, and indicates that the alarm output is performed in the period from time To3 to time To4. There is.
  • the on-vehicle ambient environment recognition device 100 recognizes the other vehicle traveling around the vehicle by the application execution unit 204 based on the captured image acquired by the camera 1 and compares the other vehicle with the vehicle The speed is detected (step S130). Further, the reflection determination unit 203 determines the presence / absence of reflection of a background object on the road surface based on the photographed image (step S180). When it is determined in step S180 that there is a reflection, the threshold Th1 is adopted (step S210), and the output of the alarm by the alarm output unit 3 is suppressed.
  • the degree of suppression of the output of the alarm signal is adjusted by the alarm suppression adjusting unit 206 based on the relative speed of the other vehicle detected in step S130 (step S161), and the alarm signal is adjusted according to the adjusted degree of suppression. Suppress the output. Since this is done, similarly to the first embodiment, it is possible to prevent an alarm from being output at an incorrect timing by erroneously detecting the reflection of a background on the road surface as a vehicle.
  • step S161 the alarm suppression adjustment unit 206 can adjust the suppression degree of the output of the alarm signal using the methods (A) to (C) described above.
  • the condition for the reflection determination unit 203 to determine the presence or absence of a background object on the road surface is changed according to the relative speed of the other vehicle.
  • the degree of suppression of the output of the alarm signal can be adjusted. That is, the feature quantities of the respective areas are compared in step S180 and the threshold value of the correlation when determining the presence or absence of the background object on the road surface by the correlation, and the feature quantities of the respective areas are calculated in step S170.
  • the degree of alarm suppression is adjusted by changing the edge detection condition at that time. Since it did in this way, adjustment of the warning suppression degree can be performed easily and reliably.
  • the condition for determining the presence or absence of the background object may be relaxed in step S180 to facilitate alarm suppression.
  • the alarm suppression adjustment unit 206 suppresses the output of the alarm signal by changing the conditions for the application execution unit 204 to recognize the other vehicle according to the relative speed of the other vehicle.
  • the degree can be adjusted. That is, the in-vehicle ambient environment recognition device 100 determines, by the application execution unit 204, whether the image information value 50 based on the image in the detection area set in the captured image is equal to or greater than a predetermined threshold Th0 or Th1. Recognize other vehicles.
  • the threshold is changed according to the relative speed of the other vehicle, more specifically, when the relative speed of the other vehicle is within a predetermined range, the threshold Th1 during the other vehicle recognition is further increased. Adjust the degree of alarm suppression. Since it did in this way, adjustment of the warning suppression degree can be performed easily and reliably. Furthermore, the conditions for recognizing other vehicles can be tightened in step S130 so that alarm suppression can be facilitated.
  • the alarm suppression adjustment unit 206 also changes another condition for the application execution unit 204 to recognize the other vehicle according to the relative speed of the other vehicle,
  • the degree of suppression of output can also be adjusted. That is, when the in-vehicle ambient environment recognition device 100 detects an image information value based on an image within the detection area set in the captured image by the application execution unit 204 as a predetermined acquisition condition, the image information value is detected as a detection target. The other vehicle is recognized based on the detected and detected image information value.
  • this detection condition is changed according to the relative speed of the other vehicle, more specifically, when the relative speed of the other vehicle is within a predetermined range, the detection condition of the image information value is set more strictly Adjust the degree of warning suppression. Since it did in this way, adjustment of the warning suppression degree can be performed easily and reliably similarly to the above. Furthermore, the conditions for recognizing other vehicles can be tightened in step S130 so that alarm suppression can be facilitated.
  • the warning suppression adjustment unit 206 determines that the reflection determination unit 203 determines that the background object is reflected on the road surface, and then determines that the background object is not reflected on the road surface.
  • the suppression of the output of the alarm signal can be adjusted by extending the suppression of the output of the alarm signal according to the relative speed of the other vehicle. More specifically, the degree of alarm suppression is adjusted by extending the suppression of the output of the alarm signal during a predetermined time or a period during which the relative speed of the other vehicle continues to be within the predetermined range. Since it did in this way, adjustment of the warning suppression degree can be performed easily and reliably similarly to the above. Furthermore, the conditions for recognizing other vehicles can be tightened in step S130 so that alarm suppression can be facilitated.
  • the degree of alarm suppression is adjusted on the condition that the relative speed of the other vehicle is within the predetermined range, but another condition for the relative speed of the other vehicle is used. You may use. For example, the fluctuation (stability) of the relative speed of another vehicle may be confirmed, and the degree of alarm suppression may be adjusted on the condition that this is within a predetermined range. Alternatively, these conditions may be used in combination.
  • the camera 1 shoots the road surface behind the vehicle, but the road surface ahead of the vehicle may be photographed. As long as the road surface around the vehicle can be photographed, the photographing range of the camera 1 may be set in any way.

Abstract

 車載用周囲環境認識装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影部と、撮影画像に基づいて他車両を認識し、車両に対する他車両の相対速度を検出するアプリ実行部と、撮影画像に基づいて路面への背景物の映り込みの有無を判定する映り込み判定部と、他車両の認識結果に基づいて警報信号の出力を制御する警報制御部と、路面への背景物の映り込みがあると判定された場合、他車両の相対速度に基づいて警報信号の出力を抑制する警報抑制調整部と、を備える。

Description

車載用周囲環境認識装置
 本発明は、車載用周囲環境認識装置に関する。
 従来、車両に搭載され、カメラにより撮影して得られた画像から他の車両を検出して、自車両と衝突する可能性がある場合に警報を出力する装置が提案されている。このような装置に関して、画像中でヘッドライトによる路面反射の領域を検出し、その領域を除外して処理を行うことにより、ヘッドライトによる路面反射が1つになり広がってしまった場合でも、正確に車両の車頭および車尾を検出するようにする技術が知られている(特許文献1)。
日本国特開2007-265016号公報
 従来の装置では、路面が濡れており反射係数が高い場合などに、路面に映り込んだ背景物が車両として誤検出されてしまう場合がある。しかし、特許文献1に記載の技術は、ヘッドライトの路面反射による高輝度領域を抽出し、誤検出を防止するためのものである。したがって、高輝度でない路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されることを防止することはできない。
 本発明の第1の態様による車載用周囲環境認識装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影部と、撮影部により取得された撮影画像に基づいて、車両の周囲を走行している他車両を認識し、車両に対する他車両の相対速度を検出するアプリ実行部と、撮影画像に基づいて路面への背景物の映り込みの有無を判定する映り込み判定部と、アプリ実行部による他車両の認識結果に基づいて警報信号の出力を制御する警報制御部と、映り込み判定部により路面への背景物の映り込みがあると判定された場合、他車両の相対速度に基づいて警報信号の出力を抑制する警報抑制調整部と、を備える。
 本発明の第2の態様によると、第1の態様の車載用周囲環境認識装置において、警報抑制調整部は、映り込み判定部が路面への背景物の映り込みの有無を判定するための条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第3の態様によると、第2の態様の車載用周囲環境認識装置は、撮影画像に背景領域および映り込み領域を設定する領域設定部を備える。この車載用周囲環境認識装置において、映り込み判定部は、撮影画像のうち背景領域内の画像と、撮影画像のうち映り込み領域内の画像とを比較し、その相関性が所定の閾値以上であるか否かを判定することにより、路面への背景物の映り込みの有無を判定することが好ましい。また、警報抑制調整部は、他車両の相対速度に応じて閾値を変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第4の態様によると、第2の態様の車載用周囲環境認識装置は、撮影画像に背景領域および映り込み領域を設定する領域設定部と、撮影画像のうち背景領域内の画像と、撮影画像のうち映り込み領域内の画像とで、所定の検出条件を満たすエッジをそれぞれ検出し、検出したエッジに応じた特徴量を背景領域と映り込み領域についてそれぞれ算出する特徴量算出部とを備える。この車載用周囲環境認識装置において、映り込み判定部は、背景領域の特徴量と、映り込み領域の特徴量とを比較することにより、路面への背景物の映り込みの有無を判定することが好ましい。また、警報抑制調整部は、他車両の相対速度に応じて検出条件を変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第5の態様によると、第1の態様の車載用周囲環境認識装置において、警報抑制調整部は、アプリ実行部が他車両を認識するための条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第6の態様によると、第5の態様の車載用周囲環境認識装置において、アプリ実行部は、撮影画像に設定された検出領域内の画像に基づく画像情報値が所定の閾値以上であるか否かを判定することにより、他車両を認識することが好ましい。また、警報抑制調整部は、他車両の相対速度に応じて閾値を変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第7の態様によると、第5の態様の車載用周囲環境認識装置において、アプリ実行部は、撮影画像に設定された検出領域内の画像に基づく画像情報値が所定の検出条件を満たす場合にその画像情報値を検出対象として検出し、検出した画像情報値に基づいて他車両を認識することが好ましい。また、警報抑制調整部は、他車両の相対速度に応じて検出条件を変化させることにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第8の態様によると、第1の態様の車載用周囲環境認識装置において、警報抑制調整部は、映り込み判定部が路面への背景物の映り込みありと判定し、その後に路面への背景物の映り込みなしと判定したときに、他車両の相対速度に応じて警報信号の出力の抑制を延長して行うことにより、警報信号の出力の抑制度合いを調整することが好ましい。
 本発明の第9の態様によると、第1乃至第8のいずれか一態様の車載用周囲環境認識装置において、警報抑制調整部は、他車両の相対速度が所定の速度条件を満たす場合と満たさない場合とで、警報信号の出力の抑制度合いを変化させることが好ましい。
 本発明の第10の態様によると、第9の態様の車載用周囲環境認識装置において、速度条件は、他車両の相対速度が所定範囲内であること、および他車両の相対速度の変動が所定範囲内であることのいずれか少なくとも一方を含むことが好ましい。
 本発明の第11の態様による車載用周囲環境認識装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影部と、撮影部により取得された撮影画像に基づいて、車両の周囲を走行している他車両を認識するアプリ実行部と、撮影画像の背景領域と映り込み領域とを区別し、それら領域の画像特徴の相関性に基づいて路面への背景物の映り込みの有無を判定する映り込み判定部と、を備え、映り込み判定部により路面への背景物の映り込みがあると判定された場合、アプリ実行部による他車両の認識を抑制する。
 本発明によれば、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。
本発明の一実施形態による車載用周囲環境認識装置の構成を示すブロック図である。 カメラの撮影領域を示す図である。 カメラの取り付け位置の例を示す図である。 路面映り込み時の警報抑制に関する制御ブロック図である。 第1の実施形態において路面映り込み時の警報抑制で実行される処理のフローチャートである。 撮影画像に設定される背景領域および映り込み領域の例を示す図である。 領域設定部の機能ブロック例を示す図である。 特徴量算出部の機能ブロック例を示す図である。 映り込み判定部の機能ブロック例を示す図である。 アプリ実行部の機能ブロック例を示す図である。 三次元での路面領域および背景領域の設定を説明する図である。 第1の実施形態によって得られる誤警報の低減効果を説明するための図である。 他車両認識処理を説明するための車両の概略構成図である。 図13の車両の走行状態を示す平面図(差分波形情報による立体物検出)である。 他車両認識部の詳細を示すブロック図である。 図15の位置合わせ部の処理の概要を説明するための図であり、図16(a)は車両の移動状態を示す平面図、図16(b)は位置合わせの概要を示す画像である。 図15の立体物検出部による差分波形の生成の様子を示す概略図である。 図15の立体物検出部によって分割される小領域を示す図である。 図15の立体物検出部により得られるヒストグラムの一例を示す図である。 図15の立体物検出部による重み付けを示す図である。 図15のスミア検出部による処理及びそれによる差分波形の算出処理を示す図である。 図15の立体物検出部により得られるヒストグラムの他の例を示す図である。 図15の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート(その1)である。 図15の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート(その2)である。 図13の車両の走行状態を示す図(エッジ情報による立体物検出)であり、図25(a)は検出領域等の位置関係を示す平面図、図25(b)は実空間における検出領域等の位置関係を示す斜視図である。 図15の輝度差算出部の動作を説明するための図であり、図26(a)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、図26(b)は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図15の輝度差算出部の詳細な動作を説明するための図であり、図27(a)は鳥瞰視画像における検出領域を示す図、図27(b)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、図28(a)は検出領域に立体物(車両)が存在している場合の輝度分布を示す図、図28(b)は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図15の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート(その1)である。 図15の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート(その2)である。 エッジ検出動作を説明するための画像例を示す図である。 検出領域内に水膜が形成された状態を説明するための図である。 検出領域内に水膜が形成された場合の画像情報を説明するための図である。 図34(A)は、検出領域内に他車両が存在する場合の差分波形情報の一例を示す図、図34(B)は、検出領域内に他車両が存在せず、水膜が形成されている場合の差分波形情報の一例を示す図である。 虚像の存在を考慮した立体物判断の制御手順を示す第1のフローチャートである。 虚像の存在を考慮した立体物判断の制御手順を示す第2のフローチャートである。 虚像の存在を考慮した立体物判断の制御手順を示す第3のフローチャートである。 虚像の存在を考慮した立体物判断の制御手順を示す第4のフローチャートである。 虚像の存在を考慮した立体物判断の制御手順を示す第5のフローチャートである。 第2の実施形態において路面映り込み時の警報抑制で実行される処理のフローチャートである。 第2の実施形態によって得られる誤警報の低減効果を説明するための図であり、(A)の方法を用いて、立体物の検出条件としての閾値を調整することで警報抑制の度合いを調整した場合の例を示している。 第2の実施形態によって得られる誤警報の低減効果を説明するための図であり、(A)の方法を用いて、画像情報値の取得条件としての閾値を調整することで警報抑制の度合いを調整した場合の例を示している。 第2の実施形態によって得られる誤警報の低減効果を説明するための図であり、(B)の方法を用いて警報抑制の度合いを調整した場合の例を示している。 第2の実施形態によって得られる誤警報の低減効果を説明するための図であり、(C)の方法を用いて警報抑制の度合いを調整した場合の例を示している。 第2の実施形態によって得られる誤警報の低減効果を説明するための図であり、(A)の方法と(C)の方法とを組み合わせて用いて警報抑制の度合いを調整した場合の例を示している。
(第1の実施の形態)
 図1は、本発明の一実施形態による車載用周囲環境認識装置100の構成を示すブロック図である。図1に示す車載用周囲環境認識装置100は、車両に搭載されて使用されるものであり、カメラ1と、制御部2と、警報出力部3と、動作状態報知部4と、を備える。
 カメラ1は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ1には、たとえばCCDやCMOSなどの撮像素子が用いられる。カメラ1により取得された撮影画像は、カメラ1から制御部2へ出力される。
 図2は、カメラ1の撮影領域を示す図であり、カメラ1を横方向から見た様子を示している。カメラ1は、この撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ1の撮影領域(画角)は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されている。
 図3は、カメラ1の取り付け位置の例を示す図である。自車両の後方部分において、車体20にはナンバープレート21が設置されている。このナンバープレート21の直上の位置に、斜め下に向けてカメラ1が取り付けられている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ1を取り付けてもよい。サイドカメラやフロントカメラにおいても、本手法を利用しても良い。
 制御部2は、カメラ1からの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部2が行う制御により、車載用周囲環境認識装置100において、たとえば、レーン認識、他車両認識、歩行者検知、標識検知、巻き込み防止検知、駐車枠認識、移動体検知、と呼ばれる様々な機能が実現される。
 警報出力部3は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部3の動作は、制御部2によって制御される。たとえば、前述のレーン認識において自車両が走行中の車線から逸脱しそうと判断された場合や、他車両検知、歩行者検知、巻き込み防止、移動体検知などにおいて、自車両と衝突する可能性のある車両が検出された場合に、制御部2の制御に応じて警報出力部3から警報が出力される。
 動作状態報知部4は、車載用周囲環境認識装置100の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載用周囲環境認識装置100が非動作状態にある場合、制御部2の制御により、動作状態報知部4として車両の運転席付近に設置されたランプを点灯させる。これにより、車載用周囲環境認識装置100が非動作状態であることを運転者に報知する。
 次に、車載用周囲環境認識装置100において行われる路面映り込み時の警報抑制について説明する。前述の他車両認識部や歩行者検知部、移動体検知部などで物体を検出する際に、路面が濡れており反射係数が高い場合などでは、撮影画像の背景部分にある様々な背景物が、路面に形成された水膜等に映り込むことがある。このような場合、路面に映り込んだ背景物を認識対象物として誤検出してしまい、運転者に対する警報が誤ったタイミングで出力されてしまう場合がある。そこで、車載用周囲環境認識装置100では、こうした水膜等による路面への背景物の映り込みの有無を判定し、映り込みがあると判定した場合は警報の出力を抑制する。これにより、路面への背景物の映り込みが他車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止する。
 図4は、路面映り込み時の警報抑制に関する制御部2の制御ブロック図である。制御部2は、路面映り込み時の警報抑制に関して、領域設定部201、特徴量算出部202、映り込み判定部203、アプリ実行部204、警報制御部205および警報抑制調整部206の各制御ブロックを有する。制御部2では、たとえば、これらの各制御ブロックに対応するプログラムをマイクロコンピュータで実行することにより、図4の各制御ブロックを実現している。
 領域設定部201は、カメラ1により取得された撮影画像に対して、背景部分に当たる背景領域と、この背景領域に対応する路面上の映り込み領域とを、左右にそれぞれ複数ずつ設定する。図7は、領域設定部201の機能ブロック例を示す図である。図7に示すように、領域設定部201は、たとえば、路面領域設定部201a、背景横位置設定部201b、反射背景領域設定部201c、および画像領域変換部201dからなる。
 領域設定部201では、カメラ1により取得された撮影画像に対して、他車両認識に利用する隣接車線の路面領域を路面領域設定部201aにて設定する。図11は、三次元での路面領域および背景領域の設定を説明する図である。路面領域設定部201aでは、図11に示すように、隣接車線の車両を検知するために、自車両カメラ位置を中心に左右の処理領域110、111を設定し、車両検知の路面領域を更に分割した局所領域を複数ずつ設定する。この路面領域設定後に、自車両カメラ位置と、路面領域の三次元位置が既知であるため、入射角と反射角が等しい鏡面反射の性質を利用して、路面に映り込むであろう背景位置を、反射背景領域設定部201cにて特定する。ただし、自車両カメラから路面で鏡面反射したベクトル方向は算出可能であるが、これが自車両カメラからどの横位置の背景であるかは特定できない。すなわち、路面に映り込む背景が、すぐ近くの障害物なのか、20m離れた街灯なのかは、未知数である。このため、背景横位置設定部201bにおいて、横位置をある規定値を設けて設定することとする。映り込む背景がある程度絞り込めるような条件においては、この横位置を動的に指定することで、より高精度に水膜映り込みを判定しても良い。ただし、ある規定値を設けても処理領域の多少のずれであれば許容可能である。反射背景領域設定部201cでは、図11に示すように横位置112を決定し、ここに大きな壁113が立っていることを仮定し、先ほど求めた路面局所領域の各頂点での反射ベクトルを延長し、壁113とぶつかりあう三次元位置114を推定する。これにより、反射背景領域の推定計算を実施する。最後に、これまでの説明では、自車両を中心とした世界座標での推定計算であったため、画像領域変換部201dにおいて画像上でどの位置になるかをそれぞれの領域について実施する。
 特徴量算出部202は、領域設定部201により設定された各背景領域および各映り込み領域について、これらの各領域内での画像の特徴を示す特徴量をそれぞれ算出する。図8は、特徴量算出部202の機能ブロック例を示す図である。図8に示すように、特徴量算出部202は、たとえば、路面エッジ角度ヒストグラム抽出部202a、白線エッジ角度推定部202b、背景エッジ角度ヒストグラム抽出部202c、背景路面エッジ角度相関性推定部202d、および背景路面立体物エッジ推定部202eからなる。
 映り込み判定部203は、特徴量算出部202により算出された特徴量を基に、撮影画像のうち各背景領域内の画像と、撮影画像のうち各映り込み領域内の画像とを、対応するもの同士でそれぞれ比較する。この比較結果から、路面への背景物の映り込みの有無を判定し、映り込みありと判定した場合はその旨を警報制御部205へ通知する。図9は、映り込み判定部203の機能ブロック例を示す図である。図9に示すように、映り込み判定部203は、たとえば、エッジ強度解析部203a、白線エッジ抑制部203b、立体物エッジ強調部203c、局所領域別相関性解析部203d、および左右別相関性解析部203eからなる。
 図10は、アプリ実行部204の機能ブロック例を示す図である。図10に示すように、アプリ実行部204は、たとえば、レーン認識部204a、他車両認識部204b、歩行者検知部204c、標識検知部204d、巻き込み防止認識部204e、駐車枠認識部204f、移動体検知部204gからなる。
 レーン認識部204aは、カメラ1により取得された撮影画像に基づいて、自車両左右のレーンを認識する。撮像画像の中から、白線特徴量を抽出し、この白線特徴量が並ぶ直線を抽出し、最終的に画像上の線から世界座標における自車両と白線の相対位置、相対姿勢を算出し、車線外に逸脱しそうかどうかを判定する。車線逸脱すると予測した場合には、警報制御部205に対して警報出力の指示を行う。
 他車両認識部204bは、カメラ1により取得された撮影画像に基づいて、自車両の左後方または右後方に存在する他車両を認識する。このときアプリ実行部204は、後で詳しく説明するような他車両認識処理を実行することにより、撮影画像中に設定された検出領域内の画像に基づく画像情報値を基に他車両を認識すると共に、自車両に対する認識した他車両の相対速度を検出する。この他車両の認識結果を基に、アプリ実行部204は、自車両と衝突する可能性がある他車両の有無を判断する。たとえば、自車両が車線変更を開始しようとしており、その車線変更方向に存在する他車両が自車両に接近しているような場合に、自車両と衝突する可能性があると判断し、警報制御部205に対して警報出力の指示を行う。
 歩行者検知部204cは、カメラ1により取得された撮像画像に基づいて、撮像画像の中から歩行者を検知する。自車両進行方向で、衝突可能性がある歩行者について検知し、衝突の恐れがある場合に警報する。
 標識検知部204dは、カメラ1により取得された撮像画像に基づいて、撮像画像中の中から標識を検知し、ユーザに音声やディスプレイ表示にて、標識の種類を伝える。
 巻き込み防止認識部204eは、カメラ1により取得された撮像画像に基づいて、交差点を曲がる際に、巻き込む2輪車などが存在しないかを認識し、自車両に接触の恐れがある場合に、警報する。
 駐車枠認識204fは、自動駐車や、駐車支援を目的として、駐車枠を認識し、駐車枠の位置、姿勢から、自車両を駐車するためのアシスト、もしくは制御を実施する。
 移動体検知部204gは、カメラ1により取得された撮影画像に基づいて、低車速時における自車両周囲の移動体を認識する。撮像画像の中から、移動体を検出し移動方向と自車挙動に基づいて接触の可能性が高いと判定した場合には、警報制御部205に対して警報出力の指示を行う。
 警報制御部205は、アプリ実行部204からの指示に応じて、警報出力部3へ警報出力信号を出力する。この警報出力信号の出力により、警報出力部3から運転者に対して警報が出力される。以上説明したようなアプリ実行部204および警報制御部205の動作により、車載用周囲環境認識装置100において障害物などの衝突の危険がある場合に警報が実現される。
 なお、警報制御部205は、映り込み判定部203から映り込みありの通知を受けた場合、警報出力部3に対する警報出力信号の出力を停止する。このときアプリ実行部204から警報出力の指示が行われても、警報制御部205から警報出力部3に警報出力信号は出力されない。これにより、路面への背景物の映り込みがあるときには、警報出力部3による警報出力が抑制されるようにする。
 警報抑制調整部206は、アプリ実行部204において他車両認識部204bにより検出した他車両の相対速度に基づいて、上記の警報制御部205が行う警報出力の抑制度合いを調整する。すなわち、他車両の相対速度が比較的小さい場合は、路面に映り込んだ背景物が他車両として誤認識される可能性が高いと考えられる。したがってこのような場合は、警報抑制調整部206により警報出力の抑制度合いを高めることで、背景物の映り込みによる誤警報をより一層発生しにくくする。なお、この警報抑制調整部206が行う警報出力の抑制度合いの具体的な調整方法については、後で説明する。
 図5は、以上説明した路面映り込み時の警報抑制で実行される処理のフローチャートである。このフローチャートに示す処理は、アプリケーション(アプリ)の実行中に、制御部2において所定の処理周期ごとに行われる。
 ステップS110において、制御部2は、カメラ1を用いて、車両の周囲の路面を含む所定の撮影領域内を撮影し、撮影画像を取得する。この撮影画像は、カメラ1から制御部2へ出力され、以降の処理において利用される。
 ステップS120において、制御部2は、ステップS110で取得した撮影画像に、背景領域および映り込み領域を設定する。ここでは、後方車線検知、後側方車両認識、巻き込み防止認識に利用する例として、領域設定部201により、撮影画像内の所定部分に、背景領域および映り込み領域をそれぞれ複数ずつ設定する。その他に、歩行者検知、標識検知であればフロントカメラの利用を前提とする。レーン認識、他車両認識、移動体検知に関しては、フロントカメラや、サイドカメラ、リアカメラのどれを利用しても良い。巻き込み防止や、駐車枠認識はサイドカメラ、リアカメラのどちらを利用しても良い。どのカメラを利用しても基本的な手法や考え方に関しては、そのまま適用可能である。
 図6は、撮影画像に設定される背景領域および映り込み領域の例を示す図である。図6に示す撮影画像30は、路面が撮影されている路面画像領域32と、背景画像領域33とに分けられている。ステップS120では、この撮影画像30に対して、図6に示すように、車両の右後方(リアカメラの場合)または左前方(フロントカメラの場合)に対応する位置に背景領域34a~34fおよび映り込み領域35a~35fを設定し、左後方(リアカメラの場合)または右前方(フロントカメラの場合)に対応する位置に背景領域36a~36fおよび映り込み領域37a~37fを設定する。路面領域設定部201aでは、このようにして、右または左の隣接車線の映り込み領域35a~35fと、左または右の隣接車線の映り込み領域37a~37fを設定する。また、反射背景領域設定部201cでは、右または左の背景領域34a~34fと、右または左の背景領域36a~36fを設定する。
 背景領域34a~34fおよび36a~36fは、背景画像領域33内において、車両の走行に応じて生じる撮影画像30中での背景物の位置変化の方向に沿って、左右対称の位置にそれぞれ設定される。この背景領域34a~34fおよび36a~36fにそれぞれ対応して、路面画像領域32内に、映り込み領域35a~35fおよび37a~37fが設定される。たとえば、撮影画像30内で左右端側、すなわち実空間上では車両から最も近い側の位置に設定されている背景領域34a、36aは、映り込み領域35a、37aにそれぞれ対応している。また、撮影画像30内で中央寄り、すなわち実空間上では車両から最も遠い側の位置に設定されている背景領域34f、36fは、映り込み領域35f、37fにそれぞれ対応している。このようにして、映り込み領域35a~35f、37a~37fを路面画像領域32内にそれぞれ設定し、これらの各映り込み領域に対して背景物の映り込みが生じる背景画像領域33内の位置に、背景領域34a~34f、36a~36fをそれぞれ設定する。なお、撮影画像30において、映り込み領域35a~35fおよび37a~37fの設定位置は、アプリの検出を行う領域、たとえば他車両認識部204bが自車両の左後方または右後方に存在する他車両を認識する際に用いる検出領域に対応する位置とすることが好ましい。
 ステップS130において、制御部2は、アプリ実行部204の他車両認識部204bにより、自車両の周囲を走行している他車両を認識するための他車両認識処理を行う。この他車両認識処理により、自車両の左後方または右後方に他車両が存在する場合はその他車両が認識されると共に、自車両に対するその他車両の相対速度が検出される。なお、ここで実行される他車両認識処理の具体的な内容については、後で詳しく説明する。
 ステップS140において、制御部2は、ステップS130の他車両認識処理により自車両の左後方(右前方)または右後方(左前方)に存在する他車両が認識されたか否かを判定する。他車両が認識された場合はステップS150へ進み、認識されなかった場合はステップS170へ進む。
 ステップS150において、制御部2は、ステップS130の他車両認識処理で検出された他車両の相対速度が所定範囲内、たとえば時速0~10kmの範囲内であるか否かを判定する。他車両の相対速度がこの範囲内にある場合はステップS160へ進み、範囲外である場合はステップS170へ進む。
 ステップS160において、制御部2は、警報抑制調整部206により、警報抑制度合いの調整を実行する。ここでは、後述のステップS180で路面への背景物の映り込みの有無を判定するための条件を緩和することで、映り込みありとの判定結果が得られやすいようにし、それに応じて行われる警報出力の抑制の時間的な度合い(頻度)を高める。これにより、他車両の相対速度が所定範囲内である場合は、そうでない場合と比べて警報抑制が行われやすくなるように、警報抑制の度合いを調整する。なお、背景物の映り込みの有無を判定するための条件を緩和する具体的な方法については、後で詳しく説明する。
 ステップS170において、制御部2は、特徴量算出部202により、ステップS120で設定した背景領域34a~34fおよび36a~36fと、映り込み領域35a~35fおよび37a~37fとに対して、これらの各領域内での画像の特徴を表す特徴量をそれぞれ算出する。たとえば、背景領域34a~34f、36a~36fにそれぞれ対応する画像の各画素と、映り込み領域35a~35f、37a~37fにそれぞれ対応する画像の各画素とについて、その周囲の各画素の輝度に基づき、撮影画像30内でのエッジ角度をそれぞれ算出する。こうして算出された各画素のエッジ角度を領域ごとにヒストグラム化することで、各領域の画像のエッジ角度に応じた各領域の特徴量を算出することができる。なお、各領域での画像の特徴を適切に表すことができるものであれば、特徴量の算出方法はこれに限定されるものではない。
 特徴量算出部202の詳細の処理を図8の機能ブロック図により説明する。まず、路面エッジ角度ヒストグラム抽出部202aにおいて、路面の局所領域毎に設定された映り込み領域35a~35f、37a~37fのそれぞれについて、輝度の勾配方向を示すベクトルの角度をエッジ角度として抽出する。ここでは、各映り込み領域内の各画素についてエッジ角度を抽出し、これを映り込み領域毎にヒストグラム化することにより、各映り込み領域内のエッジ角度の分布を調べる。このエッジ角度のヒストグラムには、路面の白線エッジ角度成分が含まれている可能性が比較的高い。しかし、後述のステップS180において背景領域と路面の映り込み領域の相関をとる場合には、白線は路面のみにあることが既知であるため、白線のエッジ角度成分は除いて相関をとった方が相関性の精度が上がる。このため、白線エッジ角度推定部202bにおいて、各映り込み領域における白線のエッジ角度を推定する。この推定結果は、後でステップS180の処理において背景領域と映り込み領域の相関をとる際に、映り込み領域に対する白線のエッジ角度成分の抑制に利用される。次に、背景エッジ角度ヒストグラム抽出部202cにおいて、背景の局所領域毎に設定された背景領域34a~34f、36a~36fにそれぞれについて、映り込み領域と同様にエッジ角度を抽出し、領域毎にヒストグラム化する。背景路面エッジ角度相関性推定部202dでは、互いに対応する背景領域と映り込み領域毎に、背景のエッジ角度と路面のエッジ角度の対応を推定する。ここでは、たとえば背景領域に角度45度のエッジがあった場合に、そのエッジが路面に映り込むと、対応する映り込み領域では、画像上何度のエッジ角度になるかという対応表を生成する。最後に、最も誤検知要因となりやすい立体物の背景と路面のエッジ角度についても、背景路面立体物エッジ推定部202eにおいて、上記の対応表とは別に、互いに対応する背景領域と映り込み領域毎に推定を行い、その推定結果を記録する。
 ステップS180において、制御部2は、映り込み判定部203により、ステップS170で算出した各領域の特徴量に基づいて、路面への背景物の映り込みの有無を判定するための映り込み判定を行う。ここではまず、背景領域34a~34f、36a~36fに対してそれぞれ算出された特徴量と、映り込み領域35a~35f、37a~37fに対してそれぞれ算出された特徴量とを、対応するもの同士でそれぞれ比較する。たとえば、背景領域34aの特徴量と、これに対応する映り込み領域35aの特徴量とを比較し、背景領域36aの特徴量と、これに対応する映り込み領域37aの特徴量とを比較する。また、背景領域34fの特徴量と、これに対応する映り込み領域35fの特徴量とを比較し、背景領域36fの特徴量と、これに対応する映り込み領域37fの特徴量とを比較する。他の背景領域および映り込み領域についても同様に、対応するもの同士で特徴量をそれぞれ比較する。こうして各背景領域と各映り込み領域の特徴量をそれぞれ比較することにより、各背景領域内の画像と各映り込み領域内の画像とをそれぞれ比較し、その組み合わせごとに相関性を解析する。
 映り込み判定部203の詳細な処理を図9の機能ブロック図により説明する。ここで、路面での映り込みを判定したい理由は、路面の反射で背景物の映り込みが生じた場合、これによる誤検知を抑制するためである。つまり、路面のエッジ強度が弱ければ、そもそもレーン認識、他車両認識、歩行者検知などで、誤検知は発生しない。また、背景のエッジ強度が低い場合は、そもそも背景に映り込むような物体が存在しない可能性が高く、したがって路面に映り込む物体が存在しない可能性が高い。このため、映り込み判定実施の前に、路面にも、背景にもそれなりのエッジ分布があることをエッジ強度解析部203aで解析する。次に、白線エッジ抑制部203bにて、ステップS170で推定した前述の白線エッジ角度を利用して、路面の映り込み領域のエッジ角度のヒストグラムの中から、白線エッジ角度近辺のヒストグラムの大きさを抑制する。例えば、白線エッジ角度を中心とした所定の角度範囲について、実際のヒストグラムの高さに0.3倍をかけて白線の影響を小さくする前処理を、背景との相関性をとる前に、白線エッジ抑制部203bにて実行する。これにより映り込み誤判定要因である白線の影響を軽減することができる。
 次に、立体物エッジ強調部203cにて、エッジ角度ヒストグラムの中から、背景路面立体物エッジ推定部202eで推定した背景領域は立体物エッジ角度、路面映り込み領域は立体物映り込みエッジ角度について、ヒストグラムの対応する部分の高さを2倍にして強調する。これにより立体物のエッジ角度の相関性を見ることができるために、アプリの認識ロジックが誤検知しやすい立体物エッジの相関性を安定して得ることが可能となる。
 次に、局所領域別相関性解析部203dでは、対応する路面映り込み領域と背景領域のエッジ角度ヒストグラムの相関性を解析する。
 なお、上記のような特徴量の比較においては、映り込みによるエッジ角度の変化を考慮して、各領域の特徴量として算出した前述のエッジ角度のヒストグラム同士を比較することが好ましい。すなわち、各背景領域のエッジ角度のヒストグラムにおける配列位置が、各映り込み領域のエッジ角度のヒストグラムにおいてどの配列位置に対応するかを予め背景路面エッジ角度相関性推定部202dにおいて計算しておき、この計算結果を基に両ヒストグラムの比較を行う。このようにすれば、各背景領域の特徴量を表すエッジ角度のヒストグラムと、各映り込み領域の特徴量を表すエッジ角度のヒストグラムとを、映り込み状態を反映して正しく相関性を解析することができる。局所領域における相関性のチェックは、画面左側から、映り込み領域35aと背景領域34aの対応する処理領域同士で比較する。続けると、映り込み領域35bと背景領域34b、映り込み領域35cと背景領域34c、映り込み領域35dと背景領域34d、映り込み領域35eと背景領域34e、映り込み領域35fと背景領域34fで、それぞれ路面映り込みと対応する背景領域の特徴量に相関性があるかを解析する。同様に、画面右側も、映り込み領域37aと背景領域36a、映り込み領域37bと背景領域36b、映り込み領域37cと背景領域36c、映り込み領域37dと背景領域36d、映り込み領域37eと背景領域36e、映り込み領域37fと背景領域36fで相関性をそれぞれ解析する。
 以上説明したようにして各背景領域と各映り込み領域の対応する領域同士で特徴量をそれぞれ比較する。すなわち、画面左側では、背景領域34a~34fの各々に対して算出された特徴量を路面の映り込み領域35a~35fと比較する。画面右側も同様に、背景領域36a~36fの各々に対して算出された特徴量を路面の映り込み領域37a~37fと比較する。これらの領域について、同一のアルファベットの添え字が付されたものどうしで比較する。
 次に、左右別相関性解析部203eでは、画面の左右で背景領域と映り込み領域をそれぞれまとめて相関性を解析する。まずは、自車の移動に応じて、背景領域と路面の映り込み領域の双方で特徴量が後方へそれぞれ移動するかを確認する。例えば、画面左の映り込み領域35bに角度45度のエッジ角度を示す特徴量があった場合に、次のフレームでは、この特徴量が後方に流れて、例えば映り込み領域35eで同様な傾向が伺えたとする。また、背景には相関性の高い背景のエッジ角度が存在し、これも時系列で背景領域34bから背景領域34eに移動したとする。このような場合、路面への背景物の映り込みが生じた可能性が高いと判断する。
 また、背景領域と路面の映り込み領域の局所的な相関性以外に、特徴量の有無や、奥行き方向についてそれぞれ相関性があるかどうかも判定する。例えば、画面左側で、背景領域34bと映り込み領域35bにのみ相関性があり、他領域には特徴量があるにも関わらず相関性が低ければ、偶然、相関性がある局所領域が存在した可能性が高いと考える。反対に、背景領域34bと映り込み領域35bにのみ相関性があり、他領域においては背景領域、路面映り込み領域それぞれの特徴量が少なく相関性がとれない状態であれば、これは画面左側の路面映り込みが発生している可能性が高く画面左側の相関性が高いといえる。局所領域毎の相関性の後には、このように左右別でみた局所領域の相関性の並び方と動き方を参考に左右別の相関性を解析し、左右別の路面映り込みの判定を実施する。
 ステップS180では、以上説明したような各領域の特徴量の比較を行い、その比較結果に基づいて、背景領域34a~34fと映り込み領域35a~35fの間、および背景領域36a~36fと映り込み領域37a~37fの間で、背景物の映り込みがあるか否かをそれぞれ判定する。たとえば、背景領域34a~34fと映り込み領域35a~35fの間の相関性がそれぞれ十分に高く、かつ背景領域群34a~34f内の各画像と映り込み領域群35a~35f内の各画像が全体的に車両に対して遠ざかるような方向に移動している場合、車両の右後方において、路面への背景物の映り込みがあると判定する。同様に、背景領域36a~36fと映り込み領域37a~37fの間の相関性がそれぞれ十分に高く、かつ背景領域群36a~36f内の各画像と映り込み領域群37a~37f内の各画像が全体的に車両に対して遠ざかるような方向に移動している場合、車両の左後方において、路面への背景物の映り込みがあると判定する。
 なお、前述のステップS160では、ステップS180で上記のように各領域の特徴量を比較してその相関性により路面への背景物の映り込みの有無を判定する際の基準値を変化させることで、警報抑制度合いの調整を行うことができる。すなわち、上記ステップS180では、背景領域34a~34fと映り込み領域35a~35fの間、および背景領域36a~36fと映り込み領域37a~37fの間で、特徴量の相関性が所定の閾値以上であれば、これらの各領域内での画像間の相関性が高いとみなして、背景物の映り込みがあると判定する。ステップS160では、この相関性に対する閾値を下げることで、ステップS180において背景物の映り込みの有無を判定するための条件を緩和し、後述のステップS200で警報抑制が行われやすくなるように警報抑制の度合いを調整することができる。
 また、前述のステップS160では、ステップS170で各領域の特徴量を算出する際の条件、より具体的にはエッジの検出条件を変化させることでも、警報抑制度合いの調整を行うことができる。すなわち、上記ステップS170では、背景領域34a~34fおよび36a~36fと、映り込み領域35a~35fおよび37a~37fとの各領域について、近傍画素間の輝度差が所定値以上である部分をエッジとして検出し、このエッジ角度をヒストグラム化することで各領域の特徴量を算出する。ステップS160では、このエッジ検出条件としての輝度差を下げてより多くのエッジ成分が検出されるようにすることで、ステップS180において背景物の映り込みの有無を判定するための条件を緩和し、後述のステップS200で警報抑制が行われやすくなるように警報抑制の度合いを調整することができる。
 なお、ステップS160で警報抑制の度合いを調整する際には、上記ステップS180での相関性に対する閾値の変化と、上記ステップS170でのエッジ検出条件の変化とを、それぞれ単独で行ってもよいし、両方を合わせて実行してもよい。
 ステップS190において、制御部2は、ステップS180の映り込み判定の結果から、路面への背景物の映り込みの有無を判定する。車両の左後方および右後方のいずれか少なくとも一方において路面への背景物の映り込みがあるとステップS180で判定した場合は、ステップS190からステップS200へ進む。一方、車両の左右後方のいずれにおいても路面への背景物の映り込みがないとステップS180で判定した場合は、ステップS200を実行せずに図5のフローチャートを終了する。
 ステップS200において、制御部2は、警報出力部3に対して、警報出力信号の出力を停止させる。このとき制御部2は、映り込み判定部203から警報制御部205に対して所定の通知を行うことにより、警報制御部205から警報出力部3への警報出力信号を停止し、警報出力部3による警報の出力を抑制する。これにより、自車両の左後方または右後方において路面に映り込んだ背景物が、アプリ実行部204によって自車両と衝突する可能性がある他車両として誤検出された場合でも、誤って警報出力部3から警報が出力されないようにする。なお、ステップS200では、車両の左後方および右後方のうち、ステップS180で路面への背景物の映り込みがあると判定された方についてのみ、警報の出力を停止させることが好ましい。ステップS200を実行したら、制御部2は図5のフローチャートを終了する。
 また、上記と同様に、レーン認識部204aにおいても、認識結果の横位置が不安定かつ映り込み判定された場合には、レーン認識を利用した車線逸脱時の警報を抑制することで、誤警報を抑制する効果が得られる。
 また、歩行者検知部204cにおいても、映り込みを移動体と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。標識検知部204dにおいても、映り込みを標識と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。巻き込み防止認識部204eにおいても、映り込みを障害物と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。駐車枠認識部204fにおいても、映り込みにより駐車枠の位置が不安定になったり誤認識する恐れがあるために、駐車枠を利用したアプリケーションの停止により、誤制御などを抑止する。
 また、移動体検知部204gにおいても、映り込みを移動体と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。
 図12は、以上説明したような本実施形態の車載用周囲環境認識装置100によって得られる誤警報の低減効果を説明するための図である。ここでは、たとえば他車両の相対速度が図12(a)に示すような変化をする場合に、前述の警報抑制調整部206が行う警報出力の抑制度合いの調整により、警報出力部3からの警報の出力タイミングがどのように変化するかを例示している。図12の例において、図12(a)に示す他車両の相対速度は、時刻Tv1から時刻Tv2までの間では図5のステップS150で説明したような所定の範囲内であり、これ以外では範囲外である。
 警報抑制調整部206は、上記の時刻Tv1から時刻Tv2の期間において、前述のような警報出力の抑制度合いの調整を実行し、路面への背景物の映り込みの有無を判定するための条件を緩和する。これにより、映り込み判定部203では、映り込み有りとの判定結果が得られやすくなる。その結果、たとえば図12(b)に示すように、映り込み無しと判定されるタイミングが時刻Tr4から時刻Tr4aへと移動され、映り込み有りとの判定結果が得られる期間が延長される。なお、図12(b)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合に得られる路面への背景物の映り込みの判定結果の例を示している。
 ここで、アプリ実行部204の他車両認識部204bにより実行される他車両認識処理において、図12(c)の符号50に示す画像情報値が得られたとする。この画像情報値50が閾値Th0を超えると、他車両として認識される。図12(c)の例では、時刻To1から時刻To2の期間で画像情報値50が閾値Th0を超えているため、この期間内で他車両が認識される。
 警報出力部3は、警報制御部205からの警報出力信号に応じて、図12(d)に示すようなタイミングで警報出力を行う。この警報出力のタイミングは、図12(b)で映り込み有りと判定されており、かつ図12(c)で他車両が認識されている期間である。なお、図12(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、上記の時刻Tr4から時刻To2の期間では警報出力が行われることを示している。すなわち、他車両の相対速度が所定範囲内である時刻Tv1から時刻Tv2の期間では、警報出力の抑制度合いが調整され、これに応じて図12(b)のように映り込み有りとの判定結果が得られる期間が延長される。その結果、時刻Tr4から時刻To2の期間における警報出力を抑制することができる。
(他車両認識処理の説明)
 次に、図5のステップS130でアプリ実行部204の他車両認識部204bが実行する他車両認識処理について以下に説明する。
 図13は、本発明の車載用周囲環境認識装置100において他車両認識部204bが実行する他車両認識処理を説明するための車両の概略構成図である。車載用周囲環境認識装置100は、自車両Vの運転者が運転中に注意を払うべき他車両、例えば、自車両Vが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の車載用周囲環境認識装置100は自車両が走行する車線の隣の隣接車線(以下、単に隣接車線ともいう)を走行する他車両を検出する。また、本例の車載用周囲環境認識装置100は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、車載用周囲環境認識装置100を自車両Vに搭載し、自車両周囲において検出される立体物のうち、自車両Vが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の車載用周囲環境認識装置100は、カメラ1と、車速センサ5と、他車両認識部204bとを備える。
 カメラ1は、図1に示すように自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように自車両Vに取り付けられている。カメラ1は、この位置から自車両Vの周囲環境のうちの所定領域を撮像する。本実施形態において自車両Vの後方の立体物を検出するために設けられるカメラ1は一つであるが、他の用途のため、例えば車両周囲の画像を取得するための他のカメラを設けることもできる。車速センサ5は、自車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。他車両認識部204bは、車両後方の立体物を他車両として検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。
 図14は、図13の自車両Vの走行状態を示す平面図である。同図に示すように、カメラ1は、所定の画角aで車両後方側を撮像する。このとき、カメラ1の画角aは、自車両Vが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Vの後方であり、自車両Vの走行車線の左右隣の隣接車線上の検出対象領域A1,A2を含む。
 図15は、図13の他車両認識部204bの詳細を示すブロック図である。なお、図15においては、接続関係を明確とするためにカメラ1及び車速センサ5についても図示する。
 図15に示すように、他車両認識部204bは、視点変換部31と、位置合わせ部32と、立体物検出部33と、立体物判断部34と、虚像判断部38と、制御部39と、スミア検出部40とを備える。本実施形態の他車両認識部204bは、差分波形情報を利用した立体物の検出ブロックに関する構成である。本実施形態の他車両認識部204bは、エッジ情報を利用した立体物の検出ブロックに関する構成とすることもできる。この場合は、図15に示す構成のうち、位置合わせ部32と、立体物検出部33から構成される検出ブロック構成Aを、破線で囲んだ輝度差算出部35と、エッジ線検出部36と、立体物検出部37から構成される検出ブロック構成Bと置き換えて構成することができる。もちろん、検出ブロック構成A及び検出ブロック構成Bの両方を備え、差分波形情報を利用した立体物の検出を行うとともに、エッジ情報を利用した立体物の検出も行うことができるようにすることができる。検出ブロック構成A及び検出ブロック構成Bを備える場合には、例えば明るさなどの環境要因に応じて検出ブロック構成A又は検出ブロック構成Bのいずれかを動作させることができる。以下、各構成について説明する。
《差分波形情報による立体物の検出》
 本実施形態の車載用周囲環境認識装置100は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。
 視点変換部31は、カメラ1による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば日本国特開2008-219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部31による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。
 位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせる。図16は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両Vの移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
 図16(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置していたとする。また、自車両Vの後側方向に他車両VXが位置して自車両Vと並走状態にあり、現時刻の他車両VXがV3に位置し、一時刻前の他車両VXがV4に位置していたとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
 このような状態において、現時刻における鳥瞰画像PBは図16(b)に示すようになる。この鳥瞰画像PBでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V3にある他車両VXの位置については倒れ込みが発生する。また、一時刻前における鳥瞰画像PBt-1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V4にある他車両VXについては倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
 位置合わせ部32は、上記のような鳥瞰画像PB,PBt-1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt-1をオフセットさせ、現時刻における鳥瞰画像PBと位置を一致させる。図16(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図16(a)に示した自車両Vの実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ5からの信号と一時刻前から現時刻までの時間に基づいて決定される。
 また、位置合わせ後において位置合わせ部32は、鳥瞰画像PB,PBt-1の差分をとり、差分画像PDのデータを生成する。ここで、差分画像PDの画素値は、鳥瞰画像PB,PBt-1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値pを超えたときに「1」とし、超えないときに「0」としてもよい。図16(b)の右側の画像が、差分画像PDである。この閾値pは、予め設定しておいてもよいし、後述する制御部39の虚像判断の結果に応じた制御命令に従い変更してもよい。
 図15に戻り、立体物検出部33は、図16(b)に示す差分画像PDのデータに基づいて立体物を検出する。この際、本例の立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部33は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。
 差分波形の生成にあたって本実施形態の立体物検出部33は、差分画像PDにおいて検出領域を設定する。本例の車載用周囲環境認識装置100は、自車両Vの運転手が注意を払う他車両であり、特に、自車両Vが車線変更する際に接触の可能性がある自車両Vが走行する車線の隣の車線を走行する他車両を検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ1により得られた画像のうち、自車両Vの右側及び左側に二つの検出領域を設定する。具体的に、本実施形態では、図14に示すように自車両Vの後方の左側及び右側に矩形状の検出領域A1,A2を設定する。この検出領域A1,A2において検出された他車両は、自車両Vが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域A1,A2は、自車両Vに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置1は、例えば既存の白線認識技術等を利用するとよい。
 また、立体物検出部33は、設定した検出領域A1,A2の自車両V側における辺(走行方向に沿う辺)を接地線L1,L2(図14)として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両VXの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
 図17は、図3に示す立体物検出部33による差分波形の生成の様子を示す概略図である。図17に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PD(図16(b)の右図)のうち検出領域A1,A2に相当する部分から、差分波形DWを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWを生成する。なお、図17に示す例では、便宜上検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で差分波形DWを生成する。
 具体的に説明すると、立体物検出部33は、差分画像DWのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWの画素値が鳥瞰画像PB,PBt-1の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像DWの画素値が「0」「1」で表現されている場合は、「1」を示す画素である。
 立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図17右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図17右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
 以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図17右図に示すように差分波形DWを生成する。
 なお、図17左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図17左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図17においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWの値はほぼ同じとなっている。
 差分波形DWの生成後、立体物検出部33は一時刻前の差分波形DWt-1との対比により移動距離を算出する。すなわち、立体物検出部33は、差分波形DW,DWt-1の時間変化から移動距離を算出する。
 詳細に説明すると、立体物検出部33は、図18に示すように差分波形DWを複数の小領域DWt1~DWtn(nは2以上の任意の整数)に分割する。図18は、立体物検出部33によって分割される小領域DWt1~DWtnを示す図である。小領域DWt1~DWtnは、例えば図18に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
 次いで、立体物検出部33は、小領域DWt1~DWtn毎にオフセット量(差分波形の横軸方向(図18の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt-1と現時刻における差分波形DWとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DWt1~DWtn毎に、一時刻前における差分波形DWt-1を横軸方向に移動させた際に、現時刻における差分波形DWとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt-1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1~DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
 図19は、立体物検出部33により得られるヒストグラムの一例を示す図である。図19に示すように、各小領域DWt1~DWtnと一時刻前における差分波形DWt-1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図19に示す例において立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τと算出する。なおこの移動距離τは、自車両Vに対する他車両VXの相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τと車速センサ5からの信号とに基づいて、絶対移動距離を算出することとなる。
 なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1~DWtn毎に重み付けをし、小領域DWt1~DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図20は、立体物検出部33による重み付けを示す図である。
 図20に示すように、小領域DW(mは1以上n-1以下の整数)は平坦となっている。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWについて重みを小さくする。平坦な小領域DWについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
 一方、小領域DWm+k(kはn-m以下の整数)は起伏に富んでいる。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
 なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWを複数の小領域DWt1~DWtnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DWt1~DWtnに分割しなくてもよい。この場合に、立体物検出部33は、差分波形DWと差分波形DWt-1との誤差が最小となるときの差分波形DWのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形DWt-1と現時刻における差分波形DWとのオフセット量を求める方法は上記内容に限定されない。
 図15に戻り、他車両認識部204bはスミア検出部40を備える。スミア検出部40は、カメラ1による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはCCDイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないCMOSイメージセンサ等を用いたカメラ1を採用する場合にはスミア検出部40を省略してもよい。
 図21は、スミア検出部40による処理及びそれによる差分波形DWの算出処理を説明するための画像図である。まずスミア検出部40にスミアSが存在する撮像画像Pのデータが入力されたとする。このとき、スミア検出部40は、撮像画像PからスミアSを検出する。スミアSの検出方法は様々であるが、例えば一般的なCCD(Charge-Coupled?Device)カメラの場合、光源から画像下方向にだけスミアSが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアSの発生領域と特定する。
 また、スミア検出部40は、スミアSの発生箇所について画素値を「1」とし、それ以外の箇所を「0」とするスミア画像SPのデータを生成する。生成後、スミア検出部40はスミア画像SPのデータを視点変換部31に送信する。また、スミア画像SPのデータを入力した視点変換部31は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部31はスミア鳥瞰画像SBのデータを生成する。生成後、視点変換部31はスミア鳥瞰画像SBのデータを位置合わせ部33に送信する。また、視点変換部31は一時刻前のスミア鳥瞰画像SBt-1のデータを位置合わせ部33に送信する。
 位置合わせ部32は、スミア鳥瞰画像SB,SBt-1の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像PB,PBt-1の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部32は、各スミア鳥瞰画像SB,SBt-1のスミアSの発生領域について論理和をとる。これにより、位置合わせ部32は、マスク画像MPのデータを生成する。生成後、位置合わせ部32は、マスク画像MPのデータを立体物検出部33に送信する。
 立体物検出部33は、マスク画像MPのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図21に示すような差分波形DWが生成されていた場合に、立体物検出部33は、スミアSによるカウント数SCをゼロとし、補正された差分波形DW’を生成することとなる。
 なお、本実施形態において立体物検出部33は、車両V(カメラ1)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
 図22は、立体物検出部33により得られるヒストグラムの他例を示す図である。カメラ1の画角内に他車両VXの他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。
 なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ1の画角内に他車両VXが複数台存在すると想定される。しかし、検出領域A1,A2内に複数の他車両VXが存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。
 次に差分波形情報による立体物検出手順を説明する。図23及び図24は、本実施形態の立体物検出手順を示すフローチャートである。図23に示すように、まず、他車両認識部204bはカメラ1による撮像画像Pのデータを入力し、スミア検出部40によりスミア画像SPを生成する(S1)。次いで、視点変換部31は、カメラ1からの撮像画像Pのデータから鳥瞰画像PBのデータを生成すると共に、スミア画像SPのデータからスミア鳥瞰画像SBのデータを生成する(S2)。
 そして、位置合わせ部33は、鳥瞰画像PBのデータと、一時刻前の鳥瞰画像PBt-1のデータとを位置合わせすると共に、スミア鳥瞰画像SBのデータと、一時刻前のスミア鳥瞰画像SBt-1のデータとを位置合わせする(S3)。この位置合わせ後、位置合わせ部33は、差分画像PDのデータを生成すると共に、マスク画像MPのデータを生成する(S4)。その後、立体物検出部33は、差分画像PDのデータと、一時刻前の差分画像PDt-1のデータとから、差分波形DWを生成する(S5)。差分波形DWを生成後、立体物検出部33は、差分波形DWのうち、スミアSの発生領域に該当するカウント数をゼロとし、スミアSによる影響を抑制する(S6)。
 その後、立体物検出部33は、差分波形DWのピークが第1閾値α以上であるか否かを判断する(S7)。この第1閾値αは、予め設定しておき、図15に示す制御部39の制御命令に従い変更することもできるが、その詳細については後述する。ここで、差分波形DWのピークが第1閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像P内には立体物が存在しないと考えられる。このため、差分波形DWのピークが第1閾値α以上でないと判断した場合には(S7:NO)、立体物検出部33は、立体物が存在せず、障害物としての他車両が存在しないと判断する(図24:S16)。そして、図23及び図24に示す処理を終了する。
 一方、差分波形DWのピークが第1閾値α以上であると判断した場合には(S7:YES)、立体物検出部33は、立体物が存在すると判断し、差分波形DWを複数の小領域DWt1~DWtnに分割する(S8)。次いで、立体物検出部33は、小領域DWt1~DWtn毎に重み付けを行う(S9)。その後、立体物検出部33は、小領域DWt1~DWtn毎のオフセット量を算出し(S10)、重みを加味してヒストグラムを生成する(S11)。
 そして、立体物検出部33は、ヒストグラムに基づいて自車両Vに対する立体物の移動距離である相対移動距離を算出する(S12)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(S13)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ5で検出された自車速を加算して、絶対移動速度を算出する。
 その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるか否かを判断する(S14)。双方を満たす場合には(S14:YES)、立体物検出部33は、立体物が他車両VXであると判断する(S15)。そして、図23及び図24に示す処理を終了する。一方、いずれか一方でも満たさない場合には(S14:NO)、立体物検出部33は、他車両が存在しないと判断する(S16)。そして、図23及び図24に示す処理を終了する。
 なお、本実施形態では自車両Vの後側方を検出領域A1,A2とし、自車両Vが走行中に注意を払うべきである、自車両の走行車線の隣にある隣接車線を走行する他車両VXを検出すること、特に、自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Vが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両VXと接触する可能性がある否かを判断するためである。このため、ステップS14の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が10km/h未満である場合、たとえ他車両VXが存在したとしても、車線変更する際には自車両Vの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Vに対する相対移動速度が+60km/hを超える場合(すなわち、立体物が自車両Vの速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両Vの前方に移動しているため問題となることが少ない。このため、ステップS14では車線変更の際に問題となる他車両VXを判断しているともいえる。
 また、ステップS14において立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ1の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を他車両VXであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Vに対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
 ステップS14において他車両VXを判断するための相対移動速度の閾値は任意に設定することができる。たとえば、-20km/h以上、100km/h以下を相対移動速度の閾値として設定することができる。ここで負の下限値は、検出物が自車両VXの後方に移動する、つまり、検出物が後方に流れていく状態であるときの移動速度の下限値である。この閾値は、適宜に予め設定することができるが、後述する制御部39の制御命令に従い変更することができる。
 さらに、ステップS14の処理に代えて、絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS15において他車両VXが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
 このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像PDのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形DWを生成する。ここで、差分画像PDのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWを生成することとなる。そして、高さ方向の情報を含む差分波形DWの時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
 また、差分波形DWのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形DWのうちスミアSによって生じる波形部位を除去することとなり、スミアSを立体物と誤認してしまう事態を防止することができる。
 また、異なる時刻に生成された差分波形DWの誤差が最小となるときの差分波形DWのオフセット量から立体物の移動距離を算出する。このため、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。
 また、異なる時刻に生成された差分波形DWを複数の小領域DWt1~DWtnに分割する。このように複数の小領域DWt1~DWtnに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域DWt1~DWtn毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域DWt1~DWtn毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。
 また、複数の小領域DWt1~DWtn毎に重み付けをし、小領域DWt1~DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。
 また、差分波形DWの各小領域DWt1~DWtnについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。
 また、小領域DWt1~DWtn毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。
 また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
 なお上記実施形態において、自車両Vの車速を車速センサ5からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
 また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDを生成し、生成した差分画像PDを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDを生成し、差分画像PDを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
《エッジ情報による立体物の検出》
 次に、図15に示す検出ブロックAに代えて動作させることが可能である、輝度差算出部35、エッジ線検出部36及び立体物検出部37で構成されるエッジ情報を利用した立体物の検出ブロックBについて説明する。図25は、図15のカメラ1の撮像範囲等を示す図であり、図25(a)は平面図、図25(b)は、自車両Vから後側方における実空間上の斜視図を示す。図25(a)に示すように、カメラ1は所定の画角aとされ、この所定の画角aに含まれる自車両Vから後側方を撮像する。カメラ1の画角aは、図14に示す場合と同様に、カメラ1の撮像範囲に自車両Vが走行する車線に加えて、隣接する車線も含まれるように設定されている。
 本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d~dに基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図14に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
 ここで、距離d1は、自車両Vから接地線L1,L2までの距離である。接地線L1,L2は、自車両Vが走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Vの後側方において自車両Vの車線に隣接する左右の車線を走行する他車両VX等(2輪車等を含む)を検出することが目的である。このため、自車両Vから白線Wまでの距離d11及び白線Wから他車両VXが走行すると予測される位置までの距離d12から、他車両VXの接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
 また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、他車両認識部204bは、白線認識等の技術により自車両Vに対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、他車両VXが走行する位置(白線Wからの距離d12)及び自車両Vが走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
 距離d2は、自車両Vの後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ1の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両VX等であるため、距離d3は、他車両VXを含む長さに設定される。
 距離d4は、図25(b)に示すように、実空間において他車両VX等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図25(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの車線)を含まない長さとすることもできる。自車両Vの車線から2車線隣の車線を含んでしまうと、自車両Vが走行している車線である自車線の左右の隣接車線に他車両VXが存在するのか、2車線隣りの車線に他車両VXが存在するのかについて、区別が付かなくなってしまうためである。
 以上のように、距離d1~距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ1から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ1から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1~b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図25(b)に示すように、自車両Vから後側方における実空間上では真四角(長方形)となる。
 図15に戻り、視点変換部31は、カメラ1による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部31は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば日本国特開2008-219063号公報に記載された技術によって実現することができる。
 輝度差算出部35は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
 鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部35は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部35は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部35の動作について詳細に説明する。
 輝度差算出部35は、図26(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また輝度差算出部35は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ1の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
 輝度差算出部35は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また輝度差算出部35は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図26(b)に示す関係となる。図26(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
 輝度差算出部35は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。このため、図15に示したエッジ線検出部36は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
 この点をより詳細に説明する。図27は、輝度差算出部35の詳細動作を示す図であり、図27(a)は鳥瞰視された状態の鳥瞰視画像を示し、図27(b)は、図27(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお図27についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
 カメラ1が撮像した撮像画像内に他車両VXが映っていた場合に、図27(a)に示すように、鳥瞰視画像内の検出領域A1に他車両VXが現れる。図27(b)に図27(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、他車両VXのタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部35は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る車載用周囲環境認識装置100において、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば他車両VXのタイヤのゴムから10cm相当だけ離れた他車両VXのタイヤのホイール上に設定される。
 次に、輝度差算出部35は、注目線La上に複数の注目点Pa1~PaNを設定する。図27(b)においては、説明の便宜上、6つの注目点Pa1~Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
 次に、輝度差算出部35は、実空間上において各注目点Pa1~PaNと同じ高さとなるように各参照点Pr1~PrNを設定する。そして、輝度差算出部35は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1~N)ごとに、2つの画素の輝度差を算出する。輝度差算出部35は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部35は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部35は、第3~第N注目点Pa3~PaNと第3~第N参照点Pr3~PrNとの輝度差を順次求めていくこととなる。
 輝度差算出部35は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部35は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部35は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
 図15に戻り、エッジ線検出部36は、輝度差算出部35により算出された連続的な輝度差から、エッジ線を検出する。例えば、図27(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2~第6注目点Pa2~Pa6はタイヤのゴム部分に位置し、第2~第6参照点Pr2~Pr6はタイヤのホイール部分に位置する。したがって、第2~第6注目点Pa2~Pa6と第2~第6参照点Pr2~Pr6との輝度差は大きくなる。このため、エッジ線検出部36は、輝度差が大きい第2~第6注目点Pa2~Pa6と第2~第6参照点Pr2~Pr6との間にエッジ線が存在することを検出することができる。
 具体的には、エッジ線検出部36は、エッジ線を検出するにあたり、先ず下記の数式1に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
(数式1)
I(xi,yi)>I(xi’,yi’)+tのとき
 s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)-tのとき
 s(xi,yi)=-1
上記以外のとき
 s(xi,yi)=0
 上記数式1において、tは閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記数式1によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priから閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘-1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。この閾値tは、予め設定しておき、図15に示す制御部39が発する制御命令に従い変更することもできるが、その詳細については後述する。
 次にエッジ線検出部36は、下記数式2に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
(数式2)
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
 c(xi,yi)=1
上記以外のとき、
 c(xi,yi)=0
 注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
 次にエッジ線検出部36は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部36は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。エッジ線検出部36は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。閾値θは予め設定しておいてもよいし、後述する制御部39の虚像の判断結果に応じた制御命令に従い変更してもよい。
 すなわち、エッジ線検出部36は、下記数式3に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部36は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
(数式3)
Σc(xi,yi)/N>θ
 図15に戻り、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る車載用周囲環境認識装置100は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。さらに、立体物検出部37は、立体物を検出するに先立って、エッジ線検出部36により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部37は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。
 図28は、エッジ線の輝度分布を示す図であり、図28(a)は検出領域A1に立体物としての他車両VXが存在した場合のエッジ線及び輝度分布を示し、図28(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
 図28(a)に示すように、鳥瞰視画像において他車両VXのタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ1により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両VXのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図28(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
 以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部37は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部37は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。
 具体的には、立体物検出部37は、下記数式4,5の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式4は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記数式5は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
(数式4)
鉛直相当方向の評価値=Σ[{I(xi,yi)-I(xi+1,yi+1)}
(数式5)
鉛直相当方向の評価値=Σ|I(xi,yi)-I(xi+1,yi+1)|
 なお、数式5に限らず、下記数式6のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
(数式6)
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)-I(xi+1,yi+1)|>t2のとき、
 b(xi,yi)=1
上記以外のとき、
 b(xi,yi)=0
 注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部37は、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。
 次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図29及び図30は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図29及び図30においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
 図29に示すように、先ずステップS21において、カメラ1は、画角a及び取付位置によって特定された所定領域を撮像する。次に視点変換部31は、ステップS22において、ステップS21にてカメラ1により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。
 次に輝度差算出部35は、ステップS23において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。次に輝度差算出部35は、ステップS24において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
 次に輝度差算出部35は、ステップS25において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部35は、エッジ線検出部36によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。また、輝度差算出部35は、ステップS26において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
 次に輝度差算出部35は、ステップS27において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。次にエッジ線検出部36は、上記の数式1に従って、各注目点Paの属性sを算出する。次にエッジ線検出部36は、ステップS28において、上記の数式2に従って、各注目点Paの属性sの連続性cを算出する。次にエッジ線検出部36は、ステップS29において、上記数式3に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合(S29:YES)、エッジ線検出部36は、ステップS30において、当該注目線Laをエッジ線として検出する。そして、処理はステップS31に移行する。正規化した値が閾値θより大きくないと判断した場合(S29:NO)、エッジ線検出部36は、当該注目線Laをエッジ線として検出せず、処理はステップS31に移行する。この閾値θは予め設定しておくことができるが、制御部39に制御命令に応じて変更することもできる。
 ステップS31において、輝度差算出部35は、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS23~ステップS30の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(S31:NO)、ステップS23に処理を戻して、新たに注目線Laを設定して、ステップS31までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(S31:YES)、処理は図30のステップS32に移行する。
 図30のステップS32において、立体物検出部37は、図29のステップS30において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部37は、上記数式4,5,6の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部37は、ステップS33において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。
 次に立体物検出部37は、ステップS34において、エッジ線の量が第2閾値β以上であるか否かを判断する。なお、この第2閾値βは、予め実験等によって求めておいて設定しておき、図15に示す制御部39が発する制御命令に従い変更することもできるが、その詳細については後述する。例えば、検出対象の立体物として四輪車を設定した場合、当該第2閾値βは、予め実験等によって検出領域A1内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第2閾値β以上であると判定した場合(S34:YES)、立体物検出部37は、ステップS35において、検出領域A1内に立体物が存在すると検出する。一方、エッジ線の量が第2閾値β以上ではないと判定した場合(S34:NO)、立体物検出部37は、検出領域A1内に立体物が存在しないと判断する。その後、図29及び図30に示す処理は終了する。検出された立体物は、自車両Vが走行する車線の隣の隣接車線を走行する他車両VXであると判断してもよいし、検出した立体物の自車両Vに対する相対速度を考慮して隣接車線を走行する他車両VXであるか否かを判断してもよい。この第2閾値βは予め設定しておくことができるが、制御部39に制御命令に応じて変更することもできる。
 以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。
 具体的には、鳥瞰視画像における検出領域A1,A2に対して、実空間において鉛直方向に伸びる線分に該当する注目線Laと、注目線Laとは異なる参照線Lrとを設定する。そして、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差を注目線La及び参照線Laに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Laと参照線Lrとの輝度差を求める。注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。
 また、本例では、鉛直仮想線付近の略同じ高さの2つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。
 更に、本例では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図31は、エッジ線検出部36の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
 これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部36は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部36は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
 さらに、本例では、エッジ線検出部36により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ1により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両VXのタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。
《立体物の最終判断》
 図15に戻り、上述した2つの立体物検出部33(又は立体物検出部37)による立体物の検出にあたり、本例の車載用周囲環境認識装置100における他車両認識部204bは、立体物判断部34と、虚像判断部38と、制御部39とを備える。立体物判断部34は、立体物検出部33(又は立体物検出部37)による検出結果に基づいて、検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。立体物検出部33(又は立体物検出部37)は、後述する虚像判断部38の判断結果を反映させた立体物の検出を行う。虚像判断部38は、検出された立体物に対応する画像のテクスチャ分析の結果から、検出された立体物が路面に形成された水膜などに建物などの像が移り込んだ虚像であるか否かを判断する。制御部39は、虚像判断部38により検出された立体物に対応する画像が虚像であると判断された場合には、検出される立体物が検出領域A1,A2に存在する他車両Vであると判断されることが抑制されるように他車両認識部204bを構成する各部(制御部39を含む)を制御する制御命令を出力する。
 本実施形態の立体物判断部34は、立体物検出部33、37において検出された立体物が検出領域A1,A2に存在する他車両VXであるか否かを最終的に判断する。立体物判断部34が検出された立体物が検出領域A1,A2に存在する他車両VXであると判断した場合には、乗員への報知などの処理が実行される。この立体物判断部34は、制御部39の制御命令に従い、検出された立体物が他車両VXであると判断することを抑制することができる。具体的に、虚像判断部38により検出された立体物の像が虚像であると判断された場合には、制御部39は、検出された立体物が他車両VXであると判断することを抑制する制御命令を立体物判断部34に送出する。立体物判断部34は、この制御命令に従い立体物の判断処理を中止し、又は検出された立体物は他車両VXではない、つまり検出領域A1,A2には他車両VXは存在しないと判断する。もちろん、制御命令を取得しない場合には、立体物検出部33、37において検出された立体物は検出領域A1,A2に存在する他車両VXであると判断することもできる。
 本実施形態の虚像判断部38の処理について説明する。本実施形態の虚像判断部38は、立体物検出部33により生成された差分波形情報に基づいて、検出に係る立体物の像が虚像であるか否かを判断することができる。特に限定されないが、本実施形態の虚像判断部38は、立体物に対応する画像情報、特に鉛直方向に沿う立体物の輪郭に対応する画像情報の画像領域の輝度差が所定値未満である場合には、画像領域を含む領域において検出された立体物は虚像であると判断する。
 具体的に、虚像判断部38は、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿う判定線(図17のLa~Lf)のうち、差分波形情報においてカウントされた度数が所定値以上である一つの基準判定線(例えばLa)を特定し、基準判定線(La)上の画像領域の輝度と基準判定線と隣り合う判定線(Lc又はLd)を含む一又は複数の比較判定線(Lb,Lc,Ld,Le)上の画像領域の輝度との輝度差が所定値未満であるか否かを判断し、輝度差が所定値未満である場合には、画像領域を含む領域において検出された立体物は虚像であると判断する。輝度差の比較は、基準判定線(La)上のある一画素又はこの画素を含む画像領域の輝度と、比較判定線(Lb,Lc,Ld,Le)のある一画素又はこの画素を含む画像領域の輝度とを比較することができる。また、輝度差は、図17に示す差分波形情報における所定の差分を示す画素数又は度数分布化された値に基づいて判断することができる。
 鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿う判定線であって、隣接する複数の判定線上の画素又は画像領域の輝度差が小さく、検出された立体物に対応する画像領域のコントラストが低い場合には、この画像は実在する立体物から得た像ではなく、立体物が路面の水たまり(水膜)に映りこんだ虚像であると判断することができる。
 このとき、虚像判断部38は、基準判定線(La)上の画像領域の輝度との輝度差が所定値未満である画像領域を含む比較判定線(Lb,Lc,Ld,Le)が所定数以上ある場合には、画像領域を含む領域において検出された立体物は虚像であると判断することができる。このように、広い範囲でコントラストの有無を検証して、虚像であるか否かを判断することにより、虚像であるか否かの判断を正確に行うことができる。
 図32は、検出領域A2内の路面に水溜り(水膜)が形成され、その表面に周囲の構造物の像が映りこんでいる状態を示す図である。図33、図34は、検出領域A1に実在する他車両VXの画像の鳥瞰視画像から生成した差分波形情報DWt1と、検出領域A2に形成された水膜に周囲の構造物の像が映り込んだ画像の鳥瞰視画像から生成した差分波形情報DWt2とを示す。図33の左側の図及び図34(A)に示すように、実在する他車両VXの鳥瞰視画像から生成された差分波形情報DWt1には立体物の倒れ込み方向に沿った所定の差分を示す画素が検出され、立体物の外観特徴に応じたピークが見られるのに対して、図33の右側の図及び図34(B)に示すように、周囲構造物が水膜に映り込んだ虚像の鳥瞰視画像から生成された差分波形情報DWt2には立体物の倒れ込み方向に沿った所定の差分を示す画素数には変化がなく、立体物特有のピークがない。このように、本実施形態では、路面の水膜に周囲構造物が映り込んだ虚像の画像は、コントラストが低いという特徴を利用して、検出された立体物に対応する像が実像であるのか虚像であるのかを判断することができる。
 また、同様の観点から、本実施形態の虚像判断部38は、立体物検出部37により生成されたエッジ情報に基づいて、検出に係る立体物の像が虚像であるか否かを判断することができる。具体的に、虚像判断部38は、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿う判定線(図26のLa~Ld,Lr)のうち、互いに隣接する画像領域の輝度差が所定閾値以上であるエッジが検出された一つの基準判定線(例えばLr)を特定し、基準判定線(Lr)上の画像領域の輝度と基準判定線(Lr)と隣り合う判定線(Lb~Lc)を含む一又は複数の比較判定線(La~Ld)上の画像領域の輝度との輝度差が所定値未満である場合には、画像領域を含む領域において検出された立体物は虚像であると判断する。このとき、虚像判断部38は、基準判定線(Lr)上の画像領域の輝度との輝度差が所定値未満である画像領域を含む比較判定線(Lb~Lc)が所定数以上ある場合には、画像領域を含む領域において検出された立体物は虚像であると判断することができる。このように、広い範囲でコントラストの有無を検証して、虚像であるか否かを判断することにより、虚像であるか否かの判断を正確に行うことができる。
 本実施形態の虚像判断部38は、検出領域A1と検出領域A2の画像情報のコントラストに基づいて検出した立体物に対応する画像情報が虚像であるか又は実像であるかを判断する。本実施形態において画像情報のコントラストは、検出領域A1と検出領域A2の画像情報のテクスチャの特徴量に基づいて算出する。本実施形態において、画像情報のテクスチャの抽出、評価、定量などの手法は出願時に知られているテクスチャ解析手法を適宜に適用することができる。
 次に、制御部39について説明する。本実施形態の制御部39は、前回の処理において虚像判断部38が立体物検出部33により検出された立体物が虚像であると判断した場合には、次回の処理において立体物検出部33,37、立体物判断部34、虚像判断部38、又は自身である制御部39の何れか一つ以上の各部において実行される制御命令を生成することができる。
 本実施形態の制御命令は、検出される立体物が他車両VXであると判断されることが抑制されるように各部の動作を制御するための命令である。周囲構造物が路面の水膜に映り込んだ虚像を、誤って他車両VXと判断することを防止するためである。本実施形態の他車両認識部204bはコンピュータであるため、立体物検出処理、立体物判断処理、虚像判断処理に対する制御命令は各処理のプログラムに予め組み込んでもよいし、実行時に送出してもよい。本実施形態の制御命令は、検出された立体物を他車両として判断する処理を中止させたり、検出された立体物を他車両ではないと判断させたりする結果に対する命令であってもよいし、差分波形情報に基づいて立体物を検出する際の感度を低下させる命令、エッジ情報に基づいて立体物を検出する際の感度を調整する命令、虚像であるか否かを判断する際の輝度差の値を調整する命令であってもよい。
 以下、制御部39が出力する各制御命令について説明する。
 まず、差分波形情報に基づいて立体物を検出する場合の制御命令について説明する。先述したように、立体物検出部33は、差分波形情報と第1閾値αとに基づいて立体物を検出する。そして、本実施形態の制御部39は、虚像判断部38が立体物に対応する像が虚像であると判断した場合には、第1閾値αを高くする制御命令を生成し、立体物検出部33に出力する。第1閾値αとは、図23のステップS7において、差分波形DWのピークを判断するための第1閾値αである(図17参照)。また、制御部39は、差分波形情報における画素値の差分に関する閾値pを高くする制御命令を立体物検出部33に出力することができる。
 制御部39は、前回の処理で立体物に対応する画像情報が虚像であると判断されると、検出領域A1,A2には水膜が形成されており、検出領域A1,A2の画像情報に周囲の構造物が映り込む可能性が高いと判断できる。このまま、通常と同じ手法で立体物を検出すると、検出領域A1,A2には他車両VXが存在しないにもかかわらず、水膜に映り込んだ虚像を他車両VXの実像と誤検出する場合がある。このため、本実施形態では、次回の処理においては立体物が検出されにくいように、差分波形情報を生成する際の画素値の差分に関する閾値を高く変更する。このように、判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度が調整されるため、水膜に映り込んだ周囲構造物を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
 また、本実施形態の制御部39は、虚像判断部38が立体物に対応する画像情報が虚像であると判断した場合には、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力することができる。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図23のステップS5において生成される差分波形DWの縦軸の値である。制御部39は、前回の処理で立体物が虚像であると判断されると、検出領域A1,A2に水膜が形成されている可能性が高いと判断できるため、次回の処理においては検出領域A1,A2において他車両VXが誤検出されにくいように、差分波形DWの度数分布化された値を低く変更する。このように、出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度が調整されるため、水膜に形成された虚像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
 次に、エッジ情報に基づいて立体物を検出する場合の制御命令について説明する。本実施形態の制御部39は、虚像判断部38により立体物に対応する画像情報が虚像であると判断された場合には、エッジ情報を検出する際に用いられる輝度に関する所定閾値を高くする制御命令を立体物検出部37に出力する。エッジ情報を検出する際に用いられる輝度に関する所定閾値とは、図29のステップS29における各注目点Paの属性の連続性cの総和を正規化した値を判断する閾値θ、又は図30のステップ34におけるエッジ線の量を評価する第2閾値βである。制御部39は、前回の処理で立体物が虚像であると判断された場合には、検出領域A1,A2に水膜が形成され、この水膜に周囲構造物が映り込んでいる可能性が高いと判断できるため、次回の処理においては立体物が検出されにくいように、エッジ線を検出する際に用いられる閾値θ又はエッジ線の量を評価する第2閾値βを高く変更する。このように、判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度が調整されるため、水膜に映り込んだ周囲構造物の虚像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
 また、本実施形態の制御部39は、虚像判断部38により立体物に対応する画像情報が虚像であると判断された場合には、検出したエッジ情報の量を低く出力する制御命令を立体物検出部37に出力する。検出したエッジ情報の量とは、図29のステップS29における各注目点Paの属性の連続性cの総和を正規化した値、又は図30のステップ34におけるエッジ線の量である。制御部39は、前回の処理で立体物が虚像であると判断されると、水たまりなどの水膜に周囲構造物が映り込んでいる可能性が高いと判断できるため、次回の処理においては立体物が検出されにくいように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更する。このように、出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように出力値を小さくすることで検出感度が調整されるため、水膜に映り込んだ周囲構造物の虚像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
 さらに、本実施形態の制御部39は、検出領域A1,A2の輝度が所定値以上である場合には、第1閾値α、閾値p、第2閾値β又は閾値θの何れかをさらに高くする制御命令を生成し、立体物検出部33、37に出力することができる。検出領域A1、A2の輝度は、カメラ1の撮像画像から取得することができる。検出領域A1,A2の輝度が所定値よりも高く、明るい場合には検出領域A1,A2に光を反射する水膜が形成されている可能性が高いと判断できる。本実施形態では、検出領域A1,A2の輝度が所定値よりも高い場合には、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように閾値を高くすることで検出感度を調整することにより、水膜に映り込んだ周囲構造物の虚像を隣の隣接車線を走行する他車両VXとして誤検出することを防止することができる。
 さらに、本実施形態の制御部39は、自車両Vの移動速度を車速センサ5から取得し、車速センサ5により検出された自車両Vの移動速度が所定値未満である場合には、第1閾値α、閾値p、第2閾値β又は閾値θをさらに高くする制御命令を生成し、立体物検出部へ出力することができる。自車両Vの移動速度が低いと差分波形情報における差分及びエッジ情報における差分の識別能が低下する傾向がある。つまり、自車両Vの移動速度が低いと、立体物の存在が差分波形情報又はエッジ情報に正確に反映されない場合がある。このため、本実施形態では、自車両の移動速度が所定値未満である場合には、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように、閾値を高くすることで検出感度を調整することにより、水膜に映り込んだ周囲構造物の虚像を隣の隣接車線を走行する他車両VXとして誤検出することを防止することができる。
 さらにまた、本実施形態の制御部39は、上述した立体物検出部33,37が、検出された立体物の自車両Vに対する相対移動速度が所定値域以内である場合には、立体物を他車両VXなどの検出対象であると判断する処理において、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整する。具体的に、本実施形態の制御部39は、虚像判断部38が立体物を虚像であると判断した場合には、立体物検出部33,37における相対移動速度を評価するための所定値域を縮小する制御命令を生成し、立体物検出部33,37へ出力する。前回の処理において検出された立体物が虚像であると判断された場合には、立体物は路面に形成された水膜の像であり、立体物として検出されたものは静止物であると推測することができる。このような静止物を、他車両VXと誤検出しないように、他車両VXであるか否かの判断に用いられる相対移動速度の所定値域を狭くして、検出感度を高くすることができる。
 この場合において、制御部39は、相対移動速度を評価するための所定値域の負の値で示された下限値を高い値に変更して、所定値域を縮小する制御命令を生成することができる。具体的に、制御部39は、-20km~100kmと定義されていた所定値域において負の値で示された下限値を高い値に変更し、例えば、-5km~100kmと定義することができる。負の値で示された相対移動速度は、自車両Vの進行方向に対して後方に進む速度である。前回の処理において検出された立体物が虚像であると判断された場合には、立体物は路面に形成された水膜の像であり、立体物として検出されたものは静止物であると推測することができる。静止物は、走行する自車両Vの後方に流れる可能性があるので、負の値で示される所定速度以上で後方へ進むものは、水膜である可能性が高いため、これが他車両VXと誤検出されないように、これを排除するために所定値域において負の値で示された下限値を高い値に変更する。このように、負の値で示された下限値を高い値にすることにより、所定速度以上で後方に流れる水膜などを、他車両VXとして誤検出されないようにすることができる。
 速度に関する閾値を調整するにあたり、制御部39は、検出領域A1,A2の輝度が所定値以上である場合には、相対移動速度を評価するための所定値域をさらに縮小する制御命令を生成し、立体物検出部33,37へ出力することができる。検出領域A1,A2の輝度は、先述したように、カメラ1の画像情報から取得することができる。検出領域A1,A2の輝度が所定値よりも高く、明るい場合には検出領域A1,A2に光を反射する水膜が形成されている可能性が高いと判断できる。本実施形態では、検出領域A1,A2の輝度が所定値よりも高い場合には、相対移動速度を評価するための所定値域をさらに縮小して自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整することにより、水膜に映り込んだ周囲構造物の虚像を隣の隣接車線を走行する他車両VXとして誤検出することを防止することができる。
 同じく、速度に関する閾値を調整するにあたり、制御部39は、自車両Vの移動速度を車速センサ5から取得し、車速センサ5により検出された自車両Vの移動速度が所定値未満である場合には、相対移動速度を評価するための所定値域をさらに縮小する制御命令を生成し、立体物検出部33,37へ出力することができる。自車両Vの移動速度が低いと差分波形情報における差分及びエッジ情報における差分の識別能が低下する傾向がある。つまり、自車両Vの移動速度が低いと、立体物の存在が差分波形情報又はエッジ情報に正確に反映されない場合があり、他車両VX以外のものも立体物として検出してしまう傾向がある。このため、本実施形態では、自車両の移動速度が所定値未満である場合には、相対移動速度を評価するための所定値域をさらに縮小して自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように、閾値を高くすることで検出感度を調整することにより、水膜に映り込んだ周囲構造物の虚像を隣の隣接車線を走行する他車両VXとして誤検出することを防止することができる。
 以下、図35~39を参照して、制御部39及び制御命令を取得した立体物判断部34、立体物検出部33,37の動作を説明する。図35~39に示す処理は、前回の立体物検出処理の後に、前回処理の結果を利用して行われる今回の立体検出処理である。
 まず、図35に示すステップS41において、虚像判断部38は、立体物検出部33により検出された立体物が虚像であるか否かを判断する。立体物が虚像であるか否かは、検出された立体物の画像情報のコントラストに基づいて行うことができる。この場合において、先述した立体物検出部33が生成した差分波形情報に基づいて行うこともできるし、立体物検出部37が生成したエッジ情報に基づいておこなうこともできる。
 つぎに、ステップ42において、制御部39は、ステップ41において算出された虚像の判断において、検出された立体物が虚像であるか否かを判断する。
 制御部39は、検出された立体物が虚像である場合には、検出される立体物が他車両VXであると判断されることが抑制されるように各部に制御命令を出力する。その一例として、ステップS46に進み、制御部39は立体物の検出処理を中止する内容の制御命令を立体物判断部34に出力する。また、他の例として、ステップS47に進み、制御部39は、検出された立体物は他車両VXではないと判断することもできる。
 検出された立体物が虚像でない場合には、ステップS43に進み、立体物の検出処理を行う。この立体物の検出処理は上述した立体物検出部33による図23、図24の差分波形情報を用いた処理、又は立体物検出部37による図29、図30のエッジ情報を用いた処理に従って行われる。そして、ステップ43において、この立体物検出部33,37により検出領域A1,A2に立体物が検出された場合にはステップS45に進み、検出された立体物が他車両VXであると判断する。他方、立体物検出部33,37により検出領域A1,A2に立体物が検出されない場合にはステップS47に進み、検出領域A1,A2に他車両VXは存在しないと判断する。
 図36に、他の処理例を示す。制御部39は、ステップ42において検出された立体物が虚像であると判断された場合には、ステップS51に進み、差分波形情報を生成する際の画素値の差分に関する閾値p、差分波形情報から立体物を判断する際に用いる第1閾値α、エッジ情報を生成する際の閾値θ、エッジ情報から立体物を判断する際に用いる第2閾値βの何れか一つ以上を高く設定する旨の制御命令を立体物検出部33,37へ送出する。先述したように、第1閾値αは、図23のステップS7において、差分波形DWのピークを判断するためのである。閾値θは、図29のステップS29における各注目点Paの属性の連続性cの総和を正規化した値を判断する閾値であり、第2閾値βは、図30のステップ34におけるエッジ線の量を評価する閾値である。なお、制御部39は、閾値を上げる代わりに、閾値によって評価される出力値を下げる制御命令を生成し、立体物検出部33、37に出力してもよい。他の処理は、図35に示すものと同じである。
 また、図37に示すように、制御部39は、ステップ42において検出された立体物が虚像であると判断された場合には、ステップS52に進み、検出領域A1,A2の輝度が所定値以上であるか否かを判断する。検出領域A1,A2の輝度が所定値以上である場合にはステップS53に進み、図36のステップS51の閾値をさらに上げる制御命令を生成し、立体物検出部33、37に出力してもよい。なお、制御部39は、閾値を上げる代わりに、閾値によって評価される出力値をさらに下げる制御命令を生成し、立体物検出部33、37に出力してもよい。他の処理は、図35に示すものと同じである。
 さらに、図38に示すように、制御部39は、ステップ42において検出された立体物が虚像であると判断された場合には、ステップS54に進み、自車両の移動速度が所定値未満であるか否かを判断する。自車両の移動速度が所定値未満である場合にはステップS55に進み、図36のステップS51の閾値をさらに上げる制御命令を生成し、立体物検出部33、37に出力してもよい。なお、制御部39は、閾値を上げる代わりに、閾値によって評価される出力値をさらに下げる制御命令を生成し、他の処理は、図35に示すものと同じである。
 なお、出力値を低くする場合には、制御部39は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図23のステップS5において生成される差分波形DWの縦軸の値である。同様に、制御部39は、検出したエッジ情報の量を低く出力する制御命令を立体物検出部37に出力することができる。検出したエッジ情報の量とは、図29のステップS29における各注目点Paの属性の連続性cの総和を正規化した値、又は図30のステップ34におけるエッジ線の量である。制御部39は、前回の処理で検出された立体物が虚像であると判断された場合には、検出領域A1,A2に水膜が形成されていると判断できるため、次回の処理においては立体物が検出されにくいように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更する制御命令を立体物検出部37に出力することができる。
 図39には、さらに他の処理例を示す。制御部39は、ステップ42において検出された立体物が虚像であると判断された場合には、ステップS61に進み、相対移動速度を評価するための所定値域を縮小する制御命令を生成し、立体物検出部33,37へ出力する。ちなみに、立体物検出部33,37は、検出された立体物の自車両に対する相対移動速度が所定値域以内である場合には、立体物を他車両などの検出対象として検出結果を立体物判断部34へ送出する。
 図5のステップS130において、アプリ実行部204の他車両認識部204bは、以上説明したような他車両認識処理を実行することができる。
 以上説明した本発明の第1の実施の形態によれば、次のような作用効果を奏する。
(1)車載用周囲環境認識装置100は、カメラ1により取得された撮影画像に基づいて、アプリ実行部204により、車両の周囲を走行している他車両を認識し、車両に対する他車両の相対速度を検出する(ステップS130)。また、映り込み判定部203により、撮影画像に基づいて路面への背景物の映り込みの有無を判定する(ステップS180)。そして、ステップS180で映り込みがあると判定した場合、警報制御部205から警報出力部3への警報出力信号を停止して(ステップS200)、警報出力部3による警報の出力を抑制する。このとき、ステップS130で検出した他車両の相対速度に基づいて、警報抑制調整部206により警報信号の出力の抑制度合いを調整し(ステップS160)、この調整された抑制度合いに応じて警報信号の出力を抑制する。このようにしたので、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。
(2)警報抑制調整部206は、ステップS160において、映り込み判定部203が路面への背景物の映り込みの有無を判定するための条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することができる。具体的には、ステップS180で各領域の特徴量を比較してその相関性により路面への背景物の映り込みの有無を判定する際の基準値を変化させることで、警報抑制度合いの調整を行う。すなわち、車載用周囲環境認識装置100は、領域設定部201により、カメラ1により取得された撮影画像30に、背景領域34a~34fおよび36a~36fと、映り込み領域35a~35fおよび37a~37fとを設定する(ステップS20)。ステップS180において、映り込み判定部203は、撮影画像30のうち背景領域34a~34f、36a~36f内の画像と、撮影画像30のうち映り込み領域35a~35f、37a~37f内の画像とを比較し、その相関性が所定の閾値以上であるか否かを判定することにより、路面への背景物の映り込みの有無を判定する。ステップS160では、他車両の相対速度に応じてこの閾値を変化させる、より具体的には、他車両の相対速度が所定範囲内である場合は閾値を下げることにより、警報抑制度合いの調整を行う。このようにしたので、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS180で背景物の映り込みの有無を判定するための条件を緩和して、警報抑制が行われやすくなるようにすることができる。
(3)警報抑制調整部206はまた、ステップS170で各領域の特徴量を算出する際の条件を変化させることでも、警報抑制度合いの調整を行うことができる。すなわち、車載用周囲環境認識装置100は、特徴量算出部202により、背景領域34a~34f、36a~36f内の画像と、映り込み領域35a~35f、37a~37f内の画像とで、所定の検出条件を満たすエッジをそれぞれ検出し、検出したエッジに応じた特徴量を背景領域34a~34f、36a~36fと映り込み領域35a~35f、37a~37fについてそれぞれ算出する(ステップS170)。ステップS180において、映り込み判定部203は、背景領域34a~34f、36a~36fの特徴量と、映り込み領域35a~35f、37a~37fの特徴量とを比較することにより、路面への背景物の映り込みの有無を判定する。ステップS160では、他車両の相対速度に応じてこの検出条件を変化させる、より具体的には、他車両の相対速度が所定範囲内である場合はエッジ検出条件としての輝度差を下げることにより、警報抑制度合いの調整を行う。このようにしても、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS180で背景物の映り込みの有無を判定するための条件を緩和して、警報抑制が行われやすくなるようにすることができる。
(第2の実施の形態)
 次に、本発明の第2の実施の形態について説明する。上記で説明した第1の実施の形態では、映り込み判定部203から映り込みありの通知を受けると、警報制御部205から警報出力部3に対する警報出力信号の出力を停止することで警報出力を抑制する場合の例を説明した。これに対して、本実施形態では、映り込み判定部203から映り込みありの通知を受けると、アプリ実行部204の他車両認識部204bが実行する他車両認識処理において他車両が認識されづらいようにすることで警報出力を抑制する場合の例を説明する。なお、本実施形態による車載用周囲環境認識装置100の構成や、路面映り込み時の警報抑制に関する制御部2の制御ブロック図は、図1、4にそれぞれ示したものと同じである。そのため、以下ではこれらの説明を省略する。
 図40は、本実施形態において路面映り込み時の警報抑制で実行される処理のフローチャートである。このフローチャートに示す処理は、前述の第1の実施の形態で説明した図5のフローチャートと同様に、アプリケーション(アプリ)の実行中に、制御部2において所定の処理周期ごとに行われる。
 なお、図40のフローチャートでは、図5のフローチャートと同一の処理を行う処理ステップに対して、図5と同じステップ番号を付している。以下では、この図5と同じステップ番号の各処理ステップについての説明は、特に必要のない限り省略する。
 ステップS161において、制御部2は、警報抑制調整部206により、警報抑制度合いの調整を実行する。ここでは、以下の(A)、(B)、(C)のいずれかの方法により、他車両の相対速度が所定範囲内である場合は、そうでない場合と比べて警報抑制が行われやすくなるように、警報抑制の度合いを調整する。
(A)他車両認識条件の変更
 この方法では、次回以降のステップS130の他車両認識処理において、路面への背景物の映り込みがあると判定されたときの他車両認識条件を変更する。すなわち、撮影画像中に設定された検出領域内の画像に基づく画像情報値として差分波形情報を取得し、これを基に前述のような差分波形情報による立体物の検出を実行することで他車両を認識する場合は、差分波形DWから立体物が存在するか否かを判断するための閾値、具体的には図23のステップS7の判定に用いられる第1閾値αの値を大きくする。また、撮影画像中に設定された検出領域内の画像に基づく画像情報値としてエッジ情報を取得し、これを基に前述のようなエッジ情報による立体物の検出を実行することで他車両を認識する場合は、注目線がエッジ線であるか否かを判断するための閾値、具体的には数式3の閾値θの値を大きくする。これらの閾値の調整により、他車両認識条件を変更することができる。
 あるいは、上記のような立体物の検出条件としての閾値の調整を行う代わりに、画像情報値を取得する際の条件を変更してもよい。すなわち、撮影画像中に設定された検出領域内の画像に基づく画像情報値として差分波形情報を取得し、これを基に前述のような差分波形情報による立体物の検出を実行することで他車両を認識する場合は、差分波形DWの生成に用いられる差分画像PDを得るための閾値、具体的には図16(b)で説明した閾値pの値を大きくする。また、撮影画像中に設定された検出領域内の画像に基づく画像情報値としてエッジ情報を取得し、これを基に前述のようなエッジ情報による立体物の検出を実行することで他車両を認識する場合は、注目点を属性付けするための閾値、具体的には数式1の閾値tの値を大きくする。これらの閾値の調整によっても、他車両認識条件を変更することができる。
 以上説明したような方法により、ステップS130で他車両を認識するための条件を厳しくすることで、他車両が認識されにくいようにして警報出力の抑制の度合いを高めることができる。これにより、他車両の相対速度が所定範囲内である場合は、そうでない場合と比べて警報抑制が行われやすくなるように、警報抑制の度合いを調整する。なお、上述した立体物の検出条件としての閾値の調整と、画像情報値の取得条件としての閾値の調整とは、いずれか一方のみを行ってもよいし、両方を同時に行ってもよい。
(B)映り込み判定条件の変更
 この方法では、前述の第1の実施形態で説明したのと同様の手法を用いて、ステップS180で路面への背景物の映り込みの有無を判定するための条件を変更する。すなわち、図6の背景領域34a~34fと映り込み領域35a~35f、および背景領域36a~36fと映り込み領域37a~37fの各領域間での画像の相関性を判断するための閾値を下げる。または、背景領域34a~34fおよび36a~36f、映り込み領域35a~35fおよび37a~37fの各領域に対するエッジ検出条件の輝度差を下げる。
 以上説明したような方法により、ステップS180で路面への背景物の映り込みの有無を判定するための条件を緩和することで、映り込みありとの判定結果が得られやすいようにして警報出力の抑制の度合いを高めることができる。これにより、他車両の相対速度が所定範囲内である場合は、そうでない場合と比べて警報抑制が行われやすくなるように、警報抑制の度合いを調整する。なお、上述した相関性に対する閾値の調整と、エッジ検出条件の調整とは、いずれか一方のみを行ってもよいし、両方を同時に行ってもよい。
(C)警報抑制期間の延長
 この方法では、路面への背景物の映り込みがないと判定された場合に警報抑制期間を延長する。すなわち、ステップS180の映り込み判定において、路面への背景物の映り込みがないと判定され、その後に映り込みなしと判定された場合に、映り込みなしとの判定結果が得られた後にも延長して警報の抑制を行うようにする。これにより、他車両の相対速度が所定範囲内である場合は、そうでない場合と比べて警報抑制が行われやすくなるように、警報抑制の度合いを調整する。なお、警報抑制を延長する期間は、背景物の映り込みなしと判定されてから他車両の相対速度が所定範囲内であることが継続している期間としてもよいし、所定時間または自車両が所定距離走行するまでの期間としてもよい。
 ステップS161では、以上説明した(A)~(C)のいずれか少なくとも1つの方法を用いて、警報抑制の度合いを調整することができる。なお、(A)~(C)の各方法はそれぞれ単独で採用してもよいし、複数を任意に組み合わせてもよい。
 ステップS190において、制御部2は、第1の実施の形態で説明した図5のフローチャートと同様に、ステップS180の映り込み判定の結果から、路面への背景物の映り込みの有無を判定する。車両の左後方および右後方のいずれか少なくとも一方において路面への背景物の映り込みがあるとステップS180で判定した場合は、ステップS190からステップS210へ進む。一方、車両の左右後方のいずれにおいても路面への背景物の映り込みがないとステップS180で判定した場合は、ステップS190からステップS220へ進む。
 ステップS190からステップS210へ進んだ場合、制御部2はステップS210において、次回以降のステップS130の他車両認識処理に対して閾値Th1を採用する。一方、ステップS190からステップS220へ進んだ場合、制御部2はステップS220において、次回以降のステップS130の他車両認識処理に対して閾値Th0を採用する。ここで、Th1>Th0である。ステップS210またはS220を実行したら、制御部2は図40のフローチャートを終了する。
 なお、上記の閾値Th1およびTh0は、前述のステップS161において(A)の方法で用いられる立体物の検出条件としての閾値に相当するものである。すなわち、撮影画像中に設定された検出領域内の画像に基づく画像情報値として差分波形情報を取得し、これを基に前述のような差分波形情報による立体物の検出を実行することで他車両を認識する場合は、図23のステップS7の判定に用いられる第1閾値αとして、Th1またはTh0いずれかの値を採用する。また、撮影画像中に設定された検出領域内の画像に基づく画像情報値としてエッジ情報を取得し、これを基に前述のようなエッジ情報による立体物の検出を実行することで他車両を認識する場合は、数式3の閾値θとして、Th1またはTh0いずれかの値を採用する。
 以上説明したように、ステップS180の映り込み判定で路面への背景物の映り込みがあると判定した場合は、ステップS210において、映り込みがない場合の閾値Th0よりも高い閾値Th1を他車両認識処理での閾値として採用する。こうしてステップS130で他車両を認識するための条件を厳しくすることで、他車両が認識されにくいようにして警報出力を抑制することができる。なお、ステップS161で上記(A)の方法を用いる場合は、他車両の相対速度が所定範囲内であるときに、この路面への背景物の映り込みがあると判定されたときの閾値Th1を上げるか、または路面への背景物の映り込みがあると判定されたときの画像情報値の取得条件を厳しくすることで、警報出力がさらに抑制される。
 図41~図45は、以上説明したような本実施形態の車載用周囲環境認識装置100によって得られる誤警報の低減効果を説明するための図である。これらの図では、図41(a)~図45(a)にそれぞれ示す他車両の相対速度が第1の実施の形態で説明した図12と同様に変化するものとして、警報抑制調整部206が行う警報出力の抑制度合いの調整により警報出力部3からの警報の出力タイミングがどのように変化するかをそれぞれ例示している。
 図41および図42は、図40のステップS161において、前述の(A)~(C)のうち(A)の方法を用いて警報抑制の度合いを調整した場合の例をそれぞれ示している。図41は、立体物の検出条件としての閾値、すなわち前述の第1閾値αまたは閾値θに相当する他車両認識の閾値Th1を調整した場合の例であり、図42は、画像情報値の取得条件としての閾値、すなわち前述の閾値pまたは閾値tを調整した場合の例である。
 図41において、警報抑制調整部206は、路面への背景物の映り込みがあると判定された時刻Tr1から時刻Tr2の期間および時刻Tr3から時刻Tr4の期間では、図41(c)に示すように、他車両を認識するための閾値をTh0からTh1に変更することで警報出力を抑制する。さらに時刻Tr3から時刻Tr4の期間では、他車両の相対速度が所定範囲内であるため、閾値Th1を上げることで警報出力の抑制度合いの調整を実行する。なお、図41(c)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の閾値Th1を示している。
 上記のようにして警報出力の抑制度合いを調整し、他車両を認識するための条件を厳しくすることにより、アプリ実行部204の他車両認識部204bでは他車両が認識されづらくなる。その結果、たとえば図41(c)に示すように、他車両が認識され始めるタイミングは、画像情報値50が調整前の閾値Th1を超える時刻To3から、映り込み無しと判定されて警報出力の抑制が終了される時刻Tr4へと変更される。なお、画像情報値50が閾値Th0を下回って他車両の認識が終了するタイミングについては、時刻To4のままで変更されない。これにより図41(d)に示すように、警報出力される期間が時刻Tr4から時刻To4までの期間に短縮される。なお、図41(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、上記の期間に加えて時刻To3から時刻Tr4の期間でも警報出力が行われることを示している。
 以上説明したように、他車両の相対速度が所定範囲内であり、かつ映り込みありと判定された時刻Tr3から時刻Tr4の期間では、他車両を認識するための閾値Th1が変更されることで警報出力の抑制度合いが調整される。その結果、時刻To3から時刻Tr4の期間における警報出力を抑制することができる。
 図42において、警報抑制調整部206は、路面への背景物の映り込みがあると判定された時刻Tr1から時刻Tr2の期間および時刻Tr3から時刻Tr4の期間では、図41の場合と同様に、他車両を認識するための閾値をTh0からTh1に変更することで警報出力を抑制する。さらに時刻Tr3から時刻Tr4の期間では、他車両の相対速度が所定範囲内であるため、画像情報値を取得する際の条件を厳しくすることで警報出力の抑制度合いの調整を実行する。
 上記のようにして警報出力の抑制度合いを調整し、他車両を認識するための条件を厳しくすることにより、アプリ実行部204の他車両認識部204bでは、得られる画像情報値50がたとえば図42(c)に示すように減少し、他車両が認識されづらくなる。なお、図42(c)において画像情報値50のうち破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の値を示している。その結果、たとえば図42(c)に示すように、他車両が認識され始めるタイミングは、調整前の画像情報値50が閾値Th1を超える時刻To3から、映り込み無しと判定されて警報出力の抑制が終了される時刻Tr4へと変更される。これにより図42(d)に示すように、警報出力される期間が図41の場合と同様に、時刻Tr4から時刻To4までの期間に短縮される。なお、図42(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、上記の期間に加えて時刻To3から時刻Tr4の期間でも警報出力が行われることを示している。
 以上説明したように、他車両の相対速度が所定範囲内であり、かつ映り込みありと判定された時刻Tr3から時刻Tr4の期間では、他車両を認識するための画像情報値50を取得する際の条件を厳しくすることで警報出力の抑制度合いが調整され、これに応じて画像情報値50が変更される。その結果、時刻To3から時刻Tr4の期間における警報出力を抑制することができる。
 図43は、図40のステップS161において、前述の(A)~(C)のうち(B)の方法を用いて警報抑制の度合いを調整した場合の例を示している。
 図43において、警報抑制調整部206は、第1の実施の形態で説明した図12の場合と同様に、図43(a)に示す他車両の相対速度が所定範囲内である時刻Tv1から時刻Tv2の期間において、路面への背景物の映り込みの有無を判定するための条件を緩和することで警報出力の抑制度合いの調整を実行する。これにより、映り込み判定部203では、映り込み有りとの判定結果が得られやすくなる。その結果、たとえば図43(b)に示すように、映り込み無しと判定されるタイミングが時刻Tr4から時刻Tr4aへと移動され、映り込み有りとの判定結果が得られる期間が延長される。
 上記のようにして映り込み有りとの判定結果が得られる期間が延長されると、それに応じて図43(c)に示すように、警報出力を抑制する期間も同じだけ延長される。すなわち、他車両を認識するための閾値をTh1からTh0に下げるタイミングが、時刻Tr4から時刻Tr4aに変更される。その結果、他車両の認識が終了するタイミングは、警報出力を抑制しない場合の閾値Th0を画像情報値50が下回る時刻To4から、警報出力を抑制した場合の閾値Th1を画像情報値50が下回る時刻To4aへと変更される。なお、画像情報値50が閾値Th1を超えて他車両が認識され始めるタイミングについては、時刻To3のままで変更されない。これにより図43(d)に示すように、警報出力される期間が時刻To3から時刻To4aまでの期間に短縮される。なお、図43(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、上記の期間に加えて時刻To4aから時刻To4の期間でも警報出力が行われることを示している。
 以上説明したように、他車両の相対速度が所定範囲内である時刻Tv1から時刻Tv2の期間では、路面への背景物の映り込みの有無を判定するための条件を緩和することで警報出力の抑制度合いが調整され、これに応じて映り込み有りとの判定結果が得られる期間が延長される。その結果、時刻To4aから時刻To4の期間における警報出力を抑制することができる。
 図44は、図40のステップS161において、前述の(A)~(C)のうち(C)の方法を用いて警報抑制の度合いを調整した場合の例を示している。
 図44において、警報抑制調整部206は、路面への背景物の映り込みがあると判定された時刻Tr1から時刻Tr2の期間および時刻Tr3から時刻Tr4の期間では、図41~43の場合と同様に、他車両を認識するための閾値をTh0からTh1に変更することで警報出力を抑制する。さらに時刻Tr4の後にも、他車両の相対速度が所定範囲内である時刻Tv2まで閾値をTh1とする期間を延長することで警報出力の抑制度合いの調整を実行する。なお、図44(c)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合に閾値をTh1からTh0に下げるタイミングを示している。
 上記のようにして警報出力の抑制度合いを調整することで、他車両を認識するための閾値をTh1からTh0に下げるタイミングが時刻Tr4から時刻Tv2に変更される。その結果、他車両の認識が終了するタイミングは、図43の場合と同様に、警報出力を抑制しない場合の閾値Th0を画像情報値50が下回る時刻To4から、警報出力を抑制した場合の閾値Th1を画像情報値50が下回る時刻To4aへと変更される。これにより図44(d)に示すように、警報出力される期間が時刻To3から時刻To4aまでの期間に短縮される。なお、図44(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、上記の期間に加えて時刻To4aから時刻To4の期間でも警報出力が行われることを示している。
 以上説明したように、路面への背景物の映り込みありとの判定が終了した時刻Tr4から他車両の相対速度が所定範囲内である時刻Tv2の期間では、警報抑制を延長して行うことで警報出力の抑制度合いが調整される。その結果、時刻To4aから時刻To4の期間における警報出力を抑制することができる。
 図45は、図40のステップS161において、前述の(A)~(C)のうち(A)の方法と(C)の方法とを組み合わせて用いて警報抑制の度合いを調整した場合の例を示している。なお、この図45の例では、(A)の方法において、立体物の検出条件としての閾値、すなわち前述の第1閾値αまたは閾値θを調整することとした。
 図45において、警報抑制調整部206は、路面への背景物の映り込みがあると判定された時刻Tr1から時刻Tr2の期間および時刻Tr3から時刻Tr4の期間では、図45(c)に示すように、他車両を認識するための閾値をTh0からTh1に変更することで警報出力を抑制する。また、時刻Tr3から時刻Tr4の期間では、他車両の相対速度が所定範囲内であるため、閾値Th1を上げることで警報出力の抑制度合いの調整を実行する。さらに時刻Tr4の後にも、他車両の相対速度が所定範囲内である時刻Tv2まで閾値をTh1とする期間を延長することで警報出力の抑制度合いの調整を実行する。なお、(c)において破線で示す部分は、時刻Tr3から時刻Tr4の期間で警報出力の抑制度合いの調整を実行しない場合の閾値Th1と、時刻Tr4の後に警報出力の抑制度合いの調整を実行しない場合に閾値をTh1からTh0に下げるタイミングとを示している。
 上記のようにして警報出力の抑制度合いを調整することにより、アプリ実行部204の他車両認識部204bでは他車両が認識されづらくなる。その結果、たとえば図45(c)に示すように、時刻Tr3から時刻Tv2の期間内で画像情報値50が調整後の閾値Th1を超えることがなくなり、他車両が認識されなくなる。これにより図45(d)に示すように、全ての期間で警報が出力されなくなる。すなわち、全ての期間における警報出力を抑制することができる。なお、図45(d)において破線で示す部分は、警報出力の抑制度合いの調整を実行しない場合の警報出力のタイミングであり、時刻To3から時刻To4の期間で警報出力が行われることを示している。
 なお、以上説明した図45では、(A)の方法と(C)の方法とを組み合わせて用いて警報抑制の度合いを調整した場合の例を説明したが、これ以外の組み合わせとしてもよい。たとえば、(A)~(C)全ての方法を組み合わせて用いることもできる。また、誤警報の発生状況等から、(A)~(C)いずれの方法を単独で、または組み合わせて用いるかを判断してもよい。
 以上説明した本発明の第2の実施の形態によれば、次のような作用効果を奏する。
(1)車載用周囲環境認識装置100は、カメラ1により取得された撮影画像に基づいて、アプリ実行部204により、車両の周囲を走行している他車両を認識し、車両に対する他車両の相対速度を検出する(ステップS130)。また、映り込み判定部203により、撮影画像に基づいて路面への背景物の映り込みの有無を判定する(ステップS180)。そして、ステップS180で映り込みがあると判定した場合、閾値Th1を採用して(ステップS210)、警報出力部3による警報の出力を抑制する。このとき、ステップS130で検出した他車両の相対速度に基づいて、警報抑制調整部206により警報信号の出力の抑制度合いを調整し(ステップS161)、この調整された抑制度合いに応じて警報信号の出力を抑制する。このようにしたので、第1の実施の形態と同様に、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。
(2)警報抑制調整部206は、ステップS161において、前述の(A)~(C)のような方法を用いて警報信号の出力の抑制度合いを調整することができる。(B)の方法では、第1の実施の形態と同様に、映り込み判定部203が路面への背景物の映り込みの有無を判定するための条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することができる。すなわち、ステップS180で各領域の特徴量を比較してその相関性により路面への背景物の映り込みの有無を判定する際の相関性の閾値や、ステップS170で各領域の特徴量を算出する際のエッジ検出条件を変化させることにより、警報抑制度合いの調整を行う。このようにしたので、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS180で背景物の映り込みの有無を判定するための条件を緩和して、警報抑制が行われやすくなるようにすることができる。
(3)警報抑制調整部206は、(A)の方法では、アプリ実行部204が他車両を認識するための条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することができる。すなわち、車載用周囲環境認識装置100は、アプリ実行部204により、撮影画像に設定された検出領域内の画像に基づく画像情報値50が所定の閾値Th0またはTh1以上であるか否かを判定することにより、他車両を認識する。ステップS161では、他車両の相対速度に応じてこの閾値を変化させる、より具体的には、他車両の相対速度が所定範囲内である場合は、他車両認識中の閾値Th1をさらに上げることにより、警報抑制度合いの調整を行う。このようにしたので、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS130で他車両を認識するための条件を厳しくして、警報抑制が行われやすくなるようにすることができる。
(4)警報抑制調整部206は、(A)の方法ではまた、アプリ実行部204が他車両を認識するための別の条件を他車両の相対速度に応じて変化させることにより、警報信号の出力の抑制度合いを調整することもできる。すなわち、車載用周囲環境認識装置100は、アプリ実行部204により、撮影画像に設定された検出領域内の画像に基づく画像情報値が所定の取得条件を満たす場合にその画像情報値を検出対象として検出し、検出した画像情報値に基づいて他車両を認識する。ステップS161では、他車両の相対速度に応じてこの検出条件を変化させる、より具体的には、他車両の相対速度が所定範囲内である場合は、画像情報値の検出条件をより厳しく設定することにより、警報抑制度合いの調整を行う。このようにしたので、上記と同様に、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS130で他車両を認識するための条件を厳しくして、警報抑制が行われやすくなるようにすることができる。
(5)警報抑制調整部206は、(C)の方法では、映り込み判定部203が路面への背景物の映り込みありと判定し、その後に路面への背景物の映り込みなしと判定したときに、他車両の相対速度に応じて警報信号の出力の抑制を延長して行うことにより、警報信号の出力の抑制度合いを調整することができる。より具体的には、他車両の相対速度が所定範囲内であることが継続されている期間または所定時間、警報信号の出力の抑制を延長することにより、警報抑制度合いの調整を行う。このようにしたので、上記と同様に、警報抑制度合いの調整を容易にかつ確実に行うことができる。さらに、ステップS130で他車両を認識するための条件を厳しくして、警報抑制が行われやすくなるようにすることができる。
 なお、以上説明した各実施の形態では、他車両の相対速度が所定範囲内であることを条件に警報抑制度合いの調整を行うこととしたが、他車両の相対速度に対して別の条件を用いてもよい。たとえば、他車両の相対速度の変動(安定性)を確認し、これが所定範囲内であることを条件に警報抑制度合いの調整を行ってもよい。あるいは、これらの条件を組み合わせて用いてもよい。
 また、以上説明した各実施の形態では、カメラ1が車両の後方の路面を撮影するようにしたが、車両の前方の路面を撮影してもよい。車両の周囲の路面を撮影できる限り、カメラ1の撮影範囲をどのように設定しても構わない。
 以上説明した各実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2012年第167603号(2012年7月27日出願)
  1 カメラ
  2 制御部
  3 警報出力部
  4 動作状態報知部
100 車載用周囲環境認識装置
201 領域設定部
202 特徴量算出部
203 映り込み判定部
204 アプリ実行部
205 警報制御部
206 警報抑制調整部

Claims (11)

  1.  車両の周囲の路面を撮影して撮影画像を取得する撮影部と、
     前記撮影部により取得された撮影画像に基づいて、前記車両の周囲を走行している他車両を認識し、前記車両に対する前記他車両の相対速度を検出するアプリ実行部と、
     前記撮影画像に基づいて前記路面への背景物の映り込みの有無を判定する映り込み判定部と、
     前記アプリ実行部による前記他車両の認識結果に基づいて警報信号の出力を制御する警報制御部と、
     前記映り込み判定部により前記路面への背景物の映り込みがあると判定された場合、前記他車両の相対速度に基づいて前記警報信号の出力を抑制する警報抑制調整部と、を備える車載用周囲環境認識装置。
  2.  請求項1に記載の車載用周囲環境認識装置において、
     前記警報抑制調整部は、前記映り込み判定部が前記路面への背景物の映り込みの有無を判定するための条件を前記他車両の相対速度に応じて変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  3.  請求項2に記載の車載用周囲環境認識装置において、
     前記撮影画像に背景領域および映り込み領域を設定する領域設定部を備え、
     前記映り込み判定部は、前記撮影画像のうち前記背景領域内の画像と、前記撮影画像のうち前記映り込み領域内の画像とを比較し、その相関性が所定の閾値以上であるか否かを判定することにより、前記路面への背景物の映り込みの有無を判定し、
     前記警報抑制調整部は、前記他車両の相対速度に応じて前記閾値を変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  4.  請求項2に記載の車載用周囲環境認識装置において、
     前記撮影画像に背景領域および映り込み領域を設定する領域設定部と、
     前記撮影画像のうち前記背景領域内の画像と、前記撮影画像のうち前記映り込み領域内の画像とで、所定の検出条件を満たすエッジをそれぞれ検出し、検出したエッジに応じた特徴量を前記背景領域と前記映り込み領域についてそれぞれ算出する特徴量算出部とを備え、
     前記映り込み判定部は、前記背景領域の特徴量と、前記映り込み領域の特徴量とを比較することにより、前記路面への背景物の映り込みの有無を判定し、
     前記警報抑制調整部は、前記他車両の相対速度に応じて前記検出条件を変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  5.  請求項1に記載の車載用周囲環境認識装置において、
     前記警報抑制調整部は、前記アプリ実行部が前記他車両を認識するための条件を前記他車両の相対速度に応じて変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  6.  請求項5に記載の車載用周囲環境認識装置において、
     前記アプリ実行部は、前記撮影画像に設定された検出領域内の画像に基づく画像情報値が所定の閾値以上であるか否かを判定することにより、前記他車両を認識し、
     前記警報抑制調整部は、前記他車両の相対速度に応じて前記閾値を変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  7.  請求項5に記載の車載用周囲環境認識装置において、
     前記アプリ実行部は、前記撮影画像に設定された検出領域内の画像に基づく画像情報値が所定の検出条件を満たす場合にその画像情報値を検出対象として検出し、検出した画像情報値に基づいて前記他車両を認識し、
     前記警報抑制調整部は、前記他車両の相対速度に応じて前記検出条件を変化させることにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  8.  請求項1に記載の車載用周囲環境認識装置において、
     前記警報抑制調整部は、前記映り込み判定部が前記路面への背景物の映り込みありと判定し、その後に前記路面への背景物の映り込みなしと判定したときに、前記他車両の相対速度に応じて前記警報信号の出力の抑制を延長して行うことにより、前記警報信号の出力の抑制度合いを調整する車載用周囲環境認識装置。
  9.  請求項1乃至8のいずれか一項に記載の車載用周囲環境認識装置において、
     前記警報抑制調整部は、前記他車両の相対速度が所定の速度条件を満たす場合と満たさない場合とで、前記警報信号の出力の抑制度合いを変化させる車載用周囲環境認識装置。
  10.  請求項9に記載の車載用周囲環境認識装置において、
     前記速度条件は、前記他車両の相対速度が所定範囲内であること、および前記他車両の相対速度の変動が所定範囲内であることのいずれか少なくとも一方を含む車載用周囲環境認識装置。
  11.  車両の周囲の路面を撮影して撮影画像を取得する撮影部と、
     前記撮影部により取得された撮影画像に基づいて、前記車両の周囲を走行している他車両を認識するアプリ実行部と、
     前記撮影画像の背景領域と映り込み領域とを区別し、それら領域の画像特徴の相関性に基づいて前記路面への背景物の映り込みの有無を判定する映り込み判定部と、を備え、
     前記映り込み判定部により前記路面への背景物の映り込みがあると判定された場合、前記アプリ実行部による他車両の認識を抑制する車載用周囲環境認識装置。
PCT/JP2013/068935 2012-07-27 2013-07-11 車載用周囲環境認識装置 WO2014017302A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13822459.7A EP2879109B1 (en) 2012-07-27 2013-07-11 Vehicle-mounted surrounding environment recognition device
CN201380039231.7A CN104508722B (zh) 2012-07-27 2013-07-11 车载用周围环境识别装置
JP2014526848A JP6254083B2 (ja) 2012-07-27 2013-07-11 車載用周囲環境認識装置
US14/417,677 US9721460B2 (en) 2012-07-27 2013-07-11 In-vehicle surrounding environment recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012167603 2012-07-27
JP2012-167603 2012-07-27

Publications (1)

Publication Number Publication Date
WO2014017302A1 true WO2014017302A1 (ja) 2014-01-30

Family

ID=49997118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068935 WO2014017302A1 (ja) 2012-07-27 2013-07-11 車載用周囲環境認識装置

Country Status (5)

Country Link
US (1) US9721460B2 (ja)
EP (1) EP2879109B1 (ja)
JP (1) JP6254083B2 (ja)
CN (1) CN104508722B (ja)
WO (1) WO2014017302A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015216462A (ja) * 2014-05-08 2015-12-03 日産自動車株式会社 立体物検出装置
CN113496201A (zh) * 2020-04-06 2021-10-12 丰田自动车株式会社 物体状态识别装置、方法、物体状态识别用计算机程序及控制装置

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460353B2 (en) * 2010-09-16 2016-10-04 California Institute Of Technology Systems and methods for automated water detection using visible sensors
JP5760884B2 (ja) * 2011-09-09 2015-08-12 株式会社デンソー 車両の旋回予測装置
CN105453157A (zh) * 2013-08-01 2016-03-30 本田技研工业株式会社 车辆周围监测装置
EP3105916A1 (en) * 2014-02-13 2016-12-21 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9428194B2 (en) * 2014-12-11 2016-08-30 Toyota Motor Engineering & Manufacturing North America, Inc. Splash condition detection for vehicles
JP6299720B2 (ja) * 2015-10-02 2018-03-28 トヨタ自動車株式会社 物体認識装置及び煙判定方法
KR102374921B1 (ko) * 2015-10-30 2022-03-16 주식회사 만도모빌리티솔루션즈 차량 제어 시스템 및 방법
ITUB20155886A1 (it) * 2015-11-25 2017-05-25 A M General Contractor S P A Rilevatore d?incendio a radiazione infrarossa con funzione composta per ambiente confinato.
JP6580982B2 (ja) * 2015-12-25 2019-09-25 日立建機株式会社 オフロードダンプトラック及び障害物判別装置
US9940530B2 (en) * 2015-12-29 2018-04-10 Thunder Power New Energy Vehicle Development Company Limited Platform for acquiring driver behavior data
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
DE112017000884T5 (de) * 2016-02-18 2018-12-06 Honda Motor Co., Ltd. Fahrzeug-Regel-/Steuervorrichtung, Fahrzeug-Regel-/Steuerverfahren und Fahrzeug-Regel-/Steuerprgramm
JP6629425B2 (ja) * 2016-03-14 2020-01-15 日立建機株式会社 鉱山用作業機械
JP6969072B2 (ja) * 2016-03-14 2021-11-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、およびビークル
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法
CN107886729B (zh) * 2016-09-30 2021-02-23 比亚迪股份有限公司 车辆识别方法、装置及车辆
JP2018092596A (ja) * 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
CN106553655B (zh) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
US10788840B2 (en) * 2016-12-27 2020-09-29 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
US10053088B1 (en) 2017-02-21 2018-08-21 Zoox, Inc. Occupant aware braking system
JP6922297B2 (ja) * 2017-03-21 2021-08-18 三菱自動車工業株式会社 運転支援システム
JP6729463B2 (ja) * 2017-03-23 2020-07-22 いすゞ自動車株式会社 車線逸脱警報装置の制御装置、車両および車線逸脱警報制御方法
US11270589B2 (en) * 2017-08-25 2022-03-08 Nissan Motor Co., Ltd. Surrounding vehicle display method and surrounding vehicle display device
KR102285959B1 (ko) * 2017-11-07 2021-08-05 현대모비스 주식회사 차량용 물체 식별 장치 및 방법
JP6993205B2 (ja) * 2017-12-18 2022-01-13 株式会社Soken 区画線特定装置
US10902625B1 (en) * 2018-01-23 2021-01-26 Apple Inc. Planar surface detection
CN109159667A (zh) 2018-07-28 2019-01-08 上海商汤智能科技有限公司 智能驾驶控制方法和装置、车辆、电子设备、介质、产品
JP7073972B2 (ja) * 2018-08-03 2022-05-24 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
DE102018214959A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Auswertung von Sensordaten mit einer erweiterten Objekterkennung
JP2020095620A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203586B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
WO2020170835A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7157686B2 (ja) * 2019-03-15 2022-10-20 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
FI128495B (en) * 2019-05-21 2020-06-15 Vaisala Oyj Method for calibrating optical surface monitoring system, arrangement, device and computer readable memory
CA3142038A1 (en) * 2019-05-28 2020-12-03 Abhijith PUNNAPPURATH System and method for reflection removal using dual-pixel sensor
KR20190084916A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 주차 위치 알림 장치 및 방법
JP7125239B2 (ja) * 2019-07-31 2022-08-24 トヨタ自動車株式会社 車両の注意喚起装置
JP7397609B2 (ja) * 2019-09-24 2023-12-13 株式会社Subaru 走行環境認識装置
EP3809313A1 (en) * 2019-10-16 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. A vehicle parking finder support system, method and computer program product for determining if a vehicle is at a reference parking location
JP7173062B2 (ja) * 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
JP7358263B2 (ja) * 2020-02-12 2023-10-10 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7138133B2 (ja) * 2020-03-16 2022-09-15 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
US11881033B2 (en) * 2021-03-04 2024-01-23 Nec Corporation Of America Reliable visual markers based on multispectral characteristics
US11900695B2 (en) 2021-03-04 2024-02-13 Nec Corporation Of America Marking and detecting road marks
CN115382797A (zh) * 2022-07-28 2022-11-25 中国电子科技集团公司第二十九研究所 一种利用光学原理的沉头铆钉筛选工具及使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2010036757A (ja) * 2008-08-06 2010-02-18 Fuji Heavy Ind Ltd 車線逸脱防止制御装置
JP2012118874A (ja) * 2010-12-02 2012-06-21 Honda Motor Co Ltd 車両の制御装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021604A1 (fr) * 1996-11-13 1998-05-22 Komatsu Ltd. Vehicule equipe d'un radar a ondes millimetriques
JP3521691B2 (ja) * 1997-07-07 2004-04-19 日産自動車株式会社 車両走行制御装置
JP3945919B2 (ja) 1998-09-22 2007-07-18 株式会社デンソー 走行路検出装置、車両走行制御装置および記録媒体
JP2002240659A (ja) * 2001-02-14 2002-08-28 Nissan Motor Co Ltd 車両周囲の状況を判断する装置
JP2003187228A (ja) * 2001-12-18 2003-07-04 Daihatsu Motor Co Ltd 車両認識装置及び認識方法
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US6969183B2 (en) * 2002-12-27 2005-11-29 Ichikoh Industries, Ltd. Digital lighting apparatus for vehicle, controller for digital lighting apparatus, and control program for digital lighting apparatus
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
DE102005011241A1 (de) * 2005-03-11 2006-09-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kollisionswarnung
JP4674179B2 (ja) 2006-03-30 2011-04-20 株式会社デンソーアイティーラボラトリ 影認識方法及び影境界抽出方法
JP4793094B2 (ja) * 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
JP4912744B2 (ja) 2006-05-19 2012-04-11 富士通テン株式会社 路面状態判定装置及び路面状態判定方法
JP4909217B2 (ja) * 2007-04-16 2012-04-04 本田技研工業株式会社 障害物認識装置
DE102009003697A1 (de) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fahrspurerkennung
CN102762428B (zh) * 2010-02-16 2016-01-06 丰田自动车株式会社 车辆控制装置
JP5387911B2 (ja) * 2010-03-12 2014-01-15 スズキ株式会社 自動変速機の変速制御装置
JP2011232293A (ja) * 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
US9460353B2 (en) 2010-09-16 2016-10-04 California Institute Of Technology Systems and methods for automated water detection using visible sensors
JP2012101755A (ja) * 2010-11-12 2012-05-31 Denso Corp 車速制御システム
KR20120072139A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 차량 검지 장치 및 방법
JP2012141219A (ja) * 2010-12-28 2012-07-26 Pioneer Electronic Corp 傾斜角検出装置、方法、プログラムおよび記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2010036757A (ja) * 2008-08-06 2010-02-18 Fuji Heavy Ind Ltd 車線逸脱防止制御装置
JP2012118874A (ja) * 2010-12-02 2012-06-21 Honda Motor Co Ltd 車両の制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2879109A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015216462A (ja) * 2014-05-08 2015-12-03 日産自動車株式会社 立体物検出装置
CN113496201A (zh) * 2020-04-06 2021-10-12 丰田自动车株式会社 物体状态识别装置、方法、物体状态识别用计算机程序及控制装置
CN113496201B (zh) * 2020-04-06 2024-02-09 丰田自动车株式会社 物体状态识别装置、方法、计算机可读取的记录介质及控制装置

Also Published As

Publication number Publication date
US20150161881A1 (en) 2015-06-11
JPWO2014017302A1 (ja) 2016-07-07
EP2879109B1 (en) 2022-02-09
CN104508722A (zh) 2015-04-08
EP2879109A4 (en) 2016-10-05
CN104508722B (zh) 2016-08-24
JP6254083B2 (ja) 2017-12-27
US9721460B2 (en) 2017-08-01
EP2879109A1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
WO2014017302A1 (ja) 車載用周囲環境認識装置
JP5997276B2 (ja) 立体物検出装置及び異物検出装置
US9349057B2 (en) Three-dimensional object detection device
TWI417207B (zh) Image - based obstacle detection reversing warning system and method
US9591274B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
US9558546B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
JP5776795B2 (ja) 立体物検出装置
US10096124B2 (en) Water droplet detection device, and three-dimensional object detection device using water droplet detection device
JP5874831B2 (ja) 立体物検出装置
JP5794378B2 (ja) 立体物検出装置及び立体物検出方法
JP5871069B2 (ja) 立体物検出装置及び立体物検出方法
JP5783319B2 (ja) 立体物検出装置及び立体物検出方法
JP5835459B2 (ja) 立体物検出装置
JP5817913B2 (ja) 立体物検出装置及び立体物検出方法
JP5768927B2 (ja) 立体物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822459

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526848

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14417677

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013822459

Country of ref document: EP