WO2010061773A1 - カメラ装置 - Google Patents

カメラ装置 Download PDF

Info

Publication number
WO2010061773A1
WO2010061773A1 PCT/JP2009/069613 JP2009069613W WO2010061773A1 WO 2010061773 A1 WO2010061773 A1 WO 2010061773A1 JP 2009069613 W JP2009069613 W JP 2009069613W WO 2010061773 A1 WO2010061773 A1 WO 2010061773A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
dimensional object
vehicle
white line
distance
Prior art date
Application number
PCT/JP2009/069613
Other languages
English (en)
French (fr)
Inventor
健 志磨
未来 樋口
彰二 村松
門司　竜彦
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP09829021.6A priority Critical patent/EP2372669B1/en
Priority to CN200980147715.7A priority patent/CN102227758B/zh
Priority to US13/131,426 priority patent/US20110261168A1/en
Publication of WO2010061773A1 publication Critical patent/WO2010061773A1/ja
Priority to US14/147,688 priority patent/US20140118504A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18145—Cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/16—Curve braking control, e.g. turn control within ABS control algorithm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/02—Driver type; Driving style; Driver adaptive features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2260/00—Interaction of vehicle brake system with other systems
    • B60T2260/08—Coordination of integrated systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a camera device having a plurality of imaging units that image the front side of a traveling road of the host vehicle.
  • the vehicle is equipped with a pre-curve automatic deceleration control device that automatically adjusts the braking force in front of the curve to decelerate the vehicle in order to enter the curve existing in front of the host vehicle road at an appropriate speed. This is effective in preventing road deviation accidents while driving on a curve.
  • Patent Document 1 discloses a technique for detecting a white line on a road from an image captured by an in-vehicle camera and calculating a curvature of a traveling road from the white line.
  • Patent Document 2 discloses a technique for detecting a three-dimensional object such as a guard rail provided along a road edge by an in-vehicle radar and recognizing the shape of a curve ahead of the vehicle. JP 2001-10518 A JP 2001-256600 A
  • Patent Document 2 when there is no solid object at the road edge, the technique described in Patent Document 2 cannot detect the road alignment ahead of the traveling road of the vehicle. Therefore, in the techniques of Patent Document 1 and Patent Document 2, an erroneous determination that a curve does not exist despite the presence of a curve ahead of the host vehicle, or an erroneous determination that a curve exists even though no curve exists.
  • the vehicle control device cannot perform appropriate automatic brake control.
  • the present invention has been made in view of the above points, and its purpose is to be able to estimate the road alignment in front of the traveling road of the own vehicle even in the situation where it is difficult to detect the white line of the road and the road edge solid object, or Another object of the present invention is to provide a camera device that can determine whether or not it is necessary to decelerate the host vehicle by controlling a brake before a curve.
  • the camera device of the present invention made in view of the above problems detects a front three-dimensional object existing near the vanishing point of a traveling road based on images captured by a plurality of imaging units, and based on the detection result, the traveling road The road alignment of a long-distance part of the above is estimated.
  • a forward three-dimensional object near the vanishing point in front of the vehicle is detected, and the road alignment of a long-distance portion of the traveling road is estimated based on the detection result. Even in situations where it is difficult to detect a roadside solid object, automatic deceleration control can be performed before entering a curve that requires brake control.
  • the front three-dimensional object near the vanishing point in front of the vehicle is detected to calculate the distribution of the front three-dimensional object, and the distribution of the front three-dimensional object and the vehicle to the front three-dimensional object are calculated. Since it is determined whether it is necessary to perform brake control of the host vehicle based on the distance and the vehicle speed of the host vehicle, automatic deceleration control can be performed before entering a curve that requires brake control.
  • reference numeral 105 denotes a stereo camera device (camera device) mounted on the vehicle 106.
  • the stereo camera device 105 has a configuration for detecting a three-dimensional object existing in front of the traveling road using the front of the traveling road of the vehicle 106 as an imaging range. A detailed configuration of the stereo camera device 105 will be described later.
  • the stereo camera device 105 is a road such as a white line 103 on the road 102 or a guardrail provided along the road 102 when the vehicle 106 that is the vehicle is traveling on the road 102.
  • the type and three-dimensional position of the front three-dimensional object 104 and the front three-dimensional object 101 existing near the vanishing point in front of the traveling road are detected.
  • the vehicle control device 117 performs automatic brake control based on the estimated value of the curve shape ahead of the vehicle 106 received from the stereo camera device 105 or the determination information on whether automatic brake control is necessary, so that the vehicle 106 is safe. Decelerate so that you can drive in front of the curve.
  • the stereo camera device 105 includes, as its components, a left imaging unit 107 and a right imaging unit 108, a distance information calculation unit 109, a white line detection unit 110, a traveling road surface calculation unit 111, a road edge detection unit 112, and a front three-dimensional object detection unit 114. , A forward curve estimation unit 113 and a brake control determination unit 116.
  • the left imaging unit 107 and the right imaging unit 108 are provided as a pair, and images the front of the vehicle 106, the road 102, the white line 103, a three-dimensional object 104 along the road 102 such as a guardrail, and the road 102 in front.
  • a distant solid object 101 is set as an imaging range.
  • Both the left imaging unit 107 and the right imaging unit 108 are constituted by a lens and a CCD, and those having specifications capable of imaging the imaging range are used.
  • the left imaging unit 107 and the right imaging unit 108 are installed such that a line connecting each other is parallel to the plane of the road 102 and orthogonal to the traveling direction of the vehicle 106.
  • the distance d between the left imaging unit 107 and the right imaging unit 108 is determined by how much distance from the vehicle 106 is the detection range.
  • FIG. 2 is a flowchart showing the contents of processing performed by the distance information calculation unit 109.
  • the distance information calculation unit 109 calculates the presence / absence of the front three-dimensional object 101 and the distance from the vehicle 106 to the front three-dimensional object 101 based on the images captured by the left imaging unit 107 and the right imaging unit 108.
  • the left image input process S201 image data captured by the left imaging unit 107 is received.
  • image data captured by the right imaging unit 108 is received.
  • the left image input process S201 and the right image input process S202 may be performed simultaneously as parallel processes.
  • the left and right two pieces of image data acquired in the left image input process S201 and the right image input process S202 are compared, and a portion where the same object is imaged is specified.
  • the images captured by the left imaging unit 107 and the right imaging unit 108 are respectively left images 902.
  • the right image 903 is obtained.
  • the same object 901 is imaged at the position of the reference numeral 904 in the left image 902, and is imaged at the position of reference numeral 905 in the right image 903, and a shift of d1 occurs in the horizontal direction of the image. Therefore, it is necessary to specify where the object 901 imaged at the position of the reference numeral 904 in the left image 902 is imaged in the right image 903.
  • a method for identifying where the specific object imaged in the left image 902 is imaged in the right image 903 will be described with reference to FIG.
  • the horizontal direction is the u axis 1001
  • the vertical direction is the v axis 1002.
  • An area 1003 is set.
  • the right image 903 is surrounded by (U, v 1 ), (U, v 2 ), (U + (u 2 ⁇ u 1 ), v 1 ), (U + (u 2 ⁇ u 1 ), v 2 ).
  • the correlation value between the image in the search area 1003 and the image in the search area 1004 is compared, and the position (u 4 ,) of the search area 1005 in the right image 903 having the highest correlation with the search area 1003 in the left image 902.
  • (v 1 ), (u 4 , v 2 ), (u 4 + (u 2 ⁇ u 1 ), v 1 ), (u 4 + (u 2 ⁇ u 1 ), v 2 ) It is assumed that the same object 901 as the object being picked up is imaged.
  • each pixel in the search area 1003 corresponds to each pixel in the search area 1005.
  • the search area of the left image 902 is shifted to the position 1006 and the same processing is performed. In this way, the search area of the left image 902 is scanned over the entire left image 902, and corresponding points in the right image 903 are obtained for all the pixels of the left image 902. If no corresponding point is found, there is no corresponding point.
  • the left imaging unit 107 is a camera having a focal length f and an optical axis 1108 composed of a lens 1102 and an imaging surface 1103, and the right imaging unit 108 is a focal length f and an optical axis composed of a lens 1104 and an imaging surface 1105. 1109 cameras.
  • the point 1101 When a point 1101 exists in front of these cameras, the point 1101 is imaged at a point 1106 (distance from the optical axis 1108 to d 2 ) on the imaging surface 1103 of the left imaging unit 107, and in the left image 902, the point 1106 (light the d 4 pixel position) from the axis 1108.
  • 1101 points in the camera front is imaged at point 1107 of the imaging surface 1105 of the right imaging unit 108 (the distance from the optical axis 1109 d 3), d 5 pixels from the right in the image 903 point 1107 (optical axis 1109 Position).
  • the same object 1101 is imaged at the position of d 4 pixels from the optical axis 1108 to the left in the left image 902, and at the position of d 5 from the optical axis 1109 to the right in the right image 903, and the parallax of d 4 + d 5 pixels. Will occur. Therefore, if the distance between the optical axis 1108 of the left imaging unit 107 and the point 1101 is x, the distance D from the stereo camera device 105 to the point 1101 can be obtained by the following equation.
  • d 2 : f x: D
  • a is the size of the image sensor on the imaging surfaces 1103 and 1105.
  • FIG. 12 is an image 902 captured by the left imaging unit 107.
  • the corresponding points of the left and right images 902 and 903 can be obtained for a portion having image characteristics such as the white line 103 and the front three-dimensional object 101 in the image 902.
  • the distance between the white line 103 or the front three-dimensional object 101 and the stereo camera apparatus 105 can be calculated
  • the distance between the pixels 1201, 1202, and 1203 where the white line 103 is captured is x 1 [m], x 2 [m], and x 3 [m].
  • a distance image data obtained by determining distances for all corresponding points (pixels) calculated in the corresponding point calculation processing S203 is referred to as a distance image. For pixels that do not have corresponding points, there is no distance data.
  • this distance image is output and stored in a storage unit (not shown).
  • the process returns to the process S201.
  • the branch process S206 when there is no image input signal from the left imaging unit 107 and the right imaging unit 108, the process waits until the image input signal is input to the distance information calculation unit 109.
  • FIG. 3 is a flowchart showing the contents of processing performed by the white line detection unit 110.
  • the white line detection unit 110 calculates the presence / absence / position / shape of the white line 103 on the road 102 based on the image captured by the left imaging unit 107 or the right imaging unit 108.
  • the image is a gray image.
  • an edge characterizing the white line 103 on the road 102 is extracted from the image 902 input in the left image input process S301.
  • an area processing window 1502 (indicated by a broken line in FIG. 15) is extracted in the left image 902. ) Is set.
  • the processing window 1502 has the horizontal size of the image 902 in the u-axis 1001 direction and the v-axis 1002 direction in the v-axis 1002 direction. A rectangle for several pixels.
  • the gradient of the image luminance in the u-axis direction is calculated, and a portion having a certain luminance gradient or more is extracted as a white line edge.
  • intersection portions 1503, 1504, and 1505 between the processing window 1502 and the white line 103 are extracted as edges of the white line 103.
  • the processing window 1502 is scanned in the v-axis 1002 direction, and a process for extracting a white line edge is performed on the entire image 902.
  • edge direction determination processing S303 the edges of all white lines 103 extracted in the above-described edge extraction processing S302 are grouped, and a group facing the vanishing point direction is determined as a candidate for white line 103.
  • the vanishing point is the optical axis direction of the stereo camera device 105 (1304 in FIG. 13B).
  • the continuity determination process S304 the continuity of each adjacent edge is determined for the white line candidates grouped in the above-described edge direction determination process S303, and a group of consecutive edges is set as a white line candidate.
  • the difference is that both the u coordinate value and the v coordinate value of adjacent edges are small.
  • the edges of the white line candidates grouped in the above-described continuity determination processing S304 are overhead-converted into an xz coordinate system (FIG. 13B) when the vehicle 106 is viewed from above. And among the edges that have undergone overhead conversion, for the left edge of the vehicle 106 (the region where the x value in FIG.
  • the white line detection result output process S306 the equations of the left and right white lines 103 calculated in the above-described white line determination process S305 are output. If the white line 103 cannot be detected until the preprocessing, it is output as no white line.
  • the process returns to the process S301.
  • the process waits until the image input signal is input to the white line detection unit 110.
  • FIG. 4 is a flowchart showing the contents of processing performed by the traveling road surface calculation unit 111.
  • the traveling road surface calculation unit 111 detects the vertical and horizontal inclinations of the road 102 based on information from the white line detection unit 110 and the distance information calculation unit 109.
  • the white line detection result acquisition process S401 the coordinate values of edges that are candidates for the white line 103 (304 in FIG. 3) detected by the continuity determination process (304 in FIG. 3) performed by the white line detection unit 110 of the stereo camera device 105. (Uv coordinate system in FIG. 15) is input.
  • the distance image output in the distance information output process (205 in FIG. 2) performed by the distance information calculation unit 109 of the stereo camera device 105 is input.
  • the coordinate values of the edges that are candidates for the white line 103 acquired in the white line detection result acquisition processing S401 are overlaid on the distance image acquired in the distance information acquisition processing S402. .
  • the distance from the stereo camera device 105 can be acquired for the edge that is a candidate for the white line 103.
  • the traveling road surface calculation process S404 using the information that the white line 103 exists on the road 102, an equation of the traveling road surface indicating the vertical and horizontal inclinations of the road 102 is calculated.
  • the calculation is performed in an xyz space to which an axis y-axis perpendicular to the xz plane in FIG. 13B is added.
  • the traveling road surface calculation result output process S405 the equation of the traveling road surface calculated in the above-described traveling road surface calculation process S404 is output.
  • FIG. 5 is a flowchart showing the contents of processing performed by the road edge detection unit 112.
  • the road edge detection unit 112 detects the presence / absence / position / shape of the road edge solid object 104 based on information from the traveling road surface calculation unit 111 and the distance information calculation unit 109.
  • a traveling road surface calculation result output process (S405 in FIG. 4) performed by the traveling road surface calculation unit 111 of the stereo camera device 105 is input.
  • the distance information acquisition process S502 the distance image output in the distance information output process (S205 in FIG. 2) performed by the distance information calculation unit 109 of the stereo camera device 105 is input.
  • the distance image acquired in the distance information acquisition process S502 is compared with the travel road surface acquired in the travel road surface calculation result acquisition process S501.
  • a solid object having a certain height is extracted.
  • three-dimensional objects that are located in the vicinity of a distance that is half the lane width from the optical axis direction and that are directed toward the vanishing point are grouped to be candidates for road-end three-dimensional objects.
  • the continuity of each adjacent three-dimensional object is determined for the road end three-dimensional object grouped in the road end three-dimensional object extraction process S504 described above, and continuous edges are obtained. Is a road edge solid object 104 (see FIG. 1). Regarding the determination of continuity, in the uv coordinate system of FIG. 15, the difference is that both the u coordinate value and the v coordinate value of the adjacent three-dimensional object are small.
  • a process for calculating an equation indicating the presence / absence / position / shape of the road edge solid object 104 is performed.
  • the road end solid object 104 extracted in the above-described three-dimensional object continuity determination process S505 is overhead-converted into an xz coordinate system (FIG. 13B) as seen from above.
  • FIG. 6 is a flowchart showing the contents of processing performed by the front three-dimensional object detection unit 114.
  • the front three-dimensional object detection unit 114 calculates the presence / absence / position of the front three-dimensional object 101 existing near the vanishing point of the road 102 based on the information from the distance information calculation unit 109.
  • the distance image output by the distance information calculation unit 109 of the stereo camera device 105 is input.
  • the distance image is output in the distance information output process S205 of the flowchart (FIG. 2) of the distance information calculation unit 109, and the distance information from the camera device 105 regarding the data captured in each pixel of the image.
  • the distance information from the camera device 105 regarding the data captured in each pixel of the image are listed.
  • the processing window 1305 for detecting the front three-dimensional object 101 is calculated.
  • the processing window 1305 is set near the vanishing point of the travel path 102 and has a rectangular shape.
  • the vanishing point of the travel path 102 is taken as an extension direction of the detected white line 103. If the white line 103 is not detected by the white line detection unit 110, the optical axis direction of the left image 902 obtained by imaging the front of the vehicle 106 is set.
  • the size of the processing window 1305 is such that the forward three-dimensional object 101 in the vanishing point direction of the road 102 enters, and in this embodiment, the length in the u-axis 1001 direction is 1/3 of the horizontal size of the image.
  • the length in the v-axis 1002 direction is set to about 1/5 of the vertical size of the image.
  • the three-dimensional object 101 within the range of the processing window 1305 of FIG. 13A calculated in the above-described front three-dimensional object detection range calculation process S603 is detected.
  • distance data of pixels having the same uv coordinate value is extracted from the distance image acquired in the above-described distance information acquisition processing S601 for all the pixels in the processing window 1305.
  • the preceding vehicle and the oncoming vehicle traveling on the road 102 are removed as noise from the three-dimensional objects detected in the above-described front three-dimensional object detection processing S604.
  • the time-series data of the detected three-dimensional object is extracted, and the relative speed between the detected three-dimensional object and the host vehicle 106 is calculated from the change in the distance data of the three-dimensional object and the change in the speed data of the host vehicle 106.
  • the calculated relative speed is a value approaching the host vehicle 106 and the absolute value of the relative speed is larger than the absolute value of the speed of the host vehicle 106
  • the detected three-dimensional object is removed as an oncoming vehicle.
  • the calculated relative speed is a value that moves away from the host vehicle 106
  • the detected three-dimensional object is removed as a preceding vehicle.
  • FIG. 13B is a diagram in which the left image 902 of FIG. 13A is overhead-view transformed into a coordinate system viewed from above the vehicle 106.
  • the traveling direction of the vehicle 106 is the z axis 1304, and the traveling direction of the vehicle.
  • a vehicle width direction orthogonal to the x-axis 1311 is taken as the vehicle width direction.
  • the distance data (distance from the camera) of each pixel in the processing window 1305 is projected onto the xz plane of FIG.
  • the projected point becomes each point in 1301 of FIG.
  • the distance data of each pixel becomes the z value in the coordinate system of FIG.
  • FIG. 16 is a diagram illustrating a method for obtaining the x value of each pixel.
  • the left imaging unit 107 is a camera having a focal length f and an optical axis z axis 1603, which includes a lens 1102 and an imaging surface 1103, and the z axis 1304 in FIG. 13B and the z axis 1603 in FIG. 16. Matches.
  • the x value of each point in 1301 in FIG. 13B is the same as the x value X 1 of the point 1601 in FIG.
  • the point 1601 is imaged at a position X 2 from the optical axis 1603 of the imaging surface 1602.
  • the D 1 of the FIG. 16 the distance data (z value) of a point 1301 shown in FIG. 13 (b) and are equivalent.
  • the front three-dimensional object 101 in FIG. 13A can be projected onto the coordinate system in FIG. 13B, and the result is the xz coordinate value of each point in 1301.
  • FIG. 7 is a flowchart showing the contents of processing performed by the forward curve estimation unit 113.
  • the forward curve estimation unit (road alignment estimation unit) 113 estimates the shape of the curve ahead of the vehicle (road alignment) based on information from the white line detection unit 110 and the road edge detection unit 112.
  • the white line detection result acquisition process S701 data regarding the position and shape of the white line 103 ahead of the vehicle 106 output in the white line detection result output process S306 (FIG. 3) of the white line detection unit 110 is received.
  • the road edge detection result acquisition process S702 the data regarding the position and shape of the road edge solid object 104 along the road 102 in front of the vehicle 106 output in the road edge detection result output process S507 of the road edge detection unit 112. Receive.
  • the short distance road alignment calculation processing S703 the short distance that is the portion of the road 102 that is close to the vehicle 106 using the data acquired in the white line detection result acquisition processing S701 and the road edge detection result acquisition processing S702 described above. Calculate the road alignment of the part.
  • the road alignment of the short distance portion is calculated only with the white line detection result.
  • the road alignment of the short distance portion is calculated only from the road edge detection result. If neither the white line detection result nor the road edge detection result exists, the process proceeds to the next without performing this process.
  • FIG. 17 is a view of the vehicle 106 and the road 102 as viewed from above, and is expressed in the xz coordinate system, as in FIG. 13B.
  • reference numerals 1701 and 1702 in FIG. 17 are white line detection results.
  • a combination of these straight line equations 1705 and curved line equations 1706 is the road alignment of the short distance portion.
  • the road alignment in the short distance portion is only the straight line equation 1705.
  • the road alignment in the short distance portion is only the curve equation 1706.
  • the white line detection result 1704 in FIG. 17 when the white line 1704 paired with the white lines 1701 and 1702 is also detected at the same time, it is output together. Further, in this processing, when the road alignment formula in the short distance portion includes a portion of z ⁇ z 05 (a portion far from the vehicle 106), the portion of z ⁇ z 05 is deleted and output.
  • z 05 is a reliable limit point for the white line detection result from the reliability of the white line detection result, the history of the white line detection result history, and the like.
  • the coordinate values (x 04 , z 04 ) of the point 1703 farthest from the vehicle 106 are also output regarding the calculated road alignment.
  • FIG. 18 is a view of the vehicle 106 and the road 102 as viewed from above, and is expressed in the xz coordinate system as in FIG. 13B.
  • 1801 and 1802 are white line detection results
  • 1803 is a road edge detection result.
  • the white line detection results 1801 and 1802 are the same as those in FIG. 17 described above, and the white line detection result 1801 is a part that can be expressed by a straight line, and the white line detection result 1802 is a part that can be expressed by a curve. There may be either one.
  • the road line alignment in the short distance portion is output by combining the equations of the white line detection results 1801 and 1802 and the road detection result 1803.
  • the road alignment formula in the short distance portion includes a portion of z ⁇ z 05 (a portion far from the vehicle 106)
  • the portion of z ⁇ z 05 is deleted.
  • the coordinate values (x 08 , z 08 ) of the point 1806 farthest from the calculated road alignment vehicle 106 are also output.
  • front three-dimensional object distribution information acquisition process S705 data related to the distribution of the front three-dimensional object 101 output by the front three-dimensional object distribution information output process S606 (FIG. 6) of the front three-dimensional object detection unit 114 is received.
  • points 1307 and 1308 are the farthest points (1703 in FIG. 17 and 1806 in FIG. 18) that are the farthest from the short-distance road alignment vehicle 106 calculated in the above-described short-distance road alignment calculation processing S703. ).
  • the long-distance road alignment is estimated.
  • the coordinates of the end points (1309, 1310) of the line segment 1306 are output.
  • equations are calculated for a curve connecting the farthest point 1307 and the end point 1309, a curve connecting the farthest point 1307 and the end point 1310, a curve connecting the farthest point 1308 and the end point 1309, and a curve connecting the farthest point 1308 and the end point 1310.
  • the curve equation is a circle equation, and the contact condition with the equations 1702 and 1803 shown in FIGS.
  • FIG. 8 is a flowchart showing the contents of processing performed by the brake control determination unit 116.
  • the brake control determination unit 116 determines whether automatic brake control of the vehicle 106 is necessary based on information from the front three-dimensional object detection unit 114.
  • the front three-dimensional object detection information acquisition process S801 data regarding the front three-dimensional object 101 output by the front three-dimensional object distribution information output process S606 (FIG. 6) of the front three-dimensional object detection unit 114 is received.
  • brake control learning data 115 is input in learning data acquisition processing S802.
  • This learning data includes the distribution of the front three-dimensional object acquired in the above-described front three-dimensional object detection information acquisition process S801 (the equation of the line segment 1306 in FIG. 13B), and the front three-dimensional object from the vehicle 106 (FIG. 13B). ), The relationship between the distance to the line segment 1306), the speed of the vehicle 106, and the brake operation On / Off of the driver of the vehicle 106 is learned.
  • a (t) 1402 is the slope of the segment 1306 in FIG. 13B, which is the output of the distribution of the front three-dimensional object
  • D (t) 1403 is shown in FIG.
  • the distance from the vehicle 106 to the line segment 1306, S (t) 1404 is the speed of the vehicle 106
  • B (t) 1401 is the probability of On / Off of the brake operation performed by the driver (driver) of the vehicle 106.
  • a (t + 1), D (t + 1), S (t + 1), and B (t + 1) are time series data of A (t), D (t), S (t), and B (t), respectively. . That is, in the dynamic Bayesian network, B (t) corresponds to “state”, and A (t), D (t), and S (t) correspond to “observed value”.
  • the prior probabilities are respectively P (B (t + 1)
  • These prior probabilities are created in advance as brake control learning data 115 before the apparatus is installed in a product. In addition, after the device is installed in the product, the content of the brake control learning data 115 can be updated based on the history data of the driver's manual brake operation.
  • a probability B (t) relating to whether or not the driver of the vehicle 106 may perform brake control manually is calculated.
  • this probability B (t) When the value of this probability B (t) is higher than a preset reference value, the driver of the vehicle 106 may perform a brake operation in the state of the observed values A (t), D (t), and S (t). Therefore, it is better to perform automatic brake control.
  • the vehicle control device 117 performs automatic brake control for controlling the brake before the curve to decelerate the host vehicle, and receives data from the forward curve estimation unit 113 and the brake control determination unit 116 of the stereo camera device 105. To do.
  • the content of the data to be received is data relating to the alignment of the curve ahead of the vehicle 106 from the forward curve estimation unit 113, and is output in the forward curve information output process S707 in the flowchart of FIG.
  • the data received from the brake control determination unit 116 is probability data regarding whether or not the vehicle 106 needs to perform automatic brake control, and is output in the brake control determination output process S804 in the flowchart of FIG.
  • the CPU of the vehicle control device 117 transmits a signal indicating whether or not to perform automatic brake control to an actuator of a brake device (not shown) based on data from these stereo camera devices 105.
  • both the forward curve estimation unit 113 and the brake control determination unit 116 it is determined based on the data of the forward curve estimation unit 113 whether to perform automatic brake control. When either one of the data is present, the determination is made based on the received data. If there is no data from either, automatic brake control is not executed.
  • the stereo camera device 105 based on the detection result of the front three-dimensional object 101 by the front three-dimensional object detection unit 114, the road alignment of the long-distance portion of the road 102 or the long-distance portion and the short-distance portion of the road 102 is obtained. Road alignment can be estimated. Therefore, automatic deceleration control can be performed before entering the curve requiring brake control, without being affected by the situation where it is difficult to detect the white line 103 or the road edge solid object 104 or the presence or absence thereof.
  • the vehicle control device 117 automatically brakes before entering the curve requiring the brake control. Control can be performed.
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
  • the case of a guard rail has been described as an example of the road end three-dimensional object 104.
  • a sidewalk provided between the road 102 and the road via a step portion is detected as a road end three-dimensional object. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Regulating Braking Force (AREA)

Abstract

　道路の白線や道路端立体物の検出が難しい状況においても、自車前方の道路線形を推定でき、又は、カーブの手前でブレーキを制御して自車を減速させる必要があるか否かを判定できるカメラ装置を提供する。 　自車１０６の走行道路前方を撮像する複数の撮像部１０７、１０８を有するカメラ装置１０５は、複数の撮像部１０７、１０８により撮像した画像に基づいて走行道路１０２の消失点付近に存在する前方立体物１０１を検出する前方立体物検出部１１４と、前方立体物検出部１１４により検出した検出結果に基づいて、走行道路１０２のうちの遠距離部分の道路線形を推定する道路線形推定部１１３を有する。

Description

カメラ装置
　本発明は、自車の走行道路前方を撮像する複数の撮像部を有するカメラ装置に関するものである。
　車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、車両の操舵、アクセル、ブレーキを自動制御し、危険な事象を回避する装置に関して研究開発が行われており、一部の車両には既に搭載されている。
　その中でも、自車走行道路の前方に存在するカーブに適切な速度で進入するために、カーブの手前で制動力を自動的に調整して車両を減速させるカーブ前自動減速制御装置を車両に搭載することは、カーブ走行中の道路逸脱事故を防止するのに有効である。
　カーブ前自動減速制御を実現する方法の一つとして、カーブの線形（形状）を検出する方法がある。車載カメラで撮像した画像から道路の白線を検出し、その白線から走行路の曲率を演算する技術が特許文献１に記載されている。また、道路端に沿って設けられたガードレール等の立体物を車載レーダで検出し、自車前方のカーブの形状を認識する技術が特許文献２に記載されている。
特開２００１－１０５１８号公報 特開２００１－２５６６００号公報
　しかしながら、特許文献１に記載された技術では、自車走行道路に白線が存在しない場合や、かすれ等により白線を認識することが難しい場合に、自車の走行道路前方の道路形状を検出することはできない。また、走行速度が高速の場合には、より遠方のカーブの形状、すなわち、走行道路のうちの遠距離部分の道路線形を把握する必要があるが、車載カメラで撮像した画像から遠方の白線の曲率を高精度に検出することは困難である。
　また、道路端に立体物が存在しない場合には、特許文献２に記載された技術では、自車の走行道路前方の道路線形を検出することはできない。従って、特許文献１及び特許文献２の技術では、自車前方にカーブが存在するにも関わらずカーブが存在しないとの誤判定や、カーブが存在しないにも関わらずカーブが存在するとの誤判定がなされるおそれがあり、車両制御装置によって適切な自動ブレーキ制御を行うことができない。
　本発明は、上記した点に鑑みてなされたものであり、その目的は、道路の白線や道路端立体物の検出が難しい状況においても、自車の走行道路前方の道路線形を推定でき、又は、カーブの手前でブレーキを制御して自車を減速させる必要があるか否かを判定できるカメラ装置を提供することにある。
　上記した課題に鑑みてなされた本発明のカメラ装置は、複数の撮像部により撮像した画像に基づいて走行道路の消失点付近に存在する前方立体物を検出し、その検出結果に基づいて走行道路のうちの遠距離部分の道路線形を推定することを特徴とする。
　本発明のカメラ装置によれば、車両前方の消失点付近の前方立体物を検出し、その検出結果に基づいて走行道路のうちの遠距離部分の道路線形を推定するので、走行道路の白線や道路端立体物の検出が難しい状況においても、ブレーキ制御が必要なカーブに進入する手前で自動減速制御を行うことができる。
　また、本発明のカメラ装置によれば、車両前方の消失点付近の前方立体物を検出して前方立体物の分布を算出し、その前方立体物の分布と、自車から前方立体物までの距離と、自車の車速とに基づいて自車のブレーキ制御を行う必要があるか否かを判定するので、ブレーキ制御が必要なカーブに進入する手前で、自動減速制御を行うことができる。
　本明細書は、本願の優先権の基礎である日本国特許出願2008-304957号の明細書及び／または図面に記載されている内容を包含する。
本実施の形態の概要を説明する図。 距離情報算出部で行われる処理の内容を示すフローチャート。 白線検出部で行われる処理の内容を示すフローチャート。 走行路面算出部で行われる処理の内容を示すフローチャート。 道路端検出部で行われる処理の内容を示すフローチャート。 前方立体物検出部で行われる処理の内容を示すフローチャート。 前方カーブ推定部で行われる処理の内容を示すフローチャート。 ブレーキ制御判定部で行われる処理の内容を示すフローチャート。 ステレオカメラ装置における左右画像の対応点に関して説明した図。 左右画像の対応点の求め方を説明する図。 ステレオカメラ装置において視差の算出の仕方を説明する図。 距離画像の内容を説明する図。 前方立体物の分布の求め方を説明する図。 ブレーキ制御判定部にて行われる処理の内容について説明する図。 白線の検出方法について説明する図。 ｕｖ座標系からｘｚ座標系への変換に関して説明する図。 道路線形の算出に関して説明する図。 道路線形の算出に関して説明する図。
１０１…前方立体物、１０２…道路、１０３…白線、１０４…道路端立体物、１０５…ステレオカメラ装置、１０６…車両、１０７…左撮像部、１０８…右撮像部、１０９…距離情報算出部、１１０…白線検出部、１１１…走行路面算出部、１１２…道路端検出部、１１３…前方カーブ推定部（道路線形推定部）、１１４…前方立体物検出部、１１５…ブレーキ制御学習データ、１１６…ブレーキ制御判定部、１１７…車両制御装置
　次に、本発明の実施の形態について図面を用いて以下に詳細に説明する。本実施の形態では、車両１０６に搭載されたステレオカメラ装置１０５の画像を用いて、自車の走行道路前方の道路線形を推定するシステムに適用した場合について説明する。
　まず、図１を用いて本発明の概要を説明する。図１において、符号１０５は、車両１０６に搭載されたステレオカメラ装置（カメラ装置）である。ステレオカメラ装置１０５は、車両１０６の走行道路前方を撮像範囲とし、走行道路前方に存在する立体物を検出する構成を有している。ステレオカメラ装置１０５の詳細な構成については後述する。
　ステレオカメラ装置１０５は、図１に示すように、自車である車両１０６が道路１０２を走行している際に、道路１０２上の白線１０３や、道路１０２に沿って設けられたガードレール等の道路端立体物１０４、走行道路前方の消失点付近に存在する前方立体物１０１に関して、その種類と３次元的な位置を検出する。
　そして、検出結果に基づいて、道路１０２が前方でカーブしているかどうかを判定し、そのカーブの形状の推定値、または、自動ブレーキ制御が必要かどうかの判定情報を、車両１０６に搭載された車両制御装置１１７に伝達する。
　車両制御装置１１７は、ステレオカメラ装置１０５から受信した車両１０６前方のカーブ形状の推定値、または、自動ブレーキ制御が必要かどうかの判定情報に基づき、ブレーキの自動制御を行い、車両１０６が安全に前方のカーブを走行できるように減速させる。
　次に、図１を用いて、ステレオカメラ装置１０５の詳細な構成について以下に説明する。ステレオカメラ装置１０５は、その構成要素として、左撮像部１０７と右撮像部１０８、距離情報算出部１０９、白線検出部１１０、走行路面算出部１１１、道路端検出部１１２、前方立体物検出部１１４、前方カーブ推定部１１３、ブレーキ制御判定部１１６を有している。
　左撮像部１０７と右撮像部１０８は、対をなして設けられており、車両１０６の前方を撮像し、道路１０２、白線１０３、ガードレール等の道路１０２に沿った立体物１０４、道路１０２前方の遠方の立体物１０１を撮像範囲とする。
　左撮像部１０７、右撮像部１０８は、いずれもレンズとＣＣＤから構成されており、上記撮像範囲を撮像できる仕様のものを使用する。左撮像部１０７と右撮像部１０８は、互いを結ぶ線が道路１０２面に平行でかつ車両１０６の進行方向に対して直交する方向となるように設置されている。左撮像部１０７と右撮像部１０８の間の距離ｄは、車両１０６から、どの程度の距離までを検知範囲とするかにより決定する。
　図２は、距離情報算出部１０９にて行われる処理の内容を示すフローチャートである。距離情報算出部１０９は、左撮像部１０７と右撮像部１０８で撮像された各画像に基づいて前方立体物１０１の有無と、車両１０６から前方立体物１０１までの距離を算出する。
　まず、左画像入力処理Ｓ２０１において、左撮像部１０７で撮像した画像データを受信する。次に、右画像入力処理Ｓ２０２において、右撮像部１０８で撮像した画像データを受信する。ここで、左画像入力処理Ｓ２０１と右画像入力処理Ｓ２０２を並列処理として同時に行っても良い。
　次に、対応点算出処理Ｓ２０３において、左画像入力処理Ｓ２０１と右画像入力処理Ｓ２０２で取得した左右２枚の画像データを比較し、同一物体を撮像している部分を特定する。例えば、図９に示したように、道路１０２上にある物体（立体物）９０１をステレオカメラ装置１０５で撮像すると、左撮像部１０７と右撮像部１０８で撮像された画像は、それぞれ左画像９０２、右画像９０３のようになる。
　ここで、同一物体９０１は、左画像９０２では符号９０４の位置に撮像され、右画像９０３では符号９０５の位置に撮像され、画像の横方向にｄ１のずれが発生する。従って、左画像９０２の符号９０４の位置に撮像されている物体９０１が、右画像９０３のどこに撮像されているかを特定する必要がある。
　左画像９０２に撮像されている特定の物体が右画像９０３のどこに撮像されているかを特定する方法について、図１０を用いて説明する。図１０において、左画像９０２、右画像９０３の座標系に関して、横方向をｕ軸１００１、縦方向をｖ軸１００２とする。
　まず、左画像９０２において、ｕｖ座標系で、（ｕ１，ｖ１）、（ｕ１，ｖ２）、（ｕ２，ｖ１）、（ｕ２，ｖ２）で囲まれた矩形のサーチ領域１００３を設定する。次に右画像９０３において、（Ｕ，ｖ１）、（Ｕ，ｖ２）、（Ｕ＋（ｕ２－ｕ１），ｖ１）、（Ｕ＋（ｕ２－ｕ１），ｖ２）で囲まれた矩形のサーチ領域１００４を、Ｕの値をｕ＝０からｕ＝ｕ３まで増加させ、画像の右方向（図１０にて矢印で示す方向）に向かって走査させる。
　そして、サーチ領域１００３内の画像と、サーチ領域１００４内の画像の相関値を比較して、左画像９０２のサーチ領域１００３と相関性が最も高い右画像９０３のサーチ領域１００５の位置（ｕ４，ｖ１）、（ｕ４，ｖ２）、（ｕ４＋（ｕ２－ｕ１），ｖ１）、（ｕ４＋（ｕ２－ｕ１），ｖ２）に、サーチ領域１００４に撮像されている物体と同一物体９０１が撮像されているとする。ここでは、サーチ領域１００３内の各画素と、サーチ領域１００５内の各画素が対応しているとする。
　そして、右画像９０３のサーチ領域１００４を走査した際、相関値がある一定以上の値になる領域が存在しない場合は、左画像９０２のサーチ領域１００３に対応する右画像９０３内の対応点は無しとする。
　次に、左画像９０２のサーチ領域を１００６の位置にずらし、同様の処理を行う。このように左画像９０２のサーチ領域を左画像９０２内全体に走査し、左画像９０２の全画素に対して、右画像９０３内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
　次に図２のフローチャートの距離算出処理Ｓ２０４に関して、その処理の詳細について説明する。この処理では、前述の対応点算出処理Ｓ２０３で求めた、同一物体９０１を撮像している左画像９０２と右画像９０３の対応点に関して、各対応点がステレオカメラ装置１０５からどの程度の距離の位置にあるかを算出する。
　まず、図１１を用いて、左画像９０２と右画像９０３の対応点１１０１のカメラからの距離Ｄを算出する方法を説明する。図１１において、左撮像部１０７は、レンズ１１０２と撮像面１１０３から成る焦点距離ｆ、光軸１１０８のカメラであり、右撮像部１０８は、レンズ１１０４と撮像面１１０５から成る焦点距離ｆ、光軸１１０９のカメラである。
　これらのカメラの前方に点１１０１が存在する場合、点１１０１は、左撮像部１０７の撮像面１１０３の点１１０６（光軸１１０８からｄ２の距離）へ撮像され、左画像９０２では点１１０６（光軸１１０８からｄ４画素の位置）となる。同様に、カメラ前方にある点１１０１は、右撮像部１０８の撮像面１１０５の点１１０７（光軸１１０９からｄ３の距離）に撮像され、右画像９０３では点１１０７（光軸１１０９からｄ５画素の位置）となる。
　このように同一の物体１１０１が、左画像９０２では光軸１１０８から左へｄ４画素の位置、右画像９０３では光軸１１０９から右へｄ５の位置に撮像され、ｄ４＋ｄ５画素の視差が発生する。このため、左撮像部１０７の光軸１１０８と点１１０１との距離をｘとすると、以下の式により、ステレオカメラ装置１０５から点１１０１までの距離Ｄを求めることができる。
　点１１０１と左撮像部との関係からｄ２：ｆ＝ｘ：Ｄ
　点１１０１と右撮像部との関係からｄ３：ｆ＝（ｄ－ｘ）：Ｄ
　従って、Ｄ＝ｆ＊ｄ／（ｄ２＋ｄ３）＝ｆ＊ｄ／｛（ｄ４＋ｄ５）＊ａ｝となる。ここで、ａは撮像面１１０３、１１０５の撮像素子のサイズである。
　以上述べた距離算出を、前述の対応点算出処理Ｓ２０３で算出した対応点の全てに関して実施する。その結果、図１２に示すような距離画像を求めることができる。図１２は、左撮像部１０７にて撮像された画像９０２である。前述の対応点算出処理Ｓ２０３では画像中９０２の中の白線１０３や前方立体物１０１等の画像的な特徴がある部分について、左右画像９０２、９０３の対応点を求めることができる。
　そして、この距離算出処理Ｓ２０４にて、図１２のように、白線１０３や前方立体物１０１とステレオカメラ装置１０５との間の距離を求めることができる。例えば白線１０３が撮像されている画素１２０１、１２０２、１２０３の部分の距離がｘ１［ｍ］、ｘ２［ｍ］、ｘ３［ｍ］となる。このように、対応点算出処理Ｓ２０３で算出した全ての対応点（画素）に関して距離を求めたデータを距離画像と呼ぶこととする。対応点がない画素に関しては、距離データ無しとする。
　そして、図２のフローチャートの距離情報出力処理Ｓ２０５では、この距離画像を出力して図示していない記憶部に保存する。最後に、図２のフローチャートの分岐処理Ｓ２０６において、左撮像部１０７、右撮像部１０８から画像入力信号がある場合は、処理Ｓ２０１に戻る。分岐処理Ｓ２０６において、左撮像部１０７、右撮像部１０８から画像入力信号がない場合は、画像入力信号が距離情報算出部１０９に入力されるまで待機する。
　図３は、白線検出部１１０にて行われる処理の内容を示すフローチャートである。白線検出部１１０は、左撮像部１０７又は右撮像部１０８で撮像した画像に基づいて道路１０２上の白線１０３の有無・位置・形状を算出する。最初に、左画像入力処理Ｓ３０１において、ステレオカメラ装置１０５の左撮像部１０７から車両１０６の前方を撮像した画像を入力する。画像は濃淡画像とする。
　次にエッジ抽出処理Ｓ３０２にて、左画像入力処理Ｓ３０１にて入力した画像９０２の中から、道路１０２上の白線１０３を特徴づけるエッジを抽出する。例えば、図１５に示すように、左撮像部１０７にて撮像された道路１０２上の白線１０３のエッジを抽出するために、左画像９０２において、領域処理ウィンドウ１５０２（図１５にて破線で囲まれる）を設定する。
　左画像９０２の座標系を、画像の横方向をｕ軸１００１、縦方向をｖ軸１００２とした場合に、処理ウィンドウ１５０２は、ｕ軸１００１方向が画像９０２の横のサイズ、ｖ軸１００２方向が数画素分の矩形とする。この処理ウィンドウ１５０２にて、ｕ軸方向の画像輝度の勾配を算出し、輝度勾配がある一定以上の箇所を白線のエッジとして抽出する。
　図１５の画像９０２中では、処理ウィンドウ１５０２と白線１０３の交点部分１５０３、１５０４、１５０５が白線１０３のエッジとして抽出される。処理ウィンドウ１５０２はｖ軸１００２方向に走査させ、画像９０２の全体にて、白線エッジを抽出する処置を行う。
　次にエッジ方向判定処理Ｓ３０３にて、前述のエッジ抽出処理Ｓ３０２にて抽出した全ての白線１０３のエッジをグループ化して、消失点の方向に向いているグループを白線１０３の候補として判定する。ここで消失点は、ステレオカメラ装置１０５の光軸方向（図１３（ｂ）の１３０４）とする。
　次に連続性判定処理Ｓ３０４にて、前述のエッジ方向判定処理Ｓ３０３にてグループ化した白線候補に関して、各隣り合うエッジの連続性を判定して、連続するエッジのグループを白線の候補とする。連続性の判定に関しては、図１５のｕｖ座標系において、隣り合うエッジのｕ座標値とｖ座標値がどちらも差が少ないことを条件とする。
　次に白線判定処理Ｓ３０５にて、前述の連続性判定処理Ｓ３０４にてグループ化した白線候補のエッジを、車両１０６を上から見たｘｚ座標系（図１３（ｂ））に俯瞰変換する。そして、俯瞰変換したエッジのうち、車両１０６の左側のエッジ（図１３（ｂ）のｘ値がマイナスの領域）について、最小二乗法等の手法を用いて、
　直線の方程式（ｚ＝ａ３＊ｘ＋ｂ３または、ｘ＝ｃ３）、
または
　曲線の方程式（ｘ＝ｒ３＊ｃｏｓθ＋ｘ０９、ｚ＝ｒ３＊ｓｉｎθ＋ｚ０９）
に当てはめ、直線の方程式に一致する部分は、白線１０３を直線の方程式として表現し、曲線の方程式に一致する部分は、白線１０３を曲線の方程式として表現する。
　直線、曲線いずれの方程式にも一致しない場合はこれらのエッジのグループは白線ではないと判定する。上記で俯瞰変換したエッジのうち、車両１０６の右側のエッジ（図１３（ｂ）のｘ値がプラスの領域）についても、同様の処理を行う。
　次に白線検出結果出力処理Ｓ３０６にて、前述の白線判定処理Ｓ３０５で算出した左右の白線１０３の方程式を出力する。前処理までで白線１０３を検出できなかった場合は、白線無しとして出力する。
　最後に、図３のフローチャートの分岐処理Ｓ３０７において、左撮像部１０７から画像入力信号がある場合は、処理Ｓ３０１に戻る。分岐処理Ｓ３０７において、左撮像部１０７から画像入力信号がない場合は、画像入力信号が白線検出部１１０に入力されるまで待機する。
　図４は、走行路面算出部１１１にて行われる処理の内容を示すフローチャートである。走行路面算出部１１１は、白線検出部１１０と距離情報算出部１０９からの情報に基づいて道路１０２の上下左右の傾きを検出する。
　まず、白線検出結果取得処理Ｓ４０１にて、ステレオカメラ装置１０５の白線検出部１１０にて行われる連続性判定処理（図３の３０４）にて検出した、白線１０３の候補となるエッジの座標値（図１５のｕｖ座標系）を入力する。
　次に距離情報取得処理Ｓ４０２にて、ステレオカメラ装置１０５の距離情報算出部１０９にて行われる距離情報出力処理（図２の２０５）で出力した距離画像を入力する。
　次に白線・距離情報マッチング処理Ｓ４０３にて、前述の白線検出結果取得処理Ｓ４０１で取得した白線１０３の候補となるエッジの座標値を、前述の距離情報取得処理Ｓ４０２で取得した距離画像上に重ねる。この結果、白線１０３の候補となるエッジに関して、ステレオカメラ装置１０５からの距離を取得することができる。
　次に走行路面算出処理Ｓ４０４にて、白線１０３が道路１０２上に存在する、という情報を用いて、道路１０２の上下左右の傾きを示す走行路面の方程式を算出する。方程式を算出する際は、図１３（ｂ）のｘｚ平面に垂直な軸ｙ軸を追加したｘｙｚ空間にて算出する。最後に、走行路面算出結果出力処理Ｓ４０５にて、前述の走行路面算出処理Ｓ４０４にて算出した走行路面の方程式を出力する。
　図５は道路端検出部１１２にて行われる処理の内容を示すフローチャートである。道路端検出部１１２は、走行路面算出部１１１と距離情報算出部１０９からの情報に基づいて道路端立体物１０４の有無・位置・形状を検出する。
　まず、走行路面算出結果取得処理Ｓ５０１にて、ステレオカメラ装置１０５の走行路面算出部１１１で行われる走行路面算出結果出力処理（図４のＳ４０５）を入力する。次に距離情報取得処理Ｓ５０２にて、ステレオカメラ装置１０５の距離情報算出部１０９にて行われる距離情報出力処理（図２のＳ２０５）で出力した距離画像を入力する。
　次に道路端立体物抽出処理Ｓ５０４にて、前述の距離情報取得処理Ｓ５０２で取得した距離画像と、前述の走行路面算出結果取得処理Ｓ５０１にて取得した走行路面を比較して、走行路面からある一定以上の高さを持つ立体物を抽出する。さらに抽出した立体物の中から、光軸方向から車線幅の半分の距離付近に位置し、消失点の方向に向いている立体物をグルーピングして、道路端立体物の候補とする。
　次に立体物連続性判定処理Ｓ５０５にて、前述の道路端立体物抽出処理Ｓ５０４にてグループ化した道路端立体物の候補に関して、各隣り合う立体物の連続性を判定して、連続するエッジのグループを道路端立体物１０４（図１を参照）とする。連続性の判定に関しては、図１５のｕｖ座標系において、隣り合う立体物のｕ座標値とｖ座標値がどちらも差が少ないことを条件とする。
　次に道路端算出処理Ｓ５０６にて、道路端立体物１０４の有無・位置・形状を示す方程式を算出する処理を行う。ここでは、前述の立体物連続性判定処理Ｓ５０５にて抽出した道路端立体物１０４に関して、車両１０６を上から見たｘｚ座標系（図１３（ｂ））に俯瞰変換する。
　次に、俯瞰変換した立体物情報のうち、車両１０６の左側（図１３（ｂ）でｘ値がマイナスの領域）の道路端立体物１０４について、最小二乗法等の手法を用いて、
　直線の方程式（ｚ＝ａ３＊ｘ＋ｂ３または、ｘ＝ｃ３）、または
　曲線の方程式（ｘ＝ｒ３＊ｃｏｓθ＋ｘ０９、ｚ＝ｒ３＊ｓｉｎθ＋ｚ０９）
に当てはめ、直線の方程式に一致する部分は、道路端立体物１０４を直線の方程式として表現し、曲線の方程式に一致する部分は、道路端立体物１０４を曲線の方程式として表現する。
　直線、曲線いずれの方程式にも一致しない場合、これらは最終的に道路端立体物１０４ではないと判定する。上記で俯瞰変換した道路端立体物１０４のうち、車両１０６の右側（図１３（ｂ）でｘ値がプラスの領域）の道路端立体物１０４についても、同様の処理を行う。最後に、道路端検出結果出力処理Ｓ５０７にて、前述の道路端算出処理Ｓ５０６で算出した道路端立体物１０４の方程式を出力する。
　図６は、前方立体物検出部１１４にて行われる処理の内容を示すフローチャートである。前方立体物検出部１１４は、距離情報算出部１０９からの情報に基づいて道路１０２の消失点付近に存在する前方立体物１０１の有無・位置を算出する。
　まず距離情報取得処理Ｓ６０１にて、ステレオカメラ装置１０５の距離情報算出部１０９が出力した距離画像を入力する。ここで距離画像とは、距離情報算出部１０９のフローチャート（図２）の距離情報出力処理Ｓ２０５で出力したものであり、画像の各画素に撮像されたデータに関して、カメラ装置１０５からの距離情報が記載されている。
　次に前方立体物検出範囲算出処理Ｓ６０３にて、図１３（ａ）に示す車両１０６前方を撮像した左画像９０２（画像の横方向がｕ軸１００１、縦方向がｖ軸１００２）の中で、前方立体物１０１を検出する処理ウィンドウ１３０５の位置を算出する。処理ウィンドウ１３０５は、走行路１０２の消失点付近に設定され、その形状は矩形とされる。
　走行路１０２の消失点は、白線検出部１１０によって白線１０３が検出されている場合には、その検出した白線１０３の延長方向とされる。そして、白線検出部１１０で白線１０３が検出できていない場合は、車両１０６の前方を撮像した左画像９０２の光軸方向とされる。処理ウィンドウ１３０５の大きさは、道路１０２の消失点方向の前方立体物１０１が入る程度の大きさであり、本実施の形態では、ｕ軸１００１方向の長さが画像の横サイズの１／３程度、ｖ軸１００２方向の長さが画像の縦サイズの１／５程度に設定される。
　次に前方立体物検出処理Ｓ６０４にて、前述の前方立体物検出範囲算出処理Ｓ６０３にて算出した図１３（ａ）の処理ウィンドウ１３０５の範囲内の立体物１０１を検出する。そのためには、処理ウィンドウ１３０５内の全画素について、前述の距離情報取得処理Ｓ６０１にて取得した距離画像から、ｕｖ座標値が同じである画素の距離データを抽出する。距離データがない場合は、その画素については距離データ無しとする。
　次に移動物体除去処理Ｓ６０７において、前述の前方立体物検出処理Ｓ６０４で検出した立体物のうち、道路１０２を走行する先行車両、対向車両をノイズとして除去する。そのために、検出した立体物の時系列のデータを抽出し、立体物の距離データの変化と自車両１０６の速度データの変化から、検出した立体物と自車両１０６との相対速度を算出する。算出した相対速度が自車両１０６に近づく値で、かつ、その相対速度の絶対値が自車両１０６の速度の絶対値よりも大きい場合、検出した立体物は対向車両として除去する。また、算出した相対速度が自車両１０６から遠ざかる値の場合、検出した立体物は先行車両として除去する。
　次に前方立体物分布算出処理Ｓ６０５にて、前述の前方立体物検出処理Ｓ６０４にて抽出した図１３（ａ）の処理ウィンドウ１３０５内の距離データに関して、車両１０６を上方から見た座標系上における分布を求める。図１３（ｂ）は、図１３（ａ）の左画像９０２を俯瞰変換して車両１０６の上方から見た座標系にした図であり、車両１０６の進行方向をｚ軸１３０４、車両の進行方向と直交する車幅方向をｘ軸１３１１とする。
　ここで、処理ウィンドウ１３０５内の各画素の距離データ（カメラからの距離）を、図１３（ｂ）のｘｚ平面に投影する。投影した点は、図１３（ｂ）の１３０１内の各点になる。また、各画素の距離データが、図１３（ｂ）の座標系におけるｚ値となる。
　図１６は、各画素のｘ値を求める方法を示す図である。図１６において、左撮像部１０７は、レンズ１１０２と撮像面１１０３からなる、焦点距離ｆ、光軸がｚ軸１６０３のカメラであり、図１３（ｂ）のｚ軸１３０４と図１６のｚ軸１６０３とが一致する。
　また、図１６の撮像面１１０３を含み、ｚ軸１６０３に直交する垂直軸をｘ軸１６０４とすると、図１６のｘ軸１６０４と図１３（ｂ）のｘ軸１３１１とが一致する。そのため、図１３（ｂ）の１３０１内の各点のｘ値は、図１６の点１６０１のｘ値Ｘ１と同じである。ここで、点１６０１が撮像面１６０２の光軸１６０３からＸ２の位置に撮像されるとする。すなわち、撮像面１１０３の撮像素子のサイズのｘ軸１６０４方向のサイズをａとすると、点１６０１は、左画像９０２の光軸１６０３からＸ３＝Ｘ２／ａの画素の位置１６０５に撮像される。ここで、点１６０１とカメラのレンズ１１０２との間の距離をＤ１とすると、
　Ｘ２：ｆ＝Ｘ１：Ｄ１
　の式で表すことができ、従って、
　Ｘ１＝Ｄ１＊Ｘ２／ｆ＝Ｄ１＊Ｘ３＊ａ／ｆ
となる。
　ここで、図１３（ａ）の前方立体物１０１の画像９０２上のｕ軸の値をＵ１、画像９０２のｕ軸方向のサイズをＵ２画素とすると、図１６のＸ３と、図１３（ａ）の｜Ｕ２／２－Ｕ１｜が等価となる。
　また図１６のＤ１と、図１３（ｂ）の１３０１内の点の距離データ（ｚ値）とが等価である。以上により、図１３（ａ）の前方立体物１０１を、図１３（ｂ）の座標系に投影することができ、結果が１３０１内の各点のｘｚ座標値となる。
　次に、図１３（ｂ）のｘｚ座標系に投影した前方立体物１０１の分布１３０１に関して、その形状の方向を算出する。そのために、ｘｚ座標系に投影された前方立体物１０１の各点の近傍を通る線分１３０６を算出する。
　線分１３０６の式をｘｚ座標系でｚ＝ａｘ＋ｂとした場合、前方立体物１０１の分布１３０１内の各点とｚ＝ａｘ＋ｂとの距離の二乗の和が最小になるように、ａとｂを決定する。さらに、１３０１内に分布する各点の存在範囲のｘ値、ｘ１≦ｘ≦ｘ２を抽出する。
　最後に前方立体物分布情報出力処理Ｓ６０６にて、前述の前方立体物分布算出処理Ｓ６０５で算出した式ｚ＝ａｘ＋ｂとｘの範囲ｘ１≦ｘ≦ｘ２を出力して保存する。また、前方立体物検出処理Ｓ６０４で算出した前方立体物１０１に関する各点の距離情報も同時に出力し保存する。
　図７は、前方カーブ推定部１１３にて行われる処理の内容を示すフローチャートである。前方カーブ推定部（道路線形推定部）１１３は、白線検出部１１０や道路端検出部１１２からの情報に基づいて、車両前方のカーブの形状（道路の線形）を推定する。
　まず白線検出結果取得処理Ｓ７０１では、白線検出部１１０の白線検出結果出力処理Ｓ３０６（図３）にて出力された車両１０６前方の白線１０３の位置と形状に関するデータを受信する。次に、道路端検出結果取得処理Ｓ７０２では、道路端検出部１１２の道路端検出結果出力処理Ｓ５０７にて出力された車両１０６前方の道路１０２に沿った道路端立体物１０４の位置と形状に関するデータを受信する。
　次に、近距離道路線形算出処理Ｓ７０３において、前述の白線検出結果取得処理Ｓ７０１と道路端検出結果取得処理Ｓ７０２で取得したデータを用いて、道路１０２のうちの車両１０６に近い部分である近距離部分の道路線形を算出する。
　白線検出結果があり、道路端検出結果がない場合は、白線検出結果のみで近距離部分の道路線形を算出する。また、白線検出結果がなく、道路端検出結果がある場合は、道路端検出結果のみで近距離部分の道路線形を算出する。白線検出結果、道路端検出結果の両方とも無い場合は、本処理は行わずに次へ進む。
　図１７は、車両１０６と道路１０２を上から見た図であり、図１３（ｂ）と同じように、ｘｚ座標系で表現する。ここで、図１７における符号１７０１、１７０２が白線検出結果である。
　白線検出結果１７０１は、直線の方程式１７０５（ｚ＝ａ１＊ｘ＋ｂ１または、ｘ＝ｃ１（ｘ０１≦ｘ≦ｘ０２））で表現できる部分、白線検出結果１７０２は、曲線の方程式１７０６（ｘ＝ｒ１＊ｃｏｓθ＋ｘ０３、ｚ＝ｒ１＊ｓｉｎθ＋ｚ０３（θ０１≦θ≦θ０２）　）で表現できる部分である。
　図１７に示す例の場合、これらの直線の方程式１７０５と曲線の方程式１７０６を合わせたものを、近距離部分の道路線形とする。白線検出結果が直線のみの場合は、近距離部分の道路線形は、直線の方程式１７０５のみとする。また、白線検出結果が曲線のみの場合は、近距離部分の道路線形は、曲線の方程式１７０６のみとする。
　また、図１７の白線検出結果１７０４で示したように、白線１７０１、１７０２とペアになる白線１７０４も同時に検出されている場合は、合わせて出力する。さらに、本処理では、近距離部分の道路線形の式が、ｚ≧ｚ０５の部分を含んでいる場合（車両１０６から遠い部分）は、ｚ≧ｚ０５の部分を削除して出力する。ここでｚ０５は、白線検出結果の信頼度、白線検出結果の履歴の履歴などから、白線検出結果に関して信頼性がある限界点とする。さらに、近距離部分の道路線形を出力する際に、算出した道路線形に関して、車両１０６から一番遠い点１７０３の座標値（ｘ０４、ｚ０４）も出力する。
　一方、白線検出結果と、道路端検出結果の両方がある場合は、白線検出結果と道路端検出結果の両方を用いて、近距離部分の道路線形を算出する。図１８は、車両１０６と道路１０２を上から見た図であり、図１３（ｂ）と同じように、ｘｚ座標系で表現する。ここで、１８０１と１８０２が白線検出結果、１８０３が道路端検出結果である。
　白線検出結果１８０１と１８０２に関しては、前述の図１７と同様で、白線検出結果１８０１が直線で表現できる部分、白線検出結果１８０２が曲線で表現できる部分であり、検出結果によっては、１８０１、１８０２のどちらか一方の場合もある。
　道路検出結果１８０３も、白線検出結果１８０１、１８０２と同様に、直線の方程式１８０４（ｚ＝ａ２＊ｘ＋ｂ２または、ｘ＝ｃ２（ｘ０５≦ｘ≦ｘ０６））、または、曲線の方程式１８０５（ｘ＝ｒ２＊ｃｏｓθ＋ｘ０７、ｚ＝ｒ２＊ｓｉｎθ＋ｚ０７（θ０３　≦θ≦θ０４））で表現される。
　そして本処理では、これらの白線検出結果１８０１、１８０２、道路検出結果１８０３の方程式を合わせて近距離部分の道路線形を出力している。そして、図１７の場合と同様に、近距離部分の道路線形の式が、ｚ≧ｚ０５の部分を含んでいる場合（車両１０６から遠い部分）は、ｚ≧ｚ０５の部分を削除して出力する。さらに、近距離部分の道路線形を出力する際に、算出した道路線形の車両１０６から一番遠い点１８０６の座標値（ｘ０８、ｚ０８）も出力する。
　次に、前方立体物分布情報取得処理Ｓ７０５では、前方立体物検出部１１４の前方立体物分布情報出力処理Ｓ６０６（図６）によって出力された、前方立体物１０１の分布に関するデータを受信する。
　次に、遠距離道路線形推定処理Ｓ７０６では、前述の前方立体物分布情報取得処理Ｓ７０５で取得した情報を用いて、道路１０２のうちの遠距離部分の道路線形を推定する。図１３（ｂ）において、点１３０７、１３０８は、前述の近距離道路線形算出処理Ｓ７０３にて算出した近距離道路線形の車両１０６から一番遠い最遠点（図１７の１７０３、図１８の１８０６）である。
　一方、前方立体物分布情報は、図１３（ｂ）の線分１３０６（式ｚ＝ａｘ＋ｂとｘの範囲ｘ１≦ｘ≦ｘ２）である。これら最遠点１３０７、１３０８、線分１３０６の情報を用いて、遠距離道路線形を推定する。ここでは、まず、線分１３０６の端点（１３０９、１３１０）の座標を出力する。次に最遠点１３０７と端点１３０９を結ぶ曲線、最遠点１３０７と端点１３１０を結ぶ曲線、最遠点１３０８と端点１３０９を結ぶ曲線、最遠点１３０８と端点１３１０を結ぶ曲線の方程式を算出する。曲線の方程式は円の方程式とし、図１７、図１８に示した方程式１７０２、１８０３と接することを拘束条件とする。
　ここで、近距離道路線形算出結果が無い場合、最遠点１３０７の座標値（ｘ０８，ｚ０８）は、車線の標準幅をＬ１とし、ｘ０８＝－Ｌ１／２、ｚ０８＝ｚ０５（前述の近距離道路線形算出処理Ｓ７０３で計算した値）とし、同様に、最遠点１３０８の座標値（ｘ０９，ｚ０９）は、ｘ０９＝Ｌ１／２、ｚ０９＝ｚ０５とする。さらに、方程式１７０２、１８０３に相当するものとして、最遠点１３０７を通る式に関してはｘ＝ｘ０８、最遠点１３０８を通る式に関してはｘ＝ｘ０９とし、近距離道路線形は直線であると仮定して本処理を行う。
　最後に、前方カーブ情報出力処理Ｓ７０８において、前述の近距離道路線形算出処理Ｓ７０３で求めた直線、曲線の方程式のうち、曲線の方程式のみと、遠距離道路線形推定処理Ｓ７０５で求めた曲線の方程式をそれぞれ、車両１０６に搭載されている車両制御装置１１７に出力する。
　図８は、ブレーキ制御判定部１１６で行われる処理の内容を示したフローチャートである。ブレーキ制御判定部１１６は、前方立体物検出部１１４からの情報に基づいて車両１０６の自動ブレーキ制御が必要かどうかを判定する。
　まず、前方立体物検出情報取得処理Ｓ８０１では、前方立体物検出部１１４の前方立体物分布情報出力処理Ｓ６０６（図６）によって出力された、前方立体物１０１に関するデータを受信する。
　次に学習データ取得処理Ｓ８０２にて、ブレーキ制御学習データ１１５を入力する。ここでブレーキ制御学習データ１１５について説明する。この学習データは、前述の前方立体物検出情報取得処理Ｓ８０１で取得した前方立体物の分布（図１３（ｂ）の線分１３０６の方程式）と、車両から１０６から前方立体物（図１３（ｂ）の線分１３０６）までの距離と、車両１０６の速度と、車両１０６のドライバのブレーキ操作Ｏｎ／Ｏｆｆの関係を学習させたものである。
　すなわち、図１４に示したダイナミックベイジアンネットワークにおいて、Ａ（ｔ）１４０２が前方立体物の分布の出力である図１３（ｂ）の線分１３０６の傾き、Ｄ（ｔ）１４０３が図１３（ｂ）の車両１０６から線分１３０６までの距離、Ｓ（ｔ）１４０４が車両１０６の速度、Ｂ（ｔ）１４０１が車両１０６のドライバ（運転手）が行ったブレーキ操作のＯｎ／Ｏｆｆの確率である。
　また、Ａ（ｔ＋１）、Ｄ（ｔ＋１）、Ｓ（ｔ＋１）、Ｂ（ｔ＋１）は、それぞれＡ（ｔ）、Ｄ（ｔ）、Ｓ（ｔ）、Ｂ（ｔ）の時系列のデータである。すなわち、ダイナミックベイジアンネットワークにおいて、Ｂ（ｔ）が「状態」、Ａ（ｔ）、Ｄ（ｔ）、Ｓ（ｔ）が「観測値」に相当する。これらの値を学習させることにより、事前確率をそれぞれ、Ｐ（Ｂ（ｔ＋１）｜Ｂ（ｔ））、Ｐ（Ａ（ｔ）｜Ｂ（ｔ））、Ｐ（Ｄ（ｔ）｜Ｂ（ｔ））、Ｐ（Ｓ（ｔ）｜Ｂ（ｔ））　のように求めることができる。これらの事前確率は、ブレーキ制御学習データ１１５として、本装置を製品に搭載する前に、事前に作成される。また、本装置を製品に搭載後、ドライバの手動ブレーキ操作の履歴データに基づいて、ブレーキ制御学習データ１１５の内容を更新することも可能である。
　次にブレーキ制御確率算出処理Ｓ８０３にて、前述の学習データ取得処理Ｓ８０２で取得したブレーキ制御学習データ１１５と、現在の観測値Ａ（ｔ）、Ｄ（ｔ）、Ｓ（ｔ）を用いて、これらの各観測値の状態において、車両１０６のドライバが手動でブレーキ制御を行う可能性があるかどうかに関する確率Ｂ（ｔ）を算出する。
　この確率Ｂ（ｔ）の値が予め設定された基準値よりも高い場合、車両１０６のドライバが観測値Ａ（ｔ）、Ｄ（ｔ）、Ｓ（ｔ）の状態でブレーキ操作を行う可能性が高いということになり、自動ブレーキ制御を行ったほうが良いということになる。
　最後に、ブレーキ制御判定出力処理Ｓ８０４において、前述ブレーキ制御確率算出処理Ｓ８０３で計算した自動ブレーキ制御を行ったほうが良いかどうかの判定を、ブレーキＯｎ／Ｏｆｆ確率Ｂ（ｔ）の形式で、車両１０６に搭載された車両制御装置１１７に出力する。
　次に、車両１０６に搭載された車両制御装置１１７で行われる処理について説明する。車両制御装置１１７は、カーブの手前でブレーキを制御して自車を減速させる自動ブレーキ制御を行うものであり、ステレオカメラ装置１０５の前方カーブ推定部１１３とブレーキ制御判定部１１６からのデータを受信する。
　受信するデータの内容は、前方カーブ推定部１１３からは、車両１０６前方のカーブの線形に関するデータであり、図７のフローチャートの前方カーブ情報出力処理Ｓ７０７にて出力される。一方、ブレーキ制御判定部１１６から受信するデータは、車両１０６が自動ブレーキ制御を行う必要があるかどうかに関する確率データであり、図８のフローチャートのブレーキ制御判定出力処理Ｓ８０４にて出力される。
　車両制御装置１１７が持つＣＰＵは、これらのステレオカメラ装置１０５からのデータに基づき、自動ブレーキ制御を行うかどうかの信号を、図示していないブレーキ装置のアクチュエータに送信する。
　前方カーブ推定部１１３とブレーキ制御判定部１１６の両方のデータがある場合は、前方カーブ推定部１１３のデータに基づき、自動ブレーキ制御を行うかどうかが判断される。どちらか片方のデータがある場合は、受信したデータに基づき判断される。どちらからもデータがない場合は、自動ブレーキ制御は実行されない。
　上記したステレオカメラ装置１０５によれば、前方立体物検出部１１４による前方立体物１０１の検出結果に基づいて、道路１０２の遠距離部分の道路線形、もしくは道路１０２の遠距離部分と近距離部分の道路線形を推定することができる。従って、白線１０３や道路端立体物１０４の検出が難しい状況、あるいはその有無に影響を受けることなく、ブレーキ制御が必要なカーブに進入する手前で自動減速制御を行うことができる。
　また、前方立体物検出部１１４による前方立体物１０１の検出結果に基づいてブレーキ制御を行うか否かを判断するので、車両制御装置１１７では、ブレーキ制御が必要なカーブに進入する手前で自動ブレーキ制御を行うことができる。
　本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、道路端立体物１０４の例としてガードレールの場合を説明したが、道路１０２との間に段差部を介して設けられた歩道を道路端立体物として検出してもよい。

Claims (7)

  1. 　自車の走行道路前方を撮像する複数の撮像部を有するカメラ装置において、
    　前記複数の撮像部により撮像した画像に基づいて前記走行道路の消失点付近に存在する前方立体物を検出する前方立体物検出部と、
    　該前方立体物検出部により検出した検出結果に基づいて、前記走行道路のうちの遠距離部分の道路線形を推定する道路線形推定部と、を有することを特徴とするカメラ装置。
  2. 　前記前方立体物検出部は、前記前方立体物を検出し、該検出した前方立体物の分布を算出し、
    　前記道路線形推定部は、前記前方立体物検出部により算出した前記前方立体部の分布に基づいて前記遠距離部分の道路線形を推定することを特徴とする請求項１に記載のカメラ装置。
  3. 　前記走行道路の白線を検出する白線検出部を備え、
    　前記道路線形推定部は、前記白線検出部により検出した検出結果に基づいて前記走行道路のうちの近距離部分の道路線形を推定することを特徴とする請求項１又は２に記載のカメラ装置。
  4. 　前記走行道路の道路端に沿って配置された道路端立体物を検出する道路端検出部を備え、
    　前記道路線形推定部は、前記道路端検出部により検出した検出結果に基づいて前記走行道路のうちの近距離部分の道路線形を推定することを特徴とする請求項１又は２に記載のカメラ装置。
  5. 　前記走行道路の白線を検出する白線検出部と、
    　前記走行道路の道路端に沿って配置された道路端立体物を検出する道路端検出部を備え、
    　前記道路線形推定部は、前記白線検出部により検出した検出結果と、前記道路端検出部により検出した検出結果の少なくとも一方に基づいて、前記走行道路のうちの近距離部分の道路線形を推定することを特徴とする請求項１又は２に記載のカメラ装置。
  6. 　自車の走行道路前方を撮像する複数の撮像部を有するカメラ装置において、
    　前記複数の撮像部により撮像した画像に基づいて前記走行道路の消失点付近に存在する前方立体物を検出し、前記前方立体物の分布を算出する前方立体物検出部と、
    　該前方立体物検出部により算出した前記前方立体物の分布及び前記自車から前記前方立体物までの距離及び前記自車の車速に基づいて前記自車のブレーキ制御を行う必要があるか否かを判定するブレーキ制御判定部を有することを特徴とするカメラ装置。
  7. 　前記前方立体物の分布及び前記自車から前記前方立体物までの距離及び前記自車の車速及び車両運転者のブレーキ操作の関係を予め学習させたブレーキ制御学習データを有し、
    　前記ブレーキ制御判定部は、前記ブレーキ制御学習データと、前記前方立体物の分布及び前記自車から前記前方立体物までの距離及び前記自車の車速の各観測値に基づいて、前記車両運転者がブレーキ制御を行う可能性があるかどうかに関する確率を算出し、該確率が予め設定された基準値よりも高い場合には、前記ブレーキ制御を行う必要があると判定することを特徴とする請求項６に記載のカメラ装置。
PCT/JP2009/069613 2008-11-28 2009-11-19 カメラ装置 WO2010061773A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09829021.6A EP2372669B1 (en) 2008-11-28 2009-11-19 Camera device
CN200980147715.7A CN102227758B (zh) 2008-11-28 2009-11-19 摄像装置
US13/131,426 US20110261168A1 (en) 2008-11-28 2009-11-19 Camera Device
US14/147,688 US20140118504A1 (en) 2008-11-28 2014-01-06 Camera device with three-dimensional object ahead detection unit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-304957 2008-11-28
JP2008304957A JP5074365B2 (ja) 2008-11-28 2008-11-28 カメラ装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/131,426 A-371-Of-International US20110261168A1 (en) 2008-11-28 2009-11-19 Camera Device
US14/147,688 Continuation US20140118504A1 (en) 2008-11-28 2014-01-06 Camera device with three-dimensional object ahead detection unit

Publications (1)

Publication Number Publication Date
WO2010061773A1 true WO2010061773A1 (ja) 2010-06-03

Family

ID=42225649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/069613 WO2010061773A1 (ja) 2008-11-28 2009-11-19 カメラ装置

Country Status (5)

Country Link
US (2) US20110261168A1 (ja)
EP (1) EP2372669B1 (ja)
JP (1) JP5074365B2 (ja)
CN (1) CN102227758B (ja)
WO (1) WO2010061773A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9409554B2 (en) * 2011-07-19 2016-08-09 Continental Teves Ag & Co. Ohg Method for improving the driving stability
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
JP5916444B2 (ja) * 2012-03-08 2016-05-11 日立建機株式会社 鉱山用車両
JP5492242B2 (ja) * 2012-03-29 2014-05-14 富士重工業株式会社 車両用運転支援装置
SE537647C2 (sv) * 2012-03-29 2015-09-08 Scania Cv Ab Förfarande och system för bedömning av förarbeteende vid bromsning av fordon
JP5930806B2 (ja) * 2012-03-30 2016-06-08 富士通テン株式会社 検知装置、及び検知方法
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP2014026396A (ja) * 2012-07-25 2014-02-06 Ricoh Co Ltd 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
DE102012215322A1 (de) * 2012-08-29 2014-03-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
EP2747055B1 (en) * 2012-12-21 2016-05-04 Mikael Bäckström Method and system for generating a driver support product for a racing driver
JP5949955B2 (ja) * 2013-01-25 2016-07-13 トヨタ自動車株式会社 道路環境認識システム
US8897548B2 (en) * 2013-04-02 2014-11-25 National Chung Cheng University Low-complexity method of converting image/video into 3D from 2D
CN104331873A (zh) * 2013-07-22 2015-02-04 浙江大学 一种从单幅图像检测道路的方法
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
DE102015200182A1 (de) * 2015-01-09 2016-07-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion einer Durchfahrt eines Kraftfahrzeuges durch ein Verkehrszeichentor
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JP6607764B2 (ja) * 2015-11-04 2019-11-20 日立オートモティブシステムズ株式会社 撮像装置
JP6726052B2 (ja) * 2015-11-20 2020-07-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法およびプログラム
KR102502451B1 (ko) 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
CN107305688B (zh) * 2016-04-15 2020-10-27 株式会社理光 检测道路消失点的方法、装置和系统
US20170309181A1 (en) * 2016-04-26 2017-10-26 Hyundai Motor Company Apparatus for recognizing following vehicle and method thereof
US10832061B2 (en) 2016-07-22 2020-11-10 Hitachi Automotive Systems, Ltd. Traveling road boundary estimation apparatus and traveling assistance system using same
CN106407893B (zh) * 2016-08-29 2019-11-22 东软集团股份有限公司 一种检测车道线的方法、装置和设备
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP6841553B2 (ja) * 2016-12-26 2021-03-10 日立Astemo株式会社 撮像装置
JP6757273B2 (ja) 2017-02-16 2020-09-16 日立オートモティブシステムズ株式会社 車載制御装置
CN110462682B (zh) * 2017-03-30 2023-05-02 三菱电机株式会社 物体检测装置以及车辆
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
JP7053211B2 (ja) * 2017-10-04 2022-04-12 株式会社Soken 運転支援装置
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
CN109543636B (zh) * 2018-11-29 2020-12-15 连尚（新昌）网络科技有限公司 一种用于检测道路急弯的方法与设备
KR20200113915A (ko) * 2019-03-27 2020-10-07 주식회사 만도 차량 제어 장치 및 방법
JP7359715B2 (ja) 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
KR20230046838A (ko) 2021-09-30 2023-04-06 코스맥스 주식회사 아크릴레이트계 공중합체를 포함하는 메이크업용 화장료 조성물

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2001010518A (ja) 1999-06-25 2001-01-16 Honda Motor Co Ltd 車両用操舵制御装置
JP2001256600A (ja) 2000-03-09 2001-09-21 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2008304957A (ja) 2007-06-05 2008-12-18 Renesas Technology Corp 生産計画調整システムおよび生産計画調整方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JP4230124B2 (ja) * 2001-04-20 2009-02-25 富士重工業株式会社 車両運動制御装置
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981734A (ja) * 1995-09-08 1997-03-28 Mitsubishi Electric Corp 画像処理装置
JPH11213138A (ja) * 1998-01-30 1999-08-06 Fuji Heavy Ind Ltd 車外監視装置
JP2001010518A (ja) 1999-06-25 2001-01-16 Honda Motor Co Ltd 車両用操舵制御装置
JP2001256600A (ja) 2000-03-09 2001-09-21 Denso Corp 車両用道路形状認識方法及び装置、記録媒体
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2008304957A (ja) 2007-06-05 2008-12-18 Renesas Technology Corp 生産計画調整システムおよび生産計画調整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2372669A4

Also Published As

Publication number Publication date
CN102227758A (zh) 2011-10-26
US20110261168A1 (en) 2011-10-27
US20140118504A1 (en) 2014-05-01
EP2372669A1 (en) 2011-10-05
JP2010128949A (ja) 2010-06-10
EP2372669B1 (en) 2020-08-19
EP2372669A4 (en) 2013-10-30
CN102227758B (zh) 2015-02-25
JP5074365B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5074365B2 (ja) カメラ装置
JP5325765B2 (ja) 路肩検出装置及び路肩検出装置を用いた車両
JP6440411B2 (ja) 物体検出装置
JP6407626B2 (ja) 物体認識装置及び車両制御システム
US8363896B2 (en) White road line recognition device for vehicle
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
US8477997B2 (en) White road line recognition device for vehicle
US11302020B2 (en) Stereo camera device
JP5202741B2 (ja) 分岐路進入判定装置
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
CN111712415A (zh) 用于在变换车道时检测机动车辆与位于同所述车辆相邻的行车道中的第二物体之间的碰撞风险的系统和方法
JP3961584B2 (ja) 区画線検出装置
JP5056861B2 (ja) 測距装置
JP5097681B2 (ja) 地物位置認識装置
CN109522779B (zh) 图像处理装置
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
JP5717416B2 (ja) 運転支援制御装置
JP2007286873A (ja) 車載周辺他車検出装置
JP5266539B2 (ja) 測距装置
JP6057660B2 (ja) 車線監視システム及び車線監視方法
JP2020027057A (ja) ステレオカメラ装置
CN110871808A (zh) 车外环境识别装置及车外环境识别方法
JP2004220281A (ja) 障害物検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980147715.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09829021

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009829021

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13131426

Country of ref document: US