WO2007007906A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2007007906A1
WO2007007906A1 PCT/JP2006/314207 JP2006314207W WO2007007906A1 WO 2007007906 A1 WO2007007906 A1 WO 2007007906A1 JP 2006314207 W JP2006314207 W JP 2006314207W WO 2007007906 A1 WO2007007906 A1 WO 2007007906A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
detection
distance
detection device
object detection
Prior art date
Application number
PCT/JP2006/314207
Other languages
English (en)
French (fr)
Inventor
Tatsuya Shiraishi
Yasuhiro Takagi
Jun Tsuchida
Original Assignee
Toyota Jidosha Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Jidosha Kabushiki Kaisha filed Critical Toyota Jidosha Kabushiki Kaisha
Priority to EP06781214A priority Critical patent/EP1909064A1/en
Priority to US11/995,145 priority patent/US20090122136A1/en
Publication of WO2007007906A1 publication Critical patent/WO2007007906A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02Control of vehicle driving stability
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present invention relates to an on-vehicle object detection device that detects an equivalent distance to an object (such as a distance itself or a parallax corresponding to the distance).
  • Patent Document 1 An object detection device that detects the distance to an object using parallax based on a plurality of input images, that is, a pair of images that are usually called stereo images, is known in Japan. 2 0 0 1— 2 No. 7 2 2 1 0 (hereinafter referred to as “Patent Document 1”) also discloses the disclosure. In such an object detection device, deviations in parallax (distance equivalent) may occur due to changes over time.
  • an object of the present invention is to provide an object detection device capable of accurately correcting the distance equivalent amount online.
  • the invention according to claim 1 is a vehicle-mounted object detection device that detects an equivalent distance to an object, a first detection unit that detects an equivalent distance to the object, and a distance to the object.
  • Second detection means for detecting a substantial amount on a detection principle different from that of the first detection means; determination means for determining whether the first detection means and the second detection means have detected the same object; and the same object And determining means for determining whether or not to use the distance equivalent amount detected by the second detection means for evaluation of the detection error of the distance equivalent amount detected by the first detection means. It is characterized by that.
  • the distance equivalent amount is compared by using only the data that can be estimated that the distance can be correctly measured out of the data that can detect the same object. Unnecessary conditions ⁇ Even if it is not judged by the device, it is possible to judge the deviation accurately and correct the abnormality judgment and deviation.
  • the invention according to claim 2 is characterized in that, in the object detection device according to claim 1, it is determined that the determination means is used for evaluation when the detection frequency of the same object of the second detection means is high.
  • the object detection device of claim 2 if the detection frequency is high, it is possible to correct the abnormality determination-deviation.
  • the invention described in claim 3 is the object detection device according to claim 1, wherein the determination means
  • each detection means since each detection means has a defensive range, the distance detection accuracy in the defensive range can be improved.
  • the invention according to claim 4 is the object detection device according to claim 1, wherein the predetermined range is set.
  • the invention according to claim 5 is the object detection device according to claim 1, wherein the vehicle travels A running stable state judging means for judging whether or not the state is a stable running state is provided, and judging means force is judged to be used for evaluation when judged to be a stable running state.
  • an accurate determination can be made by determining when the vehicle is in a stable running state.
  • the invention according to claim 6 is the object detection device according to claim 5, wherein the traveling stable state determining means determines that the vehicle is in a stable traveling state when the vehicle is stopped or traveling at a high speed. . .
  • data at the time of (vehicle speed O k mZ h) or (40 km / h or more) is used.
  • O k mZ h vehicle speed
  • O k m /! From ⁇ 40 km / h, there is a possibility that the detected object may be lost or moved to the edge of the screen, for example, traveling in the city or changing the course at an intersection, and the object may not be detected stably. Not used because there are.
  • the vehicle speed is 40 km / h or higher, it is highly probable that the situation will continue for a while, so it can be used as data to detect abnormalities and correct deviations. It becomes ability.
  • the invention according to claim 7 is the object detection device according to claim 5, wherein the traveling stable state determining means determines that the vehicle is traveling on a straight road or a flat road as a stable traveling state. It is said.
  • the invention described in claim 8 is the object detection device according to claim 5, wherein the traveling stable state determining means determines that the vehicle is not in a stable traveling state while traveling in an urban area.
  • the object detection device of claim 8 it is possible to obtain only stable data when the vehicle is not traveling by using the detection result when the vehicle is traveling in a city where the detection accuracy is inferior. Become. Claims 5, 7, and 8 may be determined using external information such as navigation information. Further, even when the acceleration / deceleration of the vehicle is large, it may be determined that the vehicle is not in a stable running state.
  • the invention according to claim 9 is the object detection apparatus according to claim 1, wherein the first detection means or the second detection means detects a relative lateral position that is a lateral position of the object with respect to the vehicle, and the determination means includes: It is characterized in that it is determined to be used for evaluation when the relative lateral position of the same object is within a predetermined range.
  • the relative lateral position is shifted, and at the end of the detection range, the detection accuracy is inferior, so the data is not adopted, so that the abnormality determination / misalignment correction can be performed. It becomes possible.
  • the invention according to claim 10 is the object detection device according to claim 1, wherein the determination means determines whether to use the evaluation based on the weather or brightness of the traveling environment of the vehicle.
  • An object detection device is the object detection device according to claim 1, wherein the determination means determines whether to use the evaluation based on the weather or brightness of the traveling environment of the vehicle.
  • the object detection device of claim 10 when the weather is rainy or dark, the detection accuracy is low and the data is not used, so that it is possible to correct the abnormality determination ⁇ misalignment.
  • the invention described in claim 11 is the object detection device according to any one of claims 1 to 10, wherein it is determined that there is a deviation in the distance equivalent amount detected by the first and second detection means.
  • the object detection apparatus corrects the distance equivalent amount of the first detection means based on the distance equivalent amount of the second detection means.
  • the object detection device of claim 11 it is possible to correct the abnormality determination ⁇ deviation by correcting the detection result of the other detection means by the detection result of the one detection means. It becomes possible. In addition, if it is determined that there is a deviation, the user may be notified of the abnormality.
  • the invention described in claim 12 is the object detection device according to any one of claims 1 to 11, wherein the first detection means is an image ranging sensor using images of a plurality of imaging means. And an object detection device characterized in that the second detection means is a millimeter wave ranging sensor using millimeter waves.
  • the result of the parallax of the stereo force mela varies depending on the mounting, and the required mounting accuracy is poor and easily misaligned.
  • the millimeter wave can calculate the correct distance more stably than a stereo camera. Therefore, based on the detection result of millimeter waves, it is possible to perform abnormality determination ⁇ correction of the detection result of the stereo camera. Note that the judgments and judgments of claims 2 to 10 are independent judgments, and they may be combined arbitrarily.
  • FIG. 1 is a vehicle configuration diagram equipped with an embodiment of the object detection device of the present invention.
  • Fig. 2 is a flowchart of the correction control (first half).
  • Fig. 3 is a flowchart (second half) of the correction control.
  • Figure 4 shows the data distribution when the difference between the detection distance by the stereo camera and the detection distance by the millimeter wave sensor is plotted on the vertical axis, and the distance L between the detected object and the vehicle is plotted on the horizontal axis.
  • FIG. 5 is a diagram in which the vertical axis in FIG. 4 is converted into parallax (number of pixels) in a stereo image.
  • the object detection device of this embodiment is mounted on a vehicle 1 as shown in FIG.
  • the object detection device includes an image acquisition unit (imaging means) 2 R and 2 L, a millimeter wave sensor (millimeter wave radar: second detection means) 3, and various filters for images acquired by the imaging means 2 R and 2 L. And a processing unit (determination means / running stable state determination means) for processing the detection result of the millimeter wave sensor 3.
  • the image pickup means 2R and 2L are a pair of CCD cameras (first detection means: image ranging sensor: stereo camera) arranged at regular intervals in the horizontal direction.
  • the processing unit is acquired with CCD cameras 2 R and 2 L.
  • the pair of CCD cameras 2 R and 2 L are embedded in the back of the room mirror inside the vehicle 1.
  • the pair of CCD cameras 2 R and 2 L have the same performance specifications, and their installation interval and focal length are stored in advance in the ROM OM of the object detection E C U 4. If the optical axes of the pair of CGD cameras 2R and 2L are normal, they are installed parallel to the road surface when the vehicle 1 is placed on a flat road. Further, the optical axes of the pair of CCD cameras 2 R and 2 L are parallel to each other in a normal state and also to the center line in the front-rear direction of the vehicle 1.
  • the millimeter wave sensor 3 irradiates a millimeter wave in front of the vehicle 1 and uses the reflected wave to detect the distance from the object in front of the vehicle 1.
  • the object detection EC U4 includes a vehicle speed sensor 5 for detecting the vehicle running state and driving environment, a short sensor 6, an acceleration / deceleration sensor (up and down 'front and rear), and whether or not it is raining.
  • a rain sensor 7 to detect, an illuminance (brightness) sensor 8 to detect the brightness inside and outside the vehicle, a steering angle sensor 9 to detect the steering angle of the steering wheel, and a navigation device 10 are also connected.
  • the rain sensor 7 and the illuminance sensor 8 are connected to the object detection ECU 4 via the external environment detection device 11.
  • the navigation device 10 includes a GP S 12 and is also connected to an external information receiving device 13 that receives external information through communication.
  • the external information receiving device 1 3 is also directly connected to the object detection ECU 4.
  • a front image is acquired by the pair of CCD cameras 2R and 2L. Since the pair of CCD cameras 2 R and 2 L are installed at a predetermined interval, the pair of captured images are not exactly the same image, and so-called parallax with the naked eye is between the two images. There is a corresponding shift (hereinafter this shift is also called parallax). That is, the parallax with respect to a point indicating the same thing in two images (hereinafter, this pair of points is called a corresponding point) is It depends on the direction and distance from the CCD cameras 2R and 2L.
  • the coordinates on the actual three-dimensional space (the corresponding three-dimensional coordinate axis) from the position on the image (coordinates on the two-dimensional coordinate axis: usually one of the left and right images as a reference), parallax, and force That is, the distance from the vehicle 1 can be calculated.
  • a stereo image is acquired by the CCD cameras 2 R and 2 L (step 200).
  • the object detection ECU 4 detects an object (sometimes called a target) (step 205).
  • Object detection using stereo images is as described above.
  • the distance to the object may be calculated as the distance itself, or the parallax corresponding to the distance may be maintained.
  • the millimeter wave sensor 3 scans the front of the vehicle 1 and obtains its output (step 210). Then, based on the output result, the object detection ECU 4 detects the object (step 215). After Steps 205 and 215, the object detected by the CCD cameras 2R and 2L and the object detected by the millimeter wave sensor 3 are identified (confirmed) (Step 220). Also called fusion.
  • the detection results of the CCD camera 2 R, 2 L and the detection result of the millimeter wave sensor 3 for the same object are compared, and the average deviation of the CCD cameras 2 R, 2 L is calculated (step 225) .
  • the vehicle condition means that the state of the vehicle 1 is suitable for the correction, that is, the movement of the vehicle 1 is stable (the state in which object detection can be stably performed for both the stereo image and the millimeter wave). This is the condition to show.
  • the millimeter wave condition is a condition indicating that the distance from the object can be accurately detected by the millimeter wave sensor 3.
  • One of the conditions is whether or not the vehicle 1 has the I lateral position coordinate I and the threshold value Th w . This is because the detection distance accuracy is higher when the vehicle 1 is in front of the vehicle as much as possible.
  • the origin of the lateral position of the vehicle is the center of the lane, and the left and right center of vehicle 1 is the representative point. Vehicle 1 should be in the lane determined by the left and right white lines.
  • the next millimeter wave condition is whether or not the own lane probability> threshold value T hj.
  • the own lane probability (detection frequency) is the position of the object ahead in the own lane and how long it is It indicates whether or not It can be said that the detection accuracy of the millimeter wave sensor 3 increases as the vehicle / line probability increases.
  • the next millimeter wave condition is whether or not the relative velocity I of the object ahead and the threshold value T h R. It can be said that the detection accuracy of the millimeter wave sensor 3 increases as the relative velocity decreases.
  • the next millimeter wave condition is that the sensitivity threshold of the millimeter wave sensor 3 is a high threshold.
  • sensitivity threshold Normally, millimeter-wave sensors use different sensitivity thresholds for detecting reflected light depending on the object: high threshold and low threshold.
  • the high threshold is used when the target detects a highly reflective object such as a vehicle or a steel plate, and the low threshold is used when the target detects a low reflective object such as a pedestrian.
  • one of the millimeter wave conditions is satisfied when the object is detected with high accuracy using a high threshold.
  • the next millimeter wave condition is that the data is not so-called outer data.
  • the front object is detected continuously, but depending on some conditions, it may not be possible to detect only once (or multiple times) of consecutive detections.
  • one (or more) data that could not be detected may be supplemented based on previous and subsequent data.
  • This complement is referred to as the Bund.
  • one of the millimeter-wave conditions is met when the data used for correction is not outer data. If all of the above five conditions are met, the millimeter wave condition is met. If the millimeter wave condition is not met, return to the start of the flowchart in Figure 2.
  • the stereo condition is a condition indicating that the distance from the object can be accurately detected from the stereo image.
  • One of the conditions is whether or not the distance (or distance corresponding to the parallax) detected in step 205 is within a predetermined range [threshold value T h L 2 ⁇ vehicle speed V ⁇ T hu]. If it is too close, the object may appear only on one side of the stereo image, resulting in poor accuracy.
  • the millimeter wave sensor 3 is too close (for example, less than 5 m) and accuracy is not obtained, the condition of this millimeter wave sensor 3 is also included in this stereo condition.
  • Another stereo condition is whether or not the vehicle 1 has the I lateral position coordinate i and the threshold value Th w , as in the above-described millimeter wave condition.
  • the origin of the lateral position of the vehicle is the center of the lane, and the left and right center of vehicle 1 is the representative point. Vehicle 1 should be in the lane determined by the left and right white lines. This is because the detection distance accuracy is higher when the vehicle 1 is in front of the vehicle as much as possible.
  • the stereo condition is met. If the stereo condition is not satisfied, return to the flowchart in Fig. 2.
  • step 240 it is determined whether or not the number of detected data is greater than or equal to a predetermined number of data Th D and the average deviation amount calculated in step 225 is greater than a predetermined threshold Th z (Ste 245).
  • a parallax correction value is obtained (step 250).
  • the vertical axis represents the difference between the distance detected by the stereo cameras 2 R and 2 L and the distance detected by the millimeter wave sensor 3, and the horizontal axis represents the distance L between the detected object and the vehicle 1.
  • Figure 4 shows the distribution. These data are prepared for multiple vehicles 1 (the stereo cameras 2 R and 2 L have different settings due to changes over time, etc.), and the measurement results are plotted on the draft. The data is in the range of 20 [m] ⁇ L ⁇ 40 [m].
  • Fig. 5 shows a diagram in which the vertical axis in Fig. 4 is converted to parallax (number of pixels) in a stereo image.
  • a stereo camera can be used in all ranges (20 [m] ⁇ L ⁇ 40 [m]). It can be seen that the difference between the detected parallax due to 2 R and 2 L and the detection distance due to the millimeter wave sensor 3 falls within a substantially constant range. For example, if the parallax is 2 pixels, the error is small if the distance to the object is short, but the error is large if the distance to the object is long.
  • an average value for all data regarding the parallax is obtained and calculated as a parallax correction value (dotted line in FIG. 5).
  • the detection result of the millimeter wave sensor 3 is more accurate than the stereo cameras 2 R and 2 L. Therefore, this parallax correction value is added to the detection result (parallax: distance equivalent amount) of the stereo cameras 2 R and 2 L (subtracted if the value is negative) to detect the stereo cameras 2 R and 2
  • the result can be corrected (steps 2 5 5).
  • three-dimensional transformation is performed to finally calculate the distance from the object (step 2 60), and this is output (step 2 6 5).
  • the weather or brightness of the traveling environment of the vehicle 1 may be used as a condition. If it is raining (detected by the rain sensor 7), the stereo camera 2R, 2L (or the millimeter wave sensor 3) will have a lower detection accuracy, so correction (evaluation of misalignment) may not be performed. When the brightness of the surroundings of the vehicle 1 is low (detected by the illuminance sensor 8), the detection accuracy of the stereo cameras 2R and 2L may be reduced, and correction may not be performed. Alternatively, when the navigation device 10 can determine that the vehicle 1 is traveling in an urban area, correction (evaluation of deviation) may not be performed. ⁇ This is because the driving condition of the vehicle is difficult to stabilize during city driving.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Processing (AREA)

Abstract

本発明に係る物体検出装置は、物体までの距離相当量(距離自体や、ステレオカメラでの視差など)を検出する車載の物体検出装置において、物体までの距離相当量を検出する第一検出手段2R,2Lと、物体までの距離相当量を第一検出手段2R,2Lとは異なる検出原理で検出する第二検出手段3と、第一検出手段2R,2Lと第二検出手段3が、同一物体を検出したか否かを判断する判断手段4と、同一の物体を検出したと判断した場合に、第二検出手段3が検出した距離相当量を、第一検出手段2R,2Lが検出した距離相当量の検出誤差の評価に用いるか否かを判定する判定手段4とを備えることを特徴としている。

Description

明糸田書
物体検出装置
技術分野
本発明は、 物体までの距離相当量 (距離自体や距離に対応する視差など) を検 出する車載の物体検出装置に関する。
背景技術
複数の入力画像、 即ち通常、 ステレオ画像と呼ばれる一対の画像に基づいて、 視差を利用して物体との距離を検出する物体検出装置が知られており、 日本国特 開 2 0 0 1— 2 7 2 2 1 0号公報 (以下 「特許文献 1」 という) にも開示がある。 こ.のような物体検出装置では、 経年変化などによって視差 (距離相当量) にズレ が生じ得る。 特許文献 1に記載のものでは、 ステレオカメラによってサンプルパ ターンを撮像し、 取得したステレオ画像上の対応点 (ステレオ画像の右画像と左 画像とで同一部分を示す点) の探索で算出した視差と、 サンプルパターンの大き さから算出した距離に基づいて算出した視差とを比較し、 ステレオカメラの視差 ズレを補正する。
発明の開示
しかし、 特許文献 1に記載のものでは、 固定サンプルパターンを用いて、 即ち、 予め大きさやその設置距離が決められたサンプルを用いて補正を行うため、 いわ ゆるオンラインでの補正ができない。 オンラインでの補正とは、 ステレオカメラ の通常使用中に同時に補正を行うことである。 また、 特許文献 1に記載のもので は、 オンライン補正を行ったとしても、 全ての検出結果を用いると、 検出精度が 低いデータが混在する場合には、 正しく裨正することができない。 従って、 本発 明の目的は、 オンラインで正確に距離相当量を補正することの可能な物体検出装 置を提供することにある。
請求項 1に記載の発明は、 物体までの距離相当量を検出する車載の物体検出装 置において、 物体までの距離相当量を検出する第一検出手段と、 物体までの距離 相当量を第一検出手段とは異なる検出原理で検出する第二検出手段と、 第一検出 手段と第二検出手段が、 同一物体を検出したか否かを判断する判断手段と、 同一 の物体を検出したと判断した場合に、 第二検出手段が検出した距離相当量を、 第 一検出手段が検出した距離相当量の検出誤差の評価に用いるか否かを判定する判 定手段とを備えることを特徴としている。
請求項 1に記載の物体検出装置によれば、 同一の物体を検出できたデータのう ち、 正しく距離測定できていると推定できるデータのみを用いて距離相当量を比 較することで、 特別な条件 ·装置で判定しなくても、 正確にズレを判断して、 異 常判定 ·ズレの補正を行うことが可能となる。
請求項 2に記載の発明は、 請求項 1に記載の物体検出装置において、 判定手段 力 第二検出手段の同一物体の検出頻度が高い場合に、 評価に用いると判定する ことを特徴としている。
請求項 2に記載の物体検出装置によれば、 検出頻度が高ければ、 異常判定-ズ レの補正を行うことが可能となる。
請求項 3に記載の発明は、 請求項 1に記載の物体検出装置において、 判定手段
• 力 第一検出手段または第二検出手段の検出した同一物体までの距離相当量が所 定範囲内にある場合に、 評価に用いると判定することを特徴としている。
請求項 3に記載の物体検出装置によれば、 各検出手段には守備範囲があるため、 守備範囲での距離検出精度を向上させることができる。
請求項 4に記載の発明は、 請求項 1に記載の物体検出装置において、 所定範囲
1 距離相当量の近傍または遠方を除外した範囲であることを特徴としている。 請求項 4に記載の物体検出装置によれば、 ステレオカメラセンサの場合は、 2 0 m〜4 O mの範囲のデータのみを用いる。 守備範囲より近傍のデータで補正す ると守備範囲で検出結果がずれ、 守備範囲の遠方ではステレオカメラの検出結果 を用いないので補正する必要がない。
- 請求項 5に記載の発明は、 請求項 1に記載の物体検出装置において、 車両走行 状態が安定走行状態にあるかを判断する走行安定状態判断手段を備え、 判定手段 力 安定走行状態と判定した場合に、 評価に用いると判定することを特徴として いる。
請求項 5に記載の物体検出装置によれば、 安定走行状態時に判定することで正 確な判定を行うことができる。
請求項 6に記載の発明は、 請求項 5に記載の物体検出装置において、 走行安定 状態判断手段が、 車両停車中または高速走行中の場合に、 安定走行状態と判断す ることを特徴としている。 .
請求項 6に記載の物体検出装置によれば、 具体的には、 (車速 O k mZ h ) ま たは ( 4 0 k m/ h以上) の時のデータを用いる。 極低車速では、 物体を安定し て検出できるが、 O k m/!!〜 4 0 k m/ hでは、 例えば市街地走行や交差点で の進路変更、 など、 検出していた物体をロストしたり、 画面の端に移動する可能 性があり、 安定し 物体を検出できないおそれがあるため用いない。 逆に、 車速 が 4 0 k m/ h以上の場合にはしばらくその状態が続く可能性が高いと予想でき るため、 、 データとして採用することで、 異常判定 · ズレの捕正を行うことが可 能となる。
請求項 7に記載の発明は、 請求項 5に記載の物体検出装置において、 走行安定 状態判断手段が、 直線路または平坦路を車両走行中の場合に、 安定走行状態と判 断することを特徴としている。
請求項 7に記載の物体検出装置によれば、 検出精度が劣る検出範囲の端に物体 が移動するおそれが少ないため安定したデータを取得可能となる。
請求項 8に記載の発明は、 請求項 5に記載の物体検出装置において、 走行安定 状態判断手段が、 市街地を車両走行中には安定走行状態にないと判断することを 特徴としている。
請求項 8に記載の物体検出装置によれば、 検出精度が劣る市街地走行時には検 出結果を利用しないことで、 市街地非走行時の安定したデータのみを取得可能と なる。 なお、 請求項 5, 7 , 8は、 ナビ情報など外部の情報を用いて判断しても 良い。 さらに、 車両の加減速度が大きいときも安定走行状態にないと判断しても 良い。
請求項 9に記載の発明は、 請求項 1に記載の物体検出装置において、 第一検出 手段または第二検出手段が、 車両に対する物体の横位置である相対横位置を検出 し、 判定手段が、 同一物体の相対横位置が所定範囲内にある場合に、 評価に用い ると判定することを特徴としている。
請求項 9に記載の物体検出装置によれば、 相対横位置がずれている、 検出範囲 の端では、 検出精度が劣るためデータを採用しないことで、 異常判定 ·ズレの補 正を行うことが可能となる。
請求項 1 0に記載の発明は、 請求項 1に記載の物体検出装置において、 判定手 段が、 車両の走行環境の天候または明るさに基づいて、 評価に用いるかを判定す ることを特徴とする物体検出装置。
請求項 1 0に記載の物体検出装置によれば、 天気が雨、 または、 暗いときには、 検出精度が低いためデータを採用しないことで、 異常判定■ズレの補正を行うこ とが可能となる。
請求項 1 1に記載の発明は、 請求項 1〜 1 0の何れか一項に記載の物体検出装 置において、 第一、 第二検出手段の検出した距離相当量にズレがあると判定した 場合には、 第二検出手段の距離相当量に基づいて第一検出手段の距離相当量を補 正することを特徴とする物体検出装置。
請求項 1 1に記載の物体検出装置によれば、 一方の検出手段の検出結果によつ て他方の検出手段の検出結果を補正することで、 異常判定■ズレの捕正を行うこ とが可能となる。 なお、 ズレがあると判断した場合に異常とユーザーに報知して も良い。
請求項 1 2に記載の発明は、 請求項 1 ~ 1 1の何れか一項に記載の物体検出装 置において、 第一検出手段が、 複数の撮像手段の画像を用いた画像測距センサで あり、 第二検出手段が、 ミリ波を用いたミリ波測距センサであることを特徴とす る物体検出装置。
請求項 1 2に記載の物体検出装置によれば、 ステレオ力メラの視差は取付によ つて結果が異なり、 要求取付精度が悪くてズレやすい。 一方、 ミリ波はステレオ カメラと比較して安定して正しい距離を算出できる。 よってミリ波の検出結果を 元に、 ステレオカメラの検出結果の異常判定■補正を行うことが可能となる。 なお、 請求項 2〜1 0の判断 ·判定は独立した判断であり、 任意に組み合わせ てよい。
図面の簡単な説明
図 1は、 本発明の物体検出装置の一実施形態を搭載した車両構成図である。 図 2は、 補正制御のフローチャート (前半) である。
図 3は、 捕正制御のフローチャート (後半) である。
図 4は、 ステレオカメラによる検出距離とミリ波センサによる検出距離との差 を縦軸、 その被検出物体と車両との距離 Lを横軸にとつた場合のデータ分布であ る。
図 5は、 図 4の縦軸をステレオ画像における視差 (ピクセル数) に変換した図 である。
発明を実施するための最良の形態
以下、 図面を参照しつつ本発明の物体検出装置の一実施形態について説明する。 本実施形態の物体検出装置は、 図 1に示されるように、 車両 1に搭載されている。 物体検出装置は、 画像取得部 (撮像手段) 2 R, 2 Lと、 ミリ波センサ (ミリ波 レーダ:第二検出手段) 3と、 撮像手段 2 R , 2 Lによって取得した画像に各種 フィルタをかけて処理したり、 ミリ波センサ 3の検出結果を処理する処理部 (判 定手段 ·走行安定状態判断手段) とを備えている。 撮像手段 2 R, 2 Lは、 横方 向に一定間隔を設けて配設された一対の C C Dカメラ (第一検出手段:画像測距 センサ:ステレオカメラ) である。 処理部は、 C C Dカメラ 2 R , 2 Lで取得し た一対の入力画像に基づいて各種演算を行うもので、 CPU GPU、 ROM - R AMなどを備えた物体検出 E C U 4である。
一対の CCDカメラ 2 R, 2 Lは、 車両 1の車室内のルームミラー裏側に埋設 されている。 一対の CCDカメラ 2 R, 2 Lは、 同一の性能 '仕様を持ったもの であり、 それらの設置間隔や焦点距離などは予め物体検出 E C U 4内の R OMな どに記憶されている。 一対の CGDカメラ 2R, 2 Lの光軸は、 正常であれば、 車両 1が平坦路上に置かれたときに路面に平行に酉己設されている。 また、 一対の CCDカメラ 2 R, 2 Lの光軸は、 正常時には、 互いに平行で、 かつ、 車両 1の 前後方向中心線に対しても平行である。
ミリ波センサ 3は、 車両 1の前方にミリ波を照射し、 その反射波を利用して車 両 1前方の物体との距離を検出する。 また、 図示されていないが、 物体検出 EC U4には、 車両走行状態や走行環境を検出する車速センサ 5や、 ョーレートセン サ 6、 加減速度センサ (上下 '前後) 、 雨が降っているか否かを検出するレイン センサ 7、 車内外の明るさを検出する照度 (明るさ) センサ 8、 ステアリングホ ィールの操舵角を検出するステアリング角センサ 9や、 ナビゲーシヨン装置 10 も接続されている。 なお、 レインセンサ 7や照度センサ 8は、 外部環境検出装置 11を介して物体検出 ECU 4に接続されている。 さらに、 ナビゲーシヨン装置 10は、 GP S 1 2を備えていると共に、 通信によって外部情報を受信する外部 情報受信装置 1 3とも接続されている。 外部情報受信装置 1 3は物体検出 ECU 4にも直接接続されている。
CCDカメラ 2R, 2 L (ステレオカメラ) による対象物の検出に際しては、 まず、 一対の CCDカメラ 2 R, 2 Lによって前方画像を取得する。 一対の CC Dカメラ 2 R, 2 Lは所定の間隔を置いて設置されているため、 撮像された一対 の画像は全く同じ画像とはならず、 二つの画像間にはいわゆる肉眼での視差に相 当するズレ (以下、 このズレも視差と言う) が生じる。 即ち、 二つの画像上にお いて同一のものを示す点 (以下、 この一対の点を対応点と呼ぶ) に関する視差は、 CCDカメラ 2R, 2 Lからの方向及び距離に応じて異なる。 そこで、 画像上の 位置 (二次元座標軸上の座標:通常左右何れか一方の画像を基準とする) と視差 と力 ら、 実際の三次元空間.(これに対応する三次元座標軸) 上の座標、 即ち、 車 両 1からの距離が算出可能となる。
本実施形態の物体検出装置による CCDカメラ 2 R, 2 Lの経年変化などによ る検出誤差補正制御 (及び、 その後の物体との距離検出制御) について、 図 2及 び図 3のフローチャートを参照しつつ説明する。 まず、 CCDカメラ 2 R, 2 L によってステレオ画像を取得する (ステップ 200) 。 そして、 取得したステレ ォ画像に基づいて、 物体検出 ECU 4において物体 (物標と呼ばれることもあ る) を検出する (ステップ 205) 。 ステレオ画像による物体検出については上 述したとおりである。 このときの物体検出の際に、 物体との距離は距離自体とし て算出しても良いし、 距離と対応する視差のままとしても良い。
ステップ 200, 205と並行して、 ミリ波センサ 3によって車両 1の前方を 走査してその出力を取得する (ステップ 210) 。 そして、 その出力結果に基づ いて、 物体検出 ECU 4において物体を検出する (ステップ 215) 。 ステップ 205, 21 5の後、 CCDカメラ 2R, 2 Lの検出した物体とミリ波センサ 3 によって検出した物体のうち、 同一と思われる物体を特定 (確 する (ステツ プ 220) 。 この工程は、 フュージョンとも呼ばれる。
フュージョンが終了したら、 同一物体に関する CCDカメラ 2 R, 2 Lによる 検出結果とミリ波センサ 3による検出結果とを比較して、 CCDカメラ 2 R, 2 Lの平均ズレ量を算出する (ステップ 225) 。 ステップ 225の後、 まず、 車 両条件が成立しているか否かを判定する (ステップ 230) 。 車両条件とは、 車 両 1の状態が補正を行うのに適した状態、 即ち、 車両 1の動きが安定 (ステレオ 画像及びミリ波の双方に関して物体検出を安定して行える状態) であることを示 す条件である。
具体的には、 車速 (車速センサ 5によって検出) が所定速度にあるか否かが車 両条件の一つとなっている。 ここでは、 車速がゼロであるか、 あるいは、 車両が ある.程度高速である (高車速域であれば運転者によるハンドル操作量が少ないた め) ことを示す所定範囲内 [閾値 ThL1<車速 V<ThH] にあるかどうかであ る。 たとえば、 T hL1 = 40 km/h, T h H= 1◦ 0 k hである。 もう一 つの車両条件は、 Iカーブ R I >閾値 Thcが成立するかである。 カーブ Rは、
CCDカメラ 2 R, 2 Lの取得画像から白線検知して検出したり、 ョーレートセ ンサゃ操舵角センサの検出結果から算出すればよい。 カープ Rが大きければ (車 両 1が直線路を走行中であれば) 、 運転者による操舵操作が少ないためである。 車両条件のもう一つの条件は、 車両 1の Iピッチ変動 Iく閾値 T hPであるこ とである。 ピッチ変動が少ないと言うことは平坦路を走行しているということで あり、 補正に適しているといえる。 車両 1のピッチ変動は、 CCDカメラ 2R, 2 Lの取得画像から白線検知して、 左右の白線の延長線交点位置の上下移動から 検出したり、 ピッチングセンサやサスペンションストロークセンサ、 上下加速度 センサなどの検出結果から算出すればよい。 上述した三つの条件の全てが成立す る場合、 車両条件が成立する。 車両条件が成立しない場合は、 図 2のフローチヤ 一トのスタートに戻る。
一方、 車両条件が成立している場合は、 次に、 ミリ波条件が成立しているか否 かを判定する (ステップ 235) 。 ミリ波条件とは、 ミリ波センサ 3によって物 体との距離を精度良く検出できる状態であることを示す条件である。 その条件の —つは、 車両 1の I横位置座標 Iく閾値 Thwであるか否かである。 できるだけ 車両 1の真正面にいる場合の方が検出距離精度が高いからである。 車両横位置の 原点は、 レーン中心であり、 車両 1はその左右中心が代表点である。 左右の白線 によって決まるレーン内に車両 1があればよい。 これは、 CCDカメラ 2 R, 2 Lの取得画像から白線検知して、 レーン内であるか否かを判断すればよい。 次のミリ波条件は、 自車線確率〉閾値 T h jであるかどうかである。 自車線確 率 (検出頻度) とは、 前方の物体が自車線内でかつ、 どの程度連続してそこに位 置しているかを示すものである。 この自車/線確率が大きいほど、 ミリ波センサ 3 の検出精度が高くなるといえる。 さらに次のミリ波条件は、 前方物体との I相対 速度 I く閾値 T h Rであるかどうかである。 相対速度の大きさが小さいほど、 ミ リ波センサ 3の検出精度が高くなるといえる。
次のミリ波条件は、 ミリ波センサ 3の感度閾値が高閾値であるということであ る。 通常、 ミリ波センサは、 対象物によって反射光の検出に用いる感度閾値を高 閾値と低閾値とで使い分ける。 高閾値とは、 対象が車両や鉄板など反射率が高い ものを検出する場合に用いるものであり、 低閾値とは、 対象が歩行者など反射率 が低いものを検出する場合に用いるものである。 ここでは、 高閾値を用いて、 高 精度に物体検出を行っている場合にミリ波条件の一つが成立することになる。 次のミリ波条件は、 データがいわゆる外揷データでないということである。 前 方の物体を連続して検出するが、 何らかの条件によっては、 連続する検出のうち の一回だけ (あるいは複数回) 検出ができない場合が生じ得る。 このような場合 は、 前後のデータを元に、 検出できなかった一回 (あるいは複数回) のデータを 補完してやることがある。 この補完のことを外揷という。 ここでは、 補正に用い るデータが外揷データでない場合にミリ波条件の一つが成立することになる。 上 述した五つの条件の全てが成立する場合、 ミリ波条件が成立する。 ミリ波条件が 成立しない場合は、 図 2のフローチヤ一トのスタートに戻る。
ミリ波条件が成立している場合は、 次に、 ステレオ条件が成立しているか否か を判定する (ステップ 2 4 0 ) 。 ステレオ条件とは、 ステレオ画像によって物体 との距離を精度良く検出できる状態であることを示す条件である。 その条件の一 つは、 ステップ 2 0 5で検出した距離 (あるいは視差に対応する距離) 力 所定 範囲内 [閾値 T h L 2 <車速 V < T h u] にあるかどうかである。 あまりに近いと、 ステレオ画像の一方にしか物体が写らない場合などがあり、 精度が悪い。 なお、 ここでは、 ミリ波センサ 3もあまり近い (例えば、 5 m未満) と精度が出ないた め、 このステレオ条件でこのミリ波センサ 3の条件も含めている。 一方、 ステレ ォ画像による物体への検出距離には限界があるため、 これが上限 T h uとなる。 たとえば、 ThL2=5m, Thu A Omである。
もう一つのステレオ条件は、 上述したミリ波条件の一つと同様に、 車両 1の I 横位置座標 iく閾値 Thwであるか否かである。 車両横位置の原点は、 レーン中 心であり、 車両 1はその左右中心が代表点である。 左右の白線によって決まるレ ーン内に車両 1があればよい。 できるだけ車両 1の真正面にいる場合の方が検出 距離精度が高いからである。 上述した二つの条件が成立する場合、 ステレオ条件 が成立する。 ステレオ条件が成立しない場合は、 図 2のフローチャートのスター トに戻る。
ステップ 240が肯定される場合は、 検出データ数が所定のデータ数 ThD以 上であり、 かつ、 ステップ 225で算出した平均ズレ量が所定の閾値 Thzより も大きいが否かを判定する (ステップ 245) 。 ここでは、 データ数が少ないと 信頼性がないため、 ある程度のデータ数を必要とすることとし、 かつ、 ズレ量が 少ない場合は補正の必要がないとしている。 , ステップ 245の後、 視差補正値を求める (ステップ 250) 。 ここで、 ステ レオカメラ 2 R, 2 Lによる検出距離とミリ波センサ 3による検出距離との差を 縦軸にとり、 その被検出物体と車両 1との距離 Lを横軸にとった場合の、 データ 分布を図 4に示す。 これらのデータは、 車両 1を複数台用意し (経年変化などで ステレオカメラ 2 R, 2 Lのセッティングが異なる) 、 それらの測定結果をダラ フ上にプロットしたものである。 なお、 データは、 20 [m] < L< 40 [m] の範囲でのものである。
図 4から分かるように、 車両 1からの距離が遠くなるほど、 ステレオカメラ 2 R, 2 Lによる検出距離とミリ波センサ 3による検出距離との差は大きく (バラ ック) ことが分かる。 これに対して、 図 4の縦軸を、 ステレオ画像における視差 (ピクセル数) に変換した図を図 5に示す。 図 5から分かるように、 視差として 表せば、 全ての範囲 (20 [m] <L<40 [m] ) において、 ステレオカメラ 2 R , 2 Lによる検出視差とミリ波センサ 3による検出距離との差はほぼ一定の 範囲内に収まることが分かる。 これは、 例えば、 視差が 2ピクセルだとして、 物 体までの距離が近ければ、 その誤差は小さいが、 物体までの距離が遠ければその 誤差は大きくなることからも明らかである。
このため、 ここでは、 図 5に示されるように、 視差に関して全てのデータに関 する平均値を求め、 これを視差補正値として算出する (図 5中の点線) 。 ミリ波 センサ 3の検出結果は、 ステレオカメラ 2 R , 2 Lよりも高精度である。 そこで、 この視差補正値を、 ステレオカメラ 2 R, 2 Lの検出結果 (視差:距離相当量) に加算 (負の値であれば減算となる) することで、 ステレオカメラ 2 R , 2 の 検出結果を補正することができる (ステップ 2 5 5 ) 。 視差補正値によって補正 された視差を用いて三次元変換を行って物体との距離を最終的に算出し (ステツ プ 2 6 0 ) 、 これを出力する (ステップ 2 6 5 ) 。
本発明は上述した実施形態に限定されるものではない。 例えば、 上述した実施 形態における図 2及び図 3のフローチャートのステップ 2 3 0〜2 4 0の各条件 に加えて、 車両 1の走行環境の天候または明るさを条件としても良い。 雨が降つ ている場合 (レインセンサ 7によって検出) は、 ステレオカメラ 2 R , 2 L (あ るいはミリ波センサ 3 ) の検出精度が落ちるため補正 (ズレの評価) を行わない ようにしたり、 車両 1の周辺の明るさが喑ぃ場合 (照度センサ 8によって検出) は、 ステレオカメラ 2 R, 2 Lの検出精度が落ちるため補正を行わないようにし てもよい。 あるいは、 ナビゲーシヨン装置 1 0で、 車両 1が市街地を走行してい るときと判断できるときは補正 (ズレの評価) を行わないようにしても良い。 巿 街地走行中は、 車両の走行状態が安定しにくいためである。

Claims

言青求の範囲
1 . 物体までの距離相当量を検出する車載の物体検出装置において、 物体までの距離相当量を検出する第一検出手段と、
物体までの距離相当量を前記第一検出手段とは異なる検出原理で検出する第二 検出手段と、
前記第一検出手段と第二検出手段が、 同一物体を検出したか否かを判断する判 断手段と、
同一の物体を検出したと判断した場合に、 前記第二検出手段が検出した距離相 当量を、 前記第一検出手段が検出した距離相当量の検出誤差の評価に用いる力、否 かを判定する判定手段とを備えることを特徴とする物体検出装置。
2 . 前記判定手段は、 前記第二検出手段の前記同一物体の検出頻度が 高い場合に、 評価に用いると判定することを特徴とする請求項 1に記載の物体検 出装置。
3 . 前記判定手段は、 前記第一検出手段または前記第二検出手段の検 出した前記同一物体までの距離相当量が所定範囲内にある場合に、 評価に用いる と判定することを特徴とする請求項 1に記載の物体検出装置。
4 . 前記所定範囲は、 距離相当量が近傍または遠方を除外した範囲で あることを特徴とする請求項 3に記載の物体検出装置。
5 . 前記車両走行状態が安定走行状態にあるかを判断する走行安定状 態判断手段を備え、
前記判定手段は、 安定走行状態と判定した場合に、 評価に用いると判定するこ とを特徴とする請求項 1に記載の物体検出装置。
6 . 前記走行安定状態判断手段は、 車両が停車中または高速走行中の 場合に、 安定走行状態と判断することを特徴とする請求項 5に記載の物体検出装 置。
7 . 前記走行安定状態判断手段は、 車両が直線路または平坦路を走行 中の場合に、 安定走行状態と判断することを特徴とする請求項 5に記載の物体検 出装置。
8 . 前記走行安定状態判断手段は、 車両が市街地を走行中には安定走 行状態にないと判断することを特徴とする請求項 5に記載の物体検出装置。
9 . 前記第一検出手段または前記第二検出手段は、 車両に対する物体 の横位置である相対横位置を検出し、 前記判定手段は、 前記同一物体の相対横位 置が所定範囲内にある場合に、 評価に用いると判定することを特徴とする請求項 1に記載の物体検出装置。
1 0 . 前記判定手段は、 車両の走行環境の天候または明るさに基づい て、 評価に用いるかを判定することを特徴とする請求項 1に記載の物体検出装置。
1 1 . 前記第一、 第二検出手段の検出した距離相当量にズレがあると 判定した場合には、 前記第二検出手段の距離相当量に基づいて前記第一検出手段 の距離相当量を補正することを特徴とする請求項 1〜 1 0の何れか一項に記載の 物体検出装置。
1 2 . 前記第一検出手段は、 複数の撮像手段の画像を用いた画像測距 センサであり、 前記第二検出手段は、 ミリ波を用いたミリ波測距センサであるこ とを特徴とする請求項 1〜 1 1の何れか一項に記載の物体検出装置。 '
PCT/JP2006/314207 2005-07-13 2006-07-12 物体検出装置 WO2007007906A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06781214A EP1909064A1 (en) 2005-07-13 2006-07-12 Object detection device
US11/995,145 US20090122136A1 (en) 2005-07-13 2006-07-12 Object detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-204656 2005-07-13
JP2005204656A JP2007024590A (ja) 2005-07-13 2005-07-13 物体検出装置

Publications (1)

Publication Number Publication Date
WO2007007906A1 true WO2007007906A1 (ja) 2007-01-18

Family

ID=37637270

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/314207 WO2007007906A1 (ja) 2005-07-13 2006-07-12 物体検出装置

Country Status (5)

Country Link
US (1) US20090122136A1 (ja)
EP (1) EP1909064A1 (ja)
JP (1) JP2007024590A (ja)
CN (1) CN101223416A (ja)
WO (1) WO2007007906A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044009A (ja) * 2008-08-18 2010-02-25 Honda Motor Co Ltd 車両周辺監視装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
US20180259621A1 (en) * 2015-09-30 2018-09-13 Sony Corporation Signal processing apparatus, signal processing method, program, and object detection system
JP2019066326A (ja) * 2017-09-29 2019-04-25 株式会社デンソー 車両の周辺監視装置と周辺監視方法
CN110794452A (zh) * 2019-11-08 2020-02-14 深圳市深创谷技术服务有限公司 检测构件和可移动感测装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014445A (ja) * 2007-07-03 2009-01-22 Konica Minolta Holdings Inc 測距装置
US7733266B2 (en) 2007-09-06 2010-06-08 Honda Motor Co., Ltd. Control target recognition system and vehicle object detection system
JP4385065B2 (ja) * 2007-09-06 2009-12-16 本田技研工業株式会社 車両用物体検知装置
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP5272605B2 (ja) * 2008-09-18 2013-08-28 日産自動車株式会社 運転操作支援装置、及び運転操作支援方法
JP5223632B2 (ja) * 2008-12-01 2013-06-26 トヨタ自動車株式会社 異常診断装置
JP4815488B2 (ja) 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP5051468B2 (ja) 2008-12-25 2012-10-17 トヨタ自動車株式会社 センサ校正装置、及び、センサ校正方法
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP5477477B2 (ja) * 2010-11-19 2014-04-23 トヨタ自動車株式会社 電動車両の制御装置および制御方法
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP5787024B2 (ja) * 2012-03-02 2015-09-30 日産自動車株式会社 立体物検出装置
WO2014007175A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載環境認識装置
US9066085B2 (en) 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
JP6032017B2 (ja) * 2013-01-10 2016-11-24 トヨタ自動車株式会社 運転制御装置および運転制御方法
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6209833B2 (ja) * 2013-03-12 2017-10-11 株式会社リコー 検査用具、検査方法、ステレオカメラの生産方法及びシステム
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
JP5974178B2 (ja) * 2013-07-08 2016-08-23 本田技研工業株式会社 物体認識装置
JP6161704B2 (ja) * 2014-02-12 2017-07-12 ヤマハ発動機株式会社 撮影装置、車両および画像補正方法
JP6668594B2 (ja) * 2014-02-25 2020-03-18 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP6429360B2 (ja) * 2014-04-25 2018-11-28 本田技研工業株式会社 物体検出装置
JP6404722B2 (ja) * 2015-01-21 2018-10-17 株式会社デンソー 車両の走行制御装置
JP6564576B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
WO2016134241A1 (en) * 2015-02-19 2016-08-25 Brian Mullins Wearable device having millimeter wave sensors
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
CN104930998B (zh) * 2015-06-03 2017-12-01 中国农业大学 智能除草机及其刀苗距优化方法、刀苗信息优化系统
CN105118054B (zh) * 2015-08-03 2018-09-14 长安大学 一种基于ccd单目测距的驾驶考试系统
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
DE102018201685A1 (de) * 2018-02-05 2019-08-08 Robert Bosch Gmbh Verfahren zu einer Steuerung eines Detektionsgeräts
JP7152884B2 (ja) * 2018-06-15 2022-10-13 日立Astemo株式会社 車両用物体検知装置
CN109581358B (zh) * 2018-12-20 2021-08-31 奇瑞汽车股份有限公司 障碍物的识别方法、装置及存储介质
CN110837775A (zh) * 2019-09-30 2020-02-25 合肥合工安驰智能科技有限公司 一种基于二值化网络的井下机车行人及距离检测方法
JP7277412B2 (ja) * 2020-04-10 2023-05-18 株式会社Soken 物標追跡装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04276585A (ja) * 1991-03-04 1992-10-01 Toyota Motor Corp 車載用測距装置
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP4104233B2 (ja) * 1998-12-03 2008-06-18 株式会社日立製作所 走行環境認識装置
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
US6657176B2 (en) * 2000-04-12 2003-12-02 Autonetworks Technologies, Ltd. On-vehicle image pick-up apparatus and method of setting image pick-up direction
DE60226817D1 (de) * 2001-08-23 2008-07-10 Nissan Motor Fahrassistenzsystem
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
EP1401125A3 (en) * 2002-09-20 2006-05-31 Victor Company of Japan, Ltd. Optical wireless communication system
JP3841047B2 (ja) * 2002-12-05 2006-11-01 株式会社デンソー 車間制御装置
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
EP1881450A1 (en) * 2005-05-10 2008-01-23 Olympus Corporation Image processing apparatus, image processing method, and image processing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04276585A (ja) * 1991-03-04 1992-10-01 Toyota Motor Corp 車載用測距装置
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044009A (ja) * 2008-08-18 2010-02-25 Honda Motor Co Ltd 車両周辺監視装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
US20180259621A1 (en) * 2015-09-30 2018-09-13 Sony Corporation Signal processing apparatus, signal processing method, program, and object detection system
US10670697B2 (en) * 2015-09-30 2020-06-02 Sony Corporation Signal processing apparatus, signal processing method, and object detection system
US11061111B2 (en) 2015-09-30 2021-07-13 Sony Corporation Signal processing apparatus, signal processing method, and object detection system
JP2019066326A (ja) * 2017-09-29 2019-04-25 株式会社デンソー 車両の周辺監視装置と周辺監視方法
CN110794452A (zh) * 2019-11-08 2020-02-14 深圳市深创谷技术服务有限公司 检测构件和可移动感测装置
CN110794452B (zh) * 2019-11-08 2022-02-18 深圳市深创谷技术服务有限公司 检测构件和可移动感测装置

Also Published As

Publication number Publication date
EP1909064A1 (en) 2008-04-09
US20090122136A1 (en) 2009-05-14
JP2007024590A (ja) 2007-02-01
CN101223416A (zh) 2008-07-16

Similar Documents

Publication Publication Date Title
WO2007007906A1 (ja) 物体検出装置
CN102016921B (zh) 图像处理装置
JP4308381B2 (ja) 周辺監視センサ
US9827956B2 (en) Method and device for detecting a braking situation
US10821975B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
US20080106462A1 (en) Object detection system and object detection method
US10429492B2 (en) Apparatus for calculating misalignment quantity of beam sensor
US20120293357A1 (en) Vehicle surroundings monitoring device
JP2007255979A (ja) 物体検出方法および物体検出装置
US20120101704A1 (en) Method for operating at least one sensor of a vehicle and vehicle having at least one sensor
JP5034911B2 (ja) 白線検出装置
US11408989B2 (en) Apparatus and method for determining a speed of a vehicle
JP4557041B2 (ja) 車両用画像処理装置
JP2009181315A (ja) 物体検出装置
US20230245414A1 (en) Vehicle control system using a scanning system
US20110109743A1 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
JP5590774B2 (ja) 物体検出装置
WO2019203160A1 (ja) 運転支援システムおよび方法
JPH07120258A (ja) 車載カメラを用いた距離検出装置
JP4850531B2 (ja) 車載レーダ装置
JP5103722B2 (ja) 停止車両判別装置
US11933900B2 (en) Recognition device, vehicle system, recognition method, and storage medium
JP4823282B2 (ja) 周辺監視センサ
KR102597238B1 (ko) 듀얼 카메라를 이용한 차선 유지 보조 시스템의 시험 평가 장치 및 방법
JP2000221268A (ja) 車両検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680025558.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006781214

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11995145

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE