WO2010026959A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2010026959A1
WO2010026959A1 PCT/JP2009/065251 JP2009065251W WO2010026959A1 WO 2010026959 A1 WO2010026959 A1 WO 2010026959A1 JP 2009065251 W JP2009065251 W JP 2009065251W WO 2010026959 A1 WO2010026959 A1 WO 2010026959A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
image
detection point
point data
unit
Prior art date
Application number
PCT/JP2009/065251
Other languages
English (en)
French (fr)
Inventor
剛 名波
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to DE112009001686.3T priority Critical patent/DE112009001686B4/de
Priority to US12/988,941 priority patent/US8466827B2/en
Priority to CN200980112554.8A priority patent/CN102084408B/zh
Publication of WO2010026959A1 publication Critical patent/WO2010026959A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Definitions

  • the present invention relates to an object detection device that detects an object based on a detection result by a radar and a captured image by an imaging device.
  • an object detection device that detects the position or the like of another vehicle has been used to avoid a collision with another vehicle such as a preceding vehicle or an oncoming vehicle.
  • this object detection apparatus there is an apparatus that detects an object by a sensor fusion recognition process that combines a detection result detected by a radar and an image captured by a camera.
  • the radar cannot calculate the width of the object to be detected in principle, but can acquire distance information to the object.
  • the distance to the detection target object cannot be obtained, but the width of the object can be detected.
  • Sensor fusion is a method of detecting an object by combining the functions of such multiple sensors. Various studies have already been made on object detection by sensor fusion.
  • a captured image is processed by a camera using a detection result by a radar, and a preceding vehicle or the like is calculated from a distance measured by the radar and a vehicle feature amount (vehicle width, etc.) obtained by the image processing. Is described.
  • the conventional sensor fusion technique has a problem that the object position recognized by the image processing is shifted from the actual object position due to the time delay of the detection result by the image processing.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an object detection apparatus that can reduce the displacement of an object position recognized by image processing and improve object detection accuracy.
  • an object detection device irradiates an electromagnetic wave in a plurality of different directions within a predetermined range by imaging an image capturing unit that captures a predetermined range and obtains image data.
  • a radar detection unit that obtains detection point data including distance data to an object existing in the direction, image data captured by the image imaging unit, and detection points detected by the radar detection unit
  • An object detection unit that detects a predetermined detection target object based on the data, and the object detection unit refers to the detection point data detected by the radar detection unit, and obtains image data captured by the image imaging unit.
  • Image portion searching means for searching and detecting an image portion corresponding to the detection target object, and detection point data corresponding to the detection target object from the detection point data detected by the radar detection unit
  • a detection point extracting unit for extracting
  • an image part correcting unit for correcting the position of the image part detected by the image part searching unit in accordance with the detection point data extracted by the detection point extracting unit.
  • the image capturing unit acquires image data obtained by capturing a predetermined range, and the radar detection unit acquires detection point data for a plurality of different directions within the same range. Then, the object detection unit corrects the position of the image portion corresponding to the detection target object by processing the image data and the detection point data.
  • processing for searching image data captured by the image capturing unit and detecting an image portion corresponding to the detection target object is performed. Further, processing for extracting detection point data corresponding to the detection target object from a plurality of detection point data detected by the radar detection unit is performed. Next, processing for correcting the position of the image portion is performed in accordance with the detected detection point data. Since the position of the image portion corresponding to the detection target object is corrected by the series of processes described above, the displacement of the object position recognized by the image processing can be reduced, and the object detection accuracy can be improved.
  • the image part correction unit corrects the position of the image part so that the end of the image part coincides with the end of the area formed by the detection point data extracted by the detection point extraction unit. Is preferred. According to this configuration, since the position of the image portion is corrected so that the end portion of the image portion matches the end portion of the region composed of the detection point data corresponding to the detection target object, the image portion corresponding to the detection target object The position can be corrected with high accuracy, and the object detection accuracy can be improved.
  • the image part correction unit corrects the position of the image part when the detection point data extracted by the detection point extraction unit is outside the image part. According to this configuration, when the detection point data corresponding to the detection target object is outside the image part, the position of the image part having an error can be corrected by correcting the position of the image part. Can be improved.
  • the detection point data used in the image partial correction unit is preferably detection point data detected after imaging of the image data used in the image partial search unit. According to this configuration, since the position of the image portion is corrected using the detection point data detected after the image data is captured, the image portion searched from the old image data is corrected based on the new detection data. Therefore, the object detection accuracy can be improved.
  • the object detection unit calculates object information that calculates information related to the detection target object from the detection point data extracted by the detection point extraction unit and the image part whose position is corrected by the image part correction unit. It is preferable to further have means. According to this configuration, since the processing for calculating information related to the detection target object is performed from the detection point data corresponding to the detection target object and the position-corrected image portion, the detection accuracy of the detection target object is improved. Can do.
  • the detection target object is preferably a vehicle. According to this configuration, it is possible to improve the detection accuracy of vehicles existing around the position where the object detection device is installed.
  • the object detection device of the present invention it is possible to reduce the deviation of the object position recognized by the image processing and improve the object detection accuracy.
  • FIG. 1 is a block diagram showing a collision preventing apparatus 1 according to a preferred embodiment of the present invention.
  • the collision prevention apparatus 1 of this embodiment is an apparatus for preventing a collision with an obstacle on a road, and includes an object detection device 10 and a braking unit 40.
  • the object detection device 10 is a device that detects a predetermined detection target object (an obstacle such as another vehicle or a falling object), and includes a monocular camera 12, a millimeter wave radar 14, and an object detection unit 16.
  • the object detection unit 16 includes a camera ECU 20 and a DSS (Driver Support System) ECU 30.
  • the monocular camera 12 is an image capturing unit that is attached to the front of the host vehicle and captures an image in front of the host vehicle.
  • the monocular camera 12 captures a predetermined range ahead of the host vehicle at predetermined time intervals to generate image data, and sequentially outputs the generated image data to the camera ECU 20.
  • the millimeter wave radar 14 is a radar detection unit that is mounted near the monocular camera 12 near the front of the host vehicle and detects an object in front of the host vehicle.
  • the millimeter wave radar 14 scans the millimeter wave band in the horizontal direction and the vertical direction in the same range as the predetermined range in front of the host vehicle imaged by the monocular camera 12, and detects the reflected wave, thereby detecting the reflected wave.
  • the detection point data including the distance data to the object existing in is acquired. That is, the millimeter wave radar 14 irradiates a millimeter wave band in a plurality of different directions within a predetermined range, and includes distance data to an object existing in the direction for each of the directions in which the radio wave is irradiated. Get detection point data.
  • the millimeter wave radar 14 acquires detection point data every predetermined time, and sequentially outputs the acquired detection point data to the camera ECU 20 and the DSSECU 30.
  • the object detection unit 16 detects a predetermined detection target object based on image data and detection point data mounted on the host vehicle, and determines the possibility that the host vehicle collides with the detection target object. Processing in the object detection unit 16 is performed by the camera ECU 20 and the DSSECU 30.
  • the camera ECU 20 is an image processing unit that detects an image portion of a predetermined detection target object from the image data.
  • the camera ECU 20 is connected to the monocular camera 12 and acquires image data output from the monocular camera 12.
  • the camera ECU 20 detects the image portion of the detection target object existing in front of the host vehicle by processing the image data.
  • the camera ECU 20 may employ various known image processing techniques in order to detect an image portion of a predetermined detection target object.
  • the camera ECU 20 is connected to the millimeter wave radar 14 and acquires a large number of detection point data output from the millimeter wave radar 14.
  • the camera ECU 20 extracts detection point data corresponding to the detection target object from a large number of detection point data acquired from the millimeter wave radar 14, and corrects the position of the image portion of the detection target object with reference to the extracted detection point data. .
  • the camera ECU 20 outputs image data including the corrected image portion of the detection target object to the DSSECU 30.
  • the DSSECU 30 is a sensor fusion processing unit that calculates information such as the position and width of the detection target object based on the detection point data and the image data.
  • the DSSECU 30 is connected to the millimeter wave radar 14 and the camera ECU 20, acquires detection point data output from the millimeter wave radar 14, and acquires corrected image portion data output from the camera ECU 20.
  • the DSSECU 30 calculates the feature amount information such as the position and width of a predetermined detection target object existing ahead of the host vehicle by processing the detection point data and the corrected image portion data. Then, the DSSECU 30 determines the possibility that the host vehicle will collide with the detection target object based on the calculation result, and outputs the determination result to the braking unit 40.
  • the detection point data processed by the DSSECU 30 is directly sent from the millimeter wave radar 14 to the DSSECU 30, but the image data processed by the DSSECU 30 is output from the monocular camera 12 and then undergoes image processing by the camera ECU 20, and then the DSSECU 30. To reach. Therefore, when the detection point data and image data that are simultaneously processed by the DSSECU 30 are compared, the image data is delayed in time than the detection point data. However, in the present embodiment, since the position of the image portion of the detection target object is corrected by the camera ECU 20, the displacement of the object position due to the time delay is reduced.
  • the camera ECU 20 includes an image partial search unit 22, a detection point extraction unit 24, and an image partial correction unit 26, and the DSSECU 30 includes an object information calculation unit 32 and a collision determination unit 34. ing. Each of these means shows part of the processing of the object detection unit 16 as the configuration of the object detection unit 16. These means will be described in the description of the operation of the object detection unit 16 described later.
  • the camera ECU 20 and the DSSECU 30 are mainly composed of a computer including a CPU, a ROM, and a RAM, for example.
  • the braking unit 40 controls a brake (not shown) to perform a braking control that gives a braking force to the host vehicle. That is, the braking unit 40 acquires the determination result of the possibility of collision with the detection target object from the DSSECU 30, and when it is determined that there is a possibility of collision, the braking unit 40 controls the brake to apply the braking force to the host vehicle. To avoid contact with the object to be detected.
  • FIG. 2 is a flowchart showing processing of the object detection unit 16, that is, the camera ECU 20 and the DSSECU 30. The following process is repeatedly executed from when the engine is started until the engine is stopped. In the following description, a situation in which one other vehicle travels in front of the host vehicle on which the object detection device 10 is mounted will be described as an example.
  • step S1 the camera ECU 20 acquires image data output from the monocular camera 12, and searches for an image portion of a predetermined detection target object (an obstacle such as another vehicle or a falling object) from the acquired image data.
  • the camera ECU 20 may employ various known image processing techniques in order to search for an image portion corresponding to a predetermined detection target object. For example, in a situation where another vehicle is traveling in front of the host vehicle, the camera ECU 20 acquires image data G obtained by imaging the other vehicle from the monocular camera 12 and searches for an image portion 50 of the other vehicle (FIG. 3). FIG. 4 (a) and FIG. 5 (a)).
  • Step S1 corresponds to the image partial search means 22.
  • the camera ECU 20 acquires a large number of detection point data output from the millimeter wave radar 14, and groups the large number of detection point data for each object.
  • the camera ECU 20 corresponds to a plurality of detection point data obtained in the scanning range of the millimeter wave radar 14 in front of the host vehicle and having a plurality of detection point data whose irradiation direction and distance data values are close to each other. Group as detection point data.
  • each of the detection point data is composed of data in a direction in which millimeter wave radio waves are irradiated and data on a distance to an object.
  • the camera ECU 20 performs coordinate conversion from the coordinate system of the millimeter wave radar 14 to the coordinate system of the monocular camera 12 for each of the grouped detection point data, and calculates a corresponding position p on the image data G for each of the detection point data. (See FIG. 3, FIG. 4 (a), FIG. 5 (a)).
  • step S3 the camera ECU 20 determines whether each of the detection point data grouped in step S2 corresponds to the image portion of the detection target object searched in step S1.
  • the camera ECU 20 indicates that the grouped detection point data corresponds to the detection target object.
  • the camera ECU 20 ends the process when none of the grouped detection point data corresponds to the image portion of the detection target object. Note that detection point data corresponding to the detection target object is extracted by the processing of step S2 and step S3, and therefore step S2 and step S3 correspond to the detection point extraction means 24.
  • step S4 the camera ECU 20 determines whether or not the detection point data corresponding to the detection target object is within the range of the image portion of the detection target object.
  • the camera ECU 20 proceeds to step S8.
  • the camera ECU 20 proceeds to step S5.
  • the camera ECU 20 determines that the position of the detection point data p corresponding to the other vehicle is within the width of the image portion 50 of the other vehicle, and the image data G is left as it is. The data is output to the DSSECU 30, and the process proceeds to step S8.
  • the camera ECU 20 confirms that the position of the detection point data p corresponding to the other vehicle is not within the range of the horizontal width of the image portion 50 of the other vehicle. Determine and proceed to step S5.
  • step S5 the camera ECU 20 determines whether the position of the detection point data corresponding to the detection target object is out of the right side or the left side of the image portion of the detection target object.
  • the camera ECU 20 proceeds to step S6.
  • the camera ECU 20 proceeds to step S7.
  • the camera ECU 20 determines that the detection point data p corresponding to the other vehicle is out of the right side of the image portion 50 of the other vehicle, and proceeds to step S6.
  • the camera ECU 20 determines that the detection point data p corresponding to the other vehicle is out of the left side of the image portion 50 of the other vehicle, and proceeds to step S7.
  • step S6 the camera ECU 20 corrects the position of the image portion of the detection target object to the right according to the detection point data corresponding to the detection target object. More specifically, the camera ECU 20 matches the right end portion of the image portion of the detection target object with the right end portion of the area formed of the detection point data corresponding to the detection target object, thereby causing the image portion of the detection target object to match. Is accurately corrected.
  • the camera ECU 20 outputs image data including the image portion of the position-corrected detection target object to the DSSECU 30.
  • step S7 the camera ECU 20 corrects the position of the image portion of the detection target object to the left according to the detection point data corresponding to the detection target object. More specifically, the camera ECU 20 matches the left end portion of the image portion of the detection target object with the left end portion of the area composed of the detection point data corresponding to the detection target object, so that the image portion of the detection target object is matched. Is accurately corrected.
  • the camera ECU 20 outputs image data including the image portion of the position-corrected detection target object to the DSSECU 30.
  • the camera ECU 20 aligns the right end of the image portion 50 of the other vehicle with the right end of the area formed by the detection point data p corresponding to the other vehicle. Then, image data H shown in FIG. 4B is obtained.
  • the camera ECU 20 matches the left end portion of the image portion 50 of the other vehicle with the left end portion of the area composed of the detection point data p corresponding to the other vehicle. As a result, the image data H shown in FIG. 5B is obtained.
  • Steps S4 to S6 correspond to the image partial correction means 26.
  • the positional deviation of the image portion of the detection target object due to the time required for image processing is eliminated or reduced. That is, the camera ECU 20 acquires image data from the monocular camera 12 and performs image processing, and then acquires detection point data from the millimeter wave radar 14. And camera ECU20 correct
  • step S ⁇ b> 8 the DSSECU 30 acquires the detection point data from the millimeter wave radar 14 and the image data from the camera ECU 20.
  • the detection point data acquired by the DSSECU 30 is generated at the same time as the detection point data used for the processing of the camera ECU 20 described above or generated at an extremely close time. Therefore, the positional deviation of the image portion of the detection target object is also eliminated or reduced with respect to the detection point data acquired by the DSSECU 30.
  • step S9 the DSSECU 30 calculates information on the detection target object based on the detection point data and the image data. That is, the DSSECU 30 calculates information such as the position and width of the detection target object from the direction data and distance data included in the detection point data corresponding to the detection target object and the corrected image portion of the detection target object.
  • Steps S7 and S8 correspond to the object information calculation unit 32.
  • the DSSECU 30 determines the possibility of collision between the own vehicle and the detection target object based on the position and width of the detection target object calculated by the above-described processing, and outputs the determination result to the braking unit 40. This process corresponds to the collision determination means 34.
  • the braking unit 40 acquires from the DSSECU 30 the determination result of the possibility of collision between the host vehicle and the detection target object. And when the braking part 40 acquires the determination result which shows that the own vehicle and a detection target object may collide, it gives a braking force to the own vehicle by controlling a brake, and is detected Avoid contact with objects.
  • the DSSECU 30 since the DSSECU 30 calculates information such as the position and width of the detection target object based on the image data H obtained by correcting the position of the image portion of the detection target object, the detection accuracy of the detection target object is improved. be able to. Since the DSSECU 30 accurately determines the possibility that the host vehicle will collide with the detection target object based on the information of the detection target object with improved detection accuracy, it is possible to prevent erroneous determination of the collision possibility. It is possible to avoid a situation where necessary control is not executed or a situation where unnecessary control is executed.
  • the object detection device of the present invention is not limited to the above-described embodiment.
  • the case of detecting another vehicle has been described as an example.
  • a detection target object other than the other vehicle may be detected.
  • the camera ECU 20 detects the end of the region composed of the detection point data corresponding to the detection target object when the detection point data corresponding to the detection target object is out of the image portion of the detection target object.
  • the present invention is not limited to this.
  • the camera ECU 20 only needs to move the image part of the detection target object so that the detection point data deviated from the image part of the detection target object is within the range of the image part of the detection target object.
  • the camera ECU 20 corrects the position of the image portion corresponding to the detection target object in the left-right direction, but may correct the position of the image portion corresponding to the detection target object in the vertical direction.
  • the camera ECU 20 may correct the position of the image portion corresponding to the detection target object in both the vertical direction and the horizontal direction.
  • the camera ECU 20 is configured to include the detection point extraction unit 24 and the image partial correction unit 26.
  • the DSSECU 30 replaces the camera ECU 20 with the detection point extraction unit. 24 and the image partial correction means 26 may be provided.
  • the millimeter wave radar 14 is used as the radar detection unit.
  • the radar detection unit may irradiate electromagnetic waves of other wavelengths, and for example, a laser radar may be used as the radar detection unit.
  • the object detection device of the present invention it is possible to reduce the deviation of the object position recognized by the image processing and improve the object detection accuracy.
  • SYMBOLS 1 DESCRIPTION OF SYMBOLS 1 ... Collision prevention apparatus, 10 ... Object detection apparatus, 12 ... Monocular camera (image pick-up part), 14 ... Millimeter wave radar (radar detection part), 16 ... Object detection part, 20 ... Camera ECU, 22 ... Image partial search means , 24 ... detection point extraction means, 26 ... image part correction means, 30 ... DSSECU, 32 ... object information calculation means, 34 ... collision determination means, 50 ... image part, G, H ... image data, p ... detection point data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

　本発明は、レーダによる検出結果と画像処理による検出結果の時間的なずれに起因する誤差の影響を低減し、物体検出精度を向上させることができる物体検出装置を提供することを目的とする。物体検出装置１の物体検出部１０は、レーダ検出部１４により検出された検出点データを参照して画像撮像部１２により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する画像部分探索手段２２と、レーダ検出部１４により検出された検出点データから検出対象物体に対応する検出点データを抽出する検出点抽出手段２４と、検出点抽出手段２４により抽出された検出点データに合わせて、画像部分探索手段２２により検出された画像部分の位置を補正する画像部分補正手段２６とを有する。

Description

物体検出装置
　本発明は、レーダによる検出結果と、撮像装置による撮像画像とに基づいて物体を検出する物体検出装置に関する。
　従来、車両の衝突防止システム等において、先行車両や対向車両等の他車両との衝突を回避するために、他車両の位置等を検出する物体検出装置が用いられている。この物体検出装置として、レーダによって検出した検出結果とカメラによって撮像した画像とを組み合わせるセンサフュージョンの認識処理によって物体を検出する装置がある。
　レーダでは、原理的に検出対象物体の幅を算出できないが、当該物体までの距離情報を取得できる。一方、単眼カメラでは、検出対象物体までの距離は求められないが、物体の幅等を検出することができる。センサフュージョンは、このような複数センサの機能を組み合わせて物体を検出する方法である。センサフュージョンによる物体検出については、これまでにも種々検討がなされている。
　例えば、特許文献１には、レーダによる検出結果を利用してカメラによる撮影画像の処理を行い、レーダの測距距離と画像処理によって得られた車両特徴量（車幅等）とから先行車両等を認識して検出する方法が記載されている。
特開２００５－１４１５１７号公報
　ところで、上記のようなセンサフュージョンによる物体検出においては、レーダによる検出結果を利用して画像データを処理するため、画像処理結果の取得は、レーダ単独による検出結果の取得よりも時間を要する。このため、従来のセンサフュージョン技術では、画像処理による検出結果の時間的な遅れに起因して、画像処理により認識した物体位置が実際の物体位置に対してずれてしまう、という問題があった。
　本発明は、かかる事情に鑑みてなされたものであり、画像処理により認識した物体位置のずれを低減し、物体検出精度を向上させることができる物体検出装置を提供することを目的とする。
　上述した目的を達成するために、本発明に係る物体検出装置は、所定範囲を撮像して画像データを得る画像撮像部と、所定範囲内の複数の異なる方向に電磁波を照射して、当該電磁波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを得るレーダ検出部と、画像撮像部により撮像された画像データとレーダ検出部により検出された検出点データとに基づいて所定の検出対象物体を検出する物体検出部と、を備え、物体検出部は、レーダ検出部により検出された検出点データを参照して画像撮像部により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する画像部分探索手段と、レーダ検出部により検出された検出点データから検出対象物体に対応する検出点データを抽出する検出点抽出手段と、検出点抽出手段により抽出された検出点データに合わせて、画像部分探索手段により検出された画像部分の位置を補正する画像部分補正手段と、を有することを特徴とする。
　上記構成の物体検出装置によれば、画像撮像部が所定範囲を撮像した画像データを取得すると共に、レーダ検出部が同範囲内の複数の異なる方向についての検出点データを取得する。そして、物体検出部が、画像データ及び検出点データを処理することにより、検出対象物体に対応する画像部分の位置を補正する。この物体検出部の処理においては、画像撮像部により撮像された画像データを探索して、検出対象物体に対応する画像部分を検出する処理が行われる。また、レーダ検出部により検出された複数の検出点データから検出対象物体に対応する検出点データを抽出する処理が行われる。次に、抽出された検出点データに合わせて、画像部分の位置を補正する処理が行われる。以上の一連の処理により、検出対象物体に対応する画像部分の位置を補正するため、画像処理により認識した物体位置のずれを低減し、物体の検出精度を向上させることができる。
　上述した物体検出装置において、画像部分補正手段は、検出点抽出手段により抽出された検出点データから成る領域の端部に画像部分の端部が一致するように、画像部分の位置を補正することが好ましい。この構成によれば、検出対象物体に対応する検出点データから成る領域の端部に画像部分の端部が一致するように画像部分の位置を補正するため、検出対象物体に対応する画像部分の位置を精度良く補正でき、物体の検出精度を向上させることができる。
　上述した物体検出装置において、画像部分補正手段は、検出点抽出手段により抽出された検出点データが画像部分の外側にある場合に画像部分の位置を補正することが好ましい。この構成によれば、検出対象物体に対応する検出点データが画像部分の外側にある場合に当該画像部分の位置を補正することにより、誤差を有する画像部分の位置を補正できるため、物体検出精度を向上させることができる。
　上述した物体検出装置において、画像部分補正手段において用いる検出点データは、画像部分探索手段において用いる画像データの撮像よりも後に検出された検出点データであることが好ましい。この構成によれば、画像データの撮像よりも後に検出された検出点データを用いて画像部分の位置を補正するため、古い画像データから探索された画像部分が新しい検出データに基づいて補正されるため、物体の検出精度を向上させることができる。
　上述した物体検出装置において、物体検出部は、検出点抽出手段により抽出された検出点データと画像部分補正手段により位置を補正された画像部分とから、検出対象物体に関する情報を演算する物体情報演算手段を更に有することが好ましい。この構成によれば、検出対象物体に対応する検出点データと位置を補正された画像部分とから、検出対象物体に関する情報を演算する処理が行われるため、検出対象物体の検出精度を向上させることができる。
　上述した物体検出装置において、検出対象物体は車両であることが好ましい。この構成によれば、物体検出装置を設置した位置の周辺に存在する車両の検出精度を向上させることができる。
　本発明に係る物体検出装置によれば、画像処理により認識した物体位置のずれを低減し、物体検出精度を向上させることができる。
本発明の好適な実施形態に係る物体検出装置を示すブロック構成図である。 本実施形態における物体検出装置の処理を示すフローチャートである。 本実施形態における検出点データ及び画像部分の第１の位置関係を示す正面図である。 本実施形態における検出点データ及び画像部分の第２の位置関係を示す正面図である。 本実施形態における検出点データ及び画像部分の第３の位置関係を示す正面図である。
　以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
　図１は、本発明の好適な実施形態に係る衝突防止装置１を示すブロック構成図である。本実施形態の衝突防止装置１は、道路上にある障害物との衝突を防止するための装置であり、物体検出装置１０と制動部４０とを備えて構成される。
　物体検出装置１０は、所定の検出対象物体（他車両や落下物などの障害物）を検出する装置であり、単眼カメラ１２とミリ波レーダ１４と物体検出部１６とを備える。物体検出部１６は、カメラＥＣＵ２０とＤＳＳ（Driver Support System）ＥＣＵ３０とを備える。
　単眼カメラ１２は、自車両の前部に取り付けられた、自車両の前方の画像を撮像する画像撮像部である。単眼カメラ１２は、所定時間ごとに自車両前方の所定範囲を撮像して画像データを生成し、生成した画像データをカメラＥＣＵ２０へ逐次出力する。
　ミリ波レーダ１４は、自車両前部の単眼カメラ１２近傍に取り付けられた、自車両の前方の物体を検出するレーダ検出部である。ミリ波レーダ１４は、単眼カメラ１２が撮像する自車両前方の所定範囲と同一範囲においてミリ波帯の電波を左右方向及び上下方向に走査して、その反射波を検出することにより、当該範囲内に存在する物体までの距離データを含む検出点データを取得する。すなわち、ミリ波レーダ１４は、所定範囲内の複数の異なる方向にミリ波帯の電波を照射して、当該電波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを取得する。ミリ波レーダ１４は、所定時間ごとに検出点データを取得し、取得した検出点データをカメラＥＣＵ２０及びＤＳＳＥＣＵ３０へ逐次出力する。
　物体検出部１６は、自車両に搭載された、画像データ及び検出点データに基づいて所定の検出対象物体を検出し、自車両が検出対象物体と衝突する可能性を判定するものである。物体検出部１６における処理は、カメラＥＣＵ２０及びＤＳＳＥＣＵ３０によって行われる。
　カメラＥＣＵ２０は、画像データから所定の検出対象物体の画像部分を検出する画像処理部である。カメラＥＣＵ２０は、単眼カメラ１２に接続されており、単眼カメラ１２から出力される画像データを取得する。カメラＥＣＵ２０は、画像データを処理することにより、自車両の前方に存在する検出対象物体の画像部分を検出する。カメラＥＣＵ２０は、所定の検出対象物体の画像部分を検出するために、公知の種々の画像処理手法を採用すればよい。
　本実施形態では、カメラＥＣＵ２０は、ミリ波レーダ１４に接続されており、ミリ波レーダ１４から出力される多数の検出点データを取得する。カメラＥＣＵ２０は、ミリ波レーダ１４から取得した多数の検出点データから検出対象物体に対応する検出点データを抽出し、抽出した検出点データを参照して検出対象物体の画像部分の位置を補正する。カメラＥＣＵ２０は、検出対象物体の画像部分の位置を補正すると、補正済みの検出対象物体の画像部分を含む画像データをＤＳＳＥＣＵ３０に出力する。
　ＤＳＳＥＣＵ３０は、検出点データ及び画像データに基づいて、検出対象物体の位置や幅等の情報を演算するセンサフュージョン処理部である。ＤＳＳＥＣＵ３０は、ミリ波レーダ１４及びカメラＥＣＵ２０に接続されており、ミリ波レーダ１４から出力される検出点データを取得すると共に、カメラＥＣＵ２０から出力される補正済みの画像部分のデータを取得する。ＤＳＳＥＣＵ３０は、検出点データと補正済みの画像部分のデータを処理することにより、自車両の前方に存在する所定の検出対象物体の位置や幅等の特徴量情報を演算する。そして、ＤＳＳＥＣＵ３０は、この演算結果に基づいて、自車両が検出対象物体と衝突する可能性を判定し、判定結果を制動部４０へ出力する。
　なお、ＤＳＳＥＣＵ３０で処理される検出点データは、ミリ波レーダ１４からＤＳＳＥＣＵ３０に直接送られるが、ＤＳＳＥＣＵ３０で処理される画像データは、単眼カメラ１２より出力されてからカメラＥＣＵ２０での画像処理を経てＤＳＳＥＣＵ３０に到達する。よって、ＤＳＳＥＣＵ３０で同時に処理される検出点データ及び画像データを比較すると、検出点データよりも画像データの方が時間的に遅れている。但し、本実施形態では、カメラＥＣＵ２０にて検出対象物体の画像部分の位置が補正されるため、時間的な遅れに起因する物体位置のずれが低減されている。
　図１に示すように、カメラＥＣＵ２０は、画像部分探索手段２２と検出点抽出手段２４と画像部分補正手段２６とを備えており、ＤＳＳＥＣＵ３０は、物体情報演算手段３２と衝突判定手段３４とを備えている。これらの手段の夫々は、物体検出部１６の処理の一部を、物体検出部１６の構成として示したものである。これらの手段については、後述する物体検出部１６の動作説明において説明する。なお、カメラＥＣＵ２０及びＤＳＳＥＣＵ３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成される。
　制動部４０は、ブレーキ（図示せず）を制御して、自車両に制動力を与える制動制御を行うものである。つまり、制動部４０は、検出対象物体との衝突可能性の判定結果をＤＳＳＥＣＵ３０から取得し、衝突可能性があると判定された場合には、ブレーキを制御することにより、自車両に制動力を与え、検出対象物体との接触を回避する。
　次に、図２を参照して、衝突防止装置１の動作について説明する。図２は、物体検出部１６、すなわちカメラＥＣＵ２０及びＤＳＳＥＣＵ３０の処理を示すフローチャートである。以下の処理は、エンジンが始動されてからエンジンが停止されるまでの間、繰り返し実行される。なお、以下の説明では、物体検出装置１０を搭載する自車両の前方を１台の他車両が対向して走行する状況を一例として説明する。
　先ず、ステップＳ１において、カメラＥＣＵ２０は、単眼カメラ１２から出力される画像データを取得し、取得した画像データから所定の検出対象物体（他車両や落下物などの障害物）の画像部分を探索する。カメラＥＣＵ２０は、所定の検出対象物体に対応する画像部分を探索するために、様々な公知の画像処理手法を採用すればよい。例えば、自車両の前方を他車両が走行している状況では、カメラＥＣＵ２０は、他車両を撮像した画像データＧを単眼カメラ１２から取得し、他車両の画像部分５０を探索する（図３、図４（ａ）、図５（ａ）参照）。なお、ステップＳ１は、画像部分探索手段２２に相当する。
　次に、ステップＳ２において、カメラＥＣＵ２０は、ミリ波レーダ１４から出力される多数の検出点データを取得し、多数の検出点データを物体ごとにグルーピングする。カメラＥＣＵ２０は、例えば、自車両前方のミリ波レーダ１４の走査範囲において得られる検出点データであって、照射方向及び距離データの値が互いに近い複数の検出点データを、一つの物体に対応する検出点データとしてグルーピングする。ここで、検出点データの夫々は、ミリ波帯の電波が照射された方向のデータと物体までの距離のデータとで構成される。カメラＥＣＵ２０は、グルーピングした検出点データの夫々についてミリ波レーダ１４の座標系から単眼カメラ１２の座標系への座標変換を行い、検出点データの夫々について画像データＧ上の対応する位置ｐを演算する（図３、図４（ａ）、図５（ａ）参照）。
　次に、ステップＳ３において、カメラＥＣＵ２０は、ステップＳ２でグルーピングした検出点データの夫々について、ステップＳ１で探索した検出対象物体の画像部分に対応しているか否かを判定する。カメラＥＣＵ２０は、グルーピングされた検出点データと検出対象物体の画像部分とが画像データ上において重畳した位置にある場合には、そのグルーピングされた検出点データが検出対象物体に対応したものであることを判定し、ステップＳ４に進む。一方、カメラＥＣＵ２０は、グルーピングされた検出点データのいずれも検出対象物体の画像部分に対応していない場合には、処理を終了する。なお、ステップＳ２及びステップＳ３の処理により検出対象物体に対応する検出点データが抽出されるため、ステップＳ２及びステップＳ３は検出点抽出手段２４に相当する。
　次に、ステップＳ４において、カメラＥＣＵ２０は、検出対象物体に対応する検出点データが検出対象物体の画像部分の範囲内にあるか否かを判定する。ここで、カメラＥＣＵ２０は、検出対象物体に対応する検出点データが検出対象物体の画像部分の横幅の範囲内にある場合には、ステップＳ８に進む。一方、カメラＥＣＵ２０は、検出対象物体に対応する検出点データが検出対象物体の画像部分の横幅の範囲内にない場合には、ステップＳ５に進む。
　例えば図３に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐの位置が他車両の画像部分５０の横幅の範囲内にあることを判定し、画像データＧをそのままの状態でＤＳＳＥＣＵ３０に出力し、ステップＳ８に進む。一方、例えば図４（ａ）又は図５（ａ）に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐの位置が他車両の画像部分５０の横幅の範囲内にないことを判定し、ステップＳ５に進む。
　次に、ステップＳ５では、カメラＥＣＵ２０は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の右側又は左側のいずれに外れているかを判定する。ここで、カメラＥＣＵ２０は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の右側に外れている場合には、ステップＳ６に進む。一方、カメラＥＣＵ２０は、検出対象物体に対応する検出点データの位置が検出対象物体の画像部分の左側に外れている場合には、ステップＳ７に進む。
　例えば図４（ａ）に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐは他車両の画像部分５０の右側に外れていると判定し、ステップＳ６に進む。一方、例えば図５（ａ）に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐは他車両の画像部分５０の左側に外れていると判定し、ステップＳ７に進む。
　ステップＳ６では、カメラＥＣＵ２０は、検出対象物体に対応する検出点データに合わせて検出対象物体の画像部分の位置を右側に補正する。より詳しくは、カメラＥＣＵ２０は、検出対象物体に対応する検出点データから成る領域の右の端部に、検出対象物体の画像部分の右の端部を一致させることにより、検出対象物体の画像部分の位置を精度良く補正する。カメラＥＣＵ２０は、位置補正済みの検出対象物体の画像部分を含んで構成される画像データをＤＳＳＥＣＵ３０へ出力する。
　ステップＳ７では、カメラＥＣＵ２０は、検出対象物体に対応する検出点データに合わせて検出対象物体の画像部分の位置を左側に補正する。より詳しくは、カメラＥＣＵ２０は、検出対象物体に対応する検出点データから成る領域の左の端部に、検出対象物体の画像部分の左の端部を一致させることにより、検出対象物体の画像部分の位置を精度良く補正する。カメラＥＣＵ２０は、位置補正済みの検出対象物体の画像部分を含んで構成される画像データをＤＳＳＥＣＵ３０へ出力する。
　例えば図４（ａ）に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐから成る領域の右の端部に、他車両の画像部分５０の右の端部を一致させることにより、図４（ｂ）に示す画像データＨを得る。また、例えば図５（ａ）に示す状況では、カメラＥＣＵ２０は、他車両に対応する検出点データｐから成る領域の左の端部に、他車両の画像部分５０の左の端部を一致させることにより、図５（ｂ）に示す画像データＨを得る。なお、ステップＳ４～ステップＳ６は、画像部分補正手段２６に相当する。
　上述した本実施形態の処理では、画像処理に要する時間に起因する、検出対象物体の画像部分の位置ずれが解消又は低減されている。すなわち、カメラＥＣＵ２０は、単眼カメラ１２から画像データを取得して画像処理を行ってから、ミリ波レーダ１４からの検出点データを取得する。そして、カメラＥＣＵ２０は、画像データから探索した検出対象物体の画像部分の位置を、検出対象物体に対応する検出点データに合わせて補正する。この処理によれば、検出対象物体の画像部分の位置は時間的により新しい検出点データを用いて補正されるため、検出対象物体の画像部分の位置ずれが解消又は低減されており、検出対象物体の検出精度の向上を実現している。
　次に、ＤＳＳＥＣＵ３０による処理に移行する。ステップＳ８では、ＤＳＳＥＣＵ３０は、ミリ波レーダ１４からの検出点データを取得すると共に、カメラＥＣＵ２０からの画像データを取得する。ここで、ＤＳＳＥＣＵ３０が取得する検出点データは、前述したカメラＥＣＵ２０の処理に用いられた検出点データと同じ時間に生成されたものであるか、極めて近い時間に生成されたものである。よって、ＤＳＳＥＣＵ３０が取得する検出点データに対しても、検出対象物体の画像部分の位置ずれが解消又は低減されたものとなっている。
　次に、ステップＳ９では、ＤＳＳＥＣＵ３０は、検出点データ及び画像データに基づいて、検出対象物体に関する情報を演算する。すなわち、ＤＳＳＥＣＵ３０は、検出対象物体に対応する検出点データに含まれる方向データ及び距離データと、補正済みの検出対象物体の画像部分とから、検出対象物体の位置や幅等の情報を演算する。なお、ステップＳ７及びステップＳ８は、物体情報演算手段３２に相当する。
　上述の処理によって演算された検出対象物体の位置や幅等に基づいて、ＤＳＳＥＣＵ３０は、自車両と検出対象物体との衝突可能性を判定し、判定結果を制動部４０へ出力する。なお、この処理は衝突判定手段３４に相当する。
　制動部４０は、自車両と検出対象物体との衝突可能性の判定結果をＤＳＳＥＣＵ３０から取得する。そして、制動部４０は、自車両と検出対象物体とが衝突する可能性があることを示す判定結果を取得した場合には、ブレーキを制御することにより、自車両に制動力を与え、検出対象物体との接触を回避する。
　本実施形態では、ＤＳＳＥＣＵ３０は、検出対象物体の画像部分の位置を補正した画像データＨに基づいて、検出対象物体に関する位置や幅等の情報を演算するため、検出対象物体の検出精度を向上することができる。そして、ＤＳＳＥＣＵ３０は、検出精度の向上した検出対象物体の情報に基づいて、自車両が検出対象物体に衝突する可能性を的確に判断するため、衝突可能性の誤判定を防止することができ、必要な制御が実行されない状況又は不要な制御が実行される状況を回避することができる。
　以上、本発明の好適な実施形態について詳述したが、本発明の物体検出装置は、上記の実施形態に限定されるものではない。上記の実施形態では、他車両を検出する場合を一例として説明したが、他の実施形態では、他車両以外の検出対象物体を検出してもよい。
　また、上記の実施形態では、カメラＥＣＵ２０は、検出対象物体に対応する検出点データが検出対象物体の画像部分から外れている場合に、検出対象物体に対応する検出点データから成る領域の端部に検出対象物体の画像部分の端部を一致させたが、本発明はこれに限定されない。カメラＥＣＵ２０は、検出対象物体の画像部分を移動して、検出対象物体の画像部分から外れた検出点データを検出対象物体の画像部分の範囲内とするものであればよい。
　また、上記の実施形態では、カメラＥＣＵ２０は、検出対象物体に対応する画像部分の位置を左右方向に補正したが、検出対象物体に対応する画像部分の位置を上下方向に補正してもよい。また、カメラＥＣＵ２０は、検出対象物体に対応する画像部分の位置を上下方向及び左右方向の両方向に補正してもよい。
　また、本実施形態では、カメラＥＣＵ２０が検出点抽出手段２４と画像部分補正手段２６とを備えるように構成されているが、他の実施形態では、カメラＥＣＵ２０に代えて、ＤＳＳＥＣＵ３０が検出点抽出手段２４と画像部分補正手段２６とを備えるように構成されてもよい。
　また、本実施形態ではレーダ検出部としてミリ波レーダ１４を用いているが、レーダ検出部は他の波長の電磁波を照射するものでもよく、例えばレーダ検出部としてレーザレーダを用いてもよい。
　本発明に係る物体検出装置によれば、画像処理により認識した物体位置のずれを低減し、物体検出精度を向上させることができる。
　１…衝突防止装置、１０…物体検出装置、１２…単眼カメラ（画像撮像部）、１４…ミリ波レーダ（レーダ検出部）、１６…物体検出部、２０…カメラＥＣＵ、２２…画像部分探索手段、２４…検出点抽出手段、２６…画像部分補正手段、３０…ＤＳＳＥＣＵ、３２…物体情報演算手段、３４…衝突判定手段、５０…画像部分、Ｇ，Ｈ…画像データ、ｐ…検出点データ。

Claims (6)

  1. 　所定範囲を撮像して画像データを得る画像撮像部と、
    　前記所定範囲内の複数の異なる方向に電磁波を照射して、当該電磁波が照射された方向の夫々について、当該方向に存在する物体までの距離データを含む検出点データを得るレーダ検出部と、
    　前記画像撮像部により撮像された画像データと前記レーダ検出部により検出された検出点データとに基づいて所定の検出対象物体を検出する物体検出部と、
    を備え、
    　前記物体検出部は、
    　前記レーダ検出部により検出された検出点データを参照して前記画像撮像部により撮像された画像データを探索して、前記検出対象物体に対応する画像部分を検出する画像部分探索手段と、
    　前記レーダ検出部により検出された検出点データから前記検出対象物体に対応する検出点データを抽出する検出点抽出手段と、
    　前記検出点抽出手段により抽出された前記検出点データに合わせて、前記画像部分探索手段により検出された前記画像部分の位置を補正する画像部分補正手段と、
    を有することを特徴とする物体検出装置。
  2. 　前記画像部分補正手段は、前記検出点抽出手段により抽出された前記検出点データから成る領域の端部に前記画像部分の端部が一致するように、前記画像部分の位置を補正することを特徴とする、請求項１に記載の物体検出装置。
  3. 　前記画像部分補正手段は、前記検出点抽出手段により抽出された前記検出点データが前記画像部分の外側にある場合に前記画像部分の位置を補正することを特徴とする、請求項１又は２に記載の物体検出装置。
  4. 　前記画像部分補正手段において用いる検出点データは、前記画像部分探索手段において用いる画像データの撮像よりも後に検出された検出点データであることを特徴とする、請求項１～３のいずれか一項に記載の物体検出装置。
  5. 　前記物体検出部は、前記検出点抽出手段により抽出された前記検出点データと前記画像部分補正手段により位置を補正された画像部分とから、前記検出対象物体に関する情報を演算する物体情報演算手段を更に有することを特徴とする、請求項１～４のいずれか一項に記載の物体検出装置。
  6. 　前記検出対象物体は車両であることを特徴とする、請求項１～５のいずれか一項に記載の物体検出装置。
PCT/JP2009/065251 2008-09-05 2009-09-01 物体検出装置 WO2010026959A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112009001686.3T DE112009001686B4 (de) 2008-09-05 2009-09-01 Objekterfassungsvorrichtung
US12/988,941 US8466827B2 (en) 2008-09-05 2009-09-01 Object detecting device
CN200980112554.8A CN102084408B (zh) 2008-09-05 2009-09-01 物体检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-228812 2008-09-05
JP2008228812A JP4434296B1 (ja) 2008-09-05 2008-09-05 物体検出装置

Publications (1)

Publication Number Publication Date
WO2010026959A1 true WO2010026959A1 (ja) 2010-03-11

Family

ID=41797127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/065251 WO2010026959A1 (ja) 2008-09-05 2009-09-01 物体検出装置

Country Status (5)

Country Link
US (1) US8466827B2 (ja)
JP (1) JP4434296B1 (ja)
CN (1) CN102084408B (ja)
DE (1) DE112009001686B4 (ja)
WO (1) WO2010026959A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109823325A (zh) * 2017-11-23 2019-05-31 摩拓泰汽车部件有限公司 用于驱动车辆的自动紧急制动系统的传感器融合系统

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135830B2 (en) * 2010-02-18 2015-09-15 Xsight Systems Ltd. Airport travel surface edge lighting and foreign object detection system and method
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP5455772B2 (ja) * 2010-04-27 2014-03-26 本田技研工業株式会社 車両の周辺監視装置
WO2012154262A2 (en) * 2011-02-21 2012-11-15 TransRobotics, Inc. System and method for sensing distance and/or movement
JP5874252B2 (ja) * 2011-09-07 2016-03-02 株式会社Ihi 対象物との相対位置計測方法と装置
CN104508720B (zh) 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
EP2894619A4 (en) * 2012-09-03 2016-03-16 Toyota Motor Co Ltd DEVICE AND METHOD FOR COLLISION DETERMINATION
US10206610B2 (en) 2012-10-05 2019-02-19 TransRobotics, Inc. Systems and methods for high resolution distance sensing and applications
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
US9989626B2 (en) 2013-04-12 2018-06-05 Hitachi, Ltd. Mobile robot and sound source position estimation system
KR101843073B1 (ko) * 2013-05-31 2018-03-28 도요타 지도샤（주） 차량의 운전 지원 장치 및 차량 탑재 컴퓨터
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
US9557415B2 (en) * 2014-01-20 2017-01-31 Northrop Grumman Systems Corporation Enhanced imaging system
JP6459659B2 (ja) * 2014-03-18 2019-01-30 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
US10495732B2 (en) * 2014-07-03 2019-12-03 GM Global Technology Operations LLC Vehicle radar methods and systems
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
KR20160082309A (ko) * 2014-12-30 2016-07-08 현대모비스 주식회사 레이저스캐너를 이용한 레이더센서의 차량 추적위치 보정 시스템 및 방법
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
DE102015116586A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
DE102015116574A1 (de) * 2015-09-30 2017-03-30 Claas E-Systems Kgaa Mbh & Co Kg Selbstfahrende landwirtschaftliche Arbeitsmaschine
US10137904B2 (en) 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
JP6536521B2 (ja) * 2016-09-22 2019-07-03 株式会社デンソー 物体検知装置及び物体検知方法
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
KR102494260B1 (ko) * 2016-12-06 2023-02-03 주식회사 에이치엘클레무브 차량의 주행 지원 장치 및 이의 구동 방법
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
JP6818907B2 (ja) * 2017-11-20 2021-01-27 三菱電機株式会社 障害物認識装置および障害物認識方法
CN108363060A (zh) * 2018-01-19 2018-08-03 上海思岚科技有限公司 一种动态障碍物检测方法及设备
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US11399137B2 (en) 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
EP3719532B1 (en) 2019-04-04 2022-12-28 Transrobotics, Inc. Technologies for acting based on object tracking
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
JP7290104B2 (ja) 2019-12-23 2023-06-13 株式会社デンソー 自己位置推定装置、方法及びプログラム
CN111401208B (zh) * 2020-03-11 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111583716B (zh) * 2020-04-29 2022-06-14 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN112528763B (zh) * 2020-11-24 2024-06-21 浙江华锐捷技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
JP2004037239A (ja) * 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
NL1023016C2 (nl) * 2003-03-25 2004-09-30 Tno Detectiesysteem, werkwijze voor het detecteren van objecten en computerprogramma daarvoor.
DE10324895A1 (de) 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
JP4074577B2 (ja) 2003-11-07 2008-04-09 ダイハツ工業株式会社 車両検出方法及び車両検出装置
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4193886B2 (ja) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 画像表示装置
EP2227299B1 (en) * 2007-09-07 2012-07-18 Edh Us Llc Methods and processes for detecting a mark on a playing surface and for tracking an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2006293835A (ja) * 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109823325A (zh) * 2017-11-23 2019-05-31 摩拓泰汽车部件有限公司 用于驱动车辆的自动紧急制动系统的传感器融合系统

Also Published As

Publication number Publication date
JP4434296B1 (ja) 2010-03-17
JP2010061567A (ja) 2010-03-18
CN102084408A (zh) 2011-06-01
DE112009001686B4 (de) 2024-08-01
US20110050482A1 (en) 2011-03-03
CN102084408B (zh) 2015-11-25
DE112009001686T5 (de) 2012-01-12
US8466827B2 (en) 2013-06-18

Similar Documents

Publication Publication Date Title
JP4434296B1 (ja) 物体検出装置
JP4858574B2 (ja) 物体検出装置
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
JP5470886B2 (ja) 物体検出装置
JP6564346B2 (ja) 駐車支援装置及び駐車支援方法
US10762656B2 (en) Information processing device, imaging device, apparatus control system, information processing method, and computer program product
US20120313806A1 (en) Object detecting apparatus and object detecting method
JP2009174900A (ja) 物体検出装置、物体検出方法および物体検出システム
US20180218228A1 (en) Apparatus and method for controlling vehicle
US9905013B2 (en) Speed calculating device and speed calculating method, and collision determination device
US20170227634A1 (en) Object recognition apparatus using a plurality of object detecting means
US20180149740A1 (en) Object detection apparatus and object detection method
JP5083172B2 (ja) 衝突予測装置
JP2009140175A (ja) 白線検出装置
KR20160082309A (ko) 레이저스캐너를 이용한 레이더센서의 차량 추적위치 보정 시스템 및 방법
JP4052291B2 (ja) 車両用画像処理装置
JP6429360B2 (ja) 物体検出装置
JP2009098025A (ja) 物体検出装置
US10706586B2 (en) Vision system for a motor vehicle and method of controlling a vision system
US10909850B2 (en) Movement track detection apparatus, moving object detection apparatus, and movement track detection method
JP2010071942A (ja) 物体検出装置
JP2010032429A (ja) 物体検出装置
JP5717416B2 (ja) 運転支援制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980112554.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811485

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12988941

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09811485

Country of ref document: EP

Kind code of ref document: A1