WO2016186171A1 - 物体検出装置、及び物体検出方法 - Google Patents

物体検出装置、及び物体検出方法 Download PDF

Info

Publication number
WO2016186171A1
WO2016186171A1 PCT/JP2016/064895 JP2016064895W WO2016186171A1 WO 2016186171 A1 WO2016186171 A1 WO 2016186171A1 JP 2016064895 W JP2016064895 W JP 2016064895W WO 2016186171 A1 WO2016186171 A1 WO 2016186171A1
Authority
WO
WIPO (PCT)
Prior art keywords
lateral position
target
host vehicle
lateral
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/064895
Other languages
English (en)
French (fr)
Inventor
田村　圭
洋介 伊東
明憲 峯村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US15/575,314 priority Critical patent/US10527719B2/en
Publication of WO2016186171A1 publication Critical patent/WO2016186171A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object detection device and an object detection method for detecting an object using a radar and an imaging device.
  • a safety system such as PCS (Pre-crash safety system) has been developed to avoid collisions or reduce damage caused by collisions.
  • PCS Pre-crash safety system
  • the distance between the host vehicle and the object vehicles other than the host vehicle, obstacles, pedestrians, etc.
  • the lateral position indicating the position of the object with respect to the vehicle width direction of the host vehicle, It is necessary to accurately grasp the size and the like.
  • an object detection device that detects an object using a radar and an imaging device. Since radar detects an object to be detected as an electromagnetic wave reflection point as a radar target, it can accurately detect the distance to the object, but it may be difficult to correctly identify the size and lateral position of the object. Conceivable. Since the imaging device extracts an object as an image target by performing image processing on the captured image, it can accurately detect the size and lateral position of the object, but it may be difficult to correctly specify the distance to the object. Conceivable.
  • Patent Document 1 the radar target acquired by the radar and the image target acquired by the imaging device are collated, and it is determined that the radar target and the image target are from the same object.
  • the radar target and the imaging target are fused (fused) to create a new target (fusion target).
  • the distance of the fusion target is set based on the detection distance of the radar target, and the lateral position of the fusion target is generated by combining information on both the radar target and the image target. Therefore, the object detection capability of the object detection device can be improved by using this fusion target (see Patent Document 1).
  • the lateral position of the object recognized by the fusion target does not always coincide with the end of the object detected in the captured image of the imaging device.
  • the object detection device of the embodiment includes first target information of an object in front of the own vehicle acquired as a reflected wave of a carrier wave, and second target information of the object in front of the own vehicle acquired by image processing of an imaging device. And a fusion target generating unit that generates a fusion target, and detects the object using the fusion target, the vehicle of the host vehicle using the fusion target.
  • First lateral position acquisition means for acquiring a first lateral position representing the position of the object with respect to the width direction, and a second lateral position representing the position of the object with respect to the vehicle width direction of the host vehicle using the second target information.
  • Second lateral position acquisition means for acquiring a position; and lateral position selection means for selecting, as the lateral position of the object, a lateral position closest to the host vehicle among the first lateral position and the second lateral position. .
  • the schematic block diagram of an object detection apparatus The figure which shows the attachment state of the imaging device and radar in the own vehicle.
  • Explanatory drawing of the calculation principle of a fusion target Explanatory drawing regarding selection of a horizontal position.
  • Explanatory drawing regarding the horizontal position correction of a target The flowchart regarding the selection process of a horizontal position.
  • the object detection device functions as a PCS system that is mounted on a vehicle (own vehicle), detects an object that exists in front of the own vehicle, and performs various controls to avoid / reduce collisions with the object. To do.
  • the object detection device 100 mounted on the host vehicle includes an ECU 10, a radar 21, an imaging device 22, various sensors, and a braking device 30.
  • the radar 21 detects an object ahead of the host vehicle as a radar target LT by using a directional electromagnetic wave such as a millimeter wave or a laser. As shown in FIG. 2, the radar 21 is attached at the front portion of the host vehicle 50 so that the optical axis X ⁇ b> 1 faces the front of the vehicle.
  • the radar 21 scans a region 61 that spreads over a range of a predetermined angle ⁇ 1 around the optical axis X1 around the optical axis X1 with a radar signal at every predetermined time, and reflects the electromagnetic wave reflected on the surface of an object outside the vehicle. Is output to the ECU 10.
  • the radar 21 detects an object when a reflected wave of a radar wave (carrier wave) can be received with a reception intensity equal to or higher than a predetermined value. For this reason, every time the radar 21 receives a reflected wave with a reception intensity equal to or higher than a predetermined threshold, the radar 21 receives one radar target LT and outputs the radar target LT to the ECU 10.
  • the radar target LT includes information such as the distance to the object in the traveling direction of the host vehicle, the relative speed, and the lateral position indicating the position of the host vehicle in the vehicle width direction.
  • the radar 21 can accurately detect the distance and relative speed with the object in the traveling direction of the host vehicle, but has a feature that the detection accuracy of the lateral position of the object is relatively low.
  • the imaging device 22 is a CCD camera, a monocular camera, a stereo camera, or the like, and is installed near the upper end of the windshield of the host vehicle 50 as shown in FIG. That is, the imaging device 22 is attached at a position in the front-rear direction with respect to the attachment position of the radar 21. Then, at every predetermined time, an image 62 is acquired by capturing an area 62 that extends in the range of the predetermined angle ⁇ 2 toward the front of the vehicle with the imaging axis X2 as the center. Then, the captured image is subjected to image processing to obtain an object as an image target GT and output to the ECU 10.
  • the image target GT includes information such as the lateral width of the object in addition to the distance and relative speed with the object in the traveling direction of the host vehicle, the lateral position indicating the position of the host vehicle in the vehicle width direction. Therefore, the ECU 10 recognizes the image target GT as information having a predetermined width. Note that the imaging device 22 has a relatively low detection accuracy of the distance and relative speed in the traveling direction of the host vehicle, but has a high detection accuracy such as the lateral position and the lateral width of the object.
  • a yaw rate sensor 23 is a known sensor that detects the turning angular velocity (yaw rate ⁇ ) of the vehicle.
  • the vehicle speed sensor 24 detects the speed of the host vehicle (the host vehicle speed V) based on the rotational speed of the wheels.
  • the steering angle sensor 25 detects an angle at which the steering wheel of the host vehicle is rotated as a steering angle.
  • the ECU 10 is an electronic control unit that controls the entire object detection apparatus 100.
  • the ECU 10 is mainly composed of a CPU, and includes a ROM, a RAM, an I / O, and the like.
  • the ECU 10 detects objects (vehicles, obstacles, pedestrians, etc.) other than the own vehicle based on the information of each target acquired by the radar 21 and the imaging device 22. Then, the ECU 10 determines whether or not the own vehicle may collide with these objects. When it is determined that the possibility of a collision is high, the ECU 10 operates the braking device 30.
  • the braking device 30 As the braking device 30, a speaker, a seat belt, a brake, and the like are provided. For example, if the ECU 10 determines that there is a high possibility that the host vehicle will collide with an object, an alarm is sent to the driver by operating the speaker, the seat belt is wound up, or the collision speed is reduced by braking. Implement various controls.
  • the ECU 10 includes a radar target acquisition unit 11, an imaging target acquisition unit 12, a fusion processing unit 13, a lateral position selection unit 14, a collision prediction unit 15, a vehicle control unit 16, and the like.
  • the radar target acquisition unit 11 acquires information on the radar target LT detected by the radar 21 at predetermined intervals.
  • the imaging target acquisition unit 12 acquires information on the image target GT detected by the imaging device 22 every predetermined period.
  • the fusion processing unit 13 generates a fusion target FNS by repeating the target search process and the fusion target generation process at predetermined intervals.
  • generation of the fusion target FNS will be described in detail with reference to FIG.
  • the coordinate system of the imaging device 22 is indicated by a solid line
  • the coordinate system of the radar 21 is indicated by a broken line.
  • the vehicle width direction of the host vehicle is the X axis
  • the traveling direction of the host vehicle orthogonal to the vehicle width direction is the Y axis.
  • the fusion processing unit 13 is within the search range S centering on the radar target LT (xm, ym). It is determined whether there is an image target GT included in the. When there is an image target GT included in the search range S, the image target GT and the radar target LT are similar and are determined to be the same object. In the example of FIG. 3, it is determined that the image target GT (xi, yi) and the radar target LT (xm, ym) are the same object.
  • the fusion processing unit 13 integrates the radar target LT (xm, ym) determined to be the same object and the image target GT (xi, yi) by the fusion target generation process, and the fusion target FNS. (Xf, yf) is generated.
  • the fusion processing unit 13 determines that the line connecting the image target GT (xi, yi) and the origin of the host vehicle (the origin of the coordinate system of the imaging device 22) and the radar target LT (xm, ym) x
  • the position yf in the traveling direction of the host vehicle in the fusion target FNS is set as the distance ym of the radar target LT
  • the position xf in the vehicle width direction of the fusion target FNS is set in the vehicle width direction of the image target GT.
  • the position xi is set as a reference
  • the position of the object is specified by information that the radar 21 and the imaging device 22 are good at, and the recognition accuracy of the position of the object can be improved.
  • the lateral position of the fusion target FNS set by integrating the lateral positions of the radar target LT and the image target GT is based on the lateral position of the target detected by the image processing of the captured image by the imaging device 22. It has also been found that the position may be output as a position away from the own vehicle or a position close to the own vehicle.
  • the lateral position selection unit 14 causes the lateral position of the fusion target FNS (FNS lateral position Y1), the lateral position at the left end (left lateral position Y2) of the image target GT of the same object, and the lateral position at the right end.
  • the position (right lateral position Y3) is compared.
  • a lateral position close to the host vehicle is selected as a lateral position to be controlled by the PSC (hereinafter referred to as a PCS lateral position).
  • the center position of the host vehicle M1 in the vehicle width direction is an axis (own lane O)
  • the distance d1 between the own lane O and the FNS lateral position Y1 is compared.
  • the left lateral position Y2 with the shortest distance to the own lane O is selected as the PCS lateral position.
  • the lateral position selection unit 14 obtains an estimated R that is the curve radius (the reciprocal of the curvature) of the predicted course of the host vehicle. Then, the lateral position selection unit 14 corrects each lateral position using the estimated R.
  • the correction by the correction value ⁇ x is not performed when the host vehicle is stopped when the estimated R is zero or when the host vehicle is traveling straight ahead when the estimated R is larger than a predetermined threshold.
  • the radar 21 or the imaging device 22 acquires the radar target LT.
  • the PCS lateral position may be selected based on the target information. Specifically, when only the radar target LT is detected, the lateral position selection unit 14 selects the radar lateral position of the radar target LT as the PCS lateral position. When only the image target GT is detected, the lateral position selection unit 14 selects the one of the left lateral position Y2 and the right lateral position Y3 of the image target GT that has a shorter distance from the own lane O. Select in the horizontal position.
  • the lateral position selection unit 14 selects the FNS lateral position Y1 of the fusion target FNS as the PCS lateral position.
  • a pedestrian has a weaker reflected wave from the radar 21 than a moving body formed of a metal body such as a vehicle. For this reason, when the reflection intensity of the radar 21 is less than a predetermined value, it can be determined that the object is a pedestrian. In addition to this, it may be determined whether or not the object is a pedestrian by extracting the characteristics of the pedestrian by image processing of the imaging device 22.
  • the collision prediction unit 15 determines whether or not there is a possibility of collision between the host vehicle and the object, using the lateral position selected by the lateral position selection unit 14.
  • the vehicle control unit 16 outputs a signal for operating the braking device 30 when there is a possibility of collision between the host vehicle and an object.
  • the radar target acquisition unit 11 and the imaging target acquisition unit 12 read information on the radar target LT and the image target GT, respectively (S11).
  • the fusion processing unit 13 determines whether or not the radar target LT and the image target GT satisfy the fusion condition (S12). This process makes an affirmative determination when the image target GT exists in the search range S set in S11.
  • the fusion processing unit 13 integrates the radar target LT and the image target GT to generate a fusion target FNS (S13). Then, the fusion processing unit 13 calculates the FNS lateral position Y1 of the fusion target FNS, the left lateral position Y2, and the right lateral position Y3 of the image target GT (S14).
  • the fusion processing unit 13 obtains an estimated R from the detection result of the yaw rate ⁇ and the host vehicle speed V (S15). Next, the fusion processing unit 13 determines whether or not the correction condition based on the estimation R is satisfied (S16). In this processing, a negative determination is made when the host vehicle is stopped when the estimated R is zero, and when the host vehicle is traveling straight ahead when the estimated R is greater than a predetermined threshold, and a positive determination is made otherwise. To do.
  • the process proceeds to S19. If an affirmative determination is made in S16, the fusion processing unit 13 calculates a correction value ⁇ x from the estimated R (S17). Then, the fusion processing unit 13 corrects each of the FNS lateral position Y1, the left lateral position Y2, and the right lateral position Y3 using the correction value ⁇ x calculated in S17 (S18).
  • the lateral position selection unit 14 determines whether or not the object specified by the fusion target FNS is a pedestrian (S19). If it is determined in S19 that the person is a pedestrian, the lateral position selection unit 14 selects the FNS lateral position Y1 of the fusion target FNS as the PCS lateral position (S21).
  • the lateral position selection unit 14 determines the own lane O among the FNS lateral position Y1, the left lateral position Y2, and the right lateral position Y3. Is selected as the PCS horizontal position (S20).
  • the lateral position selection unit 14 determines whether only the radar target LT has been detected (S22). If the determination is affirmative, the lateral position selection unit 14 selects the radar lateral position of the radar target LT as the PCS lateral position (S23). If a negative determination is made in S22, the lateral position selection unit 14 determines whether only the image target GT has been detected (S24). If an affirmative determination is made, the lateral position selection unit 14 selects the lateral position having the shorter distance from the own lane O among the left lateral position Y2 and the right lateral position Y3 as the PCS lateral position (S25). If a negative determination is made in S24, that is, if both the radar target LT and the image target GT are not detected, the process ends.
  • the collision prediction unit 15 determines whether or not the distance between the PCS lateral position and the own lane O is equal to or greater than a predetermined value (S31). If an affirmative determination is made in S31, that is, if the possibility of collision between the host vehicle and the object is low, the process ends. When a negative determination is made in S31, that is, when the distance between the PCS lateral position and the own lane O is less than a predetermined value, the collision prediction unit 15 divides the distance between the object and the own vehicle by the relative speed between the object and the like.
  • the TTC Time-To-Collision
  • the vehicle control unit 16 compares the TTC with the operation timing T1 of the braking device 30 (S33). If the TTC is equal to or less than the operation timing T1, it means that the TTC has reached the operation timing T1, and therefore the vehicle control unit 16 transmits a drive signal to the braking device 30 (S34). On the other hand, if TTC is larger than the operation timing, the process is terminated. In this case, the possibility of collision with an object is low, and the braking device 30 is not driven.
  • the fusion target is obtained by fusing the radar target LT of the object ahead of the host vehicle acquired as a reflected wave of the radar and the image target GT of the object ahead of the host vehicle acquired by the image processing of the imaging device 22.
  • the target FNS is generated, and the lateral position of the object (FNS lateral position) with respect to the vehicle width direction of the host vehicle is obtained using the fusion target FNS, the FNS is determined from the lateral position of the object detected by the image processing of the captured image. There is a possibility that the lateral position is calculated as a position away from the host vehicle.
  • the lateral position of the object with respect to the vehicle width direction of the host vehicle is calculated from the image target GT acquired by the image processing of the imaging device 22, and the host vehicle is calculated from the FNS lateral position and the lateral position acquired from the image target GT.
  • the horizontal position closest to is selected as the horizontal position of the object. In this case, the lateral position of the object with respect to the host vehicle can be obtained more correctly.
  • the left lateral position Y2 corresponding to the left end and the right lateral position Y3 corresponding to the right end at the rear end of the object are acquired by image processing of the captured image, and the FNS lateral position Y1, the left lateral position Y2, and the right lateral position Y3 are compared.
  • the lateral position closest to the host vehicle can be appropriately selected.
  • the lateral position of the target can be more easily specified using the determination result.
  • the curvature (estimated curve) of the predicted course of the host vehicle is estimated and each lateral position is corrected based on the curvature, the calculation accuracy of the lateral position of the object with respect to the host vehicle can be increased.
  • the calculation accuracy of the lateral position can be improved while reducing the calculation load.
  • the lateral position of the acquired target among the radar target LT and the image target GT is set as an object.
  • the horizontal position of the object can be selected even in a situation where the fusion target FNS is not generated.
  • the present invention is not limited to the above, and may be implemented as follows.
  • the same components as those described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the PCS lateral position is selected by comparing the FNS lateral position Y1 of the fusion target FNS with the left lateral position Y2 and the right lateral position Y3 of the image target GT. In addition to this, when it can be specified whether the object is present on the left or right side with respect to the own vehicle, the FNS lateral position Y1 and one of the left lateral position Y2 and the right lateral position Y3 of the image target GT By comparison, the PCS lateral position can be specified.
  • the FNS lateral position Y1 is compared with the right lateral position Y3.
  • the FNS lateral position Y1 is compared with the left lateral position Y2.
  • the horizontal position that is close to the own lane O is selected as the PCS horizontal position.
  • the PCS lateral position may be selected using the radar lateral position of the radar target LT in addition to the FNS lateral position Y1, the left lateral position Y2 and the right lateral position Y3 of the imaging target.
  • the accuracy of selecting the lateral position closest to the own lane O can be increased in consideration of the lateral position of the radar target LT.
  • the distance threshold may be variably set according to the relative speed between the host vehicle and the object.
  • the processing of whether or not the object is a pedestrian may be omitted. That is, regardless of whether or not the user is a pedestrian, the PCS lateral position may be selected by comparing the FNS lateral position Y1 with the left lateral position Y2 and the right lateral position Y3 of the image target GT.
  • the lateral position selection process may be performed on the condition that the object is determined to be a vehicle having a predetermined vehicle width. Whether the object is a vehicle having a predetermined vehicle width is such that the intensity of the reflected wave by the radar 21 is greater than or equal to a predetermined value, and the lateral width of the object detected by image processing of the imaging device 22 is greater than or equal to a predetermined value. Yes, if you have
  • the object detection device of the embodiment includes the first target information of an object ahead of the host vehicle acquired as a reflected wave of a carrier wave, and the second object of the object ahead of the host vehicle acquired by image processing of the imaging device (22).
  • a fusion target generation unit that generates a fusion target by fusing the target information, and detects the object using the fusion target, the self-detection device using the fusion target;
  • First lateral position acquisition means for acquiring a first lateral position representing the position of the object with respect to the vehicle width direction of the vehicle, and the position of the object with respect to the vehicle width direction of the host vehicle using the second target information
  • Second lateral position acquisition means for acquiring a second lateral position;
  • lateral position selection means for selecting, as the lateral position of the object, a lateral position closest to the host vehicle among the first lateral position and the second lateral position; .
  • the object detection apparatus of the above embodiment includes the first target information of an object in front of the host vehicle acquired as a reflected wave of a carrier wave, and the first target information of the object in front of the host vehicle acquired by image processing of the imaging device (22).
  • a fusion target generating unit that fuses two target information to generate a fusion target, and is an object detection device that detects the object using the fusion target, wherein the fusion target is used to detect the object.
  • First lateral position acquisition means for acquiring a first lateral position representing the position of the object with respect to the vehicle width direction of the host vehicle, and the position of the object with respect to the vehicle width direction of the host vehicle using the second target information.
  • Second lateral position acquisition means for acquiring a second lateral position to be represented, and lateral position selection means for selecting, as the lateral position of the object, a lateral position closest to the host vehicle among the first lateral position and the second lateral position. And comprising.
  • the first target information of the object ahead of the host vehicle acquired as a reflected wave of the carrier wave
  • the second target information of the object ahead of the host vehicle acquired by image processing of the imaging device
  • the detected image processing is performed on the captured image.
  • the first lateral position is calculated as a position away from the host vehicle rather than the lateral position of the object.
  • the lateral position (second lateral position) of the object with respect to the vehicle width direction of the host vehicle is calculated from the second target information acquired by the image processing of the imaging device, and the first lateral position and the second lateral position are calculated.
  • the lateral position closest to the host vehicle is selected as the lateral position of the object. In this case, the lateral position of the object relative to the host vehicle can be obtained more correctly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

　物体検出装置は、搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて前記物体を検出する物体検出装置であって、前記フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の位置を表す第１横位置を取得する第１横位置取得手段と、前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を取得する第２横位置取得手段と、前記第１横位置及び前記第２横位置のうち前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、を備える。

Description

物体検出装置、及び物体検出方法
　本発明は、レーダ及び撮像装置を用いて物体を検出する物体検出装置、及び物体検出方法に関する。
　ＰＣＳ（Pre-crash　safety　system）等の衝突回避又は衝突による被害低減のための安全システムが開発されている。安全システムを適切に作動させるためには、自車両と物体（自車両以外の車両、障害物、歩行者等）との距離、自車両の車幅方向に対する物体の位置を表す横位置、物体の大きさ等を正確に把握する必要がある。
　これらを把握する技術として、レーダ及び撮像装置を用いて物体を検出する物体検出装置が知られている。レーダは、電磁波の反射点として検出対象となる物体をレーダ物標として検出するため、物体までの距離を精度よく検出できるが、物体の大きさや横位置を正しく特定することが困難であることが考えられる。撮像装置は、撮影画像を画像処理することで物体を画像物標として抽出するため、物体の大きさや横位置を精度よく検出できるが、物体までの距離を正しく特定することが困難であることが考えられる。
　そこで、特許文献１では、レーダで取得されたレーダ物標と、撮像装置で取得された画像物標とを照合し、レーダ物標と画像物標とが同一の物体によるものであると判定した場合には、レーダ物標と撮像物標とを融合（フュージョン）させて新たな物標（フュージョン物標）を作成する。なお、フュージョン物標の距離は、レーダ物標の検出距離に基づき設定され、フュージョン物標の横位置は、レーダ物標と画像物標の両方の情報を合成して生成される。そのため、このフュージョン物標を用いることで、物体検出装置による物体の検出能力を向上することができる（特許文献１参照）。
特開２０１１－３９８３３号公報
　ところで、安全システムを適切に作動するためには、自車両と物体との接近状態が正しく認識される必要がある。しかし、フュージョン物標で認識される物体の横位置は、撮像装置の撮影画像で検出される物体の端部と一致するとは限らないことが分かった。
　一実施形態は、物体の検出精度を向上でできる物体検出装置、及び物体検出方法を提供する。
　実施形態の物体検出装置は、搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて前記物体を検出する物体検出装置であって、前記フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の位置を表す第１横位置を取得する第１横位置取得手段と、前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を取得する第２横位置取得手段と、前記第１横位置及び前記第２横位置のうち前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、を備える。
物体検出装置の概略構成図。 自車両における撮像装置とレーダの取付状態を示す図。 フュージョン物標の算出原理の説明図。 横位置の選択に関する説明図。 物標の横位置補正に関する説明図。 横位置の選択処理に関するフローチャート。 運転支援処理に関するフローチャート。
　以下、各実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
　本実施形態に係る物体検出装置は、車両（自車両）に搭載され、自車両の前方に存在する物体を検出し、その物体との衝突を回避／軽減すべく各種制御を行うＰＣＳシステムとして機能する。
　図１において、自車両に搭載される物体検出装置１００は、ＥＣＵ１０、レーダ２１、撮像装置２２、各種センサ、制動装置３０を備えている。
　レーダ２１は、ミリ波やレーザ等の指向性のある電磁波を利用して自車両前方の物体をレーダ物標ＬＴとして検出する。図２に示すように、レーダ２１は、自車両５０の前部においてその光軸Ｘ１が車両前方を向くように取り付けられている。そしてレーダ２１は、所定時間ごとに、光軸Ｘ１を中心に車両前方に向かって所定角度θ１の範囲に亘って広がる領域６１をレーダ信号により走査するとともに、車外の物体の表面で反射された電磁波を受信し、ＥＣＵ１０へ出力する。
　なお、レーダ２１においては、レーダ波（搬送波）の反射波を所定値以上の受信強度で受信できた場合に物体を検出したことになる。そのため、レーダ２１は所定の閾値以上の受信強度で反射波を受信する毎に、１個のレーダ物標ＬＴを受信したとして、そのレーダ物標ＬＴをＥＣＵ１０へ出力する。
　レーダ物標ＬＴには、自車両の進行方向の物体との距離や相対速度、自車両の車幅方向の位置を表す横位置等の情報が含まれている。なお、レーダ２１は、自車両の進行方向における物体との距離や相対速度を精度よく検出できるが、物体の横位置の検出精度は比較的に低い特徴を有している。
　撮像装置２２は、ＣＣＤカメラ、単眼カメラ、ステレオカメラ等であり、図２に示すように、自車両５０のフロントガラスの上端付近等に設置されている。すなわち、撮像装置２２は、レーダ２１の取付位置に対して前後方向の位置に取り付けられている。そして所定時間毎に、撮像軸Ｘ２を中心に車両前方に向かって所定角度θ２の範囲で広がる領域６２を撮影して撮影画像を取得する。そして、撮像画像を画像処理することで物体を画像物標ＧＴとして取得し、ＥＣＵ１０へ出力する。
　画像物標ＧＴには、自車両の進行方向における物体との距離や相対速度、自車両の車幅方向の位置を表す横位置に加えて、物体の横幅等の情報が含まれている。そのため、ＥＣＵ１０は、画像物標ＧＴを所定の幅を有する情報として認識することとなる。なお撮像装置２２は、自車両の進行方向における距離や相対速度の検出精度は比較的に低いが、物体の横位置や横幅等の検出精度が高い特徴を有している。
　各種センサとしては、ヨーレートセンサ２３、車速センサ２４、操舵角センサ２５が設けられている。ヨーレートセンサ２３は、車両の旋回角速度（ヨーレートγ）を検出する周知のセンサでる。車速センサ２４は、車輪の回転速度に基づき自車両の速度（自車速Ｖ）を検出する。操舵角センサ２５は、自車両のステアリングホイールが回転操作された角度を操舵角として検出する。
　ＥＣＵ１０は、物体検出装置１００全体の制御を行う電子制御ユニットであり、ＣＰＵを主体として構成され、ＲＯＭ，ＲＡＭ、Ｉ／Ｏ等を備えている。ＥＣＵ１０は、レーダ２１及び撮像装置２２で取得した各物標の情報に基づいて、自車両以外の物体（車両や障害物、歩行者等）を検出する。そして、ＥＣＵ１０は、自車両がこれらの物体と衝突する可能性があるか否かを判定する。衝突する可能性が高いと判定した場合には、ＥＣＵ１０は、制動装置３０を作動させる。なお、制動装置３０としてはスピーカ、シートベルト、ブレーキ等が設けられている。例えばＥＣＵ１０は、自車両が物体に衝突する可能性が高いと判定した場合には、スピーカの作動で運転者に警報を発信したり、シートベルトの巻き上げをしたり、ブレーキによって衝突速度を低減する等の各種制御を実施する。
　ＥＣＵ１０は、レーダ物標取得部１１、撮像物標取得部１２、フュージョン処理部１３、横位置選択部１４、衝突予測部１５および車両制御部１６などを備えている。
　レーダ物標取得部１１は、所定周期毎にレーダ２１が検出したレーダ物標ＬＴの情報を取得する。撮像物標取得部１２は、所定周期毎に撮像装置２２が検出した画像物標ＧＴの情報を取得する。
　フュージョン処理部１３は、所定周期毎に、物標探索処理やフュージョン物標生成処理を繰り返して、フュージョン物標ＦＮＳを生成する。ここで図３を用いてフュージョン物標ＦＮＳの生成について詳しく説明する。なお図中において、撮像装置２２の座標系を実線、レーダ２１の座標系を破線で示している。また、各座標系において、自車両の車幅方向をＸ軸、車幅方向に直交する自車両の進行方向をＹ軸としている。
　まず、物標探索処理として、フュージョン処理部１３は、レーダ物標取得部１１でレーダ物標ＬＴを取得している場合、そのレーダ物標ＬＴ（ｘｍ，ｙｍ）を中心とした探索範囲Ｓ内に含まれる画像物標ＧＴがあるか否かを判定する。探索範囲Ｓ内に含まれる画像物標ＧＴがある場合には、その画像物標ＧＴとレーダ物標ＬＴとは類似性があり、同一の物体であると判定される。図３の例では、画像物標ＧＴ（ｘｉ，ｙｉ）とレーダ物標ＬＴ（ｘｍ，ｙｍ）とが同一の物体であると判定される。
　この場合、フュージョン物標生成処理により、フュージョン処理部１３は、同一物体と判定されたレーダ物標ＬＴ（ｘｍ，ｙｍ）と画像物標ＧＴ（ｘｉ，ｙｉ）とを統合してフュージョン物標ＦＮＳ（ｘｆ，ｙｆ）を生成する。
　詳しくは、フュージョン処理部１３は、画像物標ＧＴ（ｘｉ，ｙｉ）と自車両の原点（撮像装置２２の座標系の原点）とを結ぶ線と、レーダ物標ＬＴ（ｘｍ，ｙｍ）からｘ軸方向に延びる線との交点を、フュージョン物標ＦＮＳ（ｘｆ，ｙｆ）の座標（位置）に設定する。すなわち、フュージョン物標ＦＮＳにおいては、Ｘ軸方向の位置ｘｆ＝（ｙｍ／ｙｉ）×ｘｉ、ｙ軸方向の位置ｙｆ＝ｙｍに設定される。
　このように、フュージョン物標ＦＮＳにおける自車両の進行方向の位置ｙｆを、レーダ物標ＬＴの距離ｙｍとし、フュージョン物標ＦＮＳの車幅方向の位置ｘｆを、画像物標ＧＴの車幅方向の位置ｘｉを基準として設定した場合、レーダ２１と撮像装置２２とが得意な情報により物体の位置が特定されることとなり、物体の位置の認識精度を向上できる。
　しかし、レーダ物標ＬＴと画像物標ＧＴとの横位置を統合して設定されたフュージョン物標ＦＮＳの横位置は、撮像装置２２による撮像画像の画像処理で検出される物標の横位置よりも、自車両から離れた位置又は自車両に近い位置として出力される場合があることが分かった。
　そこで本実施形態では、横位置選択部１４によって、フュージョン物標ＦＮＳの横位置（ＦＮＳ横位置Ｙ１）と、同一物体の画像物標ＧＴの左端の横位置（左横位置Ｙ２）と右端の横位置（右横位置Ｙ３）とを比較する。そして、これらの各横位置のうち、自車両に近い横位置をＰＳＣによる制御対象の横位置（以下、ＰＣＳ横位置）として選択する。
　図４を用いて詳しく説明すると、自車両Ｍ１の車幅方向の中心位置を軸（自車線Ｏ）とすると、自車線ＯとＦＮＳ横位置Ｙ１との距離ｄ１と、自車線Ｏと左横位置Ｙ２との距離ｄ２と、自車線Ｏと右横位置Ｙ３との距離ｄ３とを比較する。この場合、自車線Ｏに対する距離が最も短い左横位置Ｙ２を、ＰＣＳ横位置として選択する。
　ところで、自車両がカーブを走行する場合には、自車線Ｏと各横位置との距離がその影響を受けて変化する。そこで本実施形態では、横位置選択部１４は、自車両の予測進路のカーブ半径（曲率の逆数）である推定Ｒを求める。そして横位置選択部１４は、推定Ｒを用いて各横位置を補正する。
　詳しくは、図５において、横位置選択部１４は、車速センサ２４で検出した自車速Ｖ、ヨーレートセンサ２３で検出したヨーレートγに基づき、推定Ｒ＝Ｖ／γとして算出する。そして、横位置選択部１４は、推定Ｒと、先行車両Ｍ２との距離Ｄを用いて、横位置の補正値ΔｘをΔｘ＝Ｄ・Ｄ／２Ｒとして算出する。そして横位置選択部１４は、算出した補正値Δｘを用いて、ＦＮＳ横位置Ｙ１、左横位置Ｙ２および右横位置Ｙ３の各横位置を補正する。そして横位置選択部１４は、補正後の各横位置を比較することにより、自車線Ｏとの距離が最も短い横位置を、ＰＣＳ横位置に選択する。
　なお推定Ｒがゼロとなる自車両停止中や、推定Ｒが所定の閾値よりも大きくなる自車両の直進走行時には、補正値Δｘによる補正を行わないようにする。これにより、例えば、直進とみなせる推定Ｒの大きい領域においては、ドライバのふらつきの影響を排除しつつ、ＰＣＳ横位置の算出精度を向上できる。
　また、レーダ物標ＬＴと画像物標ＧＴが融合（フュージョン）していない場合、すなわちレーダ２１及び撮像装置２２の一方のみで物体が検出されている場合には、レーダ２１又は撮像装置２２で取得した物標情報に基づいて、ＰＣＳ横位置を選択すればよい。詳しくは、レーダ物標ＬＴのみが検出された場合には、横位置選択部１４は、レーダ物標ＬＴのレーダ横位置をＰＣＳ横位置に選択する。画像物標ＧＴのみが検出されている場合には、横位置選択部１４は、画像物標ＧＴの左横位置Ｙ２及び右横位置Ｙ３のうち、自車線Ｏとの距離が短い方を、ＰＣＳ横位置に選択する。
　更には、フュージョン物標ＦＮＳが生成されている場合においても、物体が歩行者の場合には、上述したような横位置のずれは生じがたい。そこで、物体が歩行者であると判定される場合には、横位置選択部１４は、フュージョン物標ＦＮＳのＦＮＳ横位置Ｙ１をＰＣＳ横位置に選択する。なお歩行者は、車両等の金属体で形成された移動体に比べて、レーダ２１の反射波が弱い。このため、レーダ２１の反射強度が所定値未満である場合には、物体が歩行者であると判定できる。これ以外にも、撮像装置２２の画像処理で歩行者の特徴を抽出することにより、物体が歩行者であるか否かを判定してもよい。
　図１の説明に戻り、衝突予測部１５は、横位置選択部１４で選択された横位置を用いて、自車両と物体とが衝突の可能性があるか否かを判定する。車両制御部１６は、自車両と物体との衝突の可能性がある場合に、制動装置３０を作動させるための信号を出力する。
　次に、本実施形態の物標の横位置の選択処理手順について図６を用いて説明する。なお本処理は、ＥＣＵ１０の起動状態で、所定周期で繰り返し実施される。
　まず、レーダ物標取得部１１と撮像物標取得部１２は、それぞれレーダ物標ＬＴ及び画像物標ＧＴの情報を読み込む（Ｓ１１）。次に、フュージョン処理部１３は、レーダ物標ＬＴと画像物標ＧＴとがフュージョン条件を満たしているか否かを判定する（Ｓ１２）。本処理は、Ｓ１１で設定した探索範囲Ｓに画像物標ＧＴが存在している場合に肯定判定する。
　レーダ物標ＬＴと画像物標ＧＴとがフュージョン条件を満たしている場合、フュージョン処理部１３は、レーダ物標ＬＴと画像物標ＧＴとを統合してフュージョン物標ＦＮＳを生成する（Ｓ１３）。そしてフュージョン処理部１３は、フュージョン物標ＦＮＳのＦＮＳ横位置Ｙ１、画像物標ＧＴの左横位置Ｙ２，右横位置Ｙ３を算出する（Ｓ１４）。
　次に、フュージョン処理部１３は、ヨーレートγと、自車速Ｖの検出結果から推定Ｒを求める（Ｓ１５）。次にフュージョン処理部１３は、推定Ｒによる補正条件を満たしているか否かを判定する（Ｓ１６）。本処理は、推定Ｒがゼロとなる自車両の停車中および、推定Ｒが所定の閾値よりも大きくなる自車両の直進状態の直進走行の際に否定判定し、それ以外の場合には肯定判定する。
　Ｓ１６で否定判定した場合には、本処理はＳ１９に進む。Ｓ１６で肯定判定した場合には、フュージョン処理部１３は、推定Ｒから補正値Δｘを算出する（Ｓ１７）。そしてフュージョン処理部１３は、Ｓ１７で算出した補正値Δｘを用いて、ＦＮＳ横位置Ｙ１、左横位置Ｙ２、右横位置Ｙ３の各々を補正する（Ｓ１８）。
　次に、横位置選択部１４は、フュージョン物標ＦＮＳで特定される物体が歩行者であるか否かを判定する（Ｓ１９）。Ｓ１９で歩行者であると判定した場合には、横位置選択部１４は、フュージョン物標ＦＮＳのＦＮＳ横位置Ｙ１をＰＣＳ横位置に選択する（Ｓ２１）。
　Ｓ１９で否定判定した場合、すなわち歩行者以外の物体（車両等）の場合には、横位置選択部１４は、ＦＮＳ横位置Ｙ１と、左横位置Ｙ２及び右横位置Ｙ３のうち、自車線Ｏとの距離が最も短い横位置を、ＰＣＳ横位置に選択する（Ｓ２０）。
　一方、Ｓ１２でフュージョン条件を満たしていない場合には、横位置選択部１４は、レーダ物標ＬＴのみが検出されたか否かを判定する（Ｓ２２）。肯定判定した場合には、横位置選択部１４は、レーダ物標ＬＴのレーダ横位置をＰＣＳ横位置に選択する（Ｓ２３）。Ｓ２２で否定判定した場合には、横位置選択部１４は、画像物標ＧＴのみが検出されたか否かを判定する（Ｓ２４）。肯定判定した場合には、横位置選択部１４は、左横位置Ｙ２及び右横位置Ｙ３のうち、自車線Ｏとの距離が短い方の横位置がＰＣＳ横位置に選択する（Ｓ２５）。Ｓ２４で否定判定した場合、すなわちレーダ物標ＬＴと画像物標ＧＴの両方を検出していない場合には、処理を終了する。
　次に、ＥＣＵ１０による運転支援作動処理について、図７に記載のフローチャートを用いて説明する。なお本処理は、ＥＣＵ１０の起動状態で、所定周期で繰り返し実施する。
　まず、衝突予測部１５は、ＰＣＳ横位置と自車線Ｏとの距離が所定値以上であるか否かを判定する（Ｓ３１）。Ｓ３１で肯定判定した場合、すなわち自車両と物体との衝突可能性が低い場合には、処理を終了する。Ｓ３１で否定判定した場合、すなわちＰＣＳ横位置と自車線Ｏとの距離が所定値未満の場合には、衝突予測部１５は、物体と自車両との距離を物体との相対速度で除算する等の方法によって、当該物体についてのＴＴＣ(Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ)を算出する（Ｓ３２）。
　次に、車両制御部１６は、ＴＴＣと制動装置３０の作動タイミングＴ１とを比較する（Ｓ３３）。ＴＴＣが作動タイミングＴ１以下であれば、ＴＴＣが作動タイミングＴ１に到達したことを意味するため、車両制御部１６は、制動装置３０へ駆動信号を送信する（Ｓ３４）。一方、ＴＴＣが作動タイミングよりも大きければ、処理を終了する。この場合には、物体との衝突の可能性が低く、制動装置３０が駆動されないこととなる。
　上記実施形態によれば以下の優れた効果を奏することができる。
　レーダの反射波として取得される自車両前方の物体のレーダ物標ＬＴと、撮像装置２２の画像処理で取得される自車両前方の物体の画像物標ＧＴとを融合（フュージョン）してフュージョン物標ＦＮＳを生成し、当該フュージョン物標ＦＮＳを用いて自車両の車幅方向に対する物体の横位置（ＦＮＳ横位置）を求める場合、撮影画像の画像処理で検出した物体の横位置よりも、ＦＮＳ横位置が自車両から離れた位置として算出される可能性がある。そこで、撮像装置２２の画像処理で取得される画像物標ＧＴから自車両の車幅方向に対する物体の横位置を算出し、ＦＮＳ横位置と画像物標ＧＴから取得した横位置のうちで自車両に最も近い横位置を物体の横位置に選択するようにした。この場合、自車両に対する物体の横位置をより正しく求めることができる。
　撮影画像の画像処理によって物体の後端部における左端に対応する左横位置Ｙ２及び右端に対応する右横位置Ｙ３を取得し、ＦＮＳ横位置Ｙ１、左横位置Ｙ２、右横位置Ｙ３を比較して、物体の横位置を判定することとしたため、自車両に最も近い横位置を適切に選択することができる。
　自車両に対して物体が右側にあるか左側にあるかを判定できる場合には、その判定結果を利用して、物標の横位置をより簡単に特定することができる。
　自車両の予測進路の曲率（推定カーブ）を推定し、当該曲率に基づいて、横位置の各々を補正することとしたため、自車両に対する物体の横位置の算出精度を高めることができる。
　曲率が所定の閾値よりも大きくなる自車両の直進状態の際には、横位置の補正を実施しないこととしたため、演算負荷の軽減を図りつつ、横位置の算出精度を高めることができる。
　レーダ物標ＬＴ及び画像物標ＧＴの一方が検出されないことで、フュージョン物標ＦＮＳが生成されない場合には、レーダ物標ＬＴ及び画像物標ＧＴのうち、取得された物標の横位置を物体の横位置に選択するようにしたため、フュージョン物標ＦＮＳが生成されない状況においても、物体の横位置を選択することができる。
　本発明は上記に限定されず次のように実施してもよい。なお以下の説明において上記と同様の構成については同じ図番号を付し詳述を省略する。
　上記では、フュージョン物標ＦＮＳのＦＮＳ横位置Ｙ１と、画像物標ＧＴの左横位置Ｙ２と右横位置Ｙ３とを比較してＰＣＳ横位置を選択する例を示した。これ以外にも、自車両に対して物体が左右のいずれに存在するかを特定できる場合には、ＦＮＳ横位置Ｙ１と、画像物標ＧＴの左横位置Ｙ２及び右横位置Ｙ３の一方との比較により、ＰＣＳ横位置を特定することができる。
　例えば、撮像装置２２の撮影画像を画像処理することで自車両に対して物体が右側にあるか左側にあるかを検出できる。このことを利用して、自車両に対して物体が左側にある場合には、ＦＮＳ横位置Ｙ１と右横位置Ｙ３とを比較する。自車両に対して物体が右側にある場合には、ＦＮＳ横位置Ｙ１と左横位置Ｙ２とを比較する。そしてこの場合にも、自車線Ｏに対する距離が近い横位置がＰＣＳ横位置に選択されることとなる。
　上記において、ＦＮＳ横位置Ｙ１、撮像物標の左横位置Ｙ２及び右横位置Ｙ３に加えて、レーダ物標ＬＴのレーダ横位置を用いて、ＰＣＳ横位置を選択してもよい。この場合、レーダ物標ＬＴの横位置を考慮して、自車線Ｏに対して最も近い横位置を選択する精度を高めることができる。
　上記において、自車両と物標との距離が所定値未満となる際に、ＴＴＣが作動タイミング以下となる可能性が生じる。そこで、レーダ２１で検出した物標の距離が所定の閾値未満となる際に、上述したようなＰＣＳ横位置の選択が行われてもよい。なお距離の閾値は、自車両と物体との相対速度に応じて可変設定されるとよい。
　上記の図６の処理において、物体が歩行者であるか否かの処理を省略してもよい。すなわち歩行者であるか否かに関わらず、ＦＮＳ横位置Ｙ１と、画像物標ＧＴの左横位置Ｙ２及び右横位置Ｙ３との比較を行うことにより、ＰＣＳ横位置を選択してもよい。
　上記において、物体が所定の車幅を有する車両であると判定されたことを条件に、上記の横位置の選択処理が実施されてもよい。なお物体が所定の車幅を有する車両であるかは、レーダ２１による反射波の強度が所定値以上であり、且つ撮像装置２２の画像処理等で検出される物体の横幅が所定値以上の大きさを有する場合に肯定できる。
　実施形態の物体検出装置は、搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置（２２）の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて前記物体を検出する物体検出装置であって、前記フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の位置を表す第１横位置を取得する第１横位置取得手段と、前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を取得する第２横位置取得手段と、前記第１横位置及び前記第２横位置のうち前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、を備える。
　上記実施形態の物体検出装置は、搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置（２２）の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて前記物体を検出する物体検出装置であって、前記フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の位置を表す第１横位置を取得する第１横位置取得手段と、前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を取得する第２横位置取得手段と、前記第１横位置及び前記第２横位置のうち前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、を備える。
　上記実施形態によれば、搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成し、当該フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の横位置（第１横位置）を求める場合、撮影画像の画像処理で検出した前記物体の横位置よりも、第１横位置が前記自車両から離れた位置として算出される可能性がある。そこで、前記撮像装置の画像処理で取得される前記第２物標情報から前記自車両の車幅方向に対する前記物体の横位置（第２横位置）を算出し、第１横位置と第２横位置のうちで前記自車両に最も近い横位置を前記物体の横位置に選択するようにした。この場合、前記自車両に対する前記物体の横位置をより正しく求めることができる。
　１０:ＥＣＵ、２１:レーダ、２２:撮像装置、１００:物体検出装置。

Claims (11)

  1. 　搬送波の反射波として取得される自車両前方の物体の第１物標情報と、撮像装置（２２）の画像処理で取得される前記自車両前方の物体の第２物標情報とを融合してフュージョン物標を生成するフュージョン物標生成部を備え、前記フュージョン物標を用いて前記物体を検出する物体検出装置であって、
    　前記フュージョン物標を用いて前記自車両の車幅方向に対する前記物体の位置を表す第１横位置を取得する第１横位置取得手段と、
    　前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を取得する第２横位置取得手段と、
    　前記第１横位置及び前記第２横位置のうち前記自車両に最も近い横位置を前記物体の横位置として選択する横位置選択手段と、
    　を備えることを特徴とする物体検出装置。
  2. 　前記第２横位置取得手段は、前記物体の後端部における左端に対応する左横位置及び右端に対応する右横位置を前記第２横位置として取得するものであって、
    　前記横位置選択手段は、前記第１横位置、前記第２横位置としての前記左横位置及び前記右横位置のうち、前記自車両に最も近い横位置を前記物体の横位置として選択する請求項１に記載の物体検出装置。
  3. 　前記自車両に対して前記物体が左側及び右側のいずれにあるかを判定する物標位置判定手段を備え、
    　前記横位置選択手段は、前記物体が前記自車両の右側にある場合には、前記第１横位置と前記左横位置とを比較し、前記物体が前記自車両の左側にある場合には、前記第１横位置と前記右横位置とを比較することにより、前記自車両に最も近い横位置を選択する請求項２に記載の物体検出装置。
  4. 　前記第１物標情報から前記自車両に対する前記物体の第３横位置を取得するものであって、
    　前記横位置選択手段は、前記第１横位置、前記第２横位置及び前記第３横位置のうち、前記自車両に最も近い横位置を選択する請求項１乃至３のいずれか１項に記載の物体検出装置。
  5. 　前記自車両の予測進路の曲率を推定する予測進路推定手段と、
    　前記予測進路推定手段が推定した前記曲率に基づいて、前記第１及び第２横位置取得手段で取得された前記横位置の各々を補正する横位置補正手段と、
    　を備えることを特徴とする請求項１乃至４のいずれか１項に記載の物体検出装置。
  6. 　前記横位置補正手段は、前記曲率が所定の閾値よりも大きくなる前記自車両の直進状態の際には、前記横位置の補正を実施しない請求項５に記載の物体検出装置。
  7. 　前記横位置選択手段は、前記フュージョン物標が生成されない場合には、前記第１物標情報及び前記第２物標情報のいずれかで取得した横位置を選択する請求項１乃至６のいずれか１項に記載の物体検出装置。
  8. 　前記フュージョン物標で特定される前記物体の種類を判定する物体種類判定手段を備え、
    　前記横位置選択手段は、前記物体が歩行者であると判定された場合には、前記第１横位置を前記物標の横位置として選択する請求項１乃至７のいずれか１項に記載の物体検出装置。
  9. 　前記第１物標情報を取得する第１取得手段（２１）と、前記第２物標情報を取得する第２取得手段（２２）とは、前記自車両において互いに前後方向に異なる位置に設けられている請求項１乃至８のいずれか１項に記載の物体検出装置。
  10. 　前記横位置選択手段で選択された前記横位置を用いて、前記物標に対する運転支援を行うか否かを判定する運転支援判定手段を備える請求項１乃至９のいずれか１項に記載の物体検出装置。
  11. 　搬送波の反射波として取得される第１物標情報と、撮像装置（２２）の画像処理で取得される第２物標情報とを融合してフュージョン物標を生成するステップと、
    　当該フュージョン物標を用いて自車両の車幅方向に対する物体の位置を表す第１横位置を求めるステップと、
    　前記第２物標情報を用いて前記自車両の車幅方向に対する前記物体の位置を表す第２横位置を算出するステップと、
    　前記第１横位置及び前記第２横位置のうち前記自車両に近い横位置を前記物体の横位置として選択するステップと、
    　を備えることを特徴とする物体検出方法。
PCT/JP2016/064895 2015-05-19 2016-05-19 物体検出装置、及び物体検出方法 Ceased WO2016186171A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/575,314 US10527719B2 (en) 2015-05-19 2016-05-19 Object detection apparatus and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-101571 2015-05-19
JP2015101571A JP6380232B2 (ja) 2015-05-19 2015-05-19 物体検出装置、及び物体検出方法

Publications (1)

Publication Number Publication Date
WO2016186171A1 true WO2016186171A1 (ja) 2016-11-24

Family

ID=57320430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064895 Ceased WO2016186171A1 (ja) 2015-05-19 2016-05-19 物体検出装置、及び物体検出方法

Country Status (3)

Country Link
US (1) US10527719B2 (ja)
JP (1) JP6380232B2 (ja)
WO (1) WO2016186171A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107202983A (zh) * 2017-05-19 2017-09-26 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
DE102016224913A1 (de) * 2016-12-14 2018-06-14 Robert Bosch Gmbh Verfahren zur selbsttätigen Einstellung der Geschwindigkeit eines Motorrads
JP6551384B2 (ja) * 2016-12-26 2019-07-31 トヨタ自動車株式会社 車両用注意喚起装置
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
JP7044000B2 (ja) * 2018-07-20 2022-03-30 株式会社デンソー 車両制御装置および車両制御方法
US12158516B2 (en) * 2018-11-14 2024-12-03 Sony Group Corporation Control device, control method and sensor control system
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
DE102021102480A1 (de) 2021-02-03 2022-08-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum bestimmen einer ersten montageposition zumindest einer ersten sensorvorrichtung eines assistenzsystems eines kraftfahrzeugs sowie assistenzsystem
CN114862931A (zh) * 2022-05-31 2022-08-05 小米汽车科技有限公司 深度距离确定方法、装置、车辆、存储介质与芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248532A (ja) * 2010-05-25 2011-12-08 Toyota Motor Corp 先行車検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
JP2014197325A (ja) * 2013-03-29 2014-10-16 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405128B1 (en) * 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP2011039833A (ja) 2009-08-12 2011-02-24 Fujitsu Ltd 車両検出装置、車両検出プログラム、および車両検出方法
JP5471195B2 (ja) * 2009-09-03 2014-04-16 トヨタ自動車株式会社 物体検出装置
JP4883246B2 (ja) * 2009-12-08 2012-02-22 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2011164989A (ja) * 2010-02-10 2011-08-25 Toyota Motor Corp ふらつき判定装置
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP6281459B2 (ja) 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JP6375828B2 (ja) * 2014-09-25 2018-08-22 ブラザー工業株式会社 搬送装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248532A (ja) * 2010-05-25 2011-12-08 Toyota Motor Corp 先行車検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
JP2014197325A (ja) * 2013-03-29 2014-10-16 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107202983A (zh) * 2017-05-19 2017-09-26 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Also Published As

Publication number Publication date
JP6380232B2 (ja) 2018-08-29
JP2016218651A (ja) 2016-12-22
US10527719B2 (en) 2020-01-07
US20180149740A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
JP5862785B2 (ja) 衝突判定装置及び衝突判定方法
JP6536521B2 (ja) 物体検知装置及び物体検知方法
JP6561584B2 (ja) 車両制御装置、及び車両制御方法
JP6512164B2 (ja) 物体検出装置、物体検出方法
JP6443318B2 (ja) 物体検出装置
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
WO2018079252A1 (ja) 物体検知装置
JP5012270B2 (ja) 物体検出装置
JP2019052920A (ja) 物体検出装置、物体検出方法及び車両制御システム
WO2017111135A1 (ja) 走行支援装置及び走行支援方法
JP6520783B2 (ja) 車両検知装置
WO2017104387A1 (ja) 物体検知装置及び物体検知方法
JP2019012323A (ja) 車両制御装置
EP2894618B1 (en) Speed calculating device and speed calculating method, and collision determination device
JP6432538B2 (ja) 衝突予測装置
WO2017171082A1 (ja) 車両制御装置、車両制御方法
JP2016192167A (ja) 車両制御装置、及び車両制御方法
JP6429360B2 (ja) 物体検出装置
WO2017145845A1 (ja) 衝突予測装置
JP2017054311A (ja) 物体検出装置
WO2017183668A1 (ja) 車両制御装置、車両制御方法
JP6531689B2 (ja) 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
JP6451565B2 (ja) 運転支援装置、及び運転支援方法
JP2012014520A (ja) 障害物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796564

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15575314

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796564

Country of ref document: EP

Kind code of ref document: A1