WO2016047495A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2016047495A1
WO2016047495A1 PCT/JP2015/076117 JP2015076117W WO2016047495A1 WO 2016047495 A1 WO2016047495 A1 WO 2016047495A1 JP 2015076117 W JP2015076117 W JP 2015076117W WO 2016047495 A1 WO2016047495 A1 WO 2016047495A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
detection device
direction based
optical flow
vehicle
Prior art date
Application number
PCT/JP2015/076117
Other languages
English (en)
French (fr)
Inventor
崇弘 馬場
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/513,520 priority Critical patent/US10217024B2/en
Publication of WO2016047495A1 publication Critical patent/WO2016047495A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a technique for detecting an object using a radar and a camera.
  • Patent Document 1 a configuration for detecting an object, which is information about an object, using a radar and a camera has been proposed (see Patent Document 1). Specifically, in the configuration described in Patent Document 1, objects are detected independently by the millimeter wave radar and the monocular camera, and the positional relationship between the objects satisfies the determination criterion (particularly, they are close to each other). Case), it is determined that these objects are the same object.
  • an object detection apparatus that detects an object using a radar and a camera and that can more accurately determine whether or not they are the same object is provided. It is an object of the present invention to do this.
  • the first trajectory estimation unit estimates the trajectory of the first object detected by the electromagnetic wave sensor that detects the position of the object by transmitting and receiving electromagnetic waves, and the optical flow acquisition unit An optical flow of a large number of feature points in the captured image is acquired by performing image processing on the captured image obtained in this way.
  • the movement direction coincidence determination unit matches the movement direction based on the optical flow at the plurality of feature points existing around the first object among the many feature points and the movement direction based on the trajectory of the first object. It is determined whether or not to do. Then, the same determination unit includes a second object representing an object specified by a plurality of feature points on condition that the moving direction based on the trajectory of the first object matches the moving direction based on the optical flow, and It is determined that the first object is the same object.
  • the first object and the second object are the same object using the trajectory of the first object detected by the electromagnetic wave sensor and the optical flow by image processing. Therefore, it can be determined with higher accuracy whether or not the first object and the second object are the same.
  • a collision mitigation device 1 is a device mounted on a moving body such as a vehicle.
  • the collision mitigation apparatus 1 detects an object (information on an object such as another vehicle or a pedestrian) using a radar and a camera image, and when there is a possibility of colliding with the object, an impact when avoiding or colliding with the object
  • the vehicle has a function of performing control such as braking the host vehicle.
  • it is accurately recognized whether the object detected by the radar and the object detected by the camera are one object (the same object) or different objects. It has a function.
  • the collision mitigation device 1 includes a millimeter wave radar 2, a monocular camera 3, a brake ECU 4, an engine ECU 5, a notification device 6, and a collision mitigation ECU 7.
  • the collision mitigation ECU 7 is communicably connected to each of the millimeter wave radar 2, the monocular camera 3, the brake ECU 4, the engine ECU 5, and the notification device 6. Note that the configuration for realizing communication is not particularly limited.
  • the millimeter wave radar 2 is a radar for detecting an object (such as another vehicle or a pedestrian) using millimeter waves, and is located at the center (front end) of the own vehicle (the vehicle on which the collision mitigation device 1 is mounted). Position). The millimeter wave radar 2 transmits the millimeter wave forward while scanning the millimeter wave in a horizontal plane, and transmits the transmission / reception data obtained by receiving the reflected millimeter wave to the collision mitigation ECU 7 as a radar signal. .
  • the monocular camera 3 includes one CCD camera and is attached to the center of the front side of the vehicle interior of the host vehicle.
  • the monocular camera 3 transmits image data captured by the CCD camera to the collision reduction ECU 7 as an image signal.
  • the brake ECU 4 is an electronic control device that controls braking of the host vehicle, and includes a CPU, a ROM, a RAM, and the like. Specifically, the brake ECU 4 controls the brake ACT, which is an actuator that opens and closes the pressure increase control valve and the pressure reduction control valve provided in the brake fluid pressure circuit, according to the detection value of the sensor that detects the depression amount of the brake pedal. Control. Further, the brake ECU 4 controls the brake ACT so as to increase the braking force of the host vehicle in accordance with an instruction from the collision reduction ECU 7.
  • the engine ECU 5 is an electronic control device that controls engine start / stop, fuel injection amount, ignition timing, and the like, and includes a CPU, a ROM, a RAM, and the like. Specifically, the engine ECU 5 controls a throttle ACT, which is an actuator that opens and closes a throttle provided in the intake pipe, according to a detection value of a sensor that detects the amount of depression of the accelerator pedal. Further, the engine ECU 5 controls the throttle ACT so as to reduce the driving force of the internal combustion engine in accordance with an instruction from the collision mitigation ECU 7.
  • the collision mitigation ECU 7 is an electronic control unit that performs overall control of the collision mitigation apparatus 1 and includes a CPU, a ROM, a RAM, and the like.
  • the collision mitigation ECU 7 takes in the radar signal from the millimeter wave radar 2 and the image signal from the monocular camera 3 at regular intervals based on the master clock of the CPU.
  • the collision mitigation ECU 7 stores a collision mitigation program that is a program for realizing object detection by the collision mitigation apparatus 1 and for mitigating the collision.
  • the collision mitigation processing executed by the collision mitigation ECU 7 in accordance with the collision mitigation program will be described with reference to the flowchart of FIG.
  • the process shown in FIG. 2 is repeatedly executed at a predetermined cycle.
  • the collision mitigation ECU 7 first calculates a linear distance from the host vehicle to the object and a horizontal azimuth position of the object (an angular position with respect to the front direction of the host vehicle) based on the radar signal. Calculate (specify).
  • the position coordinates (X coordinate and Y coordinate) of the object on the XY plane are calculated (specified) as the detection point Pr of the object on the XY plane.
  • the vehicle width direction (lateral direction) of the host vehicle is the X axis
  • the vehicle length direction (front direction) of the host vehicle is the Y axis.
  • the object detection point Pr is set at the center of the plurality of detection points, for example.
  • the front end position of the host vehicle (the position where the millimeter wave radar 2 is provided) is set as the reference point Po, and the object detection point Pr represents the relative position with respect to the reference point Po.
  • FIG. 3 is an example of an object located in front of the host vehicle and on the right side.
  • a relative speed with the object may be calculated.
  • the object detected in S110 (information on the object detected based on the detection information by the millimeter wave radar 2) is referred to as “radar object”.
  • a radar error region 21 centered on the radar object detection point Pr calculated in S110 is set (S120).
  • the collision mitigation ECU 7 uses the X-coordinate and the Y-coordinate of the detection point Pr of the radar object as a reference, and the assumed error set in advance based on the characteristics of the millimeter wave radar 2 for each of the X-coordinate and the Y-coordinate.
  • An area having a width of minutes ( ⁇ ) is set as the radar error area 21.
  • the collision reduction ECU 7 identifies an object by analyzing a captured image represented by the image signal. This identification is performed by, for example, matching processing using a pre-registered object model.
  • the collision mitigation ECU 7 specifies the Y coordinate in the XY plane described above based on the vertical position of the object in the captured image, and based on the horizontal position of the object in the captured image, the horizontal azimuth position of the object (An angular position based on the forward direction of the host vehicle) is specified.
  • the Y coordinate can be specified based on the height of the lower end position of the object in the captured image.
  • such a specifying method has a characteristic that the detection accuracy of the Y coordinate is lowered when the lower end position of the object is not accurately detected.
  • the deviation of the object in the left-right direction tends to increase.
  • direction position of an object can be specified based on the distance from the infinity point in a captured image to the perpendicular line which passes along the center of an object.
  • the Y coordinate and horizontal azimuth position (angular position) of the object on the XY plane are specified as the detection point Pi of the object on the XY plane.
  • the object detection point Pi is set, for example, at the center in the width direction of the object.
  • the object detection point Pi represents a relative position with respect to the reference point Po.
  • the object detected in S130 (information relating to an object detected based on an image captured by the monocular camera 3) is referred to as an “image object”.
  • an image error region 22 centered on the detection point Pi of the image object calculated in S130 is set (S140).
  • the collision mitigation ECU 7 uses the Y coordinate and the horizontal azimuth position of the detection point Pi as a reference for each of the Y coordinate and the horizontal azimuth position based on the characteristics of the monocular camera 3 set in advance.
  • a region having a width is set as an image error region 22.
  • the same determination process is a process of determining whether or not the radar object and the image object are the same object.
  • the moving speed of the radar object in the horizontal direction (X direction) is calculated (S310).
  • the locus of the radar object is obtained by using the history of the position of the radar object in the past, and the X-direction component per unit time in the locus is further obtained.
  • an optical flow is calculated (S320).
  • a large number of feature points are set at the edge of the captured image (a portion where the difference in luminance between adjacent pixels is equal to or greater than a predetermined value). How to move as a vector.
  • a stationary object such as a white line or a tree moves so as to appear from the FOE.
  • a moving object that moves from the left and right of the captured image such as a jumping pedestrian or a bicycle, is detected so as to move with respect to a vanishing point different from the FOE.
  • the position and distance of an object (flow object) that moves with respect to the vanishing point different from the FOE by the optical flow is acquired (S325).
  • the position and distance of the flow object may be obtained by the same method as that for the image object.
  • a region excluding a region having an angle ⁇ (for example, about 45 degrees) from the camera axis (center axis) to the left and right and excluding a region exceeding the distance D is set region 41.
  • the setting area 41 the movement is recognized to be larger than when the object moving at the same speed is in another position. Therefore, it can be said that the setting area 41 is an area where the movement of the object can be accurately recognized by the optical flow.
  • the setting area 41 is set to be rectangular in the lower part of the left and right end portions in the captured image.
  • the process proceeds to S350. If the flow object is located within the setting area 41 (S330: YES), it is determined whether or not the lateral movement speed of the radar object matches the lateral movement speed of the flow object (S340). ). The coincidence here does not need to be completely coincident, and is judged to coincide if it is within a preset allowable error range.
  • the process proceeds to S370 described later. If the lateral movement speed of the radar object and the lateral movement speed of the flow object match (S340: YES), the radar error area 21 and the image error area 22 overlap each other on the XY plane (S340: YES). It is determined whether or not (overlapping area) exists (S350). If there is an overlapping part (S350: YES), the radar object and the image object are set as the same object (S360), and the same determination process is terminated.
  • the radar object and the image object are set as other objects that are not the same (S370), and the same determination process is terminated.
  • collision mitigation control is performed according to the detected position of the object (S190). For example, when there is a possibility of collision with an object (when the value of the possibility of collision is a predetermined threshold value or more), an alarm signal is transmitted to the notification device 6 to notify the driver. When the possibility of collision with an object is high, an instruction to reduce the driving force of the internal combustion engine is given to the engine ECU 5, and an instruction to increase the braking force of the host vehicle is given to the brake ECU 4.
  • the collision mitigation ECU 7 corresponds to the object detection device referred to in the present invention.
  • FIG. 1B shows functional blocks representing the functions of the collision mitigation ECU 7 realized by a processor, software, or a combination thereof.
  • the collision mitigation ECU 7 includes a first identification unit 701, a second identification unit 702, a first trajectory estimation unit 703, an optical flow acquisition unit 704, a distance acquisition unit 705, an area determination unit 706, a movement direction coincidence determination unit 707, and an identical determination.
  • a functional block such as a unit 708 is included.
  • the first specifying unit 701 executes the processes of steps S110 and S120.
  • the second specifying unit 702 executes the processes of steps S130 and S140.
  • the first trajectory estimation unit 703 executes the process of step S310.
  • the optical flow acquisition unit 704 executes the process of step S320.
  • the distance acquisition unit 705 executes the process of step S325.
  • the area determination unit 706 executes the process of step S330.
  • the movement direction coincidence determination unit 707 executes the process of step S340.
  • the identical determination unit 708 executes the processes of steps S350 to S370.
  • the collision mitigation ECU 7 estimates the trajectory of the first object (radar object) detected by the electromagnetic wave sensor that detects the position of the object by transmitting and receiving electromagnetic waves, and obtained by the camera. An optical flow of a large number of feature points in the captured image is acquired by performing image processing on the captured image. Further, it is determined whether or not the movement direction based on the optical flow at a plurality of feature points existing around the first object among the many feature points matches the movement direction based on the trajectory of the first object. .
  • a second object representing an object specified by a plurality of feature points, provided that the movement direction based on the trajectory of the first object coincides with the movement direction based on the optical flow, and It is determined that one object is the same object.
  • the first object and the second object are the same object by using the trajectory of the first object detected by the electromagnetic wave sensor and the optical flow by the image processing. Since it is determined whether or not there is, it can be determined more accurately whether or not the first object and the second object are the same.
  • the collision mitigation ECU 7 acquires the distance to the second object. Further, it is determined whether or not the distance to the second object is less than a preset distance threshold, and the position in the captured image of the second object includes the left and right end regions including the left and right end portions of the captured image It is determined whether it is located in. When the distance to the second object is less than the distance threshold and the position of the second object in the captured image is located in the left and right end regions including the left and right ends of the captured image, each movement direction is It is determined whether or not they match.
  • a collision mitigation device 1 when the position of the object can be accurately recognized by the optical flow (the distance is less than the distance threshold and within the left and right end regions), the same is achieved using the optical flow. It is possible to determine whether the object is an object. Therefore, it can be determined whether the first object and the second object are the same with higher accuracy.
  • the collision mitigation ECU 7 has the first object with respect to a reference point on the XY plane in which the vehicle width direction of the vehicle is the X axis and the vehicle length direction of the vehicle is the Y axis.
  • a first region including a first detection point that is a detection point representing the relative position of the first region is specified.
  • a second region including a second detection point that is a detection point representing a relative position of the second object with respect to a reference point on the XY plane is specified.
  • the first object and the second object are provided on the condition that there is an overlap between the area and the second area, and that the movement direction based on the trajectory of the first object matches the movement direction based on the optical flow. Are the same object.
  • the collision mitigation ECU 7 has a left and right end region in which the distance to the second object is equal to or greater than the distance threshold or the position in the captured image of the second object includes the left and right end portions of the captured image.
  • the first object and the second object are not located on the XY plane, it is determined that the first object and the second object are the same object on the condition that there is an overlap between the first area and the second area.
  • various forms such as a system including the collision mitigation device 1 as a constituent element, a program for causing a computer to function as the collision mitigation device 1, a medium on which the program is recorded, and a collision mitigation method
  • the present invention can be realized.
  • the horizontal movement speed is used, but the process may be performed using a movement locus (movement vector) of an object or a feature point.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

　物体検出装置（７）において、第１軌跡推定部（７０３、Ｓ３１０）は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定し、オプティカルフロー取得部（７０４、Ｓ３２０）は、カメラにて得られた撮像画像を画像処理することによってオプティカルフローを取得する。また、移動方向一致判定部（７０７、Ｓ３４０）は、第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する。同一判定部（７０８、Ｓ３５０～Ｓ３７０）は、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体、および第１の物体が同一の物体であると判定する。

Description

物体検出装置 関連出願の相互参照
　本出願は、２０１４年９月２４日に出願された日本出願番号２０１４－１９３８９１号に基づくもので、ここにその記載内容を援用する。
　本発明は、レーダおよびカメラを用いて物体を検出する技術に関する。
　車両の衝突回避システムでは、他の車両や歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体に関する情報である物体を検出する構成が提案されている（特許文献１参照）。具体的には、特許文献１に記載の構成では、ミリ波レーダおよび単眼カメラによりそれぞれ独立して物体が検出され、それら物体の位置関係が判断基準を満たしている場合（特に、近接している場合）に、それらの物体が同一物体であると判定される。
特開２０１４－１２２８７３号公報
　しかしながら、上記システムでは、レーダおよびカメラを用いて検出された物体が近接していると、これらが異なる物体であるとしても同一の物体であると誤認識する虞があった。
　そこで、このような問題点を鑑み、レーダおよびカメラを用いて物体を検出する物体検出装置であって、同一物体であるか否かの判定をより正確に実施することができる物体検出装置を提供することを本発明の目的とする。
　本発明の物体検出装置において第１軌跡推定部は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定し、オプティカルフロー取得部は、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。
　また、移動方向一致判定部は、多数の特徴点のうちの第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する。そして、同一判定部は、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体、および第１の物体が同一の物体であると判定する。
　このような物体検出装置によれば、電磁波センサによって検出された第１の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第１の物体および第２の物体が同一の物体であるか否かを判定するので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
　なお、本発明において「多数」とは「複数」よりも多い概念であり、「多数」は「複数」が２以上である場合、３以上であることを示す。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。
　本発明の上述およびその他の目的、特徴、および利点は、好ましい実施形態に関する以下の詳細な説明を添付の図面と共に読めば、容易に明らかになり、十分に理解できるであろう。
本発明の実施形態による衝突軽減装置の概略構成を示すブロック図である。 衝突軽減ＥＣＵの機能ブロック図である。 衝突軽減ＥＣＵが実行する衝突軽減処理を示すフローチャートである。 誤差領域を示す平面図である。 衝突軽減処理のうちの同一判定処理を示すフローチャートである。 オプティカルフローを示す画像図である。 オプティカルフローを精度よく利用可能な領域を示す平面図である。
　以下、本発明の実施形態を、添付図面を参照しながら、より詳細に説明する。しかし、本発明は、多くの異なる形態で実施されてもよく、本明細書で説明される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、この発明の開示を徹底的でかつ完全にし、本発明の範囲を当業者に完全に伝えるために、提供される。尚、類似の符号は、図面全体にわたって類似の構成要素を示す。
　（構成）
　本発明の実施の一形態による衝突軽減装置１は、車両等の移動体に搭載された装置である。衝突軽減装置１は、レーダおよびカメラ画像を用いて物体（他車両や歩行者等の物体に関する情報）を検出し、この物体と衝突する虞がある場合に、衝突を回避または衝突する際の衝撃を軽減するために、自車両を制動する等の制御を行う機能を有する。特に、本実施形態の衝突軽減装置１においては、レーダによって検出された物体とカメラによって検出された物体とが、１つの物体（同一物体）であるのか、異なる物体であるのかを精度よく認識する機能を備えている。
　衝突軽減装置１は、図１Ａに示すように、ミリ波レーダ２と、単眼カメラ３と、ブレーキＥＣＵ４と、エンジンＥＣＵ５と、報知装置６と、衝突軽減ＥＣＵ７と、を備える。衝突軽減装置１において、衝突軽減ＥＣＵ７は、ミリ波レーダ２、単眼カメラ３、ブレーキＥＣＵ４、エンジンＥＣＵ５および報知装置６のそれぞれと通信可能に接続されている。なお、通信を実現するための構成は、特に限定されない。
　ミリ波レーダ２は、ミリ波を利用して物体（他車両や歩行者等）を検出するためのレーダであって、自車両（衝突軽減装置１が搭載された車両）の前側における中央（先端位置）に取り付けられている。ミリ波レーダ２は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを、レーダ信号として衝突軽減ＥＣＵ７へ送信する。
　単眼カメラ３は、１台のＣＣＤカメラを備え、自車両の車室内の前側における中央に取り付けられている。単眼カメラ３は、ＣＣＤカメラで撮像した画像のデータを、画像信号として衝突軽減ＥＣＵ７へ送信する。
　ブレーキＥＣＵ４は、自車両の制動を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、ブレーキＥＣＵ４は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキＡＣＴを、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキＥＣＵ４は、衝突軽減ＥＣＵ７からの指示に従い、自車両の制動力を増加させるようにブレーキＡＣＴを制御する。
　エンジンＥＣＵ５は、エンジンの始動／停止、燃料噴射量、点火時期等を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、エンジンＥＣＵ５は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルＡＣＴを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンＥＣＵ５は、衝突軽減ＥＣＵ７からの指示に従い、内燃機関の駆動力を減少させるようにスロットルＡＣＴを制御する。
　報知装置６は、衝突軽減ＥＣＵ７から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
　衝突軽減ＥＣＵ７は、衝突軽減装置１を統括制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。衝突軽減ＥＣＵ７は、ＣＰＵのマスタクロックに基づく一定時間ごとに、ミリ波レーダ２からのレーダ信号および単眼カメラ３からの画像信号を取り入れる。
　（処理）
　次に、衝突軽減装置１による物体検出方法および衝突軽減方法について説明する。衝突軽減ＥＣＵ７には、衝突軽減装置１による物体検出を実現するため、および衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ＥＣＵ７が実行する衝突軽減処理について、図２のフローチャートを用いて説明する。なお、図２に示す処理は、所定周期で繰り返し実行される。
　衝突軽減処理では、図２に示すように、まず、ミリ波レーダ２から送信されるレーダ信号（ミリ波レーダ２による検出情報）に基づいて、物体を検出する（Ｓ１１０）。具体的には、衝突軽減ＥＣＵ７は、レーダ信号に基づいて、まず、自車両から物体までの直線距離と、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）と、を算出（特定）する。
　そして、これらの算出値に基づき、図３に示すように、ＸＹ平面における物体の位置座標（Ｘ座標およびＹ座標）を、ＸＹ平面における物体の検出点Ｐｒとして算出（特定）する。このＸＹ平面は、自車両の車幅方向（横方向）をＸ軸、自車両の車長方向（前方方向）をＹ軸、としたものである。ミリ波レーダ２により物体の幅方向において複数の検出点が得られた物体について、物体の検出点Ｐｒは、例えば、それらの複数の検出点の中央に設定される。
　また、このＸＹ平面では、自車両の先端位置（ミリ波レーダ２が設けられた位置）が基準点Ｐｏとして設定され、物体の検出点Ｐｒは基準点Ｐｏに対する相対位置を表す。なお、図３は、自車両の前方かつ右寄りに位置する物体の例である。また、このＳ１１０において、物体の検出点Ｐｒに加え、物体との相対速度等を算出してもよい。また、以下の説明では、Ｓ１１０で検出した物体（ミリ波レーダ２による検出情報に基づいて検出した物体に関する情報）を「レーダ物体」という。
　続いて、図３に示すように、Ｓ１１０で算出したレーダ物体の検出点Ｐｒを中心とするレーダ誤差領域２１を設定する（Ｓ１２０）。具体的には、衝突軽減ＥＣＵ７は、レーダ物体の検出点ＰｒのＸ座標およびＹ座標を基準として、Ｘ座標およびＹ座標のそれぞれについて、ミリ波レーダ２の特性に基づきあらかじめ設定されている想定誤差分（Δθ）の幅を持たせた領域を、レーダ誤差領域２１として設定する。
　続いて、単眼カメラ３から送信される画像信号（単眼カメラ３による撮像画像）に基づいて、物体を検出する（Ｓ１３０）。具体的には、衝突軽減ＥＣＵ７は、画像信号の表す撮像画像を解析して物体を識別する。この識別は、例えば、あらかじめ登録されている物体モデルを用いたマッチング処理により行われる。
　物体モデルは、物体の種類（車両、歩行者等）ごとに用意されているため、物体の種類（種別）も特定される。そして、衝突軽減ＥＣＵ７は、撮像画像における物体の上下方向の位置に基づいて、前述したＸＹ平面におけるＹ座標を特定し、撮像画像における物体の左右方向の位置に基づいて、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）を特定する。
　すなわち、自車両の前方方向における物体の位置が遠い（Ｙ座標が大きい）ほど、撮像画像におけるその物体の下端位置が高くなる傾向にある。このため、撮像画像における物体の下端位置の高さに基づいて、Ｙ座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Ｙ座標の検出精度が下がるという特性がある。
　また、自車両の前方方向（詳細にはＸ＝０の直線）を基準とする物体の角度方向のずれ（傾き）が大きいほど、単眼カメラ３の無限遠点（ＦＯＥ：Ｆｏｃｕｓ　ｏｆ　Ｅｘｐａｎｓｉｏｎ）を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、撮像画像における無限遠点から物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。
　つまり、このＳ１３０においては、図３に示すように、ＸＹ平面における物体のＹ座標および水平方位位置（角度位置）を、ＸＹ平面における物体の検出点Ｐｉとして特定する。なお、物体の検出点Ｐｉは、例えば物体の幅方向の中心に設定される。また、物体の検出点Ｐｉは基準点Ｐｏに対する相対位置を表す。なお、以下の説明では、Ｓ１３０で検出した物体（単眼カメラ３による撮像画像に基づいて検出した物体に関する情報）を「画像物体」という。
　続いて、図３に示すように、Ｓ１３０で算出した画像物体の検出点Ｐｉを中心とする画像誤差領域２２を設定する（Ｓ１４０）。具体的には、衝突軽減ＥＣＵ７は、検出点ＰｉのＹ座標および水平方位位置を基準として、Ｙ座標および水平方位位置のそれぞれについて、単眼カメラ３の特性に基づきあらかじめ設定されている想定誤差分の幅を持たせた領域を、画像誤差領域２２として設定する。
　続いて、同一判定処理を実施する（Ｓ１５０）。同一判定処理は、レーダ物体と画像物体とが同一の物体であるか否かを判定する処理である。
　同一判定処理では、図４に示すように、まず、レーダ物体の横方向（Ｘ方向）の移動速度を演算する（Ｓ３１０）。この処理では、例えばレーダ物体の過去における位置の履歴を利用してレーダ物体の軌跡を求め、この軌跡における単位時間当たりのＸ方向の成分をさらに求める。
　続いて、オプティカルフローを演算する（Ｓ３２０）。この処理では、図５に示すように、例えば、撮像画像のエッジ（隣接する画素の輝度の差が所定値以上となる部位）に多数の特徴点を設定し、これら多数の特徴点が時系列に従ってどのように移動するかをベクトルとして求める。
　例えば、このオプティカルフローにおいて、白線や樹木等の静止物は、ＦＯＥから出現するように移動することが検出される。また、飛び出し歩行者や自転車等の撮像画像左右から移動してくる移動物は、ＦＯＥとは異なる消失点に対して移動するよう検出される。
　続いて、オプティカルフローによってＦＯＥとは異なる消失点に対して移動する物体（フロー物体）について、位置および距離を取得する（Ｓ３２５）。なお、フロー物体の位置および距離は、画像物体と同様の手法で求めればよい。
　続いて、フロー物体が撮像画像の左右端かつ近距離の領域である設定領域に位置しているか否かを判定する（Ｓ３３０）。この処理では、図６に示すように、撮像画像において、カメラ軸（中心軸）から左右に角度θ（例えば４５度程度）の領域を除くとともに、距離Ｄを超える領域を除いた領域を設定領域４１とする。
　設定領域４１内においては、同じ速度で移動する物体が他の位置にある場合よりも、動きが大きく認識される。よって、設定領域４１は、オプティカルフローによって物体の動きが精度よく認識できる領域といえる。
　そして、フロー物体がこの設定領域４１内に位置するか否かを判定する。なお、設定領域４１は、図５に示すように、撮像画像においては、左右の端部の下部にそれぞれ矩形で設定されることになる。
　フロー物体が設定領域４１内に位置していなければ（Ｓ３３０：ＮＯ）、Ｓ３５０の処理に移行する。また、フロー物体が設定領域４１内に位置していれば（Ｓ３３０：ＹＥＳ）、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致するか否かを判定する（Ｓ３４０）。なお、ここでいう一致とは、完全に一致している必要はなく、予め設定された許容誤差範囲内であれば一致していると判定する。
　レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していなければ（Ｓ３４０：ＮＯ）、後述するＳ３７０の処理に移行する。また、レーダ物体の横方向の移動速度とフロー物体の横方向の移動速度とが一致していれば（Ｓ３４０：ＹＥＳ）、ＸＹ平面において、レーダ誤差領域２１と画像誤差領域２２とに重複部（重なり領域）が存在するか否かを判定する（Ｓ３５０）。重複部が存在すれば（Ｓ３５０：ＹＥＳ）、レーダ物体と画像物体とを同一物体として設定し（Ｓ３６０）、同一判定処理を終了する。
　また、重複部が存在しなければ（Ｓ３５０：ＮＯ）、レーダ物体と画像物体とを同一ではない他の物体として設定し（Ｓ３７０）、同一判定処理を終了する。
　続いて、図２に戻り、検出した物体の位置に応じた衝突軽減制御を行う（Ｓ１９０）。例えば、物体に衝突する可能性がある場合（衝突する可能性の値が所定の閾値以上である場合等）に、報知装置６へ警報信号を送信して、運転者に対する報知を行わせる。また、物体に衝突する可能性が高い場合には、エンジンＥＣＵ５へ内燃機関の駆動力を減少させる指示を行い、また、ブレーキＥＣＵ４へ自車両の制動力を増加させる指示を行う。
　上記実施形態において衝突軽減ＥＣＵ７は本発明でいう物体検出装置に相当する。図１Ｂは、プロセッサ、ソフトウェア、またはこれらの組み合わせによって実現される衝突軽減ＥＣＵ７の機能を表す機能ブロックを示している。衝突軽減ＥＣＵ７は、第１特定部７０１、第２特定部７０２、第１軌跡推定部７０３、オプティカルフロー取得部７０４、距離取得部７０５、領域判定部７０６、移動方向一致判定部７０７、及び同一判定部７０８といった機能ブロックを有する。第１特定部７０１は、ステップＳ１１０、Ｓ１２０の処理を実行する。第２特定部７０２は、ステップＳ１３０、Ｓ１４０の処理を実行する。第１軌跡推定部７０３は、ステップＳ３１０の処理を実行する。オプティカルフロー取得部７０４は、ステップＳ３２０の処理を実行する。距離取得部７０５は、ステップＳ３２５の処理を実行する。領域判定部７０６は、ステップＳ３３０の処理を実行する。移動方向一致判定部７０７は、ステップＳ３４０の処理を実行する。同一判定部７０８は、ステップＳ３５０～Ｓ３７０の処理を実行する。
　（効果）
　上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体（レーダ物体）の軌跡を推定し、カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローを取得する。また、多数の特徴点のうちの第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、第１の物体の軌跡による移動方向とが一致するか否かを判定する。
　そして、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、複数の特徴点にて特定される物体を表す第２の物体（フロー物体）、および第１の物体が同一の物体であると判定する。
　このような衝突軽減装置１によれば、電磁波センサによって検出された第１の物体の軌跡と、画像処理によるオプティカルフローとを利用して、第１の物体および第２の物体が同一の物体であるか否かを判定するので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
　また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第２の物体までの距離を取得する。また、第２の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する。そして、第２の物体までの距離が距離閾値未満であり、かつ第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、各移動方向が一致するか否かを判定する。
　このような衝突軽減装置１によれば、オプティカルフローによって物体の動きが精度よく認識できる位置（距離が距離閾値未満であり、かつ左右端領域内）であるときに、オプティカルフローを利用して同一の物体であるか否かを判定することができる。よって、より精度よく第１の物体と第２の物体とが同一であるか否かを判定することができる。
　また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第１の物体について、車両の車幅方向をＸ軸、車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する。また、第２の物体について、ＸＹ平面における基準点に対する第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する。そして、第２の物体までの距離が距離閾値未満、かつ第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、ＸＹ平面において、第１領域と第２領域とに重複部が存在すること、かつ第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。
　このような衝突軽減装置１によれば、第１の物体の軌跡による移動方向とオプティカルフローに基づく移動方向とが一致することだけでなく、ＸＹ平面において、第１領域と第２領域とに重複部が存在することも、同一の物体であると判定する際の条件とするので、第１の物体と第２の物体とが同一であるか否かをより精度よく判定することができる。
　また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第２の物体までの距離が距離閾値以上、または第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、ＸＹ平面において、第１領域と第２領域とに重複部が存在することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。
　このような衝突軽減装置１によれば、オプティカルフローによって物体の動きが精度よく認識できない可能性がある場合（距離が距離閾値以上であり、かつ左右端領域外である場合）に、オプティカルフローを用いることなく第１の物体と第２の物体とが同一の物体であるか否かを判定することができる。
　（その他の実施形態）
　本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
　上述した衝突軽減装置１の他、当該衝突軽減装置１を構成要素とするシステム、当該衝突軽減装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、衝突軽減方法など、種々の形態で本発明を実現することもできる。
　例えば、上記実施形態において、Ｓ３１０、Ｓ３２０、Ｓ３４０の処理では、横方向の移動速度を利用したが、物体や特徴点の移動の軌跡（移動ベクトル）を用いて処理を実施してもよい。
　なお、上記実施形態では、第２の物体までの距離が距離閾値未満、かつ第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合（Ｓ３３０：ＮＯ）に、Ｓ３４０の処理に移行するよう構成したが、Ｓ３３０の処理を省略し、常にＳ３４０の処理を実施するようにしてもよい。

Claims (5)

  1. 　車両に搭載される物体検出装置（７）であって、
    　電磁波を送受信することによって物体の位置を検出する電磁波センサによって検出された第１の物体の軌跡を推定する第１軌跡推定部（７０３、Ｓ３１０）と、
    　カメラにて得られた撮像画像を画像処理することによって撮像画像中の多数の特徴点のオプティカルフローに基づく移動方向を取得するオプティカルフロー取得部（７０４、Ｓ３２０）と、
    　前記多数の特徴点のうちの前記第１の物体の周囲に存在する複数の特徴点におけるオプティカルフローに基づく移動方向と、前記第１の物体の軌跡による移動方向とが一致するか否かを判定する移動方向一致判定部（７０７、Ｓ３４０）と、
    　前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記複数の特徴点にて特定される物体を表す第２の物体、および前記第１の物体が同一の物体であると判定する同一判定部（７０８、Ｓ３５０～Ｓ３７０）と、
    　を備えたことを特徴とする物体検出装置（７）。
  2. 　請求項１に記載の物体検出装置において、
    　前記第２の物体までの距離を取得する距離取得部（７０５、Ｓ３２５）と、
    　前記第２の物体までの距離が予め設定された距離閾値未満であるか否かを判定し、また前記第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置するか否かを判定する領域判定部（７０６、Ｓ３３０）と、
    　を備え、
    　前記移動方向一致判定部（７０７、Ｓ３４０）は、前記第２の物体までの距離が前記距離閾値未満であり、かつ前記第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記各移動方向が一致するか否かを判定すること
    　を特徴とする物体検出装置（７）。
  3. 　請求項１または請求項２に記載の物体検出装置において、
    　前記第１の物体について、前記車両の車幅方向をＸ軸、前記車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する前記第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する第１特定部（７０１、Ｓ１１０、Ｓ１２０）と、
    　前記第２の物体について、前記ＸＹ平面における前記基準点に対する前記第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する第２特定部（７０２、Ｓ１３０、Ｓ１４０）と、
    　を備え、
    　前記同一判定部（７０８、Ｓ３５０～Ｓ３７０）は、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在すること、かつ前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    　を特徴とする物体検出装置（７）。
  4. 　請求項２に記載の物体検出装置において、
    　前記第１の物体について、前記車両の車幅方向をＸ軸、前記車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する前記第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する第１特定部（７０１、Ｓ１１０、Ｓ１２０）と、
    　前記第２の物体について、前記ＸＹ平面における前記基準点に対する前記第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する第２特定部（７０２、Ｓ１３０、Ｓ１４０）と、
    　を備え、
    　前記同一判定部（７０８、Ｓ３５０～Ｓ３７０）は、前記第２の物体までの距離が前記距離閾値以上、または前記第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置しない場合に、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    　を特徴とする物体検出装置（７）。
  5. 　請求項４に記載の物体検出装置において、
    　前記同一判定部（７０８、Ｓ３５０～Ｓ３７０）は、前記第２の物体までの距離が前記距離閾値未満、かつ前記第２の物体の撮像画像中の位置が撮像画像の左右の端部を含む左右端領域に位置する場合に、前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在すること、かつ前記第１の物体の軌跡による移動方向と前記オプティカルフローに基づく移動方向とが一致することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定すること
    　を特徴とする物体検出装置（７）。
PCT/JP2015/076117 2014-09-24 2015-09-15 物体検出装置 WO2016047495A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/513,520 US10217024B2 (en) 2014-09-24 2015-09-15 Object detection apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014193891A JP6281460B2 (ja) 2014-09-24 2014-09-24 物体検出装置
JP2014-193891 2014-09-24

Publications (1)

Publication Number Publication Date
WO2016047495A1 true WO2016047495A1 (ja) 2016-03-31

Family

ID=55581022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/076117 WO2016047495A1 (ja) 2014-09-24 2015-09-15 物体検出装置

Country Status (3)

Country Link
US (1) US10217024B2 (ja)
JP (1) JP6281460B2 (ja)
WO (1) WO2016047495A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194926A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 車両制御装置、車両制御方法
WO2018021444A1 (ja) * 2016-07-29 2018-02-01 株式会社デンソー 物標検出装置
JP2018026096A (ja) * 2016-07-29 2018-02-15 株式会社デンソー 物標検出装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170676B (zh) * 2015-07-14 2018-10-09 深圳市大疆创新科技有限公司 用于确定移动平台的移动的方法、设备以及系统
JP6708730B2 (ja) * 2016-02-23 2020-06-10 株式会社日立製作所 移動体
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10580156B2 (en) * 2016-09-23 2020-03-03 Mine Vision Systems, Inc. System and method for measuring geometric change in a subterranean structure
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置
US11067686B2 (en) * 2017-12-01 2021-07-20 Electromagnetic Systems, Inc. Obstacle position and extent measurement by automotive radar
EP3518001B1 (en) * 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
CN108764338B (zh) * 2018-05-28 2021-05-04 上海应用技术大学 一种应用于视频分析的行人跟踪方法
CN108761461B (zh) * 2018-05-29 2022-02-18 南京信息工程大学 基于天气雷达回波时序图像的降水预报方法
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
CN110738846B (zh) * 2019-09-27 2022-06-17 同济大学 基于雷达与视频组群的车辆行为监测系统及其实现方法
KR20210085256A (ko) * 2019-12-30 2021-07-08 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
JP7490428B2 (ja) * 2020-04-07 2024-05-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、および記憶媒体
CN112001991B (zh) * 2020-10-27 2021-01-26 中国空气动力研究与发展中心高速空气动力研究所 一种高速风洞动态油流图谱图像处理方法
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
GB202101727D0 (en) * 2021-02-08 2021-03-24 Offshore Survival Systems Ltd Location apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2010093610A (ja) * 2008-10-09 2010-04-22 Hitachi Automotive Systems Ltd 自動車の外界認識装置及び外界認識方法
JP2013117475A (ja) * 2011-12-05 2013-06-13 Toyota Motor Corp 障害物検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP5884794B2 (ja) 2013-08-29 2016-03-15 株式会社デンソー 衝突可能性判定装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP2010093610A (ja) * 2008-10-09 2010-04-22 Hitachi Automotive Systems Ltd 自動車の外界認識装置及び外界認識方法
JP2013117475A (ja) * 2011-12-05 2013-06-13 Toyota Motor Corp 障害物検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194926A (ja) * 2016-04-22 2017-10-26 株式会社デンソー 車両制御装置、車両制御方法
WO2017183668A1 (ja) * 2016-04-22 2017-10-26 株式会社デンソー 車両制御装置、車両制御方法
WO2018021444A1 (ja) * 2016-07-29 2018-02-01 株式会社デンソー 物標検出装置
JP2018026096A (ja) * 2016-07-29 2018-02-15 株式会社デンソー 物標検出装置

Also Published As

Publication number Publication date
US20170300780A1 (en) 2017-10-19
JP2016066181A (ja) 2016-04-28
US10217024B2 (en) 2019-02-26
JP6281460B2 (ja) 2018-02-21

Similar Documents

Publication Publication Date Title
JP6281460B2 (ja) 物体検出装置
JP5892129B2 (ja) 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
US10922561B2 (en) Object recognition device and vehicle travel control system
US9945927B2 (en) Object detection apparatus
JP6885721B2 (ja) 物体検出装置、物体検出方法
WO2016047482A1 (ja) 物体検出装置
US20140139369A1 (en) Object detection apparatus
JP5884794B2 (ja) 衝突可能性判定装置およびプログラム
JP6303956B2 (ja) 軸ずれ量推定装置
US10431088B2 (en) Object detection apparatus
WO2017204107A1 (ja) 物標検出装置
US10871565B2 (en) Object detection apparatus and object detection method
WO2016047460A1 (ja) 物体検出装置
US20180156913A1 (en) Object detection apparatus and object detection method
US11086007B2 (en) Target detection device
WO2018092590A1 (ja) 車両制御装置、車両制御方法
US10380424B2 (en) Object detection device and object detection method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15843894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15513520

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15843894

Country of ref document: EP

Kind code of ref document: A1