WO2020079942A1 - 物体検知装置、物体検知方法およびプログラム - Google Patents

物体検知装置、物体検知方法およびプログラム Download PDF

Info

Publication number
WO2020079942A1
WO2020079942A1 PCT/JP2019/032222 JP2019032222W WO2020079942A1 WO 2020079942 A1 WO2020079942 A1 WO 2020079942A1 JP 2019032222 W JP2019032222 W JP 2019032222W WO 2020079942 A1 WO2020079942 A1 WO 2020079942A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
sensor
azimuth
vehicle
detected
Prior art date
Application number
PCT/JP2019/032222
Other languages
English (en)
French (fr)
Inventor
直広 藤原
真 大門
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2020079942A1 publication Critical patent/WO2020079942A1/ja
Priority to US17/231,257 priority Critical patent/US20210231799A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present disclosure relates to an object detection device, an object detection method, and a program that detect an object around a vehicle.
  • Patent Document 1 discloses an obstacle position detection device that ensures safe driving of a vehicle by measuring not only the distance to a front obstacle but also the lateral position of the obstacle.
  • the present invention first calculates the lateral positions of the two obstacles based on the image signal and the distance information, and then calculates the lateral position information obtained. The two-dimensional position of two obstacles is measured based on the distance information.
  • Patent Document 2 uses an electromagnetic wave sensor and an image sensor to calculate the position and distance of an object existing in the front of the vehicle, and when the information detected by the two is consistent, the distance detected by the electromagnetic wave sensor and the image sensor Discloses a technique for determining the position of an object using the azimuth detected in 1., and if the difference between the two is large, using only the information acquired by the image sensor to calculate the position and distance of the object in front of the vehicle. There is.
  • the present disclosure aims to provide a method for accurately and easily detecting an object based on information acquired from a distance sensor and an orientation sensor.
  • the object detection device of the present disclosure provides an azimuth sensor that measures an azimuth region of an object around a vehicle, a plurality of distance sensors that measure a distance to the object, and a distance measured by each of the distance sensors.
  • An object identifying unit that draws an arc having a radius and calculates an intersection of a tangent line common to the adjacent arcs and an azimuth region measured by the azimuth sensor. Thereby, the position where the object exists can be specified.
  • the azimuth region means a region occupied by an object on the azimuth sensor.
  • the object specifying unit can specify a line segment connecting the intersections as the width of the object. As a result, the position and width of the object can be accurately measured.
  • the object specifying unit includes, when only one of the plurality of distance sensors detects a distance, an arc having a distance measured by the distance sensor as a radius and the direction sensor. The intersection with the detected azimuth region can be calculated. As a result, even if the plurality of sensors do not detect the distance, the position of the object can be estimated with a certain accuracy.
  • the object specifying unit when the tangent line common to the adjacent arcs cannot be drawn, the object specifying unit has a plurality of arcs having a radius measured by each of the distance sensors, and the orientation sensor. It is possible to calculate the intersection with the azimuth region detected in. Thereby, even if the tangent cannot be drawn, the position of the object can be estimated with a certain accuracy.
  • the object detection method of the present disclosure includes a step of acquiring azimuth data of an object in the vicinity from an azimuth sensor included in the vehicle, and a data of a distance to the object from an adjacent distance sensor included in the vehicle. And, for the distance detected by each of the distance sensors, draw an arc having a radius measured by the distance sensor, draw a tangent line between the arcs, and measure with the tangent line and the orientation sensor. And a step of calculating an intersection with the azimuth region.
  • An object detection program is a program for detecting an object in the vicinity of a vehicle, and the ECU includes a step of acquiring orientation data of an object in the vicinity from an orientation sensor included in the vehicle, From the adjacent distance sensor provided in the step of acquiring the data of the distance to the object, and for the distance detected by each distance sensor, an arc having a radius measured by the distance sensor. Draw, draw a tangent line between the arcs, and calculate the intersection of the tangent line and the azimuth region measured by the azimuth sensor.
  • the object detection device of the present disclosure includes an azimuth sensor that measures an azimuth region of an object around a vehicle, a plurality of distance sensors that measure a distance to the object, and at least one of the plurality of distance sensors.
  • an arc having a distance measured by the distance sensor as a radius and an object specifying unit that calculates an intersection of the azimuth region detected by the azimuth sensor may be provided. It can. Accordingly, if at least one distance sensor detects the distance, the position of the object can be estimated with a certain accuracy.
  • the object specifying unit can specify a line segment connecting the intersections as the width of the object. As a result, the position and width of the object can be estimated with sufficient accuracy for practical use.
  • FIG. 1 is a diagram showing a configuration of an object detection device according to an embodiment.
  • FIG. 2 is a diagram showing an example of mounting a camera and a sonar on a vehicle.
  • FIG. 3 is a diagram showing an object position measuring method when the same object is recognized by a camera and a plurality of sonars.
  • FIG. 4 is a diagram showing a process when the camera can detect the azimuth of an object, but only one of a plurality of sonars detects a distance.
  • FIG. 5 is a diagram showing a process when the camera detects orientations of a plurality of objects and a plurality of sonars detect distances to the respective objects.
  • FIG. 6 is a diagram showing the operation of the object detection device.
  • FIG. 1 is a diagram showing a configuration of the object detection device 1.
  • the object detection device 1 is used by being mounted on a vehicle and has a function of detecting an object around the vehicle.
  • the object detection device 1 includes a camera 11, a sonar 21, an object identification unit 30, and an output unit 31.
  • the camera 11 takes an image of the surroundings of the vehicle.
  • the camera 11 is connected to the camera ECU 12.
  • the camera ECU 12 performs image processing on the image captured by the camera 11, detects an object from the image, and obtains orientation data of the object.
  • the camera ECU 12 has a function of an image processing unit, and the camera 11 functions as a direction sensor by the image processing of the camera ECU 12.
  • the orientation data obtained by the camera ECU 12 is temporarily stored in the storage unit 13 connected to the camera ECU 12.
  • SONAR 21 is a device that emits ultrasonic waves and measures the time it takes for a reflected wave to return from an object.
  • the sonar 21 is connected to the sonar ECU 22.
  • the sonar ECU 22 obtains distance data to the object from the detection result of the sonar 21.
  • the sonar 21 functions as a distance sensor by the processing of the sonar ECU 22.
  • the distance data obtained by the sonar ECU 22 is temporarily stored in the storage unit 23 connected to the sonar ECU 22.
  • the object specifying unit 30 acquires the azimuth data of the object from the camera ECU 12 and the distance data to the object from the sonar ECU 22.
  • the object identifying unit 30 detects the position and width of the object based on the azimuth data and the distance data.
  • FIG. 2 is a diagram showing an example of attachment of the camera 11 and the sonar 21 to the vehicle 100.
  • the object detection device 1 of the present embodiment includes a camera 11 and a plurality of sonars 21 on the front surface of the vehicle 100. Sonars 21a and 21b and sonars 21c and 21d are installed across the camera 11. Of the sonars 21a to 21d, when a specific sonar is not specified, it is referred to as "sonar 21".
  • the object identification unit 30 can detect the position of an object in the range where the shooting angle D1 of the camera 11 and the detection ranges of the sonars 21a, 21b, 21c, and 21d overlap.
  • the detection ranges D2a, D2b, D2c, and D2d of the respective sonars 21a, 21b, 21c, and 21d are different, but they overlap to a certain extent.
  • the sonars 21a and 21b are arranged adjacent to each other at intervals of about 1/4 to 1/8 of the vehicle width. The same applies to the sonars 21c and 21d. This arrangement enables accurate object detection.
  • FIG. 3 is a diagram showing an object position measuring method when the same object is recognized by the sonar 21 adjacent to the camera 11.
  • the azimuth region D11 is a region where an object exists as viewed from the camera 11, and is a region surrounded by a line B1 and a line B2 extending from the vehicle 100 toward both ends of the object O1.
  • the arcs AD2a and AD2b near the object are arcs whose distances to the object O1 detected by the sonars 21a and 21b are centered at the installation positions of the sonars 21 and whose detection distance is a radius.
  • the arcs AD2a and AD2b based on the distances detected by the adjacent sonars 21a and 21b overlap each other near the object O1.
  • the object identifying unit 30 first draws a tangent line L1 common to the arcs. Next, intersections JL1 and JL2 between the tangent line L1 and lines B1 and B2 that are boundaries of the azimuth region D11 detected by the camera 11 are obtained, and a line segment LSL1 having the intersections JL1 and JL2 as end points is drawn. With this line segment LSL1, the position and width of the object in front of the vehicle can be accurately expressed.
  • FIG. 4 is a diagram showing a process when the camera 11 can detect the azimuth of an object, but only one of the adjacent sonars 21 detects the distance.
  • the object O1 is far from the front of the vehicle 100, only a single sonar 21a may detect the distance to the object. Since there is only one circular arc whose radius is the detection distance of the sonar 21, it is not possible to draw a tangent line common to the two circular arcs as in the example of FIG.
  • the object identifying unit 30 obtains both intersections JAa1 and JAa2 of the arc AD2a and the lines B1 and B2 that are the boundaries of the azimuth region D11 detected by the camera 11, and draws a line segment LSA1 between the intersections.
  • the position and width of the object can be detected with sufficient accuracy for practical use.
  • FIG. 5 is a diagram showing processing when the camera 11 detects the orientations of a plurality of objects and the plurality of adjacent sonars 21 detect the distances to the respective objects.
  • the sonar 21 detects the distance to the place where the object most directly faces the sonar 21. That is, it is the distance to the object that can be determined, but from which of the objects the reflected distance can be detected depends on the shape of the object and the relative angle between the sonar 21 and the object.
  • the distance detected by the adjacent sonars 21 may be the distance to a different object. Therefore, it is possible that the distances detected by the adjacent sonars 21 are greatly different and the arcs do not intersect and a common tangent line cannot be drawn. Therefore, in such a case, assuming that a plurality of objects are detected, the position and width of each object are estimated.
  • FIG. 5 there are two objects O1 and O2 in front of the vehicle, and the adjacent sonars 21a and 21b detect the distance.
  • the arc AD2a drawn to the distance DO1 detected by the sonar 21a and the sonar 21b are detected. It is not possible to draw a tangent line common to the circular arcs AD2b drawn to the distance DO2.
  • the detection range of the sonar 21 and the azimuth region of the object detected by the camera D11 for O1 and D12 for O2
  • FIG. 6 is a flowchart showing the operation of the object detection device 1.
  • the object detection device 1 detects the object from the image captured by the camera 11, acquires the orientation data of the object, and stores the acquired data in the storage unit 13 of the ECU 12.
  • the object detection device 1 acquires distance data where an object exists based on the data detected by the sonar 21.
  • the object detection device 1 stores the acquired data in the storage unit 23 of the sonar ECU 22.
  • step S11 determines whether the information is detected by the adjacent sonar 21. Determine whether If the determination result in step S12 is YES, that is, if the distance is detected by the adjacent sonar 21, the object identifying unit 30 determines the azimuth region detected by the camera 11 in step S13 and detects the sonar 21. Draw an arc whose radius is the distance.
  • step S14 the object identifying unit 30 determines whether a tangent line common to both arcs can be drawn. If the determination result in step S14 is YES, that is, if the tangent line is drawn, it is determined that the adjacent sonars 21 that have detected the distance measure the distance to the same object, and in step S15. , The intersection of the tangent line and the detected azimuth region of the camera 11 is calculated, and a line segment connecting the intersections is drawn. Thereby, the object specifying unit 30 determines the position and width of the identified target in step S19. The line segment generated from the detection direction of the camera 11 and the detection distance of the adjacent sonar 21 represents the position and width of the object with high accuracy.
  • step S12 determines in step S17.
  • a circular arc whose radius is the detection distance of one sonar 21 is drawn.
  • the object identifying unit 30 calculates the intersection between the arc and the detected azimuth region of the camera 11 in step S18, and draws a line segment between the intersections.
  • the object specifying unit 30 determines the position and width of the object based on the line segment. Since this line segment does not use the detection distance of the adjacent sonar 21, the line segment can represent the position and width of the object, although the accuracy is somewhat inferior.
  • step S14 determines whether the determination result in step S14 is NO, that is, the adjacent sonars 21 detect distance information, it may not be possible to draw a tangent line for the distance detected by each sonar 21.
  • the object identifying unit 30 calculates the intersection between each arc and each detected azimuth region of the camera 11 for the arc that cannot draw a tangent line, and draws a line segment between the intersections.
  • the object specifying unit 30 determines the position and width of the object by the line segment in step S19.
  • the line segment drawn by this expresses the positions and widths of a plurality of objects, although the accuracy is somewhat inferior.
  • the data expressed in this way is output to, for example, an automatic driving control unit or the like, which allows the automatic driving control unit to perform automatic driving control based on the detected position and width information of the object. it can. For example, a travel route that avoids an object can be selected or the vehicle can be stopped. Further, even when a person is driving a vehicle, when an object that cannot be slipped through in the current course is recognized, a warning can be issued early.
  • the function of the object identifying unit 30 that realizes the operation of the object detection device 1 described above is realized by executing a program in an electronic control unit (ECU). Such programs are also included in the scope of the present disclosure.
  • the object detection device 1 of the present embodiment fuses the advantages of the camera 11 and the sonar 21 by expressing the direction of the object obtained by the camera 11 and the distance to the object obtained by the sonar 21 in the form of a line segment. The position and width of an object can be detected easily and accurately.
  • the number of objects whose position and width can be accurately estimated can be increased. Also, the number of objects that can be processed simultaneously can be increased.
  • the sonar 21 is given as an example of the distance sensor, but the distance sensor is not limited to the sonar, and for example, a millimeter wave radar or a Lidar sensor can be used. Further, the azimuth sensor is not limited to the camera, and for example, a Lidar sensor can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体検知装置（１）は、車両の周辺にある物体の方位領域を測定する方位センサ（１１）と、前記物体までの距離を測定する複数の距離センサ（２１）と、それぞれの前記距離センサ（２１）にて測定された距離を半径とする円弧を描き、隣接する前記円弧同士に共通する接線と前記方位センサ（１１）で測定した方位領域との交点を算出する物体特定部（３０）とを備えている。

Description

物体検知装置、物体検知方法およびプログラム 関連出願への相互参照
　本出願は、２０１８年１０月１９日に出願された日本出願番号２０１８－１９７３２８号に基づくものであって、その優先権の利益を主張するものであり、その特許出願のすべての内容が、参照により本明細書に組み入れられる。
　本開示は、車両の周辺にある物体を検知する物体検知装置、物体検知方法およびプログラムに関するものである。
　車両の運転支援を行うため、あるいは、自動運転制御等のために、車両の周辺にある物体を検知する技術が研究、開発されている。特許文献１は、前方障害物までの距離のみならず、障害物の横位置をも測定することにより、車両の安全運転を確保する障害物位置検出装置を開示している。この発明は、障害物の横方向の広がりも検知することを目的として、まず、画像信号と距離情報とに基づいて２つの障害物の横位置を演算し、その後で、求めた横位置情報と距離情報とに基づいて２つの障害物の２次元位置を測定している。
　特許文献２は、電磁波センサと画像センサを用いて、車両前面に存在する物体の位置と距離を算出し、両者の検出した情報の整合性が取れる場合は電磁波センサで検出した距離と、画像センサで検出した方位を用いて物体の位置を決定し、両者の差が大きければ、画像センサで取得した情報のみを用いて、車両前面に存在する物体の位置と距離を算出する技術を開示している。
特開２０００－１２３２９８号公報 特開２０１８－８１６２８号公報
　本開示は、距離センサと方位センサから取得した情報に基づいて、精度よくかつ簡易に物体を検知する方法を提供することを目的とする。
　本開示は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本開示の技術的範囲を限定するものではない。
　本開示の物体検知装置は、車両の周辺にある物体の方位領域を測定する方位センサと、前記物体までの距離を測定する複数の距離センサと、それぞれの前記距離センサにて測定された距離を半径とする円弧を描き、隣接する前記円弧同士に共通する接線と前記方位センサで測定した方位領域との交点を算出する物体特定部とを備える。これにより、物体の存在する位置を特定することができる。なお、方位領域とは、方位センサ上で物体が占める領域のことをいう。
　物体検知装置において、前記物体特定部は、前記交点同士を結ぶ線分を、前記物体の幅として特定することができる。これにより、物体の位置と幅を精度よく測定することができる。
　物体検知装置において、前記物体特定部は、前記複数の距離センサのうち１つのみが距離を検出した場合には、前記距離センサにて測定された距離を半径とする円弧と、前記方位センサで検出した方位領域との交点を算出することができる。これにより、複数のセンサが距離を検出しなかった場合でも、一定の精度で物体の位置を推定することができる。
　物体検知装置において、前記物体特定部は、隣接する前記円弧同士に共通する接線が引けない場合には、それぞれの前記距離センサにて測定された距離を半径とする複数の円弧と、前記方位センサで検出した方位領域との交点を算出することができる。これにより、これにより、接線が引けない場合でも、一定の精度で物体の位置を推定することができる。
　本開示の物体検知方法は、車両に備えられた方位センサから、周辺にある物体の方位データを取得するステップと、車両に備えられた隣接する距離センサから、前記物体までの距離のデータを取得するステップと、各前記距離センサが検出した距離に対して、各前記距離センサで測定された距離を半径とする円弧を描き、各前記円弧同士の接線を引き、前記接線と前記方位センサで測定した方位領域との交点を算出するステップを備える。
　本開示の物体検知プログラムは、車両の周辺にある物体を検知するためのプログラムであって、ＥＣＵに、車両に備えられた方位センサから、周辺にある物体の方位データを取得するステップと、車両に備えられた隣接する距離センサから、前記物体までの距離のデータを取得するステップと、各前記距離センサが検出した距離に対して、各前記距離センサで測定された距離を半径とする円弧を描き、各前記円弧同士の接線を引き、前記接線と前記方位センサで測定した方位領域との交点を算出するステップとを実行させる。
　また、本開示の物体検知装置は、車両の周辺にある物体の方位領域を測定する方位センサと、前記物体までの距離を測定する複数の距離センサと、前記複数の距離センサのうち少なくとも１つが距離を検出した場合には、前記距離センサにて測定された距離を半径とする円弧と、前記方位センサで検出した方位領域との交点を算出する物体特定部と、を備えることとすることもできる。これにより、少なくとも１つの距離センサが距離を検出すれば、一定の精度で物体の位置を推定することができる。
　また、物体検知装置において、前記物体特定部は、前記交点同士を結ぶ線分を、前記物体の幅として特定することができる。これにより、物体の位置と幅を実用上十分な精度で推定することができる。
図１は、実施の形態の物体検知装置の構成を示す図である。 図２は、カメラおよびソナーの車両への取り付け例を示す図である。 図３は、カメラと複数のソナーで同一の物体を認識した際の物体位置測定方法を示す図である。 図４は、カメラでは物体の方位が検出できているものの、複数あるソナーのうち一つのみが距離を検出した場合の処理を示す図である。 図５は、カメラで複数の物体の方位を検出し、複数のソナーがそれぞれの物体までの距離を検出した場合の処理を示す図である。 図６は、物体検知装置の動作を示す図である。
　以下に説明する実施の形態は、本開示を実施する場合の一例を示すものであって、本開示を以下に説明する具体的構成に限定するものではない。本開示の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
　図１は、物体検知装置１の構成を示す図である。物体検知装置１は、車両に搭載されて用いられ、車両周辺にある物体を検知する機能を有する。物体検知装置１は、カメラ１１と、ソナー２１と、物体特定部３０と、出力部３１とを有している。
　カメラ１１は、車両の周囲の画像を撮影する。カメラ１１はカメラ用ＥＣＵ１２に接続されている。カメラ用ＥＣＵ１２は、カメラ１１にて撮影された画像の画像処理を行なって画像から物体を検出し、当該物体の方位データを求める。カメラ用ＥＣＵ１２は画像処理部の機能を有しており、カメラ用ＥＣＵ１２の画像処理によって、カメラ１１は方位センサとして機能する。カメラ用ＥＣＵ１２にて求めた方位データは、カメラ用ＥＣＵ１２に接続された記憶部１３にいったん記憶される。
　ソナー２１は、超音波を発射し、物体から反射波が返ってくるまでの時間を測定する機器である。ソナー２１は、ソナー用ＥＣＵ２２に接続されている。ソナー用ＥＣＵ２２は、ソナー２１の検出結果から物体までの距離データを求める。ソナー用ＥＣＵ２２の処理によって、ソナー２１は距離センサとして機能する。ソナー用ＥＣＵ２２で求めた距離データは、ソナー用ＥＣＵ２２に接続された記憶部２３にいったん記憶される。
　物体特定部３０は、カメラ用ＥＣＵ１２から物体の方位データを取得すると共に、ソナー用ＥＣＵ２２から物体までの距離データを取得する。物体特定部３０は、方位データと距離データとに基づいて物体の位置および幅を検知する。
　図２は、カメラ１１およびソナー２１の車両１００への取り付け例を示す図である。本実施の形態の物体検知装置１は、車両１００前面にカメラ１１及び複数のソナー２１を備えている。カメラ１１を挟んで、ソナー２１ａ，２１ｂとソナー２１ｃ，２１ｄが設置されている。ソナー２１ａ～ソナー２１ｄのうち、特定のソナーを明示しないときは、「ソナー２１」という。
　物体特定部３０は、カメラ１１の撮影角度Ｄ１とソナー２１ａ，２１ｂ，２１ｃ，２１ｄの検知範囲の重なる範囲にある物体の位置を検知できる。それぞれのソナー２１ａ，２１ｂ，２１ｃ，２１ｄの検知範囲Ｄ２ａ，Ｄ２ｂ，Ｄ２ｃ，Ｄ２ｄは異なっているが、一定程度重なり合う。ソナー２１ａ，２１ｂはおおよそ車幅の１／４から１／８までの間隔で隣接して配置されている。また、ソナー２１ｃ，２１ｄも同様である。この配置により正確な物体検知が可能になる。
　図３は、カメラ１１と隣接するソナー２１で同一の物体を認識した際の物体位置測定方法を示す図である。方位領域Ｄ１１は、カメラ１１からみた物体の存在する領域であり、車両１００から物体Ｏ１の両端部に向けて伸びる線Ｂ１と線Ｂ２で囲まれた領域である。物体付近にある円弧ＡＤ２ａ、ＡＤ２ｂは、それぞれソナー２１ａ、ソナー２１ｂによって検出した物体Ｏ１までの距離を、それぞれのソナー２１設置位置を中心点とし、検出距離を半径とする円弧である。隣接するソナー２１ａ、２１ｂで検出した距離に基づく円弧ＡＤ２ａ、ＡＤ２ｂは、物体Ｏ１付近で重なり合っている。物体特定部３０は、まず当該円弧同士に共通する接線Ｌ１を引く。次に、この接線Ｌ１と、カメラ１１の検出した方位領域Ｄ１１の境界である線Ｂ１、Ｂ２との交点ＪＬ１、ＪＬ２を求め、交点ＪＬ１、ＪＬ２を端点とする線分ＬＳＬ１を引く。この線分ＬＳＬ１により、車両前方の物体の位置と幅が精度よく表現できる。
　図４は、カメラ１１では物体の方位が検出できているものの、隣接するソナー２１のうち一つのみが距離を検出した場合の処理を示す図である。物体Ｏ１が車両１００の正面から離れている場合に単一のソナー２１ａのみが物体への距離を検出する場合がある。ソナー２１による検出距離を半径とする円弧は１つしかないので、図３の例のように２つの円弧に共通する接線を引くことはできない。この場合には、物体特定部３０は、円弧ＡＤ２ａとカメラ１１で検出した方位領域Ｄ１１の境界である線Ｂ１，Ｂ２との両交点ＪＡａ１、ＪＡａ２を求めて、交点間に線分ＬＳＡ１を引く。これにより、単一のソナー２１でしか距離データが求められない場合でも、物体の位置と幅を実用上十分な精度で検知することができる。
　図５は、カメラ１１で複数の物体の方位を検出し、複数の隣接するソナー２１がそれぞれの物体までの距離を検出した場合の処理を示す図である。検出しようとする物体が複雑な形状を有する場合、ソナー２１は当該物体がソナー２１と一番正対している場所までの距離を検出する。すなわち、割り出せるのは物体までの距離であるものの、その物体のうちどこから反射された距離を検出できるのかは、物体の形状と、ソナー２１と物体との相対的な角度による。また、隣接するソナー２１によって検出した距離が、異なる物体への距離となることもある。よって、隣接するソナー２１が検出する距離が大きく異なり、円弧が交接せずに共通する接線が引けないことが起こり得る。そこで、このような場合には、複数物体を検出したものとして、それぞれの物体の位置と幅を推定する。
　図５では、車両の前に２つの物体Ｏ１、Ｏ２があり、隣接するソナー２１ａ、２１ｂが距離を検出しているが、ソナー２１ａが検出した距離ＤＯ１に引いた円弧ＡＤ２ａと、ソナー２１ｂが検出した距離ＤＯ２に引いた円弧ＡＤ２ｂに共通する接線を引くことができない。このような場合、ソナー２１の検出範囲とカメラで検出した物体の方位領域（Ｏ１についてＤ１１、Ｏ２についてＤ１２）を考慮し、接線を引けない距離情報については別の物体を検知したものと判断して、それぞれの円弧（Ｏ１についてＡＤ２ａ、Ｏ２についてＡＤ２ｂ）とカメラ１１の検出方位領域Ｄ１１、Ｄ１２の境界との両交点（Ｏ１についてＪＡａ１、ＡＪａ２、Ｏ２についてＪＡｂ１、ＪＡｂ２）を結ぶ線分（Ｏ１についてＬＳＡ１、Ｏ２についてＬＳＡ２）を引き、これを物体の位置と幅とする。すなわち、隣接するソナー２１の検出距離が整合せず、接線が引けなかった場合でも、物体検知を行うことができる。
　図６は、物体検知装置１の動作を示すフロー図である。物体検知装置１は、ステップＳ１０で、カメラ１１で撮影した画像から物体を検出し、物体の方位データを取得して、取得したデータをＥＣＵ１２の記憶部１３に記憶する。物体検知装置１は、ソナー２１で検知したデータに基づいて物体の存在する距離データを取得する。物体検知装置１は、取得したデータをソナー用ＥＣＵ２２の記憶部２３に記憶する。
　ステップＳ１１での判断結果がＮＯの場合、すなわちカメラ１１とソナー２１の両方に情報検出がなかった場合には、物体検知装置１は、所定の間隔でカメラ１１とソナー２１の情報取得の処理を繰り返す。ステップＳ１１での判断結果がＹＥＳの場合、すなわちカメラ１１とソナー２１に情報検出があった場合には、物体特定部３０は、ステップＳ１２で、当該情報が隣接するソナー２１で検出されたものかどうかを判断する。ステップＳ１２での判断結果がＹＥＳの場合、すなわち隣接するソナー２１で距離が検出されていれば、物体特定部３０は、ステップＳ１３で、カメラ１１の検出した方位領域を決定し、ソナー２１の検出距離を半径とする円弧を描く。
　次に、物体特定部３０は、ステップＳ１４で、両円弧に共通する接線を引けるかを判断する。ステップＳ１４での判断結果がＹＥＳの場合、すなわち接線が引けた場合には、距離を検出した隣接するソナー２１が、同一の物体への距離を計測しているものと判断して、ステップＳ１５で、当該接線とカメラ１１の検出方位領域との交点を算出し、交点を結ぶ線分を引く。これにより、物体特定部３０は、ステップＳ１９で、識別された物標の位置と幅が確定する。カメラ１１の検出方位と隣接ソナー２１の検出距離から生成した当該線分は、物体の位置と幅を高精度で表現する。
　ステップＳ１２での判断結果がＮＯの場合、すなわち単一のソナー２１のみが距離を検出し、隣接する他のソナー２１が距離を検出しなかった場合、物体特定部３０は、ステップＳ１７で、単一ソナー２１の検出距離を半径とする円弧を描く。この場合、接線を引くことはできないので、物体特定部３０は、ステップＳ１８で、当該円弧とカメラ１１の検出方位領域との交点を算出し、両交点間に線分を引く。ステップＳ１９では、物体特定部３０は、当該線分により、物体の位置と幅を確定する。この線分は、隣接ソナー２１の検出距離を使用していないので、やや精度が劣るものの、物体の位置と幅を表現することができる。
　また、ステップＳ１４での判断結果がＮＯの場合、すなわち隣接するソナー２１が距離情報を検出しているが、各ソナー２１が検出した距離について、接線を引くことができない場合もある。このような場合、物体特定部３０は、ステップＳ１６で、接線の引けない円弧については、各円弧とカメラ１１の各検出方位領域との交点を算出し、両交点間に線分を引く。物体特定部３０は、ステップＳ１９で、当該線分により、物体の位置と幅を確定する。これによって引かれた線分は、やや精度が劣るものの、複数の物体の位置と幅を表現する。
　このように、隣接するソナー２１から得られる距離情報とカメラ１１から得られる方位情報との統合により、複数の隣接するソナー２１が近しい距離を検出し、接線を引くことができた場合は勿論のこと、単一のソナー２１のみが距離を検出した場合や、隣接するソナー２１が異なる距離を検出した場合でも、実用上十分な精度で車両前方の物体の位置と幅を検出することができる。
　このようにして表現されたデータは、例えば、自動運転制御部などに出力され、これにより自動運転制御部は、検知された物体の位置と幅の情報に基づいて、自動運転制御を行うことができる。例えば、物体を避けるような走行経路を選択したり、車両を停止させたりすることができる。また、人間が車両を運転している場合でも、今の進路ではすり抜けられない物体を認識した場合には、早期に警告を発することができる。
　以上に説明した物体検知装置１の動作を実現する物体特定部３０の機能は、電子制御ユニット（ＥＣＵ）にてプログラムを実行することによって実現される。このようなプログラムも本開示の範囲に含まれる。
　本実施の形態の物体検知装置１は、カメラ１１で求めた物体の方位とソナー２１で求めた物体までの距離を線分の形で表すことで、カメラ１１とソナー２１の長所を融合して簡易かつ正確に物体の位置および幅を検知できる。
　また、検知範囲の異なる複数のソナー２１を備えることにより、隣接するソナー２１で距離を検出した場合には、それぞれの距離についての共通接線と、カメラ１１で検出した物体方位領域への交点を求めることにより正確な物体の位置および幅を算出することができ、異なる物体までの距離を検出した場合でも、カメラ１１の検出した異なる物体方位領域との交点を求めることで、それぞれの物体の位置および幅を推定することができる。特に、車両と衝突する可能性がある車両前方の物体は複数ソナー２１の探出範囲に入るので、正確な情報を生成することができる。
　以上、本開示の物体検知装置、及び物体検知方法について実施の形態を挙げて詳細に説明したが、本開示は上記した実施の形態に限定されるものではない。
　上述した実施の形態では、ソナー２１は４つ設置されていたが、ソナー２１を更に増やすことで、正確に位置と幅を推定できる物体の数を増やすことができる。また、同時に処理できる物体の数も増やすことができる。
　また、上記した実施の形態では、距離センサとしてソナー２１を例として挙げたが、距離センサはソナーに限らず、例えば、ミリ波レーダーやＬｉｄａｒセンサを用いることもできる。また、方位センサについても、カメラに限らず、例えば、Ｌｉｄａｒセンサを用いることもできる。

 

Claims (8)

  1. 　車両の周辺にある物体の方位領域を測定する方位センサ（１１）と、
    　前記物体までの距離を測定する複数の距離センサ（２１）と、
    　それぞれの前記距離センサ（２１）にて測定された距離を半径とする円弧を描き、隣接する前記円弧同士に共通する接線と前記方位センサ（１１）で測定した方位領域との交点を算出する物体特定部（３０）と、
    　を備える物体検知装置（１）。
  2. 　前記物体特定部は、前記交点同士を結ぶ線分を、前記物体の幅として特定する、請求項１に記載の物体検知装置。
  3. 　前記物体特定部は、前記複数の距離センサのうち１つのみが距離を検出した場合には、前記距離センサにて測定された距離を半径とする円弧と、前記方位センサで検出した方位領域との交点を算出する請求項１に記載の物体検知装置。
  4. 　前記物体特定部は、隣接する前記円弧同士に共通する接線が引けない場合には、それぞれの前記距離センサにて測定された距離を半径とする複数の円弧と、前記方位センサで検出した方位領域との交点を算出する請求項１記載の物体検知装置。
  5. 　車両に備えられた方位センサから、周辺にある物体の方位データを取得するステップと、
    　車両に備えられた隣接する距離センサから、前記物体までの距離のデータを取得するステップと、
    　各前記距離センサが検出した距離に対して、各前記距離センサで測定された距離を半径とする円弧を描き、各前記円弧同士の接線を引き、前記接線と前記方位センサで測定した方位領域との交点を算出するステップと、
    　を備える物体検知方法。
  6. 　車両の周辺にある物体を検知するためのプログラムであって、ＥＣＵに、
    　車両に備えられた方位センサから、周辺にある物体の方位データを取得するステップと、
    　車両に備えられた隣接する距離センサから、前記物体までの距離のデータを取得するステップと、
    　各前記距離センサが検出した距離に対して、各前記距離センサで測定された距離を半径とする円弧を描き、各前記円弧同士の接線を引き、前記接線と前記方位センサで測定した方位領域との交点を算出するステップと、
    　を実行させるプログラム。
  7. 　車両の周辺にある物体の方位領域を測定する方位センサと、
    　前記物体までの距離を測定する複数の距離センサと、
    　前記複数の距離センサのうち少なくとも１つが距離を検出した場合には、前記距離センサにて測定された距離を半径とする円弧と、前記方位センサで検出した方位領域との交点を算出する物体特定部と、
    　を備える物体検知装置。
  8. 　前記物体特定部は、前記交点同士を結ぶ線分を、前記物体の幅として特定する、請求項７に記載の物体検知装置。
PCT/JP2019/032222 2018-10-19 2019-08-19 物体検知装置、物体検知方法およびプログラム WO2020079942A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/231,257 US20210231799A1 (en) 2018-10-19 2021-04-15 Object detection device, object detection method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018197328A JP6930512B2 (ja) 2018-10-19 2018-10-19 物体検知装置、物体検知方法およびプログラム
JP2018-197328 2018-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/231,257 Continuation US20210231799A1 (en) 2018-10-19 2021-04-15 Object detection device, object detection method and program

Publications (1)

Publication Number Publication Date
WO2020079942A1 true WO2020079942A1 (ja) 2020-04-23

Family

ID=70283941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032222 WO2020079942A1 (ja) 2018-10-19 2019-08-19 物体検知装置、物体検知方法およびプログラム

Country Status (3)

Country Link
US (1) US20210231799A1 (ja)
JP (1) JP6930512B2 (ja)
WO (1) WO2020079942A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05341843A (ja) * 1992-06-09 1993-12-24 Mazda Motor Corp 車両の制御装置
US20070124106A1 (en) * 2003-12-19 2007-05-31 Valeo Schalter Und Sensoren Gmbh Method and device for determining the position of at least one point of reflection of an obstacle
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2017010498A (ja) * 2015-06-26 2017-01-12 株式会社デンソー 車両制御装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5843948B2 (ja) * 1972-06-04 1983-09-30 松下電器産業株式会社 エイゾウドウキケンパカイロ
KR100523367B1 (ko) * 2000-10-26 2005-10-20 마츠시다 덴코 가부시키가이샤 장해물 회피기능을 가지는 자율이동장치
US6687577B2 (en) * 2001-12-19 2004-02-03 Ford Global Technologies, Llc Simple classification scheme for vehicle/pole/pedestrian detection
US8108147B1 (en) * 2009-02-06 2012-01-31 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for automatic omni-directional visual motion-based collision avoidance
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
WO2011123833A1 (en) * 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
JP6277933B2 (ja) * 2014-10-10 2018-02-14 株式会社デンソー 表示制御装置、表示システム
JP6697281B2 (ja) * 2016-02-10 2020-05-20 株式会社Ｓｏｋｅｎ 物体検知装置
JP6722066B2 (ja) * 2016-08-29 2020-07-15 株式会社Ｓｏｋｅｎ 周辺監視装置及び周辺監視方法
US10324168B2 (en) * 2016-09-12 2019-06-18 The Boeing Company Systems and methods for spatial filtering using data with widely different error magnitudes
JP6500887B2 (ja) * 2016-12-26 2019-04-17 トヨタ自動車株式会社 車両用注意喚起装置
JP6790998B2 (ja) * 2017-04-28 2020-11-25 株式会社Ｓｏｋｅｎ 障害物検知装置および制御装置
JP2019053005A (ja) * 2017-09-19 2019-04-04 クラリオン株式会社 測位支援装置
JP2019086406A (ja) * 2017-11-07 2019-06-06 株式会社Ｓｏｋｅｎ 物体検知装置
WO2019107675A1 (ko) * 2017-11-28 2019-06-06 주식회사 유컴테크놀러지 거리 측정 장치 및 그 제어 방법
WO2020012852A1 (ja) * 2018-07-11 2020-01-16 クラリオン株式会社 測位支援装置及び測位支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05341843A (ja) * 1992-06-09 1993-12-24 Mazda Motor Corp 車両の制御装置
US20070124106A1 (en) * 2003-12-19 2007-05-31 Valeo Schalter Und Sensoren Gmbh Method and device for determining the position of at least one point of reflection of an obstacle
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2017010498A (ja) * 2015-06-26 2017-01-12 株式会社デンソー 車両制御装置

Also Published As

Publication number Publication date
JP6930512B2 (ja) 2021-09-01
US20210231799A1 (en) 2021-07-29
JP2020064544A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
EP2807642B1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
JP2001099930A (ja) 周辺監視センサ
EP1881345A1 (en) Method for detecting stationary object located above road
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
CN109643495B (zh) 周边监视装置及周边监视方法
CN112130158B (zh) 对象距离测量装置和方法
US11158192B2 (en) Method and system for detecting parking spaces which are suitable for a vehicle
JP2000266539A (ja) 車間距離計測装置
JP2018136240A (ja) 推定装置、推定方法、推定装置を備えた追尾装置、および推定方法を備えた追尾方法
CN112771591B (zh) 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法
CN111801718B (zh) 物体探测装置、物体探测方法、以及记录介质
EP3620818B1 (en) Annotation of radar-profiles of objects
KR102172071B1 (ko) 물체 분류로 자동차의 주변 영역을 포착하는 방법, 제어 장치, 운전자 보조 시스템, 및 자동차
JP7020353B2 (ja) 物体検出装置
WO2020079942A1 (ja) 物体検知装置、物体検知方法およびプログラム
JP6813436B2 (ja) 情報処理装置、移動体、情報処理方法、およびプログラム
US11645782B2 (en) Method and device for checking a calibration of environment sensors
JP2002122670A (ja) 車間距離計測方法
JP7217817B2 (ja) 物体認識装置及び物体認識方法
CN117677862A (zh) 一种伪像点识别方法、终端设备及计算机可读存储介质
JP2009031299A (ja) 周辺監視センサ
JP2007240316A (ja) 車載測距装置
CN113075668B (zh) 一种动态障碍物对象识别方法和装置
JP2019027995A (ja) 情報処理装置、プログラム、及び車両位置の推定方法
WO2023248341A1 (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19874671

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19874671

Country of ref document: EP

Kind code of ref document: A1