WO2020017336A1 - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
WO2020017336A1
WO2020017336A1 PCT/JP2019/026564 JP2019026564W WO2020017336A1 WO 2020017336 A1 WO2020017336 A1 WO 2020017336A1 JP 2019026564 W JP2019026564 W JP 2019026564W WO 2020017336 A1 WO2020017336 A1 WO 2020017336A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
object detection
reliability
unit
reliability calculation
Prior art date
Application number
PCT/JP2019/026564
Other languages
English (en)
French (fr)
Inventor
琢馬 大里
春樹 的野
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP19837560.2A priority Critical patent/EP3825648A4/en
Priority to CN201980046422.3A priority patent/CN112400094B/zh
Publication of WO2020017336A1 publication Critical patent/WO2020017336A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object detection device.
  • Patent Document 1 As a background art in this technical field, there is WO13 / 062087 (Patent Document 1).
  • the summary column of the publication states that “the deviation between the measurement point input to one of the viewpoint images and the corresponding point set to the other of the viewpoint images is suppressed to improve the accuracy of the three-dimensional measurement.
  • the left viewpoint image (6L ) A measurement point (7) serving as a reference for three-dimensional measurement is input, and a corresponding point (8a) is set on an extension line extending horizontally from the measurement point (7) toward the right viewpoint image 6 (R).
  • Patent Document 1 describes a unit that detects a straight line near a measurement point and generates a warning according to the inclination of the straight line.
  • processing is performed even when high-precision parallax is not required, there is a problem that an object may not be detected, processing costs may increase, and the like.
  • An object of the present invention is to provide an object detection device that can secure the accuracy of parallax calculation and suppress performance deterioration and increase in processing cost even when a displacement occurs in the image vertical direction.
  • the present invention provides an imaging unit that obtains a plurality of images, a parallax image generation unit that generates a parallax image from an image obtained from the imaging unit, and a reliability of each parallax of the parallax image.
  • a reliability calculation unit that calculates using the edge direction in the matching window, a reliability execution determination unit that determines whether or not to perform the reliability calculation, and a reliability calculation unit that calculates the reliability.
  • An object detection unit that detects an object using the parallax image and the reliability when the determination is made.
  • a stereo camera system is well known as a means for estimating the three-dimensional position of an object.
  • the stereo camera system arranges cameras at a plurality of positions, images the same object from a plurality of different viewpoints, and calculates a distance to the target object from a shift in appearance in an obtained image, that is, parallax.
  • this conversion is represented by the following Equation 1.
  • Z [mm] is the distance to the target object
  • f [mm] is the focal length
  • w [mm / px] is the pixel pitch
  • B [mm] is the distance between the cameras (base line length)
  • D [px] Represents parallax.
  • images captured from a plurality of positions are arranged horizontally, and a position where the same point is captured in the right image with respect to a specific point in the left image is searched.
  • a parallelization process is generally performed in advance.
  • Parallelization means vertical alignment of an image. That is, this is a process of calibrating the images so that the same point in the left and right images is captured at the same height.
  • the parallelized image when searching for a corresponding point, only a certain horizontal row needs to be searched, and the processing efficiency is high.
  • a parameter for parallelization changes due to an error at the time of assembly or deterioration over time, and even the left and right images that have been subjected to the parallelization processing may have a deviation in the vertical direction. At this time, especially in a region where a straight line in an oblique direction is imaged, a texture very similar to a different height is imaged, so that an erroneous corresponding point is detected and an error occurs in a three-dimensional position. .
  • FIG. 1 is an explanatory diagram of a parallax error dD [px] when a shift of dj [px] occurs in the vertical direction.
  • the left image 100LA and the right image 100RA show a case where no height shift has occurred.
  • a position where the same object is imaged is searched from the right image 100RA, and a shift amount of an image position with respect to the matching target 122 obtained as a match is obtained as parallax.
  • the left image 100LB and the right image 100RB show a case where a height shift has occurred.
  • the shift amount of the image position from the matching target 123 is obtained as the parallax.
  • a displacement between the positions of 122 and 123 occurs as a parallax error dD [px].
  • the parallax error dD is expressed by the following equation (2).
  • the parallax error dD is a function of the inclination ⁇ of the straight line, and it can be seen that dD increases as ⁇ approaches 0, that is, as it approaches horizontal. Therefore, by eliminating parallax having an edge in the angle ⁇ direction that is close to horizontal, it is possible to eliminate parallax that may include a large error.
  • Equation 3 the distance error dZ [mm] when the parallax error dD occurs is expressed by Equation 3 below.
  • a stereo camera 201 is mounted on a vehicle 200.
  • the stereo camera 201 has an object detection device mounted thereon, and measures, for example, a distance and a relative speed to a forward object 210 and transmits the measured data to the vehicle control unit 202.
  • the vehicle control unit controls the brake, accelerator, and steering based on the received distance and relative speed.
  • FIG. 3 shows the configuration of the object detection device according to the first embodiment of the present invention.
  • the object detection device includes a stereo camera 310, a memory 320, a CPU 330, an image processing unit 340, an external output unit 350, and the like.
  • the stereo camera 310 includes a left imaging unit 311 and a right imaging unit 312 of the stereo camera, and captures an image in front of a vehicle on which the stereo camera 310 is mounted.
  • the captured image is processed by the image processing unit 340, and an object is detected based on the parallax information generated by the parallax image generation unit (not shown) of the image processing unit 340.
  • the reliability calculation execution determination unit 341 determines whether or not rejection of parallax according to the reliability is necessary.
  • the reliability calculation unit 342 calculates the reliability of parallax and performs object detection.
  • the unit 343 detects a three-dimensional object based on the parallax and the reliability.
  • the detection result is transmitted from the external communication unit 350 to the image unit of the processing device, and is used to determine vehicle control such as accelerator, brake, and steering in the case of an in-vehicle stereo camera.
  • FIG. 4 shows a case where an undetected object occurs.
  • the camera image 400 captures the guardrail 410 facing directly, in the area 420, an object composed of only a substantially horizontal straight line is captured.
  • parallax having a nearly horizontal edge is excluded without any particular limitation, most parallax is excluded in the area 420, and there is a possibility that a guardrail cannot be detected.
  • the guardrail is shown as an example. However, if the object includes many near-horizontal edges, such as a vehicle viewed from the back, there is a possibility that undetected due to the removal of parallax.
  • the curvature calculating means may be calculated from a physical model using a steering angle or a yaw rate for a vehicle, may be calculated using a white line or a road edge detection function, or may be a GPS and map information. May be used to calculate the curvature of the planned road.
  • the calculation of the curvature is not limited to at least one of these calculation methods, and may be a configuration that employs a known method that can calculate in the same manner as these calculation methods.
  • the determination may be performed using a plurality of thresholds or using a threshold calculated by weighted averaging or the like.
  • the reliability calculation execution flag is turned off in S508, and the reliability calculation process is not performed.
  • FIG. 6 is a diagram for explaining a method of calculating a parallax limit distance that can be used for distance measurement.
  • the distance measurement is incorrectly performed due to a certain parallax error so that the object is actually located at the position 603 indicated by the black circle.
  • the relationship between the distance and the distance measurement error at this time is indicated by reference numeral 605 in the lower graph of FIG.
  • a point where the distance measurement error exceeds an allowable value is defined as a distance limit distance DIST_MAX_a [m]. If the allowable value is set, for example, within 5% of the actual distance, it is represented by reference numeral 604, and the point where reference numeral 604 and reference numeral 605 intersect is the distance measurement limit.
  • the allowable value is set, for example, within 5% of the actual distance, it is represented by reference numeral 604, and the point where reference numeral 604 and reference numeral 605 intersect is the distance measurement limit.
  • FIG. 7 is a diagram illustrating a method for calculating a limit distance for object detection due to an error in the height direction.
  • the position of the stereo camera 701 is erroneously measured so that an object is actually located at the position 703 indicated by a black circle due to a certain parallax error.
  • the relationship between the distance and the error in the height direction at this time is indicated by reference numeral 704 in the lower graph of FIG.
  • a point where the height error exceeds an allowable value is defined as an object detection limit distance DIST_MAX_b [m].
  • the permissible value is represented by reference numeral 705 as the permissible value 50 [cm] if, for example, the object detection function at the subsequent stage is a specification that detects only a parallax group having a height of 50 [cm] or more from the road surface as an object.
  • 704 and 705 are the object detection limit.
  • the distance measurement limit distance and the object detection limit distance may be used separately depending on the function, but here, for simplicity, the two values are compared, the closer limit value is DIST_MAX [m], and the parallax is the object distance.
  • a flag may be set to execute.
  • step S504 for example, if it is for an emergency braking function for collision avoidance, it is possible to calculate the maximum moving speed at which collision can be avoided for an object separated by DIST_MAX from the braking performance of the moving object. When moving at a speed lower than this speed, there is no need to eliminate parallax.
  • the purpose of this embodiment is to eliminate parallax at a position where a nearly horizontal oblique line is imaged.
  • the stereo camera designates a peripheral area of the point as a matching block, and performs matching of the left and right images based on image information in the matching block. Therefore, the edge of the image information in the matching block may be calculated, and the reliability may be calculated according to the edge angle.
  • FIG. 8 shows a flowchart of the reliability calculation unit.
  • step S801 an edge direction in a matching block is detected.
  • a Sobel filter As a general edge detecting means, there is a Sobel filter or the like.
  • the Sobel filter is a filter that detects an edge by multiplying 3 ⁇ 3 nine pixel values centered on a certain target pixel by a matrix such as the following Expressions 5 and 6, and summing the results.
  • EdgeH is the edge intensity in the horizontal direction
  • EdgeV is the edge intensity in the vertical direction.
  • edge information is calculated for each pixel. Note that the reliability of parallax needs to be considered not only for one pixel but for the entire matching block, but will be described together with the calculation of reliability at a later stage.
  • the reliability of parallax is calculated.
  • the reliability is expressed as 1.0, which is reliable or not reliable, for simplicity, when the number of pixels whose angle ⁇ is within the range of ⁇ ⁇ in the horizontal direction is counted in the matching block.
  • the reliability may be set to 0.
  • the reliability since the error increases as the edge angle is closer to the horizontal, the reliability may be changed according to the edge angle. As shown in FIG. 9A, the reliability is lowest when the edge angle is 0 °, and is highest when the edge angle is 90 °. Further, considering the degree of influence when the distance is converted, the reliability is low when the parallax value is small and the reliability is high when the parallax value is large even at the same edge angle.
  • Expression 10 in Expression 9 above is a term relating to the angle of the edge.
  • ⁇ used here must be a representative angle of the matching block, not an edge angle of only one pixel.
  • a method of creating a histogram for each constant angle and setting the peak position as a representative angle, taking a weighted average using edge strength from all edges voted in the peak range, etc. Can be considered.
  • Expression 11 is a term relating to the magnitude of parallax.
  • the calculation of the reliability is not limited to this equation 11 because it depends on the required specification of the subsequent object detection function, but it is low when the edge angle is horizontal and high when the edge angle is vertical, and low when the parallax is small. ⁇ Design as a function that increases when it is large.
  • the object detection unit 343 calculates the coordinates of a point in the real space from the parallax information and the image coordinates corresponding to the parallax information. The distance between the points is calculated for each point, and the points in the vicinity are grouped and detected as one solid object.
  • FIG. 10 shows a flowchart of the object detection unit in this embodiment.
  • (S1001) It is determined whether or not the reliability has been calculated. This is because the three-dimensional object detection using only parallax is performed by referring to the result of the reliability calculation unit execution determination unit 341 and calculating the reliability as a scene for which parallax should not be excluded. .
  • a loop process is performed on the entire parallax.
  • the object detection device of the first embodiment described above it is possible to suppress the performance deterioration and the increase in the processing cost while securing the calculation accuracy of the parallax even when a displacement occurs in the image vertical direction in the stereo camera system. It is possible to provide an object detection device capable of performing the above.
  • the second embodiment is a modification of the first embodiment, and shows an embodiment in which the object detection unit 343 classifies parallax into a plurality of types according to the reliability.
  • the influence of the parallax error is caused by (1) a case in which an object is correctly detected but an incorrect distance is detected due to a shift in a depth direction, and (2) a height or a right or left direction.
  • a limit distance can be set according to each characteristic.
  • the object detection unit 343 classifies the parallax into parallax that can be used for distance measurement, parallax that can be used for object detection, and parallax that should not be used for any of them. Can be used.
  • FIG. 11 shows a flowchart of the object detection unit 343 in the present embodiment.
  • the parallax having a large ranging error is not used for object detection.
  • the parallax is used at the stage of object detection, and the flow is eliminated during ranging.
  • an object detection device in a stereo camera system in which an object to be detected is not detected by removing parallax.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described above.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment.
  • each of the above-described configurations may be partially or entirely configured by hardware, or may be configured to be realized by executing a program by a processor.
  • control lines and information lines are shown as necessary for the description, and do not necessarily indicate all control lines and information lines on a product. In fact, it can be considered that almost all components are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制する。本発明は、複数の画像を得る撮像部３１０と、撮像部３１０から取得した画像から視差画像を生成する視差画像生成部と、視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部３４２と、信頼度算出を実施するか否かの判定を行う信頼度算出実施判定部３４１と、信頼度算出実施判定部３４１で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部３４３と、を備える。

Description

物体検知装置
　本発明は、物体検知装置に関する。
　本技術分野の背景技術として、ＷＯ１３／０６２０８７号公報（特許文献１）がある。
  該公報の要約欄には、「視点画像の一方に入力される測定点と、視点画像の他方に設定される対応点とのズレを抑えて３次元測定の精度を高める。左視点画像（６Ｌ）に３次元測定の基準となる測定点（７）を入力する。測定点（７）から右視点画像６（Ｒ）に向かって水平に延ばした延長線上に対応点（８ａ）が設定される。キャリブレーションで位置調整したときに左右の視点画像（６Ｌ，６Ｒ）に垂直ズレＤが生じ、各視点画像（６Ｌ，６Ｒ）の測定点（７），対応点（８ａ）を通る直線（２４，２７）が水平線と小さい角度θで交差している場合には、真の対応点（８）とは大きく離れた位置に対応点（８ａ）が誤設定される。これを防ぐために、角度θが閾値Ｓ以下になる左右の視点画像（６Ｌ，６Ｒ）は、３次元測定に適していないと判定して警告する。」と記載されている。
ＷＯ１３／０６２０８７号公報
　前記特許文献１では、測定点近傍で直線検出を実施し、直線の傾きに応じて警告を発生する手段が記載されている。しかしながら、高精度な視差を必要としない場合にも処理を実行するため、物体を未検知とする恐れがある、処理コストが増大する、などの問題があった。
　本発明の目的は、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することである。
　上記目的を達成するために、本発明は、複数の画像を得る撮像部と、前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、前記信頼度算出を実施するか否かの判定を行う信頼度実施判定部と、前記信頼度実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備える。
　本発明によれば、画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
ステレオカメラに垂直方向ずれが生じた場合の視差誤差に関する説明図 車載ステレオカメラの構成を示す説明図 物体検知装置の構成を示す説明図 視差の排除に伴う跳ね返りの説明図 実施例１における信頼度算出実施判定部のフローチャート 測距限界距離に関する説明図 物体検知限界距離に関する説明図 信頼度算出部のフローチャート 信頼度とエッジ角度の関係の説明図 物体検知部のフローチャート 実施例２における物体検知部のフローチャート
　対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式１で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、D[px]は視差を表す。
　視差を算出するにあたっては、複数の位置から撮像された画像を水平に並べ、左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。
　平行化とは、画像の縦方向の位置合わせを意味する。すなわち、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメタに変化が生じ、平行化処理を実施した左右画像であっても垂直方向にずれを有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し三次元位置に誤差が生じてしまう。
　図１は、垂直方向にdj[px]のずれを生じたときの視差誤差dD[px]の説明図である。左画像100LAと右画像100RAは高さずれが発生していない場合を示す。左画像100LAにおける探索対象121に対して、同一の物体が撮像されている位置を右画像100RAから探索してマッチングしたマッチング対象122との画像位置のずれ量を視差として得る。
　一方、左画像100LBと右画像100RBは高さずれが発生した場合を示す。同様の探索対象121に対してマッチング対象123との画像位置のずれ量を視差として得る。このとき122と123の位置のずれが視差誤差dD[px]として発生する。水平に対する直線の傾きをθ[rad]とすれば、視差誤差dDは以下の数式２で表される。
Figure JPOXMLDOC01-appb-M000002
　すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。よって、水平に近い角度θ方向にエッジを持つ視差を排除することで、大きな誤差を含む可能性のある視差を排除することができる。
　また、ここで数式１より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式３で表される。
Figure JPOXMLDOC01-appb-M000003
　f,B,wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。一方で、dDに対してDが十分に大きい場合にはdZは小さくなるため、物体の検知や測距に対する影響は無視できる。
  以下、図面を用いて実施例を説明する。
　まず、図２を用いて物体検知装置を搭載したステレオカメラを用いた車両制御システムの概要を説明する。車両２００にステレオカメラ２０１が搭載される。ステレオカメラ２０１には物体検知装置が搭載されており、例えば前方の物体２１０までの距離や相対速度を計測して車両制御部２０２に送信する。車両制御部は受け取った距離や相対速度からブレーキやアクセル、ステアリングを制御する。
　次に、図３を用いて本発明の物体検知装置の概要を説明する。
　図３は本発明の第１の実施形態における物体検知装置の構成を示す。物体検知装置は、ステレオカメラ３１０、メモリ３２０、ＣＰＵ３３０、画像処理部３４０、外部出力部３５０などを備える。ステレオカメラ３１０はステレオカメラの左撮像部３１１と右撮像部３１２とを備え、ステレオカメラ３１０を搭載した車両の前方を撮像する。撮像された画像を画像処理部３４０によって処理し、画像処理部３４０の視差画像生成部（図示せず）によって生成された視差情報に基づいて物体の検知を行う。信頼度算出実施判定部３４１において信頼度に応じた視差の棄却が必要か否かを判断し、必要であると判断された場合に信頼度算出部３４２において視差の信頼度を算出し、物体検知部３４３において視差と信頼度に基づいて立体物の検知を行う。検知結果は外部通信部３５０から処理装置の画部に送信され、車載ステレオカメラであればアクセルやブレーキ、ステアリングなど車両制御の判断に利用される。
　以下、信頼度算出実施判定部３４１の詳細について説明する。
　本実施例において課題とする、視差ずれの影響が特に大きくなる状況のひとつは、ステレオカメラ３１０から遠方を監視する場合である。よって、遠方を監視する必要のあるシーンでは、エッジ角度を用いた信頼度の算出及び信頼度を用いた視差の排除によって距離精度を向上したり、物体の誤検知を抑制する。遠方を監視する必要のないシーンでは、信頼度の算出及び信頼度を用いた視差の排除を実施しないことで、物体の未検知などの跳ね返りを抑制しつつ、処理コストを削減する。
　物体の未検知が発生するようなケースを図４に示している。カメラ画像４００が正対したガードレール４１０を撮像している場合、領域４２０においてはほぼ水平方向の直線のみで構成された物体が撮像されている。特に制限なく水平に近いエッジを持つ視差を排除した場合、領域４２０においてはほとんどの視差が排除され、ガードレールを検知出来ない恐れがある。なお、ここではガードレールを一例として示したが、背面から見た車両など水平に近いエッジが多く含まれる物体であれば、同様に視差の排除による未検知につながる可能性がある。
　次に、信頼度算出実施判定部３４１の処理フローの一例を図５に示している。遠方を監視する必要があるか否かをＳ５０１からＳ５０６で判定し、Ｓ５０７・Ｓ５０８で判定結果に応じてフラグを立てる。
　（Ｓ５０１）後段の処理であるＳ５０２で用いる距離閾値ＴＨ１を算出する。算出手段については後述する。
　（Ｓ５０２）処理時刻ｔに対して時刻ｔ－１以前の物体検知結果を参照し、閾値ＴＨ１より近傍に物体を検知していた場合、信頼度算出を実施しないと判定する。例えば自車正面の近傍に物体を検知している場合、遠方における物体の検知結果は自車両の制御に影響を与えないためである。
　（Ｓ５０３）後段の処理であるＳ５０４で用いる移動速度閾値ＴＨ２を算出する。算出手段については後述する。
　（Ｓ５０４）ステレオカメラの移動速度が閾値ＴＨ２より低い場合、信頼度算出を実施しないと判定する。車などの移動体にステレオカメラを搭載して、検知結果を元に制御を行うとき、高速で移動するほど遠方の物体を検知し制御に反映する必要がある。低速で移動している場合は、遠方の検知結果が制御に影響を及ぼす可能性は低く、遠方の監視は不要である。
　（Ｓ５０５）後段の処理であるＳ５０６で用いる曲率閾値ＴＨ３を算出する。算出手段については後述する。
　（Ｓ５０６）想定進行路の曲率が閾値ＴＨ３より高い場合、信頼度算出を実施しないと判定する。自車が左右方向にカーブ走行する場合、正面遠方で物体を検知したとしても検知位置を走行しないため、制御に影響を及ぼす可能性は低いため、遠方の監視が不要となる。曲率の算出手段については、例えば車両であれば舵角やヨーレートを用いて物理モデルから算出してもよいし、白線や道路端検知機能を用いて算出してもよいし、あるいはＧＰＳと地図情報を元に走行予定路の曲率を算出してもよい。曲率の算出にあたっては、少なくともこれらいずれかの算出手法に限らず、これら算出手法と同様に算出が可能な公知の手法を採用した構成であればよい。また、複数の閾値を用いたり、重み付け平均などによって算出した閾値を用いて判定を実施してもよい。
　各種判定処理の結果、いずれかにおいて信頼度算出を実施すべきでないと判断された場合、Ｓ５０８において信頼度算出実施フラグをOFFにし、信頼度算出処理は実施されない。
　各種判定処理の閾値の算出方法について説明する。視差に誤差が発生した場合、物体検知には２種類の悪影響が発生する可能性がある。
  第一に、測距の誤りである。数式３に示した通り、視差の誤差に伴う測距誤差は遠方ほど大きい。図６に測距に使える視差の限界距離の算出方法を説明する図を示している。ステレオカメラの搭載された車両６０１に対して、点線で示した物体６０２を配置したとき、ある視差誤差によって実際には黒丸で示した位置６０３に物体があるように測距を誤る。このときの距離と測距誤差の関係を、図６下部のグラフに符号６０５で示している。この測距誤差が許容値を越えるところを測距限界距離DIST_MAX_a[m]とする。許容値は例えば実際の距離に対して５％以内と設定すると符号６０４のように表され、符号６０４と符号６０５の交わる点が測距限界となる。
  第二に、高さあるいは左右方向の位置の誤りである。視差の誤差はカメラの光学中心方向の位置誤差を発生させるため、例えば高さ方向についての誤差dYは、実際のカメラに対する高さYに対して以下の数式４で表される。
Figure JPOXMLDOC01-appb-M000004
　この誤差が大きい場合、地面から得られた視差に対して障害物があると誤検知してしまう可能性がある。図７に高さ方向の誤差に起因する物体検知の限界距離の算出方法を説明する図を示している。ステレオカメラ７０１に対して、点線で示した道路面上の観測点７０２に対して、ある視差誤差によって実際には黒丸で示した位置７０３に物体があるように位置の測定を誤る。このときの距離と高さ方向誤差の関係を、図７下部のグラフに符号７０４で示している。この高さ誤差が許容値を越えるところを物体検知限界距離DIST_MAX_b[m]とする。許容値は例えば後段の物体検知機能が路面から50[cm]以上の高さを持つ視差のグループだけを物体として検知する仕様であれば、許容値50[cm]として符号７０５のように表され、符号７０４と符号７０５の交わる点が物体検知限界となる。測距限界距離と物体検知限界距離は機能に応じて別々に使ってもよいが、ここでは簡単のため２つの値を比較し、より近傍側の限界値をDIST_MAX[m]として、視差を物体検知に用いることのできる限界距離として設定する。各判定処理では、DIST_MAXより遠方で物体検知を実施するべきかどうかを判定し、遠方で物体検知をする必要があった場合には信頼度による視差の排除が必要であるとして、信頼度算出を実施するようフラグを立てればよい。
　図５のＳ５０２では、前フレームまでで検知している物体の距離がDIST_MAXより近傍であれば視差の排除の必要はない。
　Ｓ５０４では、例えば衝突回避のための緊急ブレーキ機能向けであれば、移動体のブレーキ性能とからDIST_MAXだけ離れた物体に対して衝突回避の出来る最大の移動速度を算出することができる。この速度より低速で移動している場合には、視差の排除の必要はない。
　Ｓ５０６であれば、DIST_MAXだけ進んだときにステレオカメラの画角外を走行する最小の曲率を算出することができ、この曲率よりも進行路の曲率が大きい場合、DIST_MAXより遠方の物体が見えたとしてもその位置を走行することはなく、視差の排除の必要はない。
　各種判定処理は互いに独立であるので、全てを判定する必要はなく、この順序で実施する必要もない。実施時の構成要素に合わせて必要な判定だけを実施すればよい。
　次に、信頼度算出部３４２の詳細について説明する。
　本実施例は、水平に近い斜め線の撮像された位置における視差の排除が目的である。ステレオカメラではある点の視差を算出するにあたって、点の周辺領域をマッチングブロックとして指定し、マッチングブロック内の画像情報を元に左右画像のマッチングを行う。
  よってマッチングブロック内の画像情報のエッジを算出し、エッジ角度に応じて信頼度を算出すればよい。
　信頼度算出部のフローチャートを図８に示している。Ｓ８０１において、マッチングブロック内のエッジ向きを検出する。一般的なエッジ検出手段としては、Sobelフィルタなどが挙げられる。Sobelフィルタとは、ある注目画素を中心とした3×3の9つの画素値に対して以下の数式５，６ような行列を乗算し、結果を合計することでエッジを検出するフィルタである。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　EdgeHは水平方向のエッジ強度、EdgeVは垂直方向のエッジ強度である。この２つの値を用いて、最終的なエッジの強度Ｓと向きφは以下の数式７，８で表現される。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　以上の計算によって、１画素ごとにエッジ情報が算出される。なお、視差の信頼度は１画素だけでなくマッチングブロック全体に対して考える必要があるが、後段の信頼度算出と合わせて述べる。
　次に、Ｓ８０２において視差の信頼度を算出する。例えば簡単のために信頼度を信頼できる・できないの１・０で表現する場合には、マッチングブロック内において角度φが水平方向±αの範囲内である画素の数を数え、閾値以上であるときに信頼度０とすればよい。あるいは、前述の通りエッジ角度が水平に近いほど誤差は大きくなることから、エッジ角度に応じて信頼度を変化させてもよい。図９（ａ）のようにエッジ角度は０°で信頼度が最も低くなり、９０°で最も高くなる。更に、距離に変換したときの影響度を考えると、同じエッジ角度であっても視差値が小さい時は信頼度が低くなり、大きい時には信頼度が高くなる。図９（ｂ）のように、同じエッジ角度であっても視差値が小さいほど信頼度を低く設定することができる。この関係を、例えば、以下のような数式９で表現することが考えられる。Dmax[px]は視差の取りうる最大値である。
Figure JPOXMLDOC01-appb-M000009
上記数式９における、下記数式１０は、エッジの角度に関する項である。
Figure JPOXMLDOC01-appb-M000010
　ここで用いるφは、１画素だけのエッジ角度でなく、マッチングブロックの代表的な角度とする必要がある。算出方法としては、一定角度ごとのヒストグラムを作成してピーク位置を代表的な角度とする、ピークとなった範囲に投票された全エッジからエッジ強度を用いた重みづけ平均をとる、などの手法が考えられる。
　上記数式９における、下記数式１１は、視差の大小に関する項である。
Figure JPOXMLDOC01-appb-M000011
　後段の物体検知機能の要求仕様に依るため、信頼度の算出はこの数式１１に限ったものではないが、エッジ角度が水平の時は低く・垂直の時は高くなり、視差が小さい時は低く・大きいときは高くなるような関数として設計する。
　次に、物体検知部３４３の詳細について説明する。
　物体検知部３４３では、視差情報と視差情報に対応する画像座標から、実空間における点の座標を算出する。それぞれの点について点同士の距離を算出し、近傍にある点同士をグルーピングし、一つの立体物として検知する。本実施例における物体検知部のフローチャートを図１０に示している。
　（Ｓ１００１）信頼度が算出済みであるかを判定する。これは信頼度算出部実施判定部３４１の結果を参照し、視差を排除するべきでないシーンとして信頼度の算出が未実施であった場合、視差だけを用いた立体物検知を実施するためである。以下、Ｓ１００２，Ｓ１００３で、視差全体に対するループ処理を実施する。
　（Ｓ１００２）信頼度が閾値以上の視差を物体検知に使って良い視差と判定する。
　（Ｓ１００３）視差を登録し、物体検知に用いて良い視差点群データを生成する。
　（Ｓ１００４）視差の登録が終わった後に、実空間において近傍にある点同士をグルーピングする。
　（Ｓ１００５）グルーピングした結果から距離や物体の縦横サイズを算出し、物体検知結果として整形して出力する。
　上記した実施例１の物体検知装置によれば、ステレオカメラシステムにおいて画像垂直方向にずれが発生した場合においても視差の算出精度を確保しつつ、かつ性能劣化や処理コストの増大を抑制することのできる物体検知装置を提供することができる。
　実施例２は実施例１の変形例であり、物体検知部３４３において視差を信頼度に応じて複数種類に分類する実施の形態を示す。実施例１で示した通り、視差の誤差による影響としては、（１）奥行き方向のずれに起因するものであって、正しく物体を検知したが距離を誤るケースと、（２）高さあるいは左右方向のずれに起因するものであって、物体のない領域において物体を誤検知するケースが存在し、それぞれの特性に応じて限界距離を設定することができる。それぞれの限界距離を考慮して信頼度を算出することで、物体検知部３４３において視差を測距に用いて良い視差、物体検知に用いて良い視差、いずれにも用いてはならない視差に分類し利用することができる。本実施例における物体検知部３４３のフローチャートを図１１に示している。実施例１では測距誤差が大きい視差も物体検知には用いないようにしていたが、本実施例では物体検知の段階では該視差を利用し、測距の際に排除するフローとなる。
　（Ｓ１１０２）、（Ｓ１１０３）図１０のＳ１００２、Ｓ１００３とは異なる閾値で信頼度を参照し、測距に用いてよい視差を登録する。
　（Ｓ１１０５）検知した物体の位置・速度を算出する際に、測距用視差として登録された視差だけを用いて推定することで、視差を過分に排除することによる未検知を抑制しつつ、測距精度を向上することができる。
　上記した物体検知装置によれば、ステレオカメラシステムにおいて、視差の排除によって検知すべき物体を未検出とすることのない物体検知装置を提供することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
３１０　撮像部、３４２　信頼度算出部、３４１　信頼度算出実施判定部、３４３　物体検知部

Claims (4)

  1. 　複数の画像を得る撮像部と、
    　前記撮像部から取得した画像から視差画像を生成する視差画像生成部と、
    　前記視差画像の各視差の信頼度をマッチングウィンドウ内のエッジ向きを用いて算出する信頼度算出部と、
    　前記信頼度算出を実施するか否かの判定を行う信頼度算出実施判定部と、
    　前記信頼度算出実施判定部で信頼度を算出すると判定した場合に視差画像と信頼度を用いて物体を検知する物体検知部と、を備えた物体検知装置。
  2. 　請求項１記載の物体検知装置であって、
    　前記信頼度算出部は、前記マッチングウィンドウ内のエッジ向きと得られた視差値を用いて前記信頼度を算出する物体検知装置。
  3. 　請求項１記載の物体検知装置であって、
    　前記信頼度算出実施判定部は、前記物体の検知情報か、自車の移動速度情報か、前記自車の前方の走行路情報のうちいずれかを用いて前記信頼度を算出するか否かの判定を行う物体検知装置。
  4. 　請求項１記載の物体検知装置であって、
    　前記物体検知部は、前記信頼度に応じて前記視差画像を物体検知用の視差と測距用の視差に分類する物体検知装置。
PCT/JP2019/026564 2018-07-19 2019-07-04 物体検知装置 WO2020017336A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19837560.2A EP3825648A4 (en) 2018-07-19 2019-07-04 OBJECT RECOGNITION DEVICE
CN201980046422.3A CN112400094B (zh) 2018-07-19 2019-07-04 物体探测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018135482A JP7064400B2 (ja) 2018-07-19 2018-07-19 物体検知装置
JP2018-135482 2018-07-19

Publications (1)

Publication Number Publication Date
WO2020017336A1 true WO2020017336A1 (ja) 2020-01-23

Family

ID=69163567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026564 WO2020017336A1 (ja) 2018-07-19 2019-07-04 物体検知装置

Country Status (4)

Country Link
EP (1) EP3825648A4 (ja)
JP (1) JP7064400B2 (ja)
CN (1) CN112400094B (ja)
WO (1) WO2020017336A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166403A1 (ja) * 2019-02-12 2020-08-20 日立オートモティブシステムズ株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021401A (ja) * 1996-07-04 1998-01-23 Canon Inc 三次元情報処理装置
JP2013024773A (ja) * 2011-07-22 2013-02-04 Canon Inc ３次元計測方法
WO2013062087A1 (ja) 2011-10-28 2013-05-02 富士フイルム株式会社 ３次元測定用撮像装置及び３次元測定装置、測定プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
CN108076266A (zh) * 2016-11-11 2018-05-25 株式会社东芝 处理装置以及摄像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021401A (ja) * 1996-07-04 1998-01-23 Canon Inc 三次元情報処理装置
JP2013024773A (ja) * 2011-07-22 2013-02-04 Canon Inc ３次元計測方法
WO2013062087A1 (ja) 2011-10-28 2013-05-02 富士フイルム株式会社 ３次元測定用撮像装置及び３次元測定装置、測定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3825648A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166403A1 (ja) * 2019-02-12 2020-08-20 日立オートモティブシステムズ株式会社 画像処理装置
JP2020128955A (ja) * 2019-02-12 2020-08-27 日立オートモティブシステムズ株式会社 画像処理装置
JP7134113B2 (ja) 2019-02-12 2022-09-09 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
CN112400094A (zh) 2021-02-23
CN112400094B (zh) 2022-10-28
JP2020012742A (ja) 2020-01-23
JP7064400B2 (ja) 2022-05-10
EP3825648A4 (en) 2022-04-20
EP3825648A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
EP3057063B1 (en) Object detection device and vehicle using same
US10169667B2 (en) External environment recognizing device for vehicle and vehicle behavior control device
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
US10457283B2 (en) Vehicle driving assist apparatus
EP3324359B1 (en) Image processing device and image processing method
US10810749B2 (en) Image processing apparatus, moving body device control system, computer-readable medium, and image processing method
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
US20130162826A1 (en) Method of detecting an obstacle and driver assist system
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
US20200193184A1 (en) Image processing device and image processing method
JP3925285B2 (ja) 走行路環境検出装置
WO2020017336A1 (ja) 物体検知装置
JP6577595B2 (ja) 車両用外界認識装置
EP3333828B1 (en) Step detection device and step detection method
WO2019203001A1 (ja) ステレオカメラ装置
JP7312275B2 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
JP2011076248A (ja) 走行区分線検出装置
EP3540643A1 (en) Image processing apparatus and image processing method
WO2020036039A1 (ja) ステレオカメラ装置
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP7225079B2 (ja) 障害物認識装置
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
US11010625B2 (en) Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019837560

Country of ref document: EP