JP4308405B2

JP4308405B2 - Object detection device

Info

Publication number: JP4308405B2
Application number: JP2000118549A
Authority: JP
Inventors: 明宏太田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2000-04-14
Filing date: 2000-04-14
Publication date: 2009-08-05
Anticipated expiration: 2020-04-14
Also published as: JP2001296357A

Description

【０００１】
【発明の属する技術分野】
本発明は、物体検出装置に関する。本発明の物体検出装置は、例えば、自動車に搭載され、先行車両、障害物等を検出することにより、ドライバによる自動車の走行を支援する装置として使用される。
【０００２】
【従来の技術】
従来の物体検出装置は、ミリ波レーダでのターゲット検出結果と、画像処理でのターゲット検出結果との双方の結果を用いてデータの信頼性を検討し、最適な結果を導き出すような融合アルゴリズムを構築していた。
図１に、従来の物体検出装置の構成を示す。
【０００３】
物体検出装置は、ミリ波レーダ１と、左カメラ２と、右カメラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ４は、画像処理用マイコン１１と融合処理用マイコン１２から構成される。
画像処理用マイコン１１は、各カメラ２，３からの画像を画像処理して物体の検出を行う。具体的には、左右カメラ２，３から取得した画像からエッジを抽出し、その結果得られた左右のエッジ抽出位置から視差を計算して、距離値を算出する。画像処理用マイコン１１の処理について図を用いて説明する。
【０００４】
図２は画像の１例を示す。当該車両の前方には、先行車両６が１台あり、路面にライン７が描かれ、路肩にガードレール８が存在している。図３は、図２の画像を処理して、縦エッジを計算した結果を示し、図４は、図３の結果を処理して、ピークの強い順にエッジを抽出した結果を示し、短い線分が抽出されたエッジである。画像処理用マイコン１１は、左右のカメラ２，３からそれぞれ図４のエッジを抽出し、視差によりターゲットまでの距離を計算する。
【０００５】
ミリ波レーダ１における処理方法は、特定エリア内をミリ波によりスキャンし、出力パワーの強い部分をターゲットとして認識する。図５は、ミリ波レーダ１から出力されたパワー強度と横位置（角度）の関係を示したもので、ターゲットが存在する部分のパワー強度は高くなり、ターゲットが存在しない部分は低くなる。
【０００６】
融合処理用マイコン１２は、ミリ波レーダ１の検出結果と、画像処理用マイコン１１の検出結果とを相互的に判断してターゲットの有無を判定し先行車両などの物体の存在確認、距離等の計算を行う。
【０００７】
【発明が解決しようとする課題】
上記従来の物体検出装置では、ミリ波レーダ及び、画像処理の双方の弱点を克服することは難しく、ミリ波レーダ及び画像処理のそれぞれから得られた結果以上の最適な結果を導き出すことができない。また、従来のミリ波レーダ１及び画像処理マイコン１１に必要な処理時間に単純に融合処理用マイコン１２における融合アルゴリズム分を加える形になるため、処理時間がかかり、最適な形態とは言えなかった。
【０００８】
本発明は、ミリ波レーダと画像処理を使用した物体検出装置において、ミリ波レーダと画像処理の欠点を相互に補いながら、処理時間を短縮することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明の物体検出装置は、ミリ波レーダと、画像取得手段と、ミリ波レーダから出力されるパワーに基づいて画像認識エリアを特定し、画像取得手段から取得した画像について、前記特定された画像認識エリアに限定して、画像処理を実行する処理手段とから構成される。
【００１０】
ミリ波レーダは、障害物、車両などの対象物を検知すると、所定のパワーを出力する。このパワーを検出したエリアに限定して画像処理を行うことで、ミリ波レーダと画像処理の双方の弱点を克服した物体検出が可能となる。また、画像処理の処理時間が短縮される。さらに、画像処理の場合は路面文字などを対象物として誤認識することがあるが、ミリ波レーダではこれを検出しないので、ミリ波レーダが物体を検出したエリアに限定して画像処理を行うことにより、路面文字などの実態のないものを誤検出することが防止できる。
【００１１】
本発明の物体検出装置の別の態様は、ミリ波レーダと、画像取得手段と、前記画像取得手段よりの画像からエッジを抽出し、抽出したエッジの位置が、前記ミリ波レーダの検出結果より抽出したパワーに基づいて、所定のエリア内に存在するかどうかを判断し、存在したエッジのみを有効なエッジとする処理手段とから構成される。
【００１２】
この構成によれば、画像から抽出したエッジであっても、ミリ波レーダが物体として検知したターゲットでなければ無視をするので、路面文字などを誤検出することを防止でき、ミリ波レーダと画像処理の双方の弱点を克服した物体検出が可能となる。
【００１３】
【発明の実施の形態】
以下本発明の物体検出装置を車両の走行支援装置に適用した実施形態について図を用いて説明する。
図６は、走行支援装置の回路構成を示す。
走行支援装置は、ミリ波レーダ１と、左カメラ２と右カメラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ４は、画像処理用及び融合処理用を兼用したマイコン５から構成される。なお、画像処理において視差による測距を行うために左右２台のカメラ２，３を設けているが、視差による測距を行わない場合は、カメラは１台のみとすることができる。
【００１４】
次に、マイコン５の処理について説明をする。
（実施形態１−１）
図７は、マイコン５の処理を示すフローチャートである。なお、車両の前方の状況が前述の図２に示すとおりであるとする。
図７において、ステップＳ１で、ミリ波レーダ１により、特定エリア内をスキャンする。図８は、スキャンの結果、ミリ波レーダ１から得られた結果を示す。図８の横軸は、スキャンしたエリアの横位置（角度）を示し、縦軸は、パワー強度〔ｄＢ〕を示す。前方に先行車両６があると、図示のように、先行車両６に対応する横位置におけるパワー強度は大きいものとなる。
【００１５】
ステップＳ２で、パワーが強い（Ｐ〔ｄＢ〕以上）ものをターゲットとして認識し、そのターゲットが存在する角度範囲（Ｘ０〜Ｘ１）を検索エリアとして保存する。ここでターゲットとして検出されるのは、図２では先行車両６だけであり、ライン７のような路面上に平面的に描かれたものではパワーは検出されない。
【００１６】
ステップＳ３で、左右カメラ２，３から取得した画像について、ステップＳ２で得た角度範囲（Ｘ０〜Ｘ１）内を検索エリアとして限定する。
ステップＳ４で、限定された検索エリア内で、縦エッジを抽出する。なお、この縦エッジの抽出処理は、当該技術分野において良く知られていることであるので、処理の内容の説明は省略する。
【００１７】
ステップＳ５で、パワーの強いもののみを抽出する。
ここで、前述の図３は、カメラ２，３から得た画像全体に渡って縦エッジを抽出した場合の結果を示す図である。これに対し、本例では、画像全体ではなく、検索エリアのみについて縦エッジを抽出し、パワーの強いもののみを抽出する。その結果は図９に示すとおりとなり、短い線分が抽出されたエッジである。
【００１８】
このように、限定した検索エリア内のみで縦エッジの抽出を行うことにより、画像全体について縦エッジを抽出する場合に比べて、処理時間を短縮することができる。また、図８の検索エリアから外れたライン７などについては、エッジ抽出が行われないので、路面文字などをターゲットとして誤検出することがない。ステップＳ６で、左右画像におけるピークを対応付けし、ステップＳ７で、対応付けしたピークの視差を計算し、先行車両６までの距離を得る。なお、ステップＳ６、Ｓ７の処理は、当該技術分野において良く知られていることであるので、処理の内容の説明は省略する。
【００１９】
以上説明した例によれば、画像処理によりエッジ抽出を行う上で、検索エリアを限定することにより、処理時間の短縮が可能となる。また、路面文字などの障害物はミリ波レーダではパワーに反映されないため、障害物、先行車両などの対象物のみを検知できる。
（実施形態１−２）
図７のステップＳ２における検索エリアの検出は、種々の変形が可能である。
【００２０】
図１０は、ステップＳ２の異なる検索エリアの抽出方法を示す。図１１は、そのエッジ抽出の結果を示す。
図１０において、ミリ波レーダ１から得たパワー強度のＰ０〜Ｐ１〔ｄＢ〕の範囲をパワー強度の所定レベル範囲とし、そのレベル範囲の横位置Ｘ０〜Ｘ１，Ｘ２〜Ｘ３を検索エリアとして抽出する。図１０のパワー強度の強い部分は、ターゲットを検出しているものであるから、パワー強度が急激に変化するＰ０〜Ｐ１〔ｄＢ〕の範囲は、ターゲットのエッジ位置となる。したがって、本例によれば、エッジが抽出される可能性が高い位置を更に限定することができるので、図１１に示すように、ターゲットのエッジのみを抽出することができ、処理時間を更に短縮できる。
【００２１】
（実施形態１−３）
図１２は、図７のステップＳ２の更に異なる検索エリアの抽出方法を示す。図１３は、本例における前方の状況を示す。
ミリ波レーダ１から得たパワー強度の分布は、図１２のように複数の山に分かれる場合がある。これは、図１３に示すように、前方に２つの先行車両６，９が存在した場合等に見られる。このようにパワーの分布が２山に分かれた場合、谷の部分（パワー強度Ｐ１〔ｄＢ〕以下の部分）の横位置Ｘ０〜Ｘ１を検索エリアとして抽出する。
【００２２】
（実施形態１−４）
実際に高速道路などを走行した場合、前方に車両が単一で存在する可能性は極めて低く、複数台存在する場合がほとんどである。
したがって、ミリ波レーダからの出力結果としては、様々なパターンが存在し、一意的には決定できない。そこで、図７のステップＳ２として、上述の実施形態１−１から１−３で説明した全ての検索エリアの合計を検索エリアとすることで、実際の走行に対応できるようにすることができる。
【００２３】
（実施形態２−１）
図１４は、マイコン５の第２の処理を示すフローチャートである。
ステップＳ１１で、ミリ波レーダ１により、特定エリア内をスキャンする。図１５は、スキャンの結果、ミリ波レーダ１から得た結果を示す。ここでは、車両の前方の状況が前述の図２に示すとおりであるとする。
【００２４】
ステップＳ１２で、パワーの強いものをターゲットとして認識して、図１５のパワー強度のピークに対応して角度（Ｘ０）を抽出し保存する。
ステップＳ１３，１４で、画像の濃度変化から検索エリアを抽出する。図１６は、カメラ２，３から得た画像の濃度変化を示す。この濃度変化は、カメラ２，３から得た画像について、ある水平方向のライン（Ｘ座標）上の濃度を示す。
【００２５】
ステップＳ１３で、この濃度変化について、ピークに対応するＸ０座標を中心に、左右対称となるエリアを検索し、対称とならなくなった位置Ｘ１，Ｘ２を保存する。物体が車両などである場合、その画像濃度は中心から左右対称となり、車両より外側になると、路面などが画像として検出されるので、左右対称とはならなくなる。したがって、左右対称とならなくなった位置Ｘ１，Ｘ２の近辺に物体のエリアがある可能性が高い。なお、左右対称を判断する際には、同一物体であっても実際には１００％対称とはならないので、ある程度の許容範囲を持たせて判断をする。
【００２６】
ステップＳ１４で、位置Ｘ１，Ｘ２を中心として、前後数座標のエリア（Ｘ３〜Ｘ４，Ｘ５〜Ｘ６）を検索エリアとして保存する。このように、位置Ｘ１，Ｘ２の近辺のエリアを特定することにより、物体のエッジがこの検索エリア内に存在することとなる。
以後のステップ、即ち、この検索エリアを使用するステップＳ４〜７の処理は、前述の図７のフローチャートと同様である。本例においても、画像処理に要する時間を短縮し、路面文字などを物体と誤検出することが防止できる。
【００２７】
（実施形態２−２）
上記ステップＳ１３，１４における画像処理による検索エリアの抽出は、画像の濃度変化の代わりに、濃度投影値を用いても抽出することができる。
図１７は、画像の濃度投影値を利用した検索エリアの抽出方法を示す。この濃度投影値は、カメラ２，３から得た画像について、垂直方向（縦位置）に画素濃度を合計して得るものである。本例でも、上述の実施形態２−１と同様にして検索エリアＸ３〜Ｘ４，Ｘ５〜Ｘ６を得る。
【００２８】
（実施形態３−１）
図１８は、図６のマイコン５の第３の処理を示すフローチャートである。
ステップＳ２１で、カメラ２，３から画像を取得する。
ステップＳ２２で、画像処理により縦エッジを抽出する。この画像処理では、画像の全範囲に渡って縦エッジを抽出するので、得られた結果は、前述の図３に示すようになる。
【００２９】
ステップＳ２３で、得られた縦エッジについてパワーの強いものから順にピーク抽出を行う。得られた結果は、前述の図４に示すようになる。そして、各エッジの抽出位置を角度位置Ｘ_nとして保存する。
ステップＳ２４で、ミリ波レーダ１により、特定エリア内をスキャンする。
ステップＳ２５で、スキャンの結果得られた結果から角度位置Ｙ_nを抽出して保存する。この角度位置Ｙ_nは、前述の実施形態１及び実施形態２で検索エリアとして抽出したものと同様であり、図８、図１０、図１２に示す方法のいずれか、又は、その組み合わせを使用することができる。
【００３０】
ステップＳ２６で、角度位置Ｘ_nとＹｎの共通部分を抽出する。
ステップＳ２７で、抽出した共通の角度位置にあるターゲットについて視差を求め、距離値に換算して物体を検出する。
本例においては、画像処理に要する時間は短縮されないが、路面文字などの障害物に対する誤測距を除去することが可能である。
【００３１】
【発明の効果】
本発明によれば、ミリ波レーダと画像処理を使用した物体検出装置において、ミリ波レーダと画像処理の欠点を相互に補いながら、処理時間を短縮することができる。
【図面の簡単な説明】
【図１】従来の物体検出装置の構成を示す図。
【図２】物体検出装置の前方の状況を示す画像を示す図。
【図３】図１の装置の画像処理により計算されたエッジを示す図。
【図４】図３の結果から抽出されたエッジを示す図。
【図５】図１のミリ波レーダから出力された結果を示す図。
【図６】本発明を適用した走行支援装置の構成を示す図。
【図７】図６のマイコンの処理を示すフローチャート。
【図８】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する方法を示す図。
【図９】図７の処理により抽出されたエッジを示す図。
【図１０】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する第２の方法を示す図。
【図１１】図１０に示す方法で抽出されたエッジを示す図。
【図１２】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する第３の方法を示す図。
【図１３】前方に先行車両が複数ある状況の画像を示す図。
【図１４】図６のマイコンの第２の処理を示すフローチャート。
【図１５】図１４の処理におけるパワー強度を示す図。
【図１６】図１４の処理における検索エリアを決定する方法を示す図（その１）。
【図１７】図１２の処理における検索エリアを決定する方法を示す図（その２）。
【図１８】図６のマイコンの第３の処理を示すフローチャート（実施形態３）。
【符号の説明】
１…ミリ波レーダ
２…左カメラ
３…右カメラ
４…ＥＣＵ
５…マイコン
６…先行車両
７…ライン
８…ガードレール
９…第２の先行車両
１１…画像処理用マイコン
１２…融合処理用マイコン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object detection device. The object detection device of the present invention is mounted on a vehicle, for example, and is used as a device that assists the driver in driving the vehicle by detecting a preceding vehicle, an obstacle, or the like.
[0002]
[Prior art]
Conventional object detection devices use a fusion algorithm that examines the reliability of data using the results of both target detection results in millimeter-wave radar and target detection results in image processing, and derives optimal results. Was building.
FIG. 1 shows a configuration of a conventional object detection apparatus.
[0003]
The object detection device includes a millimeter wave radar 1, a left camera 2, a right camera 3, and an ECU 4 for image processing. The ECU 4 includes an image processing microcomputer 11 and a fusion processing microcomputer 12.
The image processing microcomputer 11 detects an object by performing image processing on images from the cameras 2 and 3. Specifically, an edge is extracted from images acquired from the left and right cameras 2 and 3, and parallax is calculated from the left and right edge extraction positions obtained as a result, thereby calculating a distance value. The processing of the image processing microcomputer 11 will be described with reference to the drawings.
[0004]
FIG. 2 shows an example of an image. There is one preceding vehicle 6 in front of the vehicle, a line 7 is drawn on the road surface, and a guard rail 8 is present on the road shoulder. 3 shows the result of calculating the vertical edge by processing the image of FIG. 2, and FIG. 4 shows the result of extracting the edges in order of strong peaks by processing the result of FIG. Are extracted edges. The image processing microcomputer 11 extracts the edges shown in FIG. 4 from the left and right cameras 2 and 3, respectively, and calculates the distance to the target based on the parallax.
[0005]
The processing method in the millimeter wave radar 1 scans a specific area with millimeter waves and recognizes a portion having a high output power as a target. FIG. 5 shows the relationship between the power intensity output from the millimeter wave radar 1 and the lateral position (angle). The power intensity in the portion where the target is present is high, and the portion where the target is not present is low.
[0006]
The fusion processing microcomputer 12 judges the presence / absence of a target by mutually judging the detection result of the millimeter wave radar 1 and the detection result of the image processing microcomputer 11 to confirm the presence of an object such as a preceding vehicle, distance, etc. Perform the calculation.
[0007]
[Problems to be solved by the invention]
In the conventional object detection apparatus described above, it is difficult to overcome the weaknesses of both the millimeter wave radar and the image processing, and it is impossible to derive an optimum result that exceeds the results obtained from the millimeter wave radar and the image processing. Further, the processing time required for the conventional millimeter wave radar 1 and the image processing microcomputer 11 is simply added to the fusion algorithm in the fusion processing microcomputer 12, so that the processing time is required and it cannot be said that it is an optimum form. .
[0008]
An object of the present invention is to reduce processing time in an object detection apparatus using millimeter wave radar and image processing while mutually compensating for the drawbacks of millimeter wave radar and image processing.
[0009]
[Means for Solving the Problems]
The present invention has been made to achieve the above object. The object detection device of the present invention specifies an image recognition area based on power output from a millimeter wave radar, an image acquisition unit, and a millimeter wave radar, and the specified image for the image acquired from the image acquisition unit. It is comprised from the processing means which performs an image process only in a recognition area.
[0010]
When the millimeter wave radar detects an object such as an obstacle or a vehicle, the millimeter wave radar outputs a predetermined power. By performing image processing only in the area where this power is detected, it is possible to detect an object that overcomes the weaknesses of both millimeter wave radar and image processing. In addition, the processing time for image processing is shortened. Furthermore, in the case of image processing, road surface characters may be misrecognized as an object, but millimeter wave radar does not detect this, so image processing is limited to the area where millimeter wave radar detects the object. Therefore, it is possible to prevent erroneous detection of an actual character such as a road surface character.
[0011]
Another aspect of the object detection apparatus of the present invention is to extract an edge from the image from the millimeter wave radar, the image acquisition means, and the image acquisition means, and the position of the extracted edge is based on the detection result of the millimeter wave radar. Based on the extracted power, it is determined whether or not it exists within a predetermined area, and processing means for setting only the existing edge as an effective edge.
[0012]
According to this configuration, even if the edge is extracted from the image, it is ignored unless the target detected by the millimeter wave radar as an object. Therefore, it is possible to prevent erroneous detection of road characters and the like. Object detection that overcomes both weaknesses of processing is possible.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment in which an object detection device of the present invention is applied to a vehicle travel support device will be described with reference to the drawings.
FIG. 6 shows a circuit configuration of the driving support device.
The travel support apparatus includes a millimeter wave radar 1, a left camera 2, a right camera 3, and an ECU 4 for image processing. The ECU 4 includes a microcomputer 5 that is used for both image processing and fusion processing. Note that the two cameras 2 and 3 are provided on the left and right sides to perform distance measurement using parallax in image processing. However, if distance measurement using parallax is not performed, only one camera can be used.
[0014]
Next, processing of the microcomputer 5 will be described.
(Embodiment 1-1)
FIG. 7 is a flowchart showing the processing of the microcomputer 5. It is assumed that the situation in front of the vehicle is as shown in FIG.
In FIG. 7, a specific area is scanned by the millimeter wave radar 1 in step S1. FIG. 8 shows the result obtained from the millimeter wave radar 1 as a result of scanning. The horizontal axis in FIG. 8 indicates the horizontal position (angle) of the scanned area, and the vertical axis indicates the power intensity [dB]. When there is a preceding vehicle 6 ahead, the power intensity at the lateral position corresponding to the preceding vehicle 6 is large as shown in the figure.
[0015]
In step S2, an object having a strong power (P [dB] or more) is recognized as a target, and the angle range (X0 to X1) where the target exists is stored as a search area. Here, only the preceding vehicle 6 is detected as the target in FIG. 2, and power is not detected when the vehicle is drawn on the road surface like the line 7.
[0016]
In step S3, for the images acquired from the left and right cameras 2 and 3, the angle range (X0 to X1) obtained in step S2 is limited as a search area.
In step S4, vertical edges are extracted within the limited search area. Note that this vertical edge extraction processing is well known in the technical field, so description of the processing content will be omitted.
[0017]
In step S5, only those with strong power are extracted.
Here, FIG. 3 described above is a diagram illustrating a result when vertical edges are extracted over the entire image obtained from the cameras 2 and 3. In contrast, in this example, vertical edges are extracted only for the search area, not the entire image, and only those with strong power are extracted. The result is as shown in FIG. 9, which is an edge from which a short line segment is extracted.
[0018]
Thus, by extracting the vertical edge only within the limited search area, the processing time can be shortened as compared with the case of extracting the vertical edge for the entire image. Further, since the edge extraction is not performed for the line 7 and the like that are out of the search area in FIG. In step S6, the peaks in the left and right images are associated with each other. In step S7, the parallax of the associated peaks is calculated, and the distance to the preceding vehicle 6 is obtained. In addition, since the process of step S6, S7 is well known in the said technical field, description of the content of a process is abbreviate | omitted.
[0019]
According to the example described above, the processing time can be shortened by limiting the search area when performing edge extraction by image processing. Moreover, since obstacles such as road surface characters are not reflected in the power by the millimeter wave radar, only objects such as obstacles and preceding vehicles can be detected.
(Embodiment 1-2)
The detection of the search area in step S2 in FIG. 7 can be variously modified.
[0020]
FIG. 10 shows a method for extracting different search areas in step S2. FIG. 11 shows the result of the edge extraction.
In FIG. 10, a range of power intensity P0 to P1 [dB] obtained from the millimeter wave radar 1 is set as a predetermined level range of power intensity, and lateral positions X0 to X1, X2 to X3 of the level range are extracted as search areas. . Since the portion where the power intensity is strong in FIG. 10 detects the target, the range of P0 to P1 [dB] where the power intensity changes abruptly becomes the edge position of the target. Therefore, according to this example, it is possible to further limit the positions where the edge is highly likely to be extracted. Therefore, as shown in FIG. 11, only the target edge can be extracted, and the processing time is further reduced. it can.
[0021]
(Embodiment 1-3)
FIG. 12 shows a further different search area extraction method in step S2 of FIG. FIG. 13 shows the front situation in this example.
The power intensity distribution obtained from the millimeter wave radar 1 may be divided into a plurality of mountains as shown in FIG. This is seen when there are two preceding vehicles 6 and 9 ahead as shown in FIG. In this way, when the power distribution is divided into two peaks, the lateral positions X0 to X1 of the valley portions (portions below the power intensity P1 [dB]) are extracted as search areas.
[0022]
(Embodiment 1-4)
When actually traveling on an expressway or the like, the possibility of a single vehicle in front of the vehicle is extremely low, and in many cases there are a plurality of vehicles.
Therefore, various patterns exist as output results from the millimeter wave radar and cannot be uniquely determined. Therefore, as step S2 in FIG. 7, the total of all the search areas described in the above-described embodiments 1-1 to 1-3 is set as the search area, so that it is possible to deal with actual traveling.
[0023]
(Embodiment 2-1)
FIG. 14 is a flowchart showing the second process of the microcomputer 5.
In step S11, the millimeter wave radar 1 scans the specific area. FIG. 15 shows the results obtained from the millimeter wave radar 1 as a result of scanning. Here, it is assumed that the situation ahead of the vehicle is as shown in FIG.
[0024]
In step S12, a strong power is recognized as a target, and an angle (X0) is extracted and stored corresponding to the power intensity peak in FIG.
In steps S13 and S14, a search area is extracted from the density change of the image. FIG. 16 shows the density change of the images obtained from the cameras 2 and 3. This density change indicates the density on a certain horizontal line (X coordinate) for the images obtained from the cameras 2 and 3.
[0025]
In step S13, an area that is symmetric about the X0 coordinate corresponding to the peak is searched for this density change, and the positions X1 and X2 that are no longer symmetric are stored. When the object is a vehicle or the like, the image density is symmetrical from the center, and when the object is outside the vehicle, the road surface or the like is detected as an image. Therefore, there is a high possibility that there is an object area in the vicinity of the positions X1 and X2 that are no longer symmetrical. When determining left / right symmetry, even if the object is the same, it is not actually 100% symmetric, so the determination is made with a certain tolerance.
[0026]
In step S14, an area with several coordinates around the positions X1 and X2 (X3 to X4, X5 to X6) is stored as a search area. Thus, by specifying the area in the vicinity of the positions X1 and X2, the edge of the object is present in this search area.
The subsequent steps, that is, the processes of steps S4 to S7 using this search area are the same as those in the flowchart of FIG. Also in this example, it is possible to reduce the time required for image processing and to prevent erroneous detection of road characters and the like as objects.
[0027]
(Embodiment 2-2)
The search area can be extracted by the image processing in steps S13 and S14 using a density projection value instead of the density change of the image.
FIG. 17 shows a search area extraction method using the density projection value of an image. This density projection value is obtained by summing the pixel densities in the vertical direction (vertical position) for the images obtained from the cameras 2 and 3. Also in this example, the search areas X3 to X4 and X5 to X6 are obtained in the same manner as in Embodiment 2-1.
[0028]
(Embodiment 3-1)
FIG. 18 is a flowchart showing a third process of the microcomputer 5 of FIG.
In step S21, images are acquired from the cameras 2 and 3.
In step S22, vertical edges are extracted by image processing. In this image processing, vertical edges are extracted over the entire range of the image, and the obtained result is as shown in FIG.
[0029]
In step S23, the obtained vertical edges are extracted in descending order of power. The obtained result is as shown in FIG. And the extraction position of each edge is preserve _| saved as angle position _Xn .
In step S24, the millimeter wave radar 1 scans the specific area.
In step S25, the angular position Y _n is extracted from the result obtained by scanning and stored. This angular position Y _n is the same as that extracted as the search area in the first and second embodiments described above, and uses one of the methods shown in FIGS. 8, 10, and 12, or a combination thereof. be able to.
[0030]
In step S26, the common part of the angular positions _Xn and Yn is extracted.
In step S27, the parallax is obtained for the extracted target at the common angular position, and the object is detected by converting it to a distance value.
In this example, the time required for image processing is not shortened, but it is possible to eliminate erroneous distance measurement for obstacles such as road surface characters.
[0031]
【The invention's effect】
According to the present invention, in an object detection device using millimeter wave radar and image processing, it is possible to shorten the processing time while mutually compensating for the drawbacks of millimeter wave radar and image processing.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a conventional object detection apparatus.
FIG. 2 is a diagram showing an image showing a situation in front of the object detection device.
FIG. 3 is a diagram showing edges calculated by image processing of the apparatus of FIG. 1;
FIG. 4 is a diagram showing edges extracted from the result of FIG. 3;
FIG. 5 is a view showing a result output from the millimeter wave radar of FIG. 1;
FIG. 6 is a diagram showing a configuration of a driving support device to which the present invention is applied.
7 is a flowchart showing processing of the microcomputer in FIG. 6;
8 is a diagram showing a method for determining a search area from the power intensity obtained by the millimeter wave radar shown in FIG. 6;
9 is a diagram showing edges extracted by the process of FIG. 7;
10 is a diagram showing a second method for determining a search area from the power intensity obtained by the millimeter wave radar of FIG. 6; FIG.
FIG. 11 is a diagram showing edges extracted by the method shown in FIG. 10;
12 is a diagram showing a third method for determining a search area from the power intensity obtained by the millimeter wave radar of FIG. 6; FIG.
FIG. 13 is a diagram showing an image in a situation where there are a plurality of preceding vehicles ahead.
FIG. 14 is a flowchart showing second processing of the microcomputer of FIG. 6;
15 is a diagram showing power intensity in the processing of FIG. 14;
FIG. 16 is a diagram (No. 1) illustrating a method for determining a search area in the process of FIG. 14;
17 is a diagram showing a method for determining a search area in the process of FIG. 12 (part 2);
FIG. 18 is a flowchart showing a third process of the microcomputer of FIG. 6 (third embodiment).
[Explanation of symbols]
1 ... millimeter wave radar 2 ... left camera 3 ... right camera 4 ... ECU
5 ... microcomputer 6 ... preceding vehicle 7 ... line 8 ... guard rail 9 ... second preceding vehicle 11 ... image processing microcomputer 12 ... fusion processing microcomputer

Claims

Image acquisition means having two cameras ;
Millimeter wave radar,
Said extracting vertical edges over the entire range of the image obtained from the two cameras, the extracted said longitudinal edges to extract a peak in the order of strong power, the extraction position of each of the longitudinal edges of the image acquisition unit The first angular position is stored, and on the other hand, from the result obtained by scanning the specific area with the millimeter wave radar, a target having a strong power in the specific area is recognized as the target, The recognized position is stored as a second angular position, a common part between the first angular position and the second angular position is extracted, and parallaxes of a plurality of peaks in the common part are obtained , and the parallax An object detection apparatus comprising: processing means for calculating a distance value to the target based on the above and executing image processing for object detection.

The processing means stores, as the second angular position, an angular range corresponding to a search area that is detected as the power being equal to or higher than a predetermined level from a result obtained by scanning the specific area. Item 4. The object detection apparatus according to Item 1.

The processing means stores, as the second angular position, an angular range corresponding to a search area that is detected as the power being within a predetermined level range from a result obtained by scanning the specific area. Item 4. The object detection apparatus according to Item 1.

The processing means uses, as a second angular position, an angle range corresponding to a search area in which the power level is detected as a valley in a plurality of peaks, based on a result obtained by scanning in the specific area. The object detection apparatus according to claim 1 to be stored.

The processing means includes a search area where the power is detected as being equal to or higher than a predetermined level, and a search area where the power is detected as being within a predetermined level from a result obtained by scanning the specific area. The object detection device according to claim 1, wherein an angle range corresponding to a search area in which the power level is detected as a valley in a plurality of peaks is stored as the second angle position.