JP3726309B2 - Vehicle recognition device and vehicle approach notification device using the same - Google Patents

Vehicle recognition device and vehicle approach notification device using the same Download PDF

Info

Publication number
JP3726309B2
JP3726309B2 JP15239895A JP15239895A JP3726309B2 JP 3726309 B2 JP3726309 B2 JP 3726309B2 JP 15239895 A JP15239895 A JP 15239895A JP 15239895 A JP15239895 A JP 15239895A JP 3726309 B2 JP3726309 B2 JP 3726309B2
Authority
JP
Japan
Prior art keywords
vehicle
edge feature
vertical
value
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15239895A
Other languages
Japanese (ja)
Other versions
JPH08329397A (en
Inventor
和彦 金原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP15239895A priority Critical patent/JP3726309B2/en
Publication of JPH08329397A publication Critical patent/JPH08329397A/en
Application granted granted Critical
Publication of JP3726309B2 publication Critical patent/JP3726309B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【産業上の利用分野】
本発明は、画像処理によって車両を認識する装置、および該認識結果より車両の接近度を報知する車両接近報知装置に関するものである。
【０００２】
【従来の技術】
従来の車両認識装置に関しては例えば、Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅａｒ−Ｅｎｄ Ｃｏｌｌｉｓｉｏｎ Ａｖｏｉｄａｎｃｅ Ｓｙｓｔｅｍ（１９９４ Ｖｅｈｉｃｌｅ Ｎａｖｉｇａｔｉｏｎ ＆ Ｓｙｓｔｅｍ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ）という発表された論文がある。この論文は、車両の検出を画像処理により作成されたヒストグラムから推定する手法を述べている。その概要は図３０に示されている。
【０００３】
撮像手段１１０は自車の前方道路を撮像し、得られる前方道路画像において、縦エッジヒストグラム作成手段１１１と、横エッジヒストグラム作成手段１１２が、図３１に示すように、消失点付近を中心とした領域１２０内から縦エッジを検出し縦エッジヒストグラムａを、領域１２１内から横エッジを検出し横エッジヒストグラムｂをそれぞれ作成する。
【０００４】
側面座標特定手段１１３が縦エッジヒストグラムａを用いて２つのピーク値ｃの検出によって先行車の車幅を示す両側面座標を検出する。上端／下端座標特定手段１１４が横エッジヒストグラムｂを用いて先行車の頂部、底部座標をそれぞれ検出する。その後、車両判定手段１１５では、画像の検出結果と、あらかじめ定めた自車との相対運動をパラメータとする先行車の運動モデルとのマッチングを図ることによって、画像の検出結果の信憑性判断および先行車の追跡を行なう。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の車両認識装置にあっては、以下のような問題点があった。
すなわち、先行車両側面に現われる縦エッジは車両背景とのコントラストによって生ずるものであるために、図３２に示している縦エッジヒストグラムｄのように片方のピーク値しか現われないことがあり、必ずしも側面位置に縦エッジヒストグラムのピークが現われるとは限らないこと、また、車両背面の形態によっては、縦エッジヒストグラムｅのように車両側面の縦エッジピーク値と同等かそれ以上の値が検出される可能性があることが挙げられる。したがって、実際の走行路上での検出において車両背景によっては検出が困難あるいは検出精度が低下する恐れもある。
この発明は、上記問題点に鑑み、誤検出を無くし、かつ高い検出精度の車両認識装置を提供することと、さらに、それに基づく車両接近報知装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
このため、請求項１記載の発明は、図１に示されるように、車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段１５０と、前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段１５１と、前記微分画像において、参照領域を規定する参照領域規定手段１５２と、前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段１５３と、前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段１５４と、前記横エッジ特徴量および前記縦エッジ特徴量をもとに前記縦エッジ特徴量もしくは横エッジ特徴量を強調するエッジ特徴量強調手段１５５と、前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段１５６とを具備するものとした。
そして、とくにエッジ特徴量強調手段は、前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するものとした。
【０００７】
請求項２の発明は、請求項１の発明におけるエッジ特徴量強調手段のかわりに、横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段としたものである。
【０００８】
とくに、前記参照領域規定手段は、微分画像において自車走行領域を検出し、同走行領域内の横エッジに基づき車両候補位置を検出し、同位置近傍において参照領域を規定することができる。
前記横エッジ特徴量算出手段は、前記参照領域内で画面下方向に横エッジ強度の濃度投影値を算出することができる。
あるいは、前記横エッジ特徴量算出手段は、前記参照領域内で画面同列上に所定の範囲内の横エッジ強度値を有する画素数を計数することができる。
さらにまた、前記横エッジ特徴量算出手段は、前記参照領域内で同列内横エッジ画像のエッジ強度平均値を算出することもできる。
【０００９】
前記縦エッジ特徴量算出手段は、前記参照領域内で画面下方向に縦エッジ強度の濃度投影値を算出することができる。
あるいは、前記縦エッジ特徴量算出手段は、前記参照領域内で同列上に所定の範囲内の縦エッジ強度値を有する画素数を計数することができる。
さらにまた、前記縦エッジ特徴量算出手段は、前記参照領域内で同列内縦エッジ画像のエッジ強度平均値を算出することもできる。
【００１０】
請求項１０記載の発明は、前記車両認識手段が、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出し、算出された車両最下端候補座標をもとに車両を認識する手段とを含むものとした。
請求項１１記載の発明は、前記車両認識手段が、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標より画面内車両幅を算出する手段と、算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識する手段とを含むものとした。
【００１１】
請求項１２記載の発明は、図２に示されるように、請求項１記載の構成に加えて、
前方障害物までの距離を測定する測距手段１６０と、
前記車両認識手段１５６による車両認識結果を用いて、前記測距手段の測距データが自車前方を走行する車両までの距離値であることを確認する車間距離判定手段１６１と、
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段１６２と、
前記判定結果に基づき運転者に注意を促す報知手段１６３とを具備するものとした。
【００１２】
請求項１３記載の発明は、請求項２記載の構成に加えて、
前方障害物までの距離を測定する測距手段１６０と、
前記車両認識手段１５６による車両認識結果を用いて、前記測距手段の測距データが自車前方を走行する車両までの距離値であることを確認する車間距離判定手段１６１と、
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段１６２と、
前記判定結果に基づき運転者に注意を促す報知手段１６３とを具備したものである。
請求項１２、１３の発明において、前記測距手段は、互いに異なる指向性を有する複数の測距センサから構成することができる。
【００１３】
【作用】
請求項１記載の発明では、原画像を微分し、微分画像から車両の特徴を反映する縦エッジおよび横エッジの特徴量をそれぞれ算出する。そしてその算出値をもとに縦エッジの特徴量もしくは横エッジの特徴量を強調させてから車両の検出に用いるため、エッジ特徴の不鮮明な微分画像でも車両検出が正しく行なわれる。
そして、作成された横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するから、車両の両側面および上下端のエッジ強度のみ強調されることになる。
【００１４】
請求項２記載の発明では、前記作成された横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の画面横方向分布を除することによって前記横エッジ特徴量を強調するから、車両の両側面および上下端のエッジ強度のみ強調されることになる。
【００１５】
請求項１０記載の発明では、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出する。そして、算出された車両最下端候補座標を走行路上での車影座標と照合させることによって車両を認識するように行なうと、先行車が誤検出されることなく、認識される。
請求項１１記載の発明では、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標より画面内車両幅を算出する。そして算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識するから、誤検出を無くし先行車が正しく認識される。
【００１６】
請求項１２、１３記載の発明では、請求項１、２記載のものに加えて、測距手段を設け、車間距離判定手段は、前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する。そしてその距離確認された距離データに基づいて自車の先行車に対する接近度を判定し、運転者に注意を促すようにしたから、信頼性の報知装置が実現される。なお、測距手段を互いに異なる指向性を有する複数の測距センサから構成することにより、車間距離検出値がより正確なものとなる。
【００１７】
【実施例】
以下この発明を図面に基づいて説明する。
図３は、この発明の第１の実施例のレイアウトを示す。このレイアウトは以下のほかの実施例にも共通に使用される。 まず車両２００のフロントウインドウ上部に前方に向けて撮像手段としてのビデオカメラ２１１が設けられている。このビデオカメラ２１１で車両２００の前方道路を撮像し、その路面画像はコントローラ２１３に入力され、ここでこの路面画像に画像処理を施して自車走行レーンを検出する。そしてその自車走行レーン内でさらに先行車を検出し、概略車間距離を算出する。
【００１８】
コントローラ２１３にはさらに車両２００の前端に設けられたレーザレーダ距離計２１０と前車輪に設けられた車速センサ２１２が接続され、検出値が入力される。測距手段としてのレーザレーダ距離計２１０は３つのヘッドを有して、それぞれ左（Ｌ）、中央（Ｃ）、右（Ｒ）の３方向に所定の指向角を付けられて設置される。各ヘッドはそれぞれの方向にビームを発して先行車を含む物体の距離を検出する。
【００１９】
コントローラ２１３では、上記概略車間距離をもとにレーザレーダ距離計２１０による３つの距離検出値の中から車間距離とみなされる検出値を選出して採用する。そしてその車間距離と車速センサ２１２の入力値とに基づいて、先行車への接近状況が判断される。その判断結果を受けて報知手段としてそれに接続されている表示装置２１４が相応の報知表示をし運転者に注意を促す。
【００２０】
図４は、コントローラ２１３における処理の流れを示すフローチャートである。
電源を投入して処理開始後、まず、ステップ２２０において、全てのパラメータに０を与えて初期化が行なわれる。ステップ２２１で、ビデオカメラ２１１から１フレームの前方画像を取り込む。その後、ステップ２２２において、得られた原画像に対して、図５に示す横エッジ検出用のＳｏｂｅｌフィルタを用いて、画像処理して横エッジを検出する。この処理により図６の（ａ）に示す原画像から（ｂ）の横エッジ画像が作成される。ここに、ステップ２２２は微分画像生成手段を構成している。
【００２１】
次にステップ２２３において、この横エッジ画像からさらにレーンマーカの検出を行なう。
ここでは、画像平面内でレーンマーカモデルを定義し、横エッジ画像から得られる白線候補点と該モデルをカーブフィットさせることによってレーンマーカを検出する。
【００２２】
図７は、三次元空間と画像平面との対応図である。それぞれを路面２４０から高さＨ０の位置に原点を有するカメラ座標系２４１と、消失点座標を（ｘ０、ｙ０）とする画像座標系２４２において定義する。このとき、両者は次の式（１）で対応付けられる。
【数１】

Figure 0003726309
ここで、ｆはビデオカメラの焦点距離に対応した定数である。
【００２３】
レーンマーカモデルは道路の三次元形状、車両位置、車両姿勢をそれぞれ表わす道路パラメータを用いて、白線２４３を、水平面（Ｘ−Ｚ）では二次式、垂直面（Ｘ−Ｙ）では一次式で近似する。図８のように道路パラメータを定め、（ａ）は水平面、（ｂ）は垂直面を示す。
図８の（ａ）において、道路の左端の白線から順に白線を０、１、２、…、ｉ番とする。０〜ｉ番の白線と車両ピッチ成分ＤをパラメータとするＹ方向のモデルが共通の式（２）で記述される。カメラ座標系（Ｘ、Ｙ、Ｚ）の原点は車両の進行とともに刻々と前方に移動し、式（２）中のＡ〜Ｅのパラメータをそれぞれ変化させる。
【数２】
Figure 0003726309
パラメータＡは車両の左側に位置する白線と車両中心（撮像装置の取り付け位置）との距離、Ｂは車両前方の道路曲率、ＣはＺ＝０における白線の接線方向に対する車両のヨー角β、Ｄは道路平面に対する車両のピッチ角α、Ｅは白線間距離にそれぞれ相当する。
【００２４】
ここで式（２）を式（１）によって画像座標系に変換すれば、画像座標系におけるレーンマーカモデル式（３）が得られる。このモデルは、図９に示すように整数ｉはレーンマーカＮｏ数に対応しており、走行路レーンが増加しても、ａ〜ｅの５つパラメータのみで記述されるという特徴を有する。
【数３】
Figure 0003726309
ここに、ａは走行車線上の自車両の位置、ｂは道路曲率、ｃは走行車線に対する相対ヨー角、ｄは走行車線との相対ピッチ角、ｅは車線幅、ｉは道路白線に対応する番号（自然数）に、各々対応する係数であり、式（４）で表わすことができ、走行路推定のパラメータとなる。
【数４】
Figure 0003726309
【００２５】
ステップ２２３におけるレーンマーカ検出の詳細を図１０のフローチャートにしたがって説明する。
まずステップ２２８では、作成された横エッジ画像内において、初回は初期設定で、２回目からは前フレームの処理結果に基づき複数の小ウインドウを設定する。そして各小ウインドウにおいて前回検出されたレーンマーカモデル近傍のエッジ点を探索し、該エッジ点をもって白線候補点として出力する。ステップ２２９においては、検出された白線候補点群に対して、誤差が最小となるようなパラメータａ〜ｅを最小二乗法を用いて決定する。この処理により、レーンマーカが検出されまたは前フレームに対して更新されたことになる。次に、ステップ２３０において、得られたｉ＝０、１番目のレーンマーカモデルをもって、自車走行レーンとして認識する。
【００２６】
図４のステップ２２４では、自車走行レーン上から車両検出処理が行なわれる。
以下、図１１および図１２のフローチャートにしたがって車両検出の詳細を説明する。
最初に、ステップ２２１１において、フラグのチェックを行なう。このフラグは前フレームにおいて既に車両が検出されている場合を１、検出されていない場合を０で表現するものである。フラグが０のときは、ステップ２２１２で、車両候補の検出を、前記自車走行レーンの検出結果により規定される領域において行なう。
【００２７】
一般に、車両下部には影があり、その影によって、画面下から見た場合、明→暗という濃度変化が存在する。したがって、横エッジ画像もその濃度変化の方向を反映したものが道路上に現われる。上記の検出では、図５に示した横エッジ検出用Ｓｏｂｅｌフィルタが用いられたので、負の横エッジが現われている。このことから、自車走行レーン上の所定値以上の長さを有する負の横エッジ点列を車両候補として検出するルーチンを実行する。
具体的には、図１３に示すように、画面下から、式（５）を満足するｙ座標を車両候補検出位置座標ｙｂ０として検出する処理を行なう。
【数５】
Figure 0003726309
ここに、Ｎｅはｙと、検出されたレーンマーカモデルで算出される道幅Ｎｗにより規定される１次元の領域における所定値以上の絶対強度を有する負の水平エッジ点の個数である。車両候補としてみなせるか否かの判定は、道幅ＮｗをもってＮｅを正規化した量γと所定値γ＿ｔｈｒｅｓｈとの比較により行なう。所定値γ＿ｔｈｒｅｓｈは、例えば軽自動車の車幅１．４ｍに対し道幅を高速道路を想定して３．５ｍとすれば、γ＿ｔｈｒｅｓｈ＝０．４（１．４／３．５）と定めることができる。
【００２８】
図１１のステップ２２１３で、ｙｂ０が検出されたと判定された場合には、次のステップへ進み、そうでない場合、ステップ２２１に戻り次のフレームを入力する。ステップ２２１４において、図１４に示すように原画像に縦エッジを検出するウインドウＷを決定する。ウインドウＷの底辺は検出されたｙｂ０で、両端座標ｘｗｌ、ｘｗｒは検出された道幅Ｎｗの両端点座標で、ウインドウの高さは図１５に示すようなカメラ座標系（Ｘ、Ｙ、Ｚ）において高さｈｔで表わされる位置Ｙ＝ｈｔ−Ｈ０を式（１）を用いて画像座標系へ座標変換することにより得られるｙ座標ｙｕ０によって規定する。ｙｕ０は、前記カメラ座標系において記述される道幅相等量Ｅを用いて式（６）で表わされる。
【数６】
Figure 0003726309
【００２９】
ステップ２２１１でフラグが１で、前フレームにおいて車両が検出された場合には、図１６に示すように前フレームの車両側面ｘ座標ｘｌ＿ｏｌｄ、ｘｒ＿ｏｌｄおよび、底辺座標ｙｂ＿ｏｌｄを基準に、それぞれ所定値Ｄｘ、Ｄｙだけ広げることにより新たに得られるウインドウ境界ｘｗｌ＿ｎｅｗ、ｘｗｒ＿ｎｅｗ、ｙｗｂ＿ｎｅｗ、およびｙ＝ｙｗｂ＿ｎｅｗを前記式（６）中ｙｂ０へ代入することによって算出されるｙｗｕ＿ｎｅｗ（ｙｕ０）で規定されるウインドウを設定する。
ここに、ステップ２２１１〜２２１５および前記ステップ２２８〜２３０は参照領域手段を構成している。
【００３０】
次にステップ２２１６では、決定されたウインドウ内において原画像を図１７に示すような縦エッジ検出用Ｓｏｂｅｌフイルタで走査することによって、縦エッジを検出する。そして図１８に示すようにｘｗｌを原点とする座標ｘ’毎に縦エッジ強度値を所定のしきい値で２値化処理した後、和を同列画素においてとることにより強度がＩｖ＿ｐのエッジヒストグラムを作成する。ここでは、車両とその背景とのコントラストが弱く、したがって車両側面にヒストグラムのピーク座標が明確に現われないケースを示している。ここに、ステップ２２１６は縦エッジ特徴量算出手段を構成している。
【００３１】
次にステップ２２１７において、横エッジによる縦エッジ強調処理を行なう。ここは、図１９に示すように２つのステップからなる。ステップ２２２７においては、既に設定されているウインドウ内において前記図６の（ｂ）に示した横エッジ画像から横エッジの特徴量を抽出する処理を行なう。ここでは、前フレームにおいて車両が検出されていない例について説明する。一般の車両においては、少なくともバンパー部などに車両幅を反映した横エッジ成分が検出される。これは次のような特徴を有する。
（１）縦エッジのように背景によってエッジ強度が変動することは少ない。
（２）車両幅を反映した長さを有する横エッジ成分は存在するが、その成分のみを抽出することが困難である。
【００３２】
したがって、前記ウインドウ内において車両が存在する場合は、車両幅を反映した横エッジ成分の比率が多いという仮定をもとに、以下に述べる横エッジ強度ヒストグラムから、車両存在領域（車両幅）を推定したほうが望ましい。すなわち、図２０に示すように、ウインドウ座標ｘｗｌを原点０’とする座標ｘ’毎に、横エッジ強度値を所定のしきい値で２値化し、その結果の縦方向和をＩｈ＿ｐとして算出することにより、横エッジ強度ヒストグラムを作成する。次に得られたヒストグラムの最大値Ｉｈ＿ｐｍａｘを求め、横エッジヒストグラムの値を反転させたものを、Ｉｈ＿ｐｔとして図２１に示すように作成する。ここではＩｈ＿ｐｔを正規化反転値として式（７）により算出する。
【数７】
Figure 0003726309
【００３３】
そして、ステップ２２２８では、得られた横エッジヒストグラムの正規化反転値Ｉｈ＿ｐｔを利用した、前述の縦エッジヒストグラムの強調処理を行なう。これは、図２２に示すように、左側面ｘ’座標位置が不鮮明なヒストグラムＩｖ＿ｐに式（７）で表わされるＩｈ＿ｐｔを乗ずることにより行なう。すなわち、式（８）に基づいて行なう。
【数８】
Figure 0003726309
その結果、図２３に示すように、車両縦エッジ強度のヒストグラムは、とくに車両側面付近において選択的に強調され、車両側面のｘ座標が容易に推定できるという効果を得られる。上記ステップ２２２７は横エッジ特徴量算出手段、ステップ２２２８はエッジ特徴量強調手段をそれぞれ構成している。
【００３４】
次に、図１１のステップ２２１８において、車両側面候補の検出を行なう。車両の左右側面候補は、例えば、しきい値Ｉｖ＿ｔｈｒｅｓｈ以上を満足するＩｖ＿ｐ’をもたらすｘ座標をウインドウ中心を境に、配列ｘｌ（ｉ）、ｘｒ（ｊ）に格納することによって得ることができる。ステップ２２１９では、左右両方ともに候補の検出ができたら、次のステップ２２２０へ進み、そうでない場合、ステップ２２１に戻り、次のフレームを入力する。ここに、ｉ、ｊは整数で、ウインドウ中心の左右の領域においてしきい値Ｉｖ＿ｔｈｒｅｓｈ以上を満足するＩｖ＿ｐを各領域の左から数えるときの番号である。
【００３５】
図１２において、ステップ２２２０では、原画像から車両下端候補検出を左右独立して行なう。
図２４は車両下端候補検出の説明図である。ここでは、車両左側面を例にとって説明する。前記ｘｌ（ｉ）の重心座標としてｘｌ＿ｇを算出した後、ｘｌ＿ｇを中心に所定幅ｄｘ、ｙｂ（またはｙｗｂ＿ｎｅｗ）を中心にウインドウ高さ方向の中点のｙ座標ｙｍより、画面下方に高さ２＊（ｙｂ−ｙｍ）のウインドウＵを設定し、同領域内において原画像から再び縦エッジ検出処理を行なう。この縦エッジ画像において、点（ｘ＝ｘｌ＿ｇ、ｙ＝ｙｍ）から下方に初めて縦エッジ強度Ｉｖ＿ｌが所定値Ｉｖ＿ｌｔｈｒｅｓｈ以下となるｙ座標をｙ＝ｙｂｌ＿ｎｅｗとして検出する。上記処理を車両右側面候補ｘｒ（ｊ）に関しても行ない、ｙ＝ｙｂｒ＿ｎｅｗを検出する。
【００３６】
ステップ２２２１において、以上の検出結果をもとに車両判定を行なう。車両の特徴として左右対称な物体であることが挙げられる。検出された左右の車両下端候補はいずれもタイヤと路面との接点のｙ座標を表わしているはずであるので、もし対象が車両であるならば、その差は極めて小さい値をとるはずである。すなわち、次の式（９）をもって車両判定条件とする。
【数９】
Figure 0003726309
【００３７】
ステップ２２２２において、上式が満足されたと判定された場合は、ステップ２２２４で、フラグを１とし、そうでない場合、ステップ２２２３において、フラグに０を代入して、ステップ２２１に戻り次のフレームを入力する。次に、車両であると判定された場合、ステップ２２２５において、車両最下端座標としてｙｂをｙｂｌ＿ｎｅｗとｙｂｒ＿ｎｅｗの平均をとることによって算出する。その後ステップ２２２６において、次回のウインドウ設定のために、今回検出された車両側面のｘ座標ｘｌ＿ｇ、ｘｒ＿ｇおよびｙｂをそれぞれｘｌ＿ｏｌｄ、ｘｒ＿ｏｌｄおよびｙｂ＿ｏｌｄに格納して画像に関する処理を終了する。ここに、ステップ２２１８〜２２２６は車両認識手段を構成している。
【００３８】
この後図４に戻り、ステップ２２５では、レーザレーダ距離計２１０からの各ビームの距離値（ＬＬ、ＬＣ、ＬＲ）を入力し、各距離値に対して画像処理結果をもとに真の先行車までの距離値を示しているビームを選択した後、その距離値をもとに接近度を判定し、接近し過ぎと判定された場合、表示装置２１４に報知表示を行なわせる。
図２５はその処理の詳細を示す。すなわち前記車両検出により、車両最下端のｙ座標が検出されたので、画像から、先行車までの距離を推定することができる。これは、路面とカメラ取り付け位置との関係が既知であるためである。すなわち先行車までの距離Ｌ＿ＩＭＧは式（１０）により算出することができる。
【数１０】
Figure 0003726309
ここで、ｄは画面上での消失点のｙ座標値を表わす。
【００３９】
ステップ２２２９において、この画像から得られる距離Ｌ＿ＩＭＧと、ＬＬ、ＬＣ、ＬＲとの差分ΔＬＬ、ΔＬＣ、ΔＬＲを算出後、ステップ２２３０において、前記差分のうち最も小さい値を与える距離をＬＬ〜ＬＲから選択することにより、先行車までの距離を確定する。次にステップ２２３１において、車速センサ２１２の検出値を入力し、自車速と、前回の処理によって得た先行車までの距離と、新たに得られた先行車までの距離との差分をとることにより算出される相対速度と、先行車までの距離とにより、接近度を算出し、接近し過ぎであると判定された場合はステップ２２３２で、表示装置２１４に報知表示を行なわせて運転者に注意を促しフローを終了する。ここに、ステップ２２２９〜２２３０は車間距離判定手段、ステップ２２３１、２２３２は接近度判定手段を構成している。
【００４０】
本実施例では、先行車を検出する際、先行車の特徴を反映する縦エッジと横エッジをそれぞれ検出し、検出されたエッジに対して２値化処理した後、縦エッジヒストグラムおよび横エッジヒストグラムを作成する。そして作成された２つのエッジヒストグラムを相関させて縦エッジ特徴量を強調するようにしたから、コントラストが悪く、車両エッジが不鮮明な画像でも車両検出ができる。
またその検出値をもとにレーザレーダからの実測値を選択して接近度演算に用いたから、接近度が精度よく算出され、正しい報知がなされる。
【００４１】
なお、この実施例では、横エッジ特徴量を横エッジヒストグラムを作成することによって得たが、同一ｘ座標において横エッジ強度の平均値をもってＩｈ＿ｐとしてもよい。
【００４２】
また、この実施例では、前記横エッジ特徴量の分布を最大値Ｉｈ＿ｐｍａｘを用いて反転させた値Ｉｈ＿ｐｔを縦エッジ特徴量Ｉｖ＿ｐに乗ずることにより縦エッジ強調処理を行なったが、Ｉｖ＿ｐをＩｈ＿ｐで除することにより強調処理を行なっていてもよい。
以上、接近報知に対して本発明を応用した例を中心に実施例を説明してきたが、これに限定されず、例えば先行車に自動的に追従する自律走行車などに応用することが可能である。
【００４３】
次に、本発明の第２の実施例について説明する。第１の実施例においては、ステップ２２２１における車両判定を車両下端座標を用いて行なったが、画像内車両幅を用いて車両判定を行なってもよい。その判定条件を式（１１）に示す。
【数１１】
Figure 0003726309
上式は車両幅に関する拘束条件で、１．４は軽自動車、２．５は大型トラック、３．５は高速道路の道路幅を表わし、単位はｍである。次に車線内にある物標が先行車であるか否かの判定条件を式（１２）に示す。
【数１２】
Figure 0003726309
式（１１）および（１２）は、車線を第１の実施例と同様の道路モデルで規定し、その内部に車両側面ｘ座標ｘｌ＿ｇおよびｘｒ＿ｇが存在するか否かを確認するものである。すなわち、式（１１）および（１２）が検出された車両側面ｘ座標および車両下端ｙ座標に対して満足されたとき、車両であると判断する。これにより、検出された車両側面座標の信頼性が著しく向上する。
【００４４】
次に本発明の第３の実施例について説明する。第１の実施例では、横エッジ特徴量を用いて縦エッジヒストグラムを強調する例について述べたが、同様にして縦エッジ特徴量を用いて横エッジヒストグラムを強調することもできる。すなわちステップ２２１６において、決定されたウインドウ内において原画像から図２６に示すように縦エッジを検出し、ｙｂ０を原点とする座標ｙ’毎に縦エッジ強度値を所定のしきい値で２値化処理した後、和を同列画素においてとることにより強度がＩｖ＿ｐ’のエッジヒストグラムを作成する。
【００４５】
ステップ２２２７においては、既に設定されているウインドウ内において前記図２７に示すように横エッジ画像からウインドウ座標ｙｂ０を原点０’とする座標ｙ’毎に、横エッジ強度値を所定のしきい値で２値化し、その結果の縦方向和をＩｈ＿ｐ’として算出することにより、横エッジ強度ヒストグラムを作成する。
【００４６】
そして、ステップ２２２８では、図２８のように、得られたヒストグラムＩｖ＿ｐ’の反転値Ｉｖ＿ｐｔ’を求め、そしてＩｈ＿ｐ’に乗ずることによりＩｈ＿ｐ’の強調処理を行なう。図２８の（ａ）はヒストグラムＩｖ＿ｐｔ’、（ｂ）はＩｖ＿ｐｔ’とＩｈ＿ｐ’を重ねたときの様子を示す。
その結果、図２９に示すように、車両横エッジ強度のヒストグラムは、とくに車両上下端付近において選択的に強調される。これによって第１の実施例と同様に画像内から車両存在領域を精度よく切り出すことが可能である、車両上下端のｙ座標が容易に推定できるという効果を得られる。
【００４７】
【発明の効果】
本発明の認識装置によれば、原画像を微分し、微分画像から車両の特徴を反映する縦エッジおよび横エッジの特徴量をそれぞれ算出する。そしてその算出値をもとに縦エッジの特徴量もしくは横エッジの特徴量を強調させてから車両の検出に用いるため、エッジ特徴の不鮮明な微分画像でも車両検出が正しく行なわれる。その結果検出車両の信頼性が向上するとともに検出できる範囲が拡大される。
【００４８】
そして、横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量および縦エッジ特徴量を強調することにより、車両の両側および上下端のエッジが選択的に強調されるから、車両の位置を簡単に特定できる。
【００４９】
横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の分布を除することによって横エッジ特徴量を強調することによっても、車両の両側および上下端のエッジが選択的に強調されるから、車両の位置を簡単に特定できる。
【００５０】
前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出する。そして、算出された車両最下端候補座標を走行路上での車影座標と照合させることによって車両を認識することにより、先行車が誤検出されることなく、信頼性の高い車両検出装置を構成することができる。
また、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標より画面内車両幅を算出する。そして算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識することによっても、先行車が正しく認識され、信頼性の高い車両検出装置が構成される。
【００５１】
また、本発明の車両接近報知装置は、さらに測距手段を設け、車間距離判断手段は、前記車両認識結果を用いて、測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する。そしてその距離確認された距離データに基づいて自車の先行車に対する接近度を判定し、運転者に注意を促すようにしたから、信頼性の高い距離報知が行なわれる。なお、測距手段を互いに異なる指向性を有する複数の測距センサから構成することにより、車間距離検出値がより一層正確に検出される。
【図面の簡単な説明】
【図１】 本発明の構成図である。
【図２】 本発明の構成図である。
【図３】 本発明の実施例の構成を示す図である。
【図４】 処理全体のフローチャートである。
【図５】 横エッジ検出オペレータを示す図である。
【図６】 原画像および横エッジ画像を示す図である。
【図７】 設定座標系の説明図である。
【図８】 カメラ座標系における白線の対応図である。
【図９】 認識された白線と数式の対応図である。
【図１０】 レーンマーカ検出ためのフローチャートである。
【図１１】 車両検出のためのフローチャートである。
【図１２】 車両検出のためのフローチャートである。
【図１３】 車両検出の説明図である。
【図１４】 ウインドウの設定位置を示す図である。
【図１５】 ウインドウにおける高さの説明図である。
【図１６】 車両位置からウインドウ設定の説明図である。
【図１７】 縦エッジ検出オペレータを示す図である。
【図１８】 縦エッジからヒストグラム作成の説明図である。
【図１９】 縦エッジ特徴量を強調処理するフローチャートである。
【図２０】 横エッジからヒストグラム作成の説明図である。
【図２１】 反転されたヒストグラムを示す図である。
【図２２】 縦エッジ特徴量の強調処理を示す図である。
【図２３】 強調された縦エッジ特徴量を示す図である。
【図２４】 車両を確認するための説明図である。
【図２５】 報知装置を作動するためのフローチャートである。
【図２６】 縦エッジからヒストグラムを作成する説明図である。
【図２７】 横エッジからヒストグラムを作成する説明図である。
【図２８】 横エッジ特徴量の強調処理説明図である。
【図２９】 強調された横エッジ特徴量の分布と車両の対応関係を示す図である。
【図３０】 従来例の構成を示す図である。
【図３１】 ウインドウの設定と検出されたヒストグラムを示す図である。
【図３２】 検出されたヒストグラムの一例を示す図である。
【符号の説明】
２００ 自車両
２１０ レーザレーダ距離計
２１１ ビデオカメラ
２１２ 車速センサ
２１３ コントローラ
２１４ 表示装置[0001]
[Industrial application fields]
The present invention relates to a device for recognizing a vehicle by image processing, and a vehicle approach notification device that notifies the degree of approach of a vehicle based on the recognition result.
[0002]
[Prior art]
As for the conventional vehicle recognition device, for example, there is an Image Understanding Based on Edge Histogram Method for Rear-End Collation Avidance System (1994 Vehicular Navigation & System published). This paper describes a method for estimating vehicle detection from a histogram created by image processing. The outline is shown in FIG.
[0003]
The imaging means 110 images the road ahead of the vehicle, and in the obtained forward road image, the vertical edge histogram creation means 111 and the horizontal edge histogram creation means 112 center around the vanishing point as shown in FIG. A vertical edge is detected from within the area 120 to generate a vertical edge histogram a, and a horizontal edge is detected from within the area 121 to generate a horizontal edge histogram b.
[0004]
The side surface coordinate specifying means 113 detects both side surface coordinates indicating the vehicle width of the preceding vehicle by detecting the two peak values c using the vertical edge histogram a. The upper end / lower end coordinate specifying means 114 detects the top and bottom coordinates of the preceding vehicle using the horizontal edge histogram b. Thereafter, the vehicle determination unit 115 matches the detection result of the image with a motion model of a preceding vehicle having a predetermined relative motion with the own vehicle as a parameter, thereby determining the authenticity of the detection result of the image and the preceding Car tracking.
[0005]
[Problems to be solved by the invention]
However, such a conventional vehicle recognition device has the following problems.
That is, since the vertical edge appearing on the side of the preceding vehicle is caused by the contrast with the vehicle background, only one peak value may appear as shown in the vertical edge histogram d shown in FIG. The peak of the vertical edge histogram does not always appear in the vehicle, and depending on the form of the back of the vehicle, there is a possibility that a value equal to or higher than the vertical edge peak value on the side surface of the vehicle is detected like the vertical edge histogram e. It is mentioned that there is. Therefore, in the detection on the actual traveling road, the detection may be difficult or the detection accuracy may be lowered depending on the vehicle background.
In view of the above problems, an object of the present invention is to provide a vehicle recognition device that eliminates erroneous detection and has high detection accuracy, and further provides a vehicle approach notification device based thereon.
[0006]
[Means for Solving the Problems]
  For this reason, as shown in FIG. 1, the invention described in claim 1 is mounted on a vehicle and photographs the traveling direction thereof, and generates an original image data, and the generated original image data is captured. Differential image generation means 151 that generates a differential image by differentiating, reference area definition means 152 that defines a reference area in the differential image, and horizontal edge feature quantity calculation that calculates a lateral edge feature quantity in the reference area Means 153, vertical edge feature quantity calculating means 154 for calculating a vertical edge feature quantity in the reference region, and the vertical edge feature quantity or the horizontal edge feature quantity based on the horizontal edge feature quantity and the vertical edge feature quantity. Edge feature amount emphasizing means 155 for emphasizing the vehicle and vehicle recognition means 156 for recognizing a preceding vehicle using the emphasized edge feature amount.
  In particular, the edge feature amount emphasizing means multiplies the screen edge direction distribution of the vertical edge feature amount by inverting the screen edge direction distribution of the horizontal edge feature amount so that the maximum value is minimized. The vertical edge feature value is emphasized by the above, or the screen horizontal direction distribution of the vertical edge feature value is inverted so that the maximum value of the vertical edge feature value is minimized. Thus, the lateral edge feature amount is emphasized.
[0007]
  According to a second aspect of the present invention, in place of the edge feature amount emphasizing means in the first aspect of the invention, the vertical edge feature amount is obtained by dividing the vertical edge feature amount vertical distribution by the screen vertical direction distribution of the horizontal edge feature amount. Or edge feature quantity emphasizing means for emphasizing the horizontal edge feature quantity by dividing the horizontal distribution of the horizontal edge feature quantity by the horizontal distribution of the vertical edge feature quantity on the screen.
[0008]
  In particular, the reference area defining means can detect the own vehicle traveling area in the differential image, detect the vehicle candidate position based on the lateral edge in the traveling area, and define the reference area in the vicinity of the position.
The horizontal edge feature quantity calculation means can calculate a density projection value of the horizontal edge intensity in the downward direction of the screen within the reference area.
Alternatively, the horizontal edge feature quantity calculating means can count the number of pixels having a horizontal edge intensity value within a predetermined range on the same screen in the reference area.
Furthermore, the horizontal edge feature quantity calculating means can also calculate an edge intensity average value of the horizontal edge images in the same row within the reference area.
[0009]
  The vertical edge feature quantity calculating means can calculate a vertical edge intensity density projection value in the downward direction of the screen within the reference area.
Alternatively, the vertical edge feature quantity calculating means can count the number of pixels having vertical edge intensity values within a predetermined range on the same column in the reference region.
Furthermore, the vertical edge feature quantity calculating means can also calculate an edge strength average value of the vertical edge images in the same row within the reference area.
[0010]
  The invention according to claim 10 is characterized in that theVehicle recognition means calculates vehicle side candidate coordinates from the emphasized vertical edge feature value, and calculates vehicle bottom end candidate coordinates based on the vertical edge image at the estimated vehicle side candidate coordinates. And means for recognizing the vehicle based on the vehicle bottom end candidate coordinates.
The invention according to claim 11 is characterized in that the vehicle recognizing means estimates vehicle side candidate coordinates from the emphasized vertical edge feature quantity, and calculates means for in-screen vehicle width from the estimated vehicle side candidate coordinates. The calculated vehicle width and means for recognizing the vehicle by determining whether or not the vehicle side candidate position is within the travel path are included.
[0011]
  As shown in FIG. 2, the invention according to claim 12 has the structure according to claim 1,
Ranging means 160 for measuring the distance to the obstacle ahead,
An inter-vehicle distance determining means 161 for confirming that the distance measurement data of the distance measuring means is a distance value to a vehicle traveling in front of the host vehicle using a vehicle recognition result by the vehicle recognition means 156;
An approach degree determination means 162 for determining an approach degree of the own vehicle with respect to the preceding vehicle based on the confirmed distance data;
An informing means 163 for alerting the driver based on the determination result is provided.
[0012]
  In addition to the structure of Claim 2, the invention of Claim 13 is
Ranging means 160 for measuring the distance to the obstacle ahead,
An inter-vehicle distance determining means 161 for confirming that the distance measurement data of the distance measuring means is a distance value to a vehicle traveling in front of the host vehicle using a vehicle recognition result by the vehicle recognition means 156;
An approach degree determination means 162 for determining an approach degree of the own vehicle with respect to the preceding vehicle based on the confirmed distance data;
And a notifying unit 163 that alerts the driver based on the determination result.
  In the twelfth and thirteenth inventions, the distance measuring means may be composed of a plurality of distance measuring sensors having different directivities.
[0013]
[Action]
  In the first aspect of the invention, the original image is differentiated, and the feature amounts of the vertical edge and the horizontal edge that reflect the characteristics of the vehicle are calculated from the differential image. Then, since the feature value of the vertical edge or the feature value of the horizontal edge is emphasized based on the calculated value and used for vehicle detection, vehicle detection is correctly performed even with a differential image with a blurred edge feature.
  Then, the vertical edge feature value is obtained by multiplying the screen vertical direction distribution of the vertical edge feature value obtained by inverting the screen vertical direction distribution of the created horizontal edge feature value so that the maximum value of the horizontal edge feature value is minimized. The horizontal edge feature quantity is obtained by multiplying the horizontal distribution of the horizontal edge feature quantity with the one obtained by emphasizing or reversing the horizontal distribution of the vertical edge feature quantity so that the maximum value of the vertical edge feature quantity is minimized. Therefore, only the edge strengths on both side surfaces and upper and lower ends of the vehicle are emphasized.
[0014]
  According to a second aspect of the present invention, the vertical edge feature value is emphasized by dividing the vertical distribution of the vertical edge feature value from the created vertical distribution of the horizontal edge feature value or the vertical edge feature value. Since the horizontal edge feature value is emphasized by dividing the horizontal edge feature value of the horizontal edge feature value in the horizontal distribution of the screen, only the edge strengths on both sides and upper and lower ends of the vehicle are emphasized.
[0015]
  Claim 10In the described invention, vehicle side candidate coordinates are estimated from the emphasized vertical edge feature quantity, and the vehicle lowest end candidate coordinates based on the vertical edge image are calculated at the estimated vehicle side candidate coordinates. Then, if the vehicle is recognized by collating the calculated vehicle lowermost end candidate coordinates with the vehicle shadow coordinates on the travel road, the preceding vehicle is recognized without being erroneously detected.
  Claim 11In the described invention, vehicle side candidate coordinates are estimated from the emphasized vertical edge feature amount, and the in-screen vehicle width is calculated from the estimated vehicle side candidate coordinates. Since the vehicle is recognized by determining whether the calculated vehicle width and the vehicle side candidate position are within the travel path, the erroneous detection is eliminated and the preceding vehicle is correctly recognized.
[0016]
  Claims 12 and 13In the described invention,Claims 1, 2In addition to the description, a distance measuring means is provided, and the inter-vehicle distance determining means uses the vehicle recognition result, and whether the distance measurement data of the distance measuring means is a distance value to a vehicle traveling in front of the host vehicle. Check if. And since the approach degree with respect to the preceding vehicle of the own vehicle is determined based on the distance data for which the distance has been confirmed, and the driver is alerted, the reliability notification device is realized. It should be noted that the inter-vehicle distance detection value becomes more accurate by configuring the distance measuring means from a plurality of distance measuring sensors having different directivities.
[0017]
【Example】
The present invention will be described below with reference to the drawings.
FIG. 3 shows the layout of the first embodiment of the present invention. This layout is commonly used in the following other embodiments. First, a video camera 211 as an imaging unit is provided at the upper part of the front window of the vehicle 200 toward the front. The video camera 211 images the road ahead of the vehicle 200, and the road surface image is input to the controller 213, where image processing is performed on the road surface image to detect the own vehicle traveling lane. Further, a preceding vehicle is further detected in the own vehicle traveling lane, and an approximate inter-vehicle distance is calculated.
[0018]
The controller 213 is further connected to a laser radar distance meter 210 provided at the front end of the vehicle 200 and a vehicle speed sensor 212 provided at the front wheel, and a detection value is input. The laser radar rangefinder 210 as a distance measuring means has three heads and is installed with predetermined directivity angles in three directions, left (L), center (C), and right (R). Each head emits a beam in each direction to detect the distance of an object including a preceding vehicle.
[0019]
The controller 213 selects and employs a detection value regarded as the inter-vehicle distance from the three distance detection values obtained by the laser radar distance meter 210 based on the approximate inter-vehicle distance. Based on the inter-vehicle distance and the input value of the vehicle speed sensor 212, the approaching state to the preceding vehicle is determined. In response to the determination result, the display device 214 connected thereto as a notification means displays a corresponding notification to alert the driver.
[0020]
FIG. 4 is a flowchart showing the flow of processing in the controller 213.
After turning on the power and starting the processing, first, in step 220, initialization is performed by giving 0 to all parameters. In step 221, a front image of one frame is captured from the video camera 211. Thereafter, in step 222, the obtained original image is subjected to image processing using a Sobel filter for detecting a horizontal edge shown in FIG. 5 to detect a horizontal edge. By this processing, the horizontal edge image of (b) is created from the original image shown in (a) of FIG. Here, step 222 constitutes a differential image generating means.
[0021]
In step 223, lane markers are further detected from the horizontal edge image.
Here, the lane marker model is defined in the image plane, and the lane marker is detected by curve fitting the white line candidate point obtained from the horizontal edge image and the model.
[0022]
FIG. 7 is a correspondence diagram between the three-dimensional space and the image plane. Each is defined in a camera coordinate system 241 having an origin at a position of height H0 from the road surface 240 and an image coordinate system 242 in which the vanishing point coordinates are (x0, y0). At this time, both are matched by the following formula (1).
[Expression 1]
Figure 0003726309
Here, f is a constant corresponding to the focal length of the video camera.
[0023]
The lane marker model uses road parameters representing the three-dimensional shape of the road, the vehicle position, and the vehicle posture, and the white line 243 is expressed by a quadratic expression on the horizontal plane (XZ) and a linear expression on the vertical plane (XY). Approximate. Road parameters are determined as shown in FIG. 8, where (a) shows a horizontal plane and (b) shows a vertical plane.
In FIG. 8A, white lines are numbered 0, 1, 2,..., I in order from the white line at the left end of the road. A model in the Y direction using the 0th to i-th white lines and the vehicle pitch component D as parameters is described by a common equation (2). The origin of the camera coordinate system (X, Y, Z) is constantly moved forward as the vehicle travels, and the parameters A to E in Equation (2) are changed.
[Expression 2]
Figure 0003726309
Parameter A is the distance between the white line located on the left side of the vehicle and the center of the vehicle (the position where the imaging device is mounted), B is the road curvature ahead of the vehicle, and C is the yaw angle β, D of the vehicle with respect to the tangential direction of the white line at Z = 0. Is the pitch angle α of the vehicle with respect to the road plane, and E is the distance between the white lines.
[0024]
Here, if the expression (2) is converted into the image coordinate system by the expression (1), the lane marker model expression (3) in the image coordinate system is obtained. As shown in FIG. 9, this model has a feature that the integer i corresponds to the number of lane marker Nos, and even if the number of lane markers increases, it is described by only five parameters a to e.
[Equation 3]
Figure 0003726309
Here, a corresponds to the position of the host vehicle on the travel lane, b refers to the road curvature, c refers to the relative yaw angle relative to the travel lane, d refers to the relative pitch angle with the travel lane, e corresponds to the lane width, and i corresponds to the road white line. A coefficient corresponding to each number (natural number), which can be expressed by equation (4), is a parameter for estimating the traveling path.
[Expression 4]
Figure 0003726309
[0025]
Details of the lane marker detection in step 223 will be described with reference to the flowchart of FIG.
First, in step 228, in the created horizontal edge image, the initial setting is performed for the first time, and a plurality of small windows are set based on the processing result of the previous frame from the second time. Then, an edge point near the lane marker model previously detected in each small window is searched, and the edge point is output as a white line candidate point. In step 229, parameters a to e that minimize the error are determined using the least square method for the detected white line candidate point group. By this processing, the lane marker is detected or updated with respect to the previous frame. Next, in step 230, the obtained i = 0 and the first lane marker model are recognized as the vehicle lane.
[0026]
In step 224 of FIG. 4, vehicle detection processing is performed from the own vehicle traveling lane.
Hereinafter, details of vehicle detection will be described with reference to the flowcharts of FIGS. 11 and 12.
First, in step 2211, a flag is checked. This flag expresses 1 when the vehicle is already detected in the previous frame and 0 when it is not detected. When the flag is 0, in step 2212, vehicle candidates are detected in an area defined by the detection result of the own vehicle traveling lane.
[0027]
In general, there is a shadow in the lower part of the vehicle, and there is a change in density from light to dark when viewed from the bottom of the screen. Therefore, a horizontal edge image that reflects the direction of density change appears on the road. In the above detection, since the Sobel filter for horizontal edge detection shown in FIG. 5 is used, a negative horizontal edge appears. Therefore, a routine for detecting a negative lateral edge point sequence having a length equal to or longer than a predetermined value on the own vehicle traveling lane as a vehicle candidate is executed.
Specifically, as shown in FIG. 13, processing is performed from the bottom of the screen to detect y-coordinate satisfying equation (5) as vehicle candidate detection position coordinate yb0.
[Equation 5]
Figure 0003726309
Here, Ne is the number of negative horizontal edge points having an absolute intensity equal to or greater than a predetermined value in a one-dimensional region defined by y and the road width Nw calculated by the detected lane marker model. The determination as to whether or not it can be regarded as a vehicle candidate is made by comparing the amount γ obtained by normalizing Ne with the road width Nw and a predetermined value γ_thresh. The predetermined value γ_thresh can be determined to be γ_thresh = 0.4 (1.4 / 3.5), for example, if the road width is 3.5 m assuming a highway with respect to a vehicle width of 1.4 m of a light vehicle. .
[0028]
If it is determined in step 2213 in FIG. 11 that yb0 is detected, the process proceeds to the next step. If not, the process returns to step 221 to input the next frame. In step 2214, a window W for detecting a vertical edge in the original image is determined as shown in FIG. The bottom edge of the window W is detected yb0, both end coordinates xwl and xwr are the end point coordinates of the detected road width Nw, and the height of the window is in the camera coordinate system (X, Y, Z) as shown in FIG. The position Y = ht−H0 expressed by the height ht is defined by the y coordinate yu0 obtained by performing coordinate conversion to the image coordinate system using the equation (1). yu0 is expressed by equation (6) using the road width phase equivalence E described in the camera coordinate system.
[Formula 6]
Figure 0003726309
[0029]
If the flag is 1 in step 2211 and a vehicle is detected in the previous frame, as shown in FIG. 16, the vehicle side x coordinates xl_old, xr_old and the base coordinates yb_old of the previous frame are used as reference values Dx, A window defined by yuu_new (yu0) calculated by substituting window boundaries xwl_new, xwr_new, ywb_new, and y = ywb_new newly obtained by expanding by Dy into yb0 in the above equation (6) is set.
Here, Steps 2211 to 2215 and Steps 228 to 230 constitute reference area means.
[0030]
In step 2216, the vertical edge is detected by scanning the original image in the determined window with a vertical edge detection Sobel filter as shown in FIG. Then, as shown in FIG. 18, the vertical edge intensity value is binarized at a predetermined threshold value for each coordinate x ′ with xwl as the origin, and then the sum is taken in the same column pixel to obtain an edge histogram of intensity Iv_p. create. Here, a case is shown in which the contrast between the vehicle and its background is weak, and therefore the peak coordinates of the histogram do not appear clearly on the side of the vehicle. Here, step 2216 constitutes a vertical edge feature quantity calculating means.
[0031]
Next, in step 2217, vertical edge enhancement processing using horizontal edges is performed. This consists of two steps as shown in FIG. In step 2227, processing for extracting the feature quantity of the horizontal edge from the horizontal edge image shown in FIG. 6B is performed in the already set window. Here, an example in which a vehicle is not detected in the previous frame will be described. In a general vehicle, a lateral edge component reflecting the vehicle width is detected at least in a bumper portion or the like. This has the following characteristics.
(1) The edge strength hardly varies depending on the background like a vertical edge.
(2) Although there exists a lateral edge component having a length reflecting the vehicle width, it is difficult to extract only the component.
[0032]
Therefore, when there is a vehicle in the window, the vehicle existence area (vehicle width) is estimated from the horizontal edge intensity histogram described below based on the assumption that the ratio of the horizontal edge component reflecting the vehicle width is large. Is preferable. That is, as shown in FIG. 20, for each coordinate x ′ having the window coordinate xwl as the origin 0 ′, the horizontal edge strength value is binarized with a predetermined threshold value, and the resulting vertical sum is calculated as Ih_p. Thus, a horizontal edge intensity histogram is created. Next, the maximum value Ih_pmax of the obtained histogram is obtained, and a value obtained by inverting the value of the horizontal edge histogram is created as Ih_pt as shown in FIG. Here, Ih_pt is calculated by the equation (7) as a normalized inversion value.
[Expression 7]
Figure 0003726309
[0033]
In step 2228, the vertical edge histogram enhancement process described above is performed using the obtained normalized inverted value Ih_pt of the horizontal edge histogram. As shown in FIG. 22, this is performed by multiplying the histogram Iv_p with unclear left side x ′ coordinate position by Ih_pt represented by Expression (7). That is, it carries out based on the equation (8).
[Equation 8]
Figure 0003726309
As a result, as shown in FIG. 23, the vehicle vertical edge strength histogram is selectively emphasized particularly in the vicinity of the vehicle side surface, and the x coordinate of the vehicle side surface can be easily estimated. Step 2227 constitutes a lateral edge feature quantity calculation means, and step 2228 constitutes an edge feature quantity enhancement means.
[0034]
Next, vehicle side candidates are detected in step 2218 of FIG. The left and right side candidates of the vehicle can be obtained, for example, by storing the x coordinate that provides Iv_p ′ that satisfies the threshold value Iv_thresh or more in the arrays xl (i) and xr (j) with the window center as a boundary. In step 2219, if both the left and right candidates are detected, the process proceeds to the next step 2220. If not, the process returns to step 221 to input the next frame. Here, i and j are integers, which are numbers when Iv_p satisfying a threshold value Iv_thresh or more in the left and right areas of the window center is counted from the left of each area.
[0035]
In FIG. 12, in step 2220, vehicle lower end candidate detection is performed independently from the left and right sides from the original image.
FIG. 24 is an explanatory diagram of vehicle lower end candidate detection. Here, the left side surface of the vehicle will be described as an example. After calculating xl_g as the center-of-gravity coordinates of xl (i), a height 2 below the screen from the y coordinate ym of the middle point in the window height direction centered on a predetermined width dx and yb (or ywb_new) centered on xl_g. * A window U of (yb-ym) is set, and vertical edge detection processing is performed again from the original image in the same region. In this vertical edge image, the y coordinate at which the vertical edge intensity Iv_l is below a predetermined value Iv_lthresh is detected as y = ybl_new for the first time downward from the point (x = xl_g, y = ym). The above processing is also performed on the vehicle right side candidate xr (j), and y = ybr_new is detected.
[0036]
In step 2221, vehicle determination is performed based on the above detection results. A characteristic of the vehicle is that it is a symmetrical object. Since the detected left and right vehicle lower end candidates should all represent the y-coordinate of the contact point between the tire and the road surface, if the object is a vehicle, the difference should take a very small value. That is, the vehicle determination condition is given by the following equation (9).
[Equation 9]
Figure 0003726309
[0037]
If it is determined in step 2222 that the above equation is satisfied, the flag is set to 1 in step 2224. Otherwise, in step 2223, 0 is substituted for the flag, and the process returns to step 221 to input the next frame. To do. Next, when it is determined that the vehicle is a vehicle, in step 2225, yb is calculated by taking the average of ybl_new and ybr_new as the vehicle bottom end coordinates. Thereafter, in step 2226, the x coordinates xl_g, xr_g, and yb of the vehicle side surface detected this time are stored in xl_old, xr_old, and yb_old, respectively, for the next window setting, and the processing relating to the image ends. Here, Steps 2218 to 2226 constitute vehicle recognition means.
[0038]
Thereafter, returning to FIG. 4, in step 225, the distance value (LL, LC, LR) of each beam from the laser radar distance meter 210 is input, and the true leading is obtained based on the image processing result for each distance value. After selecting a beam indicating the distance value to the vehicle, the degree of approach is determined based on the distance value, and if it is determined that the vehicle is approaching too much, the display device 214 displays a notification.
FIG. 25 shows details of the processing. That is, since the y coordinate of the vehicle bottom end is detected by the vehicle detection, the distance to the preceding vehicle can be estimated from the image. This is because the relationship between the road surface and the camera mounting position is known. That is, the distance L_IMG to the preceding vehicle can be calculated by equation (10).
[Expression 10]
Figure 0003726309
Here, d represents the y coordinate value of the vanishing point on the screen.
[0039]
In step 2229, after calculating the differences ΔLL, ΔLC, ΔLR between the distance L_IMG obtained from this image and LL, LC, LR, in step 2230, the distance giving the smallest value among the differences is selected from LL to LR. By doing so, the distance to the preceding vehicle is determined. Next, in step 2231, the detection value of the vehicle speed sensor 212 is input, and the difference between the own vehicle speed, the distance to the preceding vehicle obtained by the previous processing, and the distance to the newly obtained preceding vehicle is obtained. The degree of approach is calculated based on the calculated relative speed and the distance to the preceding vehicle. If it is determined that the vehicle is approaching too much, in step 2232, a notification is displayed on the display device 214 to be careful of the driver. Prompts to end the flow. Here, steps 2229 to 2230 constitute an inter-vehicle distance determining means, and steps 2231 and 2232 constitute an approach degree determining means.
[0040]
In this embodiment, when detecting the preceding vehicle, the vertical edge and the horizontal edge reflecting the characteristics of the preceding vehicle are detected, and the detected edge is binarized, and then the vertical edge histogram and the horizontal edge histogram are detected. Create Since the two edge histograms created are correlated to emphasize the vertical edge feature quantity, the vehicle can be detected even in an image with poor contrast and unclear vehicle edges.
Further, since an actual measurement value from the laser radar is selected based on the detected value and used for the approach degree calculation, the approach degree is accurately calculated and correct notification is made.
[0041]
In this embodiment, the horizontal edge feature value is obtained by creating a horizontal edge histogram. However, the average value of the horizontal edge intensity at the same x coordinate may be set as Ih_p.
[0042]
In this embodiment, the vertical edge enhancement processing is performed by multiplying the vertical edge feature quantity Iv_p by the value Ih_pt obtained by inverting the distribution of the horizontal edge feature quantity using the maximum value Ih_pmax. However, Iv_p is divided by Ih_p. Thus, the emphasis process may be performed.
As mentioned above, although the Example has been described centering on the example in which the present invention is applied to the approach notification, the present invention is not limited to this, and can be applied to, for example, an autonomous vehicle that automatically follows the preceding vehicle. is there.
[0043]
Next, a second embodiment of the present invention will be described. In the first embodiment, the vehicle determination in step 2221 is performed using the vehicle lower end coordinates, but the vehicle determination may be performed using the vehicle width in the image. The determination condition is shown in Expression (11).
## EQU11 ##
Figure 0003726309
The above equation is a constraint on the vehicle width, 1.4 represents a light vehicle, 2.5 represents a large truck, 3.5 represents the road width of the expressway, and the unit is m. Next, the condition for determining whether or not the target in the lane is a preceding vehicle is shown in Expression (12).
[Expression 12]
Figure 0003726309
Expressions (11) and (12) define a lane with a road model similar to that of the first embodiment, and confirm whether vehicle side x-coordinates xl_g and xr_g exist inside the lane. That is, when the expressions (11) and (12) are satisfied with respect to the detected vehicle side x coordinate and vehicle lower end y coordinate, the vehicle is determined to be a vehicle. Thereby, the reliability of the detected vehicle side surface coordinates is significantly improved.
[0044]
Next, a third embodiment of the present invention will be described. In the first embodiment, the example in which the vertical edge histogram is emphasized using the horizontal edge feature amount has been described. However, the horizontal edge histogram can also be emphasized similarly using the vertical edge feature amount. That is, in step 2216, a vertical edge is detected from the original image in the determined window as shown in FIG. 26, and the vertical edge intensity value is binarized at a predetermined threshold value for each coordinate y ′ with yb0 as the origin. After processing, an edge histogram having an intensity of Iv_p ′ is created by taking the sum at the same column pixel.
[0045]
In step 2227, as shown in FIG. 27, in the already set window, the horizontal edge strength value is set to a predetermined threshold value for each coordinate y ′ having the origin 0 ′ as the window coordinate yb0 from the horizontal edge image. A lateral edge intensity histogram is created by binarizing and calculating the resulting vertical sum as Ih_p ′.
[0046]
Then, in step 2228, as shown in FIG. 28, an inversion value Iv_pt 'of the obtained histogram Iv_p' is obtained, and Ih_p 'is emphasized by multiplying it by Ih_p'. FIG. 28A shows a histogram Iv_pt ′, and FIG. 28B shows a state when Iv_pt ′ and Ih_p ′ are overlapped.
As a result, as shown in FIG. 29, the histogram of the vehicle lateral edge strength is selectively emphasized particularly near the upper and lower ends of the vehicle. As a result, as in the first embodiment, the vehicle existence region can be accurately cut out from the image, and the y coordinate of the vehicle upper and lower ends can be easily estimated.
[0047]
【The invention's effect】
According to the recognition apparatus of the present invention, the original image is differentiated, and the feature amounts of the vertical edge and the horizontal edge that reflect the characteristics of the vehicle are calculated from the differential image. Then, since the feature value of the vertical edge or the feature value of the horizontal edge is emphasized based on the calculated value and used for vehicle detection, vehicle detection is correctly performed even with a differential image with a blurred edge feature. As a result, the reliability of the detected vehicle is improved and the detectable range is expanded.
[0048]
  AndThe vertical edge feature value is emphasized by multiplying the screen vertical direction distribution of the vertical edge feature value by reversing the screen vertical direction distribution of the horizontal edge feature value so that the maximum value of the horizontal edge feature value is minimized, or The horizontal edge feature value and the vertical edge feature value are obtained by multiplying the screen horizontal direction distribution of the horizontal edge feature value obtained by inverting the screen horizontal direction distribution of the vertical edge feature value so that the maximum value is minimized. Since the edges of the vehicle and the upper and lower edges are selectively emphasized by emphasizing, the position of the vehicle can be easily specified.
[0049]
The vertical edge feature amount is emphasized by dividing the vertical edge feature amount vertical distribution by the screen vertical direction distribution of the horizontal edge feature amount, or the horizontal edge feature amount distribution by the screen horizontal direction distribution of the vertical edge feature amount. Also by emphasizing the lateral edge feature amount by removing, the edges of the both sides and upper and lower ends of the vehicle are selectively emphasized, so that the position of the vehicle can be easily specified.
[0050]
The vehicle side candidate coordinates are estimated from the emphasized vertical edge feature amount, and the vehicle bottom end candidate coordinates based on the vertical edge image are calculated in the estimated vehicle side candidate coordinates. Then, by recognizing the vehicle by collating the calculated vehicle bottom end candidate coordinate with the vehicle shadow coordinate on the travel road, a highly reliable vehicle detection device is configured without erroneously detecting the preceding vehicle. be able to.
Further, the vehicle side candidate coordinates are estimated from the emphasized vertical edge feature amount, and the in-screen vehicle width is calculated from the estimated vehicle side candidate coordinates. Then, by recognizing the vehicle by determining whether or not the calculated vehicle width and the vehicle side candidate position are within the travel path, the preceding vehicle is correctly recognized, and a highly reliable vehicle detection device is configured.
[0051]
In addition, the vehicle approach notification device of the present invention further includes distance measuring means, the inter-vehicle distance determining means uses the vehicle recognition result, and the distance measurement data of the distance measuring means is the distance to the vehicle traveling in front of the host vehicle. Check if it is a value. And since the approach degree with respect to the preceding vehicle of the own vehicle is determined based on the distance data for which the distance has been confirmed and the driver is alerted, the distance notification with high reliability is performed. It should be noted that the inter-vehicle distance detection value is detected more accurately by configuring the distance measuring means from a plurality of distance measuring sensors having different directivities.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of the present invention.
FIG. 2 is a configuration diagram of the present invention.
FIG. 3 is a diagram showing a configuration of an embodiment of the present invention.
FIG. 4 is a flowchart of the entire process.
FIG. 5 Horizontal edge detection operatorFigure showingIt is.
FIG. 6 is a diagram illustrating an original image and a horizontal edge image.
FIG. 7 is an explanatory diagram of a setting coordinate system.
FIG. 8 is a correspondence diagram of white lines in the camera coordinate system.
FIG. 9 is a correspondence diagram between recognized white lines and mathematical expressions.
FIG. 10 is a flowchart for detecting a lane marker.
FIG. 11 Vehicle detectionofIt is a flowchart for.
FIG. 12 Vehicle detectionFlow chart forIt is.
FIG. 13Explanation of vehicle detectionFIG.
FIG. 14 WindowIndicates the set positionFIG.
FIG. 15Height in windowIt is explanatory drawing of.
FIG. 16Illustration of window setting from vehicle positionIt is.
FIG. 17 Vertical edgeIndicates detection operatorFIG.
FIG. 18 Vertical edgeIllustration of creating histogram fromIt is.
FIG. 19Flowchart for emphasizing vertical edge feature quantityIt is.
FIG. 20Illustration of creating histogram from horizontal edgeIt is.
FIG. 21Inverted histogramFIG.
FIG. 22Vertical edge feature enhancement processingFIG.
FIG. 23Diagram showing emphasized vertical edge featureIt is.
FIG. 24 is an explanatory diagram for confirming a vehicle.
FIG. 25 is a flowchart for operating the notification device.
FIG. 26 is an explanatory diagram for creating a histogram from vertical edges;
FIG. 27 is an explanatory diagram for creating a histogram from horizontal edges;
FIG. 28 is an explanatory diagram of a lateral edge feature amount enhancement process.
FIG. 29 is a diagram illustrating a correspondence relationship between an emphasized distribution of lateral edge feature values and a vehicle.
FIG. 30 is a diagram showing a configuration of a conventional example.
FIG. 31 is a diagram showing a window setting and a detected histogram.
FIG. 32 is a diagram illustrating an example of a detected histogram.
[Explanation of symbols]
  200 Own vehicle
  210 Laser radar rangefinder
  211 video camera
  212 Vehicle speed sensor
  213 Controller
  214 Display device

Claims (14)

車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
前記微分画像において、参照領域を規定する参照領域規定手段と、
前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段とを具備することを特徴とする車両認識装置。An imaging means mounted on a vehicle to capture its traveling direction and generate original image data;
Differential image generation means for generating a differential image by differentiating the generated original image data;
In the differential image, a reference area defining means for defining a reference area;
In the reference area, a lateral edge feature amount calculating means for calculating a lateral edge feature amount;
In the reference area, a vertical edge feature amount calculating means for calculating a vertical edge feature amount;
The vertical edge feature value is emphasized by multiplying the screen vertical direction distribution of the vertical edge feature value by reversing the screen vertical direction distribution of the horizontal edge feature value so that the maximum value of the horizontal edge feature value is minimized. Alternatively, an edge that emphasizes the horizontal edge feature quantity by multiplying the horizontal edge feature quantity screen horizontal direction distribution obtained by inverting the horizontal edge feature quantity screen horizontal direction distribution so that the maximum value of the vertical edge feature quantity is minimized. Feature enhancement means;
Vehicle recognition apparatus comprising vehicle recognition means for recognizing a preceding vehicle using the emphasized edge feature value. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
前記微分画像において、参照領域を規定する参照領域規定手段と、
前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
前記横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段とを具備することを特徴とする車両認識装置。 An imaging means mounted on a vehicle to capture its traveling direction and generate original image data;
Differential image generation means for generating a differential image by differentiating the generated original image data;
In the differential image, a reference area defining means for defining a reference area;
In the reference area, a lateral edge feature amount calculating means for calculating a lateral edge feature amount;
In the reference area, a vertical edge feature amount calculating means for calculating a vertical edge feature amount;
The vertical edge feature is emphasized by dividing the vertical distribution of the vertical edge feature by the vertical distribution of the horizontal edge feature on the screen, or the horizontal edge feature of the horizontal edge feature by the horizontal distribution of the vertical edge feature on the screen. Edge feature enhancement means for enhancing the lateral edge feature by dividing the lateral distribution;
Vehicle recognition apparatus comprising vehicle recognition means for recognizing a preceding vehicle using the emphasized edge feature value . 前記参照領域規定手段は、微分画像内において自車の走行領域を検出する手段と、該走行領域内において横エッジに基づき車両候補位置を検出する手段と、該車両候補位置の近傍において参照領域を規定する手段とを含むことを特徴とする請求項１または２記載の車両認識装置。The reference area defining means includes means for detecting a traveling area of the own vehicle in the differential image, means for detecting a vehicle candidate position based on a lateral edge in the traveling area, and a reference area in the vicinity of the vehicle candidate position. The vehicle recognition apparatus according to claim 1 , further comprising a defining unit. 前記横エッジ特徴量算出手段は、前記参照領域内で画面下方向に横エッジ強度の濃度投影値を算出するものであることを特徴とする請求項１または２記載の車両認識装置。The vehicle recognition apparatus according to claim 1, wherein the horizontal edge feature quantity calculating unit calculates a density projection value of the horizontal edge intensity in a downward direction of the screen within the reference area. 前記横エッジ特徴量算出手段は、前記参照領域内で画面同列上に所定の範囲内の横エッジ強度値を有する画素数を計数するものであることを特徴とする請求項１または２記載の車両認識装置。3. The vehicle according to claim 1, wherein the horizontal edge feature quantity calculating means counts the number of pixels having a horizontal edge intensity value within a predetermined range on the same screen in the reference area. Recognition device. 前記横エッジ特徴量算出手段は、前記参照領域内で同列内横エッジ画像のエッジ強度平均値を算出するものであることを特徴とする請求項１または２記載の車両認識装置。The lateral edge feature quantity calculating means, the vehicle recognition system of claim 1 or 2, wherein the at the reference area and calculates the edge intensity average value in the same row in the horizontal edge image. 前記縦エッジ特徴量算出手段は、前記参照領域内で画面下方向に縦エッジ強度の濃度投影値を算出するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。The longitudinal edge feature quantity calculating means, according to claim 1, 2, 3, 4, characterized in that calculates a density projection value of the vertical edge strength of the screen downward direction in the reference area, 5 or 6, wherein Vehicle recognition device. 前記縦エッジ特徴量算出手段は、前記参照領域内で同列上に所定の範囲内の縦エッジ強度値を有する画素数を計数するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。The said vertical edge feature-value calculation means counts the number of the pixels which have the vertical edge intensity | strength value in a predetermined range on the same row in the said reference area, The 1, 2, 3, 4 characterized by the above-mentioned. The vehicle recognition device according to 5 or 6 . 前記縦エッジ特徴量算出手段は、前記参照領域内で同列内縦エッジ画像のエッジ強度平均値を算出するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。The said vertical edge feature-value calculation means calculates the edge strength average value of the vertical edge image in the same row within the said reference area, The 1, 2, 3, 4, 5 or 6 characterized by the above-mentioned. Vehicle recognition device. 前記車両認識手段は、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出し、算出された車両最下端候補座標をもとに車両を認識する手段とを含むことを特徴とする請求項１、２、３、４、５、６、７、８または９記載の車両認識装置。The vehicle recognizing means calculates the vehicle bottom candidate coordinates based on the vertical edge image in the estimated vehicle side candidate coordinates and means for estimating the vehicle side candidate coordinates from the emphasized vertical edge feature quantity. The vehicle recognition apparatus according to claim 1 , further comprising means for recognizing a vehicle based on the lowest coordinate of the vehicle bottom end . 前記車両認識手段は、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標より画面内車両幅を算出する手段と、算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識する手段とを含むことを特徴とする請求項１、２、３、４、５、６、７、８または９記載の車両認識装置。The vehicle recognition means includes means for estimating vehicle side candidate coordinates from the emphasized vertical edge feature quantity, means for calculating an in-screen vehicle width from the estimated vehicle side candidate coordinates , a calculated vehicle width, vehicle recognition according to claim 5, 6, 7, 8 or 9, wherein the vehicle side candidate position is characterized in that it comprises means for recognizing a vehicle by determination of whether or not the traveling road apparatus. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、An imaging means mounted on a vehicle to capture its traveling direction and generate original image data;
前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、Differential image generation means for generating a differential image by differentiating the generated original image data;
前記微分画像において、参照領域を規定する参照領域規定手段と、In the differential image, a reference area defining means for defining a reference area;
前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、In the reference area, a lateral edge feature amount calculating means for calculating a lateral edge feature amount;
前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、In the reference area, a vertical edge feature amount calculating means for calculating a vertical edge feature amount;
前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、The vertical edge feature value is emphasized by multiplying the screen vertical direction distribution of the vertical edge feature value by reversing the screen vertical direction distribution of the horizontal edge feature value so that the maximum value of the horizontal edge feature value is minimized. Alternatively, an edge that emphasizes the horizontal edge feature value by multiplying the horizontal distribution of the horizontal edge feature value on the screen horizontal direction distribution obtained by inverting the horizontal distribution of the vertical edge feature value so that the maximum value thereof is minimized. Feature enhancement means;
前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段と、Vehicle recognition means for recognizing a preceding vehicle using the emphasized edge feature amount;
前方障害物までの距離を測定する測距手段と、Distance measuring means for measuring the distance to the obstacle ahead,
前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する車間距離判定手段と、Using the vehicle recognition result, the distance measurement data of the distance measuring means is an inter-vehicle distance determination means for confirming whether or not the distance data to the vehicle traveling in front of the host vehicle,
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段と、An approach degree determination means for determining an approach degree of the host vehicle to the preceding vehicle based on the confirmed distance data;
前記判定結果に基づき運転者に注意を促す報知手段とを具備することを特徴とする車両接近報知装置。A vehicle approach notification device comprising: notification means for alerting the driver based on the determination result. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
前記微分画像において、参照領域を規定する参照領域規定手段と、
前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
前記横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段と、
前方障害物までの距離を測定する測距手段と、
前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する車間距離判定手段と、
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段と、
前記判定結果に基づき運転者に注意を促す報知手段とを具備することを特徴とする車両接近報知装置。An imaging means mounted on a vehicle to capture its traveling direction and generate original image data;
Differential image generation means for generating a differential image by differentiating the generated original image data;
In the differential image, a reference area defining means for defining a reference area;
In the reference area, a lateral edge feature amount calculating means for calculating a lateral edge feature amount;
In the reference area, a vertical edge feature amount calculating means for calculating a vertical edge feature amount;
The vertical edge feature is emphasized by dividing the vertical distribution of the vertical edge feature by the vertical distribution of the horizontal edge feature on the screen, or the horizontal edge feature of the horizontal edge feature by the horizontal distribution of the vertical edge feature on the screen. Edge feature enhancement means for enhancing the lateral edge feature by dividing the lateral distribution ;
Vehicle recognition means for recognizing a preceding vehicle using the emphasized edge feature amount ;
Distance measuring means for measuring the distance to the obstacle ahead,
Using the vehicle recognition result, the distance measurement data of the distance measuring means is an inter-vehicle distance determining means for confirming whether or not the distance data to a vehicle traveling in front of the own vehicle;
An approach degree determination means for determining an approach degree of the host vehicle to the preceding vehicle based on the confirmed distance data;
A vehicle approach notification device comprising: notification means for alerting the driver based on the determination result. 前記測距手段は、互いに異なる指向性を有する複数の測距センサからなるものであることを特徴とする請求項１２または１３記載の車両接近報知装置。14. The vehicle approach notification device according to claim 12 or 13 , wherein the distance measuring means comprises a plurality of distance measuring sensors having different directivities.
JP15239895A 1995-05-26 1995-05-26 Vehicle recognition device and vehicle approach notification device using the same Expired - Fee Related JP3726309B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15239895A JP3726309B2 (en) 1995-05-26 1995-05-26 Vehicle recognition device and vehicle approach notification device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15239895A JP3726309B2 (en) 1995-05-26 1995-05-26 Vehicle recognition device and vehicle approach notification device using the same

Publications (2)

Publication Number Publication Date
JPH08329397A JPH08329397A (en) 1996-12-13
JP3726309B2 true JP3726309B2 (en) 2005-12-14

Family

ID=15539648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15239895A Expired - Fee Related JP3726309B2 (en) 1995-05-26 1995-05-26 Vehicle recognition device and vehicle approach notification device using the same

Country Status (1)

Country Link
JP (1) JP3726309B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3671825B2 (en) 2000-09-22 2005-07-13 日産自動車株式会社 Inter-vehicle distance estimation device
JP3822515B2 (en) 2002-03-29 2006-09-20 株式会社東芝 Obstacle detection device and method
JP4376147B2 (en) * 2004-07-28 2009-12-02 ダイハツ工業株式会社 Obstacle recognition method and obstacle recognition device
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
CN101029823B (en) * 2006-02-28 2010-09-15 东软集团股份有限公司 Method for tracking vehicle based on state and classification
CN101211408B (en) 2006-12-29 2011-05-25 东软集团股份有限公司 Vehicle side image recognition method and apparatus, car lamp error identification detection and driving safety prediction method
JP2015032211A (en) 2013-08-05 2015-02-16 株式会社東芝 Image processing apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
JPH08329397A (en) 1996-12-13

Similar Documents

Publication Publication Date Title
CN107272021B (en) Object detection using radar and visually defined image detection areas
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
US6819779B1 (en) Lane detection system and apparatus
JP3367170B2 (en) Obstacle detection device
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
EP1780675B1 (en) Object detector
JP3424334B2 (en) Roadway detection device
JP4205825B2 (en) Object recognition device
JP4246766B2 (en) Method and apparatus for locating and tracking an object from a vehicle
US20180268229A1 (en) Image processing apparatus, imaging apparatus, and device control system
JP6560355B2 (en) Landmark recognition apparatus and recognition method
KR102029850B1 (en) Object detecting apparatus using camera and lidar sensor and method thereof
KR102441075B1 (en) Apparatus and method for estmating position of vehicle base on road surface display
JP2000357233A (en) Body recognition device
JP2001004368A (en) Object recognizing apparatus
WO2017130640A1 (en) Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
CN107491065B (en) Method and apparatus for detecting side surface of object using ground boundary information of obstacle
CN108645625B (en) Tail end and side surface combined 3D vehicle detection method, system, terminal and storage medium
EP3901821A1 (en) Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
JP4052291B2 (en) Image processing apparatus for vehicle
US20230326168A1 (en) Perception system for autonomous vehicles
JP2002334330A (en) Vehicle recognition device
CN109886064A (en) Determination can driving space boundary method
JP3726309B2 (en) Vehicle recognition device and vehicle approach notification device using the same

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050919

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees