JP4296287B2

JP4296287B2 - Vehicle recognition device

Info

Publication number: JP4296287B2
Application number: JP2003149606A
Authority: JP
Inventors: 究青柳
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2009-07-15
Anticipated expiration: 2023-05-27
Also published as: JP2004355139A

Description

【０００１】
【発明の属する技術分野】
本発明は、車載ビデオカメラを用いた車両認識装置に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平０８−１４７４４７号公報
車載カメラを用いた先行車両または後続車両に対する接近警報システム等に使用する車両認識装置として、前方または後方をカメラ撮影して得られた画像に基づき、画像処理技術を利用して、先行車または後続車の存在を認識するようにした車両認識装置が知られている。例えば特許文献１には、画像処理により抽出された車両候補に関するデータを、予め記憶された車両以外の路側物標の特徴量と比較することにより、車両以外の路側物標と判定されたものをノイズとして最終的な車両判定対象から除くため、無駄な車両判定処理を省くことができるという方法が示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、この方法では、車両周辺の橋、ビル、塀などの建造物や地形などの路側物標によってできた路面の日陰が車両候補として抽出されることで、画像処理による車両判定の精度が落ちるという問題点があった。
本発明は、上記の問題点を解決するために、検出目標である車両のエッジと類似の路側物標の影がビデオカメラ画像に映りこんでいる場合でも、車両として誤検出することを防止できる車両認識装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
このため、本発明は、車両前方または後方を撮像する撮像手段と、少なくとも撮像手段によって撮像された画像上の水平エッジを検出し、水平エッジに基づいて車両候補を抽出する車両候補抽出手段と、少なくとも路側物標の立体データを記憶する記憶手段と、太陽の位置を推定する太陽位置推定手段と、推定された太陽の位置と、路側物標の立体データに基づいて、抽出された車両候補の水平エッジが路側物標の影であるかどうかを判定し、影と判定された車両候補の水平エッジをノイズとして除去する影ノイズ除去手段とを備え、影ノイズ除去手段によってノイズが除去された後の車両候補に基づいて車両を認識するものとした。
【０００５】
【発明の効果】
本発明により、路側物標の影、例えば走行路周辺の地形や建造物によって路面に投影された影の水平エッジを車両候補として抽出しても、最終的な車両判定対象から除くことができ、車両判定精度が向上する。
【０００６】
【発明の実施の形態】
以下本発明の実施の形態を説明する。
図１は本発明の車両認識装置を適用した接近警報システムのブロック構成図である。図２は接近警報システムの機器配置図である。
本システムは、前部バンパー部に取り付けられたレーザレーダ距離計（図１ではレーダ距離計と表示）６と、車両のルーフ前端部中央に取り付けられ進路前方を撮影するビデオカメラ１と、３次元地図データを記憶し、自車の位置と走行方向などを算出するナビゲーション装置４と、システム全体を統括制御するマイクロコンピュータで構成されたコントローラ１０と、車外の照度を測定する照度センサ５と、車内運転席から視認し得る位置に取り付けられた表示装置８とから構成されている。
【０００７】
ビデオカメラ１は、路面からの高さｈの位置に、カメラの光軸を自車前方真正面方向に対し、やや下向きのピッチ角θｐ、左右方向０°のヨー角θｙに向けて取り付けられている。
コントローラ１０は、画像前処理部２、画像処理部３、車間距離演算判定部９から構成されている。画像前処理部２はビデオカメラ１で撮影された原画像から水平エッジ画像を得、画像処理部３は水平エッジ画像から車両候補を抽出して車両かどうかを判定し、車間距離演算判定部９は車両と判定された車両候補との車間距離を判定する。
【０００８】
以下に、画像前処理部２、画像処理部３、車間距離演算判定部９の詳細な構成を説明する。
まず、ビデオカメラ１からの原画像データは、画像前処理部２の水平エッジ画像生成部２１に送られる。水平エッジ画像生成部２１は、原画像データに対して水平エッジを強調するフィルタリング処理をして水平エッジ画像データを得る。この水平エッジ画像データは水平エッジ画像記憶部２２に記憶される。
また、ビデオカメラ１からの原画像データは、原画像記憶部２３に記憶される。
【０００９】
画像処理部３では、走行路検出部３１が、水平エッジ画像記憶部２２に記憶された水平エッジ画像データを読み出し、後述のフローで示すようにレーンマーカを抽出して自車走行路を検出する。車両候補抽出部３２が、走行路検出部３１にて検出された自車走行路に含まれる水平エッジラインに基づいて車両候補を抽出する。
天候判定部３３が、照度センサ５が測定した車外の照度の信号を受けて、影による車両認識判定への影響があるかどうかを判定し、影響があると判定した場合は後述の太陽位置算出部３４に太陽位置の算出指令を、影ノイズ除去部３５に影ノイズ除去処理の指令を出す。影響がないと判定した場合は、太陽位置の算出指令、影ノイズ除去処理の指令を出さない。
【００１０】
太陽位置算出部３４が、天候判定部３３からの太陽位置の算出指令により、ナビゲーション装置４の暦・時計部４１から年月日と時刻データを得て、現時点の太陽のグローバルポジションを算出する。
影ノイズ除去部３５が、天候判定部３３からの影ノイズ除去指令により、ナビゲーション装置４からの自車両周辺の３次元地図データに基づいて、抽出された自車走行路上の車両候補の水平エッジが、自車周辺の橋梁、ビル、塀などの建造物や地形など路側物標によって自車走行路上に投影された日陰の水平エッジかどうかを判定し、日陰の水平エッジと判定した場合は、その水平エッジを車両候補から除外する。
【００１１】
白線ノイズ除去部３６が、車両候補の水平エッジを、車間距離認識用白線が水平エッジ画像において示す特徴を有するかどうか判定し、車間距離認識用白線の特徴を有する場合は白線ノイズとして車両候補から除外し、特徴を有しない場合は車両候補のままとする。
【００１２】
車両判定部３７が、自車走行路上の水平エッジに基づき車両候補として抽出され、ここまで車両候補として残った水平エッジを含む周囲にウインドウを設定し、ウインドウに対応する領域の原画像データを原画像記憶部２３から読み出し、垂直エッジを強調するフィルタリング処理をして垂直エッジ画像を得、垂直エッジ画像の垂直エッジの特徴から最終的に車両候補が車両かどうかを判定する。
【００１３】
車間距離演算判定部９では、概略車間距離算出部３８が、車両判定部３７で車両と判定された車両候補の水平エッジの画面内位置から、概略車間距離を算出する。
車間距離判定部３９が、概略車間距離に基づいて、車間距離算出のフローチャートの中で後述するように、レーザレーダ距離計６から得られる複数の測定距離の中でもっとも信頼性の高い距離を車間距離として判定し、表示装置８に出力する。
また、判定された車間距離が所定値より小さい場合は表示装置８に音声または画像による接近警報を出力する。
【００１４】
なお、ナビゲーション装置４は、現在の年月日、時刻を更新保持する暦・時計部４１、自車のグローバルポジションを算出する自車位置検出部４２、自車のグローバルポジションなどから自車の走行方向などを検出する自車姿勢検出部４３、道路地図データ、道路地図データに対応させた地形、建造物などの３次元外形データを自車位置に応じて引き出し可能に記憶する３次元地図データ部（図１では３Ｄ地図データ部と表示）４４からなる。
【００１５】
本実施の形態におけるビデオ画像から先行車両を認識して車間距離を算出するフローチャートを図３に示す。
ステップ１０１では、レーザレーダ距離計６によって例えば所定の角度差で設定された左前方、中央前方、右前方の３方向に対して計測された車間距離値ＬＬ、ＬＣ、ＬＲが、車間距離判定部３９に取り込まれる。
ステップ１０２では、ビデオカメラ１で撮像された車両前方の原画像データが、画像前処理部２に取り込まれる。
【００１６】
ステップ１０３では、取り込まれた原画像データが、原画像記憶部２３（図３ではメモリと表示）に格納される。
ステップ１０４では、水平エッジ画像生成部２１が、取り込まれた原画像データに対して、例えば図５に示すようなＳｏｂｅｌオペレータを用いて水平エッジを強調するフィルタリング処理をする。
ステップ１０５では、生成された水平エッジ画像が、水平エッジ画像記憶部２２（図３ではメモリと表示）に格納される。
以上のステップ１０３から１０５は、パイプライン構造を有する画像処理装置を用いることによりそれぞれの処理を同時に行うことが可能である。
【００１７】
ステップ１０６では、走行路検出部３１がレーンマーカの検出を行う。
この検出処理としては、画像処理の最初は、例えば水平エッジ画像における水平エッジの中から、画面左側半分の領域に対し画面下端から上方に向かって所定の長さおよび角度を有するエッジをレーンマーカとして抽出し、最初に検出され続いてそれに隣接して続く一連のレーンマーカを式（１）で表されるｉ＝０のときの白線モデルに、最小二乗法でカーブフィッティングすることによりそのパラメータａ_ｉ、ｂ_ｉ、ｃ_ｉ、ｄ_ｉ、ｅ_ｉを求め、その白線モデルの式を記憶する。
ｘ＝（ａ_ｉ＋ｉｅ_ｉ）（ｙ−ｄ_ｉ）＋ｂ_ｉ／（ｙ−ｄ_ｉ）＋ｃ_ｉ・・（１）
ここで、図６に示すようなビデオカメラ画像の画面左上を原点とする画面座標系Ｘ−Ｙ上の各座標点を（ｘ，ｙ）とする。
ｉは整数で、その値は図６に示されるレーンマーカＮｏ．に対応している。すなわち、レーンマーカ５３の場合はｉ＝０に、レーンマーカ５４の場合はｉ＝１に、レーンマーカ５５の場合はｉ＝２に対応する。
それぞれの道路パラメータは、各レーンマーカまたは道路の形状、または車両挙動を反映したものである。ａ_ｉは走行車線内の自車の横偏位、ｂ_ｉは各レーンマーカまたは道路の曲率、ｃ_ｉはビデオカメラ１の光軸の各レーンマーカまたは道路に対するヨー角による座標変換定数、ｄ_ｉはビデオカメラ１の光軸の道路に対するピッチ角による座標変換定数、ｅ_ｉは道路のレーン幅に対応する。
【００１８】
同様に、画面右側半分の領域に対し画面下端から上方に向かって所定の長さおよび角度を有するエッジをレーンマーカとして抽出し、最初に検出され続いてそれに隣接して続く一連のレーンマーカを式（１）で表されるｉ＝１のときの白線モデルに、最小二乗法でカーブフィッティングし、その白線モデルの式を記憶する。
【００１９】
なお、ビデオカメラ画像の繰り返し処理で、すでに前回の白線モデルが記憶されている場合は、前回の画像処理で検出された白線モデル近傍の水平エッジをレーンマーカとして検出し、式（１）で表される白線モデルに、最小二乗法でカーブフィッティングすることによりそのパラメータを求める。
【００２０】
最小二乗法のカーブフィッティングで得られた白線モデル式において、画面下端のｙ座標を入力したとき得られるｘ座標の値が、画面左右中央に近い左側の曲線がｉ＝０の白線モデルであり、画面左右中央に近い右側の曲線がｉ＝１の白線モデルである。
ステップ１０７では、走行路検出部３１が、ステップ１０６で得られた白線モデルのうちｉ＝０とｉ＝１の白線モデルで囲まれた領域を自車走行レーンとして認識する。
【００２１】
ステップ１０８では、車両候補抽出部３２が車両候補抽出を行う。
車両候補の抽出は、まず水平エッジ画像記憶部２２に記憶した水平エッジ画像データを読み出し、ステップ１０７で認識した自車走行レーンの領域に対して、画面下端から上方に向かって、水平エッジが検出されるかどうか検索する。この検出したい水平エッジは車両下部の路面への影によって生じたものである。
【００２２】
次に、検出された水平エッジが「車両候補」に該当するかどうかを判定して、該当するものを「車両候補」として抽出する。
判定は、検出された水平エッジの所定値以上の絶対強度を有するエッジ画素数をＮｅ、そのｙ座標における自車走行レーン幅に相当する画素数をＮｗとすると、水平エッジの幅と走行レーンの幅の相対パーセントＲ（ｙ）を式（２）のようにして求め、その結果が所定値Ｒｔ以上あるかどうかで行う。
Ｒ（ｙ）＝（Ｎｅ／Ｎｗ）＊１００％・・・・（２）
Ｒ（ｙ）＞Ｒｔ・・・・（３）
なお、水平エッジのｙ座標における自車走行レーン幅は、前述の白線モデルの式（１）に水平エッジのｙ座標を代入することによって求めることができる。
【００２３】
ここで、車両下部の水平輪郭から生じる水平エッジの長さは、車両の幅を反映させた長さとなることから、自ずとＲｔに対してＲ（ｙ）の下限値が定められる。例えば「車両候補」の抽出ミスを防ぐように安全側に小さめの値として、軽自動車の車幅１．４ｍに対し、走行レーン幅は大き目の高速道路を想定して３．５ｍとすれば、Ｒｔ＝４０％と定めることができる。
式（３）の条件を満足する水平エッジのｙ座標を車両候補のｙ座標ｙ_ｓ０とする。
上記条件を満足する水平エッジを検出したら、車両候補を抽出したとしてステップ１０９に進む。
【００２４】
式（３）の「車両候補」の条件に該当する水平エッジでなかった場合は、水平エッジ画像の自車走行レーン内で、さらに画面上方に向かって水平エッジを探索し、検出した水平エッジが「車両候補」かどうかの判断を続ける。
最終的に自車走行レーンの領域全部の探索を行っても「車両候補」を抽出できない場合は、ステップ１０１に戻る。
【００２５】
ステップ１０９では、天候判定部３３が、車外の照度を測定する照度センサ５からの照度信号を取り込む。
ステップ１１０では、天候判定部３３が、照度は所定の閾値を超えておらず路側物標の影による影響は少ないと判断した場合は、ステップ１１６に進む。照度が所定の閾値を超え、路側物標の影による車両検出への障害となると判断した場合は、影ノイズを除去するため太陽位置算出部３４に太陽位置算出指令を、影ノイズ除去部３５に影ノイズ除去処理の指令を出し、ステップ１１１に進む。
【００２６】
ステップ１１１では、影ノイズ除去部３５が、ナビゲーション装置４の自車位置検出部４２で算出された自車のグローバルポジションと、自車姿勢検出部４３で検出された車両走行方向などを読み込む。
ステップ１１２では、太陽位置算出部３４が、暦・時計部４１からの現在年月日、時刻に基づき太陽のグローバルポジションを算出する。
ステップ１１３では、影ノイズ除去部３５が、３次元地図データ部４４から自車周辺の地形、建造物の３次元データ（３Ｄデータ）をグローバルポジションの形で取り込む。
【００２７】
ステップ１１４では、影ノイズ除去部３５が、ステップ１０８で抽出した車両候補の水平エッジの両端のグローバルポジションを計算する。
ビデオカメラ画像上での（ｘ、ｙ）座標は、ビデオカメラ１の焦点距離ｆと、ビデオカメラ１の路面からの取り付け高さｈと、水平線７５上の消失点７０（図７参照）の座標（ｘ_０，ｙ_０）と、自車のグローバルポジションと、自車姿勢検出部４３からの自車走行方向などの情報データ、とから容易にカメラ位置直下の路面を自車のグローバルポジションとして、ビデオカメラ画像上での水平エッジの両端の（ｘ、ｙ）座標をグローバルポジションに換算できる。
【００２８】
具体的には、ビデオカメラ１から車両進行方向の距離がＤ_Ｌ、ビデオカメラ１の光軸ｐから車両幅方向の距離がＤ_Ｗである路面上の点ａの、ビデオカメラ画像上での座標が（ｘ_１，ｙ_１）であったとすると、ビデオカメラ１のカメラレンズ４５から撮像素子４６への結像における座標（ｘ_０，ｙ_０）、（ｘ_１，ｙ_１）、距離Ｄ_Ｌ、Ｄ_Ｗ、焦点距離ｆ、ビデオカメラ１の高さｈの関係は、図１０、図１１の様になる。図１０は側面から見た図であり、図１１は上方から見た図である。
従って、これらの関係は式（４）、（５）の様に表すことができ、この式を解くことによって、点ａの自車からの位置を算出する。算出した点ａの位置と、自車の進行方向、自車のグローバルポジションから点ａのグローバルポジションに換算することができる。
（ｙ_１−ｙ_０）／ｆ≒ｈ／Ｄ_Ｌ・・・・（４）
（ｘ_１−ｘ_０）／ｆ＝Ｄ_Ｗ／Ｄ_Ｌ・・・（５）
【００２９】
ステップ１１５では、影ノイズ除去部３５が、グローバルポジション上で、車両候補の水平エッジ両端と太陽を直線ｍで結び、その直線ｍ近傍にステップ１１３で取り込んだ周辺地形、周辺建造物の輪郭線があるかどうかをチェックする。図７はビデオカメラ画像における周辺建造物による自車走行レーンへの影の投影を示す図である。図７において、太陽７１は太陽の位置を説明のために模式的に示したもので、ビデオカメラ画像には含まれない。直線ｍは車両候補の水平エッジ７２の両端から太陽を結ぶ直線を模式的に示す。
【００３０】
図７の模式図の例では、太陽７１のグローバルポジションと水平エッジ７２の両端のグローバルポジションを結ぶ直線ｍに近い周辺の建造物の輪郭ｎが存在する。したがって、この水平エッジ７２は前方車両の後方下部またはその影による水平エッジではないと判断する。
車両候補の水平エッジが周辺地形または周辺建造物の対応する輪郭線の影に対応しない場合はステップ１１６に進み、対応する場合はステップ１０８に戻り、現在の座標ｙ_ｓ０よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
【００３１】
ステップ１１６では、白線ノイズ除去部３６が、車両候補の水平エッジが車間距離認識用白線かどうかをチェックする。
図８にレーンマーカ５３、５４、５５と共に車間距離認識用白線５６を示す。路面にこのような車間距離認識用白線が存在するとき、原画像では白線の上下で「暗」→「明」→「暗」という濃度変化が、自車走行レーンの左右のレーンマーカ間の随所に存在する。たとえば原画像において下から「暗」→「明」の変化に対しては水平エッジ画像では正のエッジを、原画像で下から「明」→「暗」の変化に対しては水平エッジ画像では負のエッジとして反映される。
【００３２】
従って、車両候補の水平エッジにおいて、これらの特徴が自車走行レーンの左右のレーンマーカ間の随所に存在する場合、その車両候補は車間距離認識用白線であると判断する。車間距離認識用白線と判断された場合はステップ１０８に戻り、現在の座標ｙ_ｓ０よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
車間距離認識用白線でないと判断された場合は、ステップ１１７に進む。
【００３３】
ステップ１１７では、車両判定部３７が、水平エッジ画像において車両候補の水平エッジの上方にウインドウを設定する。
これは、前述のステップ１１５での周辺地形または建造物の日陰による水平エッジ、ステップ１１６での車間距離認識用白線の水平エッジの何れでもなく、車両候補として残った水平エッジに対して、最終的に車両であるかどうかを判断するための画像処理エリアを設定するものである。
【００３４】
設定するウインドウは、図９の（ａ）に示すように車両候補の水平エッジ７４を下端に含み、左右横幅は水平エッジ幅よりもやや大きい横長の長方形である。ウインドウの高さについては、水平エッジのｙ座標位置ｙ_ｓ０における実際の高さ例えば１．５ｍが画像上の高さに反映した値に設定する。
【００３５】
ステップ１１８では、車両判定部３７が、原画像記憶部２３からステップ１１７で設定したウインドウ領域の画像データを読み出し、垂直エッジを強調して抽出するフィルタリング処理を行い、垂直エッジ画像を得る。
【００３６】
ステップ１１９では、車両判定部３７が、垂直エッジが車両かどうかを判定する。
ウインドウ領域の垂直エッジ画像は、車両候補が実際に車両の場合は、車両の特に下部の形状の特徴から、大型貨物自動車では左右の車輪を垂直エッジの対として、普通乗用車、小型乗用車、小型貨物車などでは車体の左右端を垂直エッジの対として含んでいる。
そこで、垂直エッジ画像に対して、左右対になった１組の垂直エッジが検出されるか、さらに検出された１組の垂直エッジが車両のものかどうかを以下のようにチェックする。
【００３７】
検出された１組の垂直エッジに対して、図９の（ｂ）に示すようにウインドウ内の垂直エッジ画像の画素の強度を横方向に走査して、強度のピーク間の間隔Ｗｓを得る。そして、車両候補の水平エッジの座標位置（ｘ_ｓ０，ｙ_ｓ０）と、ビデオカメラの焦点距離ｆ、取り付け高さｈなどに基づいて、間隔Ｗｓの実際の幅を算出する。
【００３８】
その結果、間隔Ｗｓが車両ではありえない幅、例えば１ｍ以下または３ｍ以上の場合は、車両ではないと判定する。
そうでない場合は車両と判定しステップ１２０に進み、車両ではないと判定した場合はステップ１０８に戻り、現在の座標ｙ_ｓ０よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
【００３９】
ステップ１２０では、概略車間距離算出部３８が、画像による先行車両までの概略車間距離Ｌ＿ＩＭＧを算出する。道路の勾配を無視すれば、概略車間距離Ｌ＿ＩＭＧは式（６）から求まる。
Ｌ＿ＩＭＧ＝ｆ＊ｈ／（ｙ_ｓ０−ｄ_０）・・・（６）
ここで、ｄ_０はビデオカメラ１の車両前方正面方向に対するピッチ角に対応して決まるパラメータである。
【００４０】
ステップ１２１では、車間距離判定部３９が、ステップ１０１において、レーザレーダ距離計６から取り込んだ車間距離値ＬＬ、ＬＣ、ＬＲと上記概略車間距離Ｌ＿ＩＭＧとの差の絶対値ΔＬＬ、ΔＬＣ、ΔＬＲを求める。
ステップ１２２では、車間距離判定部３９が、差の絶対値ΔＬＬ、ΔＬＣ、ΔＬＲの最小値を求め、対応する車間距離値がＬＬ、ＬＣ、ＬＲのいずれであるかを特定し、それを先行車との車間距離として表示装置８に表示する。
もし、その車間距離値が所定の値より小さい場合は、画面警報または音声警報で運転者に知らせる。
ステップ１２２で一連の車間距離測定処理を終了し、ステップ１０１に戻り車間距離測定を繰り返す。
【００４１】
本実施の形態では、ビデオカメラ１が本発明の撮像手段を、照度センサ５は照度検出手段を、３次元地図データ部４４は記憶手段を、太陽位置算出部３４は太陽位置推定手段を、フローチャートのステップ１０２からステップ１０８は車両候補抽出手段を、ステップ１０９からステップ１１５は影ノイズ除去手段を構成する。
【００４２】
以上のように本実施の形態によれば、走行路周辺の地形、建造物によって路面に投影された日陰の水平エッジを、車両候補の水平エッジとして抽出した場合でも、そのときの太陽のグローバルポジションと車両候補の水平エッジの両端のグローバルポジションを結ぶ直線ｍの近くに、ナビゲーション装置４の３次元地図データで検索した周辺の地形、建造物の輪郭があるかどうかグローバルポジション上でチェックすることによって、車両の水平エッジではないかどうか判断できる。
その結果、ステップ１１７から１１９における最終的な車両判定をする車両候補の対象が絞り込めて、車両認識の精度が向上する。
【００４３】
なお、ステップ１１０においては、照度が所定の閾値以下の場合は天候判定部３３が影による影響がないと直ちに判断して、影ノイズ除去の処理をしないこととしたが、照度が所定の時間、例えば３分以上継続して閾値未満の場合に、ステップ１１０からステップ１１６に進み、影ノイズ除去処理をしないものとしてもよい。
これにより、本来影ノイズ除去処理が必要な照度の状態で、自車両が日陰を一時的に通過中においても、影ノイズ除去処理が実行される。その結果車両認識の精度が向上する。
【００４４】
また、実施の形態では、ステップ１１６において車間距離認識用白線かどうかの判定を水平エッジ画像だけで判定したが、特許文献１のように原画像データをも利用して判定してもよい。
【図面の簡単な説明】
【図１】本発明の実施の形態のブロック構成を示す図である。
【図２】実施の形態の各機器の配置を説明する図である。
【図３】実施の形態の車間距離測定の流れを示す図である。
【図４】実施の形態の車間距離測定の流れを示す図である。
【図５】水平エッジを強調抽出するフィルタリング処理のＳｏｂｅｌオペレータの例を示す図である。
【図６】水平エッジ画像中のレーンマーカの検出方法を説明する図である。
【図７】周辺の建造物による自車走行レーンへの日陰の投影と、建造物の外形輪郭との関係を説明する図である。
【図８】車間距離認識用白線を説明する図である。
【図９】車両候補の水平エッジに対応するウインドウを設定する説明図と垂直エッジ画像の強度分布を示す図である。
【図１０】車両候補の水平エッジのグローバルポジションを算出する方法を説明する図である。
【図１１】車両候補の水平エッジのグローバルポジションを算出する方法を説明する図である。
【符号の説明】
１ビデオカメラ
２画像前処理部
３画像処理部
４ナビゲーション装置
５照度センサ
６レーザレーダ距離計
８表示装置
９車間距離演算判定部
１０コントローラ
２１水平エッジ画像生成部
２２水平エッジ画像記憶部
２３原画像記憶部
３１走行路検出部
３２車両候補抽出部
３３天候判定部
３４太陽位置算出部
３５影ノイズ除去部
３６白線ノイズ除去部
３７車両判定部
３８概略車間距離算出部
３９車間距離判定部
４１暦・時計部
４２自車位置検出部
４３自車姿勢検出部
４４３次元地図データ部
４５カメラレンズ
４６撮像素子
５３、５４、５５レーンマーカ
５６車間距離認識用白線
７０消失点
７１太陽
７２、７４水平エッジ
７５水平線
８１ウインドウ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle recognition apparatus using an in-vehicle video camera.
[0002]
[Prior art]
[Patent Document 1]
As a vehicle recognition device used in an approach warning system for a preceding vehicle or a following vehicle using an in-vehicle camera, an image processing technique is used based on an image obtained by photographing a front or rear camera. A vehicle recognition device that recognizes the presence of a preceding vehicle or a subsequent vehicle is known. For example, in Patent Document 1, data related to a vehicle candidate extracted by image processing is compared with a feature value of a roadside target other than the vehicle stored in advance, thereby determining what is determined as a roadside target other than the vehicle. Since noise is excluded from the final vehicle determination target, a method is shown in which useless vehicle determination processing can be omitted.
[0003]
[Problems to be solved by the invention]
However, in this method, the shade of the road surface formed by roadside targets such as bridges, buildings, and fences around the vehicle and roadside targets is extracted as vehicle candidates, so that the accuracy of vehicle determination by image processing decreases. There was a problem.
In order to solve the above-described problems, the present invention can prevent erroneous detection as a vehicle even when a shadow of a roadside target similar to the edge of the vehicle that is the detection target is reflected in the video camera image. An object is to provide a vehicle recognition device.
[0004]
[Means for Solving the Problems]
For this reason, the present invention provides an image pickup means for picking up a vehicle front or rear, a vehicle candidate extraction means for detecting a horizontal edge on an image picked up at least by the image pickup means, and extracting a vehicle candidate based on the horizontal edge, A storage means for storing at least three-dimensional data of the roadside target, a solar position estimating means for estimating the position of the sun, the estimated position of the sun, and the vehicle candidate extracted based on the three-dimensional data of the roadside target A shadow noise removing unit that determines whether the horizontal edge is a shadow of a roadside target and removes the horizontal edge of the vehicle candidate determined to be a shadow as noise, and after the noise is removed by the shadow noise removing unit The vehicle is recognized based on the vehicle candidate.
[0005]
【The invention's effect】
According to the present invention, even if a shadow of a roadside target, for example, a horizontal edge of a shadow projected on a road surface by a terrain or a building around a traveling road is extracted as a vehicle candidate, it can be excluded from the final vehicle determination target. Vehicle determination accuracy is improved.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below.
FIG. 1 is a block diagram of an approach warning system to which a vehicle recognition device of the present invention is applied. FIG. 2 is a device layout diagram of the approach warning system.
The system includes a laser radar rangefinder (indicated as a radar rangefinder in FIG. 1) 6 attached to the front bumper unit, a video camera 1 attached to the center of the front end of the roof of the vehicle, and a three-dimensional video. A navigation device 4 that stores map data and calculates the position and traveling direction of the vehicle, a controller 10 that includes a microcomputer that controls the entire system, an illuminance sensor 5 that measures illuminance outside the vehicle, It is comprised from the display apparatus 8 attached to the position which can be visually recognized from a driver's seat.
[0007]
The video camera 1 is mounted at a height h from the road surface with the optical axis of the camera facing a slightly downward pitch angle θp and a yaw angle θy of 0 ° in the left-right direction with respect to the direction directly in front of the host vehicle. .
The controller 10 includes an image preprocessing unit 2, an image processing unit 3, and an inter-vehicle distance calculation determination unit 9. The image preprocessing unit 2 obtains a horizontal edge image from the original image taken by the video camera 1, and the image processing unit 3 extracts a vehicle candidate from the horizontal edge image to determine whether the vehicle is a vehicle, and an inter-vehicle distance calculation determination unit 9 Determines the inter-vehicle distance with the vehicle candidate determined to be a vehicle.
[0008]
Below, the detailed structure of the image pre-processing part 2, the image processing part 3, and the inter-vehicle distance calculation determination part 9 is demonstrated.
First, the original image data from the video camera 1 is sent to the horizontal edge image generation unit 21 of the image preprocessing unit 2. The horizontal edge image generation unit 21 obtains horizontal edge image data by performing filtering processing for emphasizing the horizontal edge on the original image data. The horizontal edge image data is stored in the horizontal edge image storage unit 22.
The original image data from the video camera 1 is stored in the original image storage unit 23.
[0009]
In the image processing unit 3, the travel path detection unit 31 reads the horizontal edge image data stored in the horizontal edge image storage unit 22, and extracts a lane marker to detect the host vehicle travel path as shown in the flow described later. The vehicle candidate extraction unit 32 extracts vehicle candidates based on the horizontal edge line included in the host vehicle travel path detected by the travel path detection unit 31.
When the weather determination unit 33 receives an illuminance signal outside the vehicle measured by the illuminance sensor 5 and determines whether there is an influence on the vehicle recognition determination due to the shadow. A command for calculating the sun position is issued to the unit 34, and a command for shadow noise removal processing is issued to the shadow noise removal unit 35. If it is determined that there is no influence, the sun position calculation command and the shadow noise removal processing command are not issued.
[0010]
The sun position calculation unit 34 obtains the date and time data from the calendar / clock unit 41 of the navigation device 4 according to the sun position calculation command from the weather determination unit 33, and calculates the current global position of the sun.
In response to a shadow noise removal command from the weather determination unit 33, the shadow noise removal unit 35 determines the horizontal edge of the vehicle candidate on the vehicle traveling path extracted based on the three-dimensional map data around the vehicle from the navigation device 4. If it is determined whether it is a shaded horizontal edge that is projected on the vehicle's driving path by roadside targets such as bridges, buildings, fences, etc. around the vehicle, and terrain, The horizontal edge is excluded from the vehicle candidates.
[0011]
The white line noise removing unit 36 determines whether the horizontal edge of the vehicle candidate has a feature that the white line for recognizing the inter-vehicle distance has a feature shown in the horizontal edge image. If it is excluded and has no characteristics, it remains a vehicle candidate.
[0012]
The vehicle determination unit 37 sets a window around the horizontal edge that has been extracted as a vehicle candidate based on the horizontal edge on the own vehicle travel path and remains as a vehicle candidate so far, and the original image data of the area corresponding to the window is the original image data. A vertical edge image is obtained by performing a filtering process that reads out from the image storage unit 23 and emphasizes the vertical edge, and finally determines whether the vehicle candidate is a vehicle from the features of the vertical edge of the vertical edge image.
[0013]
In the inter-vehicle distance calculation determination unit 9, the approximate inter-vehicle distance calculation unit 38 calculates the approximate inter-vehicle distance from the position in the screen of the horizontal edge of the vehicle candidate determined as the vehicle by the vehicle determination unit 37.
Based on the approximate inter-vehicle distance, the inter-vehicle distance determination unit 39 determines the most reliable distance among the plurality of measurement distances obtained from the laser radar distance meter 6 as described later in the flowchart for calculating the inter-vehicle distance. The distance is determined and output to the display device 8.
If the determined inter-vehicle distance is smaller than a predetermined value, an approach warning by voice or image is output to the display device 8.
[0014]
The navigation device 4 uses the calendar / clock unit 41 that updates and holds the current date and time, the vehicle position detection unit 42 that calculates the global position of the vehicle, the global position of the vehicle, and the like. A vehicle attitude detection unit 43 that detects a direction and the like, and a 3D map data unit that stores 3D outline data such as road map data, terrain corresponding to the road map data, and buildings according to the position of the vehicle. (3D map data portion and display in FIG. 1) 44.
[0015]
FIG. 3 shows a flowchart for calculating the inter-vehicle distance by recognizing the preceding vehicle from the video image in the present embodiment.
In step 101, the inter-vehicle distance values LL, LC, LR measured by the laser radar distance meter 6 in, for example, the three directions of left front, center front, and right front set with a predetermined angle difference are used as the inter-vehicle distance determination unit. 39.
In step 102, the original image data in front of the vehicle captured by the video camera 1 is taken into the image preprocessing unit 2.
[0016]
In step 103, the captured original image data is stored in the original image storage unit 23 (displayed as memory in FIG. 3).
In step 104, the horizontal edge image generation unit 21 performs filtering processing for emphasizing the horizontal edge on the captured original image data using, for example, a Sobel operator as shown in FIG.
In step 105, the generated horizontal edge image is stored in the horizontal edge image storage unit 22 (displayed as memory in FIG. 3).
The above steps 103 to 105 can be performed simultaneously by using an image processing apparatus having a pipeline structure.
[0017]
In step 106, the travel path detection unit 31 detects a lane marker.
As the detection processing, at the beginning of the image processing, for example, an edge having a predetermined length and angle is extracted as a lane marker from the horizontal edge of the horizontal edge image toward the left half of the screen upward from the lower end of the screen. The parameters a _i and b are obtained by curve fitting a series of lane markers that are detected first and subsequently adjacent to the white line model when i = 0 expressed by the equation (1) by the least square method. _i , c _i , d _i and e _i are obtained, and the formula of the white line model is stored.
x = (a _i + ie _i ) (y−d _i ) + b _i / (y−d _i ) + c _i (1)
Here, each coordinate point on the screen coordinate system XY with the origin at the upper left of the screen of the video camera image as shown in FIG. 6 is defined as (x, y).
i is an integer, and its value is the lane marker No. shown in FIG. It corresponds to. That is, i = 0 in the case of the lane marker 53, i = 1 in the case of the lane marker 54, and i = 2 in the case of the lane marker 55.
Each road parameter reflects each lane marker or road shape, or vehicle behavior. a _i is the lateral displacement of the vehicle in the driving lane, b _i is the curvature of each lane marker or road, c _i is the coordinate conversion constant according to the yaw angle with respect to each lane marker or road of the optical axis of the video camera 1, and d _i is the video coordinate conversion constant by the pitch angle of the camera 1 with respect to the road of the optical axis, e _i corresponds to the lane width of the road.
[0018]
Similarly, an edge having a predetermined length and angle is extracted as a lane marker upward from the lower end of the screen with respect to the right half of the screen, and a series of lane markers detected first and subsequently adjacent thereto are expressed by the formula (1). The curve fitting is performed by the least square method on the white line model when i = 1 expressed by (), and the formula of the white line model is stored.
[0019]
If the previous white line model has already been stored in the video camera image repetitive process, the horizontal edge near the white line model detected in the previous image process is detected as a lane marker, and is expressed by equation (1). The parameters are obtained by curve fitting to the white line model using the least square method.
[0020]
In the white line model formula obtained by curve fitting of the least square method, the value of the x coordinate obtained when the y coordinate at the bottom of the screen is input is a white line model in which the left curve close to the left and right center of the screen is i = 0. The right curve near the left and right center of the screen is a white line model with i = 1.
In step 107, the travel path detection unit 31 recognizes an area surrounded by the white line models of i = 0 and i = 1 among the white line models obtained in step 106 as the own vehicle travel lane.
[0021]
In step 108, the vehicle candidate extraction unit 32 performs vehicle candidate extraction.
The vehicle candidate is extracted by first reading out the horizontal edge image data stored in the horizontal edge image storage unit 22 and detecting the horizontal edge from the lower end of the screen upward to the area of the vehicle lane recognized in step 107. Search whether it is done. This horizontal edge to be detected is caused by a shadow on the road surface below the vehicle.
[0022]
Next, it is determined whether or not the detected horizontal edge corresponds to a “vehicle candidate”, and the corresponding one is extracted as a “vehicle candidate”.
The determination is made by assuming that the number of edge pixels having an absolute intensity equal to or greater than a predetermined value of the detected horizontal edge is Ne, and that the number of pixels corresponding to the own vehicle traveling lane width in the y coordinate is Nw. A relative percentage R (y) of the width is obtained as shown in the equation (2), and whether or not the result is equal to or greater than a predetermined value Rt is determined.
R (y) = (Ne / Nw) * 100% (2)
R (y)> Rt (3)
The own vehicle traveling lane width at the y coordinate of the horizontal edge can be obtained by substituting the y coordinate of the horizontal edge into the above-described white line model equation (1).
[0023]
Here, since the length of the horizontal edge generated from the horizontal contour at the lower part of the vehicle is a length reflecting the width of the vehicle, the lower limit value of R (y) is naturally determined for Rt. For example, if the driving lane width is set to 3.5 m assuming a large expressway with respect to the vehicle width of 1.4 m as a small value on the safe side so as to prevent the “vehicle candidate” extraction error, Rt = 40% can be determined.
The y coordinate of the horizontal edge that satisfies the condition of Expression (3) is set as the y coordinate y _s0 of the vehicle candidate.
If a horizontal edge that satisfies the above conditions is detected, it is determined that a vehicle candidate has been extracted, and the process proceeds to step 109.
[0024]
If the horizontal edge does not satisfy the condition of “vehicle candidate” in Equation (3), the horizontal edge is further searched toward the top of the screen in the vehicle lane of the horizontal edge image, and the detected horizontal edge is Continue to determine if it is a “vehicle candidate”.
If “vehicle candidates” cannot be extracted even after finally searching the entire area of the vehicle lane, the process returns to step 101.
[0025]
In step 109, the weather determination unit 33 captures an illuminance signal from the illuminance sensor 5 that measures the illuminance outside the vehicle.
In step 110, when the weather determination unit 33 determines that the illuminance does not exceed the predetermined threshold and the influence of the shadow of the roadside target is small, the process proceeds to step 116. When it is determined that the illuminance exceeds a predetermined threshold value and becomes an obstacle to vehicle detection due to the shadow of the roadside target, a solar position calculation command is sent to the sun position calculation unit 34 and the shadow noise removal unit 35 is used to remove the shadow noise. A shadow noise removal process command is issued, and the process proceeds to step 111.
[0026]
In step 111, the shadow noise removing unit 35 reads the global position of the host vehicle calculated by the host vehicle position detecting unit 42 of the navigation device 4, the vehicle traveling direction detected by the host vehicle posture detecting unit 43, and the like.
In step 112, the sun position calculator 34 calculates the global position of the sun based on the current date and time from the calendar / clock unit 41.
In step 113, the shadow noise removing unit 35 takes in the three-dimensional data (3D data) of the terrain and building around the own vehicle from the three-dimensional map data unit 44 in the form of a global position.
[0027]
In step 114, the shadow noise removing unit 35 calculates the global positions of both ends of the horizontal edge of the vehicle candidate extracted in step 108.
The (x, y) coordinates on the video camera image are the coordinates of the focal length f of the video camera 1, the mounting height h of the video camera 1 from the road surface, and the vanishing point 70 on the horizontal line 75 (see FIG. 7). From (x ₀ , y ₀ ), the vehicle's global position, and information data such as the vehicle's running direction from the vehicle's attitude detection unit 43, the road surface immediately below the camera position can be easily set as the global position of the vehicle. The (x, y) coordinates at both ends of the horizontal edge on the video camera image can be converted into a global position.
[0028]
Specifically, the coordinates on the video camera image of a point a on the road surface where the distance in the vehicle traveling direction from the video camera 1 is D _L and the distance in the vehicle width direction from the optical axis p of the video camera 1 is D _W. Is (x ₁ , y ₁ ), coordinates (x ₀ , y ₀ ), (x ₁ , y ₁ ), distance D _L , in image formation from the camera lens 45 of the video camera 1 to the image sensor 46. The relationship between D _W , focal length f, and height h of the video camera 1 is as shown in FIGS. FIG. 10 is a side view, and FIG. 11 is a top view.
Therefore, these relationships can be expressed as in equations (4) and (5). By solving these equations, the position of the point a from the vehicle is calculated. The calculated position of the point a, the traveling direction of the own vehicle, and the global position of the own vehicle can be converted into the global position of the point a.
(Y ₁ -y ₀ ) / f≈h / D _L (4)
(X ₁ −x ₀ ) / f = D _W / D _L (5)
[0029]
In step 115, the shadow noise removal unit 35 connects the horizontal edges of the vehicle candidates to the sun with a straight line m on the global position, and the peripheral terrain and the outlines of the surrounding buildings captured in step 113 are near the straight line m. Check if it exists. FIG. 7 is a diagram showing the projection of shadows on the vehicle traveling lane by surrounding buildings in the video camera image. In FIG. 7, the sun 71 schematically shows the position of the sun for explanation, and is not included in the video camera image. A straight line m schematically shows a straight line connecting the sun from both ends of the horizontal edge 72 of the vehicle candidate.
[0030]
In the example of the schematic diagram of FIG. 7, there is an outline n of the surrounding building near the straight line m connecting the global position of the sun 71 and the global positions at both ends of the horizontal edge 72. Therefore, it is determined that the horizontal edge 72 is not a rear lower part of the vehicle ahead or a horizontal edge caused by the shadow thereof.
If the horizontal edge of the vehicle candidate does not correspond to the shadow of the corresponding contour line of the surrounding terrain or surrounding building, the process proceeds to step 116, and if it corresponds, the process returns to step 108, and further toward the upper side of the image from the current coordinate y _s0. To return to the work of extracting vehicle candidates.
[0031]
In step 116, the white line noise removing unit 36 checks whether or not the horizontal edge of the vehicle candidate is a white line for inter-vehicle distance recognition.
FIG. 8 shows an inter-vehicle distance recognition white line 56 together with lane markers 53, 54 and 55. When such a white line for recognition of distance between vehicles exists on the road surface, the density change of “dark” → “light” → “dark” above and below the white line in the original image is everywhere between the left and right lane markers of the vehicle lane. Exists. For example, in the original image, a positive edge is displayed in the horizontal edge image for “dark” → “light” from the bottom, and in a horizontal edge image for the “light” → “dark” change in the original image from the bottom. Reflected as a negative edge.
[0032]
Accordingly, when these features are present at various positions between the left and right lane markers in the vehicle traveling lane at the horizontal edge of the vehicle candidate, it is determined that the vehicle candidate is a white line for recognizing the inter-vehicle distance. If it is determined that the distance is a white line for recognizing the inter-vehicle distance, the process returns to step 108, and the process returns to the operation of extracting the vehicle candidates further upward from the current coordinate _ys0 .
If it is determined that the distance is not a white line for recognizing inter-vehicle distance, the process proceeds to step 117.
[0033]
In step 117, the vehicle determination unit 37 sets a window above the horizontal edge of the vehicle candidate in the horizontal edge image.
This is not the case of the horizontal terrain or the shaded horizontal edge of the building in step 115 described above, or the horizontal edge of the white line for recognizing the inter-vehicle distance in step 116. An image processing area for determining whether or not the vehicle is a vehicle is set.
[0034]
The window to be set includes a horizontal edge 74 of the vehicle candidate at the lower end as shown in FIG. 9A, and the horizontal width is a horizontally long rectangle slightly larger than the horizontal edge width. As for the height of the window, the actual height at the y coordinate position y _s0 of the horizontal edge, for example, 1.5 m is set to a value reflecting the height on the image.
[0035]
In step 118, the vehicle determination unit 37 reads out the image data of the window area set in step 117 from the original image storage unit 23, performs a filtering process that emphasizes and extracts the vertical edge, and obtains a vertical edge image.
[0036]
In step 119, the vehicle determination unit 37 determines whether the vertical edge is a vehicle.
If the vehicle candidate is actually a vehicle, the vertical edge image of the window area is a normal passenger car, small passenger car, small cargo, with the left and right wheels as a pair of vertical edges in a large lorry, especially because of the shape of the lower part of the vehicle. A car or the like includes the left and right ends of a vehicle body as a pair of vertical edges.
Therefore, it is checked as follows whether a pair of left and right vertical edges is detected from the vertical edge image, and whether the detected pair of vertical edges is that of the vehicle.
[0037]
With respect to the detected set of vertical edges, as shown in FIG. 9B, the intensity of the pixels of the vertical edge image in the window is scanned in the horizontal direction to obtain an interval Ws between intensity peaks. Then, the actual width of the interval Ws is calculated based on the coordinate position (x _s0 , y _s0 ) of the horizontal edge of the vehicle candidate, the focal length f of the video camera, the mounting height h, and the like.
[0038]
As a result, when the interval Ws is a width that cannot be a vehicle, for example, 1 m or less or 3 m or more, it is determined that the vehicle is not a vehicle.
Otherwise, it is determined as a vehicle, and the process proceeds to step 120. When it is determined that the vehicle is not, the process returns to step 108, and the process returns to the operation of extracting vehicle candidates further upward from the current coordinate y _s0 .
[0039]
In step 120, the approximate inter-vehicle distance calculation unit 38 calculates the approximate inter-vehicle distance L_IMG to the preceding vehicle based on the image. If the road gradient is ignored, the approximate inter-vehicle distance L_IMG can be obtained from Equation (6).
L_IMG = f * h / (y _s0 −d ₀ ) (6)
Here, d ₀ is a parameter determined corresponding to the pitch angle of the video camera 1 with respect to the front front direction of the vehicle.
[0040]
In step 121, the inter-vehicle distance determination unit 39 obtains absolute values ΔLL, ΔLC, ΔLR of the differences between the inter-vehicle distance values LL, LC, LR fetched from the laser radar distance meter 6 in step 101 and the approximate inter-vehicle distance L_IMG. .
In step 122, the inter-vehicle distance determination unit 39 obtains the minimum value of the absolute values ΔLL, ΔLC, ΔLR of the differences, specifies whether the corresponding inter-vehicle distance value is LL, LC, LR, and uses it as the preceding vehicle. Is displayed on the display device 8 as the inter-vehicle distance.
If the inter-vehicle distance value is smaller than a predetermined value, the driver is notified by a screen alarm or a voice alarm.
In step 122, the series of inter-vehicle distance measurement processing ends, and the process returns to step 101 to repeat inter-vehicle distance measurement.
[0041]
In the present embodiment, the video camera 1 is the imaging means of the present invention, the illuminance sensor 5 is the illuminance detection means, the three-dimensional map data section 44 is the storage means, the sun position calculation section 34 is the sun position estimation means, and the flowchart. Steps 102 to 108 constitute vehicle candidate extracting means, and steps 109 to 115 constitute shadow noise removing means.
[0042]
As described above, according to the present embodiment, even when the shaded horizontal edge projected on the road surface by the terrain around the traveling road and the building is extracted as the horizontal edge of the vehicle candidate, the global position of the sun at that time By checking on the global position whether there is a surrounding terrain or outline of the building searched by the 3D map data of the navigation device 4 near the straight line m connecting the global positions of the vehicle and the horizontal edge of the vehicle candidate. It can be determined whether or not the vehicle is a horizontal edge.
As a result, the vehicle candidate targets for final vehicle determination in steps 117 to 119 can be narrowed down, and the accuracy of vehicle recognition is improved.
[0043]
In step 110, when the illuminance is equal to or less than a predetermined threshold, the weather determination unit 33 immediately determines that there is no influence of the shadow and does not perform the shadow noise removal process. For example, when it is less than the threshold value for 3 minutes or more, the process may proceed from step 110 to step 116 and the shadow noise removal process may not be performed.
Thus, the shadow noise removal process is executed even when the host vehicle is temporarily passing through the shade in the illuminance state that originally needs the shadow noise removal process. As a result, the accuracy of vehicle recognition is improved.
[0044]
In the embodiment, the determination as to whether or not it is a white line for recognizing the inter-vehicle distance is made only with the horizontal edge image in step 116. However, as in Patent Document 1, it may be determined using the original image data.
[Brief description of the drawings]
FIG. 1 is a diagram showing a block configuration according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an arrangement of devices according to the embodiment.
FIG. 3 is a diagram illustrating a flow of inter-vehicle distance measurement according to the embodiment.
FIG. 4 is a diagram illustrating a flow of inter-vehicle distance measurement according to the embodiment.
FIG. 5 is a diagram illustrating an example of a Sobel operator in a filtering process for emphasizing and extracting a horizontal edge.
FIG. 6 is a diagram illustrating a method for detecting a lane marker in a horizontal edge image.
FIG. 7 is a diagram for explaining a relationship between a projection of shade on a vehicle traveling lane by surrounding buildings and an outline of the building.
FIG. 8 is a diagram illustrating an inter-vehicle distance recognition white line.
FIG. 9 is an explanatory diagram for setting a window corresponding to a horizontal edge of a vehicle candidate and a diagram showing an intensity distribution of a vertical edge image.
FIG. 10 is a diagram illustrating a method for calculating a global position of a horizontal edge of a vehicle candidate.
FIG. 11 is a diagram illustrating a method for calculating a global position of a horizontal edge of a vehicle candidate.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Video camera 2 Image pre-processing part 3 Image processing part 4 Navigation apparatus 5 Illuminance sensor 6 Laser radar distance meter 8 Display apparatus 9 Inter-vehicle distance calculation determination part 10 Controller 21 Horizontal edge image generation part 22 Horizontal edge image storage part 23 Original image storage Unit 31 traveling path detection unit 32 vehicle candidate extraction unit 33 weather determination unit 34 sun position calculation unit 35 shadow noise removal unit 36 white line noise removal unit 37 vehicle determination unit 38 approximate inter-vehicle distance calculation unit 39 inter-vehicle distance determination unit 41 calendar / clock unit 42 Self-vehicle position detection unit 43 Self-vehicle position detection unit 44 Three-dimensional map data unit 45 Camera lens 46 Image sensor 53, 54, 55 Lane marker 56 White line for inter-vehicle distance recognition 70 Vanishing point 71 Sun 72, 74 Horizontal edge 75 Horizontal line 81 Window

Claims

Imaging means for imaging the front or rear of the vehicle;
Vehicle candidate extraction means for detecting a horizontal edge on an image captured by at least the imaging means and extracting a vehicle candidate based on the horizontal edge;
Storage means for storing at least three-dimensional data of the roadside target;
Solar position estimating means for estimating the position of the sun;
Based on the estimated position of the sun and the three-dimensional data of the roadside target, it is determined whether the extracted horizontal edge of the vehicle candidate is a shadow of the roadside target, and is determined to be a shadow. Shadow noise removing means for removing vehicle candidates as noise,
A vehicle recognition apparatus for recognizing a vehicle based on the vehicle candidate after the noise is removed by the shadow noise removing means.

The shadow noise removing means is configured such that when a contour outline of the roadside target exists in the vicinity of a straight line connecting the estimated position of the sun and the horizontal edge of the vehicle candidate, the horizontal edge of the vehicle candidate is a roadside object. The vehicle recognition apparatus according to claim 1, wherein the vehicle recognition apparatus determines that the shadow is a mark.

With illuminance detection means for detecting the illuminance of ambient light,
The shadow noise removing unit does not determine whether the horizontal edge of the extracted vehicle candidate is a shadow of a roadside target when the detected illuminance of the ambient light is equal to or less than a predetermined value. The vehicle recognition device according to claim 1, wherein the vehicle recognition device is a vehicle recognition device.

The shadow noise removing means is such that the extracted horizontal edge of the vehicle candidate is a shadow of a roadside target only when the detected illuminance of the ambient light continues for a predetermined time or more and is a predetermined value or less. The vehicle recognition device according to claim 3, wherein the determination is not performed.