JP4969359B2

JP4969359B2 - 移動物認識装置

Info

Publication number: JP4969359B2
Application number: JP2007198714A
Authority: JP
Inventors: 華子山代; 敏夫伊東
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2007-07-31
Filing date: 2007-07-31
Publication date: 2012-07-04
Anticipated expiration: 2027-07-31
Also published as: JP2009037284A

Description

この発明は、撮影画像から先行車等の移動物を検出して認識する移動物認識装置に関する。

従来、車両の運転支援等を行なうため、自車の前方や後方を監視して先行車や後方からの追い越し車両等の自車外の移動物を捕捉して認識し、追跡する種々の移動物認識装置が研究開発され、実用化されている。

そして、この種の移動物認識装置の実用化例であるＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）システムや、プリクラッシュセーフティ（ＰＣＳ）システムは、多くの場合、レーザーレーダやミリ波レーダの探査や、レーザーレーダの探査結果と単眼カメラ等の撮影結果とのセンサフュージョンにより、自車前方の先行車等の移動物を捕捉して認識しているが、単眼カメラ等の撮影手段と共にレーザーレーダやミリ波レーダを搭載するため、車両搭載部品数が多くなり複雑で高価になる。

そのため、この種の移動物認識装置にあっては、高価なレーザーレーダやミリ波レーダは備えず、安価な半導体イメージセンサの単眼カメラ等の撮影手段の撮影画像のみから自車前方の先行車等の移動物を捕捉して認識することが望まれている。

そして、単眼カメラ等の撮影手段の撮影画像のみから自車前方の先行車等の移動物を検出して認識するため、撮影画像のエッジヒストグラム、輝度濃度の分布の検出や、テンプレートマッチング、オプティカルフォロー等により、撮影画像の背景と移動物とを分離し、移動物の矩形領域を形成して抽出することは従来より種々提案され、周知である。

しかしながら、この場合、抽出した矩形領域の移動体をその後の撮影画像の画像処理によって追跡（トラッキング）することは比較的容易であるが、最初に形成される矩形領域が、例えば図９に示すように目標とする移動物の矩形領域を含む多数の候補領域Ｐになるため、これらの候補領域Ｐから目標とする移動物の領域を確実に特定して抽出することは容易でない。

そこで、自車に搭載した単眼カメラの自車前方の撮影画像を画像処理して形成された複数個の先行車の候補領域（車両領域）Ｐから、先行車（目標とする移動物）の領域を抽出して先行車を初期捕捉して認識する方法として、本願の発明者らにより、各候補領域Ｐから複数の評価関数により評価値を計算し、計算した評価値をエネルギーとみたてエネルギーを収束させるというスネークス（Ｓｎａｋｅｓ）手法の考え方を用いることにより、エネルギーを収束させ、先行車の決定領域を選択し、選択した決定領域の画像を先行車として初期捕捉して認識することが提案された（例えば、非特許文献１参照）。

なお、スネークス（Ｓｎａｋｅｓ）の動的輪郭モデルの手法は、画像中に存在する輪郭を抽出する周知の画像処理方法の１つであり、対象物体の輪郭のモデルとして画像平面上で媒介変数表現された閉曲線を用意し、その閉曲線に対する評価関数（エネルギー関数）の値を最小化するように閉曲線を変形させることで対象物体の抽出を行うものであり、このスネークス（Ｓｎａｋｅｓ）の動的輪郭モデルの手法を参考にして先行車認識に適用することにより、画像中に存在する車両特徴を活かし、時系列にみた各種の車両特徴のエネルギーの総和により候補領域を収束させて先行車の領域を特定して検出することができる。

そして、前記非特許文献１の先行車両認識においては、撮影画像中の濃淡情報と色情報の車両特徴に着目し、さらに、スネークス（Ｓｎａｋｅｓ）の動的輪郭モデルの手法を参考にして前記各種の空間的・時間的評価関数で表わされた各種の車両特徴のエネルギーの総和（複数の評価の総合値）が一定以上となる候補領域Ｐの画像から先行車の領域を絞込み、絞り込んで決定した領域の画像を先行車として初期捕捉して認識する。

具体的には、車両の特徴（移動物らしさの特徴）として、車両の左右の対称性、テールランプの赤色、移動の滑らかさ、白線に沿っての移動性の４つに着目し、フレーム内で完結する内部特徴の評価（空間的評価）が対称性と赤色情報の評価を含み、複数フレームにまたがる時間的特徴の評価（時間的評価）が移動の滑らかさを含み、前記時間的特徴の１つでもある外部特徴が白線に沿う前記移動性の評価を含む。そして、空間方向と時間方向から計算することで得られる車両特徴のエネルギーの総和により候補領域Ｐを絞り込んで先行車を初期捕捉して認識する。
山代華子、他３名、"スネークス手法を使った先行車両認識手法"、信学技報，社団法人電子情報通信学会，ｖｏｌ，１０５，ｎｏ．５３４，ＰＲＭＵ２００５―１４９，ｐｐ．１―５

前記非特許文献１に記載の先行車両認識の場合、天候や昼夜の別、道路形状の傾向（一般路に比して高速道路は直進する傾向が高い）等の撮影環境を考慮することなく、空間的評価及び時間的評価の各エネルギーを用意されたそれぞれのエネルギー関数から求め、それらの総和（評価の総合値）に基づいて撮影画像中の各候補領域から車両の確度が高い決定領域を絞り込んで選択し、先行車を初期捕捉して認識する。

しかしながら、空間的評価及び時間的評価は、それぞれ前記した天候や昼夜の別、道路形状の傾向等の撮影環境によって評価の信頼度等が変るため、例えば、雨天や夜間、高速道走の走行中等には、移動物らしさの特徴が各評価に適正に反映されず、移動物の領域を正確に絞り込んで選択することができず、場合によっては、移動物の誤認識を招来するおそれがある。

本発明は、自車の撮影手段の撮影画像を画像処理して得られた移動物の複数の候補領域から、複数の評価の総合値にしたがって移動物の領域を絞り込んで初期捕捉し、認識する際に、天候や昼夜の別、道路形状の傾向等の撮影環境を考慮して移動物の領域をより正確かつ安定に初期捕捉して移動物を確実に認識することを目的とする。

上記した目的を達成するために、本発明の移動物認識装置は、自車に搭載された撮影手段の撮影画像を画像処理し、前記撮影画像から車外の移動物の候補領域を複数抽出する候補領域抽出手段と、前記候補領域抽出手段が抽出した各候補領域から移動物の決定領域を複数の評価の総合値にしたがって選択する選択手段と、前記選択手段が選択した決定領域の画像を移動物として認識する認識手段とを備えた移動物認識装置であって、前記撮影手段の撮影環境を判断する判断手段と、前記判断手段の判断結果にしたがって各評価を重み付けする重み付け手段とを備え、前記選択手段は、前記各候補領域の中から重み付けされた各評価の総合値が大きいものを前記決定領域として選択することを特徴としている（請求項１）。

そして、前記撮影手段は、時間的に連続して撮影可能であり、複数の評価は、前記各候補領域の移動物らしさの内部特徴の評価と、前記各候補領域の撮影フレーム間の移動の滑らかさに基づく移動物らしさの時間的特徴の評価とを含み、前記重み付け手段は、前記判断手段の判断結果に基づいて、前記内部特徴の評価と前記時間的特徴の評価とを重み付けすることが、撮影環境が変化等する場合に好適である（請求項２）。

さらに、前記内部特徴は各候補領域内の画像の対称性を含み、前記判断手段の前記撮影環境の判断は、高速道路であるか否かの判断を含み、前記重み付け手段は、前記判断手段の高速道路であるとの判断により前記内部特徴の評価の重み付けを大きくすることが、認識対象を車両とし、かつ、高速道路を走行中である場合に好適である（請求項３）。

請求項１の発明の場合、候補領域抽出手段が抽出した各候補領域につき、判断手段の撮影環境の判断結果にしたがって、重み付け手段がそれぞれの各評価に重み付けをする。

そのため、各候補領域それぞれの各評価が、自車の撮影環境にしたがって増減調整されて補正され、移動物らしさの特徴が撮影環境を考慮して各評価に適正に反映される。

したがって、補正後の各評価の総合値に基づき、各候補領域から移動物の決定領域を正確に絞り込んで選択することができ、選択した決定領域の画像から移動物を確実に初期捕捉して認識することができる。

請求項２の発明の場合、撮影手段の時間的に連続する撮影に基づき、各候補領域それぞれの前記複数の評価が、前記各候補領域の移動物らしさの内部特徴の評価と、前記各候補領域の撮影フレーム間の移動の滑らかさに基づく移動物らしさの時間的特徴の評価とを含み、それらの評価が撮影環境にしたがって大小に調整して補正されるため、撮影環境を考慮して適正に反映した内部特徴の評価と時間的特徴の評価とにより、撮影環境の変化等の影響を受けたりすることなく、移動物の決定領域を一層正確に絞り込んで選択することができ、選択した決定領域の画像から移動物を一層確実に初期捕捉して認識することができる。

請求項３の発明の場合、前記内部特徴は各候補領域内の画像の対称性を含み、認識対象の移動物が略左右対称な車両等の場合に好適であり、しかも、撮影環境の判断に高速道路であるか否かの判断が含まれ、直線性が良い高速道路の走行中であって撮影画像の内部特徴の評価の信頼性が高いときに、内部特徴の評価が重み付けによって大きく補正されるため、とくに高速道路の走行中に信頼性の高い内部特徴の評価に重きを置いて移動物である先行車等の車両の決定領域を、極めて精度良く確実に絞り込んで選択することができ、選択した決定領域の画像から移動物である車両を確実に初期捕捉して認識することができる。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図８を参照して詳述する。なお、移動物は自車の前、後等の外方周囲の車両等の種々の物体であってよいが、本実施形態においては、説明を簡単にする等のため、移動物を自車前方の同レーンを走行する先行車とする。

図１は自車１に搭載された移動物認識装置２のブロック構成を示し、図２、図３はその動作説明のフローチャートである。

図４は候補領域Ｐの抽出例を示し、図５は対称性の評価例を示し、図６は移動性の評価例を示し、図７は赤色性の評価例を示し、図８は決定領域Ｐ＊の選択結果例を示す。

（構成）
図１に示すように、車両１に搭載された移動物認識装置２は、撮影手段３と、その撮影画像を処理する画像処理手段４と、その後段の認識処理手段５によって形成される。

そして、撮影手段３は例えば自車１のルームミラーの基部等に自車１の前方を撮影するように取り付けられた半導体イメージセンサ構成のカメラであり、時間的に連続して撮影可能であり、毎フレームに自車１の前方の最新フレームの撮影画像を画像処理手段４に出力する。また、本実施形態においては先行車のテールランプの赤色性に着目するため、撮影手段３のカメラはカラー撮影可能であり、毎フレームの撮影画像はカラー画像である。

画像処理手段４、認識処理手段５はマイクロコンピュータによって形成され、同マイクロコンピュータが例えば自車１の走行開始毎に最初の数フレーム乃至数十フレーム程度の間、図２、図３の初期捕捉処理を実行することにより、画像処理手段４は前記撮影画像を画像処理し、その画像処理結果に基づいて認識処理手段５は先行車の各候補領域の作成、決定領域の選択等を行う。そして、両手段４、５が本発明の候補領域抽出手段、選択手段、認識手段、判断手段、重み付け手段、レーン検出手段を構成し、移動物としての先行車を捕捉して認識し、その結果を後段の車間計測や衝突監視の処理手段に出力する。

つぎに、両手段４、５によって構成される候補領域抽出手段等の各手段について説明する。

まず、本発明においては、基本的に前記非特許文献１の”スネークス手法を使った先行車両認識手法”と同様、スネークス（Ｓｎａｋｅｓ）の動的輪郭モデルの手法を参考にして各車両特徴の評価（エネルギー）の総合値（総和）が一定以上となる候補領域の画像から先行車の領域を絞込み、絞り込んで決定した領域の画像を先行車として初期捕捉して認識する。

そのため、前記候補領域抽出手段は、撮影手段３の毎フレームの撮影画像を画像処理し、撮影画像から移動物である先行車の候補領域を複数抽出する。この抽出は、撮影画像のエッジヒストグラム、輝度濃度の分布の検出や、テンプレートマッチング、オプティカルフロー等の周知の種々の方法のいずれかにより、撮影画像の背景と移動物とを分離し、図９に示したように移動物の矩形領域を含む多数の候補領域を形成して行なうことができるが、本実施形態では、つぎに説明するエッジ抽出によりエッジヒストグラムを検出して各候補領域Ｐを抽出する。

すなわち、毎フレームの撮影画像から車両（先行車）の領域である可能性の高い候補領域を取り出すため、前記候補領域抽出手段は、エッジ抽出により、撮影画像のエッジ画像を形成する。このエッジ画像は、車両の領域に多く含まれる縦、横のエッジ成分に着目し、前記撮影画像を空間差分処理し輝度微分を施して形成する。さらに、そのエッジ画像の水平、垂直方向に射影したエッジのヒストグラムを求めて、図４に示すように複数の矩形の候補領域Ｐを作成する。なお、以下の説明においては、各候補領域Ｐの矩形をＰ^ｔ _ｉ(ｔ：時間、ｉ：矩形のラベル番号)で表す。

前記選択手段は、後述する複数の評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの重み付け後の総合値Ｅｓｕｍにしたがって、候補領域抽出手段が抽出した各候補領域Ｐから先行車の決定領域Ｐ＊を選択する。

前記認識手段は、選択手段が選択した決定領域Ｐ＊の画像を先行車として初期捕捉し、認識する。

前記判断手段は、自車１のテールランプやヘッドランプの点灯信号、ワイパー動作信号（或いは雨滴センサの信号）、カーナビゲーションシステムの情報等の各種の車両信号情報から、撮影手段３の撮影環境を判断する。この撮影環境の判断は、天候（晴雨）や昼夜の別や道路形状の傾向（高遠道路であるか否か）の判断を含む。

そして、天候（晴雨）の別は前記ワイパー動作信号のオン、オフ（或いは雨滴センサの有検出信号）から認識し、昼夜の別は前記点灯信号のオン、オフから判断し、高遠道路であるか否かは、ナビゲーションシステムを搭載している場合は、その道路情報から判断する。なお、ナビゲーションシステムを搭載していない場合は、例えば一定以上の車速が一定時間以上継続すること等から判断する。

前記重み付け手段は、判断手段の判断結果に基づいて、少なくとも車両らしさ（移動物らしさ）の内部特徴の評価Ｅｉｎｔと時間的特徴の評価Ｅｔｍｐとを撮影環境の状態に応じて重み付けする。そして、本実施形態の場合、つぎに説明するように、内部特徴の評価Ｅｉｎｔ、時間的特徴の評価Ｅｔｍｐおよび外部特徴の評価Ｅｅｘｔを撮影環境に応じて重み付けする。

ところで、内部特徴の評価Ｅｉｎｔは、移動物が車両（先行車）の場合、車両形状の特徴に基づき、各候補領域Ｐ内の画像の対称性を含む評価であり、対称性が高いほど評価が高い（大きい）。また、時間的特徴の評価Ｅｔｍｐは、車両等の移動物であれば動きが滑らかであるため、各候補領域Ｐの撮影フレーム間の移動の滑らかさの評価であり、移動が滑らかなほど評価は高い。

なお、各候補領域Ｐの前記対称性の評価をＥｓｙｍ（Ｐ^ｔ _ｉ）とすると、この評価Ｅｓｙｍ（Ｐ^ｔ _ｉ）は例えばつぎのようにして算出される。

一般に車両を後方部から観測すると、ウィンドウやバンパーなどの部分に多数の水平エッジ成分が存在することから、前記対称性の評価は水平、垂直エッジの対称性の評価である。そこで、毎フレームの撮影画像につき、水平、垂直それぞれの明るさの勾配画像を形成し、それらの画像の水平または垂直の同じラインにある各２点の明るさ（輝度）レベルを調べ、２点ともに閾値以上の場合に、その２点の対称軸となる中心画素に投票することをくり返し、図５（ａ）、（ｂ）に示すような水平、垂直の対象性の投票結果を得る。そして、これらの投票結果に基づき、各候補領域Ｐの対称性の評価Ｅｓｙｍ（Ｐ^ｔ _ｉ）は、つぎの数１の（１）式から算出される。なお、式中のＳｈ、Ｓｖは対称軸の配列、ｈ、ｗ、ｘは各候補領域Ｐの高さ、幅、画像座標の左右方向の位置である。

また、各候補領域Ｐの撮影フレーム間の移動の滑らかさの評価をＥｓｍｏｏｔｈ（Ｐ^ｔ _ｉ、Ｐ^ｔ＋１ _ｊ）とすると、この評価Ｅｓｍｏｏｔｈ（Ｐ^ｔ _ｉ、Ｐ^ｔ＋１ _ｊ）は例えばつぎのようにして算出される。一般に、車両の動き（走行）は、急激な車線変更などを除くと滑らかであると考えられる。そのため、時間的特徴として車両移動の滑らかさから発生する曲線形状に基づくエネルギーを評価Ｅｓｍｏｏｔｈ（Ｐ^ｔ _ｉ、Ｐ^ｔ＋１ _ｊ）とする。この評価Ｅｓｍｏｏｔｈ（Ｐ^ｔ _ｉ、Ｐ^ｔ＋１ _ｊ）は、前後フレーム間での各矩形移動曲線の滑らかさを反映し、時刻ｔの各矩形Ｐ^ｔ _ｉの４頂点をＰ^ｔ _ｉ（ｘ１、ｙ１）、Ｐ^ｔ _ｉ（ｘ２、ｙ２）、Ｐ^ｔ _ｉ（ｘ３、ｙ３）、Ｐ^ｔ _ｉ（ｘ４、ｙ４）、時刻ｔ＋１の各矩形Ｐ^ｔ＋１ _ｊの４頂点をＰ^ｔ＋１ _ｊ（ｘ１、ｙ１）、Ｐ^ｔ＋１ _ｊ（ｘ２、ｙ２）、Ｐ^ｔ＋１ _ｊ（ｘ３、ｙ３）、Ｐ^ｔ＋１ _ｊ（ｘ４、ｙ４）とすると（ｘ１〜ｘ４：画像座標の左右方向の位置、ｙ１〜ｙ４：画像座標の上下左右の位置）、つぎの数２の（２）式から算出される。

そして、前記内部特徴の評価Ｅｉｎｔと時間的特徴の評価Ｅｔｍｐとの総合値Ｅｓｕｍ´（＝Ｅｉｎｔ＋Ｅｅｘｔ）によっても各候補領域から先行車の領域を選択することは可能であるが、本実施形態の場合、より確実に各候補領域から先行車の領域を選択するため、内部特徴の評価Ｅｉｎｔ、時間的特徴の評価Ｅｔｍｐに外部特徴の評価Ｅｅｘｔを加えた総合値Ｅｓｕｍ（＝Ｅｉｎｔ＋Ｅｅｘｔ＋Ｅｔｍｐ）によって各候補領域から先行車の領域を選択する。

外部特徴の評価Ｅｅｘｔは、車両走行のレーンに沿って移動する各候補領域Ｐの移動性の評価であり、時間的特徴の１つでもあり、レーンに沿って移動する程評価は高く、この評価を加えることによってより高い確度で先行車の領域の選択が行える。

なお、車両走行のレーンは、前記レーン検出手段が例えば周知の白線検出の手法で毎フレームの撮影画像の白線を検出して求められる。なお、白線は本実施形態においては、車線、ガードレール、道路端等を含むレーンの区切りを意味する。

また、各候補領域Ｐの移動性の評価をＥ^ｔ _ｌａｎｅとすると、この評価Ｅ^ｔ _ｌａｎｅは例えばつぎのようにして算出される。

各候補領域Ｐは、図６に示すようにフレーム間で白線（破線状のものも含む）ｌａｎｅに沿って移動する程、車両（先行車）の可能性が高い。そして、同図の時間軸を含む３次元の座標ｘ、ｙ、ｔにおいて、白線ｌａｎｅをｌａｎｅ（ｙ、ｔ）とすると、評価Ｅ^ｔｌａｎｅは、時刻ｔでの矩形Ｐ^ｔ _ｉの候補領域Ｐと時刻ｔ＋１での矩形Ｐ^ｔ＋１ _ｉの候補領域Ｐそれぞれで観測される白線ｌａｎｅ（ｘ、ｙ）までの距離の差ｅ^ｔ _ｌａｎｅ、ｅ^ｔ＋１ _ｌａｎｅであり、つぎの数３の（３）式から算出される。なお、式中のｘ２、ｙ２は矩形Ｐ^ｔ _ｉ、Ｐ^ｔ＋１ _ｉの白線ｌａｎｅ（ｙ、ｔ）に最も近い頂点（ｘ２、ｙ２）の座標値である。

つぎに、総合値Ｅｓｕｍからの領域選択の精度をより高めるため、本実施形態においては、前記内部特徴に各候補領域Ｐ内の画像の赤色性の評価を含め、候補領域内の画像に一定の大きさの赤色成分がある場合、それは先行車のテールランプ（広くブレーキランプ等を含む）の可能性が高いので、前記重み付け手段によって内部特徴の評価Ｅｉｎｔの重み付けを大きくする。また、前記判断手段の高遠道路であるとの判断に基づき、前記重み付け手段によって外部特徴の評価Ｅｅｘｔの重み付けを大きくする。

なお、各候補領域Ｐの前記画像の赤色性の評価をＥｒｅｄ（Ｐ^ｔ _ｉ）とすると、この評価Ｅｒｅｄ（Ｐ^ｔ _ｉ）は例えばつぎのようにして算出される。

車両には後方部に必ずテールランプがあり、たいていの場合赤色をしている。テールランプの画像は赤色成分の画像であり、Ｒ、Ｇ、Ｂの３原色のうちのＲ値が大きく、Ｇ値、Ｂ値は小さい。また、白色、黄色、茶色等の他の色の画像もＲ値は大きい。そして、テールランプの赤色成分の画像を、白色、黄色、茶色等の他の色の画像と区別して抽出するため、毎フレームの撮影画像につき、Ｒ値からＧ値を引き、例えば図７に示すように単純二値化した画像を得て各候補領域ＰのＲ値の大小を判断し、各候補領域Ｐの前記画像の赤色性の評価Ｅｒｅｄ（Ｐ^ｔ _ｉ）を、Ｒ値が大きくテールランプの画像があれば、下記数４の（４）式のように１とし、Ｒ値が小さくテールランプの画像がなければ、下記数５の（５）式のように０として求める。なお、図７のＴＬがテールランプの赤色成分の二値画像である。

つぎに、上記のようにして算出される内部特徴の評価Ｅｉｎｔ、外部特徴の評価Ｅｅｘｔおよび時間的特徴の評価Ｅｔｍｐの重み付けについて説明する。

各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの重み付けの係数をα、β、γとすると、これらの係数α、β、γ間に、つぎの数６の（６）式の条件が課される。

そして、毎フレームの前記判断手段の撮影環境の判断に基づき、前記重み付け手段は、撮影環境に応じて、例えばつぎの表１に示すように係数α、β、γを設定する。

すなわち、高速道路であれば、直線性が高く、夜間等にも照明によって白線を捉えることができ、昼夜を問わず内部特徴、外部特徴の検出の信頼性が高いと考えられるため、昼夜を問わず係数α、βを大きくして内部特徴の評価Ｅｉｎｔ、外部特徴の評価Ｅｅｘｔを相対的に大きくする。一方、一般道路であれば、直線性が低く外部特徴の検出の信頼性は低く、しかも、夜間等には白線は撮影困難になり易いがテールランプは点灯によって極めて明るくなるので、昼間は係数βを小さくして内部特徴の評価Ｅｉｎｔを相対的に大きくし、夜間は係数αを大きくして内部特徴の評価Ｅｉｎｔを相対的にさらに大きくする。また、雨天時は撮影画像そのものが雨滴等によって不鮮明になり、時間的特徴の検出の信頼性が下がると考えられるので、係数γを小さくして時間的特徴の評価Ｅｔｍｐを相対的に小さくする。

なお、さらに一層細かな重み付けをする場合は、前記重み付け手段は、撮影画像の白線認識やエッジ画像のエッジ検出の状態から、つぎの表２に示すように係数α、β、γを補正する。

すなわち、高速道路、一般道路を問わず、昼間等であっても路面の白線が消える等して撮影画像から白線が認識されなくなると、係数βを小さくして外部特徴の評価Ｅｅｘｔを相対的に小さくする。また、夜間等に街路灯の照明光が不足して水平エッジの線分が少なすぎる状態になったり、建物が多い場所等の走行により水平エッジの線分が多くなりすぎる状態になったりすると、外部特徴の検出の信頼性が低いと考えられるので、係数βを小さくして外部特徴の評価Ｅｅｘｔを相対的に小さくする。さらに、撮影画像の中央部（画像中心部）に赤色成分が多いときは、その中央部に目標の先行車を捉えていると考えられるので、係数αを大きくして内部特徴の評価Ｅｉｎｔを相対的に大きくする。

つぎに、前記選択手段は、前記各候補領域Ｐの中から、上記のようにして重み付けされた各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの総合値Ｅｓｕｍが大きいものを先行車の決定領域Ｐ＊として選択し、先行車を初期捕捉して認識する。実際には、各候補領域Ｐを前記数フレーム乃至数十フレーム程度の間捕捉し、つぎの数７の（７）式に示すように重み付けされた評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐを累積することにより、目標とする先行車（車両）の候補領域Ｐの総合値Ｅｓｕｍの累積結果が他の無効な候補領域Ｐの総合値Ｅｓｕｍの累積結果より十分に大きくなるようにして、図８に示すように先行車の正しい決定領域Ｐ＊を確実に選択する。

（動作）
つぎに、上記構成に基づく移動物認識装置２の動作を、主に図２、図３を参照して説明する。

まず、自車１の走行中において、図２のステップＳ１により、認識処理手段５が前記車両信号情報を取り込み、天候（晴雨）や昼夜の別、道路形状の傾向（高速道路であるか否か）等の撮影環境を判断する。

つぎに、図２のステップＳ２により、画像処理手段４が撮影手段３の最新フレームのカラーの撮影画像（前方画像）を取り込み、その撮影画像につき、画像処理手段４および認識処理手段５により、ステップＳ３のエッジ抽出、ステップＳ４の赤色成分抽出、ステップＳ５の白線認識等を行なう。

そして、図２のステップＳ６により、認識処理手段５の重み付け手段が内部特徴、外部特徴、時間的特徴の評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの重み付けの係数α、β、γを決定し、同図のステップＳ７により、認識処理手段５の候補領域抽出手段が前記した複数の矩形の候補領域Ｐを作成する。

さらに、図２のステップＳ８、Ｓ９のループ処理により、認識処理手段５が各候補領域Ｐの内部特徴の評価Ｅｉｎｔ、外部特徴の評価Ｅｅｘｔを計算する。

そして、図２のステップＳ９から図３のステップＳ１０に移行して認識処理手段５が撮影画像のフレーム間の比較を行い、ステップＳ１１、Ｓ１２、Ｓ１３のループ処理により、各候補領域Ｐについて、時間的特徴の評価Ｅｔｍｐを計算し、決定した重み付け係数α、β、γに基づく重み付け後の各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの総和（総合値Ｅｓｕｍ）を計算する。

さらに、図３のステップＳ１４、Ｓ１５により、認識処理手段５の選択手段が、各候補領域Ｐの重み付け後の各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの総合値Ｅｓｕｍにつき、選択基準の閾値以上のものがあるか否かを判別する。

そして、いずれの候補領域Ｐの総合値Ｅｓｕｍも選択基準の閾値より小さければ、目標となる先行車が存在しないものとして、ステップＳ１４から図２のステップＳ１に戻り、つぎのフレームの撮影画像について、ステップＳ１から処理をくり返す。

一方、一又は複数の候補領域Ｐの総合値Ｅｓｕｍが選択基準の閾値以上であれば、それらを先行車の決定領域Ｐ＊として選択し、図３のステップＳ１５からステップ１６に移行して決定領域Ｐ＊の個数が減少するか否かを判別し、決定領域Ｐ＊の個数が減少すれば、ステップＳ１６から図２のステップＳ１に戻り、つぎのフレームの撮影画像について、ステップＳ１から処理をくり返す。

そして、決定領域Ｐ＊の個数が減少変化して収束しないときは、例えば、連続する２０フレームの間、各候補領域Ｐそれぞれの総合値Ｅｓｕｍを累積するとともに選択基準の閾値を段階的に大きくし、決定領域Ｐ＊を絞り込む。

さらに、２０フレーム目に認識処理手段５の認識手段により、選択手段が選択した決定領域Ｐ＊の画像を、先行車として初期捕捉して認識し、図２、図３の初期捕捉の処理を終了する。

したがって、前記実施形態の場合、各候補領域Ｐそれぞれの各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐが、重み付け係数α、β、γの重み付けにより、撮影環境にしたがって増減調整されて補正され、先行車（移動物）らしさの特徴が撮影環境を考慮して各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐに適正に反映され、補正後の各評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの総合値Ｅｓｕｍに基づき、各候補領域Ｐから先行車の決定領域Ｐ＊を正確に絞り込んで選択することができ、選択した決定領域Ｐ＊の画像から、撮影環境の影響を受けないようにして先行車（移動物）を確実に初期捕捉して認識することができる。

そして、少なくとも内部特徴の評価Ｅｉｎｔと時間的特徴の評価Ｅｔｍｐとが撮影環境にしたがって大小に調整して補正されるため、撮影環境を考慮して適正に反映した内部特徴の評価Ｅｉｎｔと時間的特徴の評価Ｅｔｍｐとにより、撮影環境の変化等の影響を受けたりすることなく、移動物の決定領域Ｐ＊を一層正確に絞り込んで選択することができ、選択した決定領域Ｐ＊の画像から先行車（移動物）を一層確実に初期捕捉して認識することができる。

しかも、本実施形態の場合、前記内部特徴は各候補領域内の画像の対称性を含み、認識対象の移動物が略左右対称な車両等の場合に好適であり、しかも、撮影環境の判断に高遠道路であるか否かの判断が含まれ、直線性が良い高速道路の走行中であって撮影画像の内部特徴の評価の信頼性が高いときに、内部特徴の評価が重み付けによって大きく補正されるため、とくに高速道路の走行中に信頼性の高い内部特徴の評価に重きを置いて移動物である先行車等の車両の決定領域を、極めて精度良く確実に絞り込んで選択することができ、選択した決定領域の画像から移動物である車両を確実に初期捕捉して認識することができる。

さらに、認識対象の移動物を先行車とし、撮影手段３のカラー撮影により先行車のテールランプを赤色成分の大きな画像として撮影し、内部特徴に各候補領域内Ｐの画像の赤色性を含ませ、重み付け手段により、赤色成分の画像を含む候補領域Ｐの内部特徴の評価の重み付けを大きくしたため、先行車のテールランプを含む候補領域Ｐが確実に決定領域Ｐ＊に選択され、選択した決定領域Ｐ＊の画像から移動物である先行車を一層確実に初期捕捉して認識することができる。

また、複数の評価に候補領域外の外部特徴Ｅｔｍｐの評価も含めたため、各候補領域Ｐの評価内容が多様化し、どのような撮影環境に対しても安定して確実に先行車（移動物）を初期捕捉して認識することができる。

さらに、移動物が高速道路の先行車であるときに、高速道路では車両走行のレーンがきれいに撮影され、そのレーンに沿って車両が走行移動することから、外部特徴を候補領域Ｐがレーンに沿って移動する移動性としたため、高速道路であるとの判断にしたがって外部特徴の評価の重み付けを大きくし、決定領域ｐ＊として前記移動性の高い候補領域Ｐを優先的に選択し、より一層安定して確実に高速道路上の先行車等を初期捕捉して認識することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、内部特徴、外部特徴、時間的特徴の評価Ｅｉｎｔ、Ｅｅｘｔ、Ｅｔｍｐの内容は実験等によって種々に設定してよいのは勿論であり、内部特徴の評価Ｅｉｎｔが対称性、画像の赤色性の評価以外の評価を含むものであってもよく、外部特徴、時間的特徴の評価Ｅｅｘｔ、Ｅｔｍｐについても同様である。

また、処理の手順等が図２、図３と異なっていてもよいのは勿論であり、撮影手段３等の構成がどのようであってもよいのも勿論である。そして、安価に構成する場合等には、撮影手段３をモノクロの単眼カメラ等で形成してもよい。

さらに、認識対象の移動物は先行車に限られるものではなく、後行の車両等の自車１の外方の種々の車両等であってよく、その設定は主に撮影手段３の撮影方向によって定まる。

そして、本発明は、車両に搭載された撮影手段の撮影画像からの種々の移動物認識に適用することができる。

本発明の一実施形態のブロック図である。図１の動作説明用の一部のフローチャートである。図１の動作説明用の他の一部のフローチャートである。図１の候補領域の抽出例の説明図である。図１の対称性の評価例の説明図である。図１の移動性の評価例の説明図である。図１の赤色性の評価例の説明図である。図１の決定領域の選択例の説明図である。従来例の認識の説明図である。

符号の説明

１自車
２移動物認識装置
３撮影手段
４画像処理手段
５認識処理手段
Ｐ候補領域
Ｐ＊決定領域

Claims

自車に搭載された撮影手段の撮影画像を画像処理し、前記撮影画像から車外の移動物の候補領域を複数抽出する候補領域抽出手段と、
前記候補領域抽出手段が抽出した各候補領域から移動物の決定領域を複数の評価の総合値にしたがって選択する選択手段と、
前記選択手段が選択した決定領域の画像を移動物として認識する認識手段とを備えた移動物認識装置であって、
前記撮影手段の撮影環境を判断する判断手段と、
前記判断手段の判断結果にしたがって各評価を重み付けする重み付け手段とを備え、
前記選択手段は、前記各候補領域の中から重み付けされた各評価の総合値が大きいものを前記決定領域として選択することを特徴とする移動物認識装置。
請求項１に記載の移動物認識装置において、
前記撮影手段は、時間的に連続して撮影可能であり、
複数の評価は、前記各候補領域の移動物らしさの内部特徴の評価と、前記各候補領域の撮影フレーム間の移動の滑らかさに基づく移動物らしさの時間的特徴の評価とを含み、
前記重み付け手段は、前記判断手段の判断結果に基づいて、前記内部特徴の評価と前記時間的特徴の評価とを重み付けすることを特徴とする移動物認識装置。
請求項２に記載の移動物認識装置において、
前記内部特徴は各候補領域内の画像の対称性を含み、
前記判断手段の前記撮影環境の判断は、高速道路であるか否かの判断を含み、
前記重み付け手段は、前記判断手段の高速道路であるとの判断により前記内部特徴の評価の重み付けを大きくすることを特徴とする移動物認識装置。