JP4943403B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の前方を移動している鹿および熊などの四足動物を判定する装置に関する。

従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像から歩行者を検出し、その情報を車両の運転者に提供する装置が提案されている。しかしながら、車両と接触する可能性のある対象物は歩行者に限られず、たとえば、鹿などの大型動物が自車両の前方に存在すると、車両の走行に影響を与えるおそれがある。

下記の特許文献１には、歩行者と区別して動物を検出する手法が開示されている。この手法によると、単一の撮像画像から、動物を表す所定形状の対象物を形状マッチングの手法で抽出することにより、動物を検出している。
特開２００７−３１０７０５号公報

車両の前方を横断している四足動物は、四本の足を動かしながら移動しているので、撮像するタイミングによって、その形状が異なって撮像される。したがって、所定形状の形状マッチングの手法を単一の撮像画像に適用しても、このような移動中の四足動物の検出については、検出精度が低下するおそれがある。したがって、横断している四足動物を、より良好な精度で検出することができる手法が望まれている。

この発明の一つの側面によると、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置は、前記撮像画像から対象物を抽出し、該対象物に外接する外接四角形を設定する手段と、前記外接四角形が設定された対象物の画像データを時系列に格納する格納手段と、前記抽出された対象物の位置を追跡し、前記車両の前方において車幅方向に移動している移動対象物を特定する移動対象物特定手段と、前記特定された移動対象物について、前記時系列の画像データから、一の時刻における前記外接四角形が設定された画像データと他の時刻における前記外接四角形が設定された画像データを抽出する時系列データ抽出手段と、前記一の時刻における前記外接四角形の縦横比と、前記他の時刻における前記外接四角形の縦横比との間における変化の大きさが小さく、かつ、前記一の時刻における前記外接四角形の下部領域に撮像されている前記移動対象物の形状と、前記他の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状との間における変化の大きさが大きいとき、前記移動対象物を四足動物であると判定する判定手段と、を備える。

この発明の他の側面によると、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置は、前記撮像画像から対象物を抽出し、該対象物に外接する外接四角形を設定する手段と、前記外接四角形が設定された対象物の画像データを時系列に格納する格納手段と、前記抽出された対象物の位置を追跡し、前記車両の前方において車幅方向に移動している移動対象物を特定する移動対象物特定手段と、前記特定された移動対象物について、前記時系列の画像データから、一の時刻における前記外接四角形が設定された画像データと他の時刻における前記外接四角形が設定された画像データを抽出する時系列データ抽出手段と、前記一の時刻における前記外接四角形の上部領域に撮像されている前記移動対象物の形状と、前記他の時刻における前記外接四角形の上部領域に撮像されている該移動対象物の形状との間における変化の大きさが小さく、かつ、前記一の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状と、前記他の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状との間における変化の大きさが大きいとき、前記移動対象物を四足動物であると判定する判定手段と、を備える。

この発明によれば、対象物画像の下部領域に撮像されている形状の時間的変化に基づいて四足動物を判定するので、横方向に移動している四足動物を、より良好な精度で判定することができる。また、対象物画像の大きさの時間的変化または上部領域に撮像されている形状の時間的変化を考慮することにより、歩行者および自動車などの他の対象物とより良好な精度で区別して、四足動物を判定することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、車両のヨーレートを検出するヨーレートセンサ５と、車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両前方の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。

図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号およびセンサ５〜７の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

図３は、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

ここで図４を参照すると、（ａ）および（ｂ）には、カメラ１Ｒおよび１Ｌによってそれぞれ得られるグレースケール画像の右画像と左画像が概略的に示されている。ハッチングを付した領域は、中間階調（グレー）の領域であり、ハッチングの種類によって階調の違いを表している。ハッチングが付されていない領域は、輝度レベルが高く（すなわち高温である）、画面上に白色または白色に近い階調色として表示される対象物の領域（以下、高輝度領域と呼ぶ）である。右画像と左画像とでは、同一対象物の画像上の水平位置がずれており、このずれ（視差）により、該対象物までの距離を算出することができる。

図３に戻り、ステップＳ１４において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図５には、図４（ａ）の画像を２値化した画像を示す。この図では、黒領域を、ハッチングした領域で表し、白領域（高輝度領域）を、ハッチングが付されていない領域で表している。

ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。図６は、この処理を説明するための図である。図６（ａ）では、２値化により白となった領域が、Ｌ１〜Ｌ８で表されている。ラインＬ１〜Ｌ８は、いずれも、ｙ方向には１画素の幅を有している。ラインＬ１〜Ｌ８は、実際には、ｙ方向に隙間無く並んでいるが、便宜上、図では離間して示されている。また、ラインＬ１〜Ｌ８は、ｘ方向には、それぞれ、２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を、各ラインの開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで表したものである。たとえば、ラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）、および（ｘ５，ｙ５）の３画素からなるので、（ｘ３，ｙ５，３）というランレングスデータで表される。

ステップＳ１６およびＳ１７において、図６（ｂ）に示すように、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１および２を付与する。この処理により、たとえば図５に示す４個の高輝度領域が、それぞれ、対象物１〜４として抽出される。

ステップＳ１８において、図６（ｃ）に示すように、該抽出された対象物の重心Ｇ、面積Ｓ、および、破線で示すように抽出された対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、面積Ｓをｘ方向に二等分する線のｘ座標およびｙ方向に二等分する線のｙ座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図３のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図７（ａ）に示すように時刻ｋで対象物１および２を抽出した場合を考えると、該対象物１および２と、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物３および４との間の同一性判定を行う。この実施例では、以下の条件１）〜３）を満たしたならば、対象物１および２と、対象物３および４とがそれぞれ同一であると判定し、今回抽出された対象物３および４を、それぞれ１および２というラベルに変更することにより、時刻間追跡を行う。

１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心Ｇの位置の座標を（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心Ｇの位置の座標を（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘであり、かつ｜ｙｊ（ｋ＋１）―ｙｉ（ｋ）｜＜Δｙであること。ここで、ΔｘおよびΔｙは、それぞれ、ｘ方向およびｙ方向の画像上の移動量の所定の許容値である。

２）時刻ｋにおける対象物ｉ＝（１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳであること。ここで、ΔＳは、面積変化の所定の許容値である。

３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴであること。ここで、ΔＡＳＰＥＣＴは縦横比変化の所定の許容値である。

図７の例では、（ａ）および（ｂ）との間で、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たしている。したがって、対象物３および４は、それぞれ、対象物１および２と同一と判断される。

上記条件は、対象物が、時刻ｋと（ｋ＋１）の間で同一であるならば、重心Ｇ、面積Ｓおよび縦横比ＡＳＰＥＣＴにおける変化が所定の許容値以下であるはず、との知見に基づいている。より良好な同一性判定を行うために、上記３つの条件がすべて満たされたときに同一性と判定するのが好ましいが、該３つの条件のうちのいずれかまたは２つが満たされたときに同一性と判定するようにしてもよい。

こうして、各サンプリング周期において、抽出された対象物に関し、少なくとも、付与されたラベル、外接四角形で囲まれた該対象物の画像データ（２値化されている）、対象物の位置（この実施例では、重心Ｇの位置座標）、および、該外接四角形の縦横比ＡＳＰＥＣＴは、時系列データとしてメモリに格納される。該時系列データは、少なくとも所定のモニタ期間ΔＴ内に得られたＮ個の撮像画像についてのデータを含む。

なお、以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（この実施例では、右画像）について実行される。

図３に戻り、ステップＳ２０において、車速センサ６により検出される車速ＶＣＡＲおよびヨーレートセンサ５により検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、車両１０の回頭角θｒ（図１３を参照して後述される）を算出する。

一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９およびＳ２０の処理と平行して、車両１０から対象物までの距離ｚを算出する処理を行う。この演算は、ステップＳ１９およびＳ２０よりも長い時間を要するため、ステップＳ１９およびＳ２０より長い周期（たとえば、ステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行されるようにしてもよい。

ステップＳ３１では、基準画像（この実施例では、右画像）の２値化画像によって追跡される対象物のうちの１つを選択することにより、図８（ａ）に示すように、該右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる画像領域を探索画像とする）を抽出する。ステップＳ３２では、左画像において、該探索画像と同じ対象物が撮像されている画像領域（以下、対応画像と呼ぶ）を探索すべき探索領域を設定し、基準画像と該探索領域の間で相関演算を実行して、対応画像を抽出する。

相関演算の処理負荷を軽減するため、探索画像Ｒ１の各頂点座標に応じて、左画像中に、図８（ｂ）に示すように探索領域Ｒ２を設定するのが好ましい（たとえば、該各頂点座標を含む所定範囲の領域を探索領域Ｒ２として設定することができる）。探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を、下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。この相関演算は、２値画像ではなく、グレースケール画像を用いて行う。代替的に、同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域として設定してもよい。これにより、相関演算処理の負荷をさらに軽減することができる。

ここで、探索画像Ｒ１は、Ｍ×Ｎ個の画素数を持ち、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域Ｒ２内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。こうして、図１０に示すように、探索画像Ｒ１と、これに対応する対応画像Ｒ４とが抽出される。

ステップＳ３３において、探索画像Ｒ１の重心位置と、撮像画像の画像中心線（撮像画像をｘ方向に二分する線）ＬＣＴＲとの距離ｄＲ（画素数）および対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、式（２）に適用して、車両１０の対象物までの距離ｚを算出する。

ここで、図１１に示すように、Ｂは基線長、すなわちカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置とのｘ方向（水平方向）の距離（すなわち、両カメラの光軸の間隔）を示し、Ｆは、カメラ１Ｒおよび１Ｌに設けられたレンズ１２Ｒおよび１２Ｌの焦点距離を示し、ｐは、撮像素子１１Ｒおよび１１Ｌ内の画素間隔を示す。Δｄ（＝ｄＲ＋ｄＬ）は、視差の大きさを示す。

ステップＳ２１において、対象物の位置（前述したように、この実施例では重心Ｇの位置）の画像内の座標（ｘ、ｙ）および式（２）により算出した距離ｚを、式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１２（ａ）に示すように、カメラ１Ｒおよび１Ｌの取り付け位置の中点の位置（車両に固定された位置）を原点Ｏとして、図のように、車両１０の車幅方向にＸ軸、車両１０の車高方向にＹ軸、車両１０の進行方向にＺ軸を定めた座標系で表される。画像上の座標は、図１２（ｂ）に示すように、画像の中心を原点として水平方向をｘ軸および垂直方向をｙ軸とした座標系で表される。

ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。また、ｆは、焦点距離Ｆと画素間隔ｐとの比である。

ステップＳ２２において、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１３（ａ）に示すように、時刻ｋから（ｋ＋１）までの期間中に、車両１０がたとえば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１３（ｂ）に示すようにΔｘだけｘ方向にずれる。したがって、これを補正する。

具体的には、式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。前述した少なくとも所定のモニタ期間ΔＴ内に得られたＮ個の撮像画像について、算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物ごとに対応づけて時系列にメモリに格納される。なお、以下の説明では、該補正後の座標を、（Ｘ，Ｙ，Ｚ）と示す。

ステップＳ２３において、同一対象物について、所定のモニタΔＴの期間内に得られたＮ個の撮像画像について算出された回頭角補正後のＮ個の実空間位置データ（たとえば、Ｎ＝１０程度）から、対象物の車両１０に対する相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、式（５）で表される直線を求める。

ここで、ｕは、任意の値を取る媒介変数である。Ｘａｖ、ＹａｖおよびＺａｖは、それぞれ、実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、およびＺ座標の平均値である。媒介変数ｕを消去することにより、式（５）は、以下の式（５ａ）のように表される。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
（５ａ）

図１４は、近似直線ＬＭＶを説明するための図である。Ｐ（０）、Ｐ（１）、Ｐ（２）、・・・、Ｐ（Ｎ−２）、Ｐ（Ｎ−１）が、回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の二乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｐ（０）は最新すなわち今回のサンプル周期の位置座標、Ｐ（１）は、１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。

より具体的には、平均位置座標Ｐａｖから、各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを、式（６）により算出し、内積ｓの分散が最大となる方向ベクトル（ｌｘ，ｌｙ，ｌｚ）を求める。

各データ点の座標の分散共分散行列Ｖは、式（７）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが、求めるべき方向ベクトルＬとなる。なお、式（７）の行列から固有値と固有ベクトルを算出するには、ヤコビ法として知られている手法を用いることができる。

次に、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）前（すなわち、時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を、近似直線ＬＭＶ上の位置に補正する。具体的には、式（５ａ）にＺ座標Ｚ（０）およびＺ（ｎ−１）を適用することにより得られる式（８）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルが、相対移動ベクトルとして算出される。

このように、モニタ期間ΔＴ内の複数（Ｎ個）のデータから、対象物の車両１０に対する相対移動軌跡を近似する近似直線ＬＭＶを算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して、対象物との衝突の可能性をより正確に予測することができる。

ステップＳ２４では、対象物の判定処理を行い、対象物が、注意喚起の対象とすべきものであるかどうかを判断する。注意喚起の対象と判断されたならば、ステップＳ２５に進み、警報判定処理を行う。警報判定処理では、運転者に対し、警報を実際に出力するかどうかを判定し、この判定結果が肯定であれば、警報を出力する。

この発明は、車両の前方を車幅方向（Ｘ方向）に移動している四足動物の判定に関するものであるが、該四足動物の判定処理はステップ２４で実施され、詳細は後述される。四足動物と判定されれば、上記のような注意喚起の対象と判断される。当然ながら、四足動物の他に、歩行者の判定をステップ２４で実施するようにしてもよい。歩行者であると判定されたならば、注意喚起の対象と判断される。また、ステップＳ２４において、対象物が、人工構造物であるかどうかを判定する処理を行ってもよい。人工構造物と判定された場合には、注意喚起の対象から除外するようにしてもよい。歩行者および人工構造物についての判定処理は、任意の適切な手法で実施されることができる（たとえば、特開２００６−１８５４３４号公報に記載されている）。

次に、この発明の一実施例に従う、車両の前方を車幅方向（Ｘ方向）に移動している四足動物の判定について説明する。具体的な判定手法を説明する前に、図１５を参照して対象物の移動について説明し、図１６を参照して判定の原理を説明する。

図１５を参照すると、カメラ１Ｒおよび１Ｌによって監視可能な領域（撮像領域）ＡＲ０が示されている。領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車幅方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域にある対象物は、接近判定領域へと侵入するおそれがある（よって、侵入判定領域と呼ぶ）。これらの領域ＡＲ１〜ＡＲ３は、Ｙ方向には所定高さＨを有し、Ｚ方向には、所定距離Ｚ１により制限される。

この実施例では、対象物の最新の位置Ｐｖ（０）が、領域ＡＲ１〜ＡＲ３内に存在し、車両１０の前方をＸ方向に移動している対象物を、判定対象とする。また、Ｘ方向の移動は、Ｘ軸の正の方向から負の方向への移動だけでなく、負の方向から正の方向への移動をも含む。

次に、図１６を参照すると、車両の前方を、車幅方向（Ｘ方向）に移動している対象物が、（ａ）動物、（ｂ）歩行者、および（ｃ）自動車の場合の、カメラ１Ｒによって撮像された画像の時系列の変化が示されている。図の右上に示されるように、撮像画像上に付加的に表示されている四角形Ｍ（この図では、撮像画像上に白線で示されている）は、図６を参照して前述した、抽出された対象物に外接するよう設定された外接四角形である。各外接四角形Ｍをｙ方向に１／２にする線ＭＬが描画されており、これにより、外接四角形Ｍは、ｙ方向に上部領域Ｍｕと下部領域Ｍｌとに二分されている。

Ｍに付与される（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｍ（０）は、対象物の最新の位置座標Ｐｖ（０）に対応しており、今回のサンプリング周期において撮像画像から抽出された対象物について特定された外接四角形を示す。Ｍ（１）は、位置座標Ｐｖ（１）に対応しており、１サンプリング周期前に撮像画像から抽出された対象物について特定された外接四角形を示す。

（ａ）の動物は、四足を動かすことによって移動する。したがって、時間と共に、外接四角形Ｍの上部領域Ｍｕに撮像されている上半身部分すなわち胴体部分の形状はほとんど変化しないが、下部領域Ｍｌに撮像されている下半身部分すなわち四足部分の形状は変化する。四足で移動するので、外接四角形Ｍの大きさの時間的変化は小さい。

（ｂ）の歩行者は、二足で移動する。したがって、時間と共に、外接四角形Ｍの下部領域Ｍｌに撮像されている下半身の形状が変化し、それと共に、外接四角形Ｍの大きさも変化する（両足を広げて移動するほど、外接四角形Ｍのｘ方向の幅は大きくなる）。また、腕が動くことにより、外接四角形Ｍの上部領域Ｍｕに撮像されている上半身の形状も変化しやすい。

（ｃ）の自動車は、人工物であるので、外接四角形Ｍの上部領域Ｍｕに撮像されている該自動車の上部分の形状および外接四角形Ｍの下部領域Ｍｌに撮像されている該自動車の下部分の形状は、時間と共にほとんど変化しない。

この発明は、上記（ａ）から（ｃ）の知見に基づいてなされたものであり、車両前方をＸ方向に移動する対象物について、撮像されている下半身の形状の時間的変化を調べ、該時間的変化が大きい対象物を四足動物と判定する。また、撮像されている対象物全体の大きさおよび撮像されている上半身の形状の時間的変化を調べることにより、四足動物を、歩行者および自動車と区別して判定する。

具体的には、車両前方をＸ方向に移動する対象物の外接四角形について、
１）外接四角形Ｍの縦横比ＡＳＰＥＣＴの時系列の変化を調べる、
２）外接四角形Ｍの上部領域Ｍｕに撮像されている対象物形状の時系列の変化を調べる、
３）外接四角形Ｍの下部領域Ｍｌに撮像されている対象物形状の時系列の変化を調べる。

歩行者の場合には、下半身の形状が変化することにより、外接四角形Ｍの大きさも変化する。したがって、上記１）により、縦横比ＡＳＰＥＣＴの変化が大きいものは歩行者である可能性が高く、四足動物ではないと判定する。

また、歩行者の場合には、上半身の形状が変化しやすいので、外接四角形Ｍの上部領域Ｍｕに撮像されている対象物の形状が変化しやすい。したがって、上記２）により、上部領域Ｍｕの対象物の形状の変化が大きいものは歩行者である可能性が高く、四足動物ではないと判定する。

また、自動車のような可動の人工物は、その形状が変化しないので、外接四角形Ｍの下部領域Ｍｌの対象物の形状もほとんど変化しない。したがって、上記３）により、下部領域Ｍｌの対象物の形状の変化が小さいものは、自動車等の可動の人工物である可能性が高く、四足動物ではないと判定する。

これら３つの判定の結果、外接四角形Ｍの大きさおよび該外接四角形Ｍの上部領域Ｍｕに撮像されている形状はほとんど変化しないが、下部領域Ｍｌに撮像されている形状は変化する対象物が抽出され、これが、四足動物を表していると判定される。

上記１）および２）は、四足動物を、歩行者と区別するための判定であり、この実施例では、判定精度をより高くするために、１）および２）の両方の判定を行っているが、いずれか一方の判定のみを行ってもよい。

図１７は、図３のステップＳ２４において実施される、上記の知見に基づく四足動物の判定処理のフローを示す。

ステップＳ４１において、前述した図３のステップＳ１７で抽出した対象物のうち、車両１０の前方をＸ方向に移動している対象物をさらに抽出する。この実施例では、図３のステップＳ１７で抽出した対象物について式（９）〜（１１）が成立するかどうかを調べ、成立する対象物を移動対象物として抽出する。

｜Ｘｖ（Ｎ−１）−Ｘｖ（０）｜＞所定値ＴＨｘ （９）
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ （１０ａ）
Ｚｖ（０）／Ｖｓ＜Ｔ （１０）
｜Ｙｖ（０）｜＜Ｈ （１１）

上記式（９）〜（１１）は、前述したように算出された相対移動ベクトルを用いている。相対移動ベクトルは、対象物の車両１０に対する移動を表しているので、相対移動ベクトルから、所定時間内に対象物がＸ方向に移動しているかどうかを調べることができる。

前述したように、所定のモニタ期間ΔＴ内に、対象物の位置座標は、Ｐｖ（Ｎ−１）からＰｖ（０）へと移動する。ここで、ＰｖのＸ，Ｙ，Ｚ座標は、式（８）で示される通りである。式（９）に示されるように、ΔＴの期間内に、Ｘ方向の移動距離｜Ｘｖ（Ｎ−１）−Ｘｖ（０）｜が所定値ＴＨｘより大きいかどうかを調べ、所定値ＴＨｘより大きければ、対象物がＸ方向に移動していると判断する。所定値ＴＨｘは、任意に設定されることができる。

好ましくは、式（１０）についても成立するかどうかを判断することができ、これは、車両１０と対象物の衝突の可能性を調べるためである。具体的には、Ｚ方向（距離方向）において、対象物が所定の速度以上で車両１０に近づいているかどうかを調べるため、Ｚ方向の相対速度Ｖｓを、式（１０ａ）により算出する。Ｚｖ（０）は、対象物の最新の距離検出値であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。Ｔは、所定の余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図しており、たとえば２〜５秒程度に設定されることができる。式（１０）が成立するということは、対象物が、車両１０に近づいていることを示す。なお、図１５を参照して説明したＺ方向の所定値Ｚ１は、Ｖｓ×Ｔに相当する。

さらに好ましくは、式（１１）が成立するかどうかを判断することにより、対象物が、動物の大きさを示すものであるかどうかを調べる。この実施例では、高さを用いる。対象物のＹ方向の高さが所定値Ｈより小さければ、動物の大きさに相当すると判断している。Ｈは、たとえば車両１０の車高の２倍程度に設定されることができ、図１５を参照して説明したＹ方向の所定値Ｈに相当する。

こうして、上記３つの式（９）、（１０）および（１１）を満たす対象物が、車両１０の前方をＸ方向に移動している対象物として抽出される。

ステップＳ４２では、ステップＳ４１で抽出された移動対象物に付与されたラベル（これを、Ｌｂ１とする）と、同じラベルＬｂ１が付与された対象物を、メモリに記憶された時系列データから探索する。前述したように、図３のステップＳ１９の処理では、対象物の時刻間追跡が行われ、同一と判定された対象物には同じラベルが付与され、該対象物に関する情報が時系列データとしてメモリに記憶されている。したがって、該メモリに記憶された時系列データを探索することにより、ラベルＬｂ１が付与された移動対象物について、外接四角形で囲まれた画像データ、位置（この実施例では、重心Ｇの位置）、外接四角形の縦横比ＡＳＰＥＣＴを時系列に求めることができる。

なお、この実施例では、ステップＳ４２で探索する対象となる期間はΔＴであり、よって、Ｎ個の撮像画像からそれぞれ得られた対象物のＮ個の位置Ｐｖ（０）〜Ｐｖ（Ｎ−１）に対応するように、Ｎ個の外接四角形Ｍ（０）〜Ｍ（Ｎ−１）と該外接四角形に囲まれる画像データ（２値化されている）が存在する。

このように、この実施例でのステップＳ４２の探索対象の期間は、前述した相対移動ベクトルのモニタ期間ΔＴと同じであるが、両者を異ならせてもよい。たとえば、ステップＳ４２で用いる撮像画像の数を、Ｎより少なくしてもよい。

ステップＳ４３において、モニタ期間ΔＴにおける外接四角形の縦横比ＡＳＰＥＣＴの変化の大きさを調べる。この手法の一例を述べると、最新の外接四角形Ｍ（０）の縦横比ＡＳＰＥＣＴ（０）と、メモリから探索された外接四角形Ｍ（ｊ）（ｊは、１〜（Ｎ−１））の縦横比ＡＳＰＥＣＴ（ｊ）の差Ｄａｐ（ｊ）を、式（１２）のように算出する。
差Ｄａｐ（ｊ）
＝｜Ｍ（ｊ）のＡＳＰＥＣＴ（ｊ）−Ｍ（０）のＡＳＰＥＣＴ（０）｜
ｊ＝１〜（Ｎ−１） （１２）

式（１２）に従って算出された（Ｎ−１）個の差Ｄａｐ（ｊ）を、式（１３）のように平均して、差の平均値Ｄａｐ＿ａｖを算出する。
Ｄａｐ＿ａｖ
＝（Ｄａｐ（１）＋Ｄａｐ（２）＋・・・Ｄａｐ（Ｎ−１））／（Ｎ―１）
（１３）

差の平均値Ｄａｐ＿ａｖは、基準となる縦横比ＡＳＰＥＣＴ（０）に対し、外接四角形の縦横比ＡＳＰＥＣＴがΔＴの期間内にどの程度変動しているかを表しているので、ΔＴの期間内における縦横比ＡＳＰＥＣＴの変化の大きさを表すものと考えることができる。

なお、他の手法で縦横比ＡＳＰＥＣＴの変化の大きさを調べてもよい。たとえば、モニタ期間ΔＴにおける、Ｍ（０）の縦横比ＡＳＰＥＣＴ（０）からＭ（Ｎ−１）の縦横比ＡＳＰＥＣＴ（Ｎ−１）のＮ個の縦横比の推移を調べ、縦横比ＡＳＰＥＣＴの最大値と最小値の間の差の絶対値を、縦横比ＡＳＰＥＣＴの変化の大きさを表すものとして用いてもよい。さらなる代替手法として、差Ｄａｐ（ｊ）の最大値と最小値の間の差の絶対値を、縦横比ＡＳＰＥＣＴの変化の大きさを表すものとして用いてもよい。

ステップＳ４４において、モニタ期間ΔＴにおける外接四角形の上部領域（図１６のＭｕ）における対象物形状の変化の大きさを調べる。この実施例では、最新の外接四角形Ｍ（０）の上部領域に撮像されている対象物の形状と、メモリから探索された外接四角形Ｍ（ｊ）（ｊ＝１〜Ｎ−１）の上部領域に撮像されている対象物の形状との差を調べる。

この差は、任意の適切な手法により調べることができ、一例を述べると、周知の形状マッチングの手法を用いて、外接四角形Ｍ（０）の上部領域における対象物形状と、外接四角形Ｍ（ｊ）の上部領域における対象物形状との間の相関をとり、該相関の高さを表す値Ｅを算出する。該算出された相関の高さを表す値Ｅが大きいほど、両者の形状の差が大きいことを示す。

具体的には、外接四角形Ｍ（０）の上部領域の画像を基準画像とし、これを、外接四角形Ｍ（ｊ）の上部領域の画像（これを、対象画像と呼ぶ）に位置合わせする。なお、両方の画像は、２値画像である。位置合わせは、たとえば、外接四角形Ｍ（０）の中心（外接四角形の対角線の交点）と外接四角形Ｍ（ｊ）の中心とを合わせることができる。代替的に、外接四角形Ｍ（０）について前述したように算出された対象物の位置を表す重心Ｇ（０）の位置と、外接四角形Ｍ（ｊ）について同じく算出された対象物の位置を表す重心Ｇ（ｊ）の位置とを合わせてもよい。

外接四角形Ｍ（０）の基準画像の画素数をＰ×Ｑ個とし、各画素の座標を（ｐ，ｑ）で表す。式（１４）に示すように、位置合わせした状態で、基準画像の各画素の輝度値Ｉ_０（ｐ，ｑ）と、外接四角形Ｍ（ｊ）の対象画像の対応する画素の輝度値Ｉ_ｊ（ｐ，ｑ）との差の絶対値の和Ｅｕ（ｊ）を算出する。なお、基準画像における或る画素について、対応する画素が対象画像に存在しない場合（たとえば、基準画像の画素数が対象画像の画素数より多い場合等）には、Ｉ_ｊに黒値（１）を設定することができる。和Ｅｕ（ｊ）は、両者の相関の程度を表しており、ここでは総和値と呼ぶ。

総和値Ｅｕ（ｊ）は、最新の外接四角形Ｍ（０）の上部領域に撮像されている対象物の形状と、過去の外接四角形Ｍ（ｊ）の上部領域に撮像されている対象物の形状との差を表している。総和値Ｅｕが高いほど、両者の間の差が大きいことを示す。

式（１４）により、（Ｎ−１）個の総和値Ｅｕ（ｊ）を、式（１５）のように平均して、総和値の平均値Ｅｕ＿ａｖを算出する。
Ｅｕ＿ａｖ＝（Ｅｕ（１）＋Ｅｕ（２）＋・・・Ｅｕ（Ｎ−１））／（Ｎ―１）
（１５）

総和値の平均値Ｅｕ＿ａｖは、基準となる外接四角形Ｍ（０）の上部領域における対象物形状に対し、外接四角形の上部領域における対象物形状がΔＴの期間内にどの程度変動しているかを表しているので、ΔＴの期間内における上部領域の対象物形状の変化の大きさを表すものと考えることができる。平均値Ｅｕ＿ａｖが大きいほど、変化の大きさが大きいことを表している。

なお、他の手法で、上部領域における対象物形状の変化の大きさを調べてもよい。たとえば、ΔＴの期間における総和値Ｅｕ（０）からＥｕ（Ｎ−１）のＮ個の総和値の推移を調べ、該総和値の最大値と最小値の間の差の絶対値を、上部領域における対象物形状の変化の大きさを表すものとして用いてもよい。

上記相関を取るに際し、代替的に、上記位置合わせした状態から、基準画像を、対象画像に対して所定範囲内で走査し、各走査位置において上記総和値Ｅｕ（ｊ）を算出し、最小となる総和値を用いるようにしてもよい。走査により、基準画像と対象画像との間で大きさにずれがある場合でも、両者の相関を、より良好な精度で取ることができる。

ステップＳ４５において、モニタ期間ΔＴにおける外接四角形の下部領域（図１６のＭｌ）における対象物形状の変化の大きさを調べる。この実施例では、最新の外接四角形Ｍ（０）の下部領域に撮像されている対象物の形状と、メモリから探索された外接四角形Ｍ（ｊ）の下部領域に撮像されている対象物の形状との差を調べる。これは、ステップＳ４４で外接四角形の上部領域について算出したのと同様の手法で算出され、よって説明を省略する。これにより、下部領域について相関を表す総和値Ｅｌ（ｊ）が算出されると共に、ΔＴの期間内の外接四角形の下部領域における対象物形状の変化の大きさを表す該総和値の平均値Ｅｌ＿ａｖが算出される。平均値Ｅｌ＿ａｖが大きいほど、変化の大きさが大きいことを表している。

ステップＳ４４について述べたのと同様に、他の手法で、下部領域における対象物形状の変化の大きさを調べてもよい。たとえば、総和値Ｅｌ（０）からＥｌ（Ｎ−１）のＮ個の総和値の推移を調べ、該総和値の最大値と最小値の間の差の絶対値を、上記下部領域の対象物形状の変化の大きさを表すものとして用いてもよい。

なお、ステップＳ４３およびＳ４４の形状マッチングは、代替的に、グレースケール画像を用いて行ってもよい。

次に、ステップＳ４６において、ステップＳ４３で算出した縦横比ＡＳＰＥＣＴの変化の大きさが小さいかどうかを判断する。この実施例では、差の平均値Ｄａｐ＿ａｖが所定値以下かどうかを判断する。このステップは、前述した１）を判定するための処理である。したがって、所定値は、シミュレーション等を介して、歩行者と動物とを区別することが可能なような値に予め設定されている。差の平均値Ｄａｐ＿ａｖが所定値以下ならば、モニタ期間ΔＴにおける縦横比ＡＳＰＥＣＴの変化の大きさが小さいことを示し、ステップＳ４７に進む。差の平均値Ｄａｐ＿ａｖが所定値より大きければ、縦横比ＡＳＰＥＣＴの変化の大きさが大きいことを示す。この場合、移動対象物は、歩行者を表す可能性が高く、四足動物ではないと判定する（Ｓ４９）。

ステップＳ４７において、ステップＳ４４で算出した外接四角形の上部領域における対象物形状の変化の大きさが小さいかどうかを判断する。この実施例では、総和値の平均値Ｅｕ＿ａｖが所定値以下かどうかを判断する。このステップは、前述した２）を判定するための処理である。したがって、該所定値は、シミュレーション等を介して、歩行者と動物とを区別することが可能なような値に予め設定される。モニタ期間ΔＴにおける総和値の平均値Ｅｕ＿ａｖが所定値以下ならば、上部領域の対象物形状の変化が小さいことを示し、ステップＳ４８に進む。総和値の平均値Ｅｕ＿ａｖが所定値より大きければ、上部領域の対象物形状の変化が大きいことを示す。この場合、移動対象物は、歩行者を表す可能性が高く、四足動物ではないと判定する（Ｓ４９）。

ステップＳ４８において、ステップＳ４５で算出した外接四角形の下部領域における対象物形状の変化の大きさが大きいかどうかを判断する。この実施例では、総和値の平均値Ｅｌ＿ａｖが所定値以上かどうかを判断する。このステップは、前述した３）を判定するための処理である。したがって、該所定値は、シミュレーション等を介して、自動車のような人工の可動物と動物とを区別することが可能なような値に予め設定される。モニタ期間ΔＴにおける総和値の平均値Ｅｌ＿ａｖが所定値以上ならば、下部領域の対象物形状の変化が大きいことを示し、ステップＳ５０に進む。総和値の平均値Ｅｌ＿ａｖが所定値より小さければ、下部領域の対象物形状の変化が小さいことを示す。この場合、移動対象物は、自動車などの人工の可動物を表す可能性が高く、四足動物ではないと判定する（Ｓ４９）。

こうして、ステップＳ４６〜Ｓ４８のすべての判断がＹｅｓであるとき、すなわち、モニタ期間ΔＴにおいて、外接四角形の縦横比の変化の大きさは小さく、外接四角形の上部領域に撮像されている対象物の形状の変化の大きさは小さく、かつ、外接四角形の下部領域に撮像されている対象物の形状の変化の大きさが大きいとき、対象物は四足動物であると判定する（Ｓ５０）。四足動物であると判定されたならば、対象物は注意喚起対象であると判定される。

他方、四足動物ではないと判定された場合には、対象物が歩行者であるかどうかを、さらに他の手法で判定してもよい。

前述したように、四足動物であると判定されたならば、図３のステップＳ２５の警報判定処理において、警報を実際に出力するかどうかを判定する。この判定処理について説明する。

この実施例では、ブレーキの操作に応じて、警報出力を実際に行うかどうかを判断する。具体的には、ブレーキセンサ７の出力から、車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ、警報出力を行う。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、加速度Ｇｓが所定の閾値ＧＴＨ以下（Ｇｓ≦ＧＴＨ）であるときは、警報出力を行い、Ｇｓ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。しかしながら、代替的に、ブレーキ操作について判定することなく警報を発するようにしてもよい。

ここで、閾値ＧＴＨは、式（１６）のように定めることができる。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で車両１０が停止する条件に対応する値である。

警報出力は、スピーカ３を介して音声による警報を発するとともに、図１８に示すように、ＨＵＤ４により、例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、移動している四足動物を強調表示する。強調表示は任意の手法でよく、たとえば、色のついた枠で囲んで強調することができる。こうして、衝突の可能性の高い移動動物を、運転者はより確実に認識することができる。なお、警報および画像表示のいずれか一方を用いて警報出力を行ってもよい。

なお、警報判定処理は、移動している四足動物だけでなく、前述したように、歩行者のように注意喚起対象と判断された対象物について行うことができる。

上記の実施例では、ステップＳ４１において移動対象物と判断した時の該移動対象物の位置Ｐｖ（０）に対応する撮像画像の外接四角形Ｍ（０）を基準とし、これよりも過去の撮像画像の外接四角形Ｍ（ｊ）を対象に、四足動物の判定処理を行っている。代替的に、移動対象物と判断した時とは異なる時点の撮像画像の外接四角形を基準としてもよい。たとえば、判断された移動対象物について、位置Ｐｖ（５）に対応する撮像画像の外接四角形Ｍ（５）を基準とし、これに対して未来の位置Ｐｖ（０）〜Ｐｖ（４）の撮像画像および過去の位置Ｐｖ（６）〜Ｐｖ（Ｎ−１）の撮像画像を対象に、縦横比ＡＳＰＥＣＴ、上部形状および下部形状の時系列変化を調べるようにしてもよい。

また、上記の実施例では、より良好な精度で四足動物を判定するため、基準画像と比較される画像の個数は複数（Ｎ個）であるが、代替的に１個でもよい。その場合、今回の撮像画像の外接四角形と、たとえば、所定時間前の撮像画像の外接四角形との間で、縦横比ＡＳＰＥＣＴ、上部形状および下部形状を比較し、両者の間の変化の大きさを求めることができる。

さらに、上記の実施例では、相対移動ベクトルを用いて、対象物がＸ方向に移動しているかどうかを判断した。代替的に、より簡単に、前述したＰ（０）のＸ座標とＰ（Ｎ−１）のＸ座標との間の差の絶対値が所定値ＴＨｘより大きいかどうかを調べ、大きければ移動対象物と判断するようにしてもよい。

さらに、上記の実施例では、対象物が領域ＡＲ１〜ＡＲ３（図１５）のどこに存在していても、同じ手法で、対象物がＸ方向に移動しているかどうかを判断している。代替的に、領域毎に判断手法を変更してもよく、たとえば、最新の対象物の位置Ｐｖ（０）が、接近判定領域ＡＲ１にあり、かつ、上記ステップＳ４１の所で述べたようにＸ方向に移動していると判断されたならば、図１７の判定プロセスを行うようにしてもよい。他方、最新の対象物の位置Ｐｖ（０）が侵入判定領域ＡＲ２にある場合には、移動方向が、Ｘ軸の正から負の方向であるかどうかを調べ（すなわち、Ｘｖ（Ｎ−１）＞Ｘｖ（０））、そうであれば、図１７の判定プロセスを行う。すなわち、対象物が領域ＡＲ２に存在する場合、負から正の方向への移動は、対象物が車両１０から離れていくことを示しているので、この場合には、四足動物の判定処理を行わないようにするものである。反対に、最新の対象物の位置Ｐｖ（０）が侵入判定領域ＡＲ３にある場合には、移動方向が、Ｘ軸の負から正の方向であるかどうかを調べ（すなわち、Ｘｖ（Ｎ−１）＜Ｘｖ（０））、そうであれば、図１７の判定プロセスを行う。すなわち、対象物が領域ＡＲ３に存在する場合、正から負の方向への移動は、対象物が車両１０から離れていくことを示しているので、この場合には、四足動物の判定処理を行わないようにするものである。このように、領域毎に、判定手法を変更してもよい。

なお、本発明は、上記の実施形態に限られるものではなく、様々な変形形態が可能である。たとえば、上記実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なテレビカメラを使用してもよい（たとえば、特開平２−２６４９０号公報）。しかしながら、赤外線カメラを用いることにより、対象物の抽出処理をより簡略化することができ、演算負荷を低減することができる。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、カメラにより得られるグレースケール画像の一例を示す図。 この発明の一実施例に従う、グレースケール画像を２値化した画像の一例を示す図。 この発明の一実施例に従う、ランレングスデータへの変換処理よびラベリング処理を説明するための図。 この発明の一実施例に従う、対象物の時刻間追跡を説明するための図。 この発明の一実施例に従う、右画像中の探索画像と、左画像に設定する探索領域を示す図。 この発明の一実施例に従う、探索領域を対象とした相関演算を説明するための図。 この発明の一実施例に従う、視差の算出方法を説明するための図。 この発明の一実施例に従う、視差から距離を算出する手法を説明するための図。 この発明の一実施例に従う、実空間座標系と画像座標系を示す図。 この発明の一実施例に従う、回頭角補正を説明するための図。 この発明の一実施例に従う、相対移動ベクトルの算出手法を説明するための図。 この発明の一実施例に従う、車両前方の領域区分を示す図。 この発明の一実施例に従う、横方向に移動する四足動物判定の原理を説明するための図。 この発明の一実施例に従う、四足動物判定のプロセスのフローチャート。 この発明の一実施例に従う、警報出力の一例を説明するための図。

符号の説明

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ

Claims (2)

1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記撮像画像から対象物を抽出し、該対象物に外接する外接四角形を設定する手段と、
   前記外接四角形が設定された対象物の画像データを時系列に格納する格納手段と、
   前記抽出された対象物の位置を追跡し、前記車両の前方において車幅方向に移動している移動対象物を特定する移動対象物特定手段と、
   前記特定された移動対象物について、前記時系列の画像データから、一の時刻における前記外接四角形が設定された画像データと他の時刻における前記外接四角形が設定された画像データを抽出する時系列データ抽出手段と、
   前記一の時刻における前記外接四角形の縦横比と、前記他の時刻における前記外接四角形の縦横比との間における変化の大きさが小さく、かつ、前記一の時刻における前記外接四角形の下部領域に撮像されている前記移動対象物の形状と、前記他の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状との間における変化の大きさが大きいとき、前記移動対象物を四足動物であると判定する判定手段と、
   を備える、車両周辺監視装置。
2. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記撮像画像から対象物を抽出し、該対象物に外接する外接四角形を設定する手段と、
   前記外接四角形が設定された対象物の画像データを時系列に格納する格納手段と、
   前記抽出された対象物の位置を追跡し、前記車両の前方において車幅方向に移動している移動対象物を特定する移動対象物特定手段と、
   前記特定された移動対象物について、前記時系列の画像データから、一の時刻における前記外接四角形が設定された画像データと他の時刻における前記外接四角形が設定された画像データを抽出する時系列データ抽出手段と、
   前記一の時刻における前記外接四角形の上部領域に撮像されている前記移動対象物の形状と、前記他の時刻における前記外接四角形の上部領域に撮像されている該移動対象物の形状との間における変化の大きさが小さく、かつ、前記一の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状と、前記他の時刻における前記外接四角形の下部領域に撮像されている該移動対象物の形状との間における変化の大きさが大きいとき、前記移動対象物を四足動物であると判定する判定手段と、
   を備える、車両周辺監視装置。