JP7460393B2 - 車両用外界認識装置 - Google Patents

Description

この発明は、車両用外界認識装置に関するものである。

近年、車両に設置されたカメラで車両の周囲に存在する移動物体（障害物）を検出する車両用外界認識装置が開発されている（例えば、特許文献１参照）。

特許文献１の車両用外界認識装置では、時間差を有して取得した複数枚の画像を使って移動物体を検出すると共に、上記画像から生成された複数枚の俯瞰画像を使って移動物体を検出するようにしている。

そして、このような異なる２種類の手法で検出した移動物体のデータを組合わせて使用することで、測距センサ等を追加することなく、カメラで撮像された画像のみを用いて、移動物体の位置を確実且つ高精度に検出できるようにしている。

特開２０１６－１３４７６４号公報

しかしながら、上記特許文献１に記載された車両用外界認識装置には、例えば、画像に写った排気ガスの動きを移動物体であると誤検知してしまうことがあった。

そこで、本発明は、かかる課題に鑑みてなされたものである。

上記課題に対して、本発明は、
車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、
前記画像取得部で取得した前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
時間差を有して取得された複数枚の前記俯瞰画像の中から物体を検出する物体検出部と、
前記物体検出部で前記物体が検出された複数枚の前記俯瞰画像、または、該俯瞰画像と対応する前記画像取得部の前記画像を、前記物体を水平方向に見た平面投影画像に変換する投影画像生成部と、
前記投影画像生成部で変換した複数枚の前記平面投影画像の差分量によって前記物体が見かけの動きであるか否かを検証する物体検証部と、を有する車両用外界認識装置を特徴とする。

本発明によれば、上記構成によって、俯瞰画像の中から検出した物体を平面投影画像で検証して「見かけの動き」を判定することで、物体の誤認識を防止することなどができる。

実施例１における後方カメラの車載状態を説明する図である。 本実施の形態の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置のハードウェア構成を示すブロック図である。 本実施の形態の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例１における動き領域検出部（第１物体検出部、または、請求項の第２の物体検出部）の詳細構成を示す機能ブロック図である。 後方カメラで撮像された原画像の一例を示す図である。 図５Ａに示す原画像を平面投影画像に変換した例を示す図である。 図５Ａに示す原画像を円筒面投影画像に変換した例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第１の図であり、時刻ｔ－Δｔに撮像された原画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第２の図であり、時刻ｔに撮像された原画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第３の図であり、検出されたオプティカルフローの例を示す図である。 オプティカルフローに基づいて検出された物体の検出結果について説明する図である。 オプティカルフローによって検出された物体の位置と大きさを表す情報の記憶形式について説明する図である。 実施例１における差分演算部（第２物体検出部、または、請求項の物体検出部）の詳細構成を示す機能ブロック図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第１の図であり、図６Ａの画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第２の図であり、図６Ｂの画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第３の図であり、図１０Ａの画像と図１０Ｂの画像の位置合わせを行った後で、図１０Ｂの俯瞰画像から図１０Ａの俯瞰画像を差し引いた結果を示す図である。 俯瞰画像の差分によって検出された物体の位置を表す情報の記憶形式について説明する図である。 （ａ）は車両の排気ガスに含まれる水蒸気（見かけの動き）を示す斜視図、（ｂ）は（ａ）を後方カメラで撮影した画像である。 動き領域検証部（実施例の第１物体検証部、または、請求項の第２の物体検証部）の構成を示す図である。 図１１Ｂの水蒸気判定手段（第２の結果判定部）による判定の仕方を示す図である。 差分領域検証部（実施例の第２物体検証部、または、請求項の物体検証部）の構成を示す図である。 複数の俯瞰画像などを示す図である。このうち、（ａ）は時刻ｔ-Δｔの俯瞰画像、（ｂ）は時刻ｔの俯瞰画像、（ｃ）は俯瞰画像の差分画像である。 複数の平面投影画像などを示す図である。このうち、（ａ）は時刻ｔ-Δｔの平面投影画像、（ｂ）は時刻ｔ平面投影画像、（ｃ）は平面投影画像の差分画像である。 結果判定部による判定の仕方を示す図である。 俯瞰画像から検出された物体について説明する第１の図である。 俯瞰画像から検出された物体について説明する第２の図である。 俯瞰画像から検出された物体について説明する第３の図である。 実施例１において移動物体の位置を特定する方法について説明する図である。 実施例１に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図１４のフローチャートにおける、オプティカルフローに基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける、「見かけの動き」の除去処理（動き領域検証処理）の流れを示すフローチャートである。 図１４のフローチャートにおける俯瞰画像の差分に基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける、「見かけの動き」の除去処理（平面投影画像による差分検証処理）の流れを示すフローチャートである。 図１４のフローチャートにおける検出物体判定処理の流れを示すフローチャートである。 図１４のフローチャートにおける移動物体位置特定処理の流れを示すフローチャートである。 本実施の形態の１実施形態である実施例２の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例２における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例２で行われる移動物体位置特定処理の流れを示すフローチャートである。 本実施の形態の１実施形態である実施例３の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例３における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例３において取得された原画像の一例を示す図である。 図２４Ａの原画像から生成された俯瞰画像を示す図である。 図２４Ａに示す車両と後方カメラの位置関係を示す図である。 実施例３において、移動物体として歩行者が検出されたときに、その存在位置を特定する方法を示す図である。 実施例３において、移動物体として車両が検出されたときに、その存在位置を特定する方法を示す図である。 実施例３に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図２５のフローチャートにおける歩行者パターン検出処理，車両パターン検出処理の流れを示すフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第１のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第２のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第３のフローチャートである。 図２５のフローチャートにおける移動物体位置特定処理の流れを示すフローチャートである。

以下、本実施の形態に係る車両用外界認識装置を備えた車両挙動制御装置の具体的な実施例について、図面を参照しながら説明する。

図１～図１８は本実施の形態の実施例１を示すものである。本実施例１は、例えば、車両１０の後方の移動物体を検出して、後退駐車時に車両１０が移動物体と接触する可能性が生じた場合に、車両１０に制動をかけて停止させ得るようにする車両挙動制御装置１００ａに対して車両用外界認識装置５０ａを適用したものである。但し、車両挙動制御装置１００ａは、車両１０の前方や側方や全方位の移動物体を検出して、車両１０が移動物体と接触する可能性が生じた場合に、車両１０に制動をかけて停止させ得るように構成しても良い。

図１は、車両挙動制御装置１００ａを備えた車両１０の一例を示す図である。車両挙動制御装置１００ａが搭載された車両１０には、その後部ライセンスプレート付近に、後方へ向けて略水平に後方カメラ１２が設置されており、後方カメラ１２によって路面を含む後方観測範囲１２ａの画像を観測できるようにしている。このとき、車両１０の直近から遠方までの範囲を、左右の広範囲に亘って観測できるようにするために、後方カメラ１２には魚眼レンズに代表される画角の広いレンズが装着されている。

（車両挙動制御装置のハードウェア構成の説明）
図２を用いて本実施例の車両挙動制御装置のハードウェア構成について説明する。本実施例に係る車両挙動制御装置１００ａは、車両１０に搭載されて、車両１０の後方に存在する歩行者や他車両等の移動物体（または物体）を認識する車両用外界認識装置５０ａと、車両用外界認識装置５０ａによって認識された移動物体の位置に基づいて車両１０の制動制御を行う車両挙動制御部８０とからなる。

車両用外界認識装置５０ａは、後方カメラ１２と、カメラインタフェース１４とを備えている。また、車両用外界認識装置５０ａは、車輪速センサ２０と、操舵角センサ２２と、イルミネーションセンサ２０１と、センサインタフェース２４とを備えている。更に、車両用外界認識装置５０ａは、画像処理ＥＣＵ１８と、メモリ２６とを備えている。

一方、車両挙動制御部８０は、車両挙動制御ＥＣＵ３０と、ブレーキアクチュエータ３６と、表示制御部３２と、モニタ３４とを備えている。

そして、車両挙動制御装置１００ａには、車両用外界認識装置５０ａや車両挙動制御部８０の各部間で必要な情報の受け渡しを行うための、ＣＡＮバス等からなるシステムバス１６が備えられている。

ここで、後方カメラ１２は、車両１０の後方の路面を含む画像を撮像する。後方カメラ１２で撮像された画像は、カメラインタフェース１４とＣＡＮバス等で構成されたシステムバス１６とを経て、画像の認識処理を実行する画像処理ＥＣＵ１８へ送られる。また、車両１０には、車輪速を検出する車輪速センサ２０や、操舵角を検出する操舵角センサ２２や、自車両のヘッドライトやウィンカーといった灯火類の点灯状態を得るためのイルミネーションセンサ２０１などのセンサが設けられており、これらのセンサからの出力は、センサインタフェース２４とシステムバス１６とを介して画像処理ＥＣＵ１８へ送られる。

画像処理ＥＣＵ１８では、後述する画像処理を実行して、歩行者や他車両等の移動物体を検出する。この際、画像処理の途中経過や結果などの必要な情報の全てはメモリ２６に一時記憶される。なお、メモリ２６は、独立した１つの構成となっているが、画像処理ＥＣＵ１８の各部に分散して配置するような構成などとしても良い。

画像処理ＥＣＵ１８での画像処理によって検出された移動物体の位置情報は、システムバス１６を介して車両挙動制御部８０へ送られる。そして、車両挙動制御部８０では、車両１０の挙動を制御する車両挙動制御ＥＣＵ３０によって、車両１０と移動物体とが接触する可能性の有無の判定が行われる。接触の可能性があるときには、車両挙動制御ＥＣＵ３０は、表示制御部３２を介して車両１０に設置されたモニタ３４に必要な警報や警告を出力し、車両１０の運転者に注意喚起を行う。また、車両挙動制御ＥＣＵ３０によって、接触が避けられないと判定されたときには、車両挙動制御ＥＣＵ３０は、車両１０の制動力を発生させるブレーキアクチュエータ３６を駆動して車両１０の制動を行う。

（車両挙動制御装置の機能構成の説明）
図３を用いて本実施例の車両挙動制御装置１００ａの機能構成について説明する。図３は車両挙動制御装置１００ａの機能構成を示す機能ブロック図である。

車両用外界認識装置５０ａは、後方カメラ１２と、後方カメラ１２で撮像した画像をデジタル情報に変換して原画像Ｉ（ｘ，ｙ，ｔ）として取得する画像取得部５２とを有している。また、車両用外界認識装置５０ａは、異なる時刻に取得された２枚の原画像の中から移動物体を検出する動き領域検出部５４（実施例の第１物体検出部、または、請求項の第２の物体検出部）と、原画像Ｉ（ｘ，ｙ，ｔ）を真上から見下ろした俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換する俯瞰画像生成部５６と、異なる時刻に取得された２枚の原画像からそれぞれ生成された２枚の俯瞰画像同士の差分演算を行って移動物体を検出する差分演算部５８（実施例の第２物体検出部、または、請求項の物体検出部）と、を有している。

そして、車両用外界認識装置５０ａは、動き領域検出部５４（第１物体検出部）で検出された物体を検証して、物体に含まれる「みかけの動き」を検出する動き領域検証部２０２（実施例の第１物体検証部、または、請求項の第２の物体検証部）、および、差分演算部５８（第２物体検出部）で検出された物体を検証して、物体に含まれる「みかけの動き」を検出する差分領域検証部２０３（実施例の第２物体検証部、または、請求項の物体検証部）と、を有している。動き領域検証部２０２（第１物体検証部）には、イルミネーションセンサ２０１からの信号が入力される。
なお、動き領域検出部５４（実施例の第１物体検出部、または、請求項の第２の物体検出部）と、動き領域検証部２０２（実施例の第１物体検証部、または、請求項の第２の物体検証部）と、差分演算部５８（実施例の第２物体検出部、または、請求項の物体検出部）と、差分領域検証部２０３（実施例の第２物体検証部、または、請求項の物体検証部）とは、実施例と請求項とで、出現順が反対になっているため、第１と第２の付け方が逆になっている。

更に、車両用外界認識装置５０ａは、動き領域検出部５４で検出され、動き領域検証部２０２（第１物体検証部）で「みかけの動き」が除去された物体と、差分演算部５８で検出され、差分領域検証部２０３（第２物体検証部）で「みかけの動き」が除去された物体とが同一の移動物体であるか否かを判定する検出物体判定部６０と、検出物体判定部６０において同一の移動物体であると判定されたときに、その移動物体の存在位置を特定する移動物体位置特定部６２とを有している。加えて、車両用外界認識装置５０ａは、車輪速センサ２０が検出した車両１０の車輪速と、操舵角センサ２２が検出した車両１０の操舵角とを取得する車両情報取得部６４とを有している。

一方、車両挙動制御部８０は、車両１０と移動物体との接触可能性を判定する接触判定部８２と、車両１０と移動物体との接触可能性があるときにこれを警報する警報出力部８４と、車両１０と移動物体との接触が避けられないときに車両１０に制動をかけて停止させる制動制御部８６とを有している。

（原画像からの物体検出方法の説明）
図４，図５Ａから図５Ｂを用いて、動き領域検出部５４（第１物体検出部）において行われる、原画像から物体を検出する方法について説明する。

図４は、動き領域検出部５４の詳細な内部構成を示す機能ブロック図である。動き領域検出部５４は、図５Ａに示すような原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立して、車両１０の左右方向と平行な方向（後方カメラ１２の受光面と平行な方向）へ拡がる仮想的な平面に投影した図５Ｂに示すような平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）に変換する平面歪み補正部５４ａ（歪み補正部）を有する。なお、原画像Ｉ（ｘ，ｙ，ｔ）は、実施例２で説明するように、路面に垂直に立てた仮想的な円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像、図５Ｃ）などに変換することもできる。そのため、図５Ｂのような平面投影画像と図５Ｃのような円筒面投影画像とを合わせて広義の平面投影画像ということができるものとする。

また、動き領域検出部５４は、時刻ｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ）と、時刻ｔ-Δｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）とからオプティカルフローを検出するオプティカルフロー検出部５４ｂを有する。

さらに、動き領域検出部５４は、車輪速センサ２０および操舵角センサ２２が出力する車両１０の車輪速と操舵角の、時刻ｔ-Δｔから時刻ｔまでの間の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー算出部５４ｃを有する。
そして、動き領域検出部５４は、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと、車両挙動フロー算出部５４ｃで算出されたオプティカルフローに基づいて物体を検出する物体検出部５４ｄを有する。なお、ここで、時間Δｔは使用するハードウェアの性能に応じた値、例えば数十msecの値などに設定される。

ここで、上記したように後方カメラ１２には画角の広いレンズが装着されているため、後方カメラ１２で観測された原画像Ｉ（ｘ，ｙ，ｔ）は、図５Ａに示すように、特に画像の辺縁部において大きな歪曲を有している。ここで、原画像Ｉ（ｘ，ｙ，ｔ）の中に歩行者Ｘ１と歩行者Ｘ２が写っていたとすると、原画像Ｉ（ｘ，ｙ，ｔ）の辺縁部で観測される歩行者Ｘ２は、斜めに傾いて写る。後述するように、歩行者は矩形領域として検出されるため、原画像Ｉ（ｘ，ｙ，ｔ）をそのまま処理すると、検出される歩行者Ｘ２の位置と幅にずれが生じてしまう。そこで、平面歪み補正部５４ａにおいて、この歪曲を取り除く処理を行う。

具体的には、平面歪み補正部５４ａは、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立して、車両１０の左右方向と平行な方向に拡がる仮想的な平面に投影して、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）を生成する。この仮想的な平面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、原画像Ｉ（ｘ，ｙ，ｔ）の辺縁部で観測される歩行者Ｘ２は直立した状態に変換される。そして、この平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中から歩行者Ｘ１，Ｘ２を検出することによって、歩行者Ｘ１，Ｘ２の位置と幅を正確に特定することができる。

平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の生成は、予め用意された歪み補正テーブルを用いて行う。この歪み補正テーブルは、歪み補正前の原画像の座標と歪み補正後の平面投影画像の座標の対応関係をテーブル化したものである。なお、歪み補正テーブルは、いわゆるキャリブレーションを行うことによって、予め生成して平面歪み補正部５４ａに記憶しておく。

図６Ａから図６Ｃは、動き領域検出部５４の作用を説明する図である。図６Ａは時刻ｔ-Δｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から平面歪み補正部５４ａによって得られた平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の一例である。この平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中には歩行者Ｘ１と駐車枠線Ｙが写っているものとする。

図６Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）から平面歪み補正部５４ａによって得られた平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の一例である。図６Ｂと図６Ａを比較すると、歩行者Ｘ１は時間Δｔの間に（画像の右方へ向かって）前進していることがわかる。また、駐車枠線Ｙの位置が手前側へ変位していることから、車両１０が時間Δｔの間に後方へ移動していることがわかる。

図６Ｃは、オプティカルフロー検出部５４ｂが、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）とを比較することによって検出した、歩行者の移動に伴って発生したオプティカルフローのみを示す図である。

なお、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）とを比較した場合、車両１０の移動に伴って発生するオプティカルフローも存在することになる。車両１０の移動に伴って発生するオプティカルフローは、車両挙動フロー算出部５４ｃが、時間Δｔの間の車両の挙動（車輪速と操舵角）を積分することによって予測することができる。図６Ｃに示すオプティカルフローＯｐは、このようにして予測した車両１０の動きに伴って発生するオプティカルフローを物体検出部５４ｄで除いて、それとは異なる方向を有するオプティカルフローＯｐのみを検出した結果を示している。すなわち、図６Ｃは、車両１０の移動に伴うオプティカルフロー（駐車枠線Ｙの移動を示すオプティカルフロー）が抑制されて、歩行者の移動を表したオプティカルフローＯｐのみが検出された状態を示している。

このようにして検出されたオプティカルフローＯｐを物体検出部５４ｄで分析して、同一方向に同一量だけ移動している領域を統合することで、ひとつの物体（移動物体）であると認識することができる。なお、異なる時刻に撮像された２枚の画像の中からオプティカルフローＯｐを検出する方法は、広く一般に用いられている。ごく簡単に説明すると、一方の画像を複数の小領域（一方の小領域）に分割して、各小領域と濃淡値の分布がよく似ている小領域（他方の小領域）を、他方の画像の中から探索する処理を行って、対応付けられた一方の小領域がオプティカルフローの始点とされて、他方の小領域がオプティカルフローの終点とされる。

より詳細には、まず、オプティカルフロー検出部５４ｂは、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中から輝度勾配の大きな点を特徴点として検出する。具体的には、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）に対して、着目する画素の近傍に小領域を設定して、輝度勾配を表す量として、設定した小領域の内部におけるエッジ強度を求めるオペレータを作用させて、求めたエッジ強度が所定値よりも大きい画素を特徴点とする。このとき、併せて、同じ画素におけるエッジ方向も算出しておく。

次に、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中から検出した特徴点と同じ輝度勾配を有する画素（対応点）を、平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中から探索する。この処理は、平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中に、所定の大きさの探索範囲を設定して、設定した探索範囲の中で、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中から検出した特徴点と同じ輝度勾配（エッジ強度とエッジ方向）を有する画素を探索することによって行われる。

次に、エッジ強度の近似度とエッジ方向の近似度に、それぞれ閾値（しきい値）を設けて、エッジ強度の差異とエッジ方向の差異が、ともに、それぞれ設定されたしきい値以内であるときに、対応点が見つかったと判定する。対応点が探索されないときは別の特徴点の検出を行う。

次に、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中から検出した特徴点を始点とし、平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中から見つけた対応点を終点とするオプティカルフローを決定する。このようにして検出されたオプティカルフローの始点の位置座標と終点の位置座標とは、オプティカルフロー検出部５４ｂによってメモリ２６に記憶される。

上記した特徴点の検出処理を、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の全ての画素に対して行う。なお、オプティカルフローの算出方法は、上記したものに限定されるものではない。すなわち、オプティカルフローの検出方法は、数多く提案されており、既知となっているいずれの方法を用いて行ってもよい。

このようにして検出されたオプティカルフローの終点を構成する小領域のうち、オプティカルフロー同士が近接して、同じ方向を向いて同じ長さを有しているときに、これら複数のオプティカルフローの終点となる小領域をグルーピングにより併合して、ひとつの物体を表す領域（矩形領域）として検出する。

より詳細には、オプティカルフロー検出部５４ｂは、オプティカルフローの算出結果から得られたフローの始点の座標、終点の座標、フローの長さを読み出して、フローベクトルのグルーピングを行う。この処理は、近接した位置で検出された、オプティカルフローを統合するものである。具体的には、予め設定したサイズの領域の中にあるオプティカルフロー同士を比較して、長さがともに所定値以上で、なおかつ、方向の差が所定値以下であるとき、オプティカルフロー同士をグルーピングする。そして、上記したグルーピングを、画像上の全オプティカルフローベクトルについて行う。その後、グルーピングされたオプティカルフローが画面上で所定の大きさがある場合に物体であると判定する。

図７は、このようにして検出された物体を表す領域の一例である。図に示すように、歩行者Ｘ１の領域が物体として検出されて、歩行者Ｘ１に外接する矩形領域Ｒ１の位置が動き領域検出部５４に記憶される。なお、複数の物体が検出されたときには、各物体に外接する複数の矩形領域Ｒｉ（ｉ＝１，２，…）が検出されて、それぞれの矩形領域Ｒｉの位置が動き領域検出部５４によってメモリ２６に記憶される。

図８は、動き領域検出部５４（物体検出部５４ｄ（図４））によって記憶される物体の位置と大きさの記憶形式について説明する図である。図８に示すように、矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれメモリ２６に記憶される。

（俯瞰画像からの物体検出方法の説明）
次に、図９と図１０Ａから図１０Ｃを用いて、差分演算部５８（第２物体検出部）において行われる、俯瞰画像から物体を検出する方法について説明する。

図９は差分演算部５８の詳細構成を示す機能ブロック図である。差分演算部５８は、俯瞰画像位置合わせ部５８ａと、差分演算実行部５８ｂと、物体検出部５８ｃとを有している。

図１０Ａから図１０Ｃは、差分演算部５８の作用を説明する図である。図１０Ａは時刻ｔ-Δｔにおいて後方カメラ１２が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）または平面歪み補正部５４ａで生成した平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）（図６Ａ）などの投影画像を、俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）に変換した結果の一例である。図に示すように、歩行者Ｘ１（図６Ａ）は、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上では領域Ｘ１'に変換される。また、駐車枠線Ｙ（図６Ａ）は、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上では領域Ｙ'に変換される。なお、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）への変換は、予め俯瞰画像生成部５６に記憶された座標変換テーブル（非図示）を用いて行う。この座標変換テーブルには、原画像または平面投影画像などの投影画像の座標と俯瞰画像の座標との対応関係が記憶されている。なお、この座標変換テーブルに、前述した歪曲を補正する歪み補正テーブルの機能を盛り込んで、原画像または平面投影画像などの投影画像を俯瞰画像に変換する際に、併せて歪曲を補正してもよい。

図１０Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）（図５Ａ）または平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（図６Ｂ）などの投影画像を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した結果の一例である。図１０Ｂに示すように、歩行者Ｘ１（図６Ｂ）の移動に伴って領域Ｘ１'の位置が移動している。また、図１０Ｂと図１０Ａを比較すると、車両１０の移動に伴って駐車枠線Ｙ（図６Ｂ）に対応する領域Ｙ'の位置も移動している。

図１０Ｃは、差分演算実行部５８ｂにおいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ）から俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を差し引く差分演算（フレーム差分）を行った結果を示す画像である。差分演算を行う際には、時間Δｔの間の車両の挙動に伴って発生する路面の移動を抑制するために、予め俯瞰画像位置合わせ部５８ａにおいて、車両の挙動（車輪速と操舵角の変化）から予測される俯瞰画像の路面領域の移動量と移動方向に基づいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を座標変換して、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせをしておく。

すなわち、差分演算の結果を示す図１０Ｃの画像においては、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）の間で駐車枠線Ｙに対応する領域Ｙ'の位置が一致するため、領域Ｙ'の情報は抑制されて、歩行者に対応する領域Ｘ１'の移動に対応する領域のみが検出される。

次に、物体検出部５８ｃにおいて、差分演算の結果得られた画像（図１０Ｃ）の中から物体の検出を行う。

具体的には、俯瞰画像同士の差分演算によって得られた結果を所定のしきい値で２値化して、抽出された領域を、物体を表す領域とする。なお、検出された領域にはラベル付けを行い、さらに各領域Ｘｊ'（ｊ＝１，２，…）の重心位置を計算して、個々の領域を識別できるようにしておく。

図１０Ｄは、物体検出部５８ｃによってメモリ２６に記憶される物体の位置の記憶形式について説明する図である。図に示すように、検出された領域の番号とともに、物体として検出された各領域Ｘｊ'（ｊ＝１，２，…）の重心位置の水平座標ｇｘｊ（ｊ＝１，２，…）と垂直座標ｇｙｊ（ｊ＝１，２，…）がそれぞれメモリ２６に記憶される。

以上により、動き領域検出部５４（第１物体検出部）と差分演算部５８（第２物体検出部）とによって、それぞれ異なる手法で別個に物体が検出される。

（「見かけの動き」の除去について）
例えば、図１１Ａに示すような、車両１０の排気ガス中に含まれる水蒸気２００のように、画像には映るものの、物体（例えば、障害物などのようなもの）としての実体はなく、しかも、その形状が時々刻々と変化するような性質のものが存在している。このようなものは、画像上の見かけが変化することによって、上記したような画像処理の際に、動く物体として認識されてしまうことがある。そのため、このような実体がないのに動いているようなもののことを、「見かけの動き」と呼ぶことにする。

そして、動き領域検出部５４（第１物体検出部）で検出された物体や、差分演算部５８（第２物体検出部）で検出された物体の中にも、このような「見かけの動き」が含まれている可能性がある。そのため、検出された物体に「見かけの動き」が含まれているか否かを探し出して、含まれている場合には、検出された物体から「見かけの動き」を除外する必要がある。そこで、図３に示すように、動き領域検出部５４（第１物体検出部）に対して動き領域検証部２０２（第１物体検証部、または、請求項の第２の物体検証部）を設けると共に、差分演算部５８（第２物体検出部）に対して差分領域検証部２０３（実施例の第２物体検証部、または、請求項の物体検証部）を設けて、それぞれが、検出した物体から「見かけの動き」を個別に排除できるようにしている。

（オプティカルフローから検出した物体に対する「見かけの動き」の除去について）
図１１Ｂは、動き領域検出部５４（第１物体検出部）で検出された物体から水蒸気２００などによる「見かけの動き」を除去する動き領域検証部２０２（第１物体検証部）である。

動き領域検証部２０２（第１物体検証部）は、動き領域検出部５４（第１物体検出部）で検出した物体の動き情報と輝度情報とに基づいて物体が「見かけの動き」であるか否かを判定する。動き領域検証部２０２（第１物体検証部）は、明暗判定手段２０２ａと、コントラスト判定手段２０２ｂ（または、低コントラスト領域判定手段）と、水蒸気判定手段２０２ｃ（第２の結果判定部）と、判定結果出力手段２０２ｄとを有している。

明暗判定手段２０２ａは、イルミネーションセンサ２０１からのヘッドライトやフォグランプなどの灯火信号や、照度センサ、時計情報などの車両情報を利用して、車両周囲の環境が暗い環境か否か、または暗くなっているであろう状況か否か、を判定する（昼夜判定または明暗判定）。そして、その判定結果（である明暗判定情報）を、コントラスト判定手段２０２ｂへ伝える。

例えば、昼間の水蒸気２００は、薄いもやもやとした低コントラストの白煙として観測されることが多い。したがって、昼夜判定において昼間と判定されている場合、オプティカルフローにより「見かけの動き」があると判定された領域の輝度値が、一定時間以上連続して、不規則に変動しており、かつ局所領域内でのコントラストが一定値より低いと判定されたときには、この領域が水蒸気を撮像した領域（水蒸気領域）であると判定することができる。

これに対し、夜間の水蒸気２００は、照明が当たっていない場合には、オプティカルフローが検知されない程度に見えにくいが、自車および他車のヘッドライトやウィンカー、街灯などの照明が当たった場合には、輝度値が上限付近の高輝度となることが多い。そこで、昼夜判定において夜間と判定されている場合、オプティカルフローにより「見かけの動き」があると判定された領域の輝度値が、取り得る輝度値の範囲の上限側から例えば１０％以内に入る画素数が所定の面積割合以上あるときは、この領域が水蒸気領域であると判定することができる。

コントラスト判定手段２０２ｂは、画像取得部５２で取得した画像（元画像または（平面）投影画像）に対して、局所領域内に含まれる画素の輝度値の平均値、または、輝度値の分散値の少なくとも一方の変動を算出し、明暗判定手段２０２ａの明暗判定情報に基づいて判定を行う（以下、低コントラスト領域判定という）。

コントラスト判定手段２０２ｂは、まず、画像（元画像または（平面）投影画像）を所定のサイズの画像ブロックに分割し、各ブロック内の画素の輝度値の平均および輝度値の分散値を算出する。コントラスト判定手段２０２ｂは、次に、明暗判定手段２０２ａの判定結果によって、判定閾値を切り替える。例えば、判定結果が昼間の場合には、薄い水蒸気２００、すなわちはっきり見えない水蒸気２００を検知するために、輝度値の分散値が低い領域を低コントラスト領域と判定する。また、判定結果が夜間の場合には、照明の当たって明るい水蒸気２００を検知するために輝度値の平均値が高い領域を低コントラスト領域と判定する。

水蒸気判定手段２０２ｃ（第２の結果判定部）では、コントラスト判定手段２０２ｂと、動き領域検出部５４（第１物体検出部）との判定の結果に基づき、低コントラスト領域が水蒸気２００の発生している領域か否かを判定する。例えば、明暗判定手段２０２ａにより夜間であると判断され、かつ、輝度値の高い領域の周囲にのみオプティカルフローが出力されている場合には、これを水蒸気が発生している領域（水蒸気領域）として限定する判定を行う。

そして、水蒸気判定手段２０２ｃ（第２の結果判定部）での水蒸気２００などの「見かけの動き」の判定は、図１１Ｃに示すように、水蒸気領域に対して、オプティカルフローの分散値（フロー分散値）と予め設定したしきい値との大小比較を行うことによって実施される。

歩行者などのような移動物体（物体）の場合、動きの方向が比較的一定になるため、フロー分散値が小さくなる傾向にある。これに対し、排気ガス中に含まれる水蒸気２００などのような「見かけの動き」の場合には、動きの方向に一定性がない場合が多いため、フロー分散値が大きくなる傾向にある。このような違いから、しきい値として、移動物体（物体）と「見かけの動き」とを確実に切り分けることができる最適な値が存在することになる。最適なしきい値は、例えば、トライアンドエラーなどによって最適な値を予め得ておくようにする。

そして、水蒸気判定手段２０２ｃ（第２の結果判定部）は、フロー分散値がしきい値よりも小さい場合（ＮＯ）には、検出された物体が歩行者などのような移動物体であると判断する。そして、検出結果をメモリ２６に保存して、処理を終了する。また、フロー分散値がしきい値よりも大きい場合（ＹＥＳ）には、検出された物体が排気ガス中に含まれる水蒸気２００などのような「見かけの動き」であると判断する。そして、検出結果を棄却または破棄して、処理を終了する。

これにより、検出された物体が「見かけの動き」であると判断された場合に、「見かけの動き」を物体から除外することができ、誤判断をなくして物体に対する検出精度を上げることが可能になる。

この動き領域検証部２０２（第１物体検証部）では、オプティカルフローの分散が比較的大きい「見かけの動き」を判定して、排気ガス中に含まれる水蒸気２００を全般的に除外することができる。

そして、判定結果出力手段２０２ｄは、水蒸気判定手段２０２ｃ（第２の結果判定部）が判定した「見かけの動き」およびその領域を除外して、残った物体を最終的に検出物体判定部６０へ出力する。

この際、水蒸気判定手段２０２ｃ（第２の結果判定部）で水蒸気などの「見かけの動き」を判定した後には、判定結果出力手段２０２ｄは、動き領域検出部５４（第１物体検出部）へ処理を戻して、動き領域検出部５４（第１物体検出部）で、オプティカルフローに基づく物体検出処理を行うようにしても良い。この場合、動き領域検出部５４（第１物体検出部）で次の物体が検出されたら、検出された次の物体に対して動き領域検証部２０２（第１物体検証部）で、再び、次の物体に対する「見かけの動き」の検証を行うようにする。以降は、動き領域検出部５４（第１物体検出部）と動き領域検証部２０２（第１物体検証部）との間で交互に同じ物体に対する処理を行いながら、全ての物体についての検証が終わるまで上記を繰り返すようにする。そして、全ての物体についての検証が終わったら、次の段階の検出物体判定部６０へと移行する。

なお、上記は、動き領域検出部５４（第１物体検出部）で物体を１つ検出するごとに、動き領域検証部２０２（第１物体検証部）で逐次「見かけの動き」か否かを検証して行く例となっているが、最初に、動き領域検出部５４（第１物体検出部）で全ての物体を検出した後で、動き領域検証部２０２（第１物体検証部）で検出された各物体について、「見かけの動き」であるかどうかを順次検証して行くような、物体の検出と、「見かけの動き」の検証とを分離して行う構成にすることもできる。

この場合には、動き領域検証部２０２（第１物体検証部）での「見かけの動き」の検証終了後には、動き領域検出部５４（第１物体検出部）へ戻らずに、次の段階の検出物体判定部６０へと移行することになる。動き領域検証部２０２（第１物体検証部）は、要するに、動き領域検出部５４（第１物体検出部）から検出物体判定部６０までの間に処理が行われれば良く、例えば、動き領域検出部５４（第１物体検出部）と検出物体判定部６０との間に別の処理が入ったような場合でも同様となる。

（俯瞰画像から検出した物体に対する「見かけの動き」の除去について）
図１１Ｄは、差分演算部５８（第２物体検出部）で検出された物体から「見かけの動き」を除去する差分領域検証部２０３（第２物体検証部）である。

差分領域検証部２０３（第２物体検証部）は、第２物体検出部で物体が検出された複数枚の俯瞰画像、または、この俯瞰画像と対応する画像取得部５２の画像を変換してなる複数枚の平面投影画像の差分量によって物体が「見かけの動き」であるか否かを検証する。差分領域検証部２０３（第２物体検証部）は、投影画像生成部２０３ａと、差分処理部２０３ｂと、矩形枠設定部２０３ｃと、差分割合算出部２０３ｄと、結果判定部２０３ｅと、判定結果出力部２０３ｆとを有している。

差分領域検証部２０３（第２物体検証部）では、まず、投影画像生成部２０３ａが、差分演算部５８（第２物体検出部）で物体を検出した図１１Ｅに示すような、複数枚の俯瞰画像（ａ）（ｂ）、または、この俯瞰画像（ａ）（ｂ）と対応する原画像（画像取得部５２で取得した画像）から、図１１Ｆに示すような、複数枚の平面投影画像（ａ）（ｂ）を生成する。

この際、俯瞰画像（ａ）（ｂ）から平面投影画像（ａ）（ｂ）を直接生成できるのであれば、直接生成する。また、例えば、俯瞰画像生成部５６で原画像から俯瞰画像（ａ）（ｂ）を生成する際に、平面投影画像（ａ）（ｂ）への変換に必要な情報が失われてしまって、平面投影画像（ａ）（ｂ）に直接変換ができないような場合には、俯瞰画像生成部５６で俯瞰画像（ａ）（ｂ）を生成する際に元となった画像（原画像）を使って対応する平面投影画像（ａ）（ｂ）を生成すると共に、俯瞰画像（ａ）（ｂ）上の位置と平面投影画像（ａ）（ｂ）上の位置とを対応付させるようにする。

なお、図１１Ｅでは、複数枚の俯瞰画像（ａ）（ｂ）の差分処理から得られた差分画像（ｃ）に示されるように、排気ガスと歩行者とが物体として検出されている。この場合、平面投影画像（ａ）（ｂ）は、（広義の）平面投影画像とすることができる。

平面投影画像への変換は、予め用意された座標変換テーブルを用いて行う。この座標変換テーブルは、座標変換前の画像（原画像または俯瞰画像）の座標と座標変換後の平面投影画像の座標の対応関係をテーブル化したものである。なお、座標変換テーブルは、いわゆるキャリブレーションを行うことによって、予め生成して平面画像変換部に記憶しておく。また、この座標変換テーブルには、前述した歪曲を補正する歪み補正テーブルの機能を盛り込んで、画像を平面投影画像に変換する際に、併せて歪曲を補正するのが好ましい。

このように平面投影画像を用いるのは、俯瞰画像だと、物体の足元位置やその周辺部分のみが強調された偏ったものとなってしまい、物体の正確な形状が分からないためである。俯瞰画像で物体を検出した後に、俯瞰画像と対応する平面投影画像を用いることによって、俯瞰画像で検出した物体の平面投影画像上の位置に、物体の正しい形状（を水平方向に見た形状）を示すことができる。

なお、画像の平面投影画像への変換は、基本的に動き領域検出部５４で平面歪み補正部５４ａなどが原画像を平面投影画像に変換したのと同様の手法を用いることができる。または、投影画像生成部２０３ａで画像を平面投影画画像へ変換する代わりに、動き領域検出部５４の平面歪み補正部５４ａなどによって生成された平面投影画像を読み込んでそのまま使うようにしても良い。この場合には、平面歪み補正部５４ａが投影画像生成部２０３ａとなる。

差分演算部５８（第２物体検出部）は、次に、図１１Ｆの（広義の）平面投影画像（ａ）（ｂ）を用いて以下のような差分検証を行う。差分検証では、第一に、差分処理部２０３ｂが、時刻tとｔ-Δｔのフレーム間における平面投影画像（ａ）（ｂ）の差分処理を行う。平面投影画像（ａ）（ｂ）の差分処理は、基本的に差分演算部５８で物体の検出を行ったときと同様の手法で行われる。この際、差分演算部５８で検出した物体の足元位置どうしを合わせることで、車両１０の移動の影響を抑制させるようにする。

差分処理によって得られた平面投影画像（ａ）（ｂ）の差分画像（ｃ）は、平面投影画像（ａ）（ｂ）同士の差分演算によって得られた結果を所定のしきい値で２値化した白黒の平面投影画像とされる。このような差分処理を行うことによって、平面投影画像（差分画像（ｃ））の中で静止しているものと、動いているものとを確実に切り分けることができるようになる。

第二に、矩形枠設定部２０３ｃが、足元位置を元に、差分処理によって得られた平面投影画像（差分画像（ｃ））に対して物体ごとに矩形枠Ｒ２、Ｒ３を設定する。足元位置は、俯瞰画像の差分処理（図１１Ｅの差分画像（ｃ））によって特定された物体（排気ガスおよび歩行者）の足元の位置を、平面投影画像（差分画像（ｃ））に当て嵌めたときの平面投影画像（差分画像（ｃ））上の位置のことである。

この際、矩形枠Ｒ２、Ｒ３は、実世界上における人間（歩行者）のサイズに設定されたものを使用する。そして、平面投影画像（差分画像）における物体の足元の位置に矩形枠Ｒ２、Ｒ３を当て嵌める。物体が複数ある場合、各物体に対してそれぞれ矩形枠Ｒ２、Ｒ３を当て嵌める。

なお、平面投影画像（ａ）（ｂ）および差分画像（ｃ）は、図５Ｂに示すのと同様の（狭義の）平面投影画像とすることができる。また、平面投影画像（ａ）（ｂ）および差分画像（ｃ）は、図５Ｃに示すのと同様の円筒面投影画像とすることができる。平面投影画像（ａ）（ｂ）および差分画像（ｃ）を、図５Ｂのような（狭義の）平面投影画像とした場合には、全ての矩形枠Ｒ２、Ｒ３は同じ大きさとなる。平面投影画像（ａ）（ｂ）および差分画像（ｃ）を、図５Ｃのような円筒面投影画像とした場合には、矩形枠Ｒ２、Ｒ３は位置によって大きさの異なるものとなる。

このように、矩形枠Ｒ２、Ｒ３を平面投影画像（差分画像（ｃ））に当て嵌めることにより、検出された物体が人間（歩行者）の場合には、人間（歩行者）の大きさに合わせた矩形枠Ｒ２の内部に、検出された物体がほぼ完全に収められることになる。また、検出された物体が人間（歩行者）以外である場合には、人間（歩行者）の大きさに合わせた矩形枠Ｒ３の内部に、検出された物体（排気ガス）の主要部またはその一部が収められることになる。いずれの場合においても、検出された物体に対して人間の大きさを基準とした差分検証が行われることになる。

第三に、差分割合算出部２０３ｄが、矩形枠Ｒ２、Ｒ３内の差分の割合を算出する。この場合、矩形枠Ｒ２、Ｒ３内の差分をカウントすることで差分の割合が求められる。図の場合には、白領域がカウントされる。矩形枠Ｒ２、Ｒ３内のみについての差分の割合を求めることで、無駄なく処理を行って処理の高速化を図ることができる。

第四に、結果判定部２０３ｅが、「見かけの動き」の判定・検証を行う。「見かけの動き」の判定は、図１１Ｇに示すように、差分の割合と予め設定したしきい値との大小比較を行うことによって実施される。

歩行者などのような移動物体（物体）の場合、比較的動きが大きいため、差分の割合が大きくなる傾向にある。これに対し、勢い良く排出される排気ガス中に含まれる水蒸気などのような「見かけの動き」の場合には、比較的動きが小さくなるため、差分の割合が小さくなる傾向にある。このような違いから、しきい値として、移動物体（物体）と「見かけの動き」とを確実に切り分けることができる最適な値が存在することになる。最適なしきい値は、例えば、トライアンドエラーなどによって最適な値を予め得ておくようにする。

そして、差分の割合がしきい値よりも大きい場合（ＮＯ）には、検出された物体が歩行者などのような移動物体（物体）であると判断する。そして、検出結果をメモリ２６に保存して、処理を終了する。また、差分の割合がしきい値よりも小さい場合（ＹＥＳ）には、検出された物体が排気ガス中に含まれる水蒸気２００などのような「見かけの動き」であると判断する。そして、検出結果を棄却または破棄して、処理を終了する。

これにより、検出された物体が「見かけの動き」であると判断された場合に、「見かけの動き」を物体から除外することができ、誤判断をなくして物体に対する検出精度を上げることが可能になる。

この差分領域検証部２０３（第２物体検証部）では、オプティカルフローの分散が少ない「見かけの動き」を正確に判定して、勢い良く排出される排気ガス中に含まれる水蒸気２００のような、比較的特殊な状態の水蒸気を除外することができる。

そして、このような、勢い良く排出される排気ガス中に含まれる水蒸気２００などのような「見かけの動き」は、動き領域検証部２０２（第１物体検証部）では検出するのが難しいものである。よって、動き領域検証部２０２（第１物体検証部）では検出できない「見かけの動き」を検出して、「見かけの動き」に対する検出精度を上げることが可能になる。

そして、最後に判定結果出力手段２０２ｄは、水蒸気判定手段２０２ｃ（第２の結果判定部）が判定した「見かけの動き」を除外して残った物体を最終的に検出物体判定部６０へ出力する。

この際、「見かけの動き」を判定した後には、差分演算部５８（第２物体検出部）へ処理を戻して、差分演算部５８（第２物体検出部）で、俯瞰画像の差分に基づく物体検出処理を行うようにしても良い。この場合、差分演算部５８（第２物体検出部）で次の物体が検出されたら、検出された次の物体に対して差分領域検証部２０３（第２物体検証部）で、再び、次の物体に対する「見かけの動き」の検証を行うようにする。以降は、差分演算部５８（第２物体検出部）と差分領域検証部２０３（第２物体検証部）との間で交互に同じ物体に対する処理を行いながら、全ての物体についての検証が終わるまで上記を繰り返すようにする。そして、全ての物体についての検証が終わったら、次の段階の検出物体判定部６０へと移行する。

なお、上記は、差分演算部５８（第２物体検出部）で物体を１つ検出するごとに、差分領域検証部で逐次「見かけの動き」か否かを検証して行く例となっているが、最初に、差分演算部５８（第２物体検出部）で全ての物体を検出した後で、差分領域検証部で検出された各物体について、「見かけの動き」であるかどうかを順次検証して行くような、物体の検出と、「見かけの動き」の検証とを分離して行う構成にすることもできる。この場合には、差分領域検証部２０３（第２物体検証部）での「見かけの動き」の検証終了後には、差分演算部５８（第２物体検出部）へ戻らずに、次の段階の検出物体判定部６０へと移行することになる。差分領域検証部は、要するに、差分演算部５８（第２物体検出部）から検出物体判定部６０までの間に処理が行われれば良く、例えば、差分演算部５８（第２物体検出部）と検出物体判定部６０との間に別の処理が入ったような場合でも同様である。

（移動物体判定方法の説明）
図７と図１２Ａから図１２Ｃを用いて、検出物体判定部６０（図２）において行われる処理、すなわち、動き領域検出部５４（第１物体検出部）で検出された物体と、差分演算部５８（第２物体検出部）で検出された物体とが同一の移動物体であるか否かを判定する処理について説明する。この際、動き領域検証部２０２（第１物体検証部）および差分領域検証部２０３（第２物体検証部）で「見かけの動き」と判定された全てのものは物体から除外され、残ったもののみに対して判定処理が行われる。これにより、疑わしいものを排除して、同一の移動物体であるか否かの判定精度および判定速度を高めることができる。

動き領域検出部５４（第１物体検出部）で検出された物体と、差分演算部５８（第２物体検出部）で検出された物体とが同一の移動物体であるか否かを判定するために、まず、検出された各移動物体を代表する座標値を算出する。

すなわち、動き領域検出部５４（第１物体検出部）で検出された物体から、物体位置座標として、図７に示す点Ｆ１（ｆｘ１，ｆｙ１）の座標値を算出する。この点Ｆ１は、物体に外接する矩形領域Ｒ１の下辺の中点に対応する点である。したがって、その水平座標はｆｘ１＝（ｓｘ１＋ｅｘ１）／２で算出される。また、点Ｆ１の垂直座標はｆｙ１＝ｅｙ１で算出される。なお、複数の物体が検出されたときには、図８に示した記憶情報を参照して、複数の点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値をそれぞれ算出する。ここで、点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値は、動き領域検出部５４で物体検出処理を行った際に併せて算出して、図８の情報と併せてメモリ２６に記憶しておいてもよい。

次に、差分演算部５８（第２物体検出部）で検出された物体から、検出された領域の重心座標（図１０Ｄ）を用いて、図１２Ａから図１２Ｃで説明する手順によって、物体を代表する座標値を算出する。

まず、図１２Ａに示すように、俯瞰画像同士の差分結果を示す画像の中に、後方カメラ１２（図２）の位置を表す後方カメラ位置Ｃ（ｃｘ，ｃｙ）を設定する。この後方カメラ位置Ｃは、俯瞰画像の表示範囲内で一意に決定される。図１２Ａの例では、俯瞰画像の下辺上に設置されているものとする。なお、移動物体を表す領域Ｘ１'の重心点Ｇ１の座標はＧ１（ｇｘ１，ｇｙ１）であるとする。

次に、図１２Ｂに示すように、重心点Ｇ１（ｇｘ１，ｇｙ１）と後方カメラ位置Ｃ（ｃｘ，ｃｙ）を結ぶ線分Ｌ１を設定する。

さらに、図１２Ｃに示すように、領域Ｘ１'に属する点のうち、後方カメラ位置Ｃ（ｃｘ，ｃｙ）に最も接近した接地点Ｈ１（ｈｘ１，ｈｙ１）を求める。具体的には、線分Ｌ１上を重心点Ｇ１（ｇｘ１，ｇｙ１）から後方カメラ位置Ｃ（ｃｘ，ｃｙ）へ向かって探索し、領域Ｘ１'と同じラベル値を有して、重心点Ｇ１から最も離れた点の位置を見つければよい。このようにして探索された接地点Ｈ１（ｈｘ１，ｈｙ１）は、領域Ｘ１'が路面と接地する接地点の位置を表している。なお、俯瞰画像の差分演算を行って複数の物体が検出されたときには、図１０Ｄに示した物体の位置情報を参照して、複数の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）をそれぞれ算出する。ここで、接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）は、俯瞰画像から物体を検出する際に同時に算出して、図１０Ｄの情報と併せてメモリ２６に記憶しておいてもよい。

次に、各領域の物体位置座標を示す、画像上の点Ｆｉ（ｉ＝１，２，…）（図７）の座標と、各領域の接地点を示す、画像上の接地点Ｈｊ（ｊ＝１，２，…）の座標との位置関係を比較する。すなわち、後方カメラ１２（図２）の設置位置から見た点Ｆｉの相対位置と、後方カメラ１２（図２）の設置位置から見た接地点Ｈｊの相対位置の距離を判定する。

そのため、点Ｆｉと接地点Ｈｊを、それぞれ、図１３に示すように、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た相対座標に変換する。すなわち、点Ｆｉの相対位置は、後方カメラ１２（図２）の設置位置を原点として、車両１０の幅方向をＸ軸、車両１０の前後方向をＹ軸としたＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）として算出することができる。一方、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た接地点Ｈｊの相対位置も、同様にして、ＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）として算出することができる。

なお、点Ｆｉ（ｆｘｉ，ｆｙｉ）の座標値（ＦＸｉ，ＦＹｉ）への換算と、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の座標値（ＨＸｊ，ＨＹｊ）への換算は、後方カメラ１２の光学パラメータである焦点距離ｆや後方カメラ１２の設置位置（高さや俯角等）を用いて行うことができる。

このとき、図１３に示すように、点Ｆｉ（ｆｘｉ，ｆｙｉ）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）と、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）とは必ずしも一致しない。これは、点Ｆｉ（ｆｘｉ，ｆｙｉ）は物体の幅や横方向位置の情報を含む矩形領域Ｒｉの位置に基づいて算出された点であり、一方、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）は物体の接地点の位置に基づいて算出された点であるため、計測方法の違いに伴う誤差が存在するためである。

したがって、検出物体判定部６０（図２）は、ＸＹ座標系における座標値に換算された、点Ｆｉと接地点Ｈｊとの間の距離を求め、その距離の大きさに基づいて、点Ｆｉと接地点Ｈｊが所定距離以内に近接していれば、動き領域検出部５４（第１物体検出部）で検出された物体（矩形領域Ｒｉ）と、差分演算部５８（第２物体検出部）で検出された物体（領域Ｘｊ'）とが同一移動物体であると判定する。

検出物体判定部６０によって、矩形領域Ｒｉと領域Ｘｊ'とが同一移動物体であると判定されたときに、図８と図１０Ｄに示す検出結果が統合されて、新たに統合物体情報として検出物体判定部６０によって記憶される。このとき、統合結果は添字ｋを用いて、点Ｆｋ（Ｆｉ）のＸＹ座標系における座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）と、接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）とが同じ移動物体を示す情報であるとしてメモリ２６に記憶される。

（移動物体位置の特定方法の説明）
移動物体の位置の特定は、移動物体位置特定部６２（図３）によって行われる。以下、移動物体の位置の方法について図１３を用いて説明する。なお、図１３は、点Ｆｉと接地点Ｈｊが近接していると判定されて、それらが同一移動物体を示すものと判定されて統合された状態を示す。すなわち、統合前には添字ｉ，ｊで管理していた情報は、統合後には新たに添字ｋを付与して管理される。

まず、先述した移動物体判定の結果、同一移動物体と判定されて検出物体判定部６０によって記憶された統合物体情報である、各移動物体を示す矩形領域Ｒｋ（Ｒｉ）の左右端の画像上の座標値（ＳＸｋ（ＳＸｉ），ＥＸｋ（ＥＸｉ））（ｋ＝１，２，…）と、接地点Ｈｋ（Ｈｊ）のＸＹ座標系（図１３）における座標値（ＨＸｋ（ＨＸｊ），ＨＹｋ（ＨＹｊ））（ｋ＝１，２，…）がそれぞれ読み出される。

次に、矩形領域Ｒｋの左右端の画像上の座標値ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）の差分値を算出することによって、移動物体の画像上の幅ｗｋを算出する。すなわち、移動物体の画像上の幅ｗｋは、ｗｋ＝ＥＸｋ－ＳＸｋ（ｋ＝１，２，…）によって算出される。

さらに、座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）と、移動物体の画像上の幅ｗｋと、後方カメラ１２の光学パラメータである焦点距離ｆを用いて移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）を算出する。

具体的には、Ｗｋ＝ｗｋ×（後方カメラ位置Ｃと接地点Ｈｋの距離Ｄｋ）／ｆによって算出することができる。なお、距離Ｄｋは、図１３に示すように、接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を用いて、Ｄｋ＝（ＨＸｋ^２＋ＨＹｋ^２）^１／２によって算出することができる。

ここで算出された、移動物体までの距離Ｄｋと、移動物体の実際の幅Ｗｋは、移動物体位置特定部６２によってメモリ２６に記憶される。

（車両挙動制御の作用の説明）
車両挙動制御部８０の作用について、図３を用いて説明する。先述した移動物体位置特定処理によって検出された移動物体の位置情報（距離Ｄｋと幅Ｗｋ）は、図３に示す車両挙動制御部８０の接触判定部８２へ送られる。

接触判定部８２は、移動物体の位置情報（距離Ｄｋと幅Ｗｋ）と車両１０の挙動情報（車輪速と操舵角）から、車両１０が移動物体に接触する可能性を算出する。具体的には、前述した移動物体位置特定処理によって算出された、車両１０（後方カメラ１２）と各移動物体との実際の距離Ｄｋ（ｋ＝１，２，…）と、移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）に基づいて、車両１０が現在の車速と現在の操舵角のまま移動したと仮定したときに、車両１０が移動物体に接触する可能性の有無を算出する。

その結果、車両１０が移動物体と接触する可能性があるときには、警報出力部８４からモニタ３４に警報を出力して乗員に注意喚起を行う。

また、車両１０が移動物体と接触する可能性が非常に高いときには、制動制御部８６がブレーキアクチュエータ３６を作動させて車両１０に制動力を発生させ、強制的に車両を停止させて、移動物体との接触を回避する。

（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ａで行われる一連の処理の流れについて、図１４のフローチャートと図３の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。

（ステップＳ１０）画像取得部５２が、後方カメラ１２からの車両１０の後方の画像を取得する。

（ステップＳ１２）動き領域検出部５４（第１物体検出部）において、オプティカルフローに基づく移動物体検出処理を行う。

（ステップＳ１３）動き領域検証部２０２（第１物体検証部）において、物体からの「見かけの動き」の除去処理を行う。

（ステップＳ１４）俯瞰画像生成部５６において、俯瞰画像生成処理を行う。

（ステップＳ１６）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく移動物体検出処理を行う。

（ステップＳ１７）差分領域検証部２０３（第２物体検証部）において、物体からの「見かけの動き」の除去処理を行う。

（ステップＳ１８）検出物体判定部６０において、検出物体判定処理を行う。

（ステップＳ２０）移動物体位置特定部６２において、移動物体位置特定処理を行う。

（ステップＳ２２）車両挙動制御部８０において、車両１０の挙動制御を行う。

なお、各ステップで行われる処理の詳細な流れについては後述する。

（オプティカルフローに基づく物体検出処理の流れの説明）
図１４のステップＳ１２で行われるオプティカルフローに基づく物体検出処理の流れについて、図１５Ａのフローチャートと図４の機能ブロック図を用いて説明する。

（ステップＳ３０）平面歪み補正部５４ａにおいて、歪曲補正処理を行う。

（ステップＳ３２）オプティカルフロー検出部５４ｂにおいて、オプティカルフロー検出処理を行う。

（ステップＳ３４）車両挙動フロー算出部５４ｃにおいて、車両挙動算出処理を行う。

（ステップＳ３６）物体検出部５４ｄにおいて、車両挙動フローと方向が異なるオプティカルフローの抽出処理を行う。

（ステップＳ３８）物体検出部５４ｄにおいて、抽出されたオプティカルフローの終点に対応する領域のラベル付け処理を行う。

（ステップＳ４０）物体検出部５４ｄにおいて、ラベル付けされた各領域に外接する矩形領域の登録処理を行い、その後メインルーチン（図１４）へ戻る。

（「見かけの動き」の除去処理（動き領域検証処理）の流れの説明）
図１４のステップＳ１３で行われる「見かけの動き」の除去処理（動き領域検証処理）の流れについて、図１５Ｂのフローチャートを用いて説明する。なお、この「見かけの動き」の除去処理は、動き領域検証部２０２（第１物体検証部）において行われる。

（ステップＳ４１）明暗判定手段２０２ａにおいて、車両周囲の環境の明暗を判定する。

（ステップＳ４２）コントラスト判定手段２０２ｂにおいて、明暗判定情報に基づいて低コントラスト領域の判定を行う。

（ステップＳ４３）水蒸気判定手段２０２ｃ（第２の結果判定部）において、オプティカルフローと画像の輝度に基づき、移動物体が「見かけの動き」(水蒸気)であるか否かを判定する。

（ステップＳ４４）判定結果出力手段２０２ｄにおいて、判定結果を出力する。その後メインルーチン（図１４）へ戻る。

（俯瞰画像の差分に基づく物体検出処理の流れの説明）
図１４のステップＳ１６で行われる俯瞰画像の差分に基づく物体検出処理の流れについて、図１６Ａのフローチャートと図３，図９の機能ブロック図を用いて説明する。

（ステップＳ５０）俯瞰画像生成部５６（図３）において、俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を生成する。

（ステップＳ５２）俯瞰画像生成部５６（図３）において、俯瞰画像Ｊ（ｘ，ｙ，ｔ）を生成する。

（ステップＳ５４）俯瞰画像位置合わせ部５８ａ（図９）において、車両情報に基づいて俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を変形処理し、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせを行う。

（ステップＳ５６）差分演算実行部５８ｂ（図９）において、フレーム差分を実行する。

（ステップＳ５８）物体検出部５８ｃ（図９）において、フレーム差分の結果に対して、２値化処理とラベリング処理を行う。

（ステップＳ６０）物体検出部５８ｃ（図９）において、ラベル付けされた各領域の重心位置の登録処理を行い、その後メインルーチン（図１４）へ戻る。

（「見かけの動き」の除去処理（平面投影画像による差分検証処理）の流れの説明）
図１４のステップＳ１５で行われる「見かけの動き」の除去処理（平面投影画像による差分検証処理）の流れについて、図１６Ｂのフローチャートを用いて説明する。なお、この「見かけの動き」の除去処理は、差分領域検証部２０３（第２物体検証部）において行われる。

（ステップＳ６１）投影画像生成部２０３ａにおいて、物体が検知された俯瞰画像と対応する複数の平面投影画像を生成する。

（ステップＳ６２）差分処理部２０３ｂにおいて、時刻tとｔ-Δｔのフレーム間における複数の平面投影画像の差分処理を行う。

（ステップＳ６３）矩形枠設定部２０３ｃにおいて、足元位置を元に平面投影画像に矩形枠を設定する。

（ステップＳ６４）差分割合算出部２０３ｄにおいて、矩形枠内の差分の割合を算出する。

（ステップＳ６５）結果判定部２０３ｅにおいて、「見かけの動き」の判定を行う。

（ステップＳ６６）判定結果出力部２０３ｆにおいて、結果を出力する。その後メインルーチン（図１４）へ戻る。

（検出物体判定処理の流れの説明）
図１４のステップＳ１８で行われる検出物体判定処理の流れについて、図１７のフローチャートを用いて説明する。なお、検出物体判定処理は、図３に示した検出物体判定部６０において行われる。

（ステップＳ７０）各矩形領域Ｒｉ（ｉ＝１，２，…）の位置から、物体の位置座標として点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）を算出する。

（ステップＳ７２）点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）を算出する。なお、ステップＳ７０とステップＳ７２は、全ての矩形領域Ｒｉに対して繰り返して実行する。

（ステップＳ７４）各領域Ｘｊ'（ｊ＝１，２，…）の重心位置から物体の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）を算出する。

（ステップＳ７６）物体の接地点である接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を算出する。なお、ステップＳ７４とステップＳ７６は、全ての領域Ｘｊ'に対して繰り返して実行する。

（ステップＳ７８）座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）とが所定距離以内に近接しているか否かを、全ての添字ｉ，添字ｊの組み合わせについて判定する。所定距離以内であるときはステップＳ８０に進み、それ以外のときは、判定する領域を変更してステップＳ７８を繰り返す。

（ステップＳ８０）ステップＳ７８で所定距離以内と判定されたときに、座標値（ＦＸｉ，ＦＹｉ）に対応する矩形領域Ｒｉと座標値（ＨＸｊ，ＨＹｊ）に対応する領域Ｈｊ'が同一移動物体であると判定されて、２つの検出結果を紐付ける。また、ＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｊ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を記憶する。なお、ステップＳ７８とステップＳ８０は、検出された全ての物体に対して繰り返して実行する。ここで、同一移動物体であると判定された矩形領域Ｒｉと領域Ｘｊ'は、添字ｋ（ｋ＝１，２，…）を用いて、矩形領域Ｒｋ（Ｒｉ）と領域Ｘｋ'（Ｘｊ'）は同じ移動物体を表す領域であるとして紐付けられて記憶される。すなわち、矩形領域Ｒｉを代表する座標値（ＦＸｉ，ＦＹｉ）は座標値（ＦＸｋ，ＦＹｋ）として記憶され、領域Ｘｊ'を代表する座標値（ＨＸｊ，ＨＹｊ）は座標値（ＨＸｋ，ＨＹｋ）として記憶される。その後、メインルーチン（図１４）へ戻る。

（移動物体位置特定処理の流れの説明）
図１４のステップＳ２０で行われる移動物体位置特定処理の流れについて、図１８のフローチャートを用いて説明する。なお、移動物体位置特定処理は、図３に示した移動物体位置特定部６２において行われる。

（ステップＳ９０）検出物体判定処理によって同一移動物体と判定された移動物体の情報を読み出す。

（ステップＳ９２）同一移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。

（ステップＳ９４）矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を読み出す。

（ステップＳ９６）座標値ｓｘｋ，ｅｘｋから、移動物体の画像上の幅ｗｋを算出する。

（ステップＳ９８）座標値（ＨＸｋ，ＨＹｋ）と移動物体の画像上の幅ｗｋから、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。

（ステップＳ１００）移動物体の実際の幅Ｗｋと、移動物体までの距離Ｄｋと、ＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を、検出された移動物体の位置情報として登録する。なお、ステップＳ９０からステップＳ１００の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）へ戻る。

（実施例１の効果の説明）
このように構成された実施例１に係る車両挙動制御装置１００ａによれば、車両１０に搭載された後方カメラ１２（画像取得部）が、車両１０の周囲を撮像した原画像Ｉ（ｘ，ｙ，ｔ）を取得して、動き領域検出部５４（第１物体検出部）が、原画像Ｉ（ｘ，ｙ，ｔ）の中から物体を検出するとともに、差分演算部５８（第２物体検出部）が、俯瞰画像生成部５６で生成された、車両１０を俯瞰した俯瞰画像Ｊ（ｘ，ｙ，ｔ）の中から物体を検出し、検出物体判定部６０が、動き領域検出部５４で検出された物体と差分演算部５８で検出された物体が所定距離以内に近接しているときに、同一移動物体であると判定して、移動物体位置特定部６２が、車両１０から動き領域検出部５４または差分演算部５８によって検出された物体までの距離Ｄｋと物体の横方向位置ＦＸｋと、動き領域検出部５４によって検出された物体の実際の幅Ｗｋによって移動物体の位置を特定するため、測距センサ等を追加することなく、後方カメラ１２で撮像された画像のみを用いて、移動物体の横方向位置ＦＸｋと幅Ｗｋと車両１０から移動物体までの距離Ｄｋをより高い精度で確実に検出することができる。

また、このように構成された実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面から垂直に起立した平面に投影した平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）の中から物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正して物体を検出することができる。

そして、このように構成された実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から算出されたオプティカルフローに基づいて物体を検出するため、物体の移動に伴って発生した移動領域を確実に検出することができる。

さらに、このように構成された実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、物体として歩行者および車両１０を検出するため、車両１０の移動の際に障害となる可能性が高い物体を確実に検出することができる。

また、このように構成された実施例１に係る車両挙動制御装置１００ａによれば、差分演算部５８（第２物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）からそれぞれ生成された複数の俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ），Ｊ（ｘ，ｙ，ｔ）間のフレーム差分の結果に基づいて物体を検出するため、物体の接地点の位置を簡便かつ確実に検出することができる。

そして、このように構成された実施例１に係る車両挙動制御装置１００ａによれば、車両用外界認識装置５０ａの認識結果に基づいて車両１０の制駆動力制御を行うため、例えば、駐車時に車両１０の挙動を確実に制御して、移動物体に接触させることなく駐車動作を行わせることができる。

（この実施の形態全体の作用効果の説明）
（作用効果 １）車両用外界認識装置５０ａでは、車両１０に搭載された画像取得部５２が車両１０の周囲の画像を取得する。俯瞰画像生成部５６は、画像取得部５２で取得した画像から、車両１０を俯瞰した俯瞰画像を生成する。物体検出部（差分演算部５８）は、時間差を有して取得された複数枚の俯瞰画像の中から物体を検出する。そして、差分領域検証部２０３（実施例の第２物体検証部、または、請求項の物体検証部）が、物体検出部（差分演算部５８）で物体が検出された複数枚の俯瞰画像、または、この俯瞰画像と対応する画像取得部５２の画像（原画像）を変換してなる複数枚の平面投影画像の差分量によって物体が「見かけの動き」であるか否かを検証する。これにより、俯瞰画像から検出された物体を平面投影画像の状態で検証して、物体に含まれている「見かけの動き」を検出することができる。よって、物体検出部（差分演算部５８）で検出した物体における誤判断の発生をなくすことが可能になる。

（作用効果 ２）第２の物体検出部（動き領域検出部５４）が、画像取得部５２で時間差を有して取得した複数枚の画像の中から物体を検出するようにしても良い。第２の物体検証部（動き領域検証部２０２（第１物体検証部））は、第２の物体検出部（動き領域検出部５４）で検出した物体の動き情報と（車両１０の周囲の環境の）輝度情報とに基づいて、物体が「見かけの動き」であるか否かを判定するようにしても良い。これにより、画像取得部５２で取得した画像から物体の動き情報と輝度情報とに基づいて検出された物体に含まれている「見かけの動き」を検出することができる。よって、第２の物体検出部（動き領域検出部５４）で検出した物体における誤判断の発生をなくすことが可能になる。

（作用効果 ３）物体検証部（差分領域検証部２０３（第２物体検証部））では、結果判定部２０３ｅが、物体検出部（差分演算部５８（第２物体検出部））で検出した物体から、検証によって発見された「見かけの動き」を除外するようにしても良い。そして、第２の物体検証部（動き領域検証部２０２（第１物体検証部））では、水蒸気判定手段２０２ｃ（第２の結果判定部）が、第２の物体検出部（動き領域検出部５４（第１物体検出部））で検出した物体から、判定によって発見された「見かけの動き」を除外するようにしても良い。これにより、異なる２種類の手法を用いて検出された物体に含まれた「見かけの動き」を、それぞれ除外することで、「見かけの動き」の混入をほぼ確実になくすことが可能になる。

（作用効果 ４）物体検証部（差分領域検証部２０３（第２物体検証部））では、差分処理部２０３ｂが、複数枚の平面投影画像の差分処理を行い、矩形枠設定部２０３ｃが、差分処理部２０３ｂで得られた画像（差分画像）における物体が検出された位置に、人間の大きさの矩形枠を設定するようにしても良い。これにより、検出された物体に対して人間の大きさを基準にした差分検証を行わせることができる。

（作用効果 ５）物体検証部（差分領域検証部２０３（第２物体検証部））では、投影画像生成部２０３ａによって、歪が補正された平面投影画像を生成するようにしても良い。これにより、歪のない平面投影画像を使って「見かけの動き」をより正確に判断することができる。

本実施の形態に係る車両用外界認識装置５０ｂを用いた車両挙動制御装置１００ｂの別の具体的な実施例について、図面（図１９～図２１）を参照して説明する。

（実施例２の機能構成の説明）
本実施例２は、車両用外界認識装置５０ｂを、車両１０の後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両１０に制動をかけて停止させる車両挙動制御装置１００ｂに適用したものである。

図１９は、実施例２に係る車両挙動制御装置１００ｂの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｂは、前述した車両挙動制御装置１００ａが有する車両用外界認識装置５０ａ（図３）の代わりに車両用外界認識装置５０ｂを有している。

車両用外界認識装置５０ｂの内部構成は、車両用外界認識装置５０ａの内部構成とほぼ同様であるが、動き領域検出部５５（第１物体検出部）の内部構成と移動物体位置特定部６３の内部構成のみが異なっている。以下、動き領域検出部５５の内部構成と移動物体位置特定部６３の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明を省略する。

（歪曲補正方法の説明）
図２０は、車両挙動制御装置１００ｂに実装された動き領域検出部５５（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５５は、原画像Ｉ（ｘ，ｙ，ｔ）を、路面に垂直に立てた仮想的な円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像、図５Ｃ）に変換する円筒面歪み補正部５４ｅ（歪み補正部）と、時刻ｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と時刻ｔ-Δｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ-Δｔ）からオプティカルフローを検出するオプティカルフロー検出部５４ｂと、時刻ｔ-Δｔから時刻ｔまでの間の車両１０の車輪速と操舵角の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー算出部５４ｃと、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと車両挙動フロー算出部５４ｃで算出されたオプティカルフローに基づいて物体を検出する物体検出部５４ｄとからなる。

円筒面歪み補正部５４ｅは、観測された原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を取り除いて補正する機能を有する。具体的には、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立して、後方カメラ１２の焦点位置を中心とする円弧上に形成された仮想的な円筒面に投影して、図５Ｃに示すような円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）を生成する。この仮想的な円筒面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、歩行者Ｘ２は直立した状態に変換される。そして、この円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）から歩行者を検出することによって、歩行者の位置と幅を正確に特定することができる。

なお、実施例１で説明した車両挙動制御装置１００ａでは、同様の投影処理を行って平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を生成したが、図５Ｂと図５Ｃを比較するとわかるように、いずれの投影処理を行っても歪曲が取り除かれて、歩行者が直立した画像が得られる。なお、図５Ｃに示す円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較すると、仮想面に投影される際の倍率が異なるため、円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）にあっては、画像の辺縁部において歩行者がより小さく投影される。しかし、円筒面に投影しているため、物体の上下方向の形状は保持されて、歩行者は歩行者の形状を保って補正される。すなわち、歩行者の検出性能が悪化することはない。また、図５Ｂと図５Ｃを比較すると、歩行者の足元位置が異なっているが、これは投影方法の違いによって発生する現象であって、車両と物体の距離は、原画像から生成した俯瞰画像に基づいて算出されるため、物体の検出性能への影響はない。

すなわち、実施例１で説明した平面投影と本実施例２で説明する円筒面投影のいずれを用いても、原画像の歪曲を補正することができる。また、実際の投影処理は、予め生成された歪み補正テーブルを用いて行うことができるため、いずれの投影方法を用いても処理に要する時間は変わらない。よって、平面投影と円筒面投影とは、ほぼ同様の機能が得られるため、狭義の平面投影画像に円筒面投影画像を含めたものを広義の平面投影画像として、両者をほぼ同じに取り扱うことができる。なお、円筒面投影を用いると、平面投影に比べて広い視野の情報を画像化することができるため、広視野の情報が必要なアプリケーションに対しては、円筒面投影がより有利な歪曲補正方法である。

（移動物体位置の特定方法の説明）
移動物体位置特定部６３で行われる物体位置特定方法について、実施例１との違いに着目して説明する。まず、先述した移動物体判定の結果、同一移動物体と判定されて検出物体判定部６０に記憶された、各移動物体を示す矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）と、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）がそれぞれ読み出される。

次に、接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）から移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する（図１３）。

移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）は、移動物体の接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、後方カメラ１２の光学パラメータである焦点距離ｆを用いて算出することができる。具体的には、例えば、ＳＸｋ＝ｓｘｋ＊ＨＹｋ／ｆ，ＥＸｋ＝ｅｘｋ＊ＨＹｋ／ｆによって算出することができる。

このようにして算出された移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）から、左右端の位置ＳＸｋ，ＥＸｋの中点として移動物体の実際の横方向位置ＦＸｋ（ｋ＝１，２，…）を算出することができる。さらに、移動物体の実際の幅Ｗｋを算出することができる。なお、このとき、移動物体までの距離Ｄｋも算出しておく。

具体的には、ＦＸｋ＝（ＳＸｋ＋ＥＸｋ）／２，Ｗｋ＝ＥＸｋ－ＳＸｋによって、それぞれ算出することができる。また、距離Ｄｋは実施例１で説明した通り、座標値（ＨＸｋ，ＨＹｋ）を用いて算出する。

このようにして算出された移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）は、移動物体位置特定部６３に記憶される。

すなわち、実施例１では、画像上の移動物体の幅と移動物体の接地点の位置座標から移動物体の実際の幅を算出したが、本実施例２では、画像上の移動物体の左右端の位置と移動物体の接地点の位置座標から移動物体の実際の幅を算出する点が異なっている。いずれの方法を用いても移動物体の位置を確実に特定することができるが、移動物体の左右端の位置を用いる実施例２の方法によると、移動物体の横方向の位置精度をより向上させることができる。

（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ｂで行われる一連の処理は、図１４のフローチャートとほぼ同じ流れで行われる。すなわち、車両挙動制御装置１００ａで行われる処理の流れを示すフローチャートは、実施例２に示した車両挙動制御装置１００ｂの処理の大まかな流れを示すためにも流用できるため、実施例２のメインルーチンは図１４で表されるものとして以後の説明を行う。

なお、図１４に示した各処理の概要は実施例１で説明した通りであるため、再度の説明は省略し、実施例１と異なる部分についてのみ説明する。

（オプティカルフローに基づく移動物体検出処理の流れの説明）
本実施例２において、図１４のステップＳ１２で行うオプティカルフローに基づく移動物体検出処理の流れは実施例１と同じであるが、歪曲補正処理（図１５ＡのステップＳ３０）の内容のみが異なる。

すなわち、実施例２では、図２０に示す円筒面歪み補正部５４ｅにおいて、円筒面投影による原画像Ｉ（ｘ，ｙ，ｔ）の歪曲補正を行う。

（移動物体位置特定処理の流れの説明）
図１４のステップＳ２０で行われる移動物体位置特定処理の流れは、実施例１（図１８）と異なるため、図２１のフローチャートを用いて説明する。なお、移動物体位置特定処理は、図１９に示した移動物体位置特定部６３において行われる。

（ステップＳ１１０）検出物体判定処理によって同一移動物体と判定された移動物体の情報を読み出す。

（ステップＳ１１２）同一移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。

（ステップＳ１１４）矩形領域Ｒｉの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）を読み出す。

（ステップＳ１１６）座標値（ＨＸｋ，ＨＹｋ）と座標値ｓｘｋ，ｅｘｋから、移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する。

（ステップＳ１１８）移動物体の横方向位置ＦＸｋ（ｋ＝１，２，…）と、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。

（ステップＳ１２０）移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）を、検出された移動物体の位置情報として登録する。なお、ステップＳ１１０からステップＳ１２０の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）へ戻る。

（実施例２の効果の説明）
このように構成された実施例２に係る車両挙動制御装置１００ｂによれば、動き領域検出部５５（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面と直交する円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像）の中から移動物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正することができるとともに、より広視野の画像情報を得ることができる。すなわち魚眼レンズのように画角の広いレンズが装着された後方カメラ１２を用いたときに、歪曲補正を行った後でもより広範囲の画像を得ることができる。

本実施の形態に係る車両用外界認識装置５０ｃを用いた車両挙動制御装置１００ｃの別の具体的な実施例について、図面（図２２～図２８）を参照して説明する。

（実施例３の機能構成の説明）
本実施例３は、車両用外界認識装置５０ｃを、車両１０の後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両１０に制動をかけて停止させる車両挙動制御装置１００ｃに適用したものである。

図２２は、実施例３に係る車両挙動制御装置１００ｃの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｃは、車両用外界認識装置５０ｃと車両挙動制御部８０からなり、前述した車両挙動制御装置１００ａ，１００ｂとは、動き領域検出部５７（第１物体検出部）の内部構成と、検出物体判定部６１の内部構成と、移動物体位置特定部６５の内部構成とが異なっている。以下、動き領域検出部５７と、検出物体判定部６１と、移動物体位置特定部６５の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明を省略する。

動き領域検出部５７（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から物体の検出を行う。

図２３は、動き領域検出部５７（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５７は、図４に示した実施例１の動き領域検出部５４の構成に加えて、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって歩行者を検出する歩行者パターン検出部５７ａと、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって車両を検出する車両パターン検出部５７ｂを有する。このような構成にすることによって、原画像Ｉ（ｘ，ｙ，ｔ）の中から検出された物体の種別を特定して、物体までの距離の検出精度を向上させることができる。詳しくは後述する。

検出物体判定部６１は、動き領域検出部５７（第１物体検出部）で検出された物体と差分演算部５８（第２物体検出部）で検出された物体が同一の物体であるか否かを判定する。なお、動き領域検出部５７（第１物体検出部）で検出された物体として、歩行者パターン検出部５７ａの検出結果と車両パターン検出部５７ｂの検出結果が併せて参照される点が、実施例１，実施例２とは異なる。

移動物体位置特定部６５は、検出された移動物体の存在位置を特定する。その際、検出された移動物体の種別に応じて、移動物体までの距離の算出方法を変更する点が、実施例１，実施例２とは異なる。詳細は後述する。

（歩行者パターン，車両パターン検出方法の説明）
動き領域検出部５７（第１物体検出部）において行われる、原画像Ｉ（ｘ，ｙ，ｔ）から歩行者パターンと車両パターンを検出する方法について説明する。

歩行者パターンと車両パターンの識別は、一般的に行われているパターンマッチングによって行う。より具体的には、テンプレートマッチング，輝度勾配の分布ヒストグラムを用いたパターン識別法（ＨＯＧ），ニューラルネットワークを用いたパターン識別等のいずれの方法を用いて行っても良い。

なお、パターンマッチングを効率的に行うために、原画像Ｉ（ｘ，ｙ，ｔ）から生成した解像度の低いピラミッド画像を用いるのが望ましい。

検出された歩行者パターンおよび車両パターンは、オプティカルフローに基づいて検出された物体と同様の形式で動き領域検出部５７によってメモリ２６に記憶される。すなわち、検出された歩行者パターンまたは車両パターンに外接する矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれ記憶される。また、このとき、物体の位置を代表する点Ｆｉ（図７）の座標を算出して同時に記憶しておいてもよい。

（移動物体判定方法の説明）
検出物体判定部６１は、オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分による物体の検出結果に加えて、歩行者パターンの検出結果と車両パターンの検出結果を用いて、検出された物体が同一移動物体であるか否かを特定する。詳細な処理の流れは後述する。

（移動物体位置の特定方法の説明）
移動物体位置特定部６５は、検出物体判定部６１で同一移動物体であると判定された移動物体の存在位置を特定する。その際、検出された移動物体が歩行者であるか車両であるかによって、移動物体までの距離の計測方法を変更する。

具体的には、検出された移動物体が車両であるときは、オプティカルフロー検出部５４ｂ（図２３）の検出結果に基づいて移動物体までの距離を算出する。そして、検出された移動物体が歩行者であるときは、差分演算部５８（図２２）の検出結果に基づいて移動物体までの距離を算出する。

車両のように、路面に接する接地点（タイヤ）と、後方カメラ１２に最も接近した近接点（バンパー）とが異なる物体（オーバーハングがある物体）にあっては、俯瞰画像の差分結果から算出された接地点（例えば、図１２ＣのＨ１（ｈｘ1，ｈｙ１））は、必ずしも移動物体までの距離を表していない。

接地点と近接点が異なる例を、図２４Ａから図２４Ｃを用いて説明する。図２４Ａは、後方カメラ１２で取得された原画像Ｉ（ｘ，ｙ，ｔ）の一例である。原画像Ｉ（ｘ，ｙ，ｔ）の中には、歩行者Ｘ１と他車両Ｙ１が写っている。歩行者Ｘ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ１と移動物体の位置を表す点Ｆ１が重畳されている。また、他車両Ｙ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ２と移動物体の位置を表す点Ｆ２が重畳されている。

図２４Ｂは、原画像Ｉ（ｘ，ｙ，ｔ）を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した例である。歩行者Ｘ１は領域Ｘ１'に変換され、他車両Ｙ１は領域Ｙ１'に変換される。そして、歩行者Ｘ１が変換された領域Ｘ１'からは接地点Ｈ１が検出されて、他車両Ｙ１が変換された領域Ｙ１'からは接地点Ｈ２が検出される。

そして、後方カメラ位置Ｃと領域Ｘ１'の接地点Ｈ１の距離が、車両１０から歩行者Ｘ１までの距離として算出される。また、後方カメラ位置Ｃと領域Ｙ１'の接地点Ｈ２の距離が、車両１０から他車両Ｙ１までの距離として算出される。

このとき、歩行者Ｘ１から検出された点Ｆ１と接地点Ｈ１は同一点を表している。一方、他車両Ｙ１から検出された点Ｆ２と接地点Ｈ２は同一点を表していない。すなわち、図２４Ｃに示すように、点Ｆ２は他車両Ｙ１のバンパー前端の位置を表しているのに対し、接地点Ｈ２は他車両Ｙ１のタイヤ接地点の位置を表している。

本実施例３は、このようにして発生する可能性がある移動物体の位置の算出誤差を低減するために、原画像から車両が検出されたときには、原画像からオプティカルフローに基づいて検出された移動物体の位置を表す点Ｆ２に基づいて移動物体までの距離を算出する。一方、原画像から歩行者が検出されたときには、俯瞰画像からフレーム差分によって検出された移動物体の接地点Ｈ１に基づいて移動物体までの距離を算出する。

以下、図２４Ｄと図２４Ｅを用いて、移動物体の存在位置と移動物体の幅を特定する方法について具体的に説明する。

図２４Ｄは、移動物体として歩行者が検出されたときに、その存在位置と幅を特定する方法を示す図である。

すなわち、俯瞰画像の差分に基づいて物体（領域Ｘｉ'）が検出されて、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されないとき（図の上段）は、俯瞰画像の差分に基づいて得た領域Ｘｉ'の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）または（ＨＸｋ，ＨＹｋ）から物体までの距離ＤｉまたはＤｋを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置から移動物体の横方向位置ＦＸｋを算出する。さらに、距離Ｄｉと歩行者パターンの幅ｗｐまたはｗｋから移動物体の幅ＷｉまたはＷｋを算出する。

また、俯瞰画像の差分に基づいて物体（領域Ｘｉ'）が検出されて、なおかつ、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されたとき（図の下段）は、俯瞰画像の差分に基づいて得た領域Ｘｉ'の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）または（ＨＸｋ，ＨＹｋ）から距離ＤｉまたはＤｋを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）または（ＦＸｋ，ＦＹｋ）から移動物体の横方向位置ＦＸｉまたはＦＸｋを算出する。さらに、距離ＤｉまたはＤｋと歩行者パターンの幅ｗｉまたはｗｋから移動物体の幅ＷｉまたはＷｋを算出する。

次に、図２４Ｅは、物体として車両が検出されたときに、その存在位置と幅を特定する方法を示す図である。

すなわち、俯瞰画像の差分に基づいて物体（領域Ｘｉ'）が検出されて、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されないとき（図の上段）は、俯瞰画像の差分に基づいて得た領域Ｘｉ'の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）または（ＨＸｋ，ＨＹｋ）から距離ＤｉまたはＤｋを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置から移動物体の横方向位置ＦＸｉまたはＦＸｋを算出する。さらに、距離Ｄｉと車両パターンの幅ｗｉまたはｗｋから移動物体の幅ＷｉまたはＷｋを算出する。

また、俯瞰画像の差分に基づいて物体（領域Ｘｉ'）が検出されて、なおかつ、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されたとき（図の下段）は、俯瞰画像の差分に基づいて得た領域Ｘｉ'の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）または（ＨＸｋ，ＨＹｋ）から距離ＤｉまたはＤｋを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）または（ＦＸｋ，ＦＹｋ）から移動物体の横方向位置ＦＸｉまたはＦＸｋを算出する。さらに、距離ＤｉまたはＤｋと車両パターンの幅ｗｉまたはｗｋから移動物体の幅ＷｉまたはＷｋを算出する。

このように、実施例３にあっては、移動物体として歩行者が検出されたときと、車両が検出されたときとで、移動物体までの距離，移動物体の横方向位置，移動物体の幅の算出方法を変更している。

（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ｃで行われる一連の処理の流れについて、図２５のフローチャートと図２２，図２３の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。

（ステップＳ１３０）後方カメラ１２で車両１０の後方の画像を取得する。

（ステップＳ１３２）動き領域検出部５７（第１物体検出部）において、オプティカルフローに基づく物体検出処理を行う。

（ステップＳ１３３）動き領域検証部２０２（第１物体検証部）において「見かけの動き」の除去処理を行う。なお、この処理は、ステップＳ１３８の前までに行われれば良い。

（ステップＳ１３４）動き領域検出部５７（第１物体検出部）において、歩行者パターン検出処理を行う。

（ステップＳ１３６）動き領域検出部５７（第１物体検出部）において、車両パターン検出処理を行う。

（ステップＳ１３８）俯瞰画像生成部５６において俯瞰画像生成処理を行う。

（ステップＳ１４０）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく物体検出処理を行う。

（ステップＳ１４１）差分領域検証部２０３（第２物体検証部）において「見かけの動き」の除去処理を行う。

（ステップＳ１４２）検出物体判定部６１において検出物体判定処理を行う。

（ステップＳ１４４）移動物体位置特定部６５において移動物体位置特定処理を行う。

（ステップＳ１４６）車両挙動制御部８０において、車両１０の挙動制御を行う。

（歩行者パターン，車両パターン検出処理の流れの説明）
図２５のステップＳ１３４で行われる歩行者パターン検出処理、およびステップＳ１３６で行われる車両パターン検出処理の流れについて、図２６のフローチャートを用いて説明する。なお、図２５のフローチャートでは、歩行者パターン検出処理（ステップＳ１３４）と車両パターン検出処理（ステップＳ１３６）を分けて記載したが、実際は同じ原画像Ｉ（ｘ，ｙ，ｔ）を対象にした処理であるため、図２６に示すように一連の処理として実行する。

（ステップＳ１５０）原画像Ｉ（ｘ，ｙ，ｔ）からピラミッド画像を生成する。

（ステップＳ１５２）生成したピラミッド画像に対して歩行者パターンを検出する歩行者パターン検出処理を実行する。

（ステップＳ１５４）生成したピラミッド画像に対して車両パターンを検出する車両パターン検出処理を実行する。

（ステップＳ１５６）検出された歩行者パターンについて、同じ歩行者を示している複数の検出パターンを統合する。同様に、検出された車両パターンについて、同じ車両を示している複数の検出パターンを統合する。

（ステップＳ１５８）検出された歩行者パターン，車両パターンの登録処理を行う。具体的には、検出されたパターンに外接する矩形領域Ｒｉの頂点座標と、矩形領域Ｒｉの下辺の中点である点Ｆｉ（図７の点Ｆ１に対応する点）の座標が算出されて記憶される。その後メインルーチン（図２５）へ戻る。

（検出物体判定処理の流れの説明）
図２５のステップＳ１４２で行われる検出物体判定処理の流れについて、図２７Ａから図２７Ｃのフローチャートを用いて説明する。

（ステップＳ１６０）ステップＳ１４０の処理によって記憶された接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の情報を読み出す。

（ステップＳ１６２）接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の実空間座標（ＨＸｊ，ＨＹｊ）を算出する。なお、実空間座標（ＨＸｊ，ＨＹｊ）が予め記憶されているときは、記憶された情報を読み出す。

（ステップＳ１６４）ステップＳ１３２の処理によって記憶された点Ｆｉ（ｆｘｉ，ｆｙｉ）の情報を読み出す。

（ステップＳ１６６）点Ｆｉ（ｆｘｉ，ｆｙｉ）の実空間座標（ＦＸｉ，ＦＹｉ）を算出する。

（ステップＳ１６８）図２７Ｂに示すフローチャートを実行する。

（ステップＳ１７０）図２７Ｃに示すフローチャートを実行する。なお、ステップＳ１６４からステップＳ１７０は、全ての矩形領域Ｒｉに対して繰り返して実行する。また、ステップＳ１６０からステップＳ１７０は、全ての領域Ｘｊ'に対して繰り返して実行する。その後、メインルーチン（図２５）へ戻る。

以下、図２７ＡのステップＳ１６８で行う処理の流れを、図２７Ｂを用いて説明する。

（ステップＳ１８０）歩行者検出結果を読み出す。

（ステップＳ１８２）歩行者の位置を表す点Ｆｐ（ｆｘｐ，ｆｙｐ）を読み出す。

（ステップＳ１８４）点Ｆｐ（ｆｘｐ，ｆｙｐ）の実空間座標（Ｆｘｐ，Ｆｙｐ）を算出する。

（ステップＳ１８６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｐの実空間座標（Ｆｘｐ，Ｆｙｐ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１８８に進み、それ以外のときはステップＳ１８２へ戻り、異なる歩行者検出結果に対する処理を行う。

（ステップＳ１８８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１９０に進み、それ以外のときはステップＳ１９２へ進む。

（ステップＳ１９０）オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分に基づく物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１によってメモリ２６に記憶される。なお、ステップＳ１８２からステップＳ１９０は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）へ戻る。

（ステップＳ１９２）俯瞰画像の差分に基づく物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１によってメモリ２６に記憶される。なお、ステップＳ１８２からステップＳ１９２は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）へ戻る。

以下、図２７ＡのステップＳ１７０で行う処理の流れを、図２７Ｃを用いて説明する。

（ステップＳ２００）車両検出結果を読み出す。

（ステップＳ２０２）歩行者の位置を表す点Ｆｖ（ｆｘｖ，ｆｙｖ）を読み出す。

（ステップＳ２０４）点Ｆｖ（ｆｘｖ，ｆｙｖ）の実空間座標（ＦＸｖ，ＦＹｖ）を算出する。

（ステップＳ２０６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｖの実空間座標（ＦＸｖ，ＦＹｖ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２０８に進み、それ以外のときはステップＳ２０２へ戻り、異なる車両検出結果に対する処理を行う。

（ステップＳ２０８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２１０に進み、それ以外のときはステップＳ２１２へ進む。

（ステップＳ２１０）オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分に基づく物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１によってメモリ２６に記憶される。なお、ステップＳ２０２からステップＳ２１０は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）へ戻る。

（ステップＳ２１２）俯瞰画像の差分に基づく物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１によってメモリ２６に記憶される。なお、ステップＳ２０２からステップＳ２１２は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）へ戻る。

（移動物体位置特定処理の流れの説明）
図２５のステップＳ１４４で行われる移動物体位置特定処理の流れについて、図２８のフローチャートを用いて説明する。

（ステップＳ２２０）前述した検出物体判定処理によって統合した移動物体統合結果を検出物体判定部６１から読み出す。

（ステップＳ２２２）統合した移動物体が歩行者であるか否かを判定する。歩行者であるときはステップＳ２２４に進み、それ以外のときはステップＳ２２６へ進む。

（ステップＳ２２４）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，歩行者検出結果をそれぞれ読み出す。

（ステップＳ２２６）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，車両検出結果をそれぞれ読み出す。

（ステップＳ２２８）前述した図２４Ｄ，図２４Ｅのテーブルに基づいて、移動物体までの距離，横方向位置，幅を算出して登録する。なお、ステップＳ２２２からステップＳ２２８は、全ての移動物体統合結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。

（実施例３の効果の説明）
このように構成された実施例３に係る車両挙動制御装置１００ｃによれば、動き領域検出部５７（第１物体検出部）は、さらに原画像Ｉ（ｘ，ｙ，ｔ）に対してパターンマッチングを行うことによって物体を検出するため、原画像が有している物体の形状特徴や濃淡特徴を利用することができ、これによって歩行者や車両１０をより一層確実に検出することができる。

そして、このように構成された実施例３に係る車両挙動制御装置１００ｃによれば、検出物体判定部６１は、さらに、移動物体が歩行者であるか車両１０であるかを判別して、移動物体位置特定部６５は、移動物体が歩行者であるときには、差分演算部５８（第２物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出し、移動物体が車両１０であるときには、動き領域検出部５７（第１物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出するため、移動物体の種類に応じて、より精度の高い検出方法によって検出された結果を利用することができるため、移動物体の検出を高精度で行うことができる。

以上、実施例を図面により詳述したが、実施例は例示にしか過ぎないものであるため、実施例の構成にのみ限定されるものではなく、要旨を逸脱しない範囲の設計の変更等があっても、含まれることは勿論である。

例えば、実施例１から実施例３では、物体として歩行者と車両１０を検出する例を示したが、物体の種類は歩行者と車両１０に限定されるものではない。すなわち、路面から高さを有して、車両１０と接触する可能性がある物体であれば、車両用外界認識装置５０ａ～５０ｃを用いて検出することができる。

また、実施例１から実施例３では、車両１０の後端に装着した後方カメラ１２などのカメラを用いた例を説明したが、カメラの設置位置は車両１０の後端に限定されるものではない。また、使用するカメラも１台に限定されるものではない。すなわち、車両１０の前端，左右端，後端にそれぞれカメラを設置しても、実施例１から実施例３と同様の装置構成を実現することができる。

１０・・・・車両
１２・・・・後方カメラ
２０・・・・車輪速センサ
２２・・・・操舵角センサ
５０ａ・・・車両用外界認識装置
５０ｂ・・・車両用外界認識装置
５０ｃ・・・車両用外界認識装置
５２・・・・画像取得部
５４・・・・動き領域検出部（実施例の第１物体検出部、または、請求項の第２の物体検出部）
５６・・・・俯瞰画像生成部
５８・・・・差分演算部（実施例の第２物体検出部、または、請求項の物体検出部）
６０・・・・検出物体判定部
６２・・・・移動物体位置特定部
６４・・・・車両情報取得部
８０・・・・車両挙動制御部
８２・・・・接触判定部
８４・・・・警報出力部
８６・・・・制動制御部
１００ａ・・車両挙動制御装置
１００ｂ・・車両挙動制御装置
１００ｃ・・車両挙動制御装置
２０２・・・動き領域検証部（実施例の第１物体検証部、または、請求項の第２の物体検証部）
２０２ｃ・・水蒸気判定手段（第２の結果判定部）
２０３・・・差分領域検証部（実施例の第２物体検証部、または、請求項の物体検証部）
２０３ａ・・投影画像生成部
２０３ｂ・・差分処理部
２０３ｃ・・矩形枠設定部
２０３ｅ・・差分割合算出部
２０３ｅ・・結果判定部

Claims (5)

1. 車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、
   前記画像取得部で取得した前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
   時間差を有して取得された複数枚の前記俯瞰画像の中から物体を検出する物体検出部と、
   前記物体検出部で前記物体が検出された複数枚の前記俯瞰画像、または、該俯瞰画像と対応する前記画像取得部の前記画像を、前記物体を水平方向に見た平面投影画像に変換する投影画像生成部と、
   前記投影画像生成部で変換した複数枚の前記平面投影画像の差分量によって前記物体が見かけの動きであるか否かを検証する物体検証部と、を有することを特徴とする車両用外界認識装置。
2. 請求項１に記載の車両用外界認識装置であって、
   前記画像取得部で時間差を有して取得した複数枚の前記画像の中から物体を検出する第２の物体検出部と、
   前記第２の物体検出部で検出した前記物体の動き情報と輝度情報とに基づいて前記物体が前記見かけの動きであるか否かを判定する第２の物体検証部と、を有することを特徴とする車両用外界認識装置。
3. 請求項２に記載の車両用外界認識装置であって、
   前記物体検証部は、前記物体検出部で検出された前記物体から、検証によって得た前記見かけの動きを除外する結果判定部を有すると共に、
   前記第２の物体検証部は、前記第２の物体検出部で検出された前記物体から、判定した前記見かけの動きを除外する第２の結果判定部を有することを特徴とする車両用外界認識装置。
4. 請求項１ないし請求項３のいずれか１項に記載の車両用外界認識装置であって、
   前記物体検証部は、
   複数枚の前記平面投影画像の差分処理を行う差分処理部と、
   前記差分処理部で得られた画像における前記物体が検出された位置に、人間の大きさの矩形枠を設定する矩形枠設定部と、を有することを特徴とする車両用外界認識装置。
5. 請求項１ないし請求項４のいずれか１項に記載の車両用外界認識装置であって、
   前記物体検証部は、歪が補正された前記平面投影画像を生成する前記投影画像生成部を有することを特徴とする車両用外界認識装置。