JP5439876B2 - 画像処理装置および方法、並びに、プログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、移動ステレオ方式により物体までの距離を計測する場合に用いて好適な画像処理装置および方法、並びに、プログラムに関する。

従来、自動車などの車両の前方または後方に取り付けられたカメラで撮像した画像を用いて、車両の前方または後方に存在する障害物を検出し、検出結果に応じて運転者への警告などを行うシステムが開発されている。

このようなシステムでは、車両に設置された１台のカメラにより異なる時間に異なる位置において撮像した２つの画像を用いて、画像に写っている物体の３次元の位置を三角測量の原理により検出する移動ステレオ方式が、よく用いられる。

ここで、図１を参照して、車両に設置された１台のカメラにより、時刻ｔに撮像された画像Ｉ１と、時刻ｔから所定の時間Δｔだけ経過した時刻ｔ＋１に撮像された画像Ｉ２の２つの画像を用いて、移動ステレオ方式により３次元計測を行う場合について考える。時刻ｔと時刻ｔ＋１の間に車両が移動し、画像Ｉ１を撮像したときのカメラの光学中心（optical center）と画像Ｉ２を撮像したときのカメラの光学中心とが離れている場合、画像Ｉ１上の物体Ｑの位置Ｐ１（ｘl，ｙl）と、画像Ｉ２上の物体Ｑの位置Ｐ２（ｘu，ｙu）に基づいて、ステレオカメラ方式と同様の三角測量の原理を用いて、物体Ｑの３次元の位置（Ｘ，Ｙ，Ｚ）を検出することができる。また、ここで得られたＺ軸方向の座標が、カメラ（の光学中心）から物体Ｑまでの距離となる。

より具体的には、移動ステレオ方式において、物体までの距離Ｚは、以下の式（１）により求められる。

ここで、ｆはカメラの焦点距離である。Ｂは基線長である。図１の例の場合、Ｂは、画像Ｉ１に対する光学中心と画像Ｉ２に対する光学中心との間の距離となり、時刻ｔと時刻ｔ＋１の間のカメラの移動量とほぼ等しくなる。ｄは視差である。図１の例の場合、ｄは、画像上の位置Ｐ１（ｘl，ｙl）と位置Ｐ２（ｘu，ｙu）との間の距離となる。

また、距離Ｚの計測誤差ΔＺは、以下の式（２）により求められる。

なお、２台のカメラを用いてステレオ視（ステレオカメラ方式）により物体までの距離を計測する場合も、同じ式（１）および式（２）を用いることができる。

式（２）より、カメラの移動量Ｂが大きいほど、また、物体までの距離Ｚが小さいほど、計測誤差が小さくなり、計測精度が向上することが分かる。

従って、Δｔを一定にし、一定の時間間隔で移動ステレオ方式により物体までの距離Ｚを計測する場合、車両の速度により移動量Ｂが変動するため、毎回計測精度が変動し、速度が遅くなるほど計測精度が低下してしまう。そのため、車両が物体に近づき減速した場合、計測精度が低下し、物体までの距離Ｚを誤検出する可能性が高くなる。

一方、移動量Ｂを一定にし、車両が一定の距離を進むごとに、移動ステレオ方式により物体までの距離Ｚを計測する場合、物体までの距離Ｚが遠くなるほど、計測精度が低下してしまう。また、計測精度を高くするために、移動量Ｂを長く設定した場合、車両が物体に近づき、車両と物体との間の距離Ｚが移動量Ｂより短くなると、それ以降、物体に近づいても、物体までの距離Ｚの計測が行われなくなる。そのため、例えば、車両が物体に近づいても、運転者への警告が行われず、物体に衝突してしまう危険性が高くなる。一方、これを防止するために、移動量Ｂを短く設定した場合、計測精度が低下してしまう。

そこで、あるフレーム（以下、基準フレームと称する）の画像（以下、基準画像と称する）において、物体の特徴点（以下、基準特徴点と称する）が検出された場合に、基準フレーム以降の各フレームの画像において、基準特徴点に対応する特徴点（以下、探索特徴点と称する）を探索し、基準特徴点と探索特徴点との間の距離Ｌｍ（視差ＸＭ）を求める。この距離Ｌｍを用いて算出される物体までの距離の計測誤差｜ΔＬ｜が所定の閾値以下となるまで、この処理を繰り返し、計測誤差｜ΔＬ｜が所定の閾値以下となったフレームの画像と基準画像とを用いて、物体までの距離を計測することが提案されている（例えば、特許文献１参照）。これにより、計測誤差をほぼ一定に保つことができる。

特開２００７−３２２３５７号公報

しかしながら、特許文献１に記載の発明では、物体の距離の計測に用いるフレームが見つかるまで、各フレームにおいて探索特徴点を探索する必要があり、その分処理時間が長くなっていた。

本発明は、このような状況に鑑みてなされたものであり、迅速に所望の精度で移動ステレオ方式により物体までの距離を計測できるようにするものである。

本発明の一側面の画像処理装置は、移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行う画像処理装置において、異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により物体までの距離を計測する計測手段と、計測手段により計測された物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定する設定手段と、第２の画像を撮像してから移動体が必要移動量だけ移動したときに第３の画像を撮像するように撮像装置を制御する画像取得手段とを含む。

本発明の一側面の画像処理装置においては、異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により物体までの距離が計測され、計測された物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量が設定され、第２の画像を撮像してから移動体が必要移動量だけ移動したときに第３の画像を撮像するように撮像装置が制御される。

従って、迅速に所望の精度で移動ステレオ方式により物体までの距離を計測することができる。

この移動体は、例えば、自動車、モータバイク、自転車、船舶、列車などの乗り物により構成される。この計測手段、設定手段は、例えば、CPU（Central Processing Unit）により構成される。

設定手段には、ステレオ視により対象までの距離を計測する場合の対象までの距離、対象までの距離の計測誤差、および、基線長の関係を表す関係式に、対象までの距離として計測手段により計測された物体までの距離を代入し、計測誤差に所望の値を代入することにより求められる基線長を必要移動量として設定させることができる。

これにより、迅速に所望の精度で移動ステレオ方式により物体までの距離を計測することができる。

設定手段には、複数の物体が画像内に存在する場合、移動体との間の距離が最も近い物体、移動体の進行方向に存在する物体のうち移動体との間の距離が最も近い物体、または、移動体が進行可能な領域に存在する物体のうち移動体との間の距離が最も近い物体のうちのいずれかとの間の距離に基づいて、必要移動量を設定させることができる。

これにより、移動体に衝突する危険性が高い物体までの距離を、迅速に所望の精度で移動ステレオ方式により計測することができる。

本発明の一側面の画像処理方法は、移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行う画像処理装置が、異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により物体までの距離を計測し、計測された物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定し、第２の画像を撮像してから移動体が必要移動量だけ移動したときに第３の画像を撮像するように撮像装置を制御するステップを含む。

本発明の一側面のプログラムは、移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行うコンピュータに、異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により物体までの距離を計測し、計測された物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定し、第２の画像を撮像してから移動体が必要移動量だけ移動したときに第３の画像を撮像するように撮像装置を制御するステップを含む処理を実行させる。

本発明の一側面の画像処理方法、または、本発明の一側面のプログラムを実行するコンピュータにおいては、異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により物体までの距離が計測され、計測された物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量が設定され、第２の画像を撮像してから移動体が必要移動量だけ移動したときに第３の画像を撮像するように撮像装置が制御される。

従って、迅速に所望の精度で移動ステレオ方式により物体までの距離を計測することができる。

この移動体は、例えば、自動車、モータバイク、自転車、船舶、列車などの乗り物により構成される。この画像処理装置は、例えば、CPU（Central Processing Unit）により構成される。

本発明の一側面によれば、計測された物体までの距離に応じて、次に計測するまでの移動体の移動量を設定することができる。特に、本発明の一側面によれば、迅速に所望の精度で移動ステレオ方式により物体までの距離を計測することができる。

移動ステレオ方式による３次元計測の原理について説明するための図である。 本発明を適用した障害物検出システムの第１の実施の形態を示すブロック図である。 撮像部の取り付け位置の例を示す図である。 障害物検出処理の第１の実施の形態を説明するためのフローチャートである。 ３次元計測処理の第１の実施の形態を説明するためのフローチャートである。 障害物の検出方法を説明するための図である。 障害物の危険順位の設定方法の例を説明するための図である。 障害物の危険順位の設定方法の例を説明するための図である。 障害物の危険順位の設定方法の例を説明するための図である。 障害物の危険順位の設定方法の例を説明するための図である。 障害物の危険順位の設定方法の例を説明するための図である。 障害物の検出結果の表示の例を示す図である。 障害物の検出結果の表示の他の例を示す図である。 画像を取得するタイミングについて説明するための図である。 ３次元情報の計測を行うタイミングについて説明するための図である。 本発明の効果を説明するための図である。 本発明の効果を説明するための図である。 本発明を適用した障害物検出システムの第２の実施の形態を示すブロック図である。 障害物検出処理の第２の実施の形態を説明するためのフローチャートである。 障害物属性判定処理を説明するためのフローチャートである。 障害物の属性の判定に用いる領域の分類を示す図である。 障害物の属性の判定に用いるテーブルの例を示す図である。 障害物の属性の例を示す図である。 本発明を適用した障害物検出システムの第３の実施の形態を示すブロック図である。 障害物検出処理の第３の実施の形態を説明するためのフローチャートである。 移動物検出処理を説明するためのフローチャートである。 移動物の検出方法を説明するための図である。 本発明を適用した障害物検出システムの第４の実施の形態を示すブロック図である。 障害物検出処理の第４の実施の形態を説明するためのフローチャートである。 障害物属性判定処理の第２の実施の形態を説明するためのフローチャートである。 障害物の属性の判定に用いるテーブルの他の例を示す図である。 障害物の属性の判定に用いるテーブルの他の例を示す図である。 障害物の属性の他の例を示す図である。 コンピュータの構成の例を示すブロック図である。

以下、図を参照して、本発明の実施の形態について説明する。

まず、図２乃至図１７を参照して、本発明の第１の実施の形態について説明する。

図２は、本発明を適用した障害物検出システムの第１の実施の形態を示すブロック図である。図２の障害物検出システム１０１は、自動車などの車両に設けられ、車両の周辺の障害物を検出し、運転者に通知するシステムである。障害物検出システム１０１は、撮像部１１１、画像処理部１１２、および、結果出力部１１３を含むように構成される。また、画像処理部１１２は、画像取得部１２１、記憶部１２２、障害物検出部１２３、危険順位設定部１２４、移動量検出部１２５、および、画像取得制御部１２６を含むように構成される。さらに、画像取得制御部１２６は、必要移動量設定部１４１および取得要求出力部１４２を含むように構成される。

撮像部１１１は、例えば、カメラにより構成され、自車の前方または後方を撮像できる位置に設置される。

なお、以下の説明では、図３に示されるように、障害物検出システム１０１が車両２０１に設置され、車両２０１の並進運動の方向と撮像部１１１の光軸がほぼ平行となるように、撮像部１１１が車両２０１の後方に設置されているものとする。

ここで、撮像部１１１を基準とする座標系（以下、カメラ座標系と称する）について、撮像の結果得られる画像の横方向をＸ軸、縦方向をＹ軸、画像面に垂直な方向をＺ軸とする。また、路面を基準とする座標系（以下、路面座標系と称する）について、車両２０１の並進運動の方向をＺｇ軸、Ｚｇ軸に垂直かつ路面に垂直な方向をＹｇ軸、Ｚｇ軸およびＹｇ軸に垂直な方向をＸｇ軸とする。さらに、撮像部１１１により撮像される画像の座標系（以下、画像座標系と称する）について、横方向をｘ軸、縦方向をｙ軸とする。

画像処理部１１２は、撮像部１１１により撮像された画像に基づいて、車両２０１の後方に存在する障害物の検出処理を行い、検出結果を結果出力部１１３に通知する。

具体的には、画像処理部１１２の画像取得部１２１は、画像取得制御部１２６の取得要求出力部１４２から画像の取得が要求されたとき、撮像部１１１から画像を取得し、取得した画像を、メモリにより構成される記憶部１２２に記憶させる。また、画像取得部１２１は、撮像部１１１から画像を取得したことを障害物検出部１２３に通知する。

障害物検出部１２３は、記憶部１２２に記憶されている画像を用いて、移動ステレオ方式により、車両２０１の後方の障害物の検出処理を行い、検出結果を示す障害物情報を危険順位設定部１２４に供給する。

危険順位設定部１２４は、障害物検出部１２３により検出された障害物の危険度の順位を示す危険順位を設定する。危険順位設定部１２４は、障害物検出部１２３から取得した障害物情報に、設定した各障害物の危険順位を追加し、結果出力部１１３、および、画像取得制御部１２６の必要移動量設定部１４１に供給する。

移動量検出部１２５は、外部から供給される情報に基づいて、所定のタイミングで車両２０１の移動量（＝撮像部１１１の移動量）を検出し、検出した車両２０１の移動量を画像取得制御部１２６の取得要求出力部１４２に通知する。

なお、移動量検出部１２５が、車両２０１の移動量を検出する方法は、特定の方法に限定されるものではなく、任意の方法を採用することが可能である。

例えば、車両２０１の車輪に設けられている車輪速センサから出力される車輪速パルスを取得し、取得した車輪速パルスの数に基づいて、車両２０１の移動量を検出するようにしてもよい。

また、例えば、「滝本 周平，伊藤 崇晶、“車載カメラを用いた単眼測距検証システムの開発”、技術論文集SEIテクニカルレビュー No.169、住友電工株式会社、2006年7月、p.82-87」に記載された方法などを用いて、車両２０１の周辺を撮像した画像を用いて、車両２０１の移動量を検出するようにしてもよい。

さらに、例えば、GPS（Global Positioning System）受信機などを用いて取得した位置情報に基づいて、車両２０１の移動量を検出するようにしてもよい。

画像取得制御部１２６は、画像取得部１２１が撮像部１１１から画像を取得するタイミングを制御する。

具体的には、画像取得制御部１２６の必要移動量設定部１４１は、障害物の検出結果に基づいて、移動ステレオ方式による障害物の検出に用いた２つの画像のうち後に撮像された画像の撮像位置から、次の計測に用いる画像の撮像位置までの距離（以下、必要移動量Ｂと称する）を設定する。必要移動量設定部１４１は、設定した必要移動量Ｂを取得要求出力部１４２に通知する。

取得要求出力部１４２は、移動量検出部１２５による車両２０１の移動量の検出結果に基づいて、画像取得部１２１が撮像部１１１から画像を取得してから、必要移動量設定部１４１に設定された必要移動量Ｂだけ車両２０１が移動したタイミングで、画像取得部１２１に画像の取得を要求する。また、取得要求出力部１４２は、前回画像の取得を要求してから今回画像の取得を要求するまでの車両２０１の移動量を障害物検出部１２３に通知する。

結果出力部１１３は、例えば、カーナビゲーションシステムのディスプレイなどの表示装置により構成される。結果出力部１１３は、例えば、記憶部１２２に記憶されている車両２０１の後方を撮像した画像を取得し、取得した画像に、障害物の検出結果を示す情報を重畳して表示する。

次に、図４のフローチャートを参照して、障害物検出システム１０１により実行される障害物検出処理について説明する。なお、この処理は、例えば、車両２０１のアクセサリ（ACC）用の電源がオンされたとき開始され、アクセサリ用の電源がオフされたとき終了する。

ステップＳ１において、取得要求出力部１４２は、画像取得部１２１に画像の取得を要求する。

ステップＳ２において、障害物検出システム１０１は、画像を取得し、記憶する。具体的には、例えば、画像取得部１２１は、撮像部１１１に撮像を指令し、指令を受けた撮像部１１１は、車両２０１の後方を撮像する。撮像部１１１は、撮像の結果得られた画像を画像取得部１２１に供給する。画像取得部１２１は、取得した画像を記憶部１２２に記憶させる。

あるいは、例えば、撮像部１１１は、所定のフレームレートで常に動画像を撮像しており、画像取得部１２１は、取得要求出力部１４２から画像の取得が要求されタイミングで、撮像部１１１から画像を取得する。そして、画像取得部１２１は、取得した画像を記憶部１２２に記憶させる。

ステップＳ３において、必要移動量設定部１４１は、必要移動量Ｂに規定値を設定する。必要移動量設定部１４１は、設定した必要移動量Ｂを取得要求出力部１４２に通知する。

なお、必要移動量Ｂの規定値は、所定の距離（例えば、50ｍ）だけ離れた物体までの距離を所定の計測誤差ΔＺで計測可能な移動量に設定される。

ステップＳ４において、取得要求出力部１４２は、移動量検出部１２５からの情報に基づいて、前回画像を取得してからの車両２０１の移動量ｔ_zを求める。

ステップＳ５において、取得要求出力部1３２は、移動量ｔ_z≧必要移動量Ｂであるか否かを判定する。移動量ｔ_z＜必要移動量Ｂであると判定された場合、処理はステップＳ４に戻り、ステップＳ５において、移動量ｔ_z≧必要移動量Ｂであると判定されるまで、ステップＳ４およびＳ５の処理が繰り返し実行される。

一方、ステップＳ５において、移動量ｔ_z≧必要移動量Ｂであると判定された場合、処理はステップＳ６に進む。

ステップＳ６において、取得要求出力部１４２は、画像取得部１２１に画像の取得を要求するとともに、前回画像を取得してから今回画像を取得するまでの車両２０１の移動量ｔ_z（より正確には、前回画像の取得を要求してから今回画像の取得を要求するまでの車両２０１の移動量ｔ_z）を障害物検出部１２３に通知する。

ステップＳ７において、障害物検出システム１０１は、画像を取得し、記憶するとともに、２つ前の画像を消去する。具体的には、画像取得部１２１は、ステップＳ１と同様の処理により、撮像部１１１から画像を取得する。そして、画像取得部１２１は、２つ前に撮像された画像を記憶部１２２から消去し、取得した画像を記憶部１２２に記憶させる。これにより、記憶部１２２には、常に最新の２つの画像が記憶されることになる。なお、最初のステップＳ７の処理においては、２つ前の画像が記憶部１２２に記憶されていないため、画像の消去は行われずに、取得した画像の記憶だけが行われる。

なお、以下、記憶部１２２に記憶され、後述する障害物の検出に用いられる２つの画像のうち、先に取得された画像を過去画像と称し、後から取得された画像を最新画像と称する。

ステップＳ８において、障害物検出部１２３は、障害物検出処理を実行する。ここで、図５のフローチャートを参照して、障害物検出処理の詳細について説明する。

ステップＳ５１において、障害物検出部１２３は、記憶部１２２に記憶されている過去画像と最新画像の２つの画像を取得する。

ステップＳ５２において、障害物検出部１２３は、過去画像から特徴点を抽出する。例えば、障害物検出部１２３は、過去画像に写っている物体のエッジやコーナなどの点（箇所）を特徴点として抽出する。なお、特徴点の抽出方法は、特定の方法に限定されず、例えば、「徐 剛，辻 三郎著、“３次元ビジョン”、共立出版、1998年4月、p.25-27」に記載されている方法など、任意の方法を採用することが可能である。

ステップＳ５３において、障害物検出部１２３は、過去画像において抽出された特徴点に対応する最新画像における点である対応点を探索する。なお、対応点の探索方法は、特定の方法に限定されず、例えば、「徐 剛，辻 三郎著、「３次元ビジョン」、共立出版、1998年4月、p.112-115」に記載されている方法など、任意の方法を採用することが可能である。

ステップＳ５４において、障害物検出部１２３は、カメラ間パラメータを算出する。ここで、カメラ間パラメータとは、過去画像を撮像してから最新画像を撮像するまでの撮像部１１１のカメラ座標系におけるＸ軸回りの回転角（ピッチ角）θ、Ｙ軸回りの回転角（ヨー角）ψ、およびＺ軸回りの回転角（ロール角）φのことである。

ここで、画像から検出された物体の動きベクトルとカメラ間パラメータは、次式のような関係として定義することができる。

ｆ×x×θ＋ｆ×y×ψ−（x²＋y²）×φ−v_x×x＋v_y×y＝0 ・・・（３）

なお、式（３）において、ｆは撮像部１１１の焦点距離を表し、撮像部１１１に固有の値なので、実質的に定数となる。また、v_xおよびv_yは、それぞれ、検出された物体の動きベクトル（オプティカルフロー）Vsの画像座標系におけるx軸方向およびy軸方向の成分を表す。すなわち、物体の動きベクトルVs＝（v_x，v_y）となる。また、xおよびｙは、それぞれ動きベクトルに対応する特徴点の画像座標系におけるx軸方向およびy軸方向の座標を表す。すなわち、特徴点の位置Pf＝（x，y）となる。

式（３）は、焦点距離ｆ、動きベクトルVs、および、特徴点の位置Pfが既知である場合、変数がピッチ角θ、ヨー角ψ、ロール角φの一次の線形式となる。従って、線形最適化問題として式（３）を解くことで、ピッチ角θ、ヨー角ψ、ロール角φを求めることができる。

ステップＳ５５において、障害物検出部１２３は、検出された物体の３次元情報を算出する。

例えば、検出された物体が静止物体である場合、その物体の動きベクトルVsは、次の式（４）で表すことができる。

なお、式（４）において、ｔ_x，ｔ_y，ｔ_zは、それぞれ撮像部１１１のＸ軸方向、Ｙ軸方向およびＺ軸方向の並進を表し、Ｘ，Ｙ，Ｚは、それぞれカメラ座標系における物体のＸ軸方向、Ｙ軸方向およびＺ軸方向の座標を表す。

式（４）をＸ，Ｙ，Ｚそれぞれが左辺となるように変形すると、次の式（５）乃至（７）が得られる。

そして、物体のカメラ座標系の位置（Ｘ，Ｙ，Ｚ）は、次の式（８）により、路面座標系の位置（Ｘg，Ｙg，Ｚg）に変換することができる。

なお、式（８）において、α、β、γは、撮像部１１１の設置ロール角、設置ピッチ角、設置ヨー角を表し、Ｈは、撮像部１１１の路面からの高さを表す。

以上のようにして、検出された静止物体の３次元情報、すなわち、路面座標系の位置（Ｘg，Ｙg，Ｚg）を算出することができ、検出された物体が動いている場合にも、その物体の路面座標系の位置（Ｘg，Ｙg，Ｚg）を算出することができる。そして、障害物検出部１２３は、画像から検出された全ての物体について３次元情報を求める。

ステップＳ５６において、障害物検出部１２３は、検出された物体の中から障害物を検出する。例えば、障害物検出部１２３は、図６に示すように、路面座標系において２ｍ×２ｍ（Ｘg方向×Ｚg方向）を検知範囲とし、その検知範囲を５０ｃｍ×５０ｃｍのウィンドウを２５ｃｍ単位で移動させながら走査する。そして、障害物検出部１２３は、ウィンドウ内に高さ３０ｃｍ以上の点が５点以上ある場合に、その物体を障害物として検出する。なお、ここで示した検知範囲、ウィンドウサイズおよび走査単位の値は、その一例であり、他の値を採用するようにしてもよい。

そして、障害物検出部１２３は、障害物の有無、および、検出した障害物の３次元情報（すなわち、位置情報）を含む障害物情報を危険順位設定部１２４に供給する。その後、障害物検出処理は終了する。

図４に戻り、ステップＳ９において、危険順位設定部１２４は、検出された障害物の危険順位を設定する。ここで、図７乃至図１１を参照して、障害物の危険順位の設定方法の例について説明する。なお、図７乃至図１１において、図の下方向を、路面座標系のＺｇ軸方向、すなわち、車両２０１の後方とする。

例えば、障害物の危険順位を、車両２０１との間の距離のみに基づいて設定することが考えられる。すなわち、車両２０１との距離が近い障害物ほど危険順位を高く、車両２０１との距離が遠い障害物ほど危険順位を低く設定する。この場合、例えば、図７に示されるように、車両２０１と障害物２２１Ａとの間の距離Ｄａ＜車両２０１と障害物２１１Ｂとの間の距離Ｄｂである場合、障害物２２１Ａの方が障害物２２１Ｂより危険順位が高く設定される。

なお、以下、車両２０１と障害物との間の距離を、車両２０１の領域の輪郭点と障害物の領域の輪郭点との間の最短距離と定義する。この場合、例えば、図８に示されるように、車両２０１と凸型の障害物２２１Ｃとの間の距離は、障害物２２１Ｃの最も車両２０１側に突出した部分と車両２０１との間の距離Ｄｃとなる。なお、車両２０１と障害物との間の距離の定義は、これに限定されるものではなく、例えば、車両２０１の所定の部分と障害物との間の距離などに定義するようにしてもよい。

また、例えば、車両２０１の進行方向を予想し、進行すると予想される領域のみを対象にして、車両２０１との間の距離に基づいて、障害物の危険順位を設定するようにしてもよい。

例えば、図９に示されるように、車両２０１のほぼ真後ろに障害物２２１Ｄが位置し、車両２０１のすぐ左後方に障害物２２１Ｅが位置する場合、障害物２２１Ｅと車両２０１との間の距離Ｄｅの方が、障害物２２１Ｄと車両２０１との間の距離Ｄｄより短い。しかし、車両２０１が矢印Ａ１の方向に真っ直ぐ後進すると予想される場合、障害物２２１Ｄは、予想される車両２０１の進行領域Ｒ１内に含まれるが、障害物２２１Ｅは、進行領域Ｒ１内に含まれない。従って、車両２０１が障害物２２１Ｅに衝突する可能性は低いと判定され、障害物２２１Ｄの方が、障害物２２１Ｅより危険順位が高く設定される。

また、例えば、図１０に示されるように、Ｚｇ軸方向でほぼ同じ位置に障害物２２１Ｆおよび２２１Ｇが位置し、障害物２２１Ｆが車両２０１の右後方に位置し、障害物２２１Ｇが車両２０１の後方の左端付近に位置する場合、障害物２２１Ｇと車両２０１との間の距離Ｄｇの方が、障害物２２１Ｆと車両２０１との間の距離Ｄｆより短い。しかし、車両２０１が矢印Ａ２の方向に旋回しながら後進すると予想される場合、障害物２２１Ｆは、予想される車両２０１の進行領域Ｒ２内に含まれるが、障害物２２１Ｇは、進行領域Ｒ２内に含まれない。従って、車両２０１が障害物２２１Ｇに衝突する可能性は低いと判定され、障害物２２１Ｆの方が、障害物２２１Ｇより危険順位が高く設定される。

なお、車両２０１の進行方向を予想する方法は、特定の方法に限定されるものではなく、例えば、現在までの車両２０１の進行方向に基づいて予想したり、車両２０１に設けられている操舵角センサの検出結果に基づいて予想したり、「辻澤，日野、“RF-IDを応用した自動パーキングシステムの基礎的考察”、自動車技術会論文集Vol.37 No.2、2006年3月、p.185-190」に記載された方法など、任意の方法を採用することが可能である。

さらに、例えば、車両２０１の進行方向に関わらず、車両２０１が進行可能な領域を対象にして、車両２０１との間の距離に基づいて、障害物の危険順位を設定するようにしてもよい。

例えば、図１１の領域Ｒ３は、車両２０１が後進する場合に、進行可能な領域を示している。すなわち、領域Ｒ３は、車両２０１が左方向の操舵を全開にして後進する領域から右方向の操舵を全開にして後進する領域までを含む。図１１において、車両２０１の左後方に位置する障害物２２１Ｈと、車両２０１の真後ろに位置する障害物２２１Ｉは、ともに領域Ｒ３内に含まれている。従って、車両２０１と障害物２２１Ｈとの間の距離Ｄｈの方が、車両２０１と障害物２２１Ｉとの間の距離より短いため、障害物２２１Ｈの方が障害物２２１Ｉより危険順位が高く設定される。

なお、車両２０１が左または右に全開で操舵を切って後進するケースはまれであるため、領域Ｒ３の左側および右側の領域を狭くするようにしてもよい。

そして、危険順位設定部１２４は、障害物検出部１２３から取得した障害物情報に、設定した各障害物の危険順位を追加し、結果出力部１１３および必要移動量設定部１４１に供給する。

ステップＳ１０において、結果出力部１１３は、検出結果を出力する。具体的には、結果出力部１１３は、記憶部１２２に記憶されている最新画像を取得する。そして、結果出力部１１３は、カーナビゲーションシステムのディスプレイなどの表示装置に、検出された障害物を強調する効果を最新画像に施した画像を表示させる。

例えば、図１２に示されるように、最新画像において障害物２３１Ａ，２３１Ｂが検出された場合、障害物２３１Ａ，２３１Ｂをそれぞれ囲む矩形枠Ｆａ１，Ｆｂ１が、最新画像に重畳されて表示される。これにより、障害物２３１Ａ，２３１Ｂの位置を一目で認識することが可能になる。

さらに、図１３に示すように、障害物の危険順位に基づいて、矩形枠の色や線の太さを変えるようにしてもよい。すなわち、図１３の例の場合、車両２０１に近く、危険順位が高い方の障害物２３１Ａを囲む矩形枠Ｆａ２の方が、車両２０１から遠く、危険順位が低い方の障害物２３１Ｂを囲む矩形枠Ｆｂ２の線より太くなっている。これにより、危険順位が高い障害物ほど強調されて表示され、運転者が注意すべき場所を迅速に認識することが可能になる。

図４に戻り、ステップＳ１１において、必要移動量設定部１４１は、危険順位設定部１２４から取得した障害物情報に基づいて、障害物が検出されたか否かを判定する。障害物が検出されたと判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、必要移動量設定部１４１は、必要移動量Ｂの算出対象とする障害物を選択する。具体的には、必要移動量設定部１４１は、危険順位が最も高い障害物を、必要移動量Ｂの算出対象とする障害物として選択する。

ステップＳ１３において、必要移動量設定部１４１は、必要移動量Ｂを算出する。具体的には、上述した移動ステレオ方式における距離Ｚの計測誤差ΔＺの算出式（２）をＢについて解くと、次式（９）となる。

ここで、ｆに撮像部１１１の焦点距離を定数として設定し、Δｄに、経験的な値として求まる撮像部１１１の視差誤差を定数として設定すると、式（９）は、物体までの距離Ｚ、距離Ｚの計測誤差ΔＺ、および、基線長Ｂの関係を表す関係式となる。そして、Ｚに、必要移動量Ｂの算出対象となる障害物（以下、算出対象障害物とも称する）までの距離を代入し、ΔＺに所望の計測誤差を代入すると、移動ステレオ方式により算出対象障害物までの距離を計測誤差ΔＺで計測するために、計測に用いる２つの画像を撮像する位置の間に必要な距離（すなわち、必要移動量Ｂ）を求めることができる。すなわち、所望の計測誤差ΔＺを決定することにより、算出対象障害物までの距離Ｚを計測誤差ΔＺで計測するために必要な撮像部１１１（車両２０１）の必要移動量Ｂを決定することができる。

このように、必要移動量設定部１４１は、算出対象障害物までの距離Ｚ、運転者等により予め設定されている所望の計測誤差ΔＺ、撮像部１１１の焦点距離ｆ、撮像部１１１の視差誤差Δｄを式（９）に代入して、必要移動量Ｂを算出する。必要移動量設定部１４１は、算出した必要移動量Ｂを取得要求出力部１４２に通知する。その後、処理はステップＳ４に戻り、ステップＳ４以降の処理が実行される。

一方、ステップＳ１１において、障害物が検出されなかったと判定された場合、処理はステップＳ１４に進み、ステップＳ１４において、ステップＳ３の処理と同様に、必要移動量Ｂに規定値が設定される。その後、処理はステップＳ４に戻り、ステップＳ４以降の処理が実行される。

これにより、例えば、図１４に示されるように、時刻tにおいて、車両２０１の後方に危険順位が最も高い障害物２４１が存在し、撮像部１１１により撮像された画像１が取得され、障害物２４１の３次元情報が求められたとすると、そのときの障害物２４１までの距離Ｚに基づいて、必要移動量Ｂが設定される。そして、車両２０１が必要移動量Ｂだけ後進した時刻ｔ＋１において、撮像部１１１により撮像された画像２が取得され、障害物２４１の３次元情報が求められる。

従って、車両２０１が障害物２４１に近づき、車両２０１と障害物２４１との間の距離Ｚが短くなるほど、上述した式（９）に基づいて、必要移動量Ｂは短く設定される。すなわち、図１５に示されるように、時刻ｔ乃至時刻ｔ＋２において必要移動量Ｂ１乃至Ｂ３が設定されたとすると、必要移動量Ｂ１＞必要移動量Ｂ２＞必要移動量Ｂ３となる。従って、車両２０１が障害物２４１に近づくほど、短い距離間隔で障害物２４１の３次元計測を行い、運転者に対する警告を行うことが可能になる。その結果、車両２０１が障害物２４１に衝突するのを、より確実に回避することができる。

さらに、図１６および図１７に示されるように、車両２０１が、駐車しようとして、右方向に旋回しながら後進し、障害物２５１に接近する場合について考える。この場合、運転者が障害物２５１の存在に気付いている場合、図１６に示されるように障害物２５１との間の距離が遠い位置から、図１７に示されるように障害物２５１に近い位置に車両２０１が移動するにつれて、車両２０１は減速される。

このとき、車両２０１が障害物２５１から遠く、車速が速い場合も、車両２０１が障害物２５１に近づき、減速した場合も、車速とは関係なく、常に一定の精度で障害物２５１との間の距離が計測される。すなわち、所定の時間間隔で障害物２５１との間の距離を計測する場合のように、減速するにつれて、計測精度が低下することがない。

また、障害物２５１に近づくにつれて、障害物２５１との間の距離を計測し、運転者に通知する距離の間隔が短くなる。従って、所定の時間間隔で障害物２５１との間の距離を計測する場合のように、障害物２５１から遠い段階で、障害物２５１との間の距離の計測および通知が頻繁に行われ、運転者に煩わしさを感じさせることを防止することができる。また、所定の距離間隔で障害物２５１との間の距離を計測する場合のように、障害物２５１に接近したときに、障害物２５１との間の距離が計測されずに、運転者に通知されない事態が発生することを防止することができる。

さらに、上述したように、障害物の検出を行うために、過去画像と最新画像の２つの画像を記憶部１２２に記憶しておくだけでよく、必要な記憶容量が少なくてすむ。

また、必要移動量Ｂの計算を追加するだけで、簡単な処理により、迅速に所望の精度で移動ステレオ方式により障害物までの距離を計測することができる。

次に、図１８乃至図２３を参照して、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態は、本発明の第１の実施の形態に、障害物の属性を判定し、判定した障害物の属性に応じて運転者への警報を変える機能を追加したものである。

図１８は、本発明を適用した障害物検出システムの第２の実施の形態を示すブロック図である。図１８の障害物検出システム３０１は、撮像部１１１、画像処理部３１１、および、結果出力部３１２を含むように構成される。また、画像処理部３１１は、画像取得部１２１、記憶部１２２、障害物検出部１２３、危険順位設定部１２４、移動量検出部１２５、画像取得制御部１２６、および、障害物属性判定部３２１を含むように構成される。さらに、画像取得制御部１２６は、必要移動量設定部１４１および取得要求出力部１４２を含むように構成される。

なお、図中、図２と対応する部分については、同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。また、以下、障害物検出システム３０１が車両２０１に設置され、上述した図３に示される位置に撮像部１１１が設置されているものとする。

障害物検出システム３０１は、図２の障害物検出システム１０１と比較して、画像処理部１１２が画像処理部３１１に置き換わり、結果出力部１１３が結果出力部３１２に置き換わっている点が異なる。また、障害物検出システム３０１の画像処理部３１１は、障害物検出システム１０１の画像処理部１１２と比較して、障害物属性判定部３２１が追加されている点が異なる。

障害物属性判定部３２１は、危険順位設定部１２４から障害物情報を取得し、障害物情報に基づいて、障害物検出部１２３により検出された障害物の属性を判定する。障害物属性判定部３２１は、危険順位設定部１２４から取得した障害物情報に、障害物属性の判定結果を追加し、結果出力部３１２に供給するともに、記憶部１２２に記憶させる。

結果出力部３１２は、例えば、カーナビゲーションシステムのディスプレイなどの表示装置、スピーカ、ブザーまたはサイレンなどの音声出力装置により構成される。結果出力部３１２は、障害物検出システム１０１の結果出力部１１３と同様に、記憶部１２２に記憶されている車両２０１の後方を撮像した画像を取得し、取得した画像に、障害物の検出結果を示す情報を重畳して表示する。さらに、結果出力部３１２は、障害物の属性判定の結果に基づく警報音を出力する。

次に、図１９のフローチャートを参照して、障害物検出システム３０１により実行される障害物検出処理について説明する。なお、この処理は、例えば、車両２０１のアクセサリ（ACC）用の電源がオンされたとき開始され、アクセサリ用の電源がオフされたとき終了する。

ステップＳ１０１乃至Ｓ１０８の処理は、図４のステップＳ１乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。

ステップＳ１０９において、危険順位設定部１２４は、図４のステップＳ９と同様の処理を行い、検出された障害物の危険順位を設定する。危険順位設定部１２４は、障害物検出部１２３から取得した障害物情報に、設定した各障害物の危険順位を追加し、障害物属性判定部３２１および必要移動量設定部１４１に供給する。

ステップＳ１１０において、障害物属性判定部３２１は、障害物属性判定処理を実行する。ここで、図２０のフローチャートを参照して、障害物属性判定処理の詳細について説明する。

まず、図２１を参照して、障害物の属性の判定に用いる領域の定義について説明する。障害物の属性判定には、計測領域Ｒｉｎ、危険領域Ｒｄ、安全領域Ｒｓ、および、計測外領域Ｒｏｕｔの４種類の領域が用いられる。図中斜線で示される計測領域Ｒｉｎは、撮像部１１１により撮像される画像に写る領域であり、網掛けで示される危険領域Ｒｄを含む。危険領域Ｒｄは、計測領域Ｒｉｎのうち車両２０１から所定の距離内の領域である。また、計測領域Ｒｉｎ内で危険領域Ｒｄ以外の領域が安全領域Ｒｓである。さらに、撮像部１１１により撮像される画像に写らない計測領域Ｒｉｎ以外の領域が、計測外領域Ｒｏｕｔである。

図２０に戻り、ステップＳ１５１において、障害物属性判定部３２１は、危険順位設定部１２４から取得した障害物情報に基づいて、計測領域Ｒｉｎ内に障害物が存在するか、換言すれば、今回計測領域Ｒｉｎ内において障害物が検出されたかを判定する。

ステップＳ１５２において、障害物属性判定部３２１は、危険領域Ｒｄ内に障害物が存在するか、換言すれば、今回危険領域Ｒｄ内において障害物が検出されたかを判定する。

ステップＳ１５３において、障害物属性判定部３２１は、前回の障害物の検出結果を取得する。すなわち、障害物属性判定部３２１は、前回の障害物の検出結果を示し、前回検出された障害物の３次元情報および危険順位を含む障害物情報を記憶部１２２から取得する。

ステップＳ１５４において、障害物属性判定部３２１は、今回検出された障害物と前回検出された障害物の対応付けを行う。例えば、障害物属性判定部３２１は、前回検出された障害物と今回検出された障害物のうち最も近くに位置するもの同士を同じ障害物として対応付ける。あるいは、障害物属性判定部３２１は、過去画像と最新画像を記憶部１２２から取得し、前回検出された障害物の画像と今回検出された障害物の画像の類似度を算出し、最も類似度が高いもの同士を同じ障害物として対応付ける。

なお、障害物を対応付ける方法は、上述した方法に限定されるものではなく、任意の方法を採用することが可能である。

ステップＳ１５５において、障害物属性判定部３２１は、今回検出された障害物と前回検出された障害物の対応付けの結果に基づいて、危険順位が最も高い障害物が変化したかを判定する。

ステップＳ１５６において、障害物属性判定部３２１は、障害物情報、および、今回検出された障害物と前回検出された障害物の対応付けの結果に基づいて、危険順位が最も高い障害物が領域間を移動したかを判定する。具体的には、障害物属性判定部３２１は、危険順位が最も高い障害物が存在する領域が、前回は危険領域Ｒｄであり、今回は安全領域Ｒｓである場合、または、計測領域Ｒｉｎ内において前回は障害物が検出され、今回は検出されなかった場合、危険順位が最も高い障害物が安全側へ移動したと判定する。また、障害物属性判定部３２１は、危険順位が最も高い障害物が存在する領域が、前回は安全領域Ｒｓであり、今回は危険領域Ｒｄである場合、または、計測領域Ｒｉｎ内において、前回は障害物が検出されなかったが、今回は検出された場合、危険順位が最も高い障害物が危険側へ移動したと判定する。さらに、障害物属性判定部３２１は、危険順位が最も高い障害物が存在する領域が前回と今回で変化しなかった場合、または、前回も今回も計測領域Ｒｉｎ内において障害物が検出されなかった場合、危険順位が最も高い障害物の領域間の移動がなかったと判定する。

ステップＳ１５７において、障害物属性判定部３２１は、障害物の属性を判定する。ここで、図２２および図２３を参照して、障害物の属性判定の一例について説明する。なお、図２２は、障害物の属性判定に用いるテーブルの一例を示し、図２３は、障害物の属性の例を示している。

図２２に示されるように、判定条件Ａ乃至Ｄの組み合わせにより、障害物の状態が状態１乃至１１の１１種類に分類され、各状態に対して障害物属性が対応づけられている。

なお、判定条件Ａには、ステップＳ１５１において求められる、計測領域Ｒｉｎ内に障害物が存在するか否かの判定結果が用いられる。判定条件Ｂには、ステップＳ１５２において求められる、危険領域Ｒｄ内に障害物が存在するか否かの判定結果が用いられる。判定条件Ｃには、ステップＳ１５５において求められる、危険順位が最も高い障害物が変化したか否かの判定結果が用いられる。判定条件Ｄには、ステップＳ１５６において求められる、危険順位が最も高い障害物が領域間を移動したか否かの判定結果が用いられる。

状態１は、計測領域Ｒｉｎ内に障害物が存在せず、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化せず、かつ、危険順位が最も高い障害物の領域間の移動がなかった状態である。すなわち、前回も今回も計測領域Ｒｉｎ内において障害物が検出されなかった状態である。この場合、危険でない状態が継続しているため、障害物属性は特に設定されない。

状態２は、計測領域Ｒｉｎ内に障害物が存在せず、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物が安全側へ移動した状態である。すなわち、計測領域Ｒｉｎ内において、前回障害物が検出され、今回障害物が検出されなかった状態である。この場合、障害物属性はＤ１に設定される。なお、障害物属性Ｄ１は、図２３に示されるように、危険順位が最も高い障害物が安全側へ移動したことを示す。

状態３は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化せず、かつ、危険順位が最も高い障害物の領域間の移動がなかった状態である。すなわち、前回と今回で危険順位が最も高い障害物が同じであり、かつ、その障害物が前回も今回も安全領域Ｒｓ内に存在する状態である。この場合、危険でない状態が継続しているため、障害物属性は特に設定されない。

状態４は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化せず、かつ、危険順位が最も高い障害物が安全側へ移動した状態、すなわち、前回と今回で危険順位が最も高い障害物が同じであり、かつ、その障害物が危険領域Ｒｄから安全領域Ｒｓに移動した状態である。この場合、状態１の場合と同様に、障害物属性はＤ１に設定される。

状態５は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物が危険側へ移動した状態、すなわち、前回障害物が検出されなかったが、今回安全領域Ｒｓにおいて障害物が検出された状態である。この場合、障害物属性はＣ＋Ｄ２に設定される。なお、障害物属性Ｃは、図２３に示されるように、危険順位が最も高い障害物、すなわち、必要移動量Ｂを算出する対象となる障害物が変化したことを示す。また、障害物属性Ｄ２は、危険順位が最も高い障害物が危険側へ移動したことを示す。

状態６は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物の領域間の移動がなかった状態、すなわち、前回と今回で危険順位が最も高い障害物が異なり、かつ、危険順位が最も高い障害物が存在する領域が安全領域Ｒｓから変化していない状態である。この場合、障害物属性はＣに設定される。

状態７は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在せず、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物が安全側へ移動した状態、すなわち、前回と今回で危険順位が最も高い障害物が異なり、かつ、危険順位が最も高い障害物が存在する領域が危険領域Ｒｄから安全領域Ｒｓに変化した状態である。この場合、障害物属性はＣ＋Ｄ１に設定される。

状態８は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在し、かつ、危険順位が最も高い障害物が変化せず、かつ、危険順位が最も高い障害物が危険側へ移動した状態、すなわち、前回と今回で危険順位が最も高い障害物が同じで、その障害物が安全領域Ｒｓから危険領域Ｒｄに移動した状態である。この場合、障害物属性はＢ＋Ｄ２に設定される。なお、障害物属性Ｂは、図２３に示されるように、危険領域Ｒｄ内に障害物が存在することを示す。

状態９は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在し、かつ、危険順位が最も高い障害物が変化せず、かつ、危険順位が最も高い障害物の領域間の移動がなかった状態、すなわち、前回と今回で危険順位が最も高い障害物が同じで、その障害物が危険領域Ｒｄ内に留まっている状態である。この場合、障害物属性はＢに設定される。

状態１０は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在し、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物が危険側へ移動している状態、すなわち、前回と今回で危険順位が最も高い障害物が異なり、危険順位が最も高い障害物が存在する領域が安全領域Ｒｓから危険領域Ｒｄに変化した状態、または、前回計測領域Ｒｉｎ内で障害物が検出されず、今回危険領域Ｒｄ内で障害物が検出された状態である。この場合、障害物属性はＢ＋Ｃ＋Ｄ２に設定される。

状態１１は、計測領域Ｒｉｎ内に障害物が存在し、かつ、危険領域Ｒｄ内に障害物が存在し、かつ、危険順位が最も高い障害物が変化し、かつ、危険順位が最も高い障害物の領域間の移動がなかった状態、すなわち、前回と今回で危険順位が最も高い障害物が異なり、危険順位が最も高い障害物が存在する領域が危険領域Ｒｄのままの状態である。この場合、障害物属性はＢ＋Ｃに設定される。

そして、障害物属性判定部３２１は、障害物属性の判定を行った後、危険順位設定部１２４から取得した障害物情報に、障害物属性の判定結果を追加し、結果出力部３１２に供給する。

ステップＳ１５８において、画像処理部３１１は、今回の障害物の検出結果を記憶する。すなわち、障害物属性判定部３２１は、前回の障害物の検出結果を示す障害物情報を記憶部１２２から消去するとともに、今回の障害物の検出結果を示す障害物情報を記憶部１２２に記憶させる。その後、障害物属性判定処理は終了する。

図１９に戻り、ステップＳ１１１において、結果出力部３１２は、検出結果を出力する。具体的には、結果出力部３１２は、図６のステップＳ１０の処理と同様に、検出された障害物を強調する効果が施された最新画像を表示する。また、結果出力部３１２は、障害物属性判定部３２１により判定された障害物属性に応じた警報音を出力する。この警報音は、障害物属性に応じて、音色、鳴動間隔、音量などが変えられる。

ここで、図２２を参照して、警報音の具体例について説明する。

障害物属性がＤ１の場合、警報音の種類は音１ａＬに設定され、音量は小さく設定される。音１ａＬは、例えば、「ピッピッピッ」という音色および鳴動間隔（音と音の間隔）で出力される。

障害物属性がＣ＋Ｄ２の場合、警報音の種類は音１ｂＬに設定され、音量は大きく設定される。音１ｂＬは、例えば、「プップップッ」という音色および鳴動間隔で出力される。すなわち、危険順位が最も高い障害物が変化した場合と変化していない場合とで、警報音の音色が変化する。

障害物属性がＣの場合、警報音の種類は音１ｂＬに設定され、音量は中程度に設定される。

障害物属性がＣ＋Ｄ１の場合、警報音の種類は音１ｂＬに設定され、音量は小さく設定される。

障害物属性がＢ＋Ｄ２の場合、警報音の種類は音１ａＳに設定され、音量は大きく設定される。音１ａＳは、例えば、「ピピピ」という音色および鳴動間隔で出力され、音１ａＬと同様の音色で、音１ａＬより鳴動間隔が短くなる。

障害物属性がＢの場合、警報音の種類は音１ａＳに設定され、音量は中程度に設定される。

障害物属性がＢ＋Ｃ＋Ｄ２の場合、警報音の種類は音１ｂＳに設定され、音量は大きく設定される。なお、音１ｂＳは、例えば、「プププ」という音色および鳴動間隔で出力され、音１ｂＬと同様の音色で、音１ｂＬより鳴動間隔が短くなる。

障害物属性がＢ＋Ｃの場合、警報音の種類は音１ｂＳに設定され、音量は中程度に設定される。

なお、障害物属性が設定されていない場合、警報音は出力されない。

以上のように、危険領域Ｒｄ内に障害物が存在する場合、危険領域Ｒｄ内に障害物が存在しない場合と比較して、より運転者に注意を促すことができるように、警報音の鳴動間隔が短くなる。また、危険順位が最も高い障害物が変化したことが明確に分かるように、変化したときと変化していないときで警報音の音色が変化する。さらに、危険順位が最も高い障害物が危険側へ移動したとき、領域間の移動がないとき、安全側へ移動したときの順で、より運転者に注意を促すことができるように、警報音の音量が大きくなる。

ステップＳ１１２乃至Ｓ１１５の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であり、その説明は繰り返しになるので省略する。

以上のようにして、障害物の属性に応じて、運転者に対する警報の種類を変化させ、運転者の注意の喚起の度合いを変化させることができる。

次に、図２４乃至図２７を参照して、本発明の第３の実施の形態について説明する。なお、本発明の第３の実施の形態は、本発明の第１の実施の形態と比較して、移動している障害物の３次元情報の計測精度を向上させるようにするものである。

図２４は、本発明を適用した障害物検出システムの第３の実施の形態を示すブロック図である。図２４の障害物検出システム４０１は、撮像部１１１、画像処理部４１１、および、結果出力部１１３を含むように構成される。また、画像処理部４１１は、画像取得部１２１、記憶部１２２、障害物検出部１２３、危険順位設定部１２４、移動量検出部１２５、画像取得制御部１２６、移動物検出部４２１、および、危険順位設定部４２２を含むように構成される。

なお、図中、図２と対応する部分については、同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。また、以下、障害物検出システム４０１が車両２０１に設置され、上述した図３に示される位置に撮像部１１１が設置されているものとする。

障害物検出システム４０１は、図２の障害物検出システム１０１と比較して、画像処理部１１２が画像処理部４１１に置き換わっている点が異なる。また、障害物検出システム４０１の画像処理部４１１は、障害物検出システム１０１の画像処理部１１２と比較して、移動物検出部４２１が追加され、危険順位設定部１２４が危険順位設定部４２２に置き換わっている点が異なる。

移動物検出部４２１は、前回画像の取得を要求してから今回画像の取得を要求するまでの車両２０１の移動量を取得要求出力部１４２から取得する。また、移動物検出部４２１は、記憶部１２２に記憶されている画像を用いて、動きベクトルにより、車両２０１の後方の移動物の検出処理を行い、検出結果を示す移動物情報を危険順位設定部４２２に供給する。

危険順位設定部４２２は、障害物検出部１２３から取得した障害物情報、および、移動物検出部４２１から取得した移動物情報に基づいて、障害物の危険順位を設定する。また、危険順位設定部４２２は、障害物検出部１２３から取得した障害物情報に含まれる障害物の３次元情報のうち、移動物検出部４２１により移動物として検出された障害物の３次元情報を、移動物検出部４２１により算出された３次元情報に置き換える。さらに、危険順位設定部４２２は、設定した各障害物の危険順位を障害物情報に追加し、結果出力部１１３および必要移動量設定部１４１に供給する。

次に、図２５のフローチャートを参照して、障害物検出システム４０１により実行される障害物検出処理について説明する。なお、この処理は、例えば、車両２０１のアクセサリ（ACC）用の電源がオンされたとき開始され、アクセサリ用の電源がオフされたとき終了する。

ステップＳ２０１乃至Ｓ２０５の処理は、図４のステップＳ１乃至Ｓ５の処理と同様であり、その説明は繰り返しになるので、省略する。

ステップＳ２０６において、取得要求出力部１４２は、画像取得部１２１に画像の取得を要求するとともに、前回画像を取得してから今回画像を取得するまでの車両２０１の移動量ｔ_z（より正確には、前回画像の取得を要求してから今回画像の取得を要求するまでの車両２０１の移動量ｔ_z）を、障害物検出部１２３および移動物検出部４２１に通知する。

ステップＳ２０７において、図４のステップＳ７の処理と同様に、新たに画像が取得され、記憶部１２２に記憶されるとともに、２つ前の画像が記憶部１２２から消去される。

ステップＳ２０８において、図４のステップＳ８の処理と同様に、障害物検出処理が実行され、障害物情報が障害物検出部１２３から危険順位設定部４２２に供給される。

ステップＳ２０９において、移動物検出部４２１は、移動物検出処理を実行する。ここで、図２６を参照して、移動物検出処理の詳細について説明する。

ステップＳ２５１において、移動物検出部４２１は、記憶部１２２に記憶されている過去画像と最新画像の２つの画像を取得する。

ステップＳ２５２において、移動物検出部４２１は、図５のステップＳ５２の障害物検出部１２３による処理と同様に、過去画像の特徴点を抽出する。

ステップＳ２５３において、移動物検出部４２１は、図５のステップＳ５３の障害物検出部１２３による処理と同様に、過去画像において抽出された特徴点に対応する最新画像における点である対応点を探索する。

ステップＳ２５４において、移動物検出部４２１は、図５のステップＳ５４の障害物検出部１２３による処理と同様に、カメラ間パラメータを算出する。

ステップＳ２５５において、移動物検出部４２１は、カメラ間パラメータ分を補正した動きベクトルを算出する。具体的には、移動物検出部４２１は、過去画像の各特徴点と、各特徴点に対応する最新画像の対応点とを結ぶ動きベクトルを算出する。さらに、移動物検出部４２１は、ステップＳ２５４において算出した撮像部１１１のピッチ角、ヨー角、ロール角の動き分を補正した動きベクトルの算出を行う。

ステップＳ２５６において、移動物検出部４２１は、各特徴点が移動しているかを判定する。具体的には、移動物検出部４２１は、カメラ間パラメータを用いて、特徴点毎にエピポーララインを算出する。移動物検出部４２１は、各特徴点について、補正後の動きベクトルとエピポーララインとの間の角度を算出する。移動物検出部４２１は、算出した角度が所定の閾値よりも大きい場合、その特徴点は移動していると判定し、所定の閾値以下である場合、その特徴点は移動していないと判定する。

ステップＳ２５７において、移動物検出部４２１は、移動物を検出する。例えば、移動物検出部４２１は、図２７に示すように、水平方向に１０画素×垂直方向に１０画素の大きさのウィンドウを５画素単位で移動させながら、最新画像を走査する。そして、移動物検出部４２１は、移動していると判定された特徴点がウィンドウ内に１０点以上ある場合に、その領域を移動物が存在する領域とみなす。なお、ここで示したウィンドウサイズおよび走査単位の値は、その一例であり、他の値を採用するようにしてもよい。

ステップＳ２５７において、移動物検出部４２１は、移動物の３次元情報を算出する。ここで、移動物の高さをＴと仮定すると、以下の式（１０）乃至（１２）により、画像座標系における移動物の座標（x，y）から、カメラ座標系における移動物の座標（X，Y，Z）を算出することができる。

なお、式（１２）において、α、β、γは、撮像部１１１の設置ロール角、設置ピッチ角、設置ヨー角を表し、Ｈは、撮像部１１１の路面からの高さを表す。

そして、移動物のカメラ座標系の位置（Ｘ，Ｙ，Ｚ）は、次の式（１３）により、路面座標系の位置（Ｘg，Ｙg，Ｚg）に変換することができる。

以上のようにして、検出された移動物の３次元情報、すなわち、路面座標系の位置（Ｘg，Ｙg，Ｚg）を算出することができる。そして、障害物検出部１２３は、画像から検出された全ての移動物について３次元情報を求める。

なお、このとき、例えば、移動物の高さＴ＝０に設定して、すなわち、路面上の点と考えて、移動物の３次元情報の算出が行われる。

移動物検出部４２１は、移動物の有無、および、検出した移動物の３次元情報（すなわち、位置情報）を含む移動物情報を危険順位設定部４２２に供給する。

図２５に戻り、ステップＳ２１０において、危険順位設定部４２２は、図４のステップＳ９と同様の処理により、検出された障害物の危険順位を設定する。ただし、危険順位設定部４２２は、障害物検出部１２３により検出された障害物のうち、移動物検出部４２１により移動物として検出された障害物については、移動物検出部４２１により算出された３次元情報を用い、それ以外の障害物については、障害物検出部１２３により算出された３次元情報を用いて、障害物の危険順位を設定する。

また、危険順位設定部４２２は、障害物検出部１２３から取得した障害物情報に含まれる障害物の３次元情報のうち、移動物検出部４２１により移動物として検出された障害物の３次元情報を、移動物検出部４２１により算出された３次元情報に置き換える。さらに、危険順位設定部４２２は、設定した各障害物の危険順位を障害物情報に追加し、結果出力部１１３および必要移動量設定部１４１に供給する。

ステップＳ２１１乃至Ｓ２１５の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であり、その説明は繰り返しになるので、省略する。

このようにして、移動物検出処理を追加することにより、車両２０１と移動物との間の距離をより正確に計測することができるようになり、より正確な情報を運転者に通知することが可能になる。

なお、ステップＳ２０８およびＳ２０９の処理は、並列に処理したり、処理順を逆にすることも可能である。また、移動物検出部４２１が実行するステップＳ２５２乃至Ｓ２５４の処理は、障害物検出部１２３が実行する図５のステップＳ５２乃至Ｓ５４の処理と同様であるため、どちらか一方が実行し、その情報を共有するようにしてもよい。

さらに、算出対象障害物が、移動物検出部４２１により移動物として検出され、かつ、車両２０１に接近している場合、現在の車両２０１と算出対象障害物との間の距離ではなく、次の障害物検出処理時の車両２０１と算出対象障害物との間の予測距離に基づいて、必要移動量Ｂを算出するようにしてもよい。

例えば、前回の障害物検出処理で、移動物である算出対象障害物と車両２０１との間の距離が1.5mと検出され、今回の障害物検出処理で、算出対象障害物と車両２０１との間の距離が1.3mと検出された場合、次回の障害物検出処理時の算出対象障害物と車両２０１との間の距離は、1.1m程度になると予測される。この場合、現在の距離である1.3mではなく、次回の距離の予測値である1.1mを用いて、必要移動量Ｂを算出するようにしてもよい。これにより、次回の障害物検出処理までに、車両２０１が算出対象障害物に衝突するのをより確実に防止することができる。

次に、図２８乃至図３３を参照して、本発明の第４の実施の形態について説明する。なお、本発明の第４の実施の形態は、本発明の第２の実施の形態と本発明の第３の実施の形態を組み合わせるとともに、障害物の属性をさらに詳細に判定し、判定した障害物の属性に応じて運転者への警報を変化させるようにしたものである。

図２８は、本発明を適用した障害物検出システムの第３の実施の形態を示すブロック図である。図２８の障害物検出システム５０１は、撮像部１１１、画像処理部５１１、および、結果出力部５１２を含むように構成される。また、画像処理部５１１は、画像取得部１２１、記憶部１２２、障害物検出部１２３、危険順位設定部１２４、移動量検出部１２５、画像取得制御部１２６、移動物検出部４２１、危険順位設定部４２２、および、障害物属性判定部５２１を含むように構成される。

なお、図中、図２４と対応する部分については、同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。また、以下、障害物検出システム５０１が車両２０１に設置され、上述した図３に示される位置に撮像部１１１が設置されているものとする。

障害物検出システム５０１は、図２４の障害物検出システム４０１と比較して、画像処理部４１１が画像処理部５１１に置き換わり、結果出力部１１３が結果出力部５１２に置き換わっている点が異なる。また、障害物検出システム５０１の画像処理部５１１は、障害物検出システム４０１の画像処理部４１１と比較して、障害物属性判定部５２１が追加されている点が異なる。

障害物属性判定部５２１は、危険順位設定部４２２から障害物情報を取得し、障害物情報に基づいて、障害物検出部１２３により検出された障害物の属性を判定する。障害物属性判定部５２１は、危険順位設定部４２２から取得した障害物情報に、障害物属性の判定結果を追加し、結果出力部５１２に供給するともに、記憶部１２２に記憶させる。

結果出力部５１２は、例えば、カーナビゲーションシステムのディスプレイなどの表示装置、スピーカ、ブザーまたはサイレンなどの音声出力装置により構成される。結果出力部５１２は、障害物検出システム１０１の結果出力部１１３と同様に、記憶部１２２に記憶されている車両２０１の後方を撮像した画像を取得し、取得した画像に、障害物の検出結果を示す情報を重畳して表示する。さらに、結果出力部５１２は、障害物の属性判定の結果に基づく警報音を出力する。

次に、図２９のフローチャートを参照して、障害物検出システム５０１により実行される障害物検出処理について説明する。なお、この処理は、例えば、車両２０１のアクセサリ（ACC）用の電源がオンされたとき開始され、アクセサリ用の電源がオフされたとき終了する。

ステップＳ３０１乃至Ｓ３０９の処理は、図２５のステップＳ２０１乃至Ｓ２０９の処理と同様であり、その説明は繰り返しになるので省略する。

ステップＳ３１０において、危険順位設定部４２２は、図２５のステップＳ２１０の処理と同様に、検出された障害物の危険順位を設定する。また、危険順位設定部４２２は、障害物検出部１２３から取得した障害物情報に含まれる障害物の３次元情報のうち、移動物検出部４２１により移動物として検出された障害物の３次元情報を、移動物検出部４２１により算出された３次元情報に置き換える。さらに、危険順位設定部４２２は、設定した各障害物の危険順位を障害物情報に追加し、障害物属性判定部５２１および必要移動量設定部１４１に供給する。

ステップＳ３１１において、障害物属性判定部５２１は、障害物属性判定処理を実行する。ここで、図３０のフローチャートを参照して、障害物属性判定処理の詳細について説明する。

ステップＳ３５１乃至Ｓ３５６の処理は、図２０のステップＳ１５１乃至Ｓ１５６の処理と同様であり、その説明は繰り返しになるので省略する。

ステップＳ３５７において、障害物属性判定部５２１は、各障害物の移動量を算出する。具体的には、障害物属性判定部５２１は、各障害物について、前回の車両２０１と障害物の間の距離から今回の車両２０１と障害物の間の距離を引いた値を、各障害物の移動量Ｍとして算出する。従って、移動量Ｍは、車両２０１と障害物との間の距離が近づいている場合、正の値となり、遠ざかっている場合、負の値となる。

ステップＳ３５８において、障害物属性判定部５２１は、ステップＳ３５７の処理の結果に基づいて、所定の閾値以上接近した障害物が存在するかを判定する。すなわち、障害物属性判定部５２１は、各障害物について、移動量Ｍが所定の閾値以上であるかを判定する。

なお、この閾値は、例えば、前回障害物検出処理を行ってから今回障害物検出処理を行うまでの車両２０１の移動量、あるいは、車両２０１の速度に基づいて設定される。

また、同じ移動量でも、より車両２０１の近傍に存在する障害物の方が危険度が高い点、および、一般に遠方の障害物ほど、距離の計測誤差が大きくなり、移動量の信頼性が低くなる点を考慮して、各障害物までの距離に応じて、異なる閾値を設定するようにしてもよい。

ステップＳ３５９において、障害物属性判定部５２１は、障害物の属性を判定する。ここで、図３１および図３３を参照して、障害物の属性判定の一例について説明する。なお、図３１および図３２は、障害物の属性判定に用いるテーブルの一例を示し、図３３は、障害物の属性の例を示している。

図３１および図３２は、図２２と比較して、判定条件Ｅが追加され、それに伴い障害物の状態が細分化されている。また、図３３は、図２３と比較して、障害物属性Ｅが追加されている。なお、障害物属性Ｅは、所定の閾値以上車両２０１に接近した障害物が存在することを示す。

状態１は、図２２の状態１と同じ状態である。この場合、図２２の状態１の場合と同様に、障害物属性は特に設定されない。

状態２は、図２２の状態２と同じ状態である。この場合、図２２の状態２の場合と同様に、障害物属性はＤ１に設定される。

状態３Ａは、図２２の状態３において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態３の場合と同様に、障害物属性は特に設定されない。

状態３Ｂは、図２２の状態３において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＥに設定される。

状態４Ａは、図２２の状態４において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態４の場合と同様に、障害物属性はＤ１に設定される。

状態４Ｂは、図２２の状態４において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＤ１＋Ｅに設定される。

状態５Ａは、図２２の状態５において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態５の場合と同様に、障害物属性はＣ＋Ｄ２に設定される。

状態５Ｂは、図２２の状態５において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＣ＋Ｄ２＋Ｅに設定される。

状態６Ａは、図２２の状態６において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態６の場合と同様に、障害物属性はＣに設定される。

状態６Ｂは、図２２の状態６において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＣ＋Ｅに設定される。

状態７Ａは、図２２の状態７において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態７の場合と同様に、障害物属性はＣ＋Ｄ１に設定される。

状態７Ｂは、図２２の状態７において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＣ＋Ｄ１＋Ｅに設定される。

状態８Ａは、図２２の状態８において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態８の場合と同様に、障害物属性はＢ＋Ｄ２に設定される。

状態８Ｂは、図２２の状態８において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＢ＋Ｄ２＋Ｅに設定される。

状態９Ａは、図２２の状態９において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態９の場合と同様に、障害物属性はＢに設定される。

状態９Ｂは、図２２の状態９において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＢ＋Ｅに設定される。

状態１０Ａは、図２２の状態１０において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態１０の場合と同様に、障害物属性はＢ＋Ｃ＋Ｄ２に設定される。

状態１０Ｂは、図２２の状態１０において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＢ＋Ｃ＋Ｄ２＋Ｅに設定される。

状態１１Ａは、図２２の状態１１において、所定の閾値以上接近した障害物が存在しない状態である。この場合、図２２の状態１１の場合と同様に、障害物属性はＢ＋Ｃに設定される。

状態１１Ｂは、図２２の状態１１において、所定の閾値以上接近した障害物が存在する状態である。この場合、障害物属性はＢ＋Ｃ＋Ｅに設定される。

そして、障害物属性判定部５２１は、障害物属性の判定を行った後、危険順位設定部４２２から取得した障害物情報に、障害物属性の判定結果を追加し、結果出力部５１２に供給する。

ステップＳ３６０において、図２０のステップＳ１５８の処理と同様に、今回の障害物の検出結果を示す障害物情報が記憶部１２２に記憶される。その後、障害物属性判定処理は終了する。

図２９に戻り、ステップＳ３１２において、結果出力部５１２は、図１９のステップＳ１１１の処理と同様に、検出された障害物を強調する効果が施された最新画像を表示するのに加えて、障害物属性判定部５２１により判定された障害物属性に応じた警報音を出力する。

ここで、図３１および図３２を参照して、警報音の具体例について説明する。

図３１および図３２と図２２とを比較して、障害物属性Ｅが設定されている場合、すなわち、所定の閾値以上接近した障害物が存在する場合、音２の警報音が出力される点が異なる。すなわち、ステップＳ３１２において、図１９のステップＳ１１１において出力される警報音に加えて、所定の閾値以上接近した障害物が存在する場合、音２の警報音が出力される。この音２は、障害物が接近していることがすぐに分かるように、上述した音１ａＬ、音１ａＳ、音１ｂＬ、音１ｂＳと異なる音色（例えば、「ブー」など）に設定される。

ステップＳ３１３乃至Ｓ３１６の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であり、その説明は繰り返しになるので省略する。

このようにして、障害物が接近した場合に、運転者への警報を行うことができる。

以下、本発明の実施の形態の変形例について説明する。

本発明は、車両の後方の障害物を検出するシステムだけでなく、例えば、車両の前方の障害物を検出するシステム、または、車両の前方と後方の両方の障害物を検出するシステムにも適用することが可能である。

また、必要移動量Ｂに上限値を設けるようにしてもよい。これにより、遠方の障害物に対して必要移動量Ｂを設定した後、車両２０１が進行方向を変更し、必要移動量Ｂだけ移動する前に、他の近傍の障害物に接近または衝突してしまうことを、より確実に防止することができる。

さらに、必要移動量Ｂに下限値を設けるようにしてもよい。この下限値は、例えば、車両の移動量を正確に検出することが可能な最小の値に設定される。例えば、車速センサにより検出される車速を用いて車両の移動量を検出し、車速が2km/h（0.55m/s）より小さい場合に車速センサの信頼性が低下する場合について考える。なお、撮像部１１１のフレームレートを30fps（0.033s/frame）とする。この場合、１フレーム単位で正確に検出できる車両の移動量は、0.018m/frame（＝0.55m/s×0.033s/frame）であり、必要移動量Ｂの下限値は、例えば、0.018mに設定される。

また、必要移動量Ｂを、上述した式（９）に基づいて、車両と算出対象障害物との間の距離の２乗に対して、単純に比例させるのではなく、階段状に変化させるようにしてもよい。これは、例えば、車輪速センサを用いて車両の移動量を求める場合など、車両の移動量の検出値が離散値になる場合に有効である。

さらに、必要移動量Ｂを算出する対象となる算出対象障害物を複数設定するようにしてもよい。この場合、各算出対象障害物に対して、それぞれ異なる必要移動量Ｂが設定される。そして、各必要移動量Ｂに応じて、個別に画像の取得が要求され、それに応じて、撮像部１１１から画像が取得され、各算出対象障害物の３次元情報が求められる。この場合、最大で、算出対象障害物ごとに最新画像と過去画像の２つの画像を記憶する容量が記憶部１２２にあればよい。

また、以上の説明では、本発明を車両に適用する例を示したが、本発明は、モータバイク、自転車、船舶、列車等の乗り物など、他の移動体に適用することも可能である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）７０１，ROM（Read Only Memory）７０２，RAM（Random Access Memory）７０３は、バス７０４により相互に接続されている。

バス７０４には、さらに、入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及びドライブ７１０が接続されている。

入力部７０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部７０７は、ディスプレイ、スピーカなどよりなる。記憶部７０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部７０９は、ネットワークインタフェースなどよりなる。ドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７１１を駆動する。

以上のように構成されるコンピュータでは、CPU７０１が、例えば、記憶部７０８に記憶されているプログラムを、入出力インタフェース７０５及びバス７０４を介して、RAM７０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、入出力インタフェース７０５を介して、記憶部７０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信し、記憶部７０８にインストールすることができる。その他、プログラムは、ROM７０２や記憶部７０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０１ 障害物検出システム
１１１ 撮像部
１１２ 画像処理部
１１３ 結果出力部
１２１ 画像取得部
１２２ 記憶部
１２３ 障害物検出部
１２４ 危険順位設定部
１２５ 移動量検出部
１２６ 画像取得制御部
１４１ 必要移動量設定部
１４２ 取得要求出力部
２０１ 車両
３０１ 障害物検出システム
３１１ 画像処理部
３１２ 結果出力部
３２１ 障害物属性判定部
４０１ 障害物検出システム
４１１ 画像処理部
４２１ 移動物検出部
４２２ 危険順位設定部
５０１ 障害物検出システム
５１１ 画像処理部
５１２ 結果出力部
５２１ 障害物属性判定部

Claims (5)

1. 移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行う画像処理装置において、
   異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により前記物体までの距離を計測する計測手段と、
   前記計測手段により計測された前記物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定する設定手段と、
   前記第２の画像を撮像してから前記移動体が前記必要移動量だけ移動したときに前記第３の画像を撮像するように前記撮像装置を制御する画像取得手段と
   を含む画像処理装置。
2. 前記設定手段は、ステレオ視により対象までの距離を計測する場合の前記対象までの距離、前記対象までの距離の計測誤差、および、基線長の関係を表す関係式に、前記対象までの距離として前記計測手段により計測された前記物体までの距離を代入し、前記計測誤差に所望の値を代入することにより求められる前記基線長を前記必要移動量として設定する
   請求項１に記載の画像処理装置。
3. 前記設定手段は、複数の物体が画像内に存在する場合、前記移動体との間の距離が最も近い物体、前記移動体の進行方向に存在する物体のうち前記移動体との間の距離が最も近い物体、または、前記移動体が進行可能な領域に存在する物体のうち前記移動体との間の距離が最も近い物体のうちのいずれかとの間の距離に基づいて、前記必要移動量を設定する
   請求項１に記載の画像処理装置。
4. 移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行う画像処理装置が、
   異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により前記物体までの距離を計測し、
   計測された前記物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定し、
   前記第２の画像を撮像してから前記移動体が前記必要移動量だけ移動したときに前記第３の画像を撮像するように前記撮像装置を制御する
   ステップを含む画像処理方法。
5. 移動体に設けられた撮像装置により撮像された画像を用いて物体までの距離を計測する処理を行うコンピュータに、
   異なる位置で撮像された２つの画像を用いて、移動ステレオ方式により前記物体までの距離を計測し、
   計測された前記物体までの距離に基づいて、計測に用いられた２つの画像のうち第１の画像より後に撮像された第２の画像の撮像位置から次の計測に用いる第３の画像の撮像位置までの距離である必要移動量を設定し、
   前記第２の画像を撮像してから前記移動体が前記必要移動量だけ移動したときに前記第３の画像を撮像するように前記撮像装置を制御する
   ステップを含む処理を実行させるプログラム。

Images