JPWO2009099022A1 - 周辺監視装置及び周辺監視方法 - Google Patents

周辺監視装置及び周辺監視方法 Download PDF

Info

Publication number
JPWO2009099022A1
JPWO2009099022A1 JP2009552460A JP2009552460A JPWO2009099022A1 JP WO2009099022 A1 JPWO2009099022 A1 JP WO2009099022A1 JP 2009552460 A JP2009552460 A JP 2009552460A JP 2009552460 A JP2009552460 A JP 2009552460A JP WO2009099022 A1 JPWO2009099022 A1 JP WO2009099022A1
Authority
JP
Japan
Prior art keywords
image data
collision
moving body
monitoring device
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009552460A
Other languages
English (en)
Inventor
宏 大和
宏 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2009099022A1 publication Critical patent/JPWO2009099022A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

フロー算出部５０は、移動情報算出部３０により算出された各計測点の移動情報と位置情報取得部４０により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出する。衝突判定部６０は、フロー算出部５０により算出された３次元オプティカルフローを基に移動体の周囲に位置する物体が移動体に衝突する可能性のある衝突物体であるか否かを判定する。報知制御部７０は、判定結果を報知する。

Description

本発明は、移動体の周囲を監視する周辺監視装置及び周辺監視方法に関するものである。
近年、ステレオカメラにより得られた時系列画像データに基づいて前方を走行する物体の２次元のオプティカルフローを求め、当該物体との衝突の可能性を判定する技術が知られている（例えば、特許文献１）。
特許文献２には、ステレオカメラにより得られた画像データから立体物を認識し、当該立体物の２次元オプティカルフローと距離とに基づいて３次元オプティカルフローを算出し、当該立体物が静止物体又は移動物体であるかを判定する技術が開示されている。
特許文献３には、カメラにより撮像された撮像画像データに含まれる物体の縦エッジと横エッジとを抽出して２次元のオプティカルフローを算出し、縦方向の移動速度成分が自車両に到達するまでの時間に基づいて監視対象領域を確定する技術が開示されている。
特許文献４には、対象物が衝突するまでの時間を２次元画像データの消失点とオプティカルフローとを用いて算出する技術が開示されている。
特許文献５には、画像データから検出した２次元のオプティカルフローにより危険判定と衝突時間とを算出する衝突回避行動装置が開示されている。
しかしながら、特許文献１、３〜５の手法では、いずれも２次元のオプティカルフローを用いて衝突判定処理が行われているため、移動体の前方を走行する物体の速度が移動体の速度に比べて小さい場合、移動体の速度の影響により物体のオプティカルフローと物体の背景のオプティカルフローとの差が顕著に表れなくなり、物体と背景とのオプティカルフローを切り分けることが困難となり、物体との衝突の可能性を正確に判定することができないという問題ある。
また、特許文献２の手法は、３次元のオプティカルフローを用いて静止物体であるか移動物体であるかを判定するものであり、衝突の有無を判定するものではない。
特開２００１−６０９６号公報 特開２００６−１３４０３５号公報 特開２００６−９９１５５号公報 特開２００６−１０７４２２号公報 特願平１０−１６０９５２号公報
本発明の目的は、衝突の可能性を正確に判定することができる周辺監視装置及び周辺監視方法を提供することである。
本発明の一局面による周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
本発明の別の一局面による周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。
本発明の実施の形態１による周辺監視装置の概略構成図を示している。 図１に示す周辺監視装置のブロック図を示している。 本発明の実施の形態１による周辺監視装置の動作を示すフローチャートである。 位相限定相関法の処理の流れを示した図である。 ＰＯＣ関数を示したグラフである。 多重解像度手法の説明図である。 計測装置の構成図を示している。 計測装置により計測される距離の説明図である。 ３次元オプティカルフローの算出処理の説明図である。 衝突判定処理が実施されるシーンの一例を示した図である。 図１０のシーンにおける２次元オプティカルフローを示した図である。 図１０のシーンにおける３次元オプティカルフローを示した図である。 Ｙ−Ｚ平面での衝突判定処理の説明図である。 Ｘ−Ｚ平面での衝突判定処理の説明図である。 本発明の実施の形態２による周辺監視装置の概略構成図を示している。 図１５に示すコントローラのブロック図を示している。
（実施の形態１）
以下、本発明の実施の形態１による周辺監視装置について説明する。図１は、本発明の実施の形態１による周辺監視装置の概略構成図を示している。周辺監視装置は、自動車等の移動体に搭載され、移動体の周囲を監視するものであり、カメラ１０、計測装置２０、及びコントローラ１００を備えている。
カメラ１０は、移動体の進行方向と光軸が平行になるように移動体に設置され、所定のフレームレートで移動体の前方のシーンを撮影する。なお、カメラ１０は予めキャリブレーションがされており、カメラパラメータも予め分かっているものとする。
コントローラ１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える所定のハードウエア装置により構成され、周辺監視装置の全体制御を司る。また、コントローラ１００は、通信ケーブル介してカメラ１０により撮影された画像データを順次取り込む。なお、コントローラ１００は、無線によりカメラ１０により撮影された画像データを取り込んでも良い。
図２は、図１に示す周辺監視装置のブロック図を示している。本周辺監視装置は、カメラ１０（画像取得手段の一例）、計測装置２０（位置情報取得部の一例）、コントローラ１００、表示部２００（報知手段の一例）、及びブザー３００（報知手段の一例）を備えている。
計測装置２０は、移動体の周囲の各位置における３次元実空間上での位置情報を計測し、コントローラ１００に出力する。コントローラ１００は、移動情報算出部３０（移動情報算出手段の一例）、位置情報取得部４０（位置情報取得手段の一例）、フロー算出部５０（フロー算出手段の一例）、衝突判定部６０（衝突判定手段の一例）、報知制御部７０（報知手段の一例）を備えている。ここで、移動体の周囲とは、カメラ１０により撮影された画像データを含む一定の大きさの領域であり、各位置とは、少なくともカメラ１０の解像度以上の分解能で前記領域を区切ったときの各位置を示す。
移動情報算出部３０は、カメラ１０により撮影された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する。具体的には、移動情報算出部３０は、カメラ１０により所定のフレームレートで撮影された各画像データに複数の計測点を設定し、時系列的に前後するペアの画像データの一方の画像データに設定した計測点の対応点を他方の画像データから探索し、計測点と対応点とを用いて各計測点の２次元オプティカルフローを移動情報として算出する。
位置情報取得部４０は、計測装置２０により計測された位置情報を取得する。フロー算出部５０は、移動情報算出部３０により算出された各計測点の移動情報と位置情報取得部４０により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出する。
具体的には、フロー算出部５０は、位置情報取得部４０により取得された位置情報から、各計測点とそのペアとなる対応点との位置情報の差分ベクトルを求め、得られた差分ベクトルを３次元オプティカルフローとして算出する。ここで、位置情報は、例えば計測装置２０の設置位置を原点とするＸ，Ｙ，Ｚの座標系で表される。なお、Ｚ成分は移動体の前進方向を示し、Ｙ成分は鉛直方向を示し、Ｘ成分はＺ及びＹ成分のそれぞれに直交する移動体の幅方向を示す。
衝突判定部６０は、フロー算出部５０により算出された３次元オプティカルフローを基に移動体の周囲に位置する物体が移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定処理を行う。具体的には、衝突判定部６０は、各計測点の位置情報の分布を基に、移動体の周囲に位置する各物体を特定し、当該物体の計測点の３次元オプティカルフローの延長線と移動体とが交差するか否かに基づいて、当該物体が衝突物体であるか否かを判定する。
報知制御部７０は、衝突判定部６０により移動体の周囲の物体が衝突物体であると判定された場合、衝突する危険性があることを報知するための情報を生成し、表示部２００に表示させると共に、ブザー３００に警笛を鳴らさせる。速度取得部８０は、例えば移動体が備える速度計測装置により計測された移動体Ｍ１の速度を取得する。
表示部２００は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、コントローラ１００の制御の下、種々の情報を表示する。ここで、表示部２００は、移動体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。ブザー３００は、コントローラ１００の制御の下、搭乗者に衝突の危険性があることを報知するための警笛を鳴らす。
（周辺監視装置の動作）
次に、周辺監視装置の動作について説明する。図３は、周辺監視装置の動作を示すフローチャートである。まず、ステップＳ１において、カメラ１０は、現フレームの画像データを取得する。ここで、現フレームの取得時刻をｔとし、現フレームより１フレーム前の前フレームの取得時刻をｔ−１とし、現フレームの画像データをＩ（ｔ）とし、現フレームより１フレーム前の画像データをＩ（ｔ−１）とする。
ステップＳ２において、移動情報算出部３０は、各計測点の２次元オプティカルフローを算出する。具体的には、２次元オプティカルフローは以下のようにして算出される。まず、画像データＩ（ｔ−１）に計測点を設定する。ここで、画像データＩ（ｔ−１）の各画素を計測点として設定してもよいし、一定間隔で間引かれた画素を計測点として設定してもよい。
次に、対応点探索処理を実行し、各計測点の対応点を画像データＩ（ｔ）から探索する。次に、各計測点と、そのペアとなる対応点との差分を算出し、各計測点の２次元オプティカルフローを算出する。ここで、計測点と対応点との水平及び垂直成分の差分が２次元オプティカルフローとして算出される。
なお、上記対応点探索処理としては以下（１）〜（４）の手法を採用することができる。
（１）ＳＡＤ（Sum of Absolute Difference）
ＳＡＤは、画像データＩ（ｔ−１）にウインドウ（基準ウインドウ）を設定すると共に、画像データ（ｔ）にウインドウ（参照ウインドウ）を設定し、参照ウインドウをずらしながら、式（１）により得られる相関値から基準ウインドウ内の画像データと参照ウインドウ内の画像データとの相関を求め、相関が最も高い値を示すときの参照ウインドウの中心点を注目点の対応点として探索する手法である。式（１）に示すようにＳＡＤは、２枚の画像データの画素値をそのまま減算することで相関値を算出するため、計算量が少なく、高速処理が可能であるといった特徴を有している。
但し、ＭＬは基準ウインドウ内の画像データを示し、ＭＲは参照ウインドウ内の画像データを示し、Ｑはウインドウの水平方向のサイズを示し、Ｐはウインドウの垂直方向のサイズを示す。
（２）ＳＳＤ（Sum of Squared intensity Difference：２乗残差法）
ＳＳＤは、式（２）を用いる以外はＳＡＤと同様にして対応点を探索する手法である。
式（２）に示すように、ＳＳＤは、２枚の画像データの画素値の減算値が２乗されているため、ウインドウサイズが小さい場合であっても両画像データの誤差を明確にすることができる。
（３）ＮＣＣ（Normalized Cross Correlation：正規化相互相関法）
ＮＣＣは、式（３）を用いる以外はＳＡＤと同様にして対応点を探索する手法である。
但し、μＭＬは基準ウインドウ内の画像データの局所的な平均値を示し、μＭＲは参照ウインドウ内の画像データの局所的な平均値を示す。
ＮＣＣは、式（３）に示すように、局所的な平均値が減じられた２枚の画像データの分散値によって相関値が求められるため、線形な明るさの変化（画素値及びコントラストの線形変化やノイズ等）に影響されない手法である。
（４）位相限定相関法
位相限定相関法は、画像データＩ（ｔ−１）、Ｉ（ｔ）に設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索する手法である。なお、周波数分解する手法としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを採用することができる。
図４は、位相限定相関法の処理の流れを示した図である。まず、画像データＩ（ｔ−１）に設定された計測点に中心が位置するようにウインドウ（基準ウインドウ）が設定され、かつ、画像データＩ（ｔ）にウインドウが設定される。次に、パターンマッチング等により基準ウインドウ内の画像データにマッチする画像データＩ（ｔ）の位置に画像データＩ（ｔ）に設定されたウインドウがずらされ、参照ウインドウが設定される。
次に、基準ウインドウ内の画像データｆ及び参照ウインドウ内の画像データｇが離散フーリエ変換（ＤＦＴ）され、画像データＦ及び画像データＧが得られる。次に、画像データＦ及び画像データＧが規格化され、画像データＦ´及び画像データＧ´が得られる。次に、画像データＦ´及び画像データＧ´が合成され、相関画像データＲが得られる。次に、相関画像データＲが逆離散フーリエ変換（ＩＤＦＴ）され、ＰＯＣ関数ｒが得られる。図５はＰＯＣ関数ｒを示したグラフである。
図５に示すようにＰＯＣ関数ｒは、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは画像データｆ及び画像データｇの相関が高いほど大きくなる。したがって、相関ピークの位置を特定することで基準ウインドウに対する参照ウインドウの位置ズレ量を算出し、対応点を算出することができる。
ここで、ＰＯＣ関数は、基準画像データの画素単位、すなわち、ピクセルレベルで算出されているため、相関ピークの位置もピクセルレベルで求められることになるが、ＰＯＣ関数を補間し、サブピクセルレベルで相関ピークの位置を推定してもよい。
そして、参照ウインドウＷ２の中心点の座標に位置ズレ量を加算することにより得られる座標上の点が対応点として算出される。
また、対応点探索処理としては、多重解像度手法を採用してもよい。図６は、多重解像度手法の説明図である。この手法は、まず、処理対象となる画像データＩ（ｔ）、Ｉ（ｔ−１）を下位から上位の階層に向かって解像度が高くなるように多重解像度化する。次に、最下位の階層を注目階層とし、注目階層の画像データＩ（ｔ−１）の計測点に対する対応点を注目階層の画像データＩ（ｔ）から探索する。この場合、上記（１）〜（４）のいずれかの手法を用いて対応点を探索すればよい。
次に、注目階層よりも１つ上の階層を注目階層として設定する。次に、注目階層の画像データＩ（ｔ）に、１つ下の階層で探索した対応点を基準として探索範囲を設定する。この場合、１つ下の階層で設定した探索範囲よりも狭くなるように探索範囲を設定する。次に、探索範囲内を探索することで対応点を探索する。以上の処理を最上位の階層まで繰り返し実行し、解となる対応点を得る。
図３に戻り、ステップＳ３において、位置情報取得部４０は、計測装置２０により計測された時刻ｔにおける移動体周囲の各位置の位置情報Ｄ（ｔ）を取得する。図７は、計測装置２０の構成図を示している。図７に示す計測装置２０は、ＣＭＯＳセンサ２２の周辺に装着されたＬＥＤ（発光ダイオード）２１から近赤外線を照射し、その反射光をＣＭＯＳセンサ２２が受光するまでの時間をタイマ２３により計測するＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式により３次元位置を計測する装置である。そして、計測装置２０は、計測した位置を位置情報としてコントローラ１００に出力する。本実施の形態では、例えば、Ｃａｎｅｓｔａ社によるレーザレンジファインダを採用することができる。
図８は、計測装置２０により計測される距離の説明図であり、（ａ）は移動体の上方からの模式図であり、（ｂ）は距離とミリ波の検知角度との関係を示したグラフであり、（ｃ）は移動体前方のシーンを表している。
図８（ｂ）に示すように、計測装置２０はミリ波の検知角度に応じた距離を計測することが可能である。したがって、計測装置２０は、移動体の前方のシーンの各位置の距離の分布を示す２次元の距離画像データを取得することができる。
また、図８（ａ）に示すようにミリ波の検知角度θ１とカメラ１０の画角θ２との関係、及び計測装置２０とカメラ１０との設置位置の関係が分かっていれば、距離画像データの各位置がカメラ１０により撮影された画像データのどの位置に対応しているかを特定することができる。
したがって、カメラ１０により撮影された画像データの各計測点までの距離を求めることが可能となり、図８（ｃ）の矢印で示すような３次元オプティカルフローを算出することができる。なお、３次元オプティカルフローが算出される処理の詳細については後述する。
図３に戻り、ステップＳ４において、フロー算出部５０は、各計測点の３次元オプティカルフローを算出する。図９は、３次元オプティカルフローの算出処理の説明図である。ステップＳ２において各計測点の２次元オプティカルフローが得られている。これは時刻ｔ−１のタイミングで撮影された画像データＩ（ｔ−１）上の計測点（ｘｔ−１，ｙｔ−１）が、時刻ｔのタイミングで撮影された画像データＩ（ｔ）上のどこかの位置（ｘｔ，ｙｔ）に移動していることを示している。
一方、計測点（ｘｔ−１，ｙｔ−１）と対応点（ｘｔ，ｙｔ）との３次元実空間における位置情報（Ｘｔ−１，Ｙｔ−１，Ｚｔ−１）、（Ｘｔ，Ｙｔ，Ｚｔ）は、ステップＳ３により取得された位置情報から特定することができる。したがって、対応点（ｘｔ，ｙｔ）の位置情報（Ｘｔ，Ｙｔ，Ｚｔ）と計測点（ｘｔ−１，ｙｔ−１）の位置情報（Ｘｔ−１，Ｙｔ−１，Ｚｔ−１）との差分ベクトル（Ｘｔ−Ｘｔ−１，Ｙｔ−Ｙｔ−１，Ｚｔ−Ｚｔ−１）を求めることで、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）を算出することができる。
図３に戻り、ステップＳ５において、衝突判定部６０は、衝突判定処理を行う。図１０は、衝突判定処理が実施されるシーンの一例を示した図である。図１１は、図１０のシーンにおける２次元オプティカルフローを示した図である。図１２は、図１０のシーンにおける３次元オプティカルフローを示した図である。
図１０では、移動体Ｍ１は道路面ＲＯ１上を走行している。移動体Ｍ１の前方には、人物からなる物体ＯＢ１が移動体Ｍ１を横切るように動いている。また、移動体Ｍ１の前方には建物からなる物体ＯＢ２が道路面ＲＯ１に立設している。また、移動体Ｍ１の前方には別の移動体である物体ＯＢ３が走行している。このようなシーンを移動体Ｍ１に取り付けられたカメラ１０で撮影し、２次元オプティカルフローを求めると図１１のようになる。図１１に示すように、カメラ１０は、図１０に示すシーンを移動体Ｍ１の進行方向からとらえた画像を撮影していることが分かる。
なお、図１１に示す丸印は２次元オプティカルフローＯＦ２の算出対象となる計測点ＫＰを示している。また、図１１に示す画像では、一定の間引き幅で間引かれた複数の画素が計測点ＫＰとして設定され、各計測点ＫＰにおいて２次元オプティカルフローＯＦ２が算出されていることが分かる。また、図１１に示す画像では、物体ＯＢ１〜ＯＢ３の背景画像として道路面ＲＯ１と空ＳＫ１とが撮影されていることが分かる。
図１１に示すように、２次元オプティカルフローＯＦ２は各物体ＯＢ１〜ＯＢ３の２次元オプティカルフローＯＦ２と、背景画像の２次元オプティカルフローＯＦ２とに大差がないことが分かる。これは、２次元オプティカルフローＯＦ２において、移動体Ｍ１の速度が物体ＯＢ１〜ＯＢ３の速度に比べて支配的となるからであり、特に物体ＯＢ１〜ＯＢ３の速度が移動体Ｍ１の速度に比べて小さい場合に顕著になる。したがって、２次元オプティカルフローＯＦ２を用いた場合、衝突判定処理を精度良く行うことが困難となってしまう。
そこで、本周辺監視装置では、図１２に示すように、３次元オプティカルフローＯＦ３を用いることで高精度な衝突判定処理を実現している。図１２に示すように３次元オプティカルフローＯＦ３が、延長線と移動体Ｍ１とが交差するか否かを判定することで、移動体Ｍ１の前方に位置する物体が移動体Ｍ１に衝突する可能性のある衝突物体であるか否かを判定することができる。
例えば、図１２の人物からなる物体ＯＢ１において、３次元オプティカルフローＯＦ３の延長線が移動体Ｍ１と交差するため、物体ＯＢ１は衝突物体と判定される。このように、３次元オプティカルフローＯＦ３は移動体Ｍ１の速度と物体の速度との合成ベクトルによって表され、物体の動きを３次元的に解析することができるため、衝突判定処理を精度良く行うことが可能となる。
以下、本周辺監視装置における衝突判定処理について具体的に説明する。３次元オプティカルフローＯＦ３は、時刻ｔ−１のフレームにおける計測点と時刻ｔのフレームにおける対応点との３次元実空間上での位置情報の差分ベクトル（Ｘｔ−Ｘｔ−１，Ｙｔ−Ｙｔ−１，Ｚｔ−Ｚｔ−１＝ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ＝ＯＦ３）、すなわち３次元ベクトルにより表されるため、計測点の１フレーム間での移動距離、すなわち、計測点の１フレームあたりの速度を表すことになる。
したがって、式（Ａ）に示すように３次元オプティカルフローＯＦ３のＺ成分であるＯＦＺｔから物体が移動体Ｍ１に衝突するまでの衝突時間Ｔを算出することができる。
Ｔ＝Ｄ（ＯＦＺｔ）／（ＯＦＺｔ） （Ａ）
但し、Ｄ（ＯＦＺｔ）は、移動体Ｍ１と物体とのＺ方向の距離を表す。また、Ｔは厳密には時間のディメンションを有していないが、物体が移動体Ｍ１に到達するまでのフレーム数を表しているため、時間と同等のディメンションを有していると考えることができる。
そして、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）が衝突時間Ｔの時点でどこにあるかが以下の式（Ｂ）により分かる。
Ｆ（Ｘ，Ｙ，Ｚ）＝（Ｄ（ＯＦＸｔ）−ＯＦＸｔ・Ｔ，Ｄ（ＯＦＹｔ）−ＯＦＹｔ・Ｔ，Ｄ（ＯＦＺｔ）−ＯＦＺｔ・Ｔ） （Ｂ）
そして、Ｆ（Ｘ，Ｙ，Ｚ）を判定することで衝突判定処理が行われる。ここで、Ｆ（Ｘ）においては、移動体Ｍ１の幅、すなわち、Ｘ方向の長さを考慮した判定が行われる。衝突判定部６０は、例えば、幅をＷとし、カメラ１０及び計測装置２０を幅の中心に設置したとしてＸ，Ｙ，Ｚの３軸からなる仮想３次元空間を設定し、計測装置２０の位置を原点とする。そして、以下に示す式（Ｃ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、Ｘ方向に関して衝突物体であると判定し、式（Ｃ）を満たさない場合、Ｘ方向に関して衝突物体でないと判定する。
−Ｗ／２≦Ｆ（Ｘ）≦Ｗ／２ （Ｃ）
ここで、衝突判定部６０は、計測装置２０による計測結果からカメラ１０により撮影された画像データの各画素の３次元実空間上での位置情報を特定し、この位置情報の分布にしたがって画像データ内に含まれる各物体を抽出し、各計測点がどの物体のものであるかを特定すればよい。具体的には、位置情報のＺ成分が一定の範囲内に属する連続する画素からなる領域を１つの物体と判定すればよい。なお、仮想３次元空間内に設定された移動体Ｍ１の領域を移動体領域と称する。
また、衝突をより確実に回避するべく移動体Ｍ１の幅Ｗに多少余裕を持たせた領域を移動体領域として設定してもよい。この場合、判定式は式（Ｄ）により表される。
−（Ｗ＋α）／２≦Ｆ（Ｘ）≦（Ｗ＋α）／２ （Ｄ）
但し、αは余裕量を示し、予め定められた値を有している。
次に、Ｆ（Ｙ）においては、移動体Ｍ１の高さ、すなわちＹ方向の長さを考慮した判定が行われる。例えば、計測装置２０を基準としたときの移動体Ｍ１の高さをＨ、タイヤを考慮した道路面までの距離をＰとすると、衝突判定部６０は、式（Ｅ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、Ｙ方向に関して衝突物体であると判定し、式（Ｅ）を満たさない場合、Ｙ方向に関して衝突物体でないと判定する。
−Ｐ≦Ｆ（Ｙ）≦Ｈ （Ｅ）
ここで、式（Ｅ）ではタイヤの高さが考慮されているため道路面が衝突物体と判定されることを防止することができる。また、衝突判定部６０は、式（Ｅ）に多少余裕を持たせた式（Ｆ）を用いて衝突判定処理を行ってもよい。
−Ｐ＋β１≦Ｆ（Ｙ）≦Ｈ＋β２ （Ｆ）
但し、β１，β２は余裕量を示し、予め定められた値を有している。
最後に、Ｆ（Ｚ）においては、移動体Ｍ１の長さ、すなわち、Ｚ方向の長さを考慮した判定が行われる。例えば、カメラ１０及び計測装置２０の設置箇所を基準とし、移動体Ｍ１の前方の長さをＬＦ、後方の長さをＬＢとすると、衝突判定部６０は、式（Ｇ）を満たす場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を、衝突物体として判定し、式（Ｇ）を満たさない場合、衝突物体として判定しない。
−ＬＢ≦Ｆ（Ｚ）≦ＬＦ （Ｇ）
ここで、衝突判定部６０は、式（Ｇ）に多少余裕を持たせた式（Ｈ）を用いて衝突判定処理を行ってもよい。
−ＬＢ＋γ１≦Ｆ（Ｚ）≦ＬＦ＋γ２ （Ｈ）
但し、γ１，γ２は余裕量を示し、予め定められた値を有している。
そして、衝突判定部６０は、Ｆ（Ｘ），Ｆ（Ｙ），Ｆ（Ｚ）が全て満たされた場合、判定対象となる３次元オプティカルフローの計測点が設定された物体を衝突物体であると判定する。ここで、衝突判定部６０は、１つの物体に複数の計測点が設定されている場合、例えば１又は複数の所定数以上の計測点における３次元オプティカルフローがＦ（Ｘ，Ｙ，Ｚ）の条件を満たしていれば、当該物体を衝突物体として判定すればよい。なお、所定数としては、誤判定を防止するうえで好ましい値が適宜採用される。
図１３は、Ｙ−Ｚ平面での衝突判定処理の説明図である。図１４は、Ｘ−Ｚ平面での衝突判定処理の説明図である。図１３、図１４に示すように移動体Ｍ１の領域である移動体領域Ｒ１を基準として、Ｘ，Ｙ，Ｚの３軸で規定される仮想３次元空間が設定される。そして、図１３の上段に示すように、物体ＯＢ１の計測点Ａの３次元オプティカルフローＯＦＡは、移動体Ｍ１側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たし、その延長線が移動体領域Ｒ１と交差しているため、物体ＯＢ１は衝突物体として判定される。
一方、図１３の上段に示すように、道路面の計測点Ｂの３次元オプティカルフローＯＦＢは、上記Ｆ（Ｘ，Ｙ，Ｚ）のＦ（Ｙ）の条件を満たしておらず、その延長線が移動体領域Ｒ１と交差していないため、道路面は衝突物体として判定されない。
また、図１３の下段に示すように、物体ＯＢ１の計測点Ｃの３次元オプティカルフローＯＦＣは、移動体Ｍ１の反対側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たさないため、物体ＯＢ１は衝突物体として判定されない。
また、図１４の２段目に示すように、物体ＯＢ１の計測点Ａの３次元オプティカルフローＯＦＡは、移動体Ｍ１側に向かっており、上記Ｆ（Ｘ，Ｙ，Ｚ）の条件を満たし、その延長線が移動体領域Ｒ１と交差しているため、物体ＯＢ１は衝突物体として判定される。
一方、図１４の３段目、４段目に示すように、物体ＯＢ１の計測点Ｂ及びＣの３次元オプティカルフローＯＦＢ及びＯＦＣは、上記Ｆ（Ｘ，Ｙ，Ｚ）のＦ（Ｘ）及びＦ（Ｚ）の条件を満たしておらず、その延長線が移動体領域Ｒ１と交差していないため、物体ＯＢ１は衝突物体として判定されない。
また、衝突判定部６０は、上記処理に加えて以下のようにして、衝突判定処理を行っても良い。すなわち、衝突判定部６０は、移動体の周囲の物体の３次元オプティカルフローの延長線が移動体Ｍ１と交差し、かつ、物体と移動体Ｍ１との距離が所定の基準距離より短い場合に、この物体が衝突物体であると判定し、具体的には、速度取得部８０により取得された移動体Ｍ１の速度を基に移動体Ｍ１の停止距離を算出し、得られた停止距離を基に基準距離を変更してもよい。
停止距離は、空走距離Ｅと制動距離Ｂとによって算出することができる。空走距離はＥ＝ＶＴにより算出することができる。ここで、Ｔは反応時間であり、Ｖは移動体Ｍ１の速度である。
制動距離は、Ｂ＝Ｖ２／２ｕ・ｇにより算出することができる。ここで、ｕは制動時の摩擦係数であり、ｇは重力加速度である。そして、これらの合計値（Ｓ＝Ｅ＋Ｂ）により停止距離Ｓを算出することができる。
なお、速度取得部８０は、速度計測装置により計測された速度を取得する構成に代えて、距離情報から速度を算出する手法を採用してもよい。具体的には、移動物体でない複数の計測点における３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）の大きさの平均値を求め、この平均値を移動体Ｍ１の速度として算出してもよい。この場合、移動体Ｍ１の高さから道路面を推定し、道路面上の複数の計測点の３次元オプティカルフローの大きさの平均値を移動体Ｍ１の速度として算出することが好ましい。これにより、移動体Ｍ１の速度をより正確に算出することができる。
このような処理を採用すると、停止距離Ｓの範囲よりも遠くに位置する物体は、衝突物体として判定されなくなるため、衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができ、搭乗者に不必要な報知がなされることを防止することができる。
また、衝突判定部６０は、物体の３次元オプティカルフローの大きさと、物体までの距離との比率を基に基準距離を変更してもよい。
例えば、移動体Ｍ１から停止距離以上に距離が離れていても、移動体Ｍ１に急速に向かってくるような物体は停止距離Ｓ内に入った時点で判定するのでは衝突する可能性が高くなる。そこで、衝突判定部６０は、式（Ｉ）に示すように、物体の計測点までの距離と、３次元オプティカルフローの大きさとの比率Ｒ（具体的には物体までのＸ，Ｚ成分の距離と、３次元オプティカルフローのＸ，Ｚ成分の大きさとの比率）を求め、この比率Ｒが予め定められた閾値以内の物体を衝突物体として判定する。
Ｒ＝（ＯＦＸｔ ２，ＯＦＺｔ ２）１／２／（Ｄ（ＯＦＸｔ）２＋Ｄ（ＯＦＺｔ）２）１／２ （Ｉ）
また、上記判定方法だけでなく、物体の大きさにより基準距離を変更しても良い。例えば、移動体Ｍ１は、小さい物体に対して回避行動を行うことは可能であるが、大きな物体に対しては回避行動を行うことが難しい。そこで、大きい物体に関しては、小さい物体よりも基準距離を長く設定する。ここで、物体の大きさは、３次元実空間上での物体までの距離と、当該物体の画像データ上での面積とを求め、これらの情報から算出すればよい。また、衝突判定部６０は、ある閾値を設け、この閾値よりも大きな物体に関しては予め定められた大きな物体用の基準距離を設定して衝突判定処理を行い、この閾値よりも小さな物体に関しては予め定められた小さな物体用の基準距離を設定して衝突判定処理を行っても良い。また、物体の大きさが大きくなるにつれて基準距離が大きくなるように連続的、又は段階的に基準距離を設定してもよい。
また、衝突判定部６０は、衝突判定処理を時系列的に複数回実行することで得られた処理結果と、移動体Ｍ１の速度とを基に、物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に物体が衝突物体であるか否かを判定してもよい。
例えば、衝突判定処理の結果から衝突の可能性があると判断された場合であって、物体の速度が変化しない場合、当該物体の搭乗者は、移動体Ｍ１の存在に気付いてない恐れがある。一方、物体の速度が減速した場合、当該物体の搭乗者は、移動体Ｍ１の存在に気付いていると考えられる。
そこで、衝突判定部６０は、複数フレーム期間毎に衝突判定処理を実行するものとし、複数フレーム期間において各物体の衝突判定処理の処理結果を保持しておき、一定回数以上衝突すると判定された物体の速度変化を求めると共に、移動体Ｍ１の速度変化を求め、両変化の比率Ｒｋ（＝物体の速度変化／移動体Ｍ１の速度変化）が所定の閾値よりも大きい場合、当該物体の搭乗者は、移動体Ｍ１の存在に気づいていると判定し、比率Ｒｋが所定の閾値より小さい場合、当該物体の搭乗者は、移動体Ｍ１の存在に気づいていないと判定すればよい。なお、物体の速度変化は、当該物体の３次元オプティカルフローから求めればよく、また、移動体Ｍ１の速度変化は、速度取得部８０により取得された速度から求めればよい。
図３に戻り、ステップＳ６において、報知制御部７０は、ステップＳ５による衝突判定処理の結果を示す情報を生成し、表示部２００に表示させると共に、ブザー３００に出力する。具体的には、報知制御部７０は、ステップＳ５で衝突物体が存在すると判定された場合は、例えばカメラ１０が撮影した画像データ上に当該衝突物体をマーキングした画像データを表示部２００に表示させて、搭乗者に衝突物体の存在を報知してもよい。
また、報知制御部７０は、ステップＳ５で衝突物体が存在すると判定された場合、警笛などのアラームをブザー３００から出力させることで、搭乗者に危険を報知するようにしてもよい。この場合、危険度を判定し、危険度の度合いに応じて、アラーム音や画像表示の手法を変更してもよい。例えば、ステップＳ５で衝突物体であると判定された場合であっても移動体Ｍ１までの距離が遠く、危険度が低いような場合は、危険度が低い用のアラーム音や画像表示を行い、移動体Ｍ１までの距離が近く危険度が高いような場合は、危険度が高い用のアラーム音や画像表示を行えばよい。また、危険度を段階的に判断し、危険度に応じたアラーム音や画像表示を行うようにしてもよい。
このように、実施の形態１による周辺監視装置によれば、３次元オプティカルフローを用いて衝突の有無が判定されているため、衝突の可能性を正確に判定することができる。
（実施の形態２）
次に、本発明の実施の形態２による周辺監視装置について説明する。実施の形態２による周辺監視装置は、位置情報取得部４０がステレオ法により位置情報を算出することを特徴とする。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１５は、実施の形態２による周辺監視装置の概略構成図を示している。図１５に示すように、本実施の形態では、２台のカメラ１１，１２からなるステレオカメラが採用されている。
ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、移動体Ｍ１の前方を走行する自動車、自動二輪車、及び自転車、並びに車体の前方を通行する通行人等の物体を撮影する。また、カメラ１１，１２は予めキャリブレーションがされており、カメラパラメータも予め分かっているものとする。なお、カメラ１１，１２は２台としたが、これに限定されず３台以上のカメラを採用してもよい。
また、カメラ１１，１２は、光軸がＺ方向と平行、同一の高さ位置（Ｙ方向の位置）、かつ幅方向（Ｘ方向）に一定の間隔を設けて移動体Ｍ１に設置されている。
図１６は、図１５に示すコントローラ１００のブロック図を示している。図２との相違点はカメラ１０及び計測装置２０がカメラ１１及び１２とされている点にある。位置情報取得部４０は、カメラ１１により撮影された画像データを基準画像、カメラ１２により撮影された画像データを参照画像とし、時刻ｔにおける基準画像に設定された計測点の対応点を時刻ｔにおける参照画像から探索し、計測点と対応点との視差を求め、この視差を基に計測点の３次元実空間上での位置情報を算出する。なお、位置情報取得部４０は、上述した移動情報算出部３０の対応点探索処理と同一の手法を採用して対応点を探索すればよい。
なお、位置情報（Ｘ，Ｙ，Ｚ）は、例えば以下の式より算出される。
Ｘ＝ｘ・Ｄ／ｆ
Ｙ＝ｙ・Ｄ／ｆ
Ｚ＝ｆ・Ｂ／ｄ
但し、ｘ、ｙは計測点の画像データ上での座標を示し、ｆは焦点距離を示し、ｄは視差を示し、Ｂは、カメラ１１とカメラ１２との基線長、すなわち、Ｘ方向の間隔を示す。また、視差は計測点と対応点との水平及び垂直成分同士の差分を採用することができる。
次に、実施の形態２による周辺監視装置の動作について図３を用いて説明する。ステップＳ１，Ｓ３以外の処理は実施の形態１と同一であるため、説明を省略する。
まず、ステップＳ１において、カメラ１１により基準画像が取得され、カメラ１２により参照画像が取得される。
ステップＳ３において、位置情報取得部４０は、時刻ｔにおける基準画像Ｉ１（ｔ）における各計測点ＫＰ（ｔ）の対応点ＴＰ１（ｔ）を参照画像Ｉ２（ｔ）から探索し、計測点ＫＰ（ｔ）と対応点ＴＰ１（ｔ）とのペアから視差ｄ（ｔ）を算出し、得られた視差ｄ（ｔ）から計測点ＫＰ（ｔ）の位置情報を算出する。この場合、位置情報取得部４０は、ステップＳ２で基準画像Ｉ１（ｔ）から探索された、基準画像Ｉ１（ｔ−１）の計測点ＫＰ（ｔ−１）の対応点ＴＰ２（ｔ）を計測点ＫＰ（ｔ）とすればよい。
このように、実施の形態２における周辺監視装置によれば、ステレオカメラにより位置情報が算出されているため、画像データのみの情報から物体の位置情報を算出することが可能となる。
なお、上記説明では、対応点探索処理として、放物線などの関数をフィッティングすることで対応点をサブピクセルレベルで算出する手法を例示したが、これに限定されず、サブピクセルテンプレートを生成して、直接的にサブピクセルレベルで対応点を探索する手法を採用してもよい。
なお、サブピクセルテンプレートは以下のように算出される。まず、実施の形態２のステップＳ３において、対応点ＴＰ２（ｔ）がサブピクセルレベルで算出されたとする。この場合、対応点ＴＰ２（ｔ）を中心に基準ウインドウを設定する。次に、基準ウインドウ内の画像データの各点における輝度を双一次補間（バイリニア補間）や双三次補間を用いて算出する。これによりサブピクセルテンプレートが得られる。そして、このサブピクセルテンプレートを用いて参照画像から対応点を探索すればよい。
また、３次元オプティカルフローを時刻Ｔ１のステレオ画像データＬ１、Ｒ１と時刻Ｔ２のステレオ画像データＬ２、Ｒ２として、Ｌ１−Ｒ１から距離画像データＤ１を生成し、Ｌ２−Ｒ２から距離画像データＤ２を生成し、Ｌ１−Ｌ２から２次元オプティカルフローを算出し、距離画像データＤ１，Ｄ２、及び２次元オプティカルフローから３次元オプティカルフローを算出する手法を用いて算出してもよい。
上記周辺監視装置及び周辺監視方法は下記のように纏めることができる。
（１）上記周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
また、上記周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。
これらの構成によれば、３次元オプティカルフローを用いて衝突の有無が判定されているため、衝突の可能性を正確に判定することができる。
（２）また、前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差するか否かに基づいて、前記物体が衝突物体であるか否かを判定することが好ましい。
この構成によれば、３次元オプティカルフローの延長線と移動体とが交差するか否かに基づいて、衝突の有無が判定されているため、複雑な判定を行わずとも衝突の可能性を正確に判定することができる。
（３）また、前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差し、かつ、前記物体と前記移動体との距離が所定の基準距離より短い場合に前記物体が衝突物体であると判定することが好ましい。
この構成によれば、物体の３次元オプティカルフローの延長線と移動体とが交差し、かつ、物体と移動体との距離が所定の基準距離より短い場合に物体が衝突物体であると判定されているため、３次元オプティカルフローは交差するが、遠方に位置しているために衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
（４）前記衝突判定手段は、前記移動体の速度に応じて前記基準距離を変更することが好ましい。
この構成によれば、３次元オプティカルフローは交差するが、遠方に位置しているために衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
（５）前記衝突判定手段は、前記移動体の速度を基に前記移動体の停止距離を算出し、得られた停止距離を基に前記基準距離を変更することが好ましい。
この構成によれば、３次元オプティカルフローは交差するが、移動体が減速しているため衝突する可能性が明らかに低いような物体が衝突物体として判定されることを防止することができる。
（６）前記衝突判定手段は、前記物体の３次元オプティカルフローの大きさと、前記物体までの距離との比率を基に前記基準距離を変更することが好ましい。
この構成によれば、遠くに位置していても移動体に急速に向かっているような物体を衝突物体として判定することができる。
（７）また、前記衝突判定手段は、前記物体の大きさを基に、前記基準距離を変更することが好ましい。
この構成によれば、例えば、衝突物体が小さい場合は、回避行動を行うことは可能であるが、大きい場合は回避行動を行うことが難しいことを考慮して、大きい物体に関しては、遠くに位置する場合でも衝突物体として判定することができ、安全性をより確保することができる。
（８）また、前記衝突判定手段は、衝突物体であるか否かを判定する処理を時系列的に複数回実行することで得られた処理結果と、前記移動体の速度とを基に、前記物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に前記物体が衝突物体であるか否かを判定することが好ましい。
この構成によれば、衝突を回避するように速度が変化している物体が衝突物体として判定されなくなるため、高精度の衝突判定処理を行うことができる。
（９）前記衝突判定手段により前記物体が衝突物体であると判定された場合、衝突する危険性があることを報知する報知手段を更に備えることが好ましい。
この構成によれば、衝突の可能性を移動体の搭乗者に報知することができる。
（１０）前記移動情報算出手段は、時系列的に前後する画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記移動情報を算出することが好ましい。
この構成によれば、画像データのみの情報から物体の移動情報を算出することができる。
（１１）前記画像取得手段は、ステレオカメラであり、前記位置情報取得手段は、前記ステレオカメラにより取得されたペアの画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記位置情報を算出することが好ましい。
この構成によれば、画像データのみの情報から物体の３次元実空間における位置情報を算出することができる。
（１２）また、前記位置情報取得手段は、距離計測装置であることが好ましい。
この構成によれば、ミリ波レーダなどの距離計測装置により位置情報を算出することができる。
（１３）前記対応点探索処理は、相関演算であることが好ましい。この構成によれば、相関演算により対応点が探索されるため、対応点を精度良く探索することができる。
（１４）また、前記対応点探索処理は、処理対象となる複数の画像データにウインドウを設定し、設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索することが好ましい。
この構成によれば、画像データ間の輝度差やノイズの影響を受けにくく、ロバストに対応点を探索することができる。
（１５）また、前記周波数分解は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかであることが好ましい。
この構成によれば、既に確立されている手法を用いているため、周波数分解を確実に行うことができる。
（１６）また、前記対応点探索処理は、位相限定相関法であることが好ましい。
この構成によれば、位相限定相関法を用いて対応点が探索されているため、他の周波数分解を用いた方法よりも高精度に対応点を探索することができる。
（１７）また、前記対応点探索処理は、処理対象となる画像データを下位から上位の階層に向かって解像度が高くなるように多重解像度化し、下位の階層での対応点の探索結果を基に、当該下位の階層よりも１つ上の階層での対応点の探索範囲が狭くなるように探索範囲を設定し、下位の階層から上位の階層に向けて順次対応点を探索する多重解像度手法を用いて対応点を探索することが好ましい。
この構成によれば、いわゆる多重解像度手法を用いて対応点が探索されているため、対応点の位置が大きく離れている場合でも、効果的、かつ高精度に対応点を探索することができる。
（１８）また、前記対応点探索処理は、画像データの全領域にわたって対応点を探索することが好ましい。
この構成によれば、画像データの全領域にわたって対応点が算出されるため、移動情報算出手段ではより詳細な移動情報が算出可能であり、位置情報取得手段では詳細な物体の形状及び距離を取得することができる。
本発明の一局面による周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に仮想３次元空間上で衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
本発明の別の一局面による周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に仮想３次元空間上で衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。
(１)上記周辺監視装置は、移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、前記移動体の周囲の画像データを時系列に取得する画像取得手段と、前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に仮想３次元空間上で衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする。
また、上記周辺監視方法は、移動体の周囲を監視する周辺監視方法であって、前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に仮想３次元空間上で衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする。

Claims (19)

  1. 移動体に搭載され、前記移動体の周囲を監視する周辺監視装置であって、
    前記移動体の周囲の画像データを時系列に取得する画像取得手段と、
    前記画像取得手段により取得された各画像データに複数の計測点を設定し、各計測点の移動情報を算出する移動情報算出手段と、
    前記移動体の周囲の各位置の３次元実空間上における位置情報を取得する位置情報取得手段と、
    前記移動情報算出手段により算出された移動情報と前記位置情報取得手段により取得された位置情報とを基に各計測点の３次元オプティカルフローを算出するフロー算出手段と、
    前記フロー算出手段により算出された３次元オプティカルフローを基に前記移動体の周囲に位置する物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定手段とを備えることを特徴とする周辺監視装置。
  2. 前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差するか否かに基づいて、前記物体が衝突物体であるか否かを判定することを特徴とする請求項１記載の周辺監視装置。
  3. 前記衝突判定手段は、前記物体の３次元オプティカルフローの延長線と前記移動体とが交差し、かつ、前記物体と前記移動体との距離が所定の基準距離より短い場合に前記物体が衝突物体であると判定することを特徴とする請求項２記載の周辺監視装置。
  4. 前記衝突判定手段は、前記移動体の速度に応じて前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  5. 前記衝突判定手段は、前記移動体の速度を基に前記移動体の停止距離を算出し、得られた停止距離を基に前記基準距離を変更することを特徴とする請求項４記載の周辺監視装置。
  6. 前記衝突判定手段は、前記物体の３次元オプティカルフローの大きさと、前記物体までの距離との比率を基に前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  7. 前記衝突判定手段は、前記物体の大きさを基に、前記基準距離を変更することを特徴とする請求項３記載の周辺監視装置。
  8. 前記衝突判定手段は、衝突物体であるか否かを判定する処理を時系列的に複数回実行することで得られた処理結果と、前記移動体の速度とを基に、前記物体の速度が、衝突を回避するように変化したか否かを判定し、得られた判定結果を基に前記物体が衝突物体であるか否かを判定することを特徴とする請求項１〜７のいずれかに記載の周辺監視装置。
  9. 前記衝突判定手段により前記物体が衝突物体であると判定された場合、衝突する危険性があることを報知する報知手段を更に備えることを特徴とする請求項１〜８のいずれかの周辺監視装置。
  10. 前記移動情報算出手段は、時系列的に前後する画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記移動情報を算出することを特徴とする請求項１〜９のいずれかに記載の周辺監視装置。
  11. 前記画像取得手段は、ステレオカメラであり、
    前記位置情報取得手段は、前記ステレオカメラにより取得されたペアの画像データのうち一方の画像データに設定された注目点の対応点を他方の画像データから探索する対応点探索処理を実行することで前記位置情報を算出することを特徴とする請求項１〜１０のいずれかに記載の周辺監視装置。
  12. 前記位置情報取得手段は、距離計測装置であることを特徴とする請求項１〜１０のいずれかに記載の周辺監視装置。
  13. 前記対応点探索処理は、相関演算であることを特徴とする請求項１０又は１１記載の周辺監視装置。
  14. 前記対応点探索処理は、処理対象となる複数の画像データにウインドウを設定し、設定したウインドウ内の画像データを周波数分解し、振幅成分を抑制した信号の相関に基づいて対応点を探索することを特徴とする請求項１０又は１１記載の周辺監視装置。
  15. 前記周波数分解は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかであることを特徴とする請求項１４記載の周辺監視装置。
  16. 前記対応点探索処理は、位相限定相関法であることを特徴とする請求項１４又は１５記載の周辺監視装置。
  17. 前記対応点探索処理は、処理対象となる画像データを下位から上位の階層に向かって解像度が高くなるように多重解像度化し、下位の階層での対応点の探索結果を基に、当該下位の階層よりも１つ上の階層での対応点の探索範囲が狭くなるように探索範囲を設定し、下位の階層から上位の階層に向けて順次対応点を探索する多重解像度手法を用いて対応点を探索することを特徴とする請求項１３〜１６のいずれかに記載の周辺監視装置。
  18. 前記対応点探索処理は、画像データの全領域にわたって対応点を探索することを特徴とする請求項１〜１６のいずれかに記載の周辺監視装置。
  19. 移動体の周囲を監視する周辺監視方法であって、
    前記移動体の周囲の画像データを時系列に取得する画像取得ステップと、
    前記画像取得ステップにより取得された画像データに含まれる物体の移動情報を算出する移動情報算出ステップと、
    前記物体の３次元実空間における位置情報を取得する位置情報取得ステップと、
    前記移動情報算出ステップにより算出された移動情報と前記位置情報取得ステップにより取得された位置情報とを基に３次元オプティカルフローを算出するフロー算出ステップと、
    前記フロー算出ステップにより算出された３次元オプティカルフローを基に前記物体が前記移動体に衝突する可能性のある衝突物体であるか否かを判定する衝突判定ステップとを備えることを特徴とする周辺監視方法。
JP2009552460A 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法 Pending JPWO2009099022A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008024478 2008-02-04
JP2008024478 2008-02-04
PCT/JP2009/051691 WO2009099022A1 (ja) 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法

Publications (1)

Publication Number Publication Date
JPWO2009099022A1 true JPWO2009099022A1 (ja) 2011-05-26

Family

ID=40952097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009552460A Pending JPWO2009099022A1 (ja) 2008-02-04 2009-02-02 周辺監視装置及び周辺監視方法

Country Status (4)

Country Link
US (1) US20110019873A1 (ja)
EP (1) EP2249310A4 (ja)
JP (1) JPWO2009099022A1 (ja)
WO (1) WO2009099022A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109831A1 (ja) * 2009-03-23 2010-09-30 コニカミノルタホールディングス株式会社 ドライブレコーダ
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
WO2011042876A1 (en) 2009-10-07 2011-04-14 Alon Atsmon Automatic content analysis method and system
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
EP2463843B1 (en) * 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US9443152B2 (en) 2011-05-03 2016-09-13 Ionroad Technologies Ltd. Automatic image content analysis method and system
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US20160035107A1 (en) * 2013-04-25 2016-02-04 Wenming Zheng Moving object detection
TWI595450B (zh) * 2014-04-01 2017-08-11 能晶科技股份有限公司 物件偵測系統
JP6451623B2 (ja) * 2015-12-25 2019-01-16 株式会社デンソー 走行支援装置
JP6687496B2 (ja) * 2016-10-18 2020-04-22 株式会社Ｓｏｋｅｎ 視差検出装置
JP6426215B2 (ja) * 2017-01-18 2018-11-21 オリンパス株式会社 内視鏡装置およびプログラム
DE102017212175A1 (de) * 2017-07-17 2019-01-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines optischen Flusses anhand einer von einer Kamera eines Fahrzeugs aufgenommenen Bildsequenz
JP6815963B2 (ja) * 2017-09-29 2021-01-20 クラリオン株式会社 車両用外界認識装置
JP7102800B2 (ja) * 2018-03-13 2022-07-20 富士通株式会社 評価プログラム、評価方法および評価装置
US11235734B2 (en) * 2020-02-07 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity based vehicle security system
JP7470008B2 (ja) 2020-10-19 2024-04-17 株式会社東芝 半導体装置
JP7446214B2 (ja) 2020-12-16 2024-03-08 株式会社東芝 半導体装置及びその製造方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
JP2004199390A (ja) * 2002-12-18 2004-07-15 Toyota Motor Corp 運転補助システム及び装置
JP2005214914A (ja) * 2004-02-02 2005-08-11 Fuji Heavy Ind Ltd 移動速度検出装置および移動速度検出方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0516811A (ja) * 1991-07-08 1993-01-26 Toshiba Corp 物体検出システム
JPH10160952A (ja) 1996-11-29 1998-06-19 Kyocera Corp 波長分波素子及び光波長多重伝送モジュール
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
JP4069919B2 (ja) 2004-09-28 2008-04-02 日産自動車株式会社 衝突判定装置、および方法
JP2006134035A (ja) 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
JP2006218935A (ja) * 2005-02-09 2006-08-24 Advics:Kk 車両用走行支援装置
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP4707067B2 (ja) * 2006-06-30 2011-06-22 本田技研工業株式会社 障害物判別装置
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084383A (ja) * 1999-09-09 2001-03-30 Univ Tokyo 移動検出方法
JP2002298298A (ja) * 2001-03-30 2002-10-11 Honda Motor Co Ltd 車両の周辺監視装置
JP2004199390A (ja) * 2002-12-18 2004-07-15 Toyota Motor Corp 運転補助システム及び装置
JP2005214914A (ja) * 2004-02-02 2005-08-11 Fuji Heavy Ind Ltd 移動速度検出装置および移動速度検出方法

Also Published As

Publication number Publication date
WO2009099022A1 (ja) 2009-08-13
EP2249310A1 (en) 2010-11-10
EP2249310A4 (en) 2013-11-27
US20110019873A1 (en) 2011-01-27

Similar Documents

Publication Publication Date Title
WO2009099022A1 (ja) 周辺監視装置及び周辺監視方法
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP5109691B2 (ja) 解析装置
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
JP4899424B2 (ja) 物体検出装置
JP5603835B2 (ja) 車両周囲監視装置
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2008219063A (ja) 車両周辺監視装置及び方法
JP5353455B2 (ja) 周辺監視装置
JP2017096777A (ja) ステレオカメラ装置
JP2010257377A (ja) 車両周辺監視装置
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2014154898A (ja) 物体検知装置
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
JP2015230703A (ja) 物体検出装置及び物体検出方法
JP5640788B2 (ja) 移動者警報装置
JP2014044730A (ja) 画像処理装置
JP2012256159A (ja) 接近物検知装置および接近物検知方法
JP2017167970A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
JP4872943B2 (ja) 解析装置
JPWO2021166742A5 (ja) 物体測距装置、方法、及びプログラム
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130723