JP4962569B2 - 移動物体検出装置 - Google Patents

Description

本発明は、移動体に搭載されたカメラで取得された時系列画像から、その画像内で実際に動いている移動物体を切り出す装置に関する。

この出願は、２００７年７月３日に出願された日本国出願特願２００７−１７５２０１および２００７年７月５日に出願された日本国出願特願２００７−１７７０２５を基礎とするものであり、それらの内容は、本願に含まれるものである。

前記移動物体を切り出す前記装置の具体的な用途の代表例としては、例えば、車載用カメラにおいて、車道への歩行者等の飛び出しを検出してドライバーへ危険を報知したり、ブレーキを掛けたりする装置が挙げられる。また、ロボットの技術分野においても、移動しながらに、人間等の動きを検出したいというニーズもある。ところが、移動中は、画像全体が変動するため、動きのある対象物を検出するのは、困難である。

そこで、そのような動きのある撮像画像から移動物体を検出するようにした従来技術として、例えば、特許文献１および特許文献２が挙げられる。特許文献１には、カメラを搭載した移動体の移動方向および移動速度を検出し、その検出結果から予測した画像と、実際の移動後の画像との差分から、移動物体を抽出する移動体の安全装置が開示されている。また、特許文献２には、基準画像と参照画像とで複数の画像パターン同士を比較することによって動きベクトルを求め、その最大頻度となる方向および移動量からカメラの動きを推定し、その推定画像と実際の画像との差から、移動物体を検出するたカメラ揺れ補正方法が開示されている。

前記特許文献１に開示の従来技術では、予測画像に誤差があると差分画像に誤差が生じてしまうため、移動物体の検出精度が低下してしまう。また、前記特許文献１の従来技術では、背景の３次元位置がないと、正確な予測画像を得ることが難しい。

また、特許文献２に開示の従来技術では、固定カメラの風等によるブレの対策であるので、カメラ自体が移動する場合は、動き推定が困難となってしまう。
日本国公開公報；特開平７−１９８７３７号公報 日本国公開公報；特開２００６−９４５６０号公報

本発明は、上述の事情に鑑みて為された発明であり、その目的は、移動する撮像手段の撮像画像から、移動物体をより正確に検出するようにした移動物体検出装置を提供することである。

本発明にかかる移動物体検出装置では、撮像部によって撮像された撮像画像間におけるオプティカルフローの単位ベクトルと、撮像部を搭載する移動体の移動ベクトルを前記画像と等しい画像領域上に展開した場合における前記移動ベクトルの単位ベクトルとが比較され、それらの差から移動物体が検出される。したがって、本発明にかかる移動物体検出装置は、移動する撮像部の撮像画像から移動物体をより正確に検出することができる。

本発明のこれらおよび他の目的、特徴ならびに長所は、図面に沿ってより詳しく説明される以下の記述によってより明らかにされる。

本発明の実施の一形態にかかる移動物体検出装置の電気的構成を示すブロック図である。 所定時間間隔を開けて撮影された車両前方の画像を比較して求められた動きベクトルの演算結果の一例を示す図である。 直進時の車両の移動に伴って発生する移動ベクトルの一例を示す図である。 前記図２で示す前方画像の動きベクトルから図３で示す車両の移動ベクトルを減算した演算結果の一例を示す図である。 本発明の実施の一形態にかかる移動物体の判定動作を説明するためのフローチャートである。 図５で示す移動物体の判定動作における動き領域検出動作をより詳しく説明するためのフローチャートである。 本発明の実施の他の形態に係る移動物体検出装置の電気的構成を示すブロック図である。 左にカーブを切りながら走行している状態での動きベクトルの一例を示す図である。 図８で示す動きベクトルの内、並進ベクトルを示す図である。 前記図８で示す前方画像の動きベクトルからの図９で示す並進ベクトルを減算した演算結果の一例を示す図である。 本発明の実施の他の形態に係る移動物体の判定動作を説明するためのフローチャートである。 本発明の実施の一形態に係る移動物体検出装置の電気的構成を示すブロック図である。 所定時間間隔を開けて撮影された車両前方の画像を比較して求められた動きベクトルの演算結果の一例を示す図である。 ステレオカメラの車両への取付け状態を説明するための平面図である。 前記ステレオカメラが、その光軸が車両の前後軸からずれて取付けられた場合において、車両の前進によって発生する放射方向のベクトル成分を示す図である。 前記図１５で示す状況において、並進方向のベクトル成分を示す図である。 前記図１５および図１６のベクトル成分を合成した移動ベクトルを示す図である。 ステレオ画像から３次元３Ｄ計測部によって対象物までの距離を計測する方法を説明するための図である。 ＳＡＤ法による対応点探索方法を説明するための図である。 本発明の実施の一形態に係る移動物体の判定動作を説明するためのフローチャートである。 本発明の実施の他の形態に係る移動物体検出装置の電気的構成を示すブロック図である。 本発明の実施の他の形態に係る動きベクトルの演算結果の一例を示す図である。 本発明の実施の他の形態に係る移動物体の判定動作を説明するためのフローチャートである。 図２３で示す移動物体の判定動作における動き領域検出動作をより詳しく説明するためのフローチャートである。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

（第１実施形態）
図１は、本発明の実施の一形態に係る移動物体検出装置１の電気的構成を示すブロック図である。この移動物体検出装置１は、移動体である車両に搭載され、車線検出技術によって車両の運転状況を検出する前方監視カメラにおいて、側方から飛び出す歩行者等の移動物体を検出するものである。移動物体検出装置１では、より具体的には、カメラ２の撮像画像に動き領域が検出された後は、その領域に対してパターンマッチング法等を用いることによって歩行者か否かの識別が行われ、歩行者であれば、ドライバーへ危険を報知したり、ブレーキを掛けたりする等の安全対策が行われる。このため、撮像手段である前記カメラ２が進行方向である前方に向けて設置され、前記カメラ２は、前方画像を時系列で出力してゆく。

このような移動体検出装置１は、例えば、移動体に搭載される撮像部の一例としてのカメラ２と、カメラ２から出力された予め定めるタイミングの撮像画像間で、画像内の動きベクトルを演算する動きベクトル演算部３と、移動体の前記予め定めるタイミング間における移動ベクトルを検出する移動ベクトル検出部４と、移動ベクトル検出部４で検出された移動ベクトルを、カメラ２の特性および移動体への取付け状態に基づいて、カメラ２の撮像画像と等しい画像領域上に展開する移動ベクトル展開部５と、動きベクトル演算部３で求められた画像の動きベクトルの単位ベクトルと、移動ベクトル展開部で求められた移動体の移動ベクトルの単位ベクトルとを比較するベクトル方向比較部６と、ベクトル方向比較部６の比較結果に基づいて、それらの差から撮像画像上での移動物体を認識する動き領域検出部７とを備えている。本実施形態では、後述からより明らかになるように、画像の動きベクトルの方向および前記画像領域上に展開された移動体の移動ベクトルの方向に基づいて撮像部で撮像された画像内の静止物体を除去することによって、画像内の移動物体が検出される。したがって、ベクトルは、方向および大きさを表現しているけれども、本書では、動きベクトルの単位ベクトルは、動きベクトルの方向を定義するために用いられ、移動ベクトルの単位ベクトルは、移動ベクトルの方向を定義するために用いられている。

カメラ２によって撮像された撮像画像は、動きベクトル演算部３において、所定期間分記憶される。動きベクトル演算部３は、さらにそれらの記憶画像の内、例えば１フレーム、０．１秒、１秒等の所定時間間隔における撮像画像間で、従来と同様の手法によって画像内の動きベクトルを演算する。動きベクトル演算部３は、例えば、画像の輝度勾配を用いるＬｕｃａｓ−Ｋａｎａｄｅ法、あるいはＨｏｒｎ−Ｓｃｈｕｎｃｋｈ法によって、前記画像内の動きベクトルを求める。

以下に、前記Ｌｕｃａｓ−Ｋａｎａｄｅ法による動きベクトルの演算方法を説明する。前記時系列画像など、２枚の画像間の見かけの動きは、動きベクトル（オプティカルフロー）と呼ばれる。その動きベクトルを用いて、同一点は、２枚の画像上で同じ輝度であると仮定すると、以下の式１が成り立つ。

ただし、Ｉは、画像の輝度であり、ｘ，ｙは、画像上の座標であり、ν_ｘ，ν_ｙは、動きベクトルである。すなわち、式１の右辺は、タイミングｔにおけるｘ，ｙ点の輝度Ｉを表し、その左辺は、そのｘ，ｙ点がｄｔ後にν_ｘ，ν_ｙだけ移動して同じ輝度Ｉであることを表している。

この式１をテーラー展開すると、次の式２が得られる。

式２を変形すると、式３となる。この式３は、オプティカルフローの拘束式と呼ばれる。

一方、画像上の１点ｘ，ｙに対して、上式１つで動きベクトルを求めることはできない。そこで、Ｌｕｃａｓ−Ｋａｎａｄｅ法では、画像上の１点ｘ，ｙの周辺にウインドウが設定され、ウインドウ内では動きベクトルが変わらないという仮定の下に、拘束式を重み付けして連立させることによって、ｘ，ｙについて動きベクトルが計算される。より具体的には、Ｌｕｃａｓ−Ｋａｎａｄｅ法では、下記の式４が解かれる。

図２には、上述のような動きベクトルの演算結果の一例が示されている。図２には、前記カメラ２によるタイミングｔ＋ｄｔでの撮像画像と、タイミングｔでの撮像画像との差分が動きベクトルとして表示されている。図２は、その左下の参照符号９で示す部分に移動物体が存在した場合の例を示している。

なお、前記Ｌｕｃａｓ−Ｋａｎａｄｅ法のように、画像の輝度勾配を利用した方法は、数ピクセル以内の動きベクトルしか計算できない。このため、大きい移動ベクトルを演算するために、例えば、ピラミッド画像による粗密戦略（多重解像度戦略）が用いられる。この粗密戦略は、例えば、基準画像上のウインドウと参照画像上のウインドウとの画素数を１／８とし、それらのウインドウ間で１画素動いていれば、それらウインドウが１／４の画素数である場合では２画素、それらウインドウが１／２の画素数である場合では４画素、それらウインドウが正規の画素数である場合では８画素、動いていると判定するというものである。すなわち、この粗密戦略は、基準画像および参照画像の解像度をそれぞれ低解像度化し、この低解像度の基準画像および参照画像を用いて動きベクトルを求め、その解（その解像度での動きベクトル）を伝播させながら解像度を元の解像度まで順次に上げる手法である。より具体的には、まず、第１処理として、例えば画素を間引く間引き処理によって基準画像および参照画像の各縮小画像が作成される（低解像度化）。次に、第２処理として、これら基準画像および参照画像の各縮小画像を用いてその解像度での動きベクトルが求められる。次に、第３処理として、この動きベクトルを求めた画素を含む所定の範囲で基準画像および参照画像の各縮小画像が所定の倍率でそれぞれ拡大される（解の伝播）。次に、第４処理として、この拡大された基準画像および参照画像を用いてその解像度での動きベクトルが求められる。次に、第５処理として、元の大きさ（サイズ、解像度）となるまで、第３処理および第４処理を繰り返す。こうして低解像度に下げてゆくことによって徐々に大きな移動を検出可能とする前記のピラミッド画像による粗密戦略を用いることで、大きい移動ベクトルも演算することができる。

また、前記動きベクトル演算部３における動きベクトルの演算方法としては、ウインドウの相関に基づく相関法を用いることができる。この相関法では、基準画像上に注目点を含む基準ウインドウが設定され、参照画像上で、基準ウインドウと相関の高いウインドウが探索され、最も相関の高かったウインドウの場所を対応点として、注目点から対応点に向かうベクトルが動きベクトルとされる。

ここで、前記車両等の移動体に搭載されたカメラ２の撮像画像における動きベクトルには、移動体の移動に伴う移動ベクトルも含まれるので、注目すべきは、本実施の形態では、その移動ベクトルを移動ベクトル検出部４が検出し、移動ベクトル展開部５が、その移動ベクトルを前記動きベクトル演算部３で求められた動きベクトルと比較することが可能となるように、前記カメラ２での撮像画像と等しい画像領域上に展開することである。そして、前記移動ベクトル検出部４は、例えば、車両の速度（車速）を検出する車速センサを備えて成り、前記所定タイミングｔ，ｔ＋ｄｔ間の平均車速を求める。前記移動ベクトル展開部５は、求められた平均車速から、前記移動ベクトルを求める。

ここで、直進の場合であれば、前記移動ベクトルは、前記平均車速に対して或る程度予測することができる。すなわち、車両の移動に伴い、前記移動ベクトルは、大略的に図３で示すように、前記カメラ２の光軸２ａの位置を中心として、そこから放射状に延びる。同じ距離の物体であれば、移動ベクトルは、画像中央部に映り込んだ場合に比べて、周辺部に映り込んだ場合に大きくなる。この移動ベクトルの大きさは、物体までの距離によって異なる。

したがって、既知である前記カメラ２の車両への取付け位置（車体の側か中央か、また天井部分かボンネット部分かなどの高さ）や取付け角度などの取付け状態から、前記光軸２ａの位置が分り、前記カメラ２の焦点距離や画角などの特性および前記取付け角度から、画像中央部のベクトルと周辺部のベクトルとの大きさの比が或る程度推定され得る。そのため、この図３で示すような移動ベクトルは、逐次求められてもよいが、例えば、前記画像中央部と周辺部とのように画像領域が分割された各速度の標準値が予め求められて移動ベクトル展開部５に記憶されており、前記移動ベクトル検出部４からの前記平均車速の出力に応答して読み出されてもよい。

このように、前記移動ベクトル展開部５で求められた背景（静止物体）画像の移動ベクトルと、前記動きベクトル演算部３で求められた実際に得られた撮像画像の動きベクトルとは、ベクトル方向比較部６において画像上の所定ポイントが相互に比較される。そして、動き領域検出部７において、図４で示す前記参照符号９で示す領域が、移動物体のある領域と判定される。前記参照符号９で示す領域は、前記背景（静止物体）画像の移動ベクトルとは異なる方向の動きベクトルが検出された領域である。これらのベクトル方向比較部６および動き領域検出部７は、移動物体認識部の一構成例である。

前記ベクトル方向比較部６におけるベクトル同士の方向の比較（角度）は、ベクトルの内積を用いて、次の式５で与えられる。

ただし、ａ，ｂは、それぞれ画像上の所定位置における演算された動きベクトルと、予測された移動ベクトルである。動き領域検出部７は、上式５で演算されたベクトル間の角度を予め与えられた閾値と比較し、閾値以上の領域を移動物体のある領域と判定する。

図５は、そのような移動物体の判定動作を説明するためのフローチャートである。この動作は、前記の１フレーム、０．１秒、１秒等の任意の時間間隔で行われる。ステップＳ１では、移動ベクトル検出部４で車速が求められ、ステップＳ２では、それに基づいて、移動ベクトル展開部５において、前記図３で示すような移動ベクトルが作成される。一方、ステップＳ３では、前記カメラ２の撮像画像が動きベクトル演算部３に取込まれて記憶され、ステップＳ４では、前記時間Δｔだけ以前の画像と比較されて、前記図２で示すような画像内の動きベクトルが演算される。

その後、ステップＳ５において、前記移動ベクトル展開部５で求められた背景（静止物体）画像の移動ベクトルと、前記動きベクトル演算部３で求められた実際に得られた撮像画像の動きベクトルとが、ベクトル方向比較部６において比較され、ステップＳ６で、動き領域検出部７において、前記図４で示すように、背景（静止物体）画像の移動ベクトルとは異なる方向の動きベクトルを検出した参照符号９で示す領域が、移動物体のある領域と判定される。前記移動物体のある領域９が判定された後は、図示しない安全装置において、その領域９に対して、前述のようにパターンマッチング法などを用いて歩行者か否かの識別が行われ、歩行者であれば、ドライバーへ危険を報知したり、ブレーキを掛けたりするなどの安全対策が行われる。

図６は、前記ステップＳ６における動き領域検出部７による動き領域検出動作をより詳しく説明するためのフローチャートである。前記ステップＳ５において、ベクトル方向比較部６において、画面全体で移動ベクトルと動きベクトルとの差が求められている。そして、ステップＳ７では、その画面全体をスキャンしたか否かが判断され、そうでない場合（ＮＯ）には処理がステップＳ８に移り、画面内の所定のスキャン領域について、前記ベクトルの差が予め定める閾値ＴＨを超えているか否かが判断される。この判断の結果、超えている場合（ＹＥＳ）にはステップＳ９でその領域が動き領域と判定された後に、処理が前記ステップＳ７に戻り、一方、前記判断の結果、超えていない場合（ＮＯ）には処理がそのまま前記ステップＳ７に戻る。そして、再びステップＳ７では、画面全体をスキャンしたか否かが判断され、そうでない場合（ＮＯ）には次のスキャン領域について前記ステップＳ８、Ｓ９の処理が繰り返され、そうである場合（ＹＥＳ）には処理が終了される。

このように構成することによって、移動するカメラ２の撮像画像から、画像予測方式に比べて、移動物体をより正確に検出することができる。なお、カメラの場合は、通常、背景（静止物体）までの距離情報が無く、背景（静止物体）画像の動きベクトル予測を正確に行うことが出来ない。一方、移動体の進行方向とカメラ２の光軸とが近い場合には、移動体の移動に伴って生じる動きベクトルの方向および大きさの予測が可能となるので、上述のようにその予測した動きベクトルと実際の動きベクトルとの少なくとも方向を比較するによって、前記移動物体のある領域９の切り出しを行うことが可能となる。

次に、別の実施形態について説明する。

（第２実施形態）
図７は、本発明の実施の他の形態に係る移動物体検出装置１１の電気的構成を示すブロック図である。この移動物体検出装置１１は、前述の移動物体検出装置１に類似し、対応する部分には、同一の参照符号を付して示し、その説明を省略する。

本実施の形態において、注目すべきは、この移動物体検出装置１１では、移動ベクトル検出部１４は、前記車速センサに加えて、車両の操舵角を検出する舵角センサを備えて成り、その検出結果が並進ベクトル演算部１２に入力され、前記所定のタイミングｔ，ｔ＋Δｔの撮像画像間に生じる並進成分のベクトルが求められ、その並進成分のベクトルで、動きベクトル補正部１３において、前記動きベクトル演算部３で求められた画像の動きベクトルが補正された後に、この補正された動きベクトルが前記ベクトル方向比較部６に入力されることである。

図８は、左にカーブを切りながら走行している状態で、前記動きベクトル演算部３で求められた動きベクトルの一例を示す図である。このように並進成分が加わっているために、動きベクトルは、綺麗な放射状とはならない。一方、前記カーブ走行による画像の並進は、対象物までの距離に拘わらず、図９に示すように画面全体に一様に現れる。したがって、前記移動ベクトル検出部１４は、この並進の速度を検出し、前記並進ベクトル演算部１２は、その検出結果から、この図９で示すような並進ベクトルを作成する。前記並進ベクトルの作成には、車両の操舵角と、走行速度とが使用され、ｔ秒後の画像上の並進量は、以下の式６によって計算することができる。

ただし、ｆは、レンズの焦点距離であり、ｐは、カメラ撮像素子の画素ピッチであり、ｖは、移動速度であり、Ｒは、ステアリングから計算される旋回半径である。

したがって、前記動きベクトル補正部１３において、図８で示すような動きベクトルから、図９で示すような並進ベクトルを減算することによって、図８で示すような動きベクトルが補正されると、図１０で示すような車両の前進成分による動きベクトルのみが抽出され得る。これによって、図８で参照符号９Ａで示すように不明瞭であった移動物体の領域も、図１０で参照符号９で示すように、前記図４と同様に明確に切出すことができる。

図１１は、上述のような移動物体の判定動作を説明するためのフローチャートである。この動作は、前述の図５で示す判定動作に類似し、対応する部分には同一のステップ番号を付して示す。まず、ステップＳ１１では、移動ベクトル検出部１４で車速および舵角が求められ、ステップＳ２では、それに基づいて、移動ベクトル展開部５において、前記図３で示すような移動ベクトルが作成される。続いてステップＳ１２では、前記並進ベクトル演算部１２において、前記図９で示すような並進ベクトルが作成される。

その後、前記ステップＳ３でカメラ２の撮像画像が動きベクトル演算部３に取込まれ、ステップＳ４で前記図８で示すような動きベクトルが求められると、ステップＳ１３で、前記画像動き補正部１３において、前記図８で示す動きベクトルから、図９で示す並進ベクトルが減算されて補正されると、図１０で示すような前進成分による動きベクトルのみが抽出される。その後は、前記ステップＳ５でベクトル同士の差が求められ、ステップＳ６で動き領域が検出される。

このように構成することで、車両がカーブを走行するにあたって生じる撮像画像の並進分を除去して、撮像画像の動きベクトルと、車両の移動ベクトルとを比較することができ、前記移動物体をより高精度に認識することが可能となる。

次に、別の実施形態について説明する。

（第３実施形態）
図１２は、本発明の実施の他の形態に係る移動物体検出装置２１の電気的構成を示すブロック図である。この移動物体検出装置２１は、移動物体検出装置１と同様に、移動体である車両に搭載され、車線検出技術によって車両の運転状況を検出する前方監視カメラにおいて、側方から飛び出す歩行者等の移動物体を検出するものである。より具体的には、本実施の形態にかかる移動物体検出装置２１では、ステレオカメラ２の撮像画像に動き領域が検出された後は、その領域に対してパターンマッチング法等を用いて歩行者か否かの識別が行われ、歩行者であれば、ドライバーへ危険を報知したり、ブレーキを掛けたりする等の安全対策が行われる。このため、複数の撮像手段である一対のステレオカメラ２が進行方向である前方に向けて、左右方向に予め設定された所定の間隔を開けて設置され、前方画像を時系列で出力してゆく。

このような移動体検出装置２１は、例えば、移動体に搭載される複数の撮像部の一例としてのステレオカメラ２２と、移動体の予め定めるタイミング間における移動ベクトルを検出する移動ベクトル検出部２４と、前記ステレオカメラ２から出力された撮像画像から、画像内の対象物体までの距離を計測する３Ｄ計測部２８と、移動ベクトル検出部２４で検出された移動ベクトルを、ステレオカメラ２２の特性および移動体への取付け状態、ならびに３Ｄ計測部２８での計測結果に基づいて、ステレオカメラ２８の各カメラの撮像画像と等しい画像領域上に展開する移動ベクトル展開部２５と、動きベクトル演算部２３で求められた画像の動きベクトルの単位ベクトルと、移動ベクトル展開部２５で求められた移動体の移動ベクトルの単位ベクトルとを比較するベクトル方向比較部２６と、ベクトル方向比較部２６の比較結果に基づいて、それらの差から撮像画像上での移動物体を認識する動き領域検出部２７とを備えている。これらベクトル比較部２６および動き領域検出部２７は、移動ベクトル展開部２５で求められたベクトル情報および前記予め定めるタイミングの経過時点での前記ステレオカメラ２２の撮像画像に基づいて、移動物体を認識する移動物体認識部の一例を構成している。

ステレオカメラ２２によって撮像された撮像画像は、動きベクトル演算部３において、所定期間分それぞれ記憶される。動きベクトル演算部３は、さらにそれらの記憶画像の内、所定時間間隔の撮像画像間で、従来と同様の手法によって画像内の動きベクトルを演算する。動きベクトル演算部３は、例えば、上述した、画像の輝度勾配を用いるＬｕｃａｓ−Ｋａｎａｄｅ法、あるいはＨｏｒｎ−Ｓｃｈｕｎｃｋｈ法によって、前記画像内の動きベクトルを求める。

図１３には、上述のような動きベクトルの演算結果の一例を示す。図１３は、例えば、前記左側のカメラによるタイミングｔ＋ｄｔでの撮像画像と、タイミングｔでの撮像画像との差分を動きベクトルとして表示したものである。左側のカメラであるので、右側の画像の方が大きく流れており、また左下の参照符号９Ｂで示す部分に、移動物体が存在した場合の例を示している。

なお、本実施形態でも、上述したピラミッド画像による粗密戦略が用いられてもよく、また、ウインドウの相関に基づく相関法が用いられてもよい。

ここで、前記車両などの移動体に搭載されたステレオカメラ２の撮像画像における動きベクトルには、移動体の移動に伴う移動ベクトルも含まれるので、注目すべきは、本実施の形態では、その移動ベクトルを移動ベクトル検出部２４が検出し、移動ベクトル展開部２５が、その移動ベクトルを前記動きベクトル演算部２３で求められた動きベクトルと比較可能なように、前記ステレオカメラ２２での撮像画像と等しい画像領域上に展開することである。前記移動ベクトル検出部２４は、例えば、車速を検出する車速センサから成り、前記所定タイミングｔ，ｔ＋ｄｔ間の平均車速を求める。

その後、前記移動ベクトル展開部２５で求められた背景（静止物体）画像の移動ベクトルと、前記動きベクトル演算部２３で求められた実際に得られた撮像画像の動きベクトルとは、ベクトル比較部２６において画像上の所定ポイントが相互に比較され、動き領域検出部２７において、前述した図４と同様に、前記背景（静止物体）画像の移動ベクトルとは異なる動きベクトルを検出した前記参照符号９で示す領域が、移動物体のある領域と判定される。

ここで、図３に示す光軸２ａは、ステレオカメラ２２の光軸２ａに相当し、このように構成される移動物体検出装置２１において、図３は、ステレオカメラ２２の光軸２ａを車両の前後軸に一致させて取付けた状態で、直進時に現れる移動ベクトルの例を示す。このように前記移動ベクトルは、前記ステレオカメラ２の光軸２ａの位置を中心として、そこから放射状に延びて現れる。

また、このように構成される移動物体検出装置２１では、図１４で示すように、前記ステレオカメラ２２の光軸２ａが、車両１０の前後軸１０ａからずれて（オフセットして）取付けられていると、前記移動ベクトル展開部２５において求められる移動ベクトルに、車両１０が直進していても、そのずれに対応した前記光軸２ａに垂直な方向の並進成分Ｖｈが現れる。このようなオフセット取付けは、左右のカメラ２２での視野角を広くする場合に、或いは車両１０の中央には高精細なカメラ２２’が取付けられた際にその側方監視を行う（左右の死角を補う）場合等で行われる。

この場合において、Ｖｆをカメラ２２の直進成分とし、ｒを対象点の画像中心（前記光軸２ａ）からの距離とし、ｐをカメラ撮像素子の画素ピッチとし、ｖを移動速度とし、Ｄを対象物までの距離とし、そして、θをカメラ２の取付け角度とすると、ｔ秒後の画像上の放射方向のベクトルの大きさは、下記の式７から求めることができる。

また、前記並進方向のベクトルの大きさは、下記の式８から求めることができる。

ただし、ｆは、レンズの焦点距離である。

このため、前記ステレオカメラ２２の左右の撮像画像の視差から前記対象物までの距離Ｄを計測する３Ｄ計測部２８が設けられている。前記移動ベクトル展開部２５には、この３Ｄ計測部２８で計測された前記対象物までの距離Ｄの情報が入力される。そして、移動ベクトル展開部２５は、既知である前記ステレオカメラ２の焦点距離や画角等の特性および前記ステレオカメラ２２の車両１０への取付け位置（車体の側か中央か、また天井部分かボンネット部分かなどの高さ）や取付け角度等の取付け状態、ならびに、前記距離Ｄの情報に基づいて、上記各式から放射方向のベクトルおよび並進方向のベクトルの大きさを求め、それらを合成して前記移動ベクトルとする。

図１５には、求められた前記放射方向の成分の一例を示し、図１６には、求められた前記並進方向の成分の一例を示し、図１７には、それらを合成した前記ベクトル比較部２６において動きベクトルと比較される移動ベクトルの例を示す。この図１７で示す移動ベクトルと、前記動きベクトル演算部２３で求められた前記図１３で示すような実際の動きベクトルとの差分が求められると、上述した図４と同様の図となり、前述のように移動ベクトルとは異なる方向の動きベクトルの領域９が移動物体のある領域として判定され得る。

ここで、前記３Ｄ計測部２８での距離Ｄの計測方法について以下に説明する。先ず、図１８で示すように、基準画像上で注目点を決定し、その注目点周辺のエッジ情報に基づいてウインドウサイズが決定される。そして、参照画像上に前記基準画像上のウインドウに対応した大きさのウインドウが設定され、そのウインドウを走査しながら例えば相関演算やＳＡＤ演算等によって基準画像上のウインドウおよび参照画像上で走査中のウインドウ間について２つのウインドウの近さが判定され、基準画像上のウインドウに最も近いパターンが得られた地点に、基準画像上の前記ウインドウに対応するウインドウとして、参照画像上のウインドウが設定される。

その後、図１０で示すように、ステレオカメラ２２における基準カメラと参照カメラとの撮像面上での前記ウインドウの位置ずれ量をΔｄとすると、対象物までの距離Ｄは、下記の式９で求められる。

Ｄ＝ｆＢ／Δｄ ・・・（９）
ただし、Ｂは、カメラの基線長であり、ｆは、レンズの焦点距離である。

また、対象物の３次元位置（Ｘ，Ｙ，Ｚ）は、下記の式１０（式１０−１、式１０−２、式１０−３）で求めることができる。

Ｘ＝ｘ（Ｄ／ｆ） ・・・（１０−１）
Ｙ＝ｙ（Ｄ／ｆ） ・・・（１０−２）
Ｚ＝Ｄ ・・・（１０−３）
ただし、ｘ，ｙは、基準画像上の注目画素の座標である。

図２０は、上述のような移動物体の判定動作を説明するためのフローチャートである。ステップＳ２１では、ステレオカメラ２２で左右の撮像画像が取得され、ステップＳ２２では、移動ベクトル検出部２４で車速が求められ、ステップＳ２３では、前記ステップＳ２１の撮像画像から、前記３Ｄ計測部２８において、上述の図１８および図１９で示すようにして、撮像画像内の対象物までの距離Ｄが求められる。続いて、ステップＳ２４では、前記距離Ｄおよび車速ならびに前記ステレオカメラ２２の車両１０への取付け位置や取付け角度などに基づいて、移動ベクトル展開部２５において、前記図１５で示すような移動ベクトルが作成される。

続いて、ステップＳ２５では、再び前記ステレオカメラ２２で左右の撮像画像が取得される。前記ステップＳ２１からこのステップＳ２５までの撮像画像の取込み周期は、前記の１フレーム、０．１秒、１秒等の任意の時間間隔Δｔであり、この図２０で示す処理が前記間隔Δｔ毎に行われる場合には、前記ステップＳ２１での画像取込みを削除し、前回処理時のこのステップＳ２５での取込み画像が流用されてもよい。ただし、その場合において、ステップＳ２２での車速検出と、前回ステップＳ２５での画像の取込みタイミングとに差を生じるが、前記間隔Δｔが短ければ、車速に大きな変化が生じないので、前記差を無視することが可能である。また、この図２０で示す処理がΔｔ／ｎ毎に行われ、画像の取込み間隔を前記Δｔとすることによって前記間隔Δｔを長くすることで、ベクトルの差を大きくすることが可能となる。

前記間隔Δｔだけ隔てた撮像画像が取込まれると、ステップＳ２６において、動きベクトル演算部２３は、それらの画像を比較し、前記図１３で示すような画像内の動きベクトルを演算する。その後、ステップＳ２７において、前記移動ベクトル展開部２５で求められた背景（静止物体）画像の移動ベクトルと、前記動きベクトル演算部２３で求められた実際に得られた撮像画像の動きベクトルとが、ベクトル比較部２６において比較され、ステップＳ２８で、動き領域検出部２７において、前記図４と同様に、背景（静止物体）画像の移動ベクトルとは異なる動きベクトルを検出した参照符号９で示す領域が、移動物体のある領域と判定される。前記移動物体のある領域９が判定された後は、図示しない安全装置において、その領域９に対して、前述のようにパターンマッチング法等を用いて歩行者か否かの識別が行われ、歩行者であれば、ドライバーへ危険を報知したり、ブレーキを掛けたりする等の安全対策が行われる。

このように本実施の形態では、移動するステレオカメラ２２の撮像画像から、画像予測方式に比べて、移動物体をより正確に検出することが可能となる。また、ステレオカメラ２２を用いて背景（静止物体）までの距離情報を得ることで、背景（静止物体）画像の動きベクトル予測をより正確に行うことも可能となる。さらにまた、検知範囲を拡げるなどのために前記ステレオカメラ２２を、その光軸２ａが車両１０の前後軸１０ａに対して平行に取付けられなくても、各カメラ２２での撮像画像に含まれる前記前後軸１０ａに対する光軸のずれ量θに対応した並進成分を打ち消すことも可能である。

次に、別の実施形態について説明する。

（第４実施形態）
図２１は、本発明の実施の他の形態に係る移動物体検出装置３１の電気的構成を示すブロック図である。この移動物体検出装置３１は、前述の移動物体検出装置２１に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。

本実施の形態において、注目すべきは、この移動物体検出装置３１では、前記移動ベクトル検出部２４で検出された車速に基づいて、３Ｄ計測部２８で検出された対象物の撮像画面上での位置（前記Ｘ，Ｙ）および対象物までの距離Ｄから、移動ベクトル展開部２５が各対象物体の移動ベクトルを予測し、その予測結果に基づいて、予測画像生成部３２が前記ステレオカメラ２２の撮像画像から、前記間隔Δｔ後の予測画像を生成することである。そして、動きベクトル演算部２３は、前記ステレオカメラ２２から出力された現在の撮像画像と、前記予測画像生成部３２で生成された対応するカメラ２２の予測画像との間で、画像内の動きベクトルをそれぞれ演算する。

前記動きベクトル演算部２３で求められた動きベクトルは、予測画像と実際の画像との差分であり、図２２に示すようになる。図２２に示すように、ほぼ前記参照符号９Ｂで示す移動物体の存在する動き領域だけに、前記差分の小さな動きベクトルが検出される。このように動きベクトルと移動ベクトルとの比較に予測画像を併用することによって、前記小さな動きベクトルだけが検知される。したがって、動きベクトルを求めるにあたって、前記勾配法の場合は、例えば、前記ピラミッド画像による粗密戦略を使う必要がなくなり、すなわち画像のずらし量が小さくできる。また相関法の場合は、対応点探索領域が狭くなり、前記動きベクトルを求めるための演算量が少なくなり、より速く移動物体の認識が可能となる。

図２３は、上述のような移動物体の判定動作を説明するためのフローチャートである。この動作は、前述の図２０で示す判定動作に類似し、対応する部分には同一のステップ番号を付して示す。前述の図２０と同様に、ステップＳ２１では、ステレオカメラ２２で左右の撮像画像が取得され、ステップＳ２２では、移動ベクトル検出部２４で車速が求められ、ステップＳ２３では、前記ステップＳ２１の撮像画像から、前記３Ｄ計測部２８において、撮像画像内の対象物までの距離Ｄが求められる。そして、ステップＳ２４では、前記距離Ｄおよび車速ならびに前記ステレオカメラ２２の車両１０への取付け位置や取付け角度などに基づいて、移動ベクトル展開部２５において移動ベクトルが作成される。

ここで、注目すべきは、本実施の形態では、続くステップＳ３１で、予測画像生成部３２が前記ステレオカメラ２２の撮像画像から、前記間隔Δｔ後の予測画像を生成する。続いて、ステップＳ２５では、再び前記ステレオカメラ２２で左右の撮像画像が取得され、ステップＳ３２では、動きベクトル演算部２３において、前記ステップＳ３１での予測画像とステップＳ２５での実際の画像との間で画像内の動きベクトルが演算され、そして、ステップＳ３３では、動き領域検出部３７において、前記図２２で示すような動きベクトルから、移動物体の存在する領域が判定される。

図２４は、前記ステップＳ３３における動き領域検出部３７による動き領域検出動作をより詳しく説明するためのフローチャートである。前記ステップＳ３２において、動きベクトル演算部２３において、予測画像と実際の画像との差が動きベクトルとして求められている。そして、ステップＳ４１では、その画面全体をスキャンしたか否かが判断され、そうでない場合（ＮＯ）には、処理がステップＳ４２に移り、画面内の所定のスキャン領域について、前記動きベクトルが有るか否かが判断される。この判断の結果、無い場合（ＮＯ）には、処理が前記ステップＳ４１に戻り、一方、有る場合（ＹＥＳ）には、さらにステップＳ４３において、その動きベクトルの大きさが予め定める閾値ＴＨを超えているか否かが判断される。この判断の結果、超えている場合（ＹＥＳ）には、ステップＳ４４でその領域が動き領域と判定された後に、処理が前記ステップＳ４１に戻り、一方、超えていない場合（ＮＯ）には、処理がそのまま前記ステップＳ４１に戻る。再びステップＳ４１では、画面全体をスキャンしたか否かが判断され、そうでない場合には次のスキャン領域について前記ステップＳ４２〜Ｓ４４を繰返し、そうである場合には処理が終了される。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる移動物体検出装置は、移動体に搭載される撮像部と、前記撮像部から出力された予め定めるタイミングの撮像画像間で、オプティカルフローを演算する動きベクトル演算部と、前記移動体の前記予め定めるタイミング間における移動ベクトルを検出する移動ベクトル検出部と、前記移動ベクトル検出部で検出された移動ベクトルを、前記撮像部の特性および移動体への取付け状態に基づいて、前記撮像部の撮像画像と等しい画像領域上に展開する移動ベクトル展開部と、前記動きベクトル演算部で求められたオプティカルフローの単位ベクトルと、前記移動ベクトル展開部で求められた移動体の移動ベクトルの単位ベクトルとを比較し、それらの差から移動物体を認識する移動物体認識部とを含む。そして、好ましくは、前記移動物体認識部は、前記オプティカルフローと移動ベクトルとの移動方向のみを比較するものである。

この構成によれば、車両に搭載されて歩行者の飛び出しの検知等に使用される移動物体検出装置において、先ず、カメラ等の撮像部から時系列に出力される撮像画像の内、動きベクトル演算部は、例えば１フレーム、０．１秒、１秒等の所定時間間隔の撮像画像間で、従来と同様に画像内のオプティカルフローを演算する。ここで、前記車両などの移動体に搭載された撮像部の撮像画像におけるオプティカルフローには、移動体の移動に伴う移動ベクトルも含まれるので、その成分を、移動ベクトル検出部は、前記移動体の前記所定時間間隔における車速や舵角などから検出する。

移動ベクトル展開部は、前記移動ベクトル検出部で求められた移動ベクトルを、既知である前記撮像部の焦点距離や画角などの特性および移動体への取付け位置（車体の側か中央か、また天井部分かボンネット部分かなどの高さ）や取付け角度などの取付け状態に基づいて、前記撮像部の撮像画像と等しい画像領域上に展開することで、前記動きベクトル演算部で求められた画像のオプティカルフローとの比較を可能にする。そして、移動物体認識部は、それらのベクトルの少なくとも移動方向を相互に比較し、それらの差から前記撮像画像上での移動物体を認識する。すなわち、移動物体認識部は、移動体の移動情報から求められる背景（静止物体）画像の移動ベクトルと、実際に得られた撮像画像のオプティカルフローとを比較し、背景（静止物体）画像の移動ベクトルとは異なる方向のオプティカルフローを検出した領域を、移動物体のある領域とする。

したがって、本態様にかかる移動物体検出装置は、移動する撮像部の撮像画像から、画像予測方式に比べて、移動物体をより正確に検出することができる。なお、カメラは、通常、背景（静止物体）までの距離情報が無く、背景（静止物体）画像のオプティカルフロー予測を正確に行うことが難しい。しかしながら、移動体の進行方向と撮像部の光軸とが近い場合には、移動体の移動に伴って生じるオプティカルフローの方向および大きさの予測が可能となるので、その予測したオプティカルフローと実際のオプティカルフローとの少なくとも前記移動方向を比較することによって、前記移動物体の存在する領域を検出することが可能となる。

また、他の一態様では、上述の移動物体検出装置において、前記撮像部は、車両に搭載され、前記移動ベクトル検出部は、車速センサおよび舵角センサから成り、前記移動ベクトル展開部は、前記車速センサからの出力に応答して前記移動ベクトルを展開し、前記車速センサおよび舵角センサからの出力に応答して、前記撮像部での前記予め定めるタイミングの撮像画像間に生じる並進成分のベクトルを求める並進ベクトル演算部と、前記動きベクトル演算部で求められた画像のオプティカルフローを、前記並進ベクトル演算部で求められた並進ベクトルで補正して前記移動物体認識部へ与える画像動き補正部とをさらに備える。

この構成によれば、車両がカーブを走行するにあたって生じる撮像画像の並進分を除いて、撮像画像のオプティカルフローと、車両の移動ベクトルとが比較される。したがって、本態様にかかる移動物体検出装置は、前記移動物体をより高精度に認識することができる。

また、他の一態様にかかる移動物体検出装置は、移動体に搭載される複数の撮像部と、前記移動体の予め定めるタイミング間における移動ベクトルを検出する移動ベクトル検出部と、前記複数の撮像部から出力された撮像画像から、画像内の対象物体までの距離を計測する計測部と、前記移動ベクトル検出部で検出された移動ベクトルを、前記撮像部の特性および移動体への取付け状態、ならびに前記計測部での計測結果に基づいて、前記各撮像部の撮像画像と等しい画像領域上に展開する移動ベクトル展開部と、前記移動ベクトル展開部で求められたベクトル情報および前記予め定めるタイミング経過時点での前記撮像部の撮像画像に基づいて、移動物体を認識する移動物体認識部とを含む。

この構成によれば、車両に搭載されて歩行者の飛び出しの検知などに使用される移動物体検出装置において、先ず、一対のステレオカメラなどの複数の撮像部からそれぞれ時系列に出力される撮像画像から、計測部は、画像内の対象物体までの距離を計測する。また、前記車両などの移動体に搭載された撮像部の撮像画像におけるオプティカルフローには、移動体の移動に伴う移動ベクトルも含まれるので、その成分を、移動ベクトル検出部は、所定時間間隔における車速や舵角などから検出する。

移動ベクトル展開部は、前記移動ベクトル検出部で求められた移動ベクトルを、既知である前記撮像部の焦点距離や画角などの特性および移動体への取付け位置や取付け角度などの取付け状態に基づいて、さらに前記計測部での計測結果に基づいて、前記各撮像部の撮像画像と等しい画像領域上に展開する。その移動ベクトル展開部で求められたベクトル情報に前記予め定めるタイミングの経過時点での前記撮像部の撮像画像に基づいて、移動物体認識部は、移動物体を認識する。

したがって、本態様にかかる移動物体検出装置は、移動する撮像部の撮像画像から、画像予測方式に比べて、移動物体をより正確に検出することができる。

また、他の一態様では、上述の移動物体検出装置において、前記撮像部は、複数であり、前記複数の撮像部から出力された撮像画像から、画像内の対象物体までの距離を計測する計測部をさらに備え、前記動きベクトル演算部は、少なくとも１つの撮像部から出力された前記予め定めるタイミングの撮像画像間で、オプティカルフローを演算し、前記移動ベクトル展開部は、前記移動ベクトル検出部で検出された移動ベクトルを、前記撮像部の特性および移動体への取付け状態、ならびに前記計測部での計測結果に基づいて、前記各撮像部の撮像画像と等しい画像領域上に展開する。

この構成によれば、移動する複数の撮像部の撮像画像から、画像予測方式に比べて、移動物体をより正確に検出することができる。

また、他の一態様では、上述の移動物体検出装置において、少なくとも１つの撮像部から出力された前記予め定めるタイミングの開始時点での前記撮像部の撮像画像に対し、前記移動ベクトル展開部で展開された移動ベクトルに従って、前記予め定めるタイミングの経過時点での予測画像を生成する予測画像生成部を備え、前記動きベクトル演算部は、少なくとも１つの撮像部から出力された前記予め定めるタイミングの経過時点での撮像画像と、前記予測画像生成部で生成された予測画像との間で、オプティカルフローを演算し、前記移動物体認識部は、前記動きベクトル演算部で求められたオプティカルフローから、移動物体を認識する。

この構成によれば、オプティカルフローの存在する領域に移動物体が存在すると推定することができ、移動物体を正確に検出することが可能となる。そして、前記動きベクトル演算部で比較する画像間のオプティカルフローは、ほぼ前記所定時間における移動物体の移動量となる。したがって、前記オプティカルフローを求めるための画像のずらし量を少なくすることが可能となり、また、前記オプティカルフローを求めるための演算量を少なくすることが可能となる。

また、他の一態様では、これら上述の移動物体検出装置において、好ましくは、前記動きベクトル演算部は、画像の輝度勾配を用いる手法によって前記オプティカルフローを求める。この構成によれば、移動量が小さい場合（画像間における離れ度合いが小さい場合）に対し、サブピクセル単位まで細かい移動量を測定することが可能となる。すなわち、この態様は、移動量が小さいものを精度よく測定したい場合に好適である。

また、他の一態様では、これら上述の移動物体検出装置において、好ましくは、前記動きベクトル演算部は、ウインドウの相関に基づく相関法によって前記オプティカルフローを求める。この構成によれば、移動量が大きい場合（画像間における離れ度合いが大きい場合）に、サブピクセル単位まで移動量を測定することが可能となる。すなわち、この態様は、移動量が大きいものを粗く測定したい場合に好適である。

また、他の一態様では、これら上述の移動物体検出装置において、前記動きベクトル演算部は、ピラミッド画像による粗密戦略を用いる。この構成によれば、比較的大きい移動ベクトルも演算することが可能となる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、画像内で実際に動いている移動物体を検出する移動物体検出装置を提供することができる。

Claims (7)

1. 前方へ向けて移動体に搭載される撮像部と、
   前記撮像部から出力された予め定めるタイミングの撮像画像間で、オプティカルフローを演算する動きベクトル演算部と、
   前記移動体の前記予め定めるタイミング間における移動体の直進に伴う移動ベクトルを前記移動体の移動速度に基づいて検出する移動ベクトル検出部と、
   前記移動ベクトル検出部で検出された移動ベクトルを、前記撮像部の特性と、移動体への取付け状態による光軸の位置とに基づいて、前記撮像部の撮像画像と等しい画像領域上に展開する移動ベクトル展開部と、
   前記動きベクトル演算部で求められたオプティカルフローの単位ベクトルと、前記移動ベクトル展開部で求められた移動体の移動ベクトルの単位ベクトルとを比較し、それらの方向の差から移動物体を認識する移動物体認識部と
   を含むことを特徴とする移動物体検出装置。
2. 前記撮像部は、車両に搭載され、
   前記移動ベクトル検出部は、車速センサおよび舵角センサから成り、
   前記移動ベクトル展開部は、前記車速センサからの出力に応答して前記移動ベクトルを展開し、
   前記車速センサおよび舵角センサからの出力に応答して、前記撮像部での前記予め定めるタイミングの撮像画像間に生じる並進成分のベクトルを求める並進ベクトル演算部と、
   前記動きベクトル演算部で求められたオプティカルフローを、前記並進ベクトル演算部で求められた並進ベクトルで補正して前記移動物体認識部へ与える画像動き補正部と
   をさらに備えることを特徴とする請求項１に記載の移動物体検出装置。
3. 前記撮像部は、複数であり、
   前記複数の撮像部から出力された撮像画像から、画像内の対象物体までの距離を計測する計測部をさらに備え、
   前記動きベクトル演算部は、少なくとも１つの撮像部から出力された前記予め定めるタイミングの撮像画像間で、オプティカルフローを演算し、
   前記移動ベクトル展開部は、前記移動ベクトル検出部で検出された移動ベクトルを、前記撮像部の特性と、移動体への取付け状態による光軸の位置と、前記計測部での計測結果とに基づいて、前記各撮像部の撮像画像と等しい画像領域上に展開すること
   を特徴とする請求項１に記載の移動物体検出装置。
4. 少なくとも１つの撮像部から出力された前記予め定めるタイミングの開始時点での前記撮像部の撮像画像に対し、前記移動ベクトル展開部で展開された移動ベクトルに従って、前記予め定めるタイミングの経過時点での予測画像を生成する予測画像生成部を備え、
   前記動きベクトル演算部は、少なくとも１つの撮像部から出力された前記予め定めるタイミングの経過時点での撮像画像と、前記予測画像生成部で生成された予測画像との間で、オプティカルフローを演算し、
   前記移動物体認識部は、前記動きベクトル演算部で求められたオプティカルフローから、移動物体を認識すること
   を特徴とする請求項３に記載の移動物体検出装置。
5. 前記動きベクトル演算部は、画像の輝度勾配を用いる手法によって前記オプティカルフローを求めること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の移動物体検出装置。
6. 前記動きベクトル演算部は、ウインドウの相関に基づく相関法によって前記オプティカルフローを求めること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の移動物体検出装置。
7. 前記動きベクトル演算部は、ピラミッド画像による粗密戦略を用いること
   を特徴とする請求項５または請求項６に記載の移動物体検出装置。

Images