JP3914973B2

JP3914973B2 - 画像の動き検出装置

Info

Publication number: JP3914973B2
Application number: JP2003398244A
Authority: JP
Inventors: 茂木村; 宗晃櫻井; 洋一大橋
Original assignee: 防衛省技術研究本部長
Priority date: 2003-11-27
Filing date: 2003-11-27
Publication date: 2007-05-16
Anticipated expiration: 2023-11-27
Also published as: JP2005157924A

Description

本発明は、画像安定化、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、３次元画像解析等の広範囲な分野で必要となる画像の変形や画像の動き量を計測する画像の動き検出装置に関するものである。

一般に、画像安定化とは、画像の動き量を検出して、それを補正して安定した画像を生成することを言う。図８は動画像を画像安定化（空間安定化）する処理のブロック図の例である。動画像１０１が入力され、安定化された動画像１０２が処理結果として出力される。動き量計算手段１０３では動画像１０１の現在の入力画像１０７を参照画像１０８と比較し動き量を推定する。その推定された動き量から、動き量のフィルタリング１０４では、画像の小さな振動は吸収し画像全体がゆっくりパンする様な動きはそのままとなるように画像出力を安定化するように、推定された動き量を基に適切なフィルタリング処理を施し画像の動きの補正量を求める。画像ワープ部１０５では、求まった画像の動きの補正量に基づき、入力画像１０７に対して幾何学的な変換を施し画像を安定化する。また、この画像ワープされ安定化された画像は、画像バッファ１０６を経由した後、動き量計算手段１０３の入力の一つである参照画像１０８となる。

ここでは、画像安定化の例で説明したが、動き量計算手段１０３で行うような画像間の動き量の検出は、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、３次元画像解析等の広範囲な分野で必要となる機能である。

例えば、画像貼り合わせを行う場合、すなわち、重なりを持つ分割撮影された複数枚の画像を貼り合わせて１枚の広視野・高解像度のパノラマ画像を合成するような場合、画像間の位置合わせ行うために画像間の動き量を正確に求める必要がある。画像融合の例としては、遠くに焦点を合わせた画像と近くに焦点を合わせた画像間の動き量を検出し画像の対応付けができれば、遠くも近くも焦点が合った合成画像を作り出すことができる。

以下では、このような画像安定化、画像貼り合わせなどの各種画像処理で必要となる画像の変形量や動き量を推定するための従来の技術について説明する。画像間の変形量や動き量を計測する方法には、(1) 対応探索法、(2) 明度勾配法、(3) 周波数空間での分析法などがある。本発明は、これら全ての画像間の変形量や動き量を計測する方法に適用できる。ここでは簡単のため、全ての可能性のある動き量を逐一探索する対応探索法( マッチング法とも呼ばれる) などと比べ、基本的に探索を必要とせず高速に処理ができる明度勾配法を例に用いて説明する。なお、ここで扱う画像の動き量とは単に１点の動き量だけではなく、ある広がりを持った領域や画像全体の変形量や動き量を対象としている。

まず、明度勾配法により、２枚の画像から、ある点(画素)の動き量を、どのようにして求めることができるか説明する。明度勾配法は、画像処理で問題となる対応付けの処理を行う必要が無く、画像の動き量を画素の明度変化から高速に計算できる方法である。図９はその明度勾配法の原理を示したものである。ここでは簡単のため１次元で考え、縦軸に画像の明度Ｉ、横軸に画像上の座標ｘをとり、かつ画像明度Ｉ(x)の勾配は一定で線形的な変化をしているものとする。そして、時刻ｔ_１の画像Ｉ_１(x)が時刻ｔ_２では画像Ｉ_２(x)に変化したとする。すなわち、画像Ｉ_１(x)のｘ_１にあった点は、画像Ｉ_２(x)ではｘ_２の位置に移動したことになる。ここでは、移動後も物体の明度が変わらないという前提である。画像明度の平行な２つの直線の間にできる三角形の勾配がＩxで、高さが明度差ｄＩ＝Ｉ_２(ｘ_１)−Ｉ_１(ｘ_１)、底辺が移動量ｄｘ＝ｘ_２−ｘ_１であることから、移動量ｄｘは点ｘ_１の勾配Ｉxと明度差ｄＩから計算できることが分かる(ｄｘ＝−ｄＩ／Ｉx )。

ここで示した１次元の関係は、２次元の動き量と明度変化の間でも成り立つ（下記式参照）。

式(1)は２次元的な動き量(u,v)と明度変化の関係を示した関係式(明度勾配法の拘束式)である。但し、Ｉx：ｘ軸方向の勾配、Ｉy：ｙ軸方向の勾配、Ｉt：明度差である。ｘ軸方向の勾配Ｉx、ｙ軸方向の勾配Ｉy及び画像間の明度差Ｉtは式(2)で与えられる。明度差Ｉtはその点の画像間での明度の差を計算する。また、ｘ軸方向の勾配Ｉxとｙ軸方向の勾配Ｉyは、例えば、図１０に示すような差分オペレータで計算することができる。よって、ｘ軸方向の勾配Ｉx、ｙ軸方向の勾配Ｉy及び画像間の明度差Ｉtは画像から直接求めることができ、式(1)の拘束式から、２次元の動き量(u,v)を計算することができる。ただ、式(1)において未知数は、ｕ,ｖの２個であるので、ある点(x,y)の２次元の動き量{u(x,y),v(x,y)}は、例えば、同じ動き量をしていると見なせる、点(x,y)の近傍の点の拘束式と連立して解くことができる。このように、明度勾配法は基本となる演算は簡単で探索も必要でないため良い方法であるが、先の説明で示したように明度変化(明度勾配)が一定で明度Ｉ_１,Ｉ_２がほぼ平行移動しているような場合にしか式(1)が成り立たない。実際の画像の明度変化は局所的には明度の勾配は一定であると見なせてもそれには限度があり、動き量が比較的小さい場合にしか式(1)を適用できない。また、連立させる方程式の数が少ないと、すなわち動き量の計算を行う画像ウインドウの大きさが小さいと、求められる動き量の推定値はかなり不安定になる。

図１１は動き量が小さい場合と大きい場合で、明度勾配法がうまく適用できるか、どうかを図示したものである。図１１(a) の場合の画像Ｉ_１とＩ_２の間の動き量は少なく、お互いに明度曲線が平行になる部分があることが分かる。これに対し、図１１(b)の場合の画像Ｉ_１とＩ_２の間の動き量は大きく、お互いに明度曲線が平行になる部分が少ない。このため、図１１(b)の様な場合に、直接、明度勾配法を適用しても、上手く画像間の動き量を求めることができない。

そこで、図１１(b) の様な大きな動き量の場合に明度勾配法を適用するには、ピラミッド画像( 多重解像度画像) 等を利用して、少しずつ反復して動き量を計算して行くような方法がとられる。

前節では、明度勾配法により２枚の画像から画像上のある点の動き量を、どのようにして求めるか説明した。次に、単に１点の動き量だけはなく、ある広がりを持った領域や画像全体の変形量や動き量を、どうやって求めるか説明する。基本的には、広い領域でも個別の画素や小領域に分割すれば、前節で説明した同じやり方で個別に動き量を求めることができるが、ここでは領域全体の変形量や移動量をコンパクトにパラメトリックな形で表現した形で求めるものとして話を進める。そのパラメトリックな形で求めるとは、例えば、各点の動き量を何らかのモーションモデルでモデル化し、そのモーションモデル(何らかの画像位置(x,y)の関数で表現される)の係数を求めることである。画像１、画像２の明度をそれぞれＩ_１(x,y),Ｉ_２(x,y)で表すとする。図１２は画像Ｉ_１(x,y)から画像Ｉ_２(x,y)の画像全体の動き量をパラメトリックに表現する例を示している。ここで、画像の各点の動き量は２次元のベクトル(動きベクトルと呼ばれる)であり、幾何変換の一つであるアフィン変換で表されている。画像間の動き量を算出するとは、例えば、このアフィン変換の係数(a,b,c,d,e,f)を求めることに他ならない（下記式参照）。

式(4)のアフィン変換のモデルを用いれば、画像の平行移動、拡大・縮小、回転及びくさび形変形の動きを表現することができる。簡単な平行移動だけの場合の時は平行移動のモデルの式(3)の形で良い。式(5)は３次元空間中にある平面が移動した場合( 図１３参照) に、撮像される画像上に引き起こされる移動量を近似したモデル(ここでは、移動３Ｄ平面モデルと表現する) である(より厳密な移動量は平面射影変換の変換式で計算することもできる)。対象とするシーンが遠景である場合や、近くでも建物や壁、黒板などの平面的でカメラの回転量が小さい場合は、この移動３Ｄ平面モデルで近似できる。

次に、これらの画像の動きのモデルを前提として、画像の変形量や動き量を算出する方法を説明する。平行移動のモデル｛式(3)｝、アフィン変換のモデル｛式(4)｝、移動３Ｄ平面モデル｛式(5)｝と段階的に、より複雑な画像の動き表現できるが、これらの画像の動きのモデルを用いて画像の変形量や動き量を算出するとは、これらの式のａ，ｂ，ｃ，…，ｈの係数がどうなるか計算することである。この係数ａ，ｂ，ｃ，…，ｈを計算するのに良く用いられる方法は、対象とする領域Ｒ内で明度勾配法の拘束式｛式(1)｝の二乗誤差を最小にする方法(最小二乗法)である。すなわち、下記式(6)で示される二乗誤差Ｅ^２を最小にする解を求める。

平行移動のモデルの場合は式(7)、アフィン変換のモデルの場合は式(8)、移動３Ｄ平面モデルの場合は下記式(10)に示す連立方程式を解けば、係数ａ，ｂ，ｃ，…，ｈを算出することができる。ここで式(7)から式(11)のΣは、対象とする領域Ｒでの加算を表している。

ここでは詳しく述べないが、厳密な座標計算を行う平面射影変換などのモデルや対象が曲面だと仮定するようなモデルを用いても、非線形の最適化計算が必要となることもあるが、基本的には動き量を計算することができる。ただ、実際に写るシーンは複雑で、単純な平面や曲面で当てはめることはできない場合がある。そのような場合は、近似できる範囲で画像の領域を分割して、動き量を計算する。細かく分割した場合、例えば、極端には１画素単位程度の領域に分割しても、原理的には動き量を計算できるが、計算も各点で必要で必ずしも安定した正確な動き量が計算できるとは限らない。通常は、動き量の計算が安定する、ある程度の大きさの領域で計算されることが多い。

前節で説明したように、遠方のシーン、又は同じ距離にあったり、同じ平面上にある物体を撮影したようなシーンであれば、画像全体の動き量を正確に求めることができる。また、写るシーンが複雑な場合は、近似できる範囲で画像の領域を複数の小領域に分割して、それぞれで動き量を計算できる。

しかし、実際にはどのように分割するかが問題となる。対象までの距離や形が事前に分かっていれば、それを反映した分割も可能であるが、通常はそのような情報を持っていない場合が普通である。また、因子分解法などの動画像から３次元形状を復元する技術もあるので、そのような技術を用いて画像を分割することも考えられるが、一般に計算量が膨大である上、動画像から３次元形状を復元するにも前処理として画像の動き量を計測する必要があり、本質的な解決にはならない。

例えば、図１４に遠近の物体が混在して写る場合の様子を示している。手前に樹木、遠くに車両や山が写るシーンである。図１４に示すように、カメラが左に動いたとき、全体として画像中の物体は右に移動する。確かに、全体として画像中の物体は右に移動するが、画像の内容によって、すなわち、手前の樹木は大きく、遠くの車両は小さく、それぞれ移動する量が異なる。このような動きをする場合、画像を複数の領域に分割せずに、画像全体の正確な動き量を検出するのは難しい( 言い換えると、従来の動き量のモデルを用いて記述するのは難しい)。例えば、移動３Ｄ平面モデル｛式(5)｝や平面射影変換等を使用して、動き量を求めてしまうことも可能であるが、正確な動き量を検出できない。ただ、実際の応用では、多少問題が発生しようと、強引に処理して動き量を算出することも多い。実時間の画像安定化などの応用では処理時間が問題となるため、複雑な処理ができず、単純な平行移動のモデル｛式(3)｝で、水平、垂直の移動量しか検出せず、その水平、垂直の移動の補正しかできない装置もある。また、図１４のような遠近の物体が混在するような場合、従来、良くやられる方法としては、注目するのがどの辺であるか絞り込んで、その注目する領域だけを画像安定化する方法である。

図１５は従来の実時間の画像安定化に用いられる動き量を算出する処理ブロックを示したものである。動画像の現在の入力画像１０７を参照画像１０８と比較し動き量を推定する動き量計算手段１０３の前段に、動き量計算範囲設定手段１４０１が設けられており、画像全体１４０２に対して動き量が計算される範囲（部分領域）１４０３が設定可能となっている。これにより、動き量計算手段１０３の処理対象となる処理範囲を、動き量計算範囲設定手段１４０１により設定し、それによって指定した範囲１４０３の動き量だけ計算する。こうすれば、画像全体１４０２の安定化は無理でも注目する領域(平面等で近似的にモデル化できる必要がある)については安定化することができる。

以上、画像の変形量や動き量をどのように計算するか示した。また、複雑な背景の場合は、注目する領域を指定して、その部分だけの動き量を求める方法を示した。しかしながら、実際の画像では注目する対象が同じ位置に存在しているわけではない。一度、録画された画像を処理するのであれば、予め、どの部位を安定化するか指示できるかもしれないが、実時間で画像安定化するような場合などを考えても、シーンの変化に応じて、動き量の計算の処理範囲を人が設定するには無理があるなど実際には色々な問題が発生する。

そこで、本発明は、以下に列挙する課題を解決しようとするものである。
(1) 画像について動き量を計算する領域(注目する領域)を適切に入力するのは難しい。注目するのは点ではなく、画像上のある広がりを持った領域である場合が普通で、しかも多様な領域の形をしている。その領域を含む単純な矩形のウインドウを人が指定するにしても、矩形のウインドウの中心位置、ウインドウの縦と横の大きさを与える必要がある。また、動画像を対象とした場合、画像の内容は時々刻々と変化していくため、注目したい領域も位置、大きさ、形がどんどん変化する。これを人が逐一、指定していくのは大変である。できれば、なるべく、詳細な指示が要らない形で動き量の計算範囲が自動的に決まるのが理想である。例えば、ある距離の目標に注目したいという条件設定をしたら、自動的に指定された条件の領域を選択識別して、画像の安定化等の処理を行って欲しい。
(2) 注目する領域を指定しても、不安定な部分が入り込む。
動画像では今までは背景に含まれ静止していた物体が移動し始めることがある。例えば、注目する領域の位置や形が適切に設定されても、対象範囲に含まれる物体が急に移動したら、静止した背景を想定した平面のモデルで動き量を求めると、正しい動き量を計算できなくなる場合がある。また、画像背景中の物体が移動したりするだけでなく、撮影時刻のズレから影の位置が変わったり撮影環境や画像センサーの違いから、全体の画像の動き検出に障害となるような不安定な部分が入り込むことがある。

本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。

上記目的を達成するために、本願請求項１の発明は、画像中の目標又は背景の動き量を検出する画像の動き検出装置において、
注目する目標又は背景の部分の情報を入力又は設定する、注目する部分の情報の入力手段と、
重み付けとは前記注目する部分を画像位置と関連付けて画像位置により変化する重み係数を設定することであり、前記注目する部分の情報の入力手段からの情報と画像の内容とをつき合わせ、前記注目する部分は重みを大きく、前記注目する部分以外と考えられる部分の重みは小さくするように重み付けし、動き量計算の初期値を設定する重み付け等設定手段と、
前記重み付け等設定手段で設定された重み付けの重み係数や動き量計算の初期値を利用して、前記注目する部分に着目し又は注目する部分を排除して画像の動き量を推定する重み付け等を考慮した動き量計算手段とを備え、
画像の動き量を検出する過程において、前記重み付け等設定手段及び前記重み付け等を考慮した動き量計算手段は反復処理を繰り返して最終的な画像の動き量を推定するものであり、前記重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き量計算手段の画像の動き量推定結果を反映して重み付けを適応的に調整する機能を有し、前記重み付け等を考慮した動き量計算手段は反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けの重み係数を利用することを特徴としている。

本願請求項２の発明に係る画像の動き検出装置は、請求項１において、前記注目する部分の情報の入力手段は、前記注目する目標又は背景の部分の画像位置、画像範囲、距離、大きさ、変形度、２次元形状、３次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報のうち少なくとも一つ以上の情報を入力又は設定することを特徴としている。

本願請求項３の発明に係る画像の動き検出装置は、請求項１又は２記載の発明で必要となる反復処理をより効率的に行うために、動き量を計測する入力画像から多重解像度の画像を生成し、その多重解像度の画像を利用して粗密探索を行い、処理の反復の過程で徐々に画像の動き量を推定することを特徴としている。

本願請求項４の発明に係る画像の動き検出装置は、請求項１，２又は３において、前記注目する部分の情報の入力手段は、時系列的に前の処理結果の情報を利用して、注目する部分の情報を設定することを特徴としている。

本願請求項５の発明に係る画像の動き検出装置は、請求項１，２，３又は４において、前記注目する部分を画像位置と関連付ける、画像位置により変化する重み係数について、矩形ウインドウ単位又は任意の形状の領域単位で同じ重み係数で扱う形の処理で具現化するか、又は矩形ウインドウ単位又は任意の形状の領域単位で重み係数を０又は１と選択するのと等価な処理で具現化したことを特徴としている。

本願請求項６の発明に係る画像の動き検出装置は、請求項１，２，３，４又は５において、前記重み係数とは、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数であり、画像変化とは画像の動き量を計測する対象の画像間での撮影環境、画像撮像装置の違いから生じる変化であり、画像間の動き量を計測するのに障害となる画像変化の大きい部分は注目しないように重み係数を適応的に調整することを特徴としている。

本願請求項７の発明に係る画像の動き検出装置は、請求項６において、可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算することを特徴としている。

まず、基本となる請求項１記載の発明がどのように作用するか説明する。画像中に遠近の物体が混在しており、例えば、その遠方にある物体に注目し動き量を抽出する場合を考える。

そのような状況を図１６に示す。時刻ｔ_１で撮像された画像Ｉ_１上で領域Ａと領域Ｂが隣合って写っており、注目する領域Ａの物体はカメラから遠く、領域Ｂの物体はカメラの近くにあるものとする。その画像Ｉ_１の明度変化の例を示したものが図１６(a)である。この図では、簡単のため１次元(ｘ軸)で明度の変化を表している。下の図１６(b)では、時刻ｔ_２で撮像された画像Ｉ_２の明度変化の例を示している。画像Ｉ_２では、左手方向にカメラが動いたことにより、領域Ａと領域Ｂは共に右手方向にずれて移動している。但し、それぞれの動きの量は、領域Ａの物体はカメラから遠くにあるため少なく、領域Ｂの物体はカメラの近くにあるため大きい。なお、領域Ａと領域Ｂの間に発生した領域は、時刻ｔ_１の時点の画像Ｉ_１では領域Ｂの影に隠れて見えていなかった部分である。

請求項１記載の発明に係る画像の動き検出装置は、少なくとも１回以上の反復処理で段階的に動き量を計算することを前提としている。その為、ここでは、何らかの手がかり、初期設定又は反復処理により、領域Ａの動き量を推定した暫定値が求まっていると仮定する。その動き量の暫定値をａとする。より正確な動き量を求めるためには、その残りの動き量(動き量補正値)を計算する必要がある。図１６(c)は、画像Ｉ_２を動き量の暫定値ａだけ左方向に戻して、画像Ｉ_１と重ね合わした様子を示している。図１６(c)を見て分かるように、領域Ａの動きに合わせて戻しているため領域Ａの領域では明度のズレが少なく、Ｉ_１(x)と画像Ｉ_２を動き量の暫定値ａだけ左方向に戻したＩ_２(x＋a)の明度がほぼ重なる形となる。このような部分(ここでは整合領域と表現する)では、明度勾配法で残りの動き量をほぼ正しく算出することができる。また、それ以外の領域Ｂや隠れていた部分(ここでは非整合領域と表現する)においては明度勾配法で正しい動き量を求めることはできない。当然、最初から、領域Ａと領域Ｂの位置や形が指定されていれば問題はないが、ここでは明確に領域の情報が与えられていないとする。よって、全体(領域Ａ及び領域Ｂ)としての動き量を求めようとすると、そのままでは、領域Ｂや隠れていた部分について正しい動き量が計算できないだけでなく、領域Ａの動き量を求めるときに誤りの原因になる。ただ、動き量を最小二乗法等で計算をするとき、領域Ａのような整合領域での誤差を大きく評価し、それ以外の領域Ｂや隠れていた部分のような非整合領域では誤差をあまり大きく評価しないような形で解いてやれば、領域Ａに注目した動き量だけを計算してやることができる。ここでは、誤差の評価式の係数の関係から、その部分を動きを重視し誤差を大きく評価して(結果として誤差が小さくなるように)やることを「重み係数を大きく、又は重みを大きく」、誤差を小さく評価してやることを「重み係数を小さく、又は重みを小さく」という表現で表すことにする。この重み係数(重み付け) を何らかの方法で決めなければならないが、例えば、画像Ｉ_１(x)と画像Ｉ_２(x＋a)との間の明度差や勾配の一致度を評価して決めてやることができる。

図１７に示すフローチャートは、重み係数を繰り返し処理して行く過程で、画像同士をつき合わせることにより重み係数を適応的に変化させて行く処理の流れを示したものである。このように、最初に何らかの注目する部位の位置情報等が与えられれば、自動的に画像の内容に合わせながら重み係数が決まって行く。重み係数が適切に決まれば、注目する部位の動き量も適切に抽出できる。請求項１記載の発明は、これらの処理の流れ構成するのに、必要となる各手段で具体的にどうすれば良いかを示したものである。

請求項１記載の発明に係る画像の動き検出装置おいて、まず、注目する部分の情報の入力手段により、最初の注目する部位の位置情報と結びつけることができる手がかりの情報(画像位置、画像範囲、距離、大きさ、変形度（参照画像に対するバラツキの許容範囲）、２次元形状、３次元形状、テクスチャ（模様）、色、反射率又は透過率、見え方（３次元物体がどのように見えているか）、存在確率（特定の目標物の存在する確率）、車種、型式（車種よりも細かい分類）、カテゴリー（例えば目標が人、車両、樹木等であるかどうか）、個数、速度、加速度、角速度、画像撮像装置の動き（カメラ等に取り付けたジャイロ等から得られる３次元的なカメラの動き量）の情報又はそれらの予測情報等) が得られる。また、重み付け等設定手段では、前記注目する部分の情報の入力手段から情報と画像の内容をつき合わせ、注目する部位の重みを大きく取り、注目する部位以外と考えられる部位の重みは小さくするように重み付けを調整し、必要に応じて動き計算の初期値を設定することができるようにしている。そして、重み付け等を考慮した動き計算手段では、重み付け等設定手段で設定された重み付けや動き計算の初期値を利用して、注目する部位に着目し又は注目する部位を排除して画像の位置変化を推定することができるようにしている。また、この重み付け等設定手段と重み付け等を考慮した動き計算手段は、少なくとも１回以上の反復処理を繰り返して最終的な画像の位置変化を推定するようにしている。そして、重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き計算手段の結果を反映して重み付けを適応的に調整する機能を有し、重み付け等を考慮した動き計算手段において反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けを利用することができるようにしている。これにより、図１７に示す繰り返し処理の形で、注目する領域だけの動き量を適切に抽出することができる。

請求項２記載の発明に係る画像の動き検出装置は、請求項１の発明における最初の注目する部位の位置情報と結びつけることができる手がかりの情報が、画像位置、画像範囲、距離、大きさ、変形度、２次元形状、３次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報であることを具体的に限定している。

請求項３記載の発明に係る画像の動き検出装置は、請求項１記載の発明の反復処理において、多重解像度の画像を利用して粗密探索の形で処理を行うものである。粗密探索を行う形で処理を行うと、その反復の過程で徐々に画像の位置変化を推定することができるので、非常に効率的に動き量を推定することができる。

請求項４記載の発明に係る画像の動き検出装置は、注目する部分の情報の入力手段として、時系列的に前の処理結果の情報を利用して、注目する部分の情報を自動的に設定することができるようにしたもので、毎回、注目する部分の情報を入力する手間を省くことができる。

請求項５記載の発明に係わる画像動き検出装置は、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数の設定を、矩形ウインドウ単位又は任意の形状の領域単位で操作するのと同じであり、請求項１から請求項３記載の発明と同じ効果を得ることができる。

請求項６記載の発明に係わる画像動き検出装置は、画像間の動き量を計測するのに障害となるような、画像の動き量を計測する対象の画像間での撮影環境（天候、撮影する画像センサーの種類等）の違いから生じる画像の変化の大きい部分については、注目しないように適応的に重み係数を調整するようにしているので、画像間の動き量を正しく計測することができる。

請求項７の発明に係わる画像動き検出装置は、請求項６記載の発明を、特に可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算するように適用したものであり、画像間で画像の写り方の変化があってもその画像の変化の大きい部分は注目しないように適応的に重み係数を調整するので、画像間の対応を正しく計測することができる。

本発明は、以下に記載されているような効果を奏する。

(1) 画像で動き量を計算する領域(注目する領域)の設定が楽になる。
請求項１，２及び３記載の発明の画像の動き検出装置を用いることにより、最初の手がかりとなる情報から、対象となる領域の範囲を適応的な重み付けにより切り出すことができる。よって、注目する領域や対象の詳細な指示が要らなくなるため、実時間の動画像を安定化したりする場合など、操作員の労力を低減することができ非常に効果的である。また、請求項４記載の発明を使用すれば、動画像で注目する領域がどこかを常に指示する必要が無く、最初に与えた注目領域の情報だけで自動的に続く画像の注目する部分がどこか内容が更新されるので、格段に装置の操作が容易になる。

(2) エラーとなる部分を排除し、動き量の推定の安定性が向上する。
注目領域で想定する移動３Ｄ平面の動きから外れるような移動物体が仮に発生しても、繰り返し処理の中で、整合性が取れない領域は重み付けにより排除されるため、結果として注目領域の動き量を的確に安定して推定することができる。

(3) 画像から３次元情報等の情報を抽出することができる。
注目領域で想定する移動３Ｄ平面の動きから外れるような移動物体が発生しているとその移動物体の部分の重みは小さくなる。重み付けの情報を逆に利用して、想定した以外の動きをする移動物体を自動的に検出することも可能である。また、本発明を適用することにより、画像の整合性から、指定した部分が平面的に近似できる部分かどうかの判定が得られるので、シーンの３次元情報を復元するとき、どの部分が平面近似できるかなどの重要な情報が得られる。

(4) 異種画像センサーから得られる性質の異なる画像の位置合わせができる。
可視と赤外では全く見え方が異なるが、見え方の異なる部分は重み係数を小さくすることにより除外し、物体の輪郭等のエッジや全体の対応関係に注目できるので、画像の対応付け(位置合わせ)が正確にできるようになる(異種画像センサーの画像間の対応付けができれば、融合して多様な情報を含む一つの画像を生成したり、スペクトル分析による物体の分類等の処理が可能となる。)。

以下、本発明を実施するための最良の形態として、画像の動き検出装置の実施の形態を図面に従って説明する。

従来技術での説明に対応させ、ここでも明度勾配法で実現する例を中心に説明する。また、以下の説明では、多くの場合、各画素での重み付けの形で表現するが、その重み付けと等価な処理も含むものとする。例えば、ある矩形の処理ウインドウ全体で特定の重みを使用したり、極端な話、重みを０と１で制御すれば処理ウインドウを選択したりする処理と各画素での重み付けとは表現上の違いがあっても本質的に同じことである。処理に影響ないところでは、画像の各画素毎に重みを計算しなくても良い。また、処理の簡単化のため、各画素で重み係数を求めず、ある矩形ウインドウ領域全体で画像の平均的な整合性を算出して、その領域に対し一つの重み係数を使用する場合もある。例えば、図１８に示すような個別のウインドウ領域で動き量を個別に計算し、一つの重み係数を用いてもよい。図１８では、横３２０画素×縦２４０画素で構成される１枚の画像を、５×５の２５個のウインドウ領域に分割するような例を示している。以下の説明では、この分割したウインドウ領域をブロックと表現する場合もある。よって、請求項５記載の発明は、重み付けを矩形ウインドウ単位又は任意の形状の領域単位で行うことができることを示したものであり、請求項５記載の発明についての実施の形態については、請求項１〜４記載の発明の実施の形態の説明の中に、適宜含めて説明するものとする。

（実施の形態１）
請求項１記載の発明に対応する実施の形態１の処理ブロック図を図１に示す。図１において、動画像の現在の入力画像１０７と参照画像１０８とが重み付け等を考慮した動き量計算手段１８０１に入力され、重み付け等を考慮した動き量計算手段１８０１は参照画像Ｉ_１と入力画像Ｉ_２を入力として、注目する部分の動き量を推定する。この重み付けを考慮した動き量計算手段１８０１は、少なくとも１回以上の繰り返し処理で動き量を求めるものであり、その繰り返し処理の中で、注目する部分は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように、重み付けされた重み係数や必要に応じて動き量計算の初期値の重み付け等の情報１８０４が、重み付け等設定手段１８０２から与えられる。重み付け等設定手段１８０２も、重み付けを考慮した動き量計算手段１８０１と連動して、少なくとも１回以上の繰り返し処理を行う。この重み付け等設定手段１８０２では、注目する部分の情報の入力手段１８０３からの注目する目標又は背景等の情報１８０５と重み付けを考慮した動き量計算手段１８０１の途中処理結果等の情報１８０６をつき合わせ、注目する部分（注目する目標の位置１８０７を含む）は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように重み付けする。また、重み付け等設定手段１８０２は必要に応じて動き量計算の初期値を設定する。注目する部分の情報の入力手段１８０３においては、重み付け等設定手段１８０２へ与える注目する目標又は背景等の情報１８０５を入力又は設定することができる。

図２は、重み付けを考慮した動き量計算手段１８０１の詳細な実現例を示したものである。図２の詳細な説明を行う前に、各点で重み係数を考慮して、画像の動き量を計算する方法について説明しておく。この各点の重み係数をＳ(x,y)で表すことにする。この重み係数Ｓ(x,y)は後でどうやって求めるか述べるが、ここでは既に求まっているものとして話を進める。

以下の式(12)は通常の最小二乗法の評価式である式(6)に対応するもので、かつ、２乗誤差Ｅ^２を集計する時に、重み係数Ｓ(x,y)を考慮する評価式になっている。

例えば、重み係数Ｓ(x,y)を考慮し最小二乗法による平行移動モデルでの動き量を計算する連立方程式は以下の式(13) の形となる。

他の動きのモデル(アフィンモデル、移動３Ｄ平面モデル)の場合でも、それぞれ対応する、式(8)〜式(11) のΣの後に重み係数Ｓ(x,y)を挿入した式になるので、その重みを考慮した連立方程式を解けば良い。

図２を用いて、重み付けを考慮した動き量計算手段１８０１の全体の動きを説明する。まず、対象となる２枚の画像は、参照画像１０８(Ｉ_１)と入力画像１０７(Ｉ_２)である。これらの画像を入力として処理が開始される。最初に、重み付け等設定手段１８０２から与えられる動き量(推定値) の初期値１９０８(適当な予測値が無ければ初期値はゼロに設定しておく) で、入力画像Ｉ_２が画像ワープ部１０５でワープされワープ画像Ｉ_２ ^Ｗ１９０６が生成される。この時のワープは正確には、逆ワープであり、入力画像Ｉ_２を変形し参照画像Ｉ_１に戻す形になっている。画像勾配計算部１９０２では、参照画像Ｉ_１のｘ軸方向の勾配Ｉ_ｘ、ｙ軸方向の勾配Ｉ_ｙを、図１０に示すような差分オペレータを用いて計算する。また、明度差算出部１９０１では、ワープした入力画像Ｉ_２ ^Ｗと参照画像Ｉ_１の明度差Ｉ_ｔを算出する。この時点で、画像座標(x,y)、明度勾配(Ｉ_ｘ,Ｉ_ｙ)、明度差Ｉ_ｔが揃っている。フロー特徴量(ここでは、Ｉ_ｘ ^２，ｘＩ_ｘ ^２，ｙＩ_ｘ ^２等の値を示すものとする) の積算部１９０３では、重み付け等設定手段１８０２から与えられた１９０７の重み係数Ｓ(x,y)、そして画像座標(x,y)、明度勾配(Ｉ_ｘ,Ｉ_ｙ)、明度差Ｉ_ｔを用い、前記連立方程式の係数になるΣＳ(x,y)Ｉ_ｘ ^２等の重み付けしたフロー特徴量を集積して行く。ここでは、ラスター走査のような形で、各点の画像座標(x,y)、重み係数Ｓ(x,y)、明度勾配(Ｉ_ｘ,Ｉ_ｙ)、明度差Ｉ_ｔを計算していれば、同じラスター走査の形でフロー特徴量を計算し積算して行くことができるので効率がよい。

次に、動き量の計算部１９０４では、画像全体に集積されたフロー特徴量を入力として、前記連立方程式を解き動き量を算出する。何回かの反復処理の後では、画像ワープ部１０５で入力画像は、動き量の算定値でワープされているので、動き量の計算部１９０４で求まるのは、残りの動き量(動き量補正値)になる。動き量の加算部１９０５では、動き量の計算部１９０４で求まった動き量補正値(例えば、移動３Ｄ平面モデルでは（Δａ，…，Δｈ)を加算処理して、新しい動き量の暫定値が求められる。何回か反復処理した後、この動き量の暫定値は動き量の推定値１９０９｛例えば、移動３Ｄ平面モデルでは（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｈ）｝として出力される。

重み付け等の設定手段１８０２の側では、この重み付け等を考慮した動き量計算手段１８０１の途中処理結果等(参照画像やワープ画像など)の情報１８０６を利用して評価値の計算に反映し、繰り返し処理の中で、重み係数Ｓ(x,y)を適応的に修正するのに使用する。ここで言う評価値とは注目する領域の想定する動きのモデルと整合しているか評価する評価値である。

注目する部分の情報の入力手段１８０３は、何らかの注目したい目標の情報を入力できればよい。例えば、位置を指定したいときは、操作員が位置をマウスやカーソル等のポインティングデバイスで指定できる。別の目標追尾装置から、そのような目標位置の情報を受け取る手段を用意してもよい。また、操作員の視線を検出してどこに注目しいてるか計算しても良い。注目する物体や背景の色が分かっていれば、その色を指定するだけで、目標や背景の位置を特定することができる。更に、画像撮像装置（カメラ）自体の動き量をジャイロセンサー等から入手できれば、画像中で注目する部分がどの方向、位置にずれたか特定することもできる。このように、注目する目標や背景の位置情報と関連付けられる、又は何らかの手がかりとして利用できる情報には、請求項２に記載しているように、距離、大きさ、変形度、２次元形状、３次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報などがある。

重み付け等の設定手段１８０２では、注目する部分の情報の入力手段１８０３から与えられた情報と画像の内容等をつき合わせ、注目する部分は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように重み付けし、必要に応じて動き量計算の初期値を設定する。

重み付け等の設定手段１８０２の具体的な実現法について例を挙げて説明する。注目する目標又は背景等の情報を画像位置(x,y)の関数である重み係数Ｓ(x,y)に関係づける方法は色々ある。ここでは、
(1) 対象の領域の中心となる画像位置が指定される場合と、
(2) なるべく遠方にある領域に注目する場合を例にして説明する。

例えば、(1)の場合、対象の領域の中心を(ｘ_ｐ,ｙ_ｐ)とすると、以下の式(16)のような式で領域の中心(ｘ_ｐ,ｙ_ｐ)からの近接度を評価できる。

式(16)では、この近接度をＰ(x,y)で表している。

また、(2)の場合のように、遠方にある目標に注目するのであれば、図１８で示したような形のブロック単位（例えば、元の画像の横３２０画素、縦２４０画素を、６４画素×４８画素の２５個のブロックＢ_１〜Ｂ_２５に分割）で、並進移動モデル式(3)としての動き量を事前に算出し、並進量｛ａ(x,y),ｄ(x,y)｝を求めておく。ここでは並進量｛ａ(x,y)，ｄ(x,y)｝はブロック単位で求めたあるブロックＢ_ｉの並進量（ａ_ｉ,ｄ_ｉ）やその近傍のブロックの並進量を用いて補間して求めたものを想定している。これを用いて、式(17)のような形で動きの小ささ(遠方にある確からしさ)Ｑ(x,y) の評価値を算出することができる(遠方にあるという評価は、並進量は実際はカメラの回転で受ける回転の成分を前段の反復処理で補正するとより確実になる。)。これ以外の評価値としては、ワープ後の整合度Ｍ(x,y)が重要となる。これはワープ前とワープ後の明度差や勾配の類似度を評価すれば求めることができる。式(14)は、ワープ前の明度差Ｉ_ｔとワープ後の明度差Ｉ_ｔ ^ｗから整合度の評価値を計算するものである。あと、式(14)だけの評価値では、画像特徴の少ない画像明度がフラットな場所では信頼度が低くなるので、ある程度の画像の特徴が存在する場合だけに重み係数を高くするため、式(15)で示されるような画像特徴強度を評価するような評価値Ｊ(x,y)も必要となる。これらの評価値は画像位置(x,y)の各点で計算するが、同様にブロック毎に計算してもよい。

以下の式(18)〜式(21)は、上記式(14)〜式(17)に対応するものでブロック毎に評価値を求める計算式の例を示している。

なお、これらの式の中のｋ_１〜ｋ_４は各評価値を適切に調整する係数である。ブロック毎にワープ後の整合度の評価値を計算する場合、勾配法の拘束式に明度の変動α(ブロック内で定数とする)を導入して下記の式(22)で示されるような２乗誤差Ｅ^２を最小化するようにして解（ａ,ｄ,α）を算出し、この求まったαを利用して評価値を計算することもできる。

明度の変動αを考慮したときの動き量を算出する連立方程式は、式(23)の形になる。また、検出した明度の変動αで整合度の評価値を算出する式の例を式(24)に示す。ここでσは、変動αのブレの大きさを調べ調整する係数である。連立方程式を変えたくなければ、ブロックの整合度は対象とするブロックで計算される動き量の大きさを利用しても良い。一般に、明度勾配法を適用できないところで明度勾配法で動き量を算出すると大きな動き量が算出される傾向がある。

次に、これらの評価値から、重み係数Ｓ(x,y)を計算する例を示す。下記の式(25)及び式(26)は、画像上で注目する位置(領域の中心など)が指定されている場合の、画像位置(x,y)とブロックＢ_ｉで表す重み係数Ｓ(x,y)、Ｓ_ｉの計算式の例である。

Ｊ^ｌ(x,y)等の上に付く添え字のｌは、各反復処理又は、ピラミッドレベルを識別する番号である。ここでのΣは、これまでの反復処理で計算された値を集積する意味で使用している。また、なるべく遠方の領域等に着目したい時には、式(27)及び式(28)のような式で重み係数を計算すればよい。ここで示すのは代表的な例に過ぎない。色々な方法でまた目的にあった評価値を導入できるし、評価式や重み係数も色々な形で表現できるし、計算しやすいように変形して利用することができる。

（実施の形態２）
請求項３記載の発明である、多重解像度の画像(ピラミッド画像)を利用し粗密探索を行う実施の形態について説明する。ピラミッド画像を用いる重み付け等を考慮した動き量計算手段２６０１を実現した例を図３に示す。図３において、重み付け等を考慮した動き量計算手段１８０１の前段に、ピラミッド画像生成手段２６０２及びピラミッドレベル選択手段２６０３を設けているのが特徴であり、その他の部分は図２と同様であり、同一又は相当部分に同一符号を付してある。

ピラミッド画像生成手段２６０２で生成されるピラミッド画像２６０４の例を、図４を用いて説明する。図４の一番下にあるのが、通常の画像、ここでは、横方向３２０画素×縦方向２４０画素の画像である。この元のスタートとなる画像のレベル（ピラミッドレベル）をＬ０で表すことにする。簡単に言うと、この画像の縦方向、横方向を逐次１／２ずつ縮めていった画像が、ピラミッドレベルＬ１，Ｌ２，Ｌ３，…の画像となる。面積の上では、１／４ずつ、画像の面積が小さくなって行く。図４では、Ｌ０の原画を一番下に、その上にＬ１の画像（横方向１６０画素×縦方向１２０画素）、Ｌ２の画像（横方向８０画素×縦方向６０画素）、Ｌ３の画像（横方向４０画素×縦方向３０画素）と上方に縦に並べている。

入力された画像を一度、このようなピラミッド画像に変換し、上位の画像（ピラミッドレベルが高い、小さな画像）から、動き量を徐々に推定しながら、動き量を推定すれば、大きな動き量もつかまえることができる上、反復処理での全体の計算量を低減することができる。

上の説明ではピラミッド画像２６０４を生成するとき、簡単に縦、横を逐次１／２ずつ縮めると表現したが、単純な画素データの間引きでは折り返し雑音（例えば直線にギザギザが発生すること）が発生するので、ガウシアンフィルタ等でノイズを除去しながら画素の間引きを行う。ピラミッド画像生成手段２６０２の実現例を、図５に示す。選択回路２８０１は、最初に通常の画像Ｌ０が入力端Ａから入った後は、入力端Ｂからの入力が選択されるように動作する。よって、画像Ｌ０は選択回路２８０１を通過すると同時にＬ０の画像として出力される。また同時に、画像Ｌ０はガウシアンフィルタ２８０２の入力となる。そして、画像Ｌ０はガウシアンフィルタ２８０２、間引き処理部２８０３を通過後、Ｌ１の画像になり、画像バッファ１０６で出力タイミングを調整された後、選択回路２８０１の入力端Ｂの入力として選択され、Ｌ１の画像として出力される。このような動作を繰り返すと、Ｌ０、Ｌ１、…と逐次、高次のより小さなピラミッド画像を生成することができる。

図３のピラミッドレベル選択２６０３は、動き量計算の繰り返し処理において、高次のピラミッド画像から順次、低次のピラミッド画像を、重み付け等を考慮した動き量計算手段１８０１の入力として与えるように働く。同じピラミッドを何回か繰り返しても良いし、必要ならピラミッドレベルを飛ばしてもよい。画像の内容や応用目的によっては、最下位のピラミッド画像で処理しなくても、十分な精度の動き量の推定値が得られる場合がある。

図６は、実施の形態２のピラミッド画像を使用し、繰り返し処理で順次、粗密探索のやり方で、動き量を推定して行く様子を示したものであり、図２と同じ又は相当部分に同一符号を付した。

この図を用いて、本発明の効果である、
(1) 注目する領域の指定が容易になること、
(2) 想定と違う動きをするものを排除して動き量の推定を絞り込むことができること、を説明する。

ここでは簡単にするため、ピラミッドレベル２から０まで各１回ごと処理を行い、画像の動き量を推定する場合で説明する。参照画像Ｉ_１として、文字Ａが写り、その手前に別の円形の物体が被さっているような画像、入力画像Ｉ_２としてその文字Ａの部分が左上方向に回転し移動しているとする。更に、ここで注目する領域は画像Ａの領域で、図にあるように文字Ａの一部を注目する目標という形で＋印の画像位置が指定されているものとする(文字Ａの全体の形を指定していないところに注意)。参照画像と入力画像のピラミッド画像が生成された後、この処理の流れが開始される。ピラミッドレベル２の入力画像Ｉ_２(L2)(ここでは(LN)で画像のピラミッドレベルＮの画像を表すものとする) は重み付け等設定手段１８０２で与えられる初期値で画像ワープされ、その１９０６のワープ画像Ｉ_２ ^ｗ (L2) と参照画像Ｉ_１(L2)を用いて、ピラミッドレベル２の動き計算部２９０１により暫定の動き量(動き量の補正値)が算出される。ここで、動き計算部２９０１〜２９０３には、重み付け等を考慮した動き計算手段の明度勾配算出、明度差算出、フロー特徴集積等を行い動き量の計算を行う部分が含まれているものとする。ここで使用される最初の重み付けは、注目する部分の情報(注目する部分の情報の入力手段からの情報)に基づき重み付け等設定手段１８０２により、＋印の部分が高くそれ以外が低くなるように設定されている。よって、ここで計算される動きの補正値は文字Ａを中心とした動き量が抽出される。

次のピラミッドレベル１の処理では、画像をピラミッドレベル１に変えて処理が行われる。この時、画像ワープ部１０５ではより参照画像Ｉ_１のＡに近づく形で画像ワープが行われる。つまり、これは前段のレベル２の処理で文字Ａを中心とした動き量を計算しているためである。このとき、ワープ画像Ｉ_２ ^ｗ(L1)と参照画像Ｉ_１(L1)を重ね合わせてみると、円形の領域の部分は明度の整合性の評価が低くなるため、重み付け等設定手段１８０２から、円形の領域の部分は重み係数が低くなるような重み付けが与えられる。その結果、ピラミッドレベル１の動き量計算部２９０２では円形の領域の部分の動きは排除され、文字Ａの部分と見なせる部分だけの残りの動き量を推定するようになる。

引き続く、ピラミッドレベル０においても、ピラミッドレベル１と同じように働くため、円形の領域の部分は更に重み係数が低くなり、ピラミッドレベル０の動き量計算部２９０３では文字Ａの部分だけの残りの動き量をより的確に推定するようになる。結果として、最終的に推定される動き量は、文字Ａの部分に着目した動き量になる。

このように、最初の文字Ａの一部の＋印で示す画像位置が指定されただけにも係わらず、この最初の手がかりを参考にして、重み係数を適応的に調整し、最終的には文字Ａに属する領域がどこにあるか自動的に見つけ出している。これにより、正確に、文字Ａの全体の形をなぞって入力しなくてもよく、格段に注目する領域の指定が容易になる。また、説明したように、逐次更新され適応的に変化する重み係数により、別の動きをすると見なされる円形の領域の部分は動き量の推定から実質的に排除され、文字Ａに対する動き量の推定も正確にかつ安定する。

（実施の形態３）
請求項４記載の発明に対応する、時系列的に前の処理結果の情報を利用して、注目する部分の情報を効率的に設定する実施の形態について説明する。図７は請求項４記載の発明を実施した時の処理の流れを示している。なお、この図７では、注目する部分の情報の入力手段は、注目する部分の情報の設定３００１又は３００２という表現で表している。また、重み付け等設定手段１８０２と重み付け等を考慮した動き量計算手段１８０１は、簡単のため一つの処理ブロックにまとめて示し、図２と同じ又は相当部分に同一符号を付した。ここでは、画像Ｉ_１、画像Ｉ_２、画像Ｉ_３、…と、時系列で順次、画像が入力され、それを画像安定化する処理を対象として説明する。

まず、図７の上部にある注目する部分の情報の設定３００１で、画像Ｉ_１を基準に一度、注目部位の情報が設定される。それに基づいて、画像Ｉ_２以降が安定化されるものである。安定化された画像をＩ_ｉ ^＊で表す。画像Ｉ_１を基準に設定された注目部位の情報と、画像Ｉ_１と画像Ｉ_２から注目部位の動き量が、重み付け等を考慮した動き量計算手段１８０１で計算される。この動き量を動き量のフィルタリング１０４でフィルタリング処理し、実際に補正する量が決定され、画像Ｉ_２から画像ワープ部１０５の処理により安定化された画像Ｉ_２ ^＊が生成される。この画像Ｉ_２ ^＊は次の処理の参照画像になり、画像Ｉ_３の動き量の算出に利用される。注目する部分の情報の設定３００２では、画像Ｉ_２ ^＊と画像Ｉ_３の動き量計算での注目する部分の情報が設定されるが、画像Ｉ_２ ^＊のどこに注目する部分があるかは画像Ｉ_１と画像Ｉ_２の動き量計算で使用した重み付け等の情報(最初に指定された注目部位の情報も含む) と安定化された画像Ｉ_２ ^＊を生成したときに使用した補正量から決めることができる。

このような形で、順次、注目する部分がどこにあるか情報を引き渡すことができる。途中で注目する部位の形が少しずつ変わっても、逐次、重み係数が自動的に画像に合わせて調整されるため、継続して動き量を計算することができる。また、前フレームの情報を利用すると、手前の障害物に一時的に目標が隠蔽されても注目する部分の情報の設定で背後に目標が隠れていることを想定して処理を進めることも可能である。このように、注目する部位がどこかを常に指示する必要が無く、最初の注目部位の情報だけで自動的に続く画像の注目する部分がどこか内容が更新されるので、格段に装置の操作が容易になる。

請求項６記載の発明を実施するには、画像間の動き量を計測するのに障害となる、画像の動き量を計測する対象の画像間での撮影環境（天候、撮影する画像センサーの種類等）の違いから生じる画像の変化の大きい部分は注目しないように適応的に重み係数を調整するようすればよい。

一般に、可視画像と赤外画像など異種画像センサーで得られた画像間の動き量を算出するのは難しい。同じ物体を撮影しても、可視と赤外では全く見え方が異なるからである。ただ、物体の輪郭等のエッジや全体の対応関係から、画像の対応付けができる。請求項７記載の発明を実施するには、例えば、実施の形態１のブロック図(図１)において、可視画像センサーで取得した画像を参照画像、赤外線画像センサーで取得した画像を入力画像として扱えばよい(ここで、どちらを参照画像にし、どちらを入力画像とするかは本質的な問題ではない)。そうすれば、画像間で画像の写り方に違いがあってもその画像の違いの大きい部分は注目しないように適応的に重み係数が調整され、画像間の動き量、すなわち画像間の対応を計測することができる。このとき、可視画像と赤外画像では明度レベルが違う等の問題があるので、画像間の明度レベルの変換や照合しやすい画像(エッジ画像等)にするための何らかの変換を施しておくのが効果的である。

請求項７記載の発明を実施する場合以外でも、本特許の発明を実施する場合、明度勾配法の入力として使用するのは、必ずしも原画像でなくても、何らかの前処理をした画像、例えば、ゾーベルオペレータ等で計算した勾配の大きさを画像にしたものやＬｏＧ
(Laplacian of Gaussian)フィルタ等のフィルタで抽出したラプラシアン画像でもよい。照明条件等が著しく変化して、物体の明度自体が大きく変わるような場合は、このような相対的な明度変化を情報として持つ画像に変換してから、画像の変形量や移動量を求める方が安定に処理できる場合もある。また、実施の形態ではモノクロの画像の例で説明したが、当然、カラー画像、マルチスペクトル画像などの多次元画像へも容易に拡張できる。２枚以上の画像を同時に使用して画像の動き量を計算する場合でも、本発明の処理の枠組みは同じであり、容易に適用できる。動き量の計算には明度勾配法を例に挙げて説明したが、当然、対応探索法や周波数領域で分析する他の方法にも、本発明は適用可能である。例えば、ステレオ画像処理などでの対応点検出を行う対応探索処理では、連立方程式で解くと言うより、対応する可能性のある領域のマッチング度合い調べる形になる。このマッチングの度合いは、領域の相互相関やＳＡＤ(Sum of Squared Differences)の和ＳＳＡＤ(Sum of SADs)等を用いて計算される。この相互相関やＳＳＡＤ計算するときに、重み付けを考慮して計算してやればよい。また、マッチングウィンドウ内で明らかに整合性の取れない部分（例えば、ステレオ画像で隠蔽（オクルージョン）等により変化した部分）を排除するように重み付けを適応的に変化させて計算するようにする。この時、対応を調べる位置により排除する部分の比率が変わることになるが、排除する部分が多い場合は全体としての信頼性が低くなるので、それを考慮してマッチング度合いを補正しておくと、より正確な処理ができる。

以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。

請求項１記載の発明に対応する実施の形態１の処理ブロック図である。実施の形態１における重み付け等を考慮した動き計算手段の実現例を示す処理ブロック図である請求項３記載の発明に対応する実施の形態２であって、多重解像度の画像としてピラミッド画像を用いて動き量を計算する処理ブロック図である。ピラミッド画像の例を示す説明図である。ピラミッド画像生成手段の実現例を示す処理ブロック図である。ピラミッド画像を用いて階層的に動き量を計算する手順を示すフロー図である。請求項４記載の発明に対応する実施の形態３であって、前のフレームの処理結果を利用し、時系列で効率的に処理する場合のブロック図である。動画像を画像安定化する処理例のブロック図である。明度勾配法の原理を１次元で説明している説明図である。画像の勾配を計算する演算マスクの例を示す説明図である。勾配法は動き量が少ないときに適用できることを示す説明図である。２枚の画像間の動き量をアフィン係数で表現する例を示す説明図である。説明に使用する３次元空間中の平面を示す説明図である。単純な動き検出では問題が生じるケース( 遠近の物体が混在する場合) を示す説明図である。処理する範囲を事前に指定する従来方式の動き計算の処理ブロック図である。何故、重みを付ける必要があるかを示す説明図である。重み係数を適応的に調整することの説明図である。個別のウインドウ領域(ブロック)で処理を行うときの画像の分割例の説明図である。

符号の説明

１０１動画像(入力)
１０２安定化された動画像
１０３動き量計算手段
１０４動き量のフィルタリング
１０５画像ワープ部
１０６画像バッファ
１０７入力画像
１０８参照画像
１４０１動き量計算範囲設定手段
１４０２画像全体
１４０３動き量が計算される範囲
１８０１重み付け等を考慮した動き量計算手段
１８０２重み付け等設定手段
１８０３注目する部分の情報の入力手段
１８０４重み付け等の情報
１８０５注目する目標又は背景等の情報
１８０６途中処理結果等の情報
１８０７注目する目標の位置
１９０１明度差算出部
１９０２画像勾配計算部
１９０３フロー特徴量の積算部
１９０４動き量の計算部（連立方程式を解く）
１９０５動き量の加算部
１９０６ワープ画像
１９０７重み付け係数
１９０８動き量（推定値）の初期値
１９０９動き量の推定値
２６０１ピラミッド画像を用いる重み付け等を考慮した動き量計算手段
２６０２ピラミッド画像生成手段
２６０３ピラミッドレベル選択手段
２６０４ピラミッド画像
２８０１選択回路
２８０２ガウシアンフィルタ
２８０３間引き処理
２９０１ピラミッドレベル２の動き量計算部
２９０２ピラミッドレベル１の動き量計算部
２９０３ピラミッドレベル０の動き量計算部
３００１注目する部分の情報の設定（スタート）
３００２注目する部分の情報の設定（前のフレームを利用）
３００３前のフレームの結果

Claims

画像中の目標又は背景の動き量を検出する画像の動き検出装置において、
注目する目標又は背景の部分の情報を入力又は設定する、注目する部分の情報の入力手段と、
重み付けとは前記注目する部分を画像位置と関連付けて画像位置により変化する重み係数を設定することであり、前記注目する部分の情報の入力手段からの情報と画像の内容とをつき合わせ、前記注目する部分は重みを大きく、前記注目する部分以外と考えられる部分の重みは小さくするように重み付けし、動き量計算の初期値を設定する重み付け等設定手段と、
前記重み付け等設定手段で設定された重み付けの重み係数や動き量計算の初期値を利用して、前記注目する部分に着目し又は注目する部分を排除して画像の動き量を推定する重み付け等を考慮した動き量計算手段とを備え、
画像の動き量を検出する過程において、前記重み付け等設定手段及び前記重み付け等を考慮した動き量計算手段は反復処理を繰り返して最終的な画像の動き量を推定するものであり、前記重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き量計算手段の画像の動き量推定結果を反映して重み付けを適応的に調整する機能を有し、前記重み付け等を考慮した動き量計算手段は反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けの重み係数を利用することを特徴とする画像の動き検出装置。
前記注目する部分の情報の入力手段は、前記注目する目標又は背景の部分の画像位置、画像範囲、距離、大きさ、変形度、２次元形状、３次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報のうち少なくとも一つ以上の情報を入力又は設定する請求項１記載の画像の動き検出装置。
動き量を計測する入力画像から多重解像度の画像を生成し、その多重解像度の画像を利用して粗密探索を行い、処理の反復の過程で徐々に画像の動き量を推定する請求項１又は２記載の画像の動き検出装置。
前記注目する部分の情報の入力手段は、時系列的に前の処理結果の情報を利用して、注目する部分の情報を設定する請求項１，２又は３記載の画像の動き検出装置。
前記注目する部分を画像位置と関連付ける、画像位置により変化する重み係数について、矩形ウインドウ単位又は任意の形状の領域単位で同じ重み係数で扱う形の処理で具現化するか、又は矩形ウインドウ単位又は任意の形状の領域単位で重み係数を０又は１と選択するのと等価な処理で具現化した請求項１，２，３又は４記載の画像の動き検出装置。
前記重み係数とは、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数であり、画像変化とは画像の動き量を計測する対象の画像間での撮影環境、画像撮像装置の違いから生じる変化であり、画像間の動き量を計測するのに障害となる画像変化の大きい部分は注目しないように重み係数を適応的に調整する請求項１，２，３，４又は５記載の画像の動き検出装置。
可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算する請求項６記載の画像の動き検出装置。