JP4193387B2

JP4193387B2 - 画像間の動きパラメータ抽出装置

Info

Publication number: JP4193387B2
Application number: JP2001288592A
Authority: JP
Inventors: 一彦天野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-09-21
Filing date: 2001-09-21
Publication date: 2008-12-10
Anticipated expiration: 2021-09-21
Also published as: JP2003099782A

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像系列の２つの画像から、画像間の動き量を抽出し、画像の空間安定化や移動物体検出に利用する画像間の動きパラメータ抽出装置に関する。
【０００２】
【従来の技術】
画像間の動き量を検出する方式としては、例えば特開昭61-269475号報「動きベクトル検出方式」がある。この従来方式は、画面を水平方向及び垂直方向に複数分割し、時間的に連続する２画面の互いに対応する分割画面相互間で両者の移動量に対する相関値を求め、この相関値に基づいて画面全体の動きベクトルを算出する。しかし、この従来方式は、画面間の大きな動きを検出するためには、相関演算の探索範囲を大きくする必要があり、大規模な回路が必要であった。
【０００３】
また、効率的に動き検出する方法として、分解能の低い画像で探索を行い、その結果を初期値として、次の分解能の高い画像でさらに探索を行い、この処理を繰り返して、最終的に高分解能の画像の動き量を検出する階層的動き解析装置が実用化されている。例えば特開平6-60187号報「画像処理システム」がある。この従来方式は、処理システム遅延内の第１の期間内に、順次解像度が低くなる画像ピラミッドを、解像度が高い画像から順に生成し、処理システム遅延の残りの期間内に、動き解析を行う。ところが、この従来方式では、高解像度の画像から順に低解像度の画像を生成して、一旦、画像ピラミッドを形成していたので、この形成処理の時間分だけ、動き抽出の処理時間が増加していた。
【０００４】
【発明が解決しようとする課題】
上記のような従来の階層的動き解析装置では、高解像度の画像から順に低解像度の画像を生成して、一旦、階層画像を形成していたので、この形成処理の時間分だけ、動き抽出の処理時間が増加していた。動き量をカメラの運動制御に利用するようなリアルタイム制御システムでは、処理時間の増加はシステムの性能に大きく影響し、処理時間の短縮が強く求められていた。
【０００５】
また、上記のような従来の階層的動き解析装置は、画像ピラミッドを形成するための手段が必要であり、大規模の回路が必要であった。
【０００６】
この発明はこのような課題を解決するためになされたものであり、処理時間と回路規模を低減する画像間の動きパラメータ抽出装置を提案することを目的としている。
【０００７】
【課題を解決するための手段】
この発明に係る画像間の動きパラメータ抽出装置おいては、平滑化手段と、３面の画像メモリと、前記平滑化手段が連続して出力する画像データの１画面分を順番に前記画像メモリの１つに書込む書込み制御手段と、画像データを間引いて読み出すためのアドレスを生成する間引きアドレス生成手段と、画像データを幾何変換しながら読み出すためのアドレスを生成する幾何変換アドレス生成手段と、前記画像メモリの１つから画像データを間引いて読み出し、同時に前記画像メモリの別の１つから画像データを幾何変換しながら読み出す読み出し制御手段と、動き抽出手段と、累積加算手段を設けた。
【０００８】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１を示す構成図であり、図において、１は平滑化手段、２は書込み制御手段、３ａ〜３ｃは画像メモリ、４は読み出し制御手段、５は間引きアドレス生成手段、６は幾何変換アドレス生成手段、７は動き抽出手段、８は累積加算手段である。このように構成された動きパラメータ抽出装置において、平滑化手段１は、時間的に連続する画像データを受けて画像データを空間的に平滑化する。図１においては、ｎ番目の画面の入力画像データをI(n)、ｎ番目の画面の平滑化後の画像データをIa(n)と表している。この平滑化手段１は、例えば、５×５画素の局所平均値を画面全体に作用させる移動平均フィルタで実現する。後述する間引き画像の読み出しにおいて、ノイズ成分の強い画素を選択することで動き抽出の誤差が増加することを、平滑化することにより緩和する。平滑化後の画像は、書込み制御手段２を経由して、３面の画像メモリ３ａ〜３ｃの1つに書込まれ、書込み制御手段２は、連続して入力される平滑化後の画像データを、３面の画像メモリ３ａ〜３ｃを順番に切替えて書込む。３番目の画像メモリ３ｃに書込んだ後は、１番目の画像メモリ３ａに戻って書込み、３面の画像メモリ３ａ〜３ｃを画像データの格納に繰り返して使用する。図１においては、画像メモリ３ａに、ｎ番目の画面の平滑化後の画像データIa(n)を書込み、画像メモリ３ｂが(n-2)番目の画面の平滑化後の画像データIa(n-2)を記憶し、画像メモリ３ｃが(n-1)番目の画面の平滑化後の画像データIa(n-1)を記憶している状態を示しているが、画像メモリ３ａ〜３ｃの記憶内容及び平滑化後の画像データの書込み先は、時刻により変化する。
【０００９】
次に読み出し制御手段４の動作を説明する。読み出し制御手段４は、書込みに使用している画像メモリ以外の２面の画像メモリから画像データを読み出す。２面の画像メモリには、書込み中の画像に対して、直前の画像データと、２画面前の画像データが格納されている。読み出し制御手段４は、２面の画像メモリの内、一方に後述する間引きアドレスを与えて間引き画像を読み出し、他方に後述する幾何変換アドレスを与えて幾何変換画像を読み出す。ｎ番目の画面の間引き画像データをIb(n)、ｎ番目の画面の幾何変換画像データをIc(n)と表すものとすると、図１においては、画像メモリ３ｃから(n-1)番目の画面の間引き画像データIb(n-1)を読み出し、画像メモリ３ｂから(n-2)番目の画面の幾何変換画像データIc(n-2)を読み出している状態を示しているが、間引き画像データ及び幾何変換画像データの読み出し元は時刻により変化する。
【００１０】
間引きアドレス生成手段５は、１つの画像データに対して間引き間隔の大きいアドレスを生成した後、間引き間隔の小さいアドレスを生成する。間引き間隔は、大きい間隔から小さい間隔まで、２段階以上の所定の段数を生成する。図２は間引きアドレスに従って読み出された間引き画像の様子を示したものである。図２では、大きい間隔の間引きを“1/8間引き”とし、その後、 “1/4間引き”、“1/2間引き”、“間引き無し”の全部で４段階の間引き画像を表しているが、間引き間隔と間引き画像の段数は、前記数値に限定する必要はない。また、それぞれの間引き間隔のアドレスは、１回だけ出力する例を示しているが、それぞれの間引き間隔のアドレスを２回以上繰り返して出力しても良い。
【００１１】
幾何変換アドレス生成手段６は、画像メモリに格納した間引きの無い画像データから、解像度が低く、かつ、上記間引き画像に対して位置合わせをした画像データを抜き取るためのアドレスを生成する。画面上のアドレスを（i，j）、アドレス（i，j）の動き量を（u（i，j）、v（i，j））とする。動きパラメータとは、例えば、動き量を次に示すアドレスの１次式で表現した場合、
【００１２】
【数１】
ｕ（ｉ，ｊ）＝ａｉ＋ｂｊ＋ｃ、ｖ（ｉ，ｊ）＝ｄｉ＋ｅｊ＋ｆ
【００１３】
“数１”における係数及び定数項a、b、c、d、e、fを動きパラメータと呼ぶ。前記“数１”では、動き量を１次式で表現したが、この発明においては１次式に限定するものではなく、２次式またはその他の表現式でも良い。幾何変換アドレス生成手段６は、動きパラメータを受けて、前記間引きアドレス生成手段５が生成する間引きアドレスに対応した位置の動き量を補正した“数２”に示すアドレス（i'，j'）を生成する。
【００１４】
【数２】
ｉ’＝ｉ＋ｕ、ｊ’＝ｊ＋ｖ
【００１５】
図３は幾何変換アドレスに従って読み出された幾何変換画像の様子を示したものである。図において、矢印が動き量（ｕ，ｖ）を表し、矢印の始点がアドレス（ｉ，ｊ）を、矢印の終点がアドレス（ｉ’，ｊ’）を表している。
【００１６】
動き抽出手段７は、間引き画像データIb(n-1)及び幾何変換画像データIc(n-2)を受けて、画像間の動きパラメータを抽出する。動きパラメータの抽出は公知の相関技術、公知のオプティカルフロー解析技術を利用する。動き抽出手段７の入力は、最初に低解像度に間引かれた間引き画像と幾何変換画像が入力され、これらの入力から得られる動きパラメータは、累積加算手段８の入力となり累積加算手段８で一旦記憶されると同時に、幾何変換アドレス生成手段６に向けて出力される。累積加算手段８は、処理中の画面に対応した最初の動きパラメータを動き抽出手段７から受取るまでは、適当な初期値を記憶しておく。幾何変換アドレス生成手段６は、前記最初に得られた動きパラメータを使用して、間引き画像に対して位置合わせをした画像データを抜き取るためのアドレスを生成する。低解像度に間引かれた間引き画像と幾何変換画像から得られる動きパラメータは誤差を含んでおり、この誤差を補正するために、間引きアドレス生成手段５は間引き間隔を小さくした間引きアドレスを生成し、読み出し制御手段４は、解像度を高めた間引き画像と幾何変換画像を動き抽出手段７に繰り返し所定の段数だけ出力する。累積加算手段８は、繰り返し実施する動き抽出の結果を加算することにより、動きパラメータの誤差を修正する。誤差を修正した動きパラメータは累積加算手段８から直ちに出力され、幾何変換アドレス生成手段６の入力となり、画像メモリに格納した間引きのない画像データから、次の解像度の間引き画像に対して位置合わせをした画像データを抜き取るためのアドレス生成に利用される。
【００１７】
【発明の効果】
以上のようにこの発明によれば、間引き画像生成及び幾何変換画像生成を同時に実行し、解像度の低い画像から順に繰り返し実施する動き抽出処理の最中に間引き画像生成及び幾何変換画像生成を実施するので、短い処理時間で画像間の動きパラメータを抽出することができる。
【００１８】
またこの発明によれば、階層的動き解析の前処理として、予め画像ピラミッドを形成するための手段が不要なので、回路規模を小さくすることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示す構成図である。
【図２】間引き画像の説明図である。
【図３】幾何変換画像の説明図である。
【符号の説明】
１平滑化手段、２書込み制御手段、３画像メモリ、４読み出し制御手段、５間引きアドレス生成手段、６幾何変換アドレス生成手段、７動き抽出手段、８累積加算手段

Claims

時間的に連続する画像データを受けて画像データを空間的に平滑化する平滑化手段と、３面の画像メモリと、前記平滑化手段が連続して出力する画像データの１画面分を順番に前記画像メモリの１つに書込む書込み制御手段と、画像データを間引いて読み出すためのアドレスを生成する間引きアドレス生成手段と、画像データを幾何変換しながら読み出すためのアドレスを生成する幾何変換アドレス生成手段と、前記画像メモリの１つから画像データを間引いて読み出し、同時に前記画像メモリの別の１つから画像データを幾何変換しながら読み出す読み出し制御手段と、動き抽出手段と、累積加算手段を備え、間引きアドレス生成手段は、１つの画像データに対して間引き間隔の大きいアドレスを生成した後、間引き間隔の小さいアドレスを生成し、幾何変換アドレス生成手段は、動きパラメータを受けて、前記間引きアドレス生成手段が生成する間引きアドレスに対応した位置の動き量を補正したアドレスを生成し、累積加算手段は、前記間引きアドレス生成手段が生成する間引き間隔の大きいアドレスに対応した間引き画像と幾何変換画像の動きパラメータを保存し、前記間引きアドレス生成手段が生成する間引き間隔の小さいアドレスに対応した間引き画像と幾何変換画像の動きパラメータを前記保存した動きパラメータに加算することを特徴とする画像間の動きパラメータ抽出装置。