JP3334271B2 - 動き量検出装置及び動き量検出方法 - Google Patents
動き量検出装置及び動き量検出方法Info
- Publication number
- JP3334271B2 JP3334271B2 JP21032593A JP21032593A JP3334271B2 JP 3334271 B2 JP3334271 B2 JP 3334271B2 JP 21032593 A JP21032593 A JP 21032593A JP 21032593 A JP21032593 A JP 21032593A JP 3334271 B2 JP3334271 B2 JP 3334271B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation function
- image data
- motion amount
- phase correlation
- orthogonal transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ディジタル画像信号で
生成される２つの画像を用いこれら２つの画像から動き
量を検出する動き量検出装置及び動き量検出方法に関す
るものである。
生成される２つの画像を用いこれら２つの画像から動き
量を検出する動き量検出装置及び動き量検出方法に関す
るものである。
【０００２】
【従来の技術】従来より、画像の３次元信号処理が進む
に連れて、動きベクトルすなわち画像中の物体の動きの
方向と大きさ（速さ）を用いて各種画像処理が行われる
ようになり、例えば、画像の高能率符号化における動き
補償フレーム間符号化、フレーム間時間領域フィルタに
よるＴＶ雑音軽減装置における動きによるパラメータ制
御、気象衛星から送られる連続画像による雲の速度の計
測、道路監視における速度測定などが動きベクトルを用
いて行われている。
に連れて、動きベクトルすなわち画像中の物体の動きの
方向と大きさ（速さ）を用いて各種画像処理が行われる
ようになり、例えば、画像の高能率符号化における動き
補償フレーム間符号化、フレーム間時間領域フィルタに
よるＴＶ雑音軽減装置における動きによるパラメータ制
御、気象衛星から送られる連続画像による雲の速度の計
測、道路監視における速度測定などが動きベクトルを用
いて行われている。
【０００３】連続する画像から、動きベクトルを測定す
る方法としては、連続する画像間の差を最小にする偏位
を求めることにより動きベクトルを決定するパターンマ
ッチング法や、画像の空間勾配と画像間差の関係から動
きベクトルを求める勾配法と共に、高速フーリエ変換
（FFT:Fast Fourier Transform）を利用して位相相関値
から動きベクトルを決定する位相相関法が知られてい
る。
る方法としては、連続する画像間の差を最小にする偏位
を求めることにより動きベクトルを決定するパターンマ
ッチング法や、画像の空間勾配と画像間差の関係から動
きベクトルを求める勾配法と共に、高速フーリエ変換
（FFT:Fast Fourier Transform）を利用して位相相関値
から動きベクトルを決定する位相相関法が知られてい
る。
【０００４】動きベクトルは、例えばこの位相相関法を
用いて空間領域のマッチングをとることによって所定の
ブロック内に存在する複数の動きの対応付けを行ってい
る。すなわち、この空間領域でブロック分割したそれぞ
れのブロックについて動きベクトルの候補を用いて動き
補償を行い、ブロック間差分によるマッチング評価を行
っている。動き量検出装置は、このようにして位相相関
法により求めた評価値の最も小さくなる場合のブロック
と動きベクトルの対応付けを行っている。
用いて空間領域のマッチングをとることによって所定の
ブロック内に存在する複数の動きの対応付けを行ってい
る。すなわち、この空間領域でブロック分割したそれぞ
れのブロックについて動きベクトルの候補を用いて動き
補償を行い、ブロック間差分によるマッチング評価を行
っている。動き量検出装置は、このようにして位相相関
法により求めた評価値の最も小さくなる場合のブロック
と動きベクトルの対応付けを行っている。
【０００５】
【発明が解決しようとする課題】ところで、上述した位
相相関法では、所定の動き量の精度を維持して求めるた
めに使用する２つのディジタル画像信号で生成される画
像を所定のブロックサイズ以上にしなければならない。
このため、ブロックサイズが小さい場合、位相相関の評
価においてノイズ等の外乱の影響を受け、位相相関値の
ピークが不明確になってしまう。
相相関法では、所定の動き量の精度を維持して求めるた
めに使用する２つのディジタル画像信号で生成される画
像を所定のブロックサイズ以上にしなければならない。
このため、ブロックサイズが小さい場合、位相相関の評
価においてノイズ等の外乱の影響を受け、位相相関値の
ピークが不明確になってしまう。
【０００６】そこで、本発明は、上述したような実情に
鑑みてなされたものであり、所定のブロック内での動き
量検出に外乱の影響を抑え、対象物体の動き量を精度よ
く求めることができる動き量検出装置及び動き量検出方
法の提供を目的とする。
鑑みてなされたものであり、所定のブロック内での動き
量検出に外乱の影響を抑え、対象物体の動き量を精度よ
く求めることができる動き量検出装置及び動き量検出方
法の提供を目的とする。
【０００７】
【課題を解決するための手段】本発明に係る動き量検出
装置は、同一画面に対して互いに異なる解像度の画像デ
ータに対応する少なくとも２つの階層を設定し、上記一
方の階層の画像データをブロック化して得られる画像デ
ータに対して直交変換、位相相関処理、逆直交変換を順
次施して得られる第１の評価関数を求める第１の評価関
数算出手段と、上記他方の階層の画像データを上記一方
の階層のブロックに対応させてブロック化して得られる
画像データに対して直交変換、位相相関処理、逆直交変
換を順次施して得られる第２の評価関数を求める第２の
評価関数算出手段と、上記第１の評価関数と上記第２の
評価関数との加算結果に基づいて動き量を検出する検出
手段とを有することを特徴としている。
装置は、同一画面に対して互いに異なる解像度の画像デ
ータに対応する少なくとも２つの階層を設定し、上記一
方の階層の画像データをブロック化して得られる画像デ
ータに対して直交変換、位相相関処理、逆直交変換を順
次施して得られる第１の評価関数を求める第１の評価関
数算出手段と、上記他方の階層の画像データを上記一方
の階層のブロックに対応させてブロック化して得られる
画像データに対して直交変換、位相相関処理、逆直交変
換を順次施して得られる第２の評価関数を求める第２の
評価関数算出手段と、上記第１の評価関数と上記第２の
評価関数との加算結果に基づいて動き量を検出する検出
手段とを有することを特徴としている。
【０００８】ここで、上記検出手段では、上記第１及び
第２の評価関数の重み付け加算された結果に基づいて動
き量検出が行われる。上記画像データから奇数フィール
ドあるいは偶数フィールド同士のフィールドデータを選
択的に記憶させ、フレーム間で上記奇数フィールドある
いは上記偶数フィールドデータを用いて位相相関をとっ
ている。階層数は、３つ以上設けてよい。
第２の評価関数の重み付け加算された結果に基づいて動
き量検出が行われる。上記画像データから奇数フィール
ドあるいは偶数フィールド同士のフィールドデータを選
択的に記憶させ、フレーム間で上記奇数フィールドある
いは上記偶数フィールドデータを用いて位相相関をとっ
ている。階層数は、３つ以上設けてよい。
【０００９】また、本発明に係る動き量検出方法は、同
一画面に対して互いに異なる解像度の画像データに対応
する少なくとも２つの階層を設定し、上記一方の階層の
画像データをブロック化して得られる画像データに対し
て直交変換、位相相関処理、逆直交変換を順次施して得
られる第１の評価関数を求める第１の評価関数算出工程
と、上記他方の階層の画像データを上記一方の階層のブ
ロックに対応させてブロック化して得られる画像データ
に対して直交変換、位相相関処理、逆直交変換を順次施
して得られる第２の評価関数を求める第２の評価関数算
出工程と、上記第１の評価関数と上記第２の評価関数と
の加算結果に基づいて動き量を検出する検出工程とを有
することを特徴としている。
一画面に対して互いに異なる解像度の画像データに対応
する少なくとも２つの階層を設定し、上記一方の階層の
画像データをブロック化して得られる画像データに対し
て直交変換、位相相関処理、逆直交変換を順次施して得
られる第１の評価関数を求める第１の評価関数算出工程
と、上記他方の階層の画像データを上記一方の階層のブ
ロックに対応させてブロック化して得られる画像データ
に対して直交変換、位相相関処理、逆直交変換を順次施
して得られる第２の評価関数を求める第２の評価関数算
出工程と、上記第１の評価関数と上記第２の評価関数と
の加算結果に基づいて動き量を検出する検出工程とを有
することを特徴としている。
【００１０】ここで、上記検出工程で上記第１及び第２
の評価関数の重み付け加算された結果に基づいて動き量
検出が行われる。上記画像データから奇数フィールドあ
るいは偶数フィールド同士のフィールドデータを選択的
に記憶させ、フレーム間で上記奇数フィールドあるいは
上記偶数フィールド同士のフィールドデータを選択的に
記憶させ、フレーム間で上記奇数フィールドあるいは上
記偶数フィールドデータを用いて位相相関をとってい
る。階層数は、３つ以上設けてもよい。
の評価関数の重み付け加算された結果に基づいて動き量
検出が行われる。上記画像データから奇数フィールドあ
るいは偶数フィールド同士のフィールドデータを選択的
に記憶させ、フレーム間で上記奇数フィールドあるいは
上記偶数フィールド同士のフィールドデータを選択的に
記憶させ、フレーム間で上記奇数フィールドあるいは上
記偶数フィールドデータを用いて位相相関をとってい
る。階層数は、３つ以上設けてもよい。
【００１１】
【作用】本発明に係る動き量検出装置では、階層化手段
で同一画面の一方の階層の画像データを基に他方の階層
の画像データに変換して少なくとも２つの階層を構成
し、第１の評価関数算出手段で一方の階層の画像データ
に対して直交変換、位相相関処理、逆直交変換を順次施
して得られる第１の評価関数から動きベクトル候補を求
め、第２の評価関数算出手段で一方の階層のブロックに
対応させて他方の階層の画像データをブロック化して直
交変換、位相相関処理、逆直交変換を順次施して得られ
る第２の評価関数を求めて外乱の影響を抑えて移動する
対象物体の特定を行い、検出手段で上記第１及び第２の
評価関数に基づいて上記２つの画像間に存在する移動対
象の正確な動きベクトルを検出する。
で同一画面の一方の階層の画像データを基に他方の階層
の画像データに変換して少なくとも２つの階層を構成
し、第１の評価関数算出手段で一方の階層の画像データ
に対して直交変換、位相相関処理、逆直交変換を順次施
して得られる第１の評価関数から動きベクトル候補を求
め、第２の評価関数算出手段で一方の階層のブロックに
対応させて他方の階層の画像データをブロック化して直
交変換、位相相関処理、逆直交変換を順次施して得られ
る第２の評価関数を求めて外乱の影響を抑えて移動する
対象物体の特定を行い、検出手段で上記第１及び第２の
評価関数に基づいて上記２つの画像間に存在する移動対
象の正確な動きベクトルを検出する。
【００１２】また、本発明に係る動き量検出方法では、
階層化工程で同一画面の一方の階層の画像データを基に
他方の階層の画像データに変換して少なくとも２つの階
層を構成し、第１の評価関数算出工程で一方の階層画像
データに対して直交変換、位相相関処理、逆直交変換を
順次施して得られる第１の評価関数から動きベクトル候
補を求め、第２の評価関数算出工程で一方の階層のブロ
ックに対応させて他方の階層の画像データをブロック化
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求めて外乱の影響を抑えて移
動する対象物体の特定を行い、検出工程で上記第１及び
第２の評価関数に基づいて上記２つの画像間に存在する
移動対象の正確な動きベクトルを検出する。
階層化工程で同一画面の一方の階層の画像データを基に
他方の階層の画像データに変換して少なくとも２つの階
層を構成し、第１の評価関数算出工程で一方の階層画像
データに対して直交変換、位相相関処理、逆直交変換を
順次施して得られる第１の評価関数から動きベクトル候
補を求め、第２の評価関数算出工程で一方の階層のブロ
ックに対応させて他方の階層の画像データをブロック化
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求めて外乱の影響を抑えて移
動する対象物体の特定を行い、検出工程で上記第１及び
第２の評価関数に基づいて上記２つの画像間に存在する
移動対象の正確な動きベクトルを検出する。
【００１３】
【実施例】以下、本発明に係る動き量検出装置及び動き
量検出方法の一実施例について、図面を参照しながら説
明する。
量検出方法の一実施例について、図面を参照しながら説
明する。
【００１４】本発明を適用した動き量検出装置は、例え
ばディジタル画像信号から生成される２つの画像を用い
これら２つの画像から動き量を検出する装置として用い
る。また、この実施例では供給されたブロック画像に対
して同じ画像領域の階層を３段階に設定して位相相関処
理を行う場合を示している。また、動き量検出装置は、
入力画像から奇数フィールドあるいは偶数フィールド同
士のフィールドデータを選択的に記憶させ、フレーム間
で上記奇数フィールドあるいは上記偶数フィールドデー
タを用いて位相相関をとるようにしている。
ばディジタル画像信号から生成される２つの画像を用い
これら２つの画像から動き量を検出する装置として用い
る。また、この実施例では供給されたブロック画像に対
して同じ画像領域の階層を３段階に設定して位相相関処
理を行う場合を示している。また、動き量検出装置は、
入力画像から奇数フィールドあるいは偶数フィールド同
士のフィールドデータを選択的に記憶させ、フレーム間
で上記奇数フィールドあるいは上記偶数フィールドデー
タを用いて位相相関をとるようにしている。
【００１５】このため、動き量検出装置は、例えば図１
に示すように、入力端子１５を介して供給される入力画
像信号をブロック化するブロック化処理部１０からの信
号を例えば入力端子１６を介して供給されるフィールド
判別信号（ＩＤ）によりフィールド毎に切換スイッチＳ
Ｗで切り換えて一時保持するフィールドメモリ部１１に
供給している。このため、フィールドメモリ部１１は、
２つのフィールドメモリ１１ａ、１１ｂで構成される。
に示すように、入力端子１５を介して供給される入力画
像信号をブロック化するブロック化処理部１０からの信
号を例えば入力端子１６を介して供給されるフィールド
判別信号（ＩＤ）によりフィールド毎に切換スイッチＳ
Ｗで切り換えて一時保持するフィールドメモリ部１１に
供給している。このため、フィールドメモリ部１１は、
２つのフィールドメモリ１１ａ、１１ｂで構成される。
【００１６】動き量検出装置は、ブロック化処理部１０
と、上記フィールドメモリ部１１からの同一画面に対し
て互いに異なる解像度の画像データに対応する少なくと
も２つの画像データを基にそれぞれの階層における画面
とし、一方の階層の画像データを基に他方の階層の画像
データに変換する階層画像化部１２と、上記ブロック化
部１０と上記フィールドメモリ部１１から供給される画
像データをブロック化して得られる画像データに対して
高速フーリエ変換処理、位相相関処理、逆高速フーリエ
変換処理を介して得られる評価関数を用いて動き量を評
価する位相相関処理部１３と、位相相関処理部１３から
得られる各評価関数に基づいて上記２つの画像間の動き
量を検出する動き量決定部１４とを有する。この中で階
層画像化部１２、位相相関処理部１３及び動き量決定部
１４の詳細は、後述する。
と、上記フィールドメモリ部１１からの同一画面に対し
て互いに異なる解像度の画像データに対応する少なくと
も２つの画像データを基にそれぞれの階層における画面
とし、一方の階層の画像データを基に他方の階層の画像
データに変換する階層画像化部１２と、上記ブロック化
部１０と上記フィールドメモリ部１１から供給される画
像データをブロック化して得られる画像データに対して
高速フーリエ変換処理、位相相関処理、逆高速フーリエ
変換処理を介して得られる評価関数を用いて動き量を評
価する位相相関処理部１３と、位相相関処理部１３から
得られる各評価関数に基づいて上記２つの画像間の動き
量を検出する動き量決定部１４とを有する。この中で階
層画像化部１２、位相相関処理部１３及び動き量決定部
１４の詳細は、後述する。
【００１７】この構成において、階層画像化部１２は、
例えば図２に示すように、過去フィールドである第ｋ−
２フィールドと現フィールドである第ｋフィールドの１
フレーム間の２つの輝度信号Ｙにおける動き量を検出す
る。このように第ｋ−２フィールドと第ｋフィールドと
２つの信号に対して階層化処理を施すため、階層画像化
部１２では、２つずつ階層画像化回路を設ける。前述し
たように３階層を扱うため、階層画像化部１２は、原画
像以外の階層として階層画像化回路１２ａ、１２ｂから
の出力が第１の評価関数を求めるための同一階層に属す
ることになり、階層画像化回路１２ｃ、１２ｄからの出
力が第２の評価関数を求めるための同一階層に属するこ
とになる。
例えば図２に示すように、過去フィールドである第ｋ−
２フィールドと現フィールドである第ｋフィールドの１
フレーム間の２つの輝度信号Ｙにおける動き量を検出す
る。このように第ｋ−２フィールドと第ｋフィールドと
２つの信号に対して階層化処理を施すため、階層画像化
部１２では、２つずつ階層画像化回路を設ける。前述し
たように３階層を扱うため、階層画像化部１２は、原画
像以外の階層として階層画像化回路１２ａ、１２ｂから
の出力が第１の評価関数を求めるための同一階層に属す
ることになり、階層画像化回路１２ｃ、１２ｄからの出
力が第２の評価関数を求めるための同一階層に属するこ
とになる。
【００１８】位相相関処理部１３には、階層画像化部１
２から供給される２つずつのブロック階層化された信号
が供給されることになる。位相相関処理部１３は、一方
の階層の画像データをブロック化して得られる画像デー
タに対して直交変換、位相相関処理、逆直交変換を順次
施して得られる第１の評価関数を求める第１の評価関数
算出手段としての評価関数算出部２１と、上記他方の階
層の画像データを上記一方の階層のブロックに対応させ
てブロック化して得られる画像データに対して直交変
換、位相相関処理、逆直交変換を順次施して得られる第
２の評価関数を求める第２の評価関数算出手段としての
評価関数算出部２２とを有している。この他、同じ画像
領域の原画像に対しても評価関数算出部２０で評価関数
が求められている。
２から供給される２つずつのブロック階層化された信号
が供給されることになる。位相相関処理部１３は、一方
の階層の画像データをブロック化して得られる画像デー
タに対して直交変換、位相相関処理、逆直交変換を順次
施して得られる第１の評価関数を求める第１の評価関数
算出手段としての評価関数算出部２１と、上記他方の階
層の画像データを上記一方の階層のブロックに対応させ
てブロック化して得られる画像データに対して直交変
換、位相相関処理、逆直交変換を順次施して得られる第
２の評価関数を求める第２の評価関数算出手段としての
評価関数算出部２２とを有している。この他、同じ画像
領域の原画像に対しても評価関数算出部２０で評価関数
が求められている。
【００１９】位相相関処理部１３において、上述したよ
うに直交変換、位相相関処理、逆直交変換を順次施して
評価関数を求めるため、直交変換処理する高速フーリエ
変換（以下、ＦＦＴという）処理部１３Ａは６つのＦＦ
Ｔ処理回路１３０ａ、１３０ｂ、１３１ａ、１３１ｂ、
１３２ａ、１３２ｂで構成される。また、位相相関処理
する位相相関関数部１３Ｂは、位相相関処理回路１３０
ｃ〜１３２ｃで構成される。逆直交変換処理する逆ＦＦ
Ｔ（以下、ＩＦＦＴという）処理部１３Ｃは、ＩＦＦＴ
処理回路１３０ｄ〜１３２ｄで構成されている。
うに直交変換、位相相関処理、逆直交変換を順次施して
評価関数を求めるため、直交変換処理する高速フーリエ
変換（以下、ＦＦＴという）処理部１３Ａは６つのＦＦ
Ｔ処理回路１３０ａ、１３０ｂ、１３１ａ、１３１ｂ、
１３２ａ、１３２ｂで構成される。また、位相相関処理
する位相相関関数部１３Ｂは、位相相関処理回路１３０
ｃ〜１３２ｃで構成される。逆直交変換処理する逆ＦＦ
Ｔ（以下、ＩＦＦＴという）処理部１３Ｃは、ＩＦＦＴ
処理回路１３０ｄ〜１３２ｄで構成されている。
【００２０】評価関数算出部２０〜２２は、それぞれ基
本的に２つのＦＦＴ処理回路からの周波数軸領域に変換
されたデータに対して位相相関処理回路で相関を計算
し、この相関値をＩＦＦＴ処理回路で空間領域の信号に
変換して動き候補に関するデータとして動き量決定部１
４に供給する。
本的に２つのＦＦＴ処理回路からの周波数軸領域に変換
されたデータに対して位相相関処理回路で相関を計算
し、この相関値をＩＦＦＴ処理回路で空間領域の信号に
変換して動き候補に関するデータとして動き量決定部１
４に供給する。
【００２１】動き量決定部１４は、評価関数算出部２０
〜２２から出力される評価関数である位相相関関数の値
を評価値とし、この評価値に重み加算して評価した結
果、動き量を決定して出力端子１７を介して動きベクト
ルを出力する。
〜２２から出力される評価関数である位相相関関数の値
を評価値とし、この評価値に重み加算して評価した結
果、動き量を決定して出力端子１７を介して動きベクト
ルを出力する。
【００２２】つぎに、動き量検出装置において用いる方
法原理及び実際の動作について説明する。この動き量検
出装置の特徴である位相相関法とは空間領域のデータを
位相領域に変換しこの位相領域における位相相関関数の
値を基に２つの画像ｇ1 、ｇ2 の相関を求めて相関値の
高い領域を関連する領域として求める方法である。ここ
で、２つの画像ｇ1 、ｇ2 の位相相関を求めるため、２
つの画像ｇ1 、ｇ2 が複数のブロックに分割される。各
ブロックは例えばＮ×Ｎ画素のサイズをブロック単位と
している。
法原理及び実際の動作について説明する。この動き量検
出装置の特徴である位相相関法とは空間領域のデータを
位相領域に変換しこの位相領域における位相相関関数の
値を基に２つの画像ｇ1 、ｇ2 の相関を求めて相関値の
高い領域を関連する領域として求める方法である。ここ
で、２つの画像ｇ1 、ｇ2 の位相相関を求めるため、２
つの画像ｇ1 、ｇ2 が複数のブロックに分割される。各
ブロックは例えばＮ×Ｎ画素のサイズをブロック単位と
している。
【００２３】位相相関法では、各ブロック内の画素に対
して２次元高速フーリエ変換（FFT:Fast Fourier Trans
form）処理を行ってフーリエ変換された画像データ
Ｇ1 、Ｇ 2 を生成する。これらの画像データＧ1 、Ｇ2
は、例えばＮ×Ｎ個の複素数要素とする。そして、例え
ば一方の画像データＧ2 の複素数要素について共役複素
数Ｇ2 *を求める。このようにして空間領域から位相領域
へのデータ変換を行っている。位相領域の画像データを
基に相関をとることは複素パワースペクトルＧ1 ・Ｇ2 *
を求めることに等価である。このとき、位相領域では、
ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れ
ることから、振幅成分を考慮に入れないために、各複素
数要素の大きさを正規化する。この正規化されたパワー
スペクトルexp(ｊφ) は、
して２次元高速フーリエ変換（FFT:Fast Fourier Trans
form）処理を行ってフーリエ変換された画像データ
Ｇ1 、Ｇ 2 を生成する。これらの画像データＧ1 、Ｇ2
は、例えばＮ×Ｎ個の複素数要素とする。そして、例え
ば一方の画像データＧ2 の複素数要素について共役複素
数Ｇ2 *を求める。このようにして空間領域から位相領域
へのデータ変換を行っている。位相領域の画像データを
基に相関をとることは複素パワースペクトルＧ1 ・Ｇ2 *
を求めることに等価である。このとき、位相領域では、
ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れ
ることから、振幅成分を考慮に入れないために、各複素
数要素の大きさを正規化する。この正規化されたパワー
スペクトルexp(ｊφ) は、
【００２４】
【数１】
【００２５】と表される。ただし、ｊは虚数単位、φ1
は画像データＧ1 の位相成分、φ2 は画像データＧ2 の
位相成分である。次に、求めた位相領域での相関が実空
間である空間領域のどの位置に現れているかを知るため
に算出したパワースペクトルexp(ｊφ) に対する逆ＦＦ
Ｔ処理が行われる。この逆ＦＦＴ処理により位相相関関
数ｄが求められる。位相相関関数ｄは、
は画像データＧ1 の位相成分、φ2 は画像データＧ2 の
位相成分である。次に、求めた位相領域での相関が実空
間である空間領域のどの位置に現れているかを知るため
に算出したパワースペクトルexp(ｊφ) に対する逆ＦＦ
Ｔ処理が行われる。この逆ＦＦＴ処理により位相相関関
数ｄが求められる。位相相関関数ｄは、
【００２６】
【数２】
【００２７】と表され、空間領域における相関の高い位
置にピークが現れる。ここで、読み取られたピーク位置
そのものは、１フレーム間に移動した動き量を表してい
る。このようにして１度の計算によってブロックの動き
ベクトルが求められる。
置にピークが現れる。ここで、読み取られたピーク位置
そのものは、１フレーム間に移動した動き量を表してい
る。このようにして１度の計算によってブロックの動き
ベクトルが求められる。
【００２８】次に、入力画像の階層画像化の原理につい
て説明する。前述したように過去フィールド、現フィー
ルドにおいてブロック化された画像に対して図３に示す
ようにｈ階層、（ｈ＋１）階層と２つの階層に階層化し
た場合を示している。具体的に数値を代入して階層と実
際の画像の関係を見ると、ｈ＝０のときこのｈ階層は原
画像に対応している。実際にこの設定で（ｈ＋１）階層
は１階層に対応している。図３に示すように、階層が上
がるに連れて各階層でのボックスが示す画素数は、０階
層における階層画像ｆh の４分木階層で８×８画素、１
階層における階層画像ｆh+1 で、２×２画素になる。こ
こで、このように階層は、階層数が高い値ほど階層が上
位になるものとしている。例えば階層（ｈ＋１）におけ
る画素数は、１つ前の階層、階層ｈの画素数ｆh を用い
て
て説明する。前述したように過去フィールド、現フィー
ルドにおいてブロック化された画像に対して図３に示す
ようにｈ階層、（ｈ＋１）階層と２つの階層に階層化し
た場合を示している。具体的に数値を代入して階層と実
際の画像の関係を見ると、ｈ＝０のときこのｈ階層は原
画像に対応している。実際にこの設定で（ｈ＋１）階層
は１階層に対応している。図３に示すように、階層が上
がるに連れて各階層でのボックスが示す画素数は、０階
層における階層画像ｆh の４分木階層で８×８画素、１
階層における階層画像ｆh+1 で、２×２画素になる。こ
こで、このように階層は、階層数が高い値ほど階層が上
位になるものとしている。例えば階層（ｈ＋１）におけ
る画素数は、１つ前の階層、階層ｈの画素数ｆh を用い
て
【００２９】
【数３】
【００３０】で求めることができる。この各階層と同一
ブロック領域内の画素数の関係は、図４に示すように表
される。同一のブロック領域として例えばブロックＢ11
に対して階層０、階層１、階層２の３階層での画素数の
関係は、０階層の例えば原画像をｆh=0 (x,y) と定義す
ると、予めブロックＢ11内には８×８画素の画素で構成
されていることになる。したがって、階層の上位の画像
ほど空間解像度が劣化することになる。
ブロック領域内の画素数の関係は、図４に示すように表
される。同一のブロック領域として例えばブロックＢ11
に対して階層０、階層１、階層２の３階層での画素数の
関係は、０階層の例えば原画像をｆh=0 (x,y) と定義す
ると、予めブロックＢ11内には８×８画素の画素で構成
されていることになる。したがって、階層の上位の画像
ほど空間解像度が劣化することになる。
【００３１】ここで、図５（ａ）の原画像の一つ上の階
層を示す図５（ｂ）の模式的な位相相関値のグラフィッ
ク表示では、画素数が倍になっていることから、位相関
数の評価値の精度を図５（ｃ）の評価値より高い検出精
度にすることができる。したがって、下位階層、すなわ
ち原画像に近いほど、検出される動き量の信頼性を高め
ることになる。しかしながら、図５（ａ）のグラフィッ
ク表示が示すように、位相関数の評価値は、ノイズも含
めて全般にわたって評価値を高めてしまう。特に、ノイ
ズ成分の中で高いピーク値をもつ画像が供給されたと
き、位相関数のピークが２つ得られてしまう。これによ
り、図５（ａ）では、どちらか一方を選択することにな
って、位置の誤検出の原因になってしまう。この検出位
置の誤まりを回避するため、検出精度は悪いが動いてい
る移動対象を特定できるようにするため解像度が劣化し
た画像を用いる。
層を示す図５（ｂ）の模式的な位相相関値のグラフィッ
ク表示では、画素数が倍になっていることから、位相関
数の評価値の精度を図５（ｃ）の評価値より高い検出精
度にすることができる。したがって、下位階層、すなわ
ち原画像に近いほど、検出される動き量の信頼性を高め
ることになる。しかしながら、図５（ａ）のグラフィッ
ク表示が示すように、位相関数の評価値は、ノイズも含
めて全般にわたって評価値を高めてしまう。特に、ノイ
ズ成分の中で高いピーク値をもつ画像が供給されたと
き、位相関数のピークが２つ得られてしまう。これによ
り、図５（ａ）では、どちらか一方を選択することにな
って、位置の誤検出の原因になってしまう。この検出位
置の誤まりを回避するため、検出精度は悪いが動いてい
る移動対象を特定できるようにするため解像度が劣化し
た画像を用いる。
【００３２】この解像度劣化した画像では、外乱として
のノイズが丸められて影響を受け難くなる。すなわち、
図５（ｃ）の模式的な位相相関値のグラフィック表示
は、空間的なローパスフィルタがかけられた画像から得
られるものと等価な位相相関値として、帯域の落ちた画
像が得られるため、ノイズによる影響が低減されること
を示している。この画像を用いて移動対象を特定するた
め、相関関数を求めると、求めるピーク値だけが明確に
得られることになり、この誤検出を回避することができ
る。このように２つの画像ｇ1 、ｇ2 に対して階層化を
施して評価関数算出部２０〜２２で位相関数の評価値を
算出し、適切なピーク位置の特定が行われるようにな
る。
のノイズが丸められて影響を受け難くなる。すなわち、
図５（ｃ）の模式的な位相相関値のグラフィック表示
は、空間的なローパスフィルタがかけられた画像から得
られるものと等価な位相相関値として、帯域の落ちた画
像が得られるため、ノイズによる影響が低減されること
を示している。この画像を用いて移動対象を特定するた
め、相関関数を求めると、求めるピーク値だけが明確に
得られることになり、この誤検出を回避することができ
る。このように２つの画像ｇ1 、ｇ2 に対して階層化を
施して評価関数算出部２０〜２２で位相関数の評価値を
算出し、適切なピーク位置の特定が行われるようにな
る。
【００３３】次に、動き量決定部１４における位相相関
関数の評価について説明する。位相相関処理部１３から
階層の数に応じた位相相関関数のピーク値が供給され
る。動き量決定部１４は、この位相相関関数の評価値に
対し階層に対応した重み加算を行う。この重み加算に使
用する重み係数ｗh は、それぞれ例えば階層０で重み係
数ｗ0 、階層１で重み係数ｗ1 、階層２で重み係数ｗ2
とする。これらの重み係数の大きさは、階層が下位階層
程位相相関関数の信頼性が高いと考えられるため、条件
として、 ｗ0 ＞ｗ1 ＞ｗ2 の順に設定する。一般的に、階層ｈ＋１での位相相関関
数をｄh+1 (u,v)とすると、この一つ下の階層ｈでの位
相相関関数ｄh (2u+i,2v+i)は、 ｄh (2u+i,2v+i) ＝ｗh+1 ・ｄh+1 (u,v)＋ｗh ・ｄh (2u+i,2v+i) （４） ただし、この階層における変数ｉ、ｊは、０≦ｉ≦１、
０≦ｊ≦１の範囲の値にする。階層ｈでの位相相関関数
ｄh (2u+i,2v+i)は、４つの画素に上位階層ｈ＋１での
解像度を落とした画素の位相相関値に重み加算して対象
ブロック内の位相相関値を求めている
関数の評価について説明する。位相相関処理部１３から
階層の数に応じた位相相関関数のピーク値が供給され
る。動き量決定部１４は、この位相相関関数の評価値に
対し階層に対応した重み加算を行う。この重み加算に使
用する重み係数ｗh は、それぞれ例えば階層０で重み係
数ｗ0 、階層１で重み係数ｗ1 、階層２で重み係数ｗ2
とする。これらの重み係数の大きさは、階層が下位階層
程位相相関関数の信頼性が高いと考えられるため、条件
として、 ｗ0 ＞ｗ1 ＞ｗ2 の順に設定する。一般的に、階層ｈ＋１での位相相関関
数をｄh+1 (u,v)とすると、この一つ下の階層ｈでの位
相相関関数ｄh (2u+i,2v+i)は、 ｄh (2u+i,2v+i) ＝ｗh+1 ・ｄh+1 (u,v)＋ｗh ・ｄh (2u+i,2v+i) （４） ただし、この階層における変数ｉ、ｊは、０≦ｉ≦１、
０≦ｊ≦１の範囲の値にする。階層ｈでの位相相関関数
ｄh (2u+i,2v+i)は、４つの画素に上位階層ｈ＋１での
解像度を落とした画素の位相相関値に重み加算して対象
ブロック内の位相相関値を求めている
【００３４】実際に、このように各階層の評価値を考慮
しながら、最終的に階層ｈにおける原画像の評価値であ
る位相相関関数ｄ0 (u,v)での最大ピークを検出するこ
とにより、ブロック内における動き量を決定する。具体
的に、図１の構成の動作は、以下のようになる。入力端
子１５を介してコンポーネント信号の輝度信号がブロッ
ク化処理部１０でブロック化される。この輝度信号はフ
ィールド信号である。フィールドＩＤ信号で切換スイッ
チＳＷを切り換えてフィールドメモリ部１１のフィール
ドメモリ１１ａ、１１ｂに交互に格納する。この例では
原画像に対して階層化を２回行い、３階層による動き量
検出を行っている。階層画像化部１２は、ｈ＝０の第０
階層の原画像データにおけるブロック化された現フィー
ルドデータをＦＦＴ処理回路１３０ａに供給する。ま
た、フィールドメモリ部１１のいずれか一方のメモリか
ら読み出された過去フィールドデータをＦＦＴ処理回路
１３０ｂに供給する。ＦＦＴ処理回路１３０ａ、１３０
ｂは、それぞれ供給されたフィールドデータにＦＦＴ処
理を施して位相相関処理回路１３０ｃに出力する。位相
相関処理回路１３０ｃでは、供給されたデータに基づい
て複素係数から位相相関を計算する。この位相相関の値
をＩＦＦＴ処理回路１３０ｄに供給してＩＦＦＴ処理を
施すことにより、位相相関関数の値ｄ0 が算出される。
しながら、最終的に階層ｈにおける原画像の評価値であ
る位相相関関数ｄ0 (u,v)での最大ピークを検出するこ
とにより、ブロック内における動き量を決定する。具体
的に、図１の構成の動作は、以下のようになる。入力端
子１５を介してコンポーネント信号の輝度信号がブロッ
ク化処理部１０でブロック化される。この輝度信号はフ
ィールド信号である。フィールドＩＤ信号で切換スイッ
チＳＷを切り換えてフィールドメモリ部１１のフィール
ドメモリ１１ａ、１１ｂに交互に格納する。この例では
原画像に対して階層化を２回行い、３階層による動き量
検出を行っている。階層画像化部１２は、ｈ＝０の第０
階層の原画像データにおけるブロック化された現フィー
ルドデータをＦＦＴ処理回路１３０ａに供給する。ま
た、フィールドメモリ部１１のいずれか一方のメモリか
ら読み出された過去フィールドデータをＦＦＴ処理回路
１３０ｂに供給する。ＦＦＴ処理回路１３０ａ、１３０
ｂは、それぞれ供給されたフィールドデータにＦＦＴ処
理を施して位相相関処理回路１３０ｃに出力する。位相
相関処理回路１３０ｃでは、供給されたデータに基づい
て複素係数から位相相関を計算する。この位相相関の値
をＩＦＦＴ処理回路１３０ｄに供給してＩＦＦＴ処理を
施すことにより、位相相関関数の値ｄ0 が算出される。
【００３５】また、第１階層では現フィールドデータに
対して式（３）による階層化が階層画像化回路１２ａで
行われる。過去フィールドデータに対しても上述と同様
に階層化が階層画像化回路１２ｂで行われる。このと
き、階層画像化回路１２ａ、１２ｂから出力されるブロ
ックは、サイズが全く同じでありながら、画素数が元の
画素数に対して縦方向に（１／２）、横方向に（１／
２）されて評価関数算出部２１に供給される。評価関数
算出部２１は、位相相関関数ｄ1 を動き量決定部１４に
出力する。
対して式（３）による階層化が階層画像化回路１２ａで
行われる。過去フィールドデータに対しても上述と同様
に階層化が階層画像化回路１２ｂで行われる。このと
き、階層画像化回路１２ａ、１２ｂから出力されるブロ
ックは、サイズが全く同じでありながら、画素数が元の
画素数に対して縦方向に（１／２）、横方向に（１／
２）されて評価関数算出部２１に供給される。評価関数
算出部２１は、位相相関関数ｄ1 を動き量決定部１４に
出力する。
【００３６】さらに、第２階層では、第１階層で用いた
ブロックに対してさらに階層画像化処理が、階層画像化
回路１２ｃ、１２ｄで行われる。この階層化によって、
ブロックは、サイズが全く同じでありながら、第０階層
のブロックの画素数に対して縦、横共に（１／４）ずつ
少なくなったことになる。階層画像化回路１２ｃ、１２
ｄは評価関数算出部２２にこの階層化されたフィールド
データを供給する。評価関数算出部２２では、位相相関
関数ｄ2 を動き量決定部１４に出力する。
ブロックに対してさらに階層画像化処理が、階層画像化
回路１２ｃ、１２ｄで行われる。この階層化によって、
ブロックは、サイズが全く同じでありながら、第０階層
のブロックの画素数に対して縦、横共に（１／４）ずつ
少なくなったことになる。階層画像化回路１２ｃ、１２
ｄは評価関数算出部２２にこの階層化されたフィールド
データを供給する。評価関数算出部２２では、位相相関
関数ｄ2 を動き量決定部１４に出力する。
【００３７】動き量決定部１４は、供給された位相相関
関数ｄ0 、ｄ1 、ｄ2 を用いて式（４）による重み付け
加算を行っている。この計算結果を動き量として決定し
て出力する。また、上述した実施例は、フィールドデー
タに対する動き量を検出する場合を説明したが、本実施
例に限定されるものでなく、フレーム内ブロックで検出
する場合、フレームメモリを用いて動き量を外乱の影響
を抑えて求めることができる。
関数ｄ0 、ｄ1 、ｄ2 を用いて式（４）による重み付け
加算を行っている。この計算結果を動き量として決定し
て出力する。また、上述した実施例は、フィールドデー
タに対する動き量を検出する場合を説明したが、本実施
例に限定されるものでなく、フレーム内ブロックで検出
する場合、フレームメモリを用いて動き量を外乱の影響
を抑えて求めることができる。
【００３８】つぎに、動き量検出方法について図６のフ
ローチャートを参照しながら説明する。ステップＳ１０
で供給される例えばフィールドデータである画像ｇ１、
ｇ２の輝度信号Ｙをブロック化する。ここで、この画像
ｇ２の輝度信号Ｙｔ-１は、例えば上記画像ｇ１ の輝度
信号Ｙｔに対して１フレームだけディレイさせたもので
ある。
ローチャートを参照しながら説明する。ステップＳ１０
で供給される例えばフィールドデータである画像ｇ１、
ｇ２の輝度信号Ｙをブロック化する。ここで、この画像
ｇ２の輝度信号Ｙｔ-１は、例えば上記画像ｇ１ の輝度
信号Ｙｔに対して１フレームだけディレイさせたもので
ある。
【００３９】ステップＳ１１では、ノイズ等の外乱の状
況が大きい場合、画像ｇ1 、ｇ2 を同一の領域で階層化
が行われる。なお、階層が異なっても対象とするブロッ
ク画像の大きさは一定である。これによって、ブロック
内の画素数が階層を上位に上げる毎に例えば元の画素数
の２-2n （階層数；ｎ＝０，１，２，３・・・）が減少
させられることになり、次のステップＳ１２に進む。
況が大きい場合、画像ｇ1 、ｇ2 を同一の領域で階層化
が行われる。なお、階層が異なっても対象とするブロッ
ク画像の大きさは一定である。これによって、ブロック
内の画素数が階層を上位に上げる毎に例えば元の画素数
の２-2n （階層数；ｎ＝０，１，２，３・・・）が減少
させられることになり、次のステップＳ１２に進む。
【００４０】ステップＳ１２では、それぞれの階層化さ
れた各ブロック内の画素に対して２次元のＦＦＴ処理が
行われる。この２次元のＦＦＴ処理部によって画像
ｇ1 、ｇ 2 は、画像データＧ1 、Ｇ2 という複素要素に
なる。この処理によって空間領域の画素データが位相領
域の画素データに変換される。
れた各ブロック内の画素に対して２次元のＦＦＴ処理が
行われる。この２次元のＦＦＴ処理部によって画像
ｇ1 、ｇ 2 は、画像データＧ1 、Ｇ2 という複素要素に
なる。この処理によって空間領域の画素データが位相領
域の画素データに変換される。
【００４１】次に、ステップＳ１３ではステップＳ１２
で生成された画像データＧ2 から共役複素要素Ｇ2 *を生
成する。この画像データＧ1 と共役複素要素Ｇ2 *を用い
て複素パワースペクトルを算出する。複素パワースペク
トルは、画像データＧ1 と画像データＧ2 *を乗算して得
られる。この演算は位相領域の画像データを基に相関を
とることと等価である。このとき、位相領域では、ＦＦ
Ｔ処理前の空間領域での偏位が位相成分にのみ現れるこ
とから、振幅成分を考慮に入れないために、各複素数要
素の大きさを正規化する。このようにして複素パワース
ペクトルの位相項の相関を算出してステップＳ１４に進
む。
で生成された画像データＧ2 から共役複素要素Ｇ2 *を生
成する。この画像データＧ1 と共役複素要素Ｇ2 *を用い
て複素パワースペクトルを算出する。複素パワースペク
トルは、画像データＧ1 と画像データＧ2 *を乗算して得
られる。この演算は位相領域の画像データを基に相関を
とることと等価である。このとき、位相領域では、ＦＦ
Ｔ処理前の空間領域での偏位が位相成分にのみ現れるこ
とから、振幅成分を考慮に入れないために、各複素数要
素の大きさを正規化する。このようにして複素パワース
ペクトルの位相項の相関を算出してステップＳ１４に進
む。
【００４２】ステップＳ１４では、求めた位相領域での
相関が実空間である空間領域のどの位置に現れているか
を知るために算出したパワースペクトルに対する逆ＦＦ
Ｔ処理が行われる。この逆ＦＦＴ処理により位相相関関
数ｄ（式（２）を参照）から位相相関係数が得られる。
相関が実空間である空間領域のどの位置に現れているか
を知るために算出したパワースペクトルに対する逆ＦＦ
Ｔ処理が行われる。この逆ＦＦＴ処理により位相相関関
数ｄ（式（２）を参照）から位相相関係数が得られる。
【００４３】ステップＳ１５では、位相相関係数を評価
値としてこの評価値に対して重み付け加算処理が行われ
る。この処理は、前述した式（４）で行い、ステップＳ
１６に進む。ステップＳ１６では、階層化したすべての
ブロックに対する処理が行われたかどうかの判定を行
う。階層数すべてを終了していない（Ｎｏ）のとき、ス
テップＳ１１に戻る。また、階層数のすべてに対する処
理が終了している（Ｙｅｓ）のときステップＳ１７に進
む。
値としてこの評価値に対して重み付け加算処理が行われ
る。この処理は、前述した式（４）で行い、ステップＳ
１６に進む。ステップＳ１６では、階層化したすべての
ブロックに対する処理が行われたかどうかの判定を行
う。階層数すべてを終了していない（Ｎｏ）のとき、ス
テップＳ１１に戻る。また、階層数のすべてに対する処
理が終了している（Ｙｅｓ）のときステップＳ１７に進
む。
【００４４】ステップＳ１７では、それぞれの階層での
ピーク値の検出を行い、検出した評価値に行われる重み
付け加算の結果としての評価値を総合評価して動き量を
検出する。
ピーク値の検出を行い、検出した評価値に行われる重み
付け加算の結果としての評価値を総合評価して動き量を
検出する。
【００４５】ステップＳ１８では、１フレームの画像ｇ
1 、ｇ2 のブロックすべての動き量算出が終了したかど
うかを判定している。１フレームの画像すべての動きベ
クトル算出が終了していない（Ｎｏ）のとき、ステップ
Ｓ１０に戻って上述した動きベクトル検出処理の手順を
繰り返す。また、１フレームの画像すべての動きベクト
ル算出が終了した（Ｙｅｓ）とき、この一連の処理を終
了する。
1 、ｇ2 のブロックすべての動き量算出が終了したかど
うかを判定している。１フレームの画像すべての動きベ
クトル算出が終了していない（Ｎｏ）のとき、ステップ
Ｓ１０に戻って上述した動きベクトル検出処理の手順を
繰り返す。また、１フレームの画像すべての動きベクト
ル算出が終了した（Ｙｅｓ）とき、この一連の処理を終
了する。
【００４６】このように構成、あるいは手順を踏むこと
により、各画像について位相成分に反映される動きを位
相相関で正しく検出できる。この方法により、ノイズ等
の外乱が存在しても階層毎に得られる評価値を総合評価
して真の動きベクトルを一意に決定することができ、誤
検出の虞れを少なくし、良い検出精度の動きベクトルを
検出することができる。また、上述した手順をディジタ
ルシグナルプロセッサ（ＤＳＰ）に記憶させてソフトウ
ェア的に動きベクトルを検出させることもできる。
により、各画像について位相成分に反映される動きを位
相相関で正しく検出できる。この方法により、ノイズ等
の外乱が存在しても階層毎に得られる評価値を総合評価
して真の動きベクトルを一意に決定することができ、誤
検出の虞れを少なくし、良い検出精度の動きベクトルを
検出することができる。また、上述した手順をディジタ
ルシグナルプロセッサ（ＤＳＰ）に記憶させてソフトウ
ェア的に動きベクトルを検出させることもできる。
【００４７】また、ブロックサイズを大きく設定した場
合、動きの異なる小物体が同じブロック内に入り込んで
しまう可能性が高くなる。このとき、階層化を行うこと
によって上述した個々の小物体を例えば消去させ、ブロ
ック内の所望とする大きな物体の動きを対象に位相相関
法で動き対象物を特定することもできる。
合、動きの異なる小物体が同じブロック内に入り込んで
しまう可能性が高くなる。このとき、階層化を行うこと
によって上述した個々の小物体を例えば消去させ、ブロ
ック内の所望とする大きな物体の動きを対象に位相相関
法で動き対象物を特定することもできる。
【００４８】なお、上述した実施例では、ＦＦＴを用い
て位相相関をとり、ＩＦＦＴすることで動き量を検出し
たが、直交変換としては上記ＦＦＴに限定されるもので
なく、他の種々の直交変換を用いてもよい。
て位相相関をとり、ＩＦＦＴすることで動き量を検出し
たが、直交変換としては上記ＦＦＴに限定されるもので
なく、他の種々の直交変換を用いてもよい。
【００４９】
【発明の効果】本発明に係る動き量検出装置では、階層
化手段で同一画面の一方の階層の画像データを基に他方
の階層の画像データに変換して少なくとも２つの階層を
構成し、第１の評価関数算出手段で一方の階層の画像デ
ータに対して直交変換、位相相関処理、逆直交変換を順
次施して得られる第１の評価関数から動きベクトル候補
を求め、第２の評価関数算出手段で一方の階層のブロッ
クに対応させて他方の階層の画像データをブロック化し
て直交変換、位相相関処理、逆直交変換を順次施して得
られる第２の評価関数を求めて外乱の影響を抑えて移動
する対象物体の特定を行い、検出手段で上記第１及び第
２の評価関数に基づいて上記２つの画像間に存在する移
動対象の動きベクトルを検出することにより、対象画像
に外乱、例えばノイズのような画質劣化があっても、ブ
ロック内の移動対象を誤りなく特定して精度よく検出す
ることができる。
化手段で同一画面の一方の階層の画像データを基に他方
の階層の画像データに変換して少なくとも２つの階層を
構成し、第１の評価関数算出手段で一方の階層の画像デ
ータに対して直交変換、位相相関処理、逆直交変換を順
次施して得られる第１の評価関数から動きベクトル候補
を求め、第２の評価関数算出手段で一方の階層のブロッ
クに対応させて他方の階層の画像データをブロック化し
て直交変換、位相相関処理、逆直交変換を順次施して得
られる第２の評価関数を求めて外乱の影響を抑えて移動
する対象物体の特定を行い、検出手段で上記第１及び第
２の評価関数に基づいて上記２つの画像間に存在する移
動対象の動きベクトルを検出することにより、対象画像
に外乱、例えばノイズのような画質劣化があっても、ブ
ロック内の移動対象を誤りなく特定して精度よく検出す
ることができる。
【００５０】また、本発明に係る動き量検出方法では、
階層化工程で同一画面の一方の階層の画像データを基に
他方の階層の画像データに変換して少なくとも２つの階
層を構成し、第１の評価関数算出工程で一方の階層画像
データに対して直交変換、位相相関処理、逆直交変換を
順次施して得られる第１の評価関数から動きベクトル候
補を求め、第２の評価関数算出工程で一方の階層のブロ
ックに対応させて他方の階層の画像データをブロック化
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求めて外乱の影響を抑えて移
動する対象物体の特定を行い、検出工程で上記第１及び
第２の評価関数に基づいて上記２つの画像間に存在する
移動対象の動きベクトルを検出することにより、対象画
像に外乱、例えばノイズのような画質劣化があっても、
ブロック内の移動対象を誤りなく特定して精度よく検出
することができる。
階層化工程で同一画面の一方の階層の画像データを基に
他方の階層の画像データに変換して少なくとも２つの階
層を構成し、第１の評価関数算出工程で一方の階層画像
データに対して直交変換、位相相関処理、逆直交変換を
順次施して得られる第１の評価関数から動きベクトル候
補を求め、第２の評価関数算出工程で一方の階層のブロ
ックに対応させて他方の階層の画像データをブロック化
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求めて外乱の影響を抑えて移
動する対象物体の特定を行い、検出工程で上記第１及び
第２の評価関数に基づいて上記２つの画像間に存在する
移動対象の動きベクトルを検出することにより、対象画
像に外乱、例えばノイズのような画質劣化があっても、
ブロック内の移動対象を誤りなく特定して精度よく検出
することができる。
【図１】本発明に係る動き量検出装置の一実施例の回路
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図２】上記ブロック回路に供給される画像信号のフィ
ールド関係を説明するための模式図である。
ールド関係を説明するための模式図である。
【図３】本発明に係る動き量検出装置及び動き量検出方
法における画像の階層構造を説明するための模式図であ
る。
法における画像の階層構造を説明するための模式図であ
る。
【図４】上記ブロック化した画像内での階層構造と画素
数の関係を説明するための模式図である。
数の関係を説明するための模式図である。
【図５】階層毎にブロック内で検出される位相相関関数
の複数のピークの一例を示すグラフィックチャートであ
る。
の複数のピークの一例を示すグラフィックチャートであ
る。
【図６】本発明の動き量検出方法の手順を説明するフロ
ーチャートである。
ーチャートである。
１０・・・・・・・・ブロック化処理部 １１・・・・・・・・フィールドメモリ部 １２・・・・・・・・階層画像化部 １３・・・・・・・・位相相関処理部 １４・・・・・・・・動き量決定部 １５、１６・・・・・入力端子 １７・・・・・・・・出力端子 ＳＷ・・・・・・・・切換スイッチ ２０〜２２・・・・・評価関数算出部 １３Ａ・・・・・・・・・・・・・高速フーリエ変換
（ＦＦＴ）処理部 １３Ｂ・・・・・・・・・・・・・位相相関関数部 １３Ｃ・・・・・・・・・・・・・逆ＦＦＴ（ＩＦＦ
Ｔ）処理部 １３０ａ、１３０ｂ、１３１ａ、１３１ｂ、１３２ａ、
１３２ｂ・・・・・・・・・・・・・ＦＦＴ処理回路 １３０ｃ、１３１ｃ、１３２ｃ・・位相相関処理回路 １３０ｄ、１３１ｄ、１３２ｄ・・ＩＦＦＴ処理回路
（ＦＦＴ）処理部 １３Ｂ・・・・・・・・・・・・・位相相関関数部 １３Ｃ・・・・・・・・・・・・・逆ＦＦＴ（ＩＦＦ
Ｔ）処理部 １３０ａ、１３０ｂ、１３１ａ、１３１ｂ、１３２ａ、
１３２ｂ・・・・・・・・・・・・・ＦＦＴ処理回路 １３０ｃ、１３１ｃ、１３２ｃ・・位相相関処理回路 １３０ｄ、１３１ｄ、１３２ｄ・・ＩＦＦＴ処理回路
Claims (6)
- 【請求項１】 同一画面に対して互いに異なる解像度の
画像データに対応する少なくとも２つの階層を設定し、 上記一方の階層の画像データをブロック化して得られる
画像データに対して直交変換、位相相関処理、逆直交変
換を順次施して得られる第１の評価関数を求める第１の
評価関数算出手段と、 上記他方の階層の画像データを上記一方の階層のブロッ
クに対応させてブロック化して得られる画像データに対
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求める第２の評価関数算出手
段と、 上記第１の評価関数と上記第２の評価関数との加算結果
に基づいて動き量を検出する検出手段とを有することを
特徴とする動き量検出装置。 - 【請求項２】 上記検出手段では、上記第１、第２の評
価関数の重み付け加算された結果に基づいて動き量を検
出することを特徴とする請求項１記載の動き量検出装
置。 - 【請求項３】 上記画像データから奇数フィールドある
いは偶数フィールド同士のフィールドデータを選択的に
記憶させ、フレーム間で上記奇数フィールドあるいは上
記偶数フィールドデータを用いて位相相関をとることを
特徴とする請求項１又は２記載の動き量検出装置。 - 【請求項４】 同一画面に対して互いに異なる解像度の
画像データに対応する少なくとも２つの階層を設定し、 上記一方の階層の画像データをブロック化して得られる
画像データに対して直交変換、位相相関処理、逆直交変
換を順次施して得られる第１の評価関数を求める第１の
評価関数算出工程と、 上記他方の階層の画像データを上記一方の階層のブロッ
クに対応させてブロック化して得られる画像データに対
して直交変換、位相相関処理、逆直交変換を順次施して
得られる第２の評価関数を求める第２の評価関数算出工
程と、 上記第１の評価関数と上記第２の評価関数との加算結果
に基づいて動き量を検出する検出工程とを有することを
特徴とする動き量検出方法。 - 【請求項５】 上記検出工程では、上記第１、第２の評
価関数の重み付け加算された結果に基づいて動き量を検
出することを特徴とする請求項４記載の動き量検出方
法。 - 【請求項６】 上記画像データから奇数フィールドある
いは偶数フィールド同士のフィールドデータを選択的に
記憶させ、フレーム間で上記奇数フィールドあるいは上
記フィールドデータを用いて位相相関をとることを特徴
とする請求項４又は５記載の動き量検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21032593A JP3334271B2 (ja) | 1993-08-25 | 1993-08-25 | 動き量検出装置及び動き量検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21032593A JP3334271B2 (ja) | 1993-08-25 | 1993-08-25 | 動き量検出装置及び動き量検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0767104A JPH0767104A (ja) | 1995-03-10 |
| JP3334271B2 true JP3334271B2 (ja) | 2002-10-15 |
Family
ID=16587559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21032593A Expired - Fee Related JP3334271B2 (ja) | 1993-08-25 | 1993-08-25 | 動き量検出装置及び動き量検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3334271B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4802885B2 (ja) | 2006-06-19 | 2011-10-26 | ソニー株式会社 | 動きベクトル検出装置および方法、プログラム並びに記録媒体 |
| WO2009090735A1 (ja) * | 2008-01-16 | 2009-07-23 | Hitachi, Ltd. | 動きベクトル検出方法及び装置、並びに、プラズマディスプレイパネルの駆動方法及びプラズマディスプレイ装置 |
-
1993
- 1993-08-25 JP JP21032593A patent/JP3334271B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0767104A (ja) | 1995-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3047429B2 (ja) | 動き補償映像信号フォーマット変換装置 | |
| US5960111A (en) | Method and apparatus for segmenting images prior to coding | |
| EP0261137B1 (en) | Tv picture motion measurement | |
| EP0478217B1 (en) | Motion dependent video signal processing | |
| JP3298104B2 (ja) | 動き補正付きテレビジョン信号の方式変換器 | |
| US5012337A (en) | Motion dependent video signal processing | |
| EP0512422A2 (en) | Method for temporally adaptive filtering of noisy image sequences | |
| GB2246488A (en) | Motion dependent video signal processing | |
| JPH0362691A (ja) | 動き補償映像信号標準変換器 | |
| JPH07505749A (ja) | ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法 | |
| EP0395266A2 (en) | Motion dependent video signal processing | |
| US5296925A (en) | Movement vector detection device | |
| JP3334271B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| Sim et al. | Robust reweighted MAP motion estimation | |
| CN116342656A (zh) | 一种基于自适应边缘检测的时空图像测速方法和装置 | |
| GB2432068A (en) | Estimating motion using motion blur | |
| KR100282305B1 (ko) | 디지탈 카메라의 움직임 번짐에 의해 열화된 영상의 움직임 번짐 정보를 추정하는 장치와 방법 | |
| US5396437A (en) | Motion detection method and its apparatus | |
| JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP3651093B2 (ja) | 動きベクトル検出装置および方法 | |
| JP2741888B2 (ja) | 階層的画像マッチング処理方法および装置 | |
| JP3617671B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| KR0156958B1 (ko) | 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치 | |
| EP0659022A2 (en) | Detection of global translations between images | |
| JPH0795587A (ja) | 動きベクトル検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020702 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080802 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090802 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |