JPH09231374A - 動きベクトル検出装置および検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 フーリエ変換により得られた周波数成分に対
してクラス分類適応処理を用いて中間周期における周波
数成分の予測が行われ、その予測結果を用いて、位相相
関法により１画素より高い精度の動きベクトルの検出が
できる。 【解決手段】 ブロック生成部２へ供給されたディジタ
ル画像信号ｄ０は、所定のブロックに分割され、画像信
号ｄ１としてフーリエ変換部３およびフレームメモリ６
へ供給される。フーリエ変換部３では、フーリエ変換出
力ｄ２がクラス分類適応処理部４へ供給され、予測周波
数成分ｄ５が予測される。フレームメモリ６では、１フ
レーム分遅延され、フーリエ変換部７およびクラス分類
適応処理部８を介して、予測周波数成分ｄ１０が位相相
関算出部５へ供給される。位相相関算出部５では、予測
周波数成分ｄ５およびｄ１０から位相相関（位相差行
列）が検出される。検出された位相相関に基づいてベク
トル検出部９では、１画素単位より高い精度の動きベク
トルが検出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力されたディ
ジタル画像信号に対してフーリエ変換を施した後、フー
リエ変換出力から中間周期における周波数成分の予測が
クラス分類適応処理を用いて行われ、この予測された周
波数成分を用いて１画素単位より高い精度の動きベクト
ルが検出できる動きベクトル検出装置および検出方法に
関する。

【０００２】

【従来の技術】ディジタル画像を対象とした動きベクト
ル検出の重要度は、近年ますます高まっている。それは
実用面への貢献が大きいからである。例えば、画像圧縮
における動き補償に用いられる動きベクトルの精度の向
上は、圧縮効率の向上をもたらしており、そのため動き
ベクトル検出方法に関しては、種々の提案がなされてい
る。一般に、動画像を対象とした動きベクトルの検出方
法は、次の３種類に大別される。

【０００３】第１の動きベクトルの検出方法は、ブロッ
クマッチング法である。このブロックマッチング法は、
パターンマッチングと同じ発想で、現画像のブロック化
された領域が、過去の画像中の何処に存在したか、現画
像と過去画像の比較を行う。具体例としては、ブロック
内対応画素毎の差分絶対値を加算し、ブロック毎の差分
絶対値和が最小となる位置を動きベクトルとするもので
ある。この方法は、検出精度は良いが、演算量が膨大と
なる欠点がある。

【０００４】そして、第２の動きベクトルの検出方法
は、勾配法である。この勾配法は、ある空間傾斜を持つ
画素が、ある位置まで動くと、動き量に応じた時間差分
が発生するというモデルに基づく。よって、時間差分を
空間傾斜で割算すれば動きベクトルが得られる。この方
法は、演算量は少ないが動き量が大きくなると精度が落
ちるという欠点がある。それは上述のモデルが成り立た
なくなるためである。

【０００５】また、第３の動きベクトルの検出方法は、
位相相関法である。この位相相関法は、現画像と過去画
像の同一位置のブロックデータに対し、各々フーリエ変
換を施し、周波数領域で位相のズレ量を検出し、その位
相項より逆フーリエ変換を経て動きベクトルを検出する
手法である。この手法の特徴として、動きベクトルの精
度は、フーリエ変換の対象画素精度になるので、入力画
素ピッチの動きベクトルしか得ることができない。

【０００６】

【発明が解決しようとする課題】このように、検出され
る動きベクトルの精度は、１画素単位である。しかしな
がら、例えば、動き補償の場合では、精度の高い補償を
行うためには、１画素より高い精度の動きベクトルを検
出することが必要とされる。

【０００７】したがって、この発明の目的は、ディジタ
ル画像信号に対してフーリエ変換を施した後、フーリエ
変換出力から中間周期における周波数成分の予測がクラ
ス分類適応処理を用いて行われ、その予測結果に対して
位相相関法を施し、１画素単位より高い精度の動きベク
トルを検出することができる動きベクトル検出装置およ
び検出方法を提供することにある。

【０００８】

【課題を解決するための手段】請求項１に記載の発明
は、位相相関法による動きベクトル検出装置において、
対象となる画像信号に対してフーリエ変換を施し、フー
リエ変換により得られた周波数成分から中間周期におけ
る周波数成分の予測を行う予測手段と、予測された周波
数成分の現画像と過去画像とを位相相関法を適用するこ
とによって、１画素より高い精度の動きベクトルを検出
する動きベクトル検出手段とかなることを特徴とする動
きベクトル検出装置である。

【０００９】また、請求項８に記載の発明は、位相相関
法による動きベクトル検出方法において、対象となる画
像信号に対してフーリエ変換を施し、フーリエ変換によ
り得られた周波数成分から中間周期における周波数成分
の予測を行うステップと、予測された周波数成分の現画
像と過去画像とを位相相関法を適用することによって、
１画素より高い精度の動きベクトルを検出するステップ
とかなることを特徴とする動きベクトル検出方法であ
る。

【００１０】入力ディジタル画像がブロック毎に分割さ
れ、分割された画像に対してフーリエ変換が施され、そ
のフーリエ変換出力に対してクラス分類適応処理を用い
て中間周期での周波数成分が予測され、その予測結果に
対して位相相関法を用いることによって、１画素単位よ
り高い精度の動きベクトルが検出される。

【００１１】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。この発明が適用された動き
ベクトル検出装置の一実施例を図１に示す。１で示す入
力端子からディジタル画像信号ｄ０が供給され、供給さ
れた画像信号ｄ０は、ブロック生成部２へ供給される。
ブロック生成部２では、供給された画像信号ｄ０から所
定のブロックが生成される。ブロック化された画像信号
は、ｄ１としてフーリエ変換部３およびフレームメモリ
６へ供給される。フーリエ変換部３では、供給された画
像信号ｄ１に対して２次元フーリエ変換が施される。こ
のフーリエ変換により得られた周波数成分（以下、フー
リエ変換出力と称する）ｄ２は、クラス分類適応処理部
４へ供給される。

【００１２】クラス分類適応処理部４は、クラス分類部
１１、予測係数ＲＯＭ１２および予測演算部１３から構
成される。クラス分類適応処理部４では、フーリエ変換
出力ｄ２がクラス分類部１１および予測演算部１３へ供
給される。クラス分類部１１では、ブロック化され、フ
ーリエ変換出力ｄ２の波形の特徴に基づいて後述するよ
うなクラス分類が行われる。この分類結果、すなわちク
ラスｄ３は、予測係数ＲＯＭ１２へ供給される。予測係
数ＲＯＭ１２には、予め各クラスに対応した予測係数が
格納されている。予測係数ＲＯＭ１２では、供給された
クラスｄ３に対応した予測係数がＲＯＭから読み出さ
れ、読み出された予測係数ｄ４は、予測演算部１３へ供
給される。予測演算部１３では、フーリエ変換出力ｄ２
から予測タップが形成され、予測タップの出力と予測係
数ｄ４とを用いた線形１次結合式の演算がなされ、中間
周期での周波数成分が予測される。この予測された結果
が予測演算部１３から予測周波数成分ｄ５として出力さ
れる。すなわち、クラス分類適応処理部４から位相相関
算出部５へ予測周波数成分ｄ５が供給される。

【００１３】この予測周波数成分は、図２中の破線で示
すようにフーリエ変換で得られる周波数成分の周期の中
間に位置するものである。ただし、この図２は、説明を
容易とするために一次元フーリエ変換で示した例であ
り、縦軸が係数値を示し、横軸が周期を示し、フーリエ
変換で得られた周波数成分を実線で示している。

【００１４】フレームメモリ６では、供給された画像信
号ｄ１が１フレーム分遅延された後、画像信号ｄ６とし
てフーリエ変換部７へ供給される。フーリエ変換部７で
は、供給された画像信号ｄ６、すなわちフーリエ変換部
３で処理された１フレーム前のブロックデータに対して
フーリエ変換が実行される。このフーリエ変換出力ｄ７
は、フーリエ変換部７からクラス分類適応処理部８へ供
給される。クラス分類適応処理部８は、上述したクラス
分類適応処理部４と同様の構成および処理を施す部分で
ある。すなわち、クラス分類適応処理部８は、クラス分
類部１４、予測係数ＲＯＭ１５および予測演算部１６か
ら構成される。

【００１５】クラス分類部１４では、遅延されたフーリ
エ変換出力ｄ７の波形の特徴に基づいて後述するような
クラス分類が行われる。この分類結果、すなわちクラス
ｄ８は、予測係数ＲＯＭ１５へ供給される。予測係数Ｒ
ＯＭ１５には、予め各クラスに対応した予測係数が格納
されている。予測係数ＲＯＭ１５では、供給されたクラ
スｄ８に対応した予測係数がＲＯＭから読み出され、読
み出された予測係数ｄ９は、予測演算部１６へ供給され
る。予測演算部１６では、フーリエ変換出力ｄ７から予
測タップが形成され、予測タップの出力と予測係数ｄ９
とを用いた線形１次結合式の演算がなされ、中間周期に
おける周波数成分が予測される。この予測された結果が
予測演算部１６から予測周波数成分ｄ１０として出力さ
れる。すなわち、クラス分類適応処理部８から位相相関
算出部５へ予測周波数成分ｄ１０が供給される。

【００１６】位相相関算出部５では、供給された２つの
予測周波数成分ｄ５およびｄ１０に応じて後述する位相
相関（位相差行列） exp（-jφ）が検出される。検出さ
れた位相相関 exp（-jφ）は、ベクトル検出部９へ供給
され、ベクトル検出部９では、その位相相関 exp（-j
φ）に対して逆フーリエ変換および位相相関関数のピー
ク検出が行われ、最終的に１画素単位より高い精度の動
きベクトルｄ１２を得ることができる。この動きベクト
ルｄ１２は、出力端子１０から出力される。

【００１７】ここで、この図１に示す一実施例の変形例
を図３および図４に示す。この図３および図４は、図１
に示すフレームメモリ６、フーリエ変換部７およびクラ
ス分類適応処理部８を設けないものである。まず、図３
では、所定のブロックにブロック化された画像信号ｄ１
がブロック生成部２からフーリエ変換部３へ供給され
る。フーリエ変換部３では、画像信号ｄ１に対してフー
リエ変換が施される。このフーリエ変換出力ｄ１４は、
フレームメモリ１７およびクラス分類適応処理部１９へ
供給される。

【００１８】クラス分類適応処理部１９では、上述した
ようにフーリエ変換出力ｄ１４に対してクラス分類が施
された後、適応処理が行われ、中間周期での周波数成分
が予測される。この予測された予測周波数成分ｄ１７
は、位相相関算出部５へ供給される。フレームメモリ１
７では、フーリエ変換出力ｄ１４が１フレーム分遅延さ
れた後、遅延信号ｄ１５としてクラス分類適応処理部１
８へ供給される。クラス分類適応処理部１８では、上述
したように供給された遅延信号ｄ１５に対してクラス分
類が施された後、適応処理が行われ、中間周期での周波
数成分が予測される。この予測された予測周波数成分ｄ
１６は、位相相関算出部５へ供給される。すなわち、こ
の予測周波数成分ｄ１６は、予測周波数成分ｄ１７に対
して、１フレーム遅延された同じ部分の信号となる。位
相相関算出部５では、上述したように、供給された２つ
の予測周波数成分ｄ１６およびｄ１７に応じて位相相関
（位相差行列） exp（-jφ）が検出される。

【００１９】次に、図４に示す変形例では、所定のブロ
ックにブロック化された画像信号ｄ１がブロック生成部
２からフーリエ変換部３へ供給される。フーリエ変換部
３では、画像信号ｄ１に対してフーリエ変換が施され
る。フーリエ変換出力ｄ２は、クラス分類適応処理部４
へ供給される。クラス分類適応処理部４では、上述した
ようにフーリエ変換出力ｄ２に対してクラス分類が施さ
れた後、適応処理が行われ、中間周期での周波数成分が
予測される。この予測された予測周波数成分ｄ１８は、
位相相関算出部５およびフレームメモリ２０へ供給され
る。フレームメモリ２０では、予測周波数成分ｄ１８が
が１フレーム分遅延された後、遅延信号ｄ１９として位
相相関算出部５へ供給される。位相相関算出部５では、
上述したように、供給された２つの予測周波数成分ｄ１
８および１フレーム遅延された予測周波数成分の遅延信
号ｄ１９に応じて位相相関（位相差行列） exp（-jφ）
が検出される。

【００２０】ここで、この発明が適用された動きベクト
ル検出装置の他の実施例を図５に示す。２１で示す入力
端子からディジタル画像信号ｄ２１が供給され、供給さ
れた画像信号ｄ２１は、ブロック生成部２２へ供給され
る。ブロック生成部２２では、供給された画像信号ｄ２
１から所定のブロックが生成される。ブロック化された
画像信号は、ｄ２２としてフーリエ変換部２３およびフ
レームメモリ２６へ供給される。フーリエ変換部２３で
は、供給された画像信号ｄ２２に対してフーリエ変換が
施される。このフーリエ変換出力ｄ２３は、クラス分類
適応処理部２４へ供給される。

【００２１】クラス分類適応処理部２４は、クラス分類
部３１、予測値生成部３２から構成される。クラス分類
適応処理部２４では、フーリエ変換出力ｄ２３がクラス
分類部３１へ供給される。クラス分類部３１では、ブロ
ック化されたフーリエ変換出力ｄ２３の波形の特徴に基
づいて後述するようなクラス分類が行われる。この分類
結果、すなわちクラスｄ２４は、予測値生成部３２へ供
給される。予測値生成部３２には、予め各クラスに対応
した予測値が格納されている。予測値生成部３２では、
供給されたクラスｄ２４に対応した予測周波数成分とな
る最適予測値がＲＯＭから読み出される。読み出された
最適予測値は、ｄ２５として出力される。すなわち、ク
ラス分類適応処理部２４から位相相関算出部２５へ最適
予測値ｄ２５は、供給される。

【００２２】フレームメモリ２６では、供給された画像
信号ｄ２２が１フレーム分遅延された後、画像信号ｄ２
６としてフーリエ変換部２７へ供給される。フーリエ変
換部２７では、供給された画像信号ｄ２６、すなわちフ
ーリエ変換部２３で処理された１フレーム前のブロック
データに対してフーリエ変換が実行される。このフーリ
エ変換出力ｄ２７は、クラス分類適応処理部２８へ供給
される。クラス分類適応処理部２８は、上述したクラス
分類適応処理部２４と同様の構成および処理を施す部分
である。すなわち、クラス分類適応処理部２８は、クラ
ス分類部３３および予測値生成部３４から構成される。

【００２３】クラス分類部３３では、遅延されたフーリ
エ変換出力ｄ２７の波形の特徴に基づいて後述するよう
なクラス分類が行われる。この分類結果、すなわちクラ
スｄ２８は、予測値生成部３４へ供給される。予測値生
成部３４には、予め各クラスに対応した予測値が格納さ
れている。予測値生成部３４では、供給されたクラスｄ
２８に対応した予測周波数成分となる最適予測値がＲＯ
Ｍから読み出される。読み出された最適予測値は、ｄ２
９として出力される。すなわち、クラス分類適応処理部
２８から位相相関算出部２５へ最適予測値ｄ２９が供給
される。

【００２４】位相相関算出部２５では、供給された２つ
の予測周波数成分となる最適予測値ｄ２５およびｄ２９
に応じて後述する位相相関（位相差行列） exp（-jφ）
が検出される。検出された位相相関 exp（-jφ）は、ベ
クトル検出部２９へ供給され、ベクトル検出部２９で
は、その位相相関 exp（-jφ）に対して逆フーリエ変換
および位相相関関数のピーク検出が行われ、最終的に１
画素単位より高い精度の動きベクトルｄ３１を得ること
ができる。この動きベクトルｄ３１は、出力端子３０か
ら出力される。

【００２５】この図５に示す重心法を用いたクラス分類
適応処理は、上述した図３および図４に示したように、
同様の変形例に適用することが可能である。

【００２６】このように、図１および図５に示す実施例
において、１画素単位より高い精度の動きベクトルを検
出する場合、対象となる画像信号にフーリエ変換が施さ
れ、そのフーリエ変換出力に対してクラス分類適応処理
を適用することで、画像信号から中間周期における周波
数成分の予測が行われ、予測された予測周波数成分を含
む画像信号に対して位相相関法を施すことによって、１
画素単位より高い精度の動きベクトルの検出が可能とな
る。

【００２７】ここで、クラス分類適応処理回路４、８、
２４および２８に適用されたクラス分類適応処理とは、
入力信号のレベル分布のパターンに基づきこの入力信号
を幾つかのクラスに分類し、予め用意されたクラス毎に
適切な適応処理を実行する手法である。まず、クラス分
類法の例としては、フーリエ変換により得られた周波数
成分に対してクラス生成タップを設定し、この周波数成
分のレベル分布のパターンによりクラスを生成する手法
が挙げられる。周波数成分のクラス生成法としては、次
の例などが提案されている。

【００２８】１）ＰＣＭ（Pluse Code Modulation ）デ
ータを直接使用する方法 ２）ＡＤＲＣ（Adaptive Dynamic Range Coding ）を適
用する方法 ３）ＤＰＣＭ（Differential PCM）を適用する方法 ４）ＢＴＣ（Block Trancation Coding ）を適用する方
法 ５）ＶＱ（Vector Quantization ）を適用する方法 ６）周波数変換（ＤＣＴ（Discrete Cosine Transform
）、アダマール変換など）を適用する方法

【００２９】例えば、それぞれが８ビットのフーリエ変
換による周波数成分（ＰＣＭデータ）を直接使用する場
合、クラス分類用に８ビットデータを７タップ使用する
と、２⁵⁶という膨大な数のクラスに分類される。レベル
分布のパターンを掴むという意味では理想的であるが、
回路上の負担は大きく、実用上問題である。そこで、実
際は、ＡＤＲＣなどを適用しクラス数の削減を図る。Ａ
ＤＲＣは、信号圧縮技術として開発された手法である
が、クラス表現に適している。基本的には、再量子化処
理であり式（１）で示される。注目データ近傍の数タッ
プで定義される局所的なダイナミックレンジ（最大値−
最小値）をもとに、ｋビット再量子化として定義される
量子化ステップ幅により、これら数タップのデータを再
量子化するものである。

【００３０】 ｃ_i ＝（ｘ_i −ＭＩＮ）／（ＤＲ／２^k ） （１） ただし、ｃ_i ：ＡＤＲＣコード ｘ_i ：入力周波数成分 ＭＩＮ：近傍領域内最小値 ＤＲ：近傍領域内ダイナミックレンジ ｋ：再量子化ビット数

【００３１】注目データ近傍の数タップに対し式（１）
で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコー
ドによりクラス分類を行う。例えば、７つの周波数成分
に対し１ビットの再量子化を実行する１ビットＡＤＲＣ
を適用すると、７つの周波数成分から定義されるダイナ
ミックレンジに基づき、それらの最小値を除去した上
で、７タップのデータを適応的に１ビット量子化する。
その結果、７つの周波数成分を７ビットで表現すること
になり、１２８クラスに削減することが可能となる。他
に圧縮技術として一般的なＤＰＣＭ、ＢＴＣ、ＶＱ、Ｄ
ＣＴ、アダマール変換等をクラス分類法として用いるこ
とが提案されている。

【００３２】また、クラス分類の性能を更に向上させる
ため、入力された周波数成分のアクティビティーも考慮
した上でクラス分類が行われることがある。アクティビ
ティーの判定法の例としては、クラス分類法にＡＤＲＣ
を使用した場合、ダイナミックレンジを用いることが多
い。また、ＤＰＣＭをクラス分類法に用いる場合、差分
絶対値和、ＢＴＣをクラス分類法に用いる場合、標準偏
差の絶対値などがアクティビティーの判定法として用い
られる。

【００３３】そして、このときには、アクティビティー
による分類結果毎に、上述のＡＤＲＣを用いたクラス分
類などを行うことになる。また、学習過程において、ア
クティビティーの小さいデータを学習対象から外す。こ
の理由は、アクティビティーの小さい部分は、ノイズの
影響が大きく、本来のクラスの予測値から外れることが
多い。そのため、これを学習に入れると予測精度が低下
する。これを避けるため、学習においては、アクティビ
ティーの小さいデータを除外する。

【００３４】こうして分類されたクラス毎に適応処理を
実行するが、適応処理としては上述した２つの実施例に
示したように、予め学習された予測係数を用いて予測演
算を行う予測法と、重心法により予測値を学習しておく
方式が提案される。また、学習を行うための条件として
は、目標となる教師信号を用意しておく必要がある。

【００３５】次に、この教師信号を用いて、予め学習に
より生成されたクラス毎の予測係数を用いた予測演算を
行う予測法について説明する。この予測法は、クラス分
類適応処理回路４および８に適用され、フーリエ変化に
より得られた周波数成分から中間周期における周波数成
分の予測がなされるものである。例えば、注目される周
波数成分を含む近傍の９つの周波数成分より予測タップ
を形成し、予測値を生成する予測式の例を式（２）に示
す。

【００３６】

【数１】 ただし、ｘ’：予測値 ｘ_i ：入力周波数成分 ｗ_i ：予測係数

【００３７】上述した図１のクラス分類適応処理部４お
よび８は、予測法を用いたクラス分類適応処理の構成例
である。

【００３８】この予測法で用いられる予測係数ＲＯＭ１
２および１５からの予測係数は、予め学習により生成し
ておく。この学習方法について述べる。式（２）の線形
一次結合モデルに基づく予測係数を最小自乗法により生
成する一例を示す。最小自乗法は、次のように適用され
る。一般化した例として、Ｘを入力データ、Ｗを予測係
数、Ｙを予測値として次の式（３）を考える。

【００３９】 観測方程式；ＸＷ＝Ｙ （３）

【数２】

【００４０】上述の観測方程式により収集されたデータ
に最小自乗法を適用する。式（２）の例においては、ｎ
＝９、ｍが学習データ数となる。式（３）の観測方程式
をもとに、式（５）の残差方程式を考える。

【００４１】残差方程式；

【数３】

【００４２】式（５）の残差方程式から、各ｗ_i の最確
値は、

【数４】 を最小にする条件が成り立つ場合と考えられる。すなわ
ち、次の式（６）の条件を考慮すれば良いわけである。

【００４３】

【数５】

【００４４】式（６）のｉに基づくｎ個の条件を考え、
これを満たすｗ₁ 、ｗ₂ 、・・・ｗ_n を算出すれば良
い。そこで、残差方程式（５）から式（７）が得られ
る。

【００４５】

【数６】

【００４６】式（６）と式（３）により式（８）が得ら
れる。

【００４７】

【数７】

【００４８】そして、式（５）および式（８）から次の
正規方程式（９）が得られる。

【００４９】

【数８】

【００５０】式（９）の正規方程式は、未知数の数ｎと
同じ数の方程式を立てることが可能であるので、各ｗ_i
の最確値を求めることができる。そして、掃き出し法
（Gauss-Jordanの消去法）を用いて連立方程式を解く。
この連立方程式が解かれることよって、クラス毎に予測
係数がＲＯＭなどの記憶媒体に格納される。この格納さ
れたＲＯＭは、予測係数ＲＯＭ１２および１５として使
用される。

【００５１】ここで、上述の最小自乗法を用いた予測係
数の学習方法の一例となるフローチャートを図６に示
す。このフローチャートは、ステップＳ１から学習処理
の制御が始まり、ステップＳ１の学習データ形成では、
学習を行うための入力周波数成分と予測対象となる教師
信号が用意される。まず、ステップＳ３のクラス決定に
おいて、入力周波数成分に対してクラス分類が行われ
る。上述のように、ＡＤＲＣなどの処理を用い、入力周
波数成分の波形特徴に基づきクラスが生成される。次
に、各クラス毎に入力信号より形成される予測タップの
周波数成分と教師信号値とから上述した正規方程式
（９）が生成される。

【００５２】ここで、注目データ近傍のブロック内のダ
イナミックレンジが所定のしきい値より小さいもの、す
なわちアクティビティーの低いものは、学習データとし
て扱わない制御がなされる。すなわち、ＡＤＲＣを使用
する場合、ダイナミックレンジが小さいものは、ノイズ
の影響を受けやすく、正確な学習結果が得られないおそ
れがあるからである。そして、ステップＳ２のデータ終
了では、入力された全データ、例えば１フレームまたは
１フィールドのデータの処理が終了していれば、ステッ
プＳ５の予測係数決定へ制御が移り、終了していなけれ
ば、ステップＳ３のクラス決定へ制御が移る。

【００５３】ステップＳ３のクラス決定は、上述のよう
に、注目データ近傍の周波数成分に基づいたクラス決定
がなされる。ステップＳ４の正規方程式生成では、上述
した式（９）の正規方程式が作成される。全データの処
理が終了後、ステップＳ２のデータ終了から制御がステ
ップＳ５に移る。多くの学習データより生成された、ク
ラス毎の式（９）の正規方程式が解かれるこの連立方程
式の解法としては、上述した掃き出し法が用いられる。
次に、ステップＳ６の予測係数登録では、クラス別にア
ドレス分割されたＲＯＭなどの記憶手段に登録され、こ
の学習のフローチャートは、終了する。以上の学習過程
により、予測法を用いたクラス分類適応処理の予測係数
が生成される。

【００５４】次に、クラス分類適応処理の適応処理法と
して、重心法を用いる場合について述べる。重心法は、
各クラス毎に予め学習に用いられる教師信号の分布重心
を算出し、この値を最適予測値としてＲＯＭなどに蓄
え、各クラス毎の最適予測値、すなわちフーリエ変換に
より得られた周波数成分から中間周期における周波数成
分の予測が行われた予測周波数成分として出力する手法
である。上述した図５のクラス分類適応処理部２４およ
び２８は、一般に重心法を用いたクラス分類適応処理の
構成例である。

【００５５】ここで、重心法による最適予測値の学習方
法の一例となるフローチャートを図７に示す。ステップ
Ｓ１１の初期化では、この学習を行うための準備とし
て、クラスのデータテーブルＥ（＊）およびクラスの度
数カウンタＮ（＊）へ０のデータが書き込まれる。ここ
で、“＊”は、全てのクラスを示し、データテーブル
は、Ｅ（Ｃ０）となり、クラスＣ０に対応する度数カウ
ンタは、Ｎ（Ｃ０）となる。ステップＳ１１の制御が終
了すると、ステップＳ１２へ制御が移る。

【００５６】ステップＳ１２のクラス検出では、学習対
象となる周波数成分の近傍データからクラスＣを決定す
る。例えば、上述の例のように注目される周波数成分を
含む近傍８つの周波数成分に１ビットＡＤＲＣを適用し
た場合、１２８クラスに分類される。また、このクラス
分類の手法としては、上述のようにＡＤＲＣの他にも、
ＰＣＭ表現、ＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴ、アダマ
ール変換などの分類法が考えられる。また、クラス分類
対象データより構成されるブロックのアクティビティー
を考慮する場合は、クラス数をアクティビティーによる
分類の種類だけ増やしておくことも考えられる。

【００５７】次に、ステップＳ１３のデータ検出では、
目標とする教師信号ｅが検出される。ステップＳ１４の
クラス別データ加算では、クラスＣ毎に教師信号ｅがそ
れぞれ加算され、ステップＳ１５のクラス別度数加算で
は、クラスＣの学習データの度数カウンタＮ（Ｃ）が＋
１インクリメントされる。全学習対象データについて繰
り返しステップＳ１２からステップＳ１５の制御が終了
したか否かを判定するステップＳ１６では、全データの
学習が終了していれば、ステップＳ１７へ制御が移り、
全データの学習対象が終了していなければ、ステップＳ
１２へ制御が移る。すなわち、ステップＳ１６は、全デ
ータの学習が終了になるまで、ステップＳ１２からステ
ップＳ１５までの制御を繰り返し実行し、全てのクラス
の度数カウンタＮ（＊）と対応する全てのクラスのデー
タテーブルＥ（＊）が生成される。

【００５８】ステップＳ１７のクラス別平均値算出で
は、各クラスのデータテーブルＥ（＊）の内容であるデ
ータ積算値を対応クラスの度数カウンタＮ（＊）の度数
で、除算が実行され、各クラスの平均値が算出される。
この処理は、教師信号分布の重心を算出することと等価
である。この平均値が重心法による各クラスの最適予測
値となる。そして、ステップＳ１８のクラス別平均値登
録では、ＲＯＭなどの記憶手段に各クラスに対応する最
適予測値（予測周波数成分）を登録することで重心法に
よる学習、すなわち、このフローチャートは、終了す
る。上述のように学習過程において、ノイズの影響を排
除するため、アクティビティーの小さい場合を学習対象
から外すことも考えられる。上述した予測法および重心
法により、画素より詳細な位置となる周波数成分の予測
を行うことができる。

【００５９】次に、この発明で使用されている位相相関
法について詳しく説明する。この位相相関法は、上述し
た位相相関算出部５および２５に適用されるものであ
り、上述したように現画像と過去画像の同一位置のブロ
ックデータに対し、各々フーリエ変換を施し、フーリエ
変換により得られた周波数成分から中間周期での周波数
成分が予測され、この予測された予測周波数成分を用い
て周波数領域での位相のズレ量を検出し、その位相項よ
り逆フーリエ変換を経て動きベクトルを検出する手法で
ある。以下に、画素精度の動きベクトルを検出する場合
の位相相関法について説明する。最初に２つの信号
ｇ₁ 、ｇ₂ の相互相関関数ｓ_A （τ）は、式（１０）で
定義される。

【００６０】

【数９】 （−∞＜τ＜∞）

【００６１】相互相関関数ｓ_A （τ）のフーリエ変換Ｓ
_A （ω）は、クロスパワースペクトラムと呼ばれ式（１
１）で示される。 Ｓ_A （ω）＝Ｇ₁ ^* （ω）Ｇ₂ （ω） （１１）

【００６２】ここで、Ｇ₂ （ω）は、ｇ₁ （ｔ）のフー
リエ変換の複素共役を意味する。また、Ｇ₁ ^* （ω）
は、ｇ₂ （ｔ）のフーリエ変換を意味する。こうして時
間領域における２つの信号の相互相関は、周波数領域に
おいてクロスパワースペクトラムを用いた表現が可能と
なる。このことを利用して位相相関法は、２つの信号間
の位相差を検出する手法である。以下に位相相関法を用
いた動きベクトル検出処理の手順を示す。

【００６３】第１の処理として、２つの対象画像ｇ₁ 、
ｇ₂ （ブロックサイズ：Ｍ×Ｎ）を設定する。そして、
第２の処理として、この対象画像ｇ₁ 、ｇ₂ に対してフ
ーリエ変換を施し、Ｇ₁ 、Ｇ₂ を得る。

【００６４】

【数１０】 （０≦ｋ₁ ≦Ｍ−１，０≦ｋ₂ ≦Ｎ−１）

【００６５】第３の処理として、クロスパワースペクト
ラムＧ₁ 、Ｇ₂ ^* を用いて、下記の位相相関（位相差行
列） exp（-jφ）を算出する。φは、２つの画像ブロッ
クの位相差に対応する。 exp（−ｊφ）＝（Ｇ₁ ・Ｇ₂ ^* ）／｜Ｇ₁ ・Ｇ₂ ^* ｜ （１４）

【００６６】次に、第４の処理として、位相相関（位相
差行列）に対し、下記の逆フーリエ変換により、位相相
関関数ｄ（ｉ₁ ，ｉ₂ ）を得る。

【００６７】

【数１１】 （０≦ｉ₁ ≦Ｍ−１，０≦ｉ₂ ≦Ｎ−１）

【００６８】そして、第５の処理として、位相相関関数
ｄ（ｉ₁ ，ｉ₂ ）において検出されるピークの位置が動
きベクトルに対応する。以上の手順により、位相相関関
数を用いた画素精度の動きベクトルが検出される。

【００６９】この発明の動きベクトル検出は、この位相
相関法を適用して１画素単位より高い精度の動きベクト
ルを検出するものである。以下に、１画素単位より高い
精度の動きベクトルを検出する場合の位相相関法につい
て説明する。最初に、式（１２）および式（１３）から
得られる周波数成分の分布に対してクラス分類適応処理
を適用することで中間周期における周波数成分の予測が
行われる。

【００７０】その結果、周波数成分分布Ｇ₁ （ｋ₁ ，ｋ
₂ ）およびＧ₂ （ｋ₁ ，ｋ₂ ）における０≦ｋ₁ ≦Ｍ−
１かつ０≦ｋ₂ ≦Ｎ−１（ブロックサイズ：Ｍ×Ｎ）と
いう条件が０≦ｋ₁ ≦Ｘ−１かつ０≦ｋ₂ ≦Ｙ−１（ブ
ロックサイズ：Ｘ×Ｙ）という条件に拡大される。ここ
で、Ｘ、Ｙは、予測された中間周期の分だけＭ、Ｎより
増加することになる。こうして新たに予測された周波数
成分分布Ｇ₁ （ｋ₁ ，ｋ₂ ）およびＧ₂ （ｋ₁ ，ｋ₂ ）
をもとにクロスパワースペクトラムＧ₁ およびＧ₂ を用
いて式（１６）の位相相関（位相差行列） exp（-jφ）
を算出する。

【００７１】 exp（−ｊφ）＝（Ｇ₁ ・Ｇ₂ ^* ）／｜Ｇ₁ ・Ｇ₂ ^* ｜ （１６）

【００７２】さらに、位相相関（位相差行列）に対し式
（１７）の逆フーリエ変換により位相相関関数ｄ
（ｉ₁ ，ｉ₂ ）を得る。

【００７３】

【数１２】 （０≦ｉ₁ ≦Ｘ−１，０≦ｉ₂ ≦Ｙ−１）

【００７４】式（１７）は、入力信号より詳細な位置に
おける位相相関値が示されることになるので、位相相関
関数ｄ（ｉ₁ ，ｉ₂ ）において検出されるピークの位置
は、１画素単位より高い精度の動きベクトルとなる。

【００７５】ここで、上述したこの発明の一実施例の処
理を要約すれば、入力された画像信号に対して、ブロッ
ク分割が行われ、ブロック分割された画像信号は、フー
リエ変換された後、クラス分類適応処理（予測法または
重心法）が施され、フーリエ変換により得られた周波数
成分から中間周期における周波数成分の予測が行われ、
予測された予測周波数成分を含む画像信号に対して、位
相相関法を適用して現画像と過去画像との位相相関が検
出され、検出された位相相関に基づいて１画素単位より
高い精度の動きベクトルが検出される。

【００７６】

【発明の効果】この発明に依れば、フーリエ変換により
得られた周波数成分から中間周期における周波数成分の
予測がクラス分類適応処理を適用して行われ、その予測
結果に基づいて１画素単位より高い精度の動きベクトル
の検出が可能となる。また、検出された動きベクトルの
精度が向上する。従って、この発明を高能率符号化に適
用すると圧縮効率を向上することができる。

【図面の簡単な説明】

【図１】この発明が適用される動きベクトル検出装置の
一実施例である。

【図２】中間周期における周波数成分を説明するための
略線図である。

【図３】この発明が適用される動きベクトル検出装置の
変形例である。

【図４】この発明が適用される動きベクトル検出装置の
変形例である。

【図５】この発明が適用される動きベクトル検出装置の
他の実施例である。

【図６】この発明の動きベクトル検出装置の予測係数の
学習方法の一例を示すフローチャートである。

【図７】この発明の動きベクトル検出装置の重心法の学
習方法の一例を示すフローチャートである。

【符号の説明】

２・・・ブロック生成部、３、７・・・フーリエ変換
部、４、８・・・クラス分類適応処理部、５・・・位相
相関算出部、６・・・フレームメモリ、８・・・ベクト
ル検出部

Claims (8)

【特許請求の範囲】
1. 【請求項１】 位相相関法による動きベクトル検出装置
   において、 対象となる画像信号に対してフーリエ変換を施し、上記
   フーリエ変換により得られた周波数成分から中間周期に
   おける周波数成分の予測を行う予測手段と、 予測された上記周波数成分の現画像と過去画像とを位相
   相関法を適用することによって、１画素より高い精度の
   動きベクトルを検出する動きベクトル検出手段とかなる
   ことを特徴とする動きベクトル検出装置。
2. 【請求項２】 請求項１に記載の動きベクトル検出装置
   において、 上記予測手段は、 上記フーリエ変換により得られた周波数成分に対してク
   ラス分類を行いクラスを生成するクラス生成手段と、 予め学習により獲得された予測係数値をクラス毎に格納
   する記憶手段と、 上記記憶手段から上記クラスに対応した上記予測係数値
   を読み出し、予測式による演算から中間周期における周
   波数成分の予測を行う演算手段とからなることを特徴と
   する動きベクトル検出装置。
3. 【請求項３】 請求項２に記載の動きベクトル検出装置
   において、 上記演算手段で用いられる上記予測式は、線形１次結合
   式であることを特徴とする動きベクトル検出装置。
4. 【請求項４】 請求項２に記載の動きベクトル検出装置
   において、 上記フーリエ変換により得られた周波数成分のアクティ
   ビティーが小さい場合、上記周波数成分を学習対象から
   除外して学習を行いクラス毎に上記予測係数値を獲得す
   ることを特徴とする動きベクトル検出装置。
5. 【請求項５】 請求項１に記載の動きベクトル検出装置
   において、 上記予測手段は、 上記フーリエ変換により得られた周波数成分に対してク
   ラス分類を行いクラスを生成するクラス生成手段と、 予め学習により獲得された最適予測値をクラス毎に格納
   する記憶手段とからなることを特徴とする動きベクトル
   検出装置。
6. 【請求項６】 請求項５に記載の動きベクトル検出装置
   において、 上記記憶手段に格納される上記最適予測値は、上記フー
   リエ変換により得られた周波数成分に基づいて分類され
   るクラス毎に、重心法を用いて予め獲得されることを特
   徴とする動きベクトル検出装置。
7. 【請求項７】 請求項５に記載の動きベクトル検出装置
   において、 上記フーリエ変換により得られた周波数成分のアクティ
   ビティーが小さい場合、上記周波数成分を学習対象から
   除外して学習を行い、クラス毎に上記最適予測値を獲得
   することを特徴とする動きベクトル検出装置。
8. 【請求項８】 位相相関法による動きベクトル検出方法
   において、 対象となる画像信号に対してフーリエ変換を施し、上記
   フーリエ変換により得られた周波数成分から中間周期に
   おける周波数成分の予測を行うステップと、 予測された上記周波数成分の現画像と過去画像とを位相
   相関法を適用することによって、１画素より高い精度の
   動きベクトルを検出するステップとかなることを特徴と
   する動きベクトル検出方法。