JP3861325B2

JP3861325B2 - 動きベクトル検出装置および検出方法

Info

Publication number: JP3861325B2
Application number: JP14656296A
Authority: JP
Inventors: 哲二郎近藤; 泰弘藤森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-05-16
Filing date: 1996-05-16
Publication date: 2006-12-20
Anticipated expiration: 2016-05-16
Also published as: JPH09307907A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力された画像信号から画素位置より詳細な位置における画素値の予測をクラス分類適応処理を用いて行い、より高い精度の動きベクトルを検出できる動きベクトル検出装置および検出方法に関する。
【０００２】
【従来の技術】
ディジタル画像を対象とした動きベクトル検出の重要度は、近年ますます高まっている。それは実用面への貢献が大きいからである。例えば、画像圧縮における動き補償に用いられる動きベクトルの精度の向上は、圧縮効率の向上をもたらしており、そのため動きベクトル検出方法に関しては、種々の提案がなされている。一般に、動画像を対象とした動きベクトルの検出方法は、次の３種類に大別される。
【０００３】
第１の動きベクトルの検出方法は、ブロックマッチング法である。ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行なうことによって動きベクトルを検出する。具体的には、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和が最小となる位置を動きベクトルとするものである。この方法は、検出精度が良いが、演算量が多い欠点がある。
【０００４】
そして、第２の動きベクトルの検出方法は、勾配法である。勾配法は、一定の空間傾斜を持つ画素が、ある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づき、動きベクトルを検出する。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。演算量は少ないが、動き量が大きくなると、精度が落ちるという欠点がある。それは、一定の空間傾斜を持つというモデルが成り立たなくなるからである。
【０００５】
また、第３の動きベクトルの検出方法は、位相相関法である。位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項より逆フーリエ変換を経て動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動き物体が存在する可能性が高く、その識別が難しくなるという欠点がある。また、動きベクトルの精度は、フーリエ変換の対象画素精度になるので、入力画素ピッチの動きベクトルしか得られない。
【０００６】
【発明が解決しようとする課題】
上述した従来の方法によって検出される動きベクトルの精度は、入力画像信号の画素位置精度（すなわち、１画素単位）である。例えば、動き補償の場合では、精度の高い補償を行うためには、より高い精度の動きベクトルを検出することが必要とされる。
【０００７】
したがって、この発明の目的は、入力画像信号の画素位置精度より高い精度の動きベクトルを検出することができる動きベクトル検出装置および検出方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、画像の動きベクトルを検出する検出装置において、
入力画像信号の画素位置精度の第１の動きベクトルを検出する第１の動きベクトル検出部と、
第１の動きベクトルによって動き補償された画像信号を形成する動き補償部と、
入力画像信号に対してクラス分類適応処理を用いて画素位置より詳細な位置における画素値を予測し、詳細な画像信号を形成する予測部と、
動き補償された画像信号と、詳細な画像信号とが入力され、勾配法によって詳細な位置と対応する精度の第２の動きベクトルを検出する第２の動きベクトル検出部と、
第１の動きベクトルと第２の動きベクトルとを加算して最終的な動きベクトルを形成する合成部と
を有することを特徴とする動きベクトル検出装置である。
【０００９】
また、請求項８に記載の発明は、画像の動きベクトルを検出する検出方法において、
入力画像信号の画素位置精度の第１の動きベクトルを検出するステップと、
第１の動きベクトルによって動き補償された画像信号を形成する動き補償ステップと、
入力画像信号に対してクラス分類適応処理を用いて画素位置より詳細な位置における画素値を予測し、詳細な画像信号を形成するステップと、
動き補償された画像信号と、詳細な画像信号とが入力され、勾配法によって詳細な位置と対応する精度の第２の動きベクトルを検出するステップと、
第１の動きベクトルと第２の動きベクトルとを合成し最終的な動きベクトルを形成するステップと、
を有することを特徴とする動きベクトル検出方法である。
【００１０】
入力画像が第１の動きベクトル検出部によって、入力画像信号の画素位置精度の第１の動きベクトルが検出される。この第１の動きベクトルによって動き補償がなされた画像信号が形成される。また、クラス分類適応処理を用いて画素位置より詳細な位置における画素値が予測される。詳細な予測画像と動き補償がなされた画像信号とを使用し、勾配法によって画素位置精度より高い精度の第２の動きベクトルが検出する。第１の動きベクトルと第２の動きベクトルとが加算され、最終的な動きベクトルが生成される。
【００１１】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の一実施例の構成を示し、図１において１で示す入力端子からデジタル画像信号が供給される。入力画像信号は、メモリ２およびクラス分類適応処理部３に供給される。メモリ２に蓄えられた画像信号を使用して、第１の動きベクトルＶ１を検出する前段の検出部４が設けられる。
【００１２】
前段検出部４における動きベクトル検出の方法としては、前述した既存の方法の何れを採用しても良い。例えば、前段検出部４では、ブロックマッチング法を用いて画素位置精度の動きベクトルが検出される。ブロックマッチング法の説明のために、ブロックデータの構造例を図２に示す。時間的に隣接するフレームにおいて、あるブロックの動きベクトルを検出する場合を考える。＃Ｎフレームと＃（Ｎ−１）フレームにおいて、空間的に対応する位置に、Ｍ画素×Ｎラインの大きさのブロックが設定される。サーチ領域において、＃Ｎフレームのブロックと、＃（Ｎ−１）フレームでの各座標でのブロックの間でパターンマッチングを行ない、マッチングが最良な座標を検出する。各位置毎に対応するＭ画素×Ｎラインの大きさのブロック内の対応画素のフレーム差分絶対値和、フレーム差の二乗和などが評価値として用いられる。
【００１３】
＃Ｎフレームの各画素レベルをＬ_n（ｉ，ｊ）、＃（Ｎ−１）フレームの各画素レベルをＬ_n-1 （ｉ，ｊ）とすると、座標（ｘ、ｙ）における評価式の例として次の式（１）が使用される。
【００１４】
【数１】

【００１５】
図２の例においては、Ｘ・Ｙ点の各座標において、式（１）によって動き評価値Ｅの値を算出する。Ｘ・Ｙ点の座標のうち、評価値が最小値を示す座標が第１の動きベクトルＶ１となる。ここで算出される評価値が各画素毎に求められるので、検出される動きベクトルＶ１は、入力画像信号の画素位置精度である。
【００１６】
前段検出部４で検出された第１の動きベクトルＶ１が加算器５に出力されると共に、メモリ２に供給される。メモリ２は、例えばフレームメモリと、そのアドレス制御部とを含み、動きベクトルＶ１によってフレームメモリのアドレスを制御することによって、動き補償がなされる。すなわち、検出された第１の動きベクトルＶ１に対応して１フレームの画像全体が移動される。若し、フレーム間の動きが１画素の丁度整数倍であれば、動き補償された画像は、前フレームの画像と一致したものとなる。
【００１７】
クラス分類適応処理部３は、入力画像信号の波形に基づいてクラス分類を行うクラス分類部６と、クラス分類部６で発生したクラスを表すクラスコードがアドレスとして供給される係数メモリ７と、メモリ７から読出された係数値と入力画像信号の複数の画素値との線形１次結合により予測値を生成する予測演算部８とにより構成される。この複数の画素値としては、予測対象の画素の周辺のものが使用される。その詳細は、後述するが、クラス分類適応処理部３は、入力画像信号の画素位置精度より詳細な位置における画素値を予測する。例えば水平方向および垂直方向において、入力画像信号の画素ピッチの１／２の位置に新たな画素値を予測する。予測された詳細な画像信号が後段検出部９に供給される。
【００１８】
後段検出部９には、メモリ２からの動き補償された画像信号と、処理部３からの予測画像信号とが入力される。動き補償された画像信号は、後段検出部９において、過去（例えば前フレーム）の参照画像として使用される。後段検出部９は、勾配法によって第２の動きベクトルＶ２を検出する。この動きベクトルＶ２は、より詳細な位置と対応する精度の動きベクトルである。第２の動きベクトルＶ２が加算器５に供給され、前段検出部４からの第１の動きベクトルＶ１と加算される。加算器５から出力端子１０に最終的な動きベクトルの出力が得られる。第１の動きベクトルＶ１は、入力画像信号の画像位置精度であり、水平および垂直方向に関して整数の値である。一方、第２の動きベクトルＶ２は、詳細画像の画像位置精度であり、水平および垂直方向に関して、小数の値または０である。
【００１９】
後段検出部９において使用される勾配法について述べるが、基本的な考え方は次の式で示される。
（時間方向の画素差分値）＝（空間内の画素値勾配）×（動き量）・・（２）
この式（２）により動きベクトルＶ２は、次の式（３）により計算される。
Ｖ２＝δＴ／δＳ・・・・（３）
Ｖ；動きベクトル
δＳ；空間内の画素値勾配
δＴ；時間方向の画素差分値
【００２０】
式（３）を２次元（水平および垂直方向）に拡張すれば、画像を対象とした勾配法による動きベクトル検出が実行される。式（３）においては空間内の画素値勾配が動き量に対し一定値であることを仮定しているが、一般の動きベクトル検出時には空間内の画素値勾配が変化するため検出誤りが発生することがある。この発明の一実施例では、２段構成の動きベクトル検出を行うので、検出精度を向上することができる。すなわち、第１の動きベクトルＶ１により動きの多くの部分を補償し、その後で、勾配法を適用することによって、検出誤りを少なくすることができる。さらに、クラス分類適応処理を用い画素位置以下精度の詳細画像を生成し勾配法を用いることにより、画素位置以下精度の動きベクトルを検出できる。
【００２１】
図３は、勾配法によって後段検出部９が動きベクトルを検出する時の処理の概略を示す。横軸は、水平方向の位置を示し、縦軸が画素値を示す。実線で示す波形は、クラス分類適応処理部３によって予測された詳細画像（例えばピッチが元の１／２）を表し、破線で示す波形は、メモリ２から供給される動き補償後の過去の画像、例えば１フレーム前の画像（参照画像）を示す。空間勾配δＳは、詳細画像中の隣接する画素の値ｘ_iおよびｘ_i-1間の差分として計算される。簡単のため、図３に示す波形は、勾配が１のものであり、δＳ＝１である。
【００２２】
時間方向の画素差分値δＴは、現フレームの画素値ｘ_iと、この画素と同一位置の前フレームの画素の値ｘ_i-fの差分である。図３の例では、δＴ＝０．７５である。従って、第２の動きベクトルは、Ｖ２＝δＴ／δＳ＝０．７５と検出される。詳細画像において、空間勾配δＳを求めているので、空間勾配が一定という条件を満たす上で有利である。また、１画素ピッチより細かいピッチと対応する精度の動きベクトルＶ２を検出できる。図３は、水平方向についての動き検出のみを示すが、実際には、垂直方向についても同様に動き検出がなされる。そして、水平および垂直方向の両方向の成分からなる動きベクトルＶ２が形成される。さらに、動きの方向は、動きベクトルの極性により表される。
【００２３】
ここで、クラス分類適応処理回路３に適用されたクラス分類適応処理とは、入力信号のレベル分布のパターンに基づきこの入力信号を幾つかのクラスに分類し、予め用意されたクラス毎に適切な適応処理を実行する手法である。クラス分類法の例としては、入力信号（８ビットＰＣＭデータ）に対して、クラス生成タップを設定し、入力信号のレベル分布のパターンによりクラスを生成する手法があげられる。信号波形のクラス生成法としては次のものが提案されている。
【００２４】
１）ＰＣＭデータを直接使用する。
２）ＡＤＲＣ（適応的ダイナミックレンジ符号化）を適用し、クラス数を削減する。
３）ＤＰＣＭ（予測符号化）を適用し、クラス数を削減する。
４）ＶＱ（ベクトル量子化）を適用し、クラス数を削減する。
５）ＤＣＴ（離散的コサイン変換）などの周波数領域においてクラス分類を行う。
【００２５】
ＰＣＭデータを直接使用するとクラス数は、膨大な数になり、実用上において問題である。そこで、実際は、ＡＤＲＣ（ダイナミックレンジに適応した符号化）などを適用しクラス数の削減を図る。ＡＤＲＣは、ＶＴＲ用の信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの処理を次の式（４）に示す。
【００２６】
ｃｉ＝（Ｅｉ−ＭＩＮ）／（ＤＲ／２^k）（４）
ｃｉ：ＡＤＲＣコード
ＭＩＮ：近傍領域内の画素の最小値
ＤＲ：近傍領域内のダイナミックレンジ
ｋ：量子化ビット数
【００２７】
注目データ近傍の数タップに対し式（４）で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコードによりクラス分類を行う。例えば、７画素データに対し１ビットの再量子化を実行する１ビットＡＤＲＣを適用すると、７画素から定義されるダイナミックレンジに基づき、それらの最小値を除去した上で、７タップのデータを適応的に１ビット量子化する。その結果、７画素データを７ビットで表現することになり、１２８クラスに削減することが可能となる。
【００２８】
また、クラス分類の性能を更に向上させるため、入力信号のアクティビティーも考慮した上でクラス分類が行われることがある。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭをクラス分類法に用いる場合、差分絶対値和、ＢＴＣをクラス分類法に用いる場合、標準偏差の絶対値などがアクティビティーの判定法として用いられる。
【００２９】
そして、このときには、アクティビティーによる分類結果毎に、上述のＡＤＲＣを用いたクラス分類などを行うことになる。また、学習過程において、アクティビティーの小さいデータを学習対象から外す。この理由は、アクティビティーの小さい部分は、ノイズの影響が大きく、本来のクラスの予測値から外れることが多い。そのため、これを学習に入れると予測精度が低下する。これを避けるため、学習においては、アクティビティーの小さいデータを除外する。
【００３０】
クラス分類部６によって上述のようにクラス分類がなされ、クラス毎に適応処理を実行する。クラス分類適応処理部３は、生成されたクラス毎に係数メモリ７から読出された予測係数を用いた予測処理を行う。予測用のタップが例えば１３の場合に、予測演算部８により演算される予測式の例を式（５）に示す。
【００３１】
【数２】

【００３２】
ｙ´：推定画素値
ｘ_i：予測用のタップの入力信号画素値
ｗ_i：予測係数
【００３３】
上述の予測係数は、予め学習により生成しておく。以下、その学習方法について述べる。式（５）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。その最小自乗法は、次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値としてつぎの式を考える。
【００３４】
観測方程式；ＸＷ＝Ｙ・・・（６）
【００３５】
【数３】

【００３６】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（６）および式（７）の観測方程式をもとに、式（８）の残差方程式を考える。
【００３７】
【数４】

【００３８】
式（８）の残差方程式から、各ｗ_iの最確値は、誤差の二乗和を最小にする条件が成り立つ場合と考えられる。誤差の二乗和は、次の数式で示される。
【００３９】
【数５】

【００４０】
すなわち、次の式（９）の条件を考慮すれば良いわけである。
【００４１】
【数６】

【００４２】
式（９）のｉに基づくｎ個の条件を考え、これを満たすｗ₁ ，ｗ₂ ，・・・，ｗ_nを算出すれば良い。そこで、残差方程式（８）から次の式（１０）が得られる。
【００４３】
【数７】

【００４４】
式（９）および式（１０）により式（１１）が得られる。
【００４５】
【数８】

【００４６】
そして、式（８）および式（１１）から、正規方程式（１２）が得られる。
【００４７】
【数９】

【００４８】
式（１２）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗ_iの最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００４９】
ここで、上述の最小自乗法を用いて予測係数の学習をソフトウェアで行う一例を図４のフローチャートに示す。まず、ステップＳ１の学習データ形成からこのフローチャートは始まり、このステップＳ１において、既知の画像に対応した学習データが形成される。そして、ステップＳ３のクラス決定において、入力データに対してクラス分類が行われる。
【００５０】
ステップＳ４において、各クラス毎に、式（１２）の正規方程式が生成される。この学習プロセスにおいて、多くの学習データが登録された正規方程式が生成される。ステップＳ２において学習対象データが終了したものと決定されるまで、正規方程式生成プロセスが繰り返される。
【００５１】
対象となる学習データが全て終了すると、ステップＳ５の予測係数決定に制御が移る。ここでは、多くの学習データより生成された、クラス毎の式（１２）の正規方程式が解かれる。その連立方程式の解法としては、上述の掃き出し法が用いられる。こうして得られた予測係数は、ステップＳ６の予測係数登録の過程において、クラス別にアドレス分割されたＲＯＭなどの記憶部に登録される。以上の学習過程により、クラス分類適応処理の予測係数が生成される。
【００５２】
図５は、この発明の他の実施例を示す。前段検出部４において画素位置精度の第１の動きベクトルＶ１を検出し、画素位置より細かい位置の第２の動きベクトルＶ２を後段検出部９により検出し、動きベクトルＶ１およびＶ２を加算器５にて加算して最終的な動きベクトルを生成することは、上述した一実施例と同様である。他の実施例では、図２において３’で示すように、クラス分類適応処理部として、最適な予測値が格納されている予測値メモリ１１が使用される。すなわち、予測値メモリ１１では、後述するように、重心法によって予め獲得された予測値がクラス毎に格納されている。クラス分類部６により生成されたクラスに対応して予測値がメモリ１１から読出され、メモリ１１から詳細な画像信号が後段検出部９に対して出力される。
【００５３】
クラス分類適応処理部３’は、重心法を用いて画素位置より細かい位置の画素値を予測する。重心法は、各クラス毎に予め学習に用いられる教師信号の分布重心を算出し、この値を最適予測値としてＲＯＭなどに蓄え、各クラス毎の最適予測値として出力する手法である。従って、メモリ１１には、予め獲得された予測値が格納されている。クラス分類部６で発生したクラスに対応した最適予測値がから読み出され、読み出された最適予測値が後段検出部９に供給される。後段検出部９では、一実施例と同様に、メモリ２からの動き補償がされた画像信号と適応処理部３’からの詳細な予測画像信号を使用して画素位置より細かい位置の精度と対応する動きベクトルＶ２を生成する。そして、加算器５において動きベクトルＶ１とＶ２とが加算され、最終的な動きベクトルが出力端子１０に取り出される。
【００５４】
ここで、メモリ１１に最適な予測値を蓄えるためになされる、予測値の学習方法の一例のフローチャートを図６に示す。ステップＳ１１からこのフローチャートが始まり、そのステップＳ１１において、全てのクラスの度数カウンタＮ（＊）と、全てのクラスのデータテーブルＥ（＊）の初期化が行われる。ここで、あるクラスをＣ０とすると、対応する度数のカウンタはＮ（Ｃ０）、対応するデータテーブルはＥ（Ｃ０）と定義する。また、＊はクラスの全てを示す。
【００５５】
ステップＳ１２のクラス検出では、学習対象画素の近傍データからクラスＣが決定される。このクラス分類の手法としては、上述のように、ＡＤＲＣ、ＰＣＭ表現、ＤＰＣＭ、ＢＴＣ（ブロックトランケーション符号化）、ＶＱ、直交変換などを使用することができる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合、クラス数をアクティビティーによる分類の種類だけ増やしておく。
【００５６】
そして、ステップＳ１３では、この学習対象となる画素値ｙを検出し、検出された画素値ｙは、ステップＳ１４において、クラスＣ毎に画素値ｙをそれぞれ加算する。すなわち、クラスＣのデータテーブルＥ（Ｃ）の内容にｙを加算した後、ステップＳ１５では、クラスＣの学習画素の度数カウンタＮ（Ｃ）が＋１インクリメントされる。ステップＳ１６では、以上の処理を全学習対象画素について繰り返し実行し、最終的な全てのクラスの度数カウンタＮ（＊）と、対応する全てのクラスのデータテーブルＥ（＊）が生成されると、ステップＳ１７へ制御が移る。
【００５７】
ステップＳ１７では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を、対応クラスの度数カウンタＮ（＊）の度数で、除算を実行することで各クラスの平均値を算出する。この値が重心法による各クラスの最適予測値となる。最終的に、ステップＳ１８において、ＲＯＭなどの記憶手段に、クラスと上述の最適予測値を登録することで重心法による学習は終了する。また、学習過程においてノイズの影響を排除するため、アクティビティーの小さい画素は学習対象から除外される。このように、学習により得られた予測値がクラス別にメモリに格納され、クラス分類部で生成されたクラスがアドレスとしてメモリに供給される。
【００５８】
【発明の効果】
この発明に依れば、入力画像信号の画素位置より小の精度の動きベクトルを検出することができる。また、この発明に依れば、前段検出部と後段検出部の二段構成としているので、後段検出部が勾配法によって動きベクトルを検出する時に、大きな動きを補償し、また、局所的な空間勾配を用いるので、検出誤りを防止することができる。さらに、勾配法を使用するので、ブロックマッチング法のように、演算量が多くなったり、ハードウエアの規模が大きくなることを防止することができる。これらの利点を有するこの発明を画像データの圧縮のための高能率符号化に適用すると圧縮効率を向上することができる。
【図面の簡単な説明】
【図１】この発明による動きベクトル検出装置の一実施例である。
【図２】この発明の一実施例における前段検出部の動きベクトル検出処理を示す略線図である。
【図３】後段検出部における勾配法による動きベクトル検出処理を概略的に示す略線図である。
【図４】この発明の動きベクトル検出装置の予測係数の学習方法の一例を示すフローチャートである。
【図５】この発明による動きベクトル検出装置の他の実施例のブロック図である。
【図６】この発明の他の実施例において、最適予測値を学習する方法の一例を示すフローチャートである。
【符号の説明】
２・・・メモリ、３，３’・・・クラス分類適応処理回路、４・・・前段検出部、５・・・加算器、９・・・後段検出部

Claims

画像の動きベクトルを検出する検出装置において、
入力画像信号の画素位置精度の第１の動きベクトルを検出する第１の動きベクトル検出部と、
上記第１の動きベクトルによって動き補償された画像信号を形成する動き補償部と、
上記入力画像信号に対してクラス分類適応処理を用いて上記画素位置より詳細な位置における画素値を予測し、詳細な画像信号を形成する予測部と、
上記動き補償された画像信号と、上記詳細な画像信号とが入力され、勾配法によって上記詳細な位置と対応する精度の第２の動きベクトルを検出する第２の動きベクトル検出部と、
上記第１の動きベクトルと上記第２の動きベクトルとを加算して最終的な動きベクトルを形成する合成部と
を有することを特徴とする動きベクトル検出装置。
請求項１に記載の動きベクトル検出装置において、
上記予測部は、
上記入力画像信号に対してクラス分類を行いクラスを生成するクラス生成部と、
予め学習により獲得された予測係数をクラス毎に格納する記憶部と、
上記記憶部から上記クラスに対応した上記予測係数を読み出し、上記予測係数と、予測画素に対応する予測タップとの予測式による演算によって予測値を生成する予測値生成部とを有することを特徴とする動きベクトル検出装置。
請求項２に記載の動きベクトル検出装置において、
上記予測値生成部で用いられる上記予測式は、線形１次結合式であることを特徴とする動きベクトル検出装置。
請求項２に記載の動きベクトル検出装置において、
対象となる上記画像信号のアクティビティーが小さい場合、上記画像信号を学習対象から除外して学習を行い、クラス毎に上記予測係数を獲得することを特徴とする動きベクトル検出装置。
請求項１に記載の動きベクトル検出装置において、
上記予測部は、
上記入力画像信号に対してクラス分類を行いクラスを生成するクラス生成部と、
予め学習により獲得された最適予測値を上記クラス毎に格納する記憶部とを有し、
上記クラスに対応する上記最適予測値によって上記詳細な画像信号を形成することを特徴とする動きベクトル検出装置。
請求項５に記載の動きベクトル検出装置において、
上記記憶部に格納される上記最適予測値は、入力画像信号に基づいて分類されるクラス毎に、予測画素の画素値の平均値が上記最適予測値として予め学習され記憶されていることを特徴とする動きベクトル検出装置。
請求項５に記載の動きベクトル検出装置において、
入力画像信号のアクティビティーが小さい場合、入力画像信号を学習対象から除外して学習を行い、クラス毎に上記最適予測値を獲得することを特徴とする動きベクトル検出装置。
画像の動きベクトルを検出する検出方法において、
入力画像信号の画素位置精度の第１の動きベクトルを検出するステップと、
上記第１の動きベクトルによって動き補償された画像信号を形成する動き補償ステップと、
上記入力画像信号に対してクラス分類適応処理を用いて画素位置より詳細な位置における画素値を予測し、詳細な画像信号を形成するステップと、
上記動き補償された画像信号と、上記詳細な画像信号とが入力され、勾配法によって上記詳細な位置と対応する精度の第２の動きベクトルを検出するステップと、
上記第１の動きベクトルと上記第２の動きベクトルとを合成し最終的な動きベクトルを形成するステップと、
を有することを特徴とする動きベクトル検出方法。