JP4748127B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、効率よく符号化を行うことができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。

最近、MPEG(Moving Picture Experts Group)に代表される圧縮方式が普及し、ビデオデータやオーディオデータは、MPEG方式で圧縮された上で、ハードディスク、磁気テープ、光ディスクといった記録媒体に記録されたり、ネットワークを介して伝送されたり、衛星を介して放送される。

MPEG方式では、例えば、図１に示されるように、現在フレームの前後に、前フレームと後フレームが存在するような場合、現在フレームが、例えば、８×８画素のブロックに分割される。そして、前フレームの所定の探索範囲内において、８×８画素のブロックが抽出され、現在フレームのブロック１と前フレームのブロック２が、画素毎に絶対差分和、自乗誤差和、または代表点マッチング処理により比較される。前フレームのブロック２は、探索範囲内でその位置が順次移動される。

そして、探索範囲の中で、絶対差分和、自乗誤差和、または代表点マッチングの値が最も小さかった相対座標位置が動きベクトルとして推定される。

さらに、クラス分類適応処理が用いられる場合、動きベクトルに対応するブロック２の画素から、クラス分類適応処理に基づいて、ブロック位置の画素が予測され、動きベクトルと予測値とが伝送される。

しかしながら、このような、従来のブロックマッチングとクラス分類適応処理を用いる予測符号化方式は、伝送効率、圧縮効率、および符号化効率が悪いという課題があった。

本発明は、このような状況に鑑みてなされたものであり、伝送効率、圧縮効率、および符号化効率を向上させるようにするものである。

本発明の一側面の情報処理装置は、生成する第１のフレームより時間的に前の第２のフレームの画像データを保持する保持手段と、前記第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータを取得する取得手段と、前記取得手段により取得された前記第１の画素データに関連するデータから、前記第１の画素データに対応する前記第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、前記複数の第２の画素データを前記クラス分類適応処理することにより生成された予測値と、前記第１の画素データとの差に対応する予測残差であるか否かを表すフラグを抽出するフラグ抽出手段と、前記フラグ抽出手段により抽出された前記予測残差であるか否かを表すフラグに基づいて、前記取得手段により取得された前記第１の画素データに関連するデータに含まれているのが、前記第１の画素データと前記第１の画素データに対応する前記第２の画素データとの位置により規定される動きベクトルであるか否かを判定する判定手段と、前記判定手段により前記動きベクトルが含まれていると判定された場合、前記取得手段により取得された前記第１の画素データに関連するデータから、前記動きベクトルを抽出する動きベクトル抽出手段と、前記動きベクトル抽出手段により抽出された前記動きベクトルに基づいて、前記第１の画素データに対応する前記探索範囲内に存在する前記複数の第２の画素データから、前記クラスタップおよび前記予測タップを抽出するタップ抽出手段と、前記タップ抽出手段により抽出された前記クラスタップおよび前記予測タップを用いて前記複数の第２の画素データを前記クラス分類適応処理することにより、前記予測値を演算する演算手段と、前記判定手段により前記動きベクトルが含まれていないと判定された場合、前記取得手段により取得された前記第１の画素データに関連するデータから、前記予測残差を抽出する予測残差抽出手段と、前記予測残差抽出手段により抽出された前記予測残差を復号する復号手段と、前記演算手段により演算された前記予測値と、前記復号手段により復号された前記予測残差を合成する合成手段とを備える。

前記動きベクトルは、前記第１の画素データと、前記予測残差が最小である前記第２の画素データの位置により規定されるようにすることができる。

前記保持手段に保持している前記第２のフレームの画像データを、フレーム毎に、あるいは数フレーム毎に更新する更新手段をさらに設けることができる。

本発明の一側面の情報処理方法、記録媒体、およびプログラムは、上述した本発明の一側面の情報処理装置に対応する、方法、記録媒体、およびプログラムである。

本発明の一側面の情報処理装置および方法、記録媒体、並びにプログラムにおいては、生成する第１のフレームより時間的に前の第２のフレームの画像データが保持され、第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータが取得され、取得された第１の画素データに関連するデータから、第１の画素データに対応する第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、複数の第２の画素データをクラス分類適応処理することにより生成された予測値と、第１の画素データとの差に対応する予測残差であるか否かを表すフラグが抽出され、抽出された予測残差であるか否かを表すフラグに基づいて、取得された第１の画素データに関連するデータに含まれているのが、第１の画素データと第１の画素データに対応する第２の画素データとの位置により規定される動きベクトルであるか否かが判定され、動きベクトルが含まれていると判定された場合、取得された第１の画素データに関連するデータから、動きベクトルが抽出され、抽出された動きベクトルに基づいて、第１の画素データに対応する探索範囲内に存在する複数の第２の画素データから、クラスタップおよび予測タップが抽出され、抽出されたクラスタップおよび予測タップを用いて複数の第２の画素データをクラス分類適応処理することにより、予測値が演算され、動きベクトルが含まれていないと判定された場合、取得された第１の画素データに関連するデータから、予測残差が抽出され、抽出された予測残差が復号され、演算された予測値と、復号された予測残差が合成される。

以上の如く、本発明によれば、伝送効率、圧縮効率、および符号化効率を向上させることが可能となる。

また、本発明によれば、伝送効率、圧縮効率、または符号化効率を向上させた伝送データを、簡単かつ確実に、受信し、復号することが可能となる。

図２は、本発明を適用した画像処理システムのうちの送信装置の構成例を表している。この送信装置１１においては、基準フレームメモリ２２に、予測の基準とされる基準フレームの画像データが記憶される。予測フレームメモリ２１には、基準フレームの画像に基づいて予測される予測フレームの画像データが、順次、記憶される。

アドレス設定部２３−１は、フレームメモリ２２に記憶されている画素データのうち、所定の探索範囲（フレームメモリ２１に記憶されている予測フレームの注目画像に対応する探索範囲）内の第１の位置（動きベクトルｖ０に対応する位置）の予測タップとクラスタップを構成する任意の数の画素のアドレスを設定し、そのアドレスに対応する画素データ、すなわち、予測タップとクラスタップを構成する画素データを読み出し、クラス分類適応処理部２４−１に供給する。クラス分類適応処理部２４−１は、アドレス設定部２３−１より供給された予測タップとクラスタップの画素データに基づいて、クラス分類適応処理を行い、予測フレームメモリ２１に記憶されている予測フレームの対応する画素（注目画素）の予測値を演算する。

アドレス設定部２３−２は、探索範囲内の第２の位置（第２の動きベクトルｖ１に対応する位置）の予測タップとクラスタップの画素データを抽出し、クラス分類適応処理部２４−２に供給する。クラス分類適応処理部２４−２は、アドレス設定部２３−２より供給された予測タップとクラスタップの画素データに基づいて、クラス分類適応処理を行い、注目画素に対する予測値を演算する。

同様の構成が探索範囲内を探索して得られる動きベクトルの数（ｎ個）だけ設けられている。すなわち、アドレス設定部とクラス分類適応処理部の組み合わせがｎ組用意されている。例えば、探索範囲が水平、垂直ともに、マイナス８からプラス８までであるとすると、ｎの数は、２８９（＝１７×１７）となる。

比較器２５は、クラス分類適応処理部２４−１乃至２４−ｎから供給されるｎ個の予測値を、予測フレームメモリ２１から供給される注目画素と比較し、その差を予測残差として検出するとともに、予測残差のうちの、最小の予測残差を評価値として選択する。閾値判定部２６は、比較器２５より供給される最小の予測残差（評価値）を閾値と比較する。評価値が閾値と等しいか、それより小さい場合には、閾値判定部２６は、動きベクトルを後処理部２７に供給する。閾値判定部２６は、予測残差が閾値より大きい場合には、動きベクトルと予測残差を後処理部２７に出力する。

後処理部２７は、閾値判定部２６より動きベクトルが供給されてきたとき、それをそのまま出力する。後処理部２７は、閾値判定部２６より動きベクトルと予測残差が供給されてきた場合には、予測残差に、それが予測残差であることを表すフラグを付加する。

後処理部２７より出力された動きベクトル、または動きベクトルと、フラグが付加された予測残差は、量子化器２８に供給される。量子化器２８は、このうちの予測残差については、例えば、ロイドマックス、ランレングス等の符号により量子化し、所定の伝送路に伝送する。この伝送路には、各種の通信路の他、記録再生によりデータを伝送する記録媒体も含まれる。

例えば、マイクロプロセッサなどによりなる制御部３０は、送信装置１１の各部を制御する。制御部３０には、必要に応じて、インタフェース３１を介して、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、または半導体メモリ４４などが適宜装着される。

図３は、クラス分類適応処理部２４−１乃至２４−ｎ（以下、これらを個々に区別する必要がない場合、単に、クラス分類適応処理部２４と称する）の構成を表している。クラスタップ抽出部６１は、アドレス設定部２３−１乃至２３−ｎ（以下、これらを個々に区別する必要がない場合、単に、アドレス設定部２３と称する）のうち対応するものより供給された画素データから、クラスタップを抽出し、ADRC(Adaptive Dynamic Range Coding)部６２に供給する。ADRC部６２は、クラスタップ抽出部６１より供給された画素データに対して、例えば、１ビットADRC処理を施す。

すなわち、クラスタップを構成する複数の画素データの最大値と最小値が検出され、その最大値と最小値の差が、さらにダイナミックレンジとして算出される。各画素データは、最小値が減算され、さらに、ダイナミックレンジで割算することで正規化される。

正規化されたデータは、所定の基準値（例えば、０．５）と比較され、基準値より大きい場合には、例えば１、基準値より小さい場合には、例えば０、とされる。

すなわち、例えばクラスタップを構成する画素の数が９個である場合、ADRC部６２から、９ビットのデータがクラスコード決定部６３に供給されることになる。クラスコード決定部６３は、この９ビットのデータに基づいて、そのクラスタップのクラスコードを決定し、予測係数メモリ６４に出力する。

予測係数メモリ６４には、クラスコードに対応する予測係数が予め記憶されており、クラスコード決定部６３より供給されたクラスコードに対応する予測係数を、予測値算出部６６に出力する。

予測タップ抽出部６５は、アドレス設定部２３より供給された画素データから予測タップを構成する画素データを抽出し、予測値算出部６６に出力する。予測値算出部６６は、予測タップ抽出部６５より供給された予測タップを構成する画素データに、予測係数メモリ６４より供給される予測係数を乗算し、その和から（すなわち、線形１次結合から）、予測値を算出する。

次に、図４と図５のフローチャートを参照して、送信装置１１の処理について説明する。

最初に、ステップＳ１１において、制御部３０は、閾値判定部２６に対して、伝送判定閾値をセットする。この伝送判定閾値は、後述するステップＳ２６の処理で利用される。

ステップＳ１２において、前フレームデータを蓄積する処理が実行され、ステップＳ１３において、現在フレームデータを蓄積する処理が実行される。すなわち、例えば、１フレーム分の画像データが、予測フレームメモリ２１に記憶された後、再びそこから読み出され、基準フレームメモリ２２に伝送され、記憶される。そして、予測フレームメモリ２１には、それに続く新たな１フレーム分の画像データが記憶される。このようにして、基準フレームメモリ２２には、前フレームの画素データが記憶され、予測フレームメモリ２１には、現在フレーム（基準フレームより時間的に後のフレーム）の画像データが蓄積される。

ステップＳ１４において、予測フレームメモリ２１は、制御部３０の制御に基づいて、記憶している１フレーム分の画像データの中から注目画素のデータを抽出し、比較器２５に供給する。

ステップＳ１５において、制御部３０は、比較器２５に比較値をセットする。この比較値は、最小の予測残差としての評価値を求めるために、ステップＳ２４の処理で、より小さい予測残差の値に更新されるものであり、初期値としては、最大値がセットされる。この比較値は、ステップＳ２３の処理で利用される。

次に、ステップＳ１６において、アドレス設定部２３−１乃至２３−ｎに対して、それぞれステップＳ１４の処理で抽出された注目画素に対応するアドレスが設定される。これにより、アドレス設定部２３−１乃至２３−ｎから、注目画素に対応する探索範囲内における、各探索位置（動きベクトル）に対応するクラスタップと予測タップを含む画素データが、対応するクラス分類適応処理部２４−１乃至２４−ｎに取り込み可能となる。

そこで、ステップＳ１７において、クラスタップ抽出部６１は、供給された画素データの中からクラスタップを抽出する。クラスタップは、例えば、図６に示されるように、予測フレームの注目画素を中心とする７×７個の画素のうちの図中黒く示される３×３個の画素とされる。

ADRC部６２は、ステップＳ１８において、クラスタップを構成する９個の画素データに対して、１ビットADRC処理を施す。これにより、９個の画素データがそれぞれ０または１の値に変換されて、９ビットのデータがクラスコード決定部６３に供給される。クラスコード決定部６３は、ADRC部６２より供給される９ビットのデータに基づいて、その９個の画素データで構成されるクラスタップに対応するクラスコードを決定し、予測係数メモリ６４に出力する。

予測係数メモリ６４は、ステップＳ１９において、クラスコード決定部６３より供給されたクラスコードに対する予測係数を読み出し、予測値算出部６６に出力する。

ステップＳ２０において、予測タップ抽出部６５は、アドレス設定部２３より供給される画素データから、クラスタップを構成する画素データを取得する。図７は、クラスタップの例を表している。この例においては、予測フレームの注目画素を中心とする７×７個の画素のうち、中央に黒く示される１３個の画素がクラスタップとされている。

予測値算出部６６は、ステップＳ２１において、予測値計算処理を実行する。すなわち、予測値算出部６６は、予測タップ抽出部６５より供給された予測タップを構成する１３個の画素データと、予測係数メモリ６４より供給される１３個の予測係数の線形１次結合を演算して、予測値を算出し、比較器２５に出力する。

比較器２５は、ステップＳ２２において、予測残差計算処理を実行する。すなわち、比較器２５は、クラス分類適応処理部２４（いまの場合、クラス分類適応処理部２４−１）より供給される予測値と、予測フレームメモリ２１より供給される注目画素（真値）との差を演算することで、予測残差を計算する。

ステップＳ２３において、比較器２５は、ステップＳ２２の処理で求めた予測残差（評価値）を比較値と比較する。この比較値は、いまの場合、ステップＳ１５の処理で最大値に設定されている。従って、評価値は、比較値より小さいと判定され、ステップＳ２４に進み、比較器２５は、ステップＳ１５の処理で最大値にセットされた比較値の値を、ステップＳ２２の処理で計算された予測残差（評価値）に更新する。すなわち、比較値として、より小さい値が設定される。

ステップＳ２５において、閾値判定部２６は、ステップＳ２２の処理で求められた評価値に対応する動きベクトルを内蔵するメモリに保持する（既に保持されている動きベクトルがある場合には、更新される）。いまの場合、クラス分類適応処理部２４−１の出力が処理されているので、この動きベクトルは、ｖ０となる。

ステップＳ２６において、閾値判定部２６は、ステップＳ２２の処理で得られた予測残差（評価値）と、ステップＳ１１の処理でセットされた伝送判定閾値とを比較する。予測残差（評価値）が伝送判定閾値と等しいか、それより大きいと判定された場合、ステップＳ２７において、閾値判定部２６は、ステップＳ２２の処理で計算された予測残差を評価値として保持する。

予測残差（評価値）が伝送判定閾値より小さいと判定された場合には、ステップＳ２７の処理はスキップされる。

ステップＳ２３において、予測残差（評価値）が比較値と等しいか、それより大きいと判定された場合には、ステップＳ２４乃至ステップＳ２７の処理はスキップされる。

ステップＳ２８において、閾値判定部２６は、探索範囲内の全ての位置の処理を終了したか否かを判定する。すなわち、クラス分類適応処理部２４−１乃至２４−ｎの全ての出力に対する処理を完了したか否かがここで判定される。クラス分類適応処理部２４−１乃至２４−ｎの出力のうち、まだ処理していないものが残っている場合には、ステップＳ１６に戻り、それ以降の処理が繰り返し実行される。

以上のようにして、ステップＳ１６乃至ステップＳ２８の処理がクラス分類適応処理部２４−１乃至２４−ｎが出力するｎ個の予測値の全てに対して実行される。

ステップＳ２８で探索範囲内の全ての位置の処理が終了したと判定された場合、ステップＳ２９に進み、閾値判定部２６は、伝送判定閾値より小さい予測残差（評価値）が保存されているか否かを判定する。すなわち、探索範囲内の全ての位置の処理により、ｎ個の予測残差（評価値）が得られることになるが、そのｎ個の予測残差のうち、少なくとも１つ伝送判定閾値より小さいものがある場合には、その中で最小のものに対応する動きベクトルがステップＳ２５の処理で保持されている。そこで、その場合には、ステップＳ３０において、閾値判定部２６は、ステップＳ２５の処理で保持した動きベクトルを読み出し、後処理部２７に出力する。

ステップＳ２９において、伝送判定閾値より小さい評価値が存在しないと判定された場合、閾値判定部２６、ステップＳ３１において、ステップＳ２７の処理により保持されている予測残差（評価値）を後処理部２７に出力する処理を実行する。

すなわち、ｎ個の予測残差（評価値）が全て伝送判定閾値と等しいか、それより大きい場合には、そのうちの最小の値に対応する予測残差がステップＳ２７の処理で保持されている。そこで、閾値判定部２６は、その予測残差を、いま対象とされている検索範囲の評価値（最小の予測残差）として、後処理部２７に出力する。

ステップＳ３０，Ｓ３１の処理の後、ステップＳ３２において、閾値判定部２６は、１フレーム内の全ての探索範囲の処理が終了したか否かを判定し、まだ終了していない探索範囲が残っている場合には、ステップＳ１４に戻り、それ以降の処理が繰り返し実行される。

ステップＳ３２において、全ての探索範囲の処理が終了したと判定された場合、ステップＳ３３において、後処理部２７は、閾値判定部２６より動きベクトルだけが供給されてきた場合には、その動きベクトルをそのまま出力し、閾値判定部２６より供給されてきたのが、動きベクトルと予測残差（評価値）である場合には、予測残差に、それが予測残差であることを表すフラグを付加する。

ステップＳ３４において、量子化器２８は、後処理部２７より供給された動きベクトルをそのまま出力する。動きベクトルと予測残差（評価値）が供給されてきた場合には、量子化器２８は、予測残差を量子化し、伝送路に伝送する。

以上のようにして、図８に示されるように、予測フレームメモリ２１に記憶されている予測フレーム９０において、所定の画素が注目画素９１として選択される。そして、基準フレームメモリ２２に記憶されている基準フレーム８０の注目画素９１に対応する画素が注目対応画素８３として選択され、注目対応画素８３を中心とする所定の範囲が、探索範囲８１として設定される。

探索範囲８１内において、所定の範囲の画素が予測タップ８２として選択され、予測タップ８２を構成する画素に基づいて、上述したように、予測値が演算される。そして、その予測値と注目画素９１との差が予測残差として算出される。

予測タップ８２は、探索範囲８１内を、予測タップ８２−１乃至８２−ｎとして示されるように、ｎ個の位置に、順次移動される。そして、ｎ個の予測タップのそれぞれに対応して得られるｎ個の予測残差の中から最小のものがその探索範囲８１の評価値として選択される。

以上のような処理が、予測フレーム９０の中の全ての画素を注目画素９１として順次選択することで実行される。

以上のようにして、伝送路に伝送された画像データは、図９に示されるような受信装置により受信され、復号される。

この受信装置１１１においては、逆量子化器１２１が送信装置１１により符号化され、伝送路を伝送されてきたデータを取得し、逆量子化する。伝送判定部１２２は、逆量子化器１２１より供給されたデータからフラグを読み取り、伝送されてきたデータのうち動きベクトルをアドレス設定部１２３に出力する。アドレス設定部１２３は、基準フレームメモリ１２４に記憶されている、既に復調して得られている基準フレームの画素データから、動きベクトルに対応する範囲の画素データを抽出し、クラス分類適応処理部１２５に供給する。

クラス分類適応処理部１２５は、アドレス設定部１２３より供給された画素データに対して、クラス分類適応処理を施し、画素データを生成する。

このクラス分類適応処理部１２５は、図２の送信装置１１のクラス分類適応処理部２４と基本的に同様の構成とされる。そこで、図３は、以下の説明で、クラス分類適応処理部１２５としても、引用される。

伝送判定部１２２は、逆量子化器１２１より入力されたデータに予測残差のデータが含まれていると判定した場合、これを復号部１２６に供給する。復号部１２６は、この予測残差を復号する。

合成部１２７は、クラス分類適応処理部１２５と復号部１２６より供給された画素データを、メモリ上で適宜合成し、１フレーム分の画素データとし、出力する。合成部１２７より出力された画素データの一部は、必要に応じて、基準フレームメモリ１２４に供給され、後続するフレームの処理に対する基準フレームとして記憶される。

例えば、マイクロプロセッサなどにより構成される制御部１２８は、受信装置１１１の各部の動作を制御する。

制御部１２８には、インタフェース１３１を介して、必要に応じて磁気ディスク１４１、光ディスク１４２、光磁気ディスク１４３、または半導体メモリ１４４が装着され、そこに記憶されているプログラムやデータなどが適宜インストールされる。

次に、図１０のフローチャートを参照して、受信装置１１１における復号処理について説明する。

ステップＳ５１において、逆量子化器１２１は、伝送路を介して伝送されてきた量子化されている画像データを受信し、逆量子化して伝送判定部１２２に供給する。伝送判定部１２２は、ステップＳ５２において、いま伝送されてきたデータに含まれているのは、動きベクトルのデータであるのか否かを判定する。入力されたデータに含まれているのが動きベクトルのデータであると判定された場合、伝送判定部１２２は、ステップＳ５３において、その動きベクトルのデータをアドレス設定部１２３に出力する。アドレス設定部１２３は、基準フレームメモリ１２４に記憶されている画素データから探索範囲の画素データを抽出し、クラス分類適応処理部１２５に出力する。

クラス分類適応処理部１２５は、ステップＳ５４において、クラス分類適応処理を実行する。すなわち、クラスタップ抽出部６１と、予測タップ抽出部６５は、アドレス設定部１２３より供給される動きベクトルに基づいて、探索範囲の画素データから、それぞれクラスタップと予測タップの画素データを抽出する。ADRC部６２は、クラスタップを１ビットADRC処理し、その結果得られたデータに基づいて、クラスコード決定部６３は、クラスコードを決定する。予測係数メモリ６４は、クラスコードに対応する予測係数を予測値算出部６６に出力する。予測値算出部６６は、予測タップと予測係数の線形１次結合から予測値を演算する。

生成された予測値は、合成部１２７に供給される。ステップＳ５７において、合成部１２７は、クラス分類適応処理部１２５より供給された予測値をフレームの対応する位置の画素データとして合成する。

ステップＳ５２において、伝送されてきたデータのうち動きベクトルではないと判定されたデータ（予測誤差のデータ）は、伝送判定部１２２から復号部１２６に出力される。復号部１２６は、ステップＳ５６において、予測残差の復号処理を実行する。すなわち、復号部１２６は、伝送判定部１２２より供給された予測残差を復号する。復号部１２６により復号された予測残差は、合成部１２７に供給され、ステップＳ５７の処理で、クラス分類適応処理部１２５で復号された対応する位置の画素データと合成される。

予測係数メモリ６４に記憶される予測係数は、学習により取得することができる。図１１は、この学習を行う学習装置の構成例を表している。この学習装置１６０においては、生徒データ生成部１６１が、入力された教師データとしての画像データの画素値を適宜変更処理するなどして、生徒データを生成する。クラスタップ抽出部１６２は、生徒データ生成部１６１より供給された生徒データからクラスタップを抽出し、ADRC部１６３に出力する。ADRC部１６３は、クラスタップ抽出部１６２より供給されたクラスタップの画素データに対して、１ビットADRC処理を施し、得られた結果をクラスコード決定部１６４に出力する。

クラスコード決定部１６４は、ADRC部１６３より入力されたデータに基づいて、クラスコードを決定し、そのクラスコードを正規方程式生成部１６６に出力する。

予測タップ抽出部１６５は、生徒データ生成部１６１より供給された生徒データから予測タップを抽出し、正規方程式生成部１６６に出力する。正規方程式生成部１６６には、また、生徒データ生成部１６１において、生徒データを生成する元になった親データとしての教師データが供給されている。正規方程式生成部１６６は、予測係数（未知数）と生徒データの積和を教師データの値と等しいとする線形１次結合の正規方程式を生成する。

予測係数決定部１６７は、正規方程式生成部１６６により生成された正規方程式を、掃き出し法などの一般的な行列解法を用いて、未知数とされている予測係数を求め、予測係数メモリ６４に記憶させる。

次に、学習装置１６０の動作について説明する。クラスタップ抽出部１６２は、生徒データ生成部１６１より供給された生徒データからクラスタップの画素データ（図６の例では、３×３個の画素データ）を抽出し、ADRC部１６３に出力する。ADRC部１６３は、クラスタップの画素データに対して、１ビットADRC処理を施し、得られた結果を、クラスコード決定部１６４に出力する。クラスコード決定部１６４は、ADRC部１６３より入力されたデータに基づいて、クラスコードを決定し、正規方程式生成部１６６に出力する。

生徒データ生成部１６１により生成された生徒データからは、予測タップ抽出部１６５により予測タップを構成する画素データ（図６の例では、１３個の画素データ）が抽出され、正規方程式生成部１６６に供給される。正規方程式生成部１６６は、予測タップの画素データと予測係数の積和が教師データに等しいとする線形１次結合の正規方程式をクラスコード毎に生成し、予測係数決定部１６７に出力する。予測係数決定部１６７は、掃き出し法に基づいて、未知数としての予測係数を決定し、予測係数メモリ６４に記憶させる。

なお、以上においては、図４のステップＳ２９において、伝送判定閾値より小さい評価値が存在しないと判定された場合には、ステップＳ３１の処理で、動きベクトルと予測残差を送出するようにしたが、予測残差に代えて、ステップＳ２１で計算された予測値を送出したり、注目画素の画素データの値そのものを送出するようにすることも可能である。

また、画素単位ではなく、ブロック単位で処理することも可能である。この場合には、ブロック内での予測値と入力値とで、絶対誤差和を取得し、その誤差和が所定の閾値よりも小さい場合には、動きベクトルを伝送し、閾値より大きい場合には、ブロック内の画素データを伝送するようにすればよい。

このようにした場合、フラグがブロック内に１ビット付加されるだけの構成となるため、余分な情報量が減り、効率よく圧縮することが可能になる。

さらに、図１２に示されるように、閾値判定部２６（そこにおける閾値判定処理）を省略し、常に動きベクトルを送出するようにしてもよい。そのようにすれば、より圧縮効率、伝送効率、符号化効率を向上させることが可能となる。

なお、一番最初のフレームのデータに関しては、量子化を行ってもよいし、行わなくてもよい。また、前フレーム毎に、あるいは数フレーム毎に、基準フレームを更新してもよい。あるいは、また、基準フレームを全く更新しないようにすることも可能である。

基準フレームを更新するようにした場合には、画像の劣化も少なく、復調側で、より品質の高い画像を再現することが可能なるばかりでなく、雑音による影響が後々まで伝播しないため、よりロバストな画像伝送方式を実現することができる。

このように、本発明によれば、予測誤差が、絶対差分和や自乗誤差和に比べて同じか、それより小さくなるため、絶対差分和、または自乗誤差和を用いる方式に比べて、データの圧縮効率をより高めることができ、また、高画質の画像を伝送することが可能となる。

以上においては、送信装置１１と受信装置１１１は、独立する構成としたが、１つの装置内に、これらを一体化することも可能である。特に、伝送路が記録媒体により構成される場合には、その記録媒体に対して、データを記録再生する装置においては、送信装置と受信装置の両方が、１つの装置内に配置される。

また、以上においては、画像データを例として説明したが、画像データ以外のコンテンツデータを伝送する場合にも、本発明を適用することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２と図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１，１４１（フロッピディスクを含む）、光ディスク４２，１４２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク４３，１４３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ４４，１４４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや、記憶部に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

ブロックマッチングを説明する図である。 本発明を適用した送信装置の構成例を示すブロック図である。 図２のクラス分類適応処理部の構成例を示すブロック図である。 図２の送信装置の処理を説明するフローチャートである。 図２の送信装置の処理を説明するフローチャートである。 クラスタップの例を示す図である。 予測タップの例を示す図である。 図２のクラス分類適応処理部における予測処理を説明する図である。 本発明を適用した受信装置の構成例を示すブロック図である。 図９の受信装置の動作を説明するフローチャートである。 予測係数を取得する学習装置の構成例を示すブロック図である。 本発明を適用した送信装置の他の構成例を示すブロック図である。

符号の説明

２１ 予測フレームメモリ， ２２ 基準フレームメモリ， ２３−１乃至２３−ｎ アドレス設定部， ２４−１乃至２４−ｎ クラス分類適応処理部， ２５ 比較器， ２６ 閾値判定部， ２７ 後処理部， ２８ 量子化器

Claims (6)

1. 生成する第１のフレームより時間的に前の第２のフレームの画像データを保持する保持手段と、
   前記第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータを取得する取得手段と、
   前記取得手段により取得された前記第１の画素データに関連するデータから、前記第１の画素データに対応する前記第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、前記複数の第２の画素データを前記クラス分類適応処理することにより生成された予測値と、前記第１の画素データとの差に対応する予測残差であるか否かを表すフラグを抽出するフラグ抽出手段と、
   前記フラグ抽出手段により抽出された前記予測残差であるか否かを表すフラグに基づいて、前記取得手段により取得された前記第１の画素データに関連するデータに含まれているのが、前記第１の画素データと前記第１の画素データに対応する前記第２の画素データとの位置により規定される動きベクトルであるか否かを判定する判定手段と、
   前記判定手段により前記動きベクトルが含まれていると判定された場合、前記取得手段により取得された前記第１の画素データに関連するデータから、前記動きベクトルを抽出する動きベクトル抽出手段と、
   前記動きベクトル抽出手段により抽出された前記動きベクトルに基づいて、前記第１の画素データに対応する前記探索範囲内に存在する前記複数の第２の画素データから、前記クラスタップおよび前記予測タップを抽出するタップ抽出手段と、
   前記タップ抽出手段により抽出された前記クラスタップおよび前記予測タップを用いて前記複数の第２の画素データを前記クラス分類適応処理することにより、前記予測値を演算する演算手段と、
   前記判定手段により前記動きベクトルが含まれていないと判定された場合、前記取得手段により取得された前記第１の画素データに関連するデータから、前記予測残差を抽出する予測残差抽出手段と、
   前記予測残差抽出手段により抽出された前記予測残差を復号する復号手段と、
   前記演算手段により演算された前記予測値と、前記復号手段により復号された前記予測残差を合成する合成手段と
   を備えることを特徴とする情報処理装置。
2. 前記動きベクトルは、前記第１の画素データと、前記予測残差が最小である前記第２の画素データの位置により規定される
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記保持手段に保持している前記第２のフレームの画像データを、フレーム毎に、あるいは数フレーム毎に更新する更新手段を
   さらに備えることを特徴とする請求項１に記載の情報処理装置。
4. 生成する第１のフレームより時間的に前の第２のフレームの画像データの保持を制御する保持制御ステップと、
   前記第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記第１の画素データに対応する前記第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、前記複数の第２の画素データを前記クラス分類適応処理することにより生成された予測値と、前記第１の画素データとの差に対応する予測残差であるか否かを表すフラグを抽出するフラグ抽出ステップと、
   前記フラグ抽出ステップの処理により抽出された前記予測残差であるか否かを表すフラグに基づいて、前記取得ステップの処理により取得された前記第１の画素データに関連するデータに含まれているのが、前記第１の画素データと前記第１の画素データに対応する前記第２の画素データとの位置により規定される動きベクトルであるか否かを判定する判定ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていると判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記動きベクトルを抽出する動きベクトル抽出ステップと、
   前記動きベクトル抽出ステップの処理により抽出された前記動きベクトルに基づいて、前記第１の画素データに対応する前記探索範囲内に存在する前記複数の第２の画素データから、前記クラスタップおよび前記予測タップを抽出するタップ抽出ステップと、
   前記タップ抽出ステップの処理により抽出された前記クラスタップおよび前記予測タップを用いて前記複数の第２の画素データを前記クラス分類適応処理することにより、前記予測値を演算する演算ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていないと判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記予測残差を抽出する予測残差抽出ステップと、
   前記予測残差抽出ステップの処理により抽出された前記予測残差を復号する復号ステップと、
   前記演算ステップの処理により演算された前記予測値と、前記復号ステップの処理により復号された前記予測残差を合成する合成ステップと
   を含むことを特徴とする情報処理方法。
5. 生成する第１のフレームより時間的に前の第２のフレームの画像データの保持を制御する保持制御ステップと、
   前記第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記第１の画素データに対応する前記第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、前記複数の第２の画素データを前記クラス分類適応処理することにより生成された予測値と、前記第１の画素データとの差に対応する予測残差であるか否かを表すフラグを抽出するフラグ抽出ステップと、
   前記フラグ抽出ステップの処理により抽出された前記予測残差であるか否かを表すフラグに基づいて、前記取得ステップの処理により取得された前記第１の画素データに関連するデータに含まれているのが、前記第１の画素データと前記第１の画素データに対応する前記第２の画素データとの位置により規定される動きベクトルであるか否かを判定する判定ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていると判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記動きベクトルを抽出する動きベクトル抽出ステップと、
   前記動きベクトル抽出ステップの処理により抽出された前記動きベクトルに基づいて、前記第１の画素データに対応する前記探索範囲内に存在する前記複数の第２の画素データから、前記クラスタップおよび前記予測タップを抽出するタップ抽出ステップと、
   前記タップ抽出ステップの処理により抽出された前記クラスタップおよび前記予測タップを用いて前記複数の第２の画素データを前記クラス分類適応処理することにより、前記予測値を演算する演算ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていないと判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記予測残差を抽出する予測残差抽出ステップと、
   前記予測残差抽出ステップの処理により抽出された前記予測残差を復号する復号ステップと、
   前記演算ステップの処理により演算された前記予測値と、前記復号ステップの処理により復号された前記予測残差を合成する合成ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
6. 生成する第１のフレームより時間的に前の第２のフレームの画像データの保持を制御する保持制御ステップと、
   前記第１のフレームの一部であって１つの画素からなる第１の画素データに関連するデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記第１の画素データに対応する前記第２のフレームにおける位置の周辺である探索範囲内に存在する複数の第２の画素データをクラス分類適応処理するのに用いる、クラス分類に用いる複数の画素データであるクラスタップおよび予測値の生成に用いる複数の画素データである予測タップを用いて、前記複数の第２の画素データを前記クラス分類適応処理することにより生成された予測値と、前記第１の画素データとの差に対応する予測残差であるか否かを表すフラグを抽出するフラグ抽出ステップと、
   前記フラグ抽出ステップの処理により抽出された前記予測残差であるか否かを表すフラグに基づいて、前記取得ステップの処理により取得された前記第１の画素データに関連するデータに含まれているのが、前記第１の画素データと前記第１の画素データに対応する前記第２の画素データとの位置により規定される動きベクトルであるか否かを判定する判定ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていると判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記動きベクトルを抽出する動きベクトル抽出ステップと、
   前記動きベクトル抽出ステップの処理により抽出された前記動きベクトルに基づいて、前記第１の画素データに対応する前記探索範囲内に存在する前記複数の第２の画素データから、前記クラスタップおよび前記予測タップを抽出するタップ抽出ステップと、
   前記タップ抽出ステップの処理により抽出された前記クラスタップおよび前記予測タップを用いて前記複数の第２の画素データを前記クラス分類適応処理することにより、前記予測値を演算する演算ステップと、
   前記判定ステップの処理により前記動きベクトルが含まれていないと判定された場合、前記取得ステップの処理により取得された前記第１の画素データに関連するデータから、前記予測残差を抽出する予測残差抽出ステップと、
   前記予測残差抽出ステップの処理により抽出された前記予測残差を復号する復号ステップと、
   前記演算ステップの処理により演算された前記予測値と、前記復号ステップの処理により復号された前記予測残差を合成する合成ステップと
   をコンピュータに実行させるプログラム。

Images