JP3896635B2 - 画像データ変換装置及び方法、予測係数生成装置及び方法 - Google Patents
画像データ変換装置及び方法、予測係数生成装置及び方法 Download PDFInfo
- Publication number
- JP3896635B2 JP3896635B2 JP12133197A JP12133197A JP3896635B2 JP 3896635 B2 JP3896635 B2 JP 3896635B2 JP 12133197 A JP12133197 A JP 12133197A JP 12133197 A JP12133197 A JP 12133197A JP 3896635 B2 JP3896635 B2 JP 3896635B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- prediction coefficient
- subjected
- class code
- cut out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データストリームを復号したときの画質の劣化した画像データを、高画質の画像データに変換するための画像データ変換装置等に関する。
【０００２】
【従来の技術】
映像・音声・データ等を限られた伝送帯域幅の中で高品質に伝送したり、限られた容量の記録媒体に記録するために、ディジタル画像・音声圧縮技術及びディジタル伝送技術の発展が不可欠である。このような圧縮技術として、現在では、特にＭＰＥＧ（Moving Picture Experts Group）が用いられている。
【０００３】
ＭＰＥＧで画像データを圧縮（エンコード）する場合、画像データが８×８の正方形のＤＣＴブロックに分割され、このＤＣＴブロック毎にＤＣＴ（Discrete Cosine Transform）変換が行われ、ＤＣＴ変換後の各係数は所定の量子化ステップでわり算を行って量子化され、データの圧縮されたデータストリームが生成される。
【０００４】
そして、ＭＰＥＧで圧縮されたデータを伸長（デコード）する場合、８×８の正方形のＤＣＴブロック毎の各係数に量子化ステップがかけ算され、このＤＣＴブロック毎に逆ＤＣＴ変換が行われて、画像データが復号される。
【０００５】
【発明が解決しようとする課題】
ところが、ＤＣＴブロックの直流成分を粗く量子化すると、直交変換符号化特有の雑音、すなわちブロック歪が生じてしまう。従って、復号処理によって得られる画像データは、このようなブロック歪の影響を受けて、視覚的に大きな画質の劣化に感じられる。
【０００６】
また、上述のように、狭帯域の伝送媒体を介してデータの送受信を行うためには、画像データのエンコード／デコードが必要である。しかし、画像データをデコードしても元の完全な画像データ等を再現することができないため、エンコード／デコード処理による画像の劣化（ぼけ）が生じてしまうこともあった。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、画像データの圧縮／伸長処理を行ったときに生じた劣化した画像データを、元の高品質な画像データに再現することのできる画像データ変換装置及び方法、予測係数生成装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像データ変換装置は、復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出する特徴量抽出手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生するクラスコード発生手段と、画像データを変換するための推定式の予測係数がクラス毎に記憶され、上記クラスコード発生手段で発生されたクラスコードで示されるクラスの予測係数を出力する予測係数記憶手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の画像データ切出手段と、上記予測係数記憶手段から出力された予測係数と上記第２の画像データ切出手段により切り出された画像データとの積和による推定演算を行なって、変換処理済みの画像データを出力する推定演算手段とを備えることを特徴とする。
【０００９】
本発明に係る画像データ変換方法は、復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出し、所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、切り出された画像データを圧縮して圧縮データパターンを生成し、上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生し、予めクラス毎に記憶された画像データを変換するための推定式の予測係数から上記発生されたクラスコードで示されるクラスの予測係数を出力し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出し、切り出された画像データと上記出力された予測係数との積和による推定演算を行なって、変換処理済みの画像データを出力することを特徴とする。
【００１０】
本発明に係る予測係数生成装置は、入力画像データにエンコード／デコード処理を行うエンコーダ／デコーダと、上記エンコーダ／デコーダから出力された予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出する特徴量抽出手段と、所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、上記圧縮データパターン及び上記特徴量を用いて上記クラスコードを発生するクラスコード発生手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の画像データ切出手段と、あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式からクラスコード毎に予測係数の行列式Ｗを算出する予測係数算出手段と、上記予測係数算出手段により算出された予測係数を記憶する記憶手段とを備え、上記行列式Ｙのサンプルは、上記第２の画像データ切出手段により切出されたことを特徴とする。
【００１１】
本発明に係る予測係数生成方法は、入力画像データにエンコード／デコード処理を行い、上記エンコード／デコード処理の行われた予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、切り出された画像データを圧縮して圧縮データパターンを生成し、上記圧縮データパターン及び上記特徴量を用いてクラスコードを発生し、上記特徴量の値に応じて、係数算出処理にて用いられる画像データを上記予測係数算出の対象となる画像データ周辺から切り出し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを係数算出処理にて用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを係数算出処理にて用いられる画像データとして切り出し、あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式から、上記特徴量の値に応じて切出された係数算出処理にて用いられる画像データを上記行列式Ｙのサンプルとして用いてクラスコード毎に予測係数の行列式Ｗを算出し、上記算出された予測係数を記憶することを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
本発明は、図１に示すように、ＭＰＥＧデコードされた画像データに生じるブロック歪を補正するための画像データ変換装置に適用することができる。
【００１９】
上記画像データ変換装置１は、画像データの特徴量を抽出する特徴量抽出回路１１と、抽出された特徴量に基づいて上記ＭＰＥＧデコードされた画像データを切り出す領域切出回路１２，１３と、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ（Adaptive Dynamic Range Coding ）回路１４と、切り出された画像データの属するクラスコードを発生するクラスコード発生回路１５と、推定式の予測係数がクラス毎に記憶されているＲＯＭテーブル１６と、予測係数と上記切り出された画像データに基づいて推定演算する推定演算回路１７とを備える。
【００２０】
特徴量抽出回路１１には、入力端子を介して、ＭＰＥＧデコードされた画像データが供給される。上記特徴量抽出回路１１は、画像データの各ブロック（８×８）（以下、ＤＣＴブロックという。）において、ブロック歪の除去の対象となる画像データが、上記ブロック内のどの位置にいるかに応じて、所定の特徴量を出力する。
【００２１】
具体的には、特徴量抽出回路１１は、図２に示すように、ＤＣＴブロックを領域１〜領域９に区分して、上記対象となる画像データが上記領域１〜領域９のいずれかに位置する位置情報を出力する。ここで、ＤＣＴブロックをこのように区分したのは、ＭＰＥＧの画像圧縮時において、ＤＣＴ変換や動き補償を行ったときの歪がＤＣＴブロックの真ん中よりも境界側に生じ易く、さらに境界側よりも四隅に生じ易いため、ブロック歪の生じる程度が同じものに区分したからである。
【００２２】
領域切出回路１２，１３には、入力端子を介して、ＭＰＥＧデコードされた画像データが供給される。領域切出回路１２は、上記特徴量抽出回路１１で抽出された特徴量（位置情報）に基づいて、入力端子より供給された画像データを所定の領域毎に切り出し、この画像データをＡＤＲＣ回路１４に供給する。
【００２３】
具体的には、領域切出回路１２は、歪除去の対象となる画像データが領域１の場合では、当該画像データの近傍の画像データを所定サンプル数切り出す。これは、領域１にはブロック歪があまり生じていないため、かかる歪があまり生じていない画像データに基づいて歪のない画像データを予測演算するためである。
【００２４】
領域切出回路１２は、歪除去の対象となる画像データが領域２，領域３，領域４，領域５の場合では、当該領域外の画像データ、例えば領域１の画像データ及び他のＤＣＴブロックの画像データを所定サンプル数切り出す。これにより、領域２等にある歪の生じ易い画像データを避けて、他の歪の少ない画像データに基づいて予測演算を行うことができる。
【００２５】
領域切出回路１２は、歪除去の対象となる画像データが領域６，領域７，領域８，領域９の場合では、当該画像データから比較的離れた画像データ、例えば当該ＤＣＴブロック及び他のＤＣＴブロックの領域１にある画像データを所定サンプル数切り出す。これは、領域６等の周辺の画像データには歪が大きいため、かかる歪があまり生じていない画像データに基づいて歪のない画像データを予測演算するためである。
【００２６】
このように、領域切出回路１２は、特徴量抽出回路１１の情報によって画像データを切り出す領域及びサンプル数（タップ構造）を変えることができる。領域切出回路１２は、上述のように切り出した画像データをＡＤＲＣ回路１４に供給する。
【００２７】
一方、領域切出回路１３は、領域切出回路１２と同様に画像データの切出を行って、この切り出した画像データ（以下、予測タップという。）を推定演算回路１７に供給する。
【００２８】
ＡＤＲＣ回路１４は、切り出された各領域の画像データを、例えば８ビットから２ビットに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１５へ供給する。
【００２９】
ＡＤＲＣ回路１４は、通常、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的量子化を行うものである。ここでは、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、信号パターンのクラス分類のコード発生に使用されている。
【００３０】
具体的には、例えば６つの８ビットの画像データをクラス分類しようとする場合では、２48という膨大な数のクラスに分類しなければならない。信号波形の特徴を把握する意味では理想的であるが、回路上の負担が多く、実用的ではない。そこで、ＡＤＲＣ回路１４で生成されるパターン圧縮データに基づいてクラス分類を行っている。例えば、６つの画像データに対して１ビットの量子化を実行すると、６つの画像データを６ビットで表すことができ、２6 ＝６４クラスに分類することが可能である。
【００３１】
ここで、ＡＤＲＣ回路１４は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、量子化コードをＱとすると、以下の式（１）に従って、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して量子化を行う。
【００３２】
【数１】
【００３３】
ＡＤＲＣ回路１４は、領域切出回路１２で切り出された各画像データを各２ビットに圧縮する。なお、ここでは、切り出された画像データのサンプル数を例えば６つとし、これが圧縮された画像データをそれぞれｑ1〜ｑ6 とする。
【００３４】
クラスコード発生回路１５は、特徴量抽出回路１１からの特徴量及びＡＤＲＣ回路１４からのパターン圧縮データに基づいて、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル１６へ供給する。このクラスコードclass は、ＲＯＭテーブル１６からの読み出しアドレスを示す。
【００３５】
ＲＯＭテーブル１６には、ＭＰＥＧのブロック歪の除去前後の画像データのパターンの関係を学習することにより、ブロック歪の除去後の画像データを算出するための線形推定式の予測係数が各クラス毎に記憶されている。なお、ＲＯＭテーブル１６に記憶されている予測係数の作成方法については後述する。ＲＯＭテーブル１６からは、クラスコードclass で示されるアドレスから、そのクラスの予測係数であるｗn （class ）（n ＝１〜６）が読み出される。この予測係数は、推定演算回路１７へ供給される。
【００３６】
推定演算回路１７は、領域切出回路１３から供給される予測タップ、及びＲＯＭテーブル１６から供給される予測係数であるｗn に基づいて、入力された画像データに対応するブロック歪を除去した画像データを算出する。
【００３７】
具体的には、推定演算回路１７は、領域切出回路１３より供給された予測タップとＲＯＭテーブル１６から供給された予測係数により、予測係数であるｗn （n ＝１〜６）に基づいて、それぞれ以下の式（２）に示す演算を行うことにより、ブロック歪のない画像データを算出して、出力端子を介して出力する。
【００３８】
【数２】
【００３９】
以上のように、上記画像データ変換装置は、ブロック歪のない画像データを推定するための予測係数をＲＯＭテーブル１６に記憶しておき、入力される画像データ、及びＲＯＭテーブル１６から読み出された予測係数に基づいて推定演算を行うことによって、上述の画像データを出力することができる。すなわち、上記画像データ変換装置は、実際の画像データから後述の学習により求められた予測係数に基づいて推定演算するので、より実際に近い波形を再現して画質が良好でＭＰＥＧのブロック歪のない画像データを出力することができる。
【００４０】
とりわけ、上記画像データ変換装置は、特徴量抽出回路１１によってブロック歪の除去の対象となる画像データのＤＣＴブロックの位置を検出し、この検出結果によって画像データの切出領域及びサンプル数を変えることによって、ブロック歪の程度に追従して、より画質のよい画像データを得ることができる。
【００４１】
なお、特徴量抽出回路１１における領域切出は、上述の場合に限定されるものではなく、以下のようなものも可能である。
【００４２】
特徴量抽出回路１１は、図３に示すように、歪除去の対象となる画像データに連続しているものであって、当該画像データの輝度レベルと同じ又はほとんど同じ輝度レベルの画像データがいくつあるかを検出することもできる。同一の輝度レベルの画像データを検出するのは、ＤＣＴ変換の程度によっては、かかる画像データの全てが直流成分のみになってしまい、これら全てにブロック歪が生じることがあるからである。
【００４３】
このとき、領域切出回路１２は、特徴量抽出回路１１の検出結果に応じて切出領域を決定する。具体的には、輝度レベルの連続した画像データ以外の画像データを切り出す。例えば図３に示すように、同一輝度レベルの画像データ（●印）が５つ連続しているときは、当該画像データ以外の画像データを切り出す。これにより、ブロック歪のない画像データに基づいて予測演算することができる。
【００４４】
また、特徴量抽出回路１１は、図４に示すように、歪除去の対象となる画像データの近傍の画像データからなる第１の画像データ群とその外周にある画像データからなる第２の画像データ群（第１の画像データ群を除く）とのダイナミックレンジの差を算出すこともできる。領域切出回路１２は、この差が所定値より大きいときは、第２の画像データ群にある所定の画像データを切り出す。これは、第１の画像データ群が直流成分のみになるとブロック歪が生じ易くなるとともにダイナミックレンジがほぼ零になり、第２の画像データ群のダイナミックレンジとの差が大きくなるからである。なお、領域切出回路１２は、この差が所定値より小さいときは、第１の画像データ群にある所定の画像データを切り出す。すなわち、第１の画像データ群にはブロック歪があまり生じていないため、歪除去の対象となる画像データの近傍の画像データを用いた方が精度のよい予測係数を算出することができるからである。なお、ダイナミックレンジの代わりに、各画像データ群のレベルの平均値の差を求めても同様にすることができる。
【００４５】
さらに、特徴量抽出回路１１は、図５に示すように、ＤＣＴブロックを各画素に対応するように１〜６４の領域に区分することもできる。従って、領域切出回路１２は、個々の画素に応じて、この画素のブロック歪を除去するための画像データを切り出すことができる。
【００４６】
なお、上記領域切出回路１２，１３は、上述のように、切出領域（タップ構造）を変えることをなく、例えば、常に一定のタップ構造をとることができるのは言うまでもない。
【００４７】
また、本実施の形態では、ＭＰＥＧのブロック歪を除去する場合を例に上げて説明したが、本発明はこれに限定されず、例えばコンピュータ・グラフィックス（ＣＧ）のポリゴンの歪を除去することも適用することができる。
【００４８】
つぎに、ＲＯＭテーブル１６に格納される予測係数を作成（学習）するための予測係数生成装置について図６を用いて説明する。
上記予測係数生成装置は、再現すべきＭＰＥＧ歪のない画質の良好な画像データを用いることによって、ＲＯＭテーブル１６に予測係数を記憶させるものである。
【００４９】
上記予測係数生成装置２は、図６に示すように、高画質の画像データをＭＰＥＧエンコードしてデータストリームを生成するＭＰＥＧエンコーダ２１と、このデータストリームをデコードするＭＰＥＧデコーダ２２と、歪除去の対象となる画像データの特徴量を抽出する特徴量抽出回路２３と、画像データを切り出す領域切出回路２４，２５と、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ回路２６と、圧縮データパターンに基づいてクラスコードを発生するクラスコード発生回路２７と、クラスコード毎に正規方程式をたてる正規方程式回路２８と、上記クラスコード毎に予測係数を決定する予測係数決定回路２９と、決定された予測係数を記憶するＲＯＭテーブル３０とを備える。
【００５０】
予測係数を学習によって得るためには、まず、既に知られている高画質の画像データからＭＰＥＧエンコード／ＭＰＥＧデコードされた画像データを生成する必要がある。
【００５１】
特徴量抽出回路２３には、ＭＰＥＧエンコーダ２１でエンコードされてＭＰＥＧデコーダ２２でデコードされた画像データが供給される。上記特徴量抽出回路２３は、上記特徴量抽出回路１１と同じものであり、画像データの各ブロックにおいて、各画素がブロック内のどの位置にいるのかを示す情報である特徴量を出力する。
【００５２】
領域切出回路２４は、特徴量抽出回路２３からの特徴量に基づいて、ＭＰＥＧデコーダ２２からの画像データを所定の領域毎に切り出す。すなわち、領域切出回路２４は、先に説明した領域切出回路１２，１３と同一の働きをするものであり、切り出した画像データをＡＤＲＣ回路２６に供給する。
【００５３】
領域切出回路２５は、領域切出回路２４と同様の構成となっていて、上記特徴量抽出回路２３で抽出された特徴量に基づいて所定の領域から切り出した画像データを正規方程式回路２８に供給する。
【００５４】
ＡＤＲＣ回路２６は、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットの画像データから２ビットの画像データに圧縮する演算を行ってパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２７に供給する。なお、ＡＤＲＣ回路２６は、先に説明したＡＤＲＣ回路１４と同一のものである。
【００５５】
クラスコード発生回路２７は、先に説明したクラスコード発生回路１５と同一のものであり、特徴量抽出回路２３からの特徴量及びＡＤＲＣ回路２６から供給されるパターン圧縮データに基づいて、クラスコードを決定する。これにより、上記クラスコード発生回路２７は、そのブロックの属するクラスコードを発生して、そのクラスを示すクラスコードを正規方程式回路２８に供給する。
【００５６】
正規方程式回路２８は、クラスコード発生回路２７から供給された各クラスコードclass 、各クラスコードclass 毎に領域切出回路２５より供給された画像データｘ1 ，ｘ2 ，‥‥，ｘn 、入力端子より供給された高画質の画像データｙを用いて、正規方程式を立てる。
【００５７】
ここで、正規方程式回路２８の説明のために、複数個の高画質の画像データから通常の画像データへの変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎサンプルによる予測を行う場合について説明する。画像データのレベルをそれぞれｘ1 ，ｘ2 ，‥‥，ｘn として、それぞれにｐビットのＡＤＲＣ処理を行った結果の量子化データをｑ1 、‥‥、ｑn とする。
【００５８】
このとき、上述のように画像データのレベルをそれぞれ、ｘ1 ，ｘ2 ，‥‥，ｘn とし、高画質の画像データのレベルをｙとしたとき、クラス毎に予測係数ｗ1 ，ｗ2 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを式（３）に示す。学習前は、ｗn が未定係数である。
【００５９】
【数３】
【００６０】
学習は、クラス毎に複数の画像データに対して行う。データサンプル数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００６１】
【数４】
【００６２】
ｍ＞ｎの場合、予測係数ｗ1 、‥‥ｗn は、一意的に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００６３】
【数５】
【００６４】
【数６】
【００６５】
ここで、式（６）のｗn による偏微分係数を求める。それは以下の式（７）を”０”にするように、各ｗn （n ＝１〜６）を求めればよい。
【００６６】
【数７】
【００６７】
以下、式（８）、式（９）のようにＸij、Ｙi を定義すると、
【００６８】
【数８】
【００６９】
【数９】
【００７０】
式（７）は、行列を用いて式（１０）へ書き換えられる。
【００７１】
【数１０】
【００７２】
この方程式は、一般に正規方程式と呼ばれている。なお、ここでは、ｎ＝６である。
【００７３】
全ての学習用のデータの入力が終了した後、正規方程式回路２８は、各クラスコードclass に、式（１０）に示す正規方程式を立てて、このデータを予測係数決定回路２９に供給する。
【００７４】
予測係数決定回路２９は、正規方程式を掃き出し法等の一般的な行列解法を用いて、各ｗn について解き、各クラス毎に予測係数を算出する。換言すると、上記式（１０）を式（１１）のように書き換え、
Ｘ・Ｗ＝Ｙ ・・・・・・・・・・（１１）
掃き出し法等の行列解法により式（１２）が求められ、クラスコード毎に予測係数の行列式Ｗが算出される。
【００７５】
Ｗ＝Ｘ-1・Ｙ ・・・・・・・・・（１２）
そして、予測係数決定回路３０は、算出された予測係数をＲＯＭテーブル３０に書き込む。
【００７６】
このような学習を行った結果、ＲＯＭテーブル３０には、クラス毎に、高画質の画像データｙを推定するための統計的に最も真値に近い推定ができる予測係数が格納される。このＲＯＭテーブル３０に格納されたテーブルが、上述のように、本発明の画像データ変換装置１において使用されるＲＯＭテーブル１６である。かかる処理により、線形推定式により、通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
【００７７】
以上のように、上記予測係数生成装置２は、画像データ変換装置１でＭＰＥＧ歪の除去を行うことを考慮して、予めＭＰＥＧエンコード／ＭＰＥＧデコード処理を行ってブロック歪の生じる前後の画像データによって学習することにより、ＭＰＥＧ歪の除去した画像データを再現するための予測係数を生成することができる。
【００７８】
なお、本実施の形態の説明では、圧縮データパターンを生成するパターン生成手段として、ＡＤＲＣ回路１４，２６を設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いても良いのは勿論である。
【００７９】
また、本実施の形態では、領域分割回路２４及び領域分割回路２５によって領域分割を行っていたが、本発明はこれに限定されることなく、例えばこれらの領域分割を１つの回路によって行ってもよいのは勿論である。
【００８０】
つぎに、本発明の第２の実施の形態について説明する。なお、上述の実施の形態と同じ回路には同じ番号を付け、詳細な説明は省略するものとする。
第２の実施の形態に係る画像データ変換装置は、ＭＰＥＧエンコード／ＭＰＥＧデコードされたときのぼけ（劣化）の生じた画像データを、劣化のない画像データに変換処理するものである。
【００８１】
上記画像データ変換装置１Ａは、図７に示すように、画像データの前処理を行う前処理部１８と、前処理の行われた画像データを切り出す領域切出回路１２Ａ，１３Ａと、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ回路１４と、圧縮データパターンに基づいてクラスコードを発生するクラスコード発生回路１５と、推定式の予測係数がクラス毎に記憶されているＲＯＭテーブル１６と、上記クラスコード毎に予測係数と領域切出回路１３からの画像データに基づいて推定演算する推定演算回路１７とを備える。
【００８２】
前処理部１８は、画像データにノイズ信号を重畳させる。ここで、画像データにノイズ信号を重畳させるのは、ブロック歪をごまかすとともに、後述するようにこのノイズ信号を除去する際に画像データの画質も向上させるためである。
【００８３】
領域切出回路１２Ａは、前処理部１８からの画像データを所定の領域毎に切り出して、切り出した画像データをＡＤＲＣ回路１４に供給する。領域切出回路１３Ａは、前処理部１８からの画像データを切り出して、これを推定演算回路１７に供給する。ここで、領域切出回路１２，１３は、常に一定の領域（例えば、サンプル数が６つ）の画像データを切り出すようになっている。
【００８４】
ＡＤＲＣ回路１４は、上述の切り出された各領域の画像データからパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１５に供給する。クラスコード発生回路１５は、ＡＤＲＣ回路１４からのパターン圧縮データに基づいて、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル１６へ供給する。
【００８５】
ＲＯＭテーブル１６には、ＭＰＥＧエンコード／ＭＰＥＧデコードにより画質のぼける前後の画像データのパターンの関係を学習することにより、高画質の画像データを算出するための線形推定式の予測係数が各クラス毎に記憶されている。なお、ＲＯＭテーブル１６に記憶されている予測係数の作成方法については後述する。ＲＯＭテーブル１６からは、クラスコードclass で示されるアドレスから、そのクラスの予測係数であるｗn （class ）が読み出される。この予測係数は、推定演算回路１７へ供給される。
【００８６】
推定演算回路１７は、領域切出回路１３Ａから供給される画像データ、及びＲＯＭテーブル１６から供給される予測係数であるｗn に基づいて上述の式（２）の推定演算を行って、画質を向上させた画像データを算出する。
【００８７】
以上のように、上記画像データ変換装置１Ａは、画質のよい画像データを推定するための予測係数をＲＯＭテーブル１６に記憶しておき、入力される画像データ、及びＲＯＭテーブル１６から読み出された予測係数に基づいて推定演算を行うことによって、高画質の画像データを出力することができる。すなわち、上記画像データ変換装置は、エンコード・デコードする前の画像データから後述の学習により求められる予測係数に基づいて推定演算するので、画質がぼける前の画像データを再現して、画質の良好な画像データを出力することができる。
【００８８】
つぎに、ＲＯＭテーブル１６に格納される予測係数を作成（学習）するための予測係数生成装置について図８を用いて説明する。
上記予測係数生成装置は、再現すべき画像にボケのない画質の良好な画像データを用いることによって、ＲＯＭテーブル１６に予測係数を記憶させるものである。
【００８９】
上記予測係数生成装置２Ａは、図８に示すように、高画質の画像データをＭＰＥＧエンコードしてデータストリームを生成するＭＰＥＧエンコーダ２１と、このデータストリームをデコードするＭＰＥＧデコーダ２２と、デコードされて得られた画像データに所定の前処理を施す前処理部３１と、前処理された画像データを切り出す領域切出回路２４Ａ，２５Ａと、画像データを圧縮して圧縮パターンデータを生成するＡＤＲＣ回路２６と、圧縮パターンデータに基づいてクラスコードを発生するクラスコード発生回路２７と、クラスコード毎に正規方程式をたてる正規方程式回路２８と、上記クラス毎に予測係数を決定する予測係数決定回路２９と、決定された予測係数を記憶するＲＯＭテーブル３０とを備える。
【００９０】
前処理部３１には、ＭＰＥＧエンコーダ２１でエンコードされてＭＰＥＧデコーダ２２でデコードされた画像データが供給される。前処理部３１は、上記前処理部１８と同じものであり、画像データにノイズ信号を重畳して、領域切出回路２４Ａ，２５Ａに供給する。
【００９１】
領域切出回路２４Ａは、ＭＰＥＧデコーダ２２からの画像データを所定の領域毎に切り出す。すなわち、領域切出回路２４Ａは、先に説明した領域切出回路１２Ａ，１３Ａと同一の働きをするものであり、切り出した画像データをＡＤＲＣ回路２６に供給する。また、領域切出回路２５Ａは、領域切出回路２４Ａと同様の構成となっていて、所定の領域を切り出した画像データを正規方程式回路２８に供給する。
【００９２】
ＡＤＲＣ回路２６は、例えば８ビットの画像データから２ビットの画像データに圧縮する演算を行ってパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２７に供給する。
【００９３】
クラスコード発生回路２７は、先に説明したクラスコード発生回路１５と同一のものであり、ＡＤＲＣ回路２６から供給されるパターン圧縮データに基づいて、クラスコードを決定する。これにより、上記クラスコード発生回路２７は、そのブロックの属するクラスを発生して、そのクラスを示すクラスコードを正規方程式回路２８に供給する。
【００９４】
正規方程式回路２８は、クラスコード発生回路２７から供給された各クラスコードclass 、各クラスコードclass 毎に領域切出回路２５Ａより供給された画像データｘ1 ，ｘ2 ，‥‥，ｘn 、入力端子より供給された高画質の画像データｙを用いて、正規方程式を立てる。全ての学習用のデータの入力が終了した後、正規方程式回路２８は、各クラスコードclass に、上述の式（１０）に示す正規方程式を立てて、このデータを予測係数決定回路３０に供給する。
【００９５】
予測係数決定回路３０は、正規方程式を各ｗn について解き、各クラス毎に予測係数を算出して、算出した予測係数をＲＯＭテーブル３０に書き込む。
【００９６】
このような学習を行った結果、クラスコード毎に、高画質の画像データｙを推定するための統計的に最も真値に近い推定可能な予測係数が格納される。このＲＯＭテーブル３０に格納されたテーブルが、上述のように、本発明の画像データ変換装置１Ａにおいて使用されるＲＯＭテーブル１６である。かかる処理により、線形推定式に従って通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
【００９７】
以上のように、上記予測係数生成装置２Ａは、劣化した画像データの画質を画像データ変換装置１Ａで向上させるために、ＭＰＥＧエンコード／ＭＰＥＧデコード処理を行った後、さらにノイズ信号を重畳させる前処理を行うことによって、画像にボケのない画像データを再現するための予測係数を生成することができる。
【００９８】
なお、上記画像データ変換装置１Ａ及び上記予測係数生成装置２Ａにおける前処理としては、上述のようにノイズ信号を重畳させるだけでなく、高帯域成分を除去処理するロー・パス・フィルタを用いてもよい。このとき、ブロック歪が落ちるものの画質が劣化するので、上記画像データ変換装置１Ａによって画質を向上させれば、高画質の画像データを生成することができる。すなわち、前処理は、画像データの画質を落とすことができるものであれば、特に限定されるものではない。
【００９９】
なお、本実施の形態では、画像データの画質を向上させるためのハードウェアである画像データ変換装置に、予測係数が既に記憶されているＲＯＭテーブルが設けられている場合について説明したが、本発明はこれに限定されるものではない。
【０１００】
例えば、光ディスク等の記録媒体に通常の画像データとともに予測係数を記憶させておき、上述の画像データ変換装置を光ディスク再生装置に適用してもよい。
【０１０１】
このとき、上記光ディスク再生装置は、光ディスクに記憶された画像データの読み出しを開始する前に上記予測係数を読み出して、この予測係数を上記ＲＯＭテーブルに記憶させる。これにより、上記光ディスク再生装置は、いかなる画像データであっても、ＲＯＭテーブルを取り替えることなく、波形再現性のよい高音質の画像データを得ることができる。
【０１０２】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ変換装置及び方法によれば、予測係数記憶手段から出力されたものであって実際の画像データにより求められた予測係数と切り出された画像データとに基づいて推定演算することによって、より実際に近い波形を再現して画質の良好な画像データを出力することができる。特に、変換処理の対象となる画像データの特徴量を抽出するしてブロック歪の除去の対象となる画像データの位置を検出することによって、ブロック歪の程度に追従してより画質のよい画像データを得ることができる。
【０１０３】
本発明に係る予測係数生成装置及び方法によれば、予めエンコード／デコード処理を行ってブロック歪の生じることを学習することによって、歪の除去した画像データを再現するための予測係数を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像データ変換装置の具体的な構成を示すブロック図である。
【図２】上記画像データ変換装置の特徴量抽出回路で区分される領域を説明する図である。
【図３】上記の特徴量抽出回路で区分される領域を説明する図である。
【図４】上記特徴量抽出回路で区分される領域を説明する図である。
【図５】上記特徴量抽出回路で区分される領域を説明する図である。
【図６】本発明の第１の実施の形態に係る予測係数生成装置の具体的な構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る画像データ変換装置の具体的な構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る予測係数生成装置の具体的な構成を示すブロック図である。
【符号の説明】
１１，２３ 特徴量抽出回路、１２，１３，２４，２５ 領域切出回路、１４，２６ ＡＤＲＣ回路、１５，２７ クラスコード発生回路、１６，３０ ＲＯＭテーブル、２８ 正規方程式回路、２９ 予測係数決定回路、３１ 前処理部
【発明の属する技術分野】
本発明は、データストリームを復号したときの画質の劣化した画像データを、高画質の画像データに変換するための画像データ変換装置等に関する。
【０００２】
【従来の技術】
映像・音声・データ等を限られた伝送帯域幅の中で高品質に伝送したり、限られた容量の記録媒体に記録するために、ディジタル画像・音声圧縮技術及びディジタル伝送技術の発展が不可欠である。このような圧縮技術として、現在では、特にＭＰＥＧ（Moving Picture Experts Group）が用いられている。
【０００３】
ＭＰＥＧで画像データを圧縮（エンコード）する場合、画像データが８×８の正方形のＤＣＴブロックに分割され、このＤＣＴブロック毎にＤＣＴ（Discrete Cosine Transform）変換が行われ、ＤＣＴ変換後の各係数は所定の量子化ステップでわり算を行って量子化され、データの圧縮されたデータストリームが生成される。
【０００４】
そして、ＭＰＥＧで圧縮されたデータを伸長（デコード）する場合、８×８の正方形のＤＣＴブロック毎の各係数に量子化ステップがかけ算され、このＤＣＴブロック毎に逆ＤＣＴ変換が行われて、画像データが復号される。
【０００５】
【発明が解決しようとする課題】
ところが、ＤＣＴブロックの直流成分を粗く量子化すると、直交変換符号化特有の雑音、すなわちブロック歪が生じてしまう。従って、復号処理によって得られる画像データは、このようなブロック歪の影響を受けて、視覚的に大きな画質の劣化に感じられる。
【０００６】
また、上述のように、狭帯域の伝送媒体を介してデータの送受信を行うためには、画像データのエンコード／デコードが必要である。しかし、画像データをデコードしても元の完全な画像データ等を再現することができないため、エンコード／デコード処理による画像の劣化（ぼけ）が生じてしまうこともあった。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、画像データの圧縮／伸長処理を行ったときに生じた劣化した画像データを、元の高品質な画像データに再現することのできる画像データ変換装置及び方法、予測係数生成装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像データ変換装置は、復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出する特徴量抽出手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生するクラスコード発生手段と、画像データを変換するための推定式の予測係数がクラス毎に記憶され、上記クラスコード発生手段で発生されたクラスコードで示されるクラスの予測係数を出力する予測係数記憶手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の画像データ切出手段と、上記予測係数記憶手段から出力された予測係数と上記第２の画像データ切出手段により切り出された画像データとの積和による推定演算を行なって、変換処理済みの画像データを出力する推定演算手段とを備えることを特徴とする。
【０００９】
本発明に係る画像データ変換方法は、復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出し、所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、切り出された画像データを圧縮して圧縮データパターンを生成し、上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生し、予めクラス毎に記憶された画像データを変換するための推定式の予測係数から上記発生されたクラスコードで示されるクラスの予測係数を出力し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出し、切り出された画像データと上記出力された予測係数との積和による推定演算を行なって、変換処理済みの画像データを出力することを特徴とする。
【００１０】
本発明に係る予測係数生成装置は、入力画像データにエンコード／デコード処理を行うエンコーダ／デコーダと、上記エンコーダ／デコーダから出力された予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出する特徴量抽出手段と、所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、上記圧縮データパターン及び上記特徴量を用いて上記クラスコードを発生するクラスコード発生手段と、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の画像データ切出手段と、あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式からクラスコード毎に予測係数の行列式Ｗを算出する予測係数算出手段と、上記予測係数算出手段により算出された予測係数を記憶する記憶手段とを備え、上記行列式Ｙのサンプルは、上記第２の画像データ切出手段により切出されたことを特徴とする。
【００１１】
本発明に係る予測係数生成方法は、入力画像データにエンコード／デコード処理を行い、上記エンコード／デコード処理の行われた予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、切り出された画像データを圧縮して圧縮データパターンを生成し、上記圧縮データパターン及び上記特徴量を用いてクラスコードを発生し、上記特徴量の値に応じて、係数算出処理にて用いられる画像データを上記予測係数算出の対象となる画像データ周辺から切り出し、上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを係数算出処理にて用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを係数算出処理にて用いられる画像データとして切り出し、あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式から、上記特徴量の値に応じて切出された係数算出処理にて用いられる画像データを上記行列式Ｙのサンプルとして用いてクラスコード毎に予測係数の行列式Ｗを算出し、上記算出された予測係数を記憶することを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
本発明は、図１に示すように、ＭＰＥＧデコードされた画像データに生じるブロック歪を補正するための画像データ変換装置に適用することができる。
【００１９】
上記画像データ変換装置１は、画像データの特徴量を抽出する特徴量抽出回路１１と、抽出された特徴量に基づいて上記ＭＰＥＧデコードされた画像データを切り出す領域切出回路１２，１３と、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ（Adaptive Dynamic Range Coding ）回路１４と、切り出された画像データの属するクラスコードを発生するクラスコード発生回路１５と、推定式の予測係数がクラス毎に記憶されているＲＯＭテーブル１６と、予測係数と上記切り出された画像データに基づいて推定演算する推定演算回路１７とを備える。
【００２０】
特徴量抽出回路１１には、入力端子を介して、ＭＰＥＧデコードされた画像データが供給される。上記特徴量抽出回路１１は、画像データの各ブロック（８×８）（以下、ＤＣＴブロックという。）において、ブロック歪の除去の対象となる画像データが、上記ブロック内のどの位置にいるかに応じて、所定の特徴量を出力する。
【００２１】
具体的には、特徴量抽出回路１１は、図２に示すように、ＤＣＴブロックを領域１〜領域９に区分して、上記対象となる画像データが上記領域１〜領域９のいずれかに位置する位置情報を出力する。ここで、ＤＣＴブロックをこのように区分したのは、ＭＰＥＧの画像圧縮時において、ＤＣＴ変換や動き補償を行ったときの歪がＤＣＴブロックの真ん中よりも境界側に生じ易く、さらに境界側よりも四隅に生じ易いため、ブロック歪の生じる程度が同じものに区分したからである。
【００２２】
領域切出回路１２，１３には、入力端子を介して、ＭＰＥＧデコードされた画像データが供給される。領域切出回路１２は、上記特徴量抽出回路１１で抽出された特徴量（位置情報）に基づいて、入力端子より供給された画像データを所定の領域毎に切り出し、この画像データをＡＤＲＣ回路１４に供給する。
【００２３】
具体的には、領域切出回路１２は、歪除去の対象となる画像データが領域１の場合では、当該画像データの近傍の画像データを所定サンプル数切り出す。これは、領域１にはブロック歪があまり生じていないため、かかる歪があまり生じていない画像データに基づいて歪のない画像データを予測演算するためである。
【００２４】
領域切出回路１２は、歪除去の対象となる画像データが領域２，領域３，領域４，領域５の場合では、当該領域外の画像データ、例えば領域１の画像データ及び他のＤＣＴブロックの画像データを所定サンプル数切り出す。これにより、領域２等にある歪の生じ易い画像データを避けて、他の歪の少ない画像データに基づいて予測演算を行うことができる。
【００２５】
領域切出回路１２は、歪除去の対象となる画像データが領域６，領域７，領域８，領域９の場合では、当該画像データから比較的離れた画像データ、例えば当該ＤＣＴブロック及び他のＤＣＴブロックの領域１にある画像データを所定サンプル数切り出す。これは、領域６等の周辺の画像データには歪が大きいため、かかる歪があまり生じていない画像データに基づいて歪のない画像データを予測演算するためである。
【００２６】
このように、領域切出回路１２は、特徴量抽出回路１１の情報によって画像データを切り出す領域及びサンプル数（タップ構造）を変えることができる。領域切出回路１２は、上述のように切り出した画像データをＡＤＲＣ回路１４に供給する。
【００２７】
一方、領域切出回路１３は、領域切出回路１２と同様に画像データの切出を行って、この切り出した画像データ（以下、予測タップという。）を推定演算回路１７に供給する。
【００２８】
ＡＤＲＣ回路１４は、切り出された各領域の画像データを、例えば８ビットから２ビットに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１５へ供給する。
【００２９】
ＡＤＲＣ回路１４は、通常、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的量子化を行うものである。ここでは、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、信号パターンのクラス分類のコード発生に使用されている。
【００３０】
具体的には、例えば６つの８ビットの画像データをクラス分類しようとする場合では、２48という膨大な数のクラスに分類しなければならない。信号波形の特徴を把握する意味では理想的であるが、回路上の負担が多く、実用的ではない。そこで、ＡＤＲＣ回路１４で生成されるパターン圧縮データに基づいてクラス分類を行っている。例えば、６つの画像データに対して１ビットの量子化を実行すると、６つの画像データを６ビットで表すことができ、２6 ＝６４クラスに分類することが可能である。
【００３１】
ここで、ＡＤＲＣ回路１４は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、量子化コードをＱとすると、以下の式（１）に従って、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して量子化を行う。
【００３２】
【数１】
ＡＤＲＣ回路１４は、領域切出回路１２で切り出された各画像データを各２ビットに圧縮する。なお、ここでは、切り出された画像データのサンプル数を例えば６つとし、これが圧縮された画像データをそれぞれｑ1〜ｑ6 とする。
【００３４】
クラスコード発生回路１５は、特徴量抽出回路１１からの特徴量及びＡＤＲＣ回路１４からのパターン圧縮データに基づいて、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル１６へ供給する。このクラスコードclass は、ＲＯＭテーブル１６からの読み出しアドレスを示す。
【００３５】
ＲＯＭテーブル１６には、ＭＰＥＧのブロック歪の除去前後の画像データのパターンの関係を学習することにより、ブロック歪の除去後の画像データを算出するための線形推定式の予測係数が各クラス毎に記憶されている。なお、ＲＯＭテーブル１６に記憶されている予測係数の作成方法については後述する。ＲＯＭテーブル１６からは、クラスコードclass で示されるアドレスから、そのクラスの予測係数であるｗn （class ）（n ＝１〜６）が読み出される。この予測係数は、推定演算回路１７へ供給される。
【００３６】
推定演算回路１７は、領域切出回路１３から供給される予測タップ、及びＲＯＭテーブル１６から供給される予測係数であるｗn に基づいて、入力された画像データに対応するブロック歪を除去した画像データを算出する。
【００３７】
具体的には、推定演算回路１７は、領域切出回路１３より供給された予測タップとＲＯＭテーブル１６から供給された予測係数により、予測係数であるｗn （n ＝１〜６）に基づいて、それぞれ以下の式（２）に示す演算を行うことにより、ブロック歪のない画像データを算出して、出力端子を介して出力する。
【００３８】
【数２】
以上のように、上記画像データ変換装置は、ブロック歪のない画像データを推定するための予測係数をＲＯＭテーブル１６に記憶しておき、入力される画像データ、及びＲＯＭテーブル１６から読み出された予測係数に基づいて推定演算を行うことによって、上述の画像データを出力することができる。すなわち、上記画像データ変換装置は、実際の画像データから後述の学習により求められた予測係数に基づいて推定演算するので、より実際に近い波形を再現して画質が良好でＭＰＥＧのブロック歪のない画像データを出力することができる。
【００４０】
とりわけ、上記画像データ変換装置は、特徴量抽出回路１１によってブロック歪の除去の対象となる画像データのＤＣＴブロックの位置を検出し、この検出結果によって画像データの切出領域及びサンプル数を変えることによって、ブロック歪の程度に追従して、より画質のよい画像データを得ることができる。
【００４１】
なお、特徴量抽出回路１１における領域切出は、上述の場合に限定されるものではなく、以下のようなものも可能である。
【００４２】
特徴量抽出回路１１は、図３に示すように、歪除去の対象となる画像データに連続しているものであって、当該画像データの輝度レベルと同じ又はほとんど同じ輝度レベルの画像データがいくつあるかを検出することもできる。同一の輝度レベルの画像データを検出するのは、ＤＣＴ変換の程度によっては、かかる画像データの全てが直流成分のみになってしまい、これら全てにブロック歪が生じることがあるからである。
【００４３】
このとき、領域切出回路１２は、特徴量抽出回路１１の検出結果に応じて切出領域を決定する。具体的には、輝度レベルの連続した画像データ以外の画像データを切り出す。例えば図３に示すように、同一輝度レベルの画像データ（●印）が５つ連続しているときは、当該画像データ以外の画像データを切り出す。これにより、ブロック歪のない画像データに基づいて予測演算することができる。
【００４４】
また、特徴量抽出回路１１は、図４に示すように、歪除去の対象となる画像データの近傍の画像データからなる第１の画像データ群とその外周にある画像データからなる第２の画像データ群（第１の画像データ群を除く）とのダイナミックレンジの差を算出すこともできる。領域切出回路１２は、この差が所定値より大きいときは、第２の画像データ群にある所定の画像データを切り出す。これは、第１の画像データ群が直流成分のみになるとブロック歪が生じ易くなるとともにダイナミックレンジがほぼ零になり、第２の画像データ群のダイナミックレンジとの差が大きくなるからである。なお、領域切出回路１２は、この差が所定値より小さいときは、第１の画像データ群にある所定の画像データを切り出す。すなわち、第１の画像データ群にはブロック歪があまり生じていないため、歪除去の対象となる画像データの近傍の画像データを用いた方が精度のよい予測係数を算出することができるからである。なお、ダイナミックレンジの代わりに、各画像データ群のレベルの平均値の差を求めても同様にすることができる。
【００４５】
さらに、特徴量抽出回路１１は、図５に示すように、ＤＣＴブロックを各画素に対応するように１〜６４の領域に区分することもできる。従って、領域切出回路１２は、個々の画素に応じて、この画素のブロック歪を除去するための画像データを切り出すことができる。
【００４６】
なお、上記領域切出回路１２，１３は、上述のように、切出領域（タップ構造）を変えることをなく、例えば、常に一定のタップ構造をとることができるのは言うまでもない。
【００４７】
また、本実施の形態では、ＭＰＥＧのブロック歪を除去する場合を例に上げて説明したが、本発明はこれに限定されず、例えばコンピュータ・グラフィックス（ＣＧ）のポリゴンの歪を除去することも適用することができる。
【００４８】
つぎに、ＲＯＭテーブル１６に格納される予測係数を作成（学習）するための予測係数生成装置について図６を用いて説明する。
上記予測係数生成装置は、再現すべきＭＰＥＧ歪のない画質の良好な画像データを用いることによって、ＲＯＭテーブル１６に予測係数を記憶させるものである。
【００４９】
上記予測係数生成装置２は、図６に示すように、高画質の画像データをＭＰＥＧエンコードしてデータストリームを生成するＭＰＥＧエンコーダ２１と、このデータストリームをデコードするＭＰＥＧデコーダ２２と、歪除去の対象となる画像データの特徴量を抽出する特徴量抽出回路２３と、画像データを切り出す領域切出回路２４，２５と、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ回路２６と、圧縮データパターンに基づいてクラスコードを発生するクラスコード発生回路２７と、クラスコード毎に正規方程式をたてる正規方程式回路２８と、上記クラスコード毎に予測係数を決定する予測係数決定回路２９と、決定された予測係数を記憶するＲＯＭテーブル３０とを備える。
【００５０】
予測係数を学習によって得るためには、まず、既に知られている高画質の画像データからＭＰＥＧエンコード／ＭＰＥＧデコードされた画像データを生成する必要がある。
【００５１】
特徴量抽出回路２３には、ＭＰＥＧエンコーダ２１でエンコードされてＭＰＥＧデコーダ２２でデコードされた画像データが供給される。上記特徴量抽出回路２３は、上記特徴量抽出回路１１と同じものであり、画像データの各ブロックにおいて、各画素がブロック内のどの位置にいるのかを示す情報である特徴量を出力する。
【００５２】
領域切出回路２４は、特徴量抽出回路２３からの特徴量に基づいて、ＭＰＥＧデコーダ２２からの画像データを所定の領域毎に切り出す。すなわち、領域切出回路２４は、先に説明した領域切出回路１２，１３と同一の働きをするものであり、切り出した画像データをＡＤＲＣ回路２６に供給する。
【００５３】
領域切出回路２５は、領域切出回路２４と同様の構成となっていて、上記特徴量抽出回路２３で抽出された特徴量に基づいて所定の領域から切り出した画像データを正規方程式回路２８に供給する。
【００５４】
ＡＤＲＣ回路２６は、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットの画像データから２ビットの画像データに圧縮する演算を行ってパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２７に供給する。なお、ＡＤＲＣ回路２６は、先に説明したＡＤＲＣ回路１４と同一のものである。
【００５５】
クラスコード発生回路２７は、先に説明したクラスコード発生回路１５と同一のものであり、特徴量抽出回路２３からの特徴量及びＡＤＲＣ回路２６から供給されるパターン圧縮データに基づいて、クラスコードを決定する。これにより、上記クラスコード発生回路２７は、そのブロックの属するクラスコードを発生して、そのクラスを示すクラスコードを正規方程式回路２８に供給する。
【００５６】
正規方程式回路２８は、クラスコード発生回路２７から供給された各クラスコードclass 、各クラスコードclass 毎に領域切出回路２５より供給された画像データｘ1 ，ｘ2 ，‥‥，ｘn 、入力端子より供給された高画質の画像データｙを用いて、正規方程式を立てる。
【００５７】
ここで、正規方程式回路２８の説明のために、複数個の高画質の画像データから通常の画像データへの変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎサンプルによる予測を行う場合について説明する。画像データのレベルをそれぞれｘ1 ，ｘ2 ，‥‥，ｘn として、それぞれにｐビットのＡＤＲＣ処理を行った結果の量子化データをｑ1 、‥‥、ｑn とする。
【００５８】
このとき、上述のように画像データのレベルをそれぞれ、ｘ1 ，ｘ2 ，‥‥，ｘn とし、高画質の画像データのレベルをｙとしたとき、クラス毎に予測係数ｗ1 ，ｗ2 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを式（３）に示す。学習前は、ｗn が未定係数である。
【００５９】
【数３】
学習は、クラス毎に複数の画像データに対して行う。データサンプル数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００６１】
【数４】
ｍ＞ｎの場合、予測係数ｗ1 、‥‥ｗn は、一意的に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００６３】
【数５】
【数６】
ここで、式（６）のｗn による偏微分係数を求める。それは以下の式（７）を”０”にするように、各ｗn （n ＝１〜６）を求めればよい。
【００６６】
【数７】
以下、式（８）、式（９）のようにＸij、Ｙi を定義すると、
【００６８】
【数８】
【数９】
式（７）は、行列を用いて式（１０）へ書き換えられる。
【００７１】
【数１０】
この方程式は、一般に正規方程式と呼ばれている。なお、ここでは、ｎ＝６である。
【００７３】
全ての学習用のデータの入力が終了した後、正規方程式回路２８は、各クラスコードclass に、式（１０）に示す正規方程式を立てて、このデータを予測係数決定回路２９に供給する。
【００７４】
予測係数決定回路２９は、正規方程式を掃き出し法等の一般的な行列解法を用いて、各ｗn について解き、各クラス毎に予測係数を算出する。換言すると、上記式（１０）を式（１１）のように書き換え、
Ｘ・Ｗ＝Ｙ ・・・・・・・・・・（１１）
掃き出し法等の行列解法により式（１２）が求められ、クラスコード毎に予測係数の行列式Ｗが算出される。
【００７５】
Ｗ＝Ｘ-1・Ｙ ・・・・・・・・・（１２）
そして、予測係数決定回路３０は、算出された予測係数をＲＯＭテーブル３０に書き込む。
【００７６】
このような学習を行った結果、ＲＯＭテーブル３０には、クラス毎に、高画質の画像データｙを推定するための統計的に最も真値に近い推定ができる予測係数が格納される。このＲＯＭテーブル３０に格納されたテーブルが、上述のように、本発明の画像データ変換装置１において使用されるＲＯＭテーブル１６である。かかる処理により、線形推定式により、通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
【００７７】
以上のように、上記予測係数生成装置２は、画像データ変換装置１でＭＰＥＧ歪の除去を行うことを考慮して、予めＭＰＥＧエンコード／ＭＰＥＧデコード処理を行ってブロック歪の生じる前後の画像データによって学習することにより、ＭＰＥＧ歪の除去した画像データを再現するための予測係数を生成することができる。
【００７８】
なお、本実施の形態の説明では、圧縮データパターンを生成するパターン生成手段として、ＡＤＲＣ回路１４，２６を設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いても良いのは勿論である。
【００７９】
また、本実施の形態では、領域分割回路２４及び領域分割回路２５によって領域分割を行っていたが、本発明はこれに限定されることなく、例えばこれらの領域分割を１つの回路によって行ってもよいのは勿論である。
【００８０】
つぎに、本発明の第２の実施の形態について説明する。なお、上述の実施の形態と同じ回路には同じ番号を付け、詳細な説明は省略するものとする。
第２の実施の形態に係る画像データ変換装置は、ＭＰＥＧエンコード／ＭＰＥＧデコードされたときのぼけ（劣化）の生じた画像データを、劣化のない画像データに変換処理するものである。
【００８１】
上記画像データ変換装置１Ａは、図７に示すように、画像データの前処理を行う前処理部１８と、前処理の行われた画像データを切り出す領域切出回路１２Ａ，１３Ａと、切り出した画像データを圧縮して圧縮データパターンを生成するＡＤＲＣ回路１４と、圧縮データパターンに基づいてクラスコードを発生するクラスコード発生回路１５と、推定式の予測係数がクラス毎に記憶されているＲＯＭテーブル１６と、上記クラスコード毎に予測係数と領域切出回路１３からの画像データに基づいて推定演算する推定演算回路１７とを備える。
【００８２】
前処理部１８は、画像データにノイズ信号を重畳させる。ここで、画像データにノイズ信号を重畳させるのは、ブロック歪をごまかすとともに、後述するようにこのノイズ信号を除去する際に画像データの画質も向上させるためである。
【００８３】
領域切出回路１２Ａは、前処理部１８からの画像データを所定の領域毎に切り出して、切り出した画像データをＡＤＲＣ回路１４に供給する。領域切出回路１３Ａは、前処理部１８からの画像データを切り出して、これを推定演算回路１７に供給する。ここで、領域切出回路１２，１３は、常に一定の領域（例えば、サンプル数が６つ）の画像データを切り出すようになっている。
【００８４】
ＡＤＲＣ回路１４は、上述の切り出された各領域の画像データからパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１５に供給する。クラスコード発生回路１５は、ＡＤＲＣ回路１４からのパターン圧縮データに基づいて、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル１６へ供給する。
【００８５】
ＲＯＭテーブル１６には、ＭＰＥＧエンコード／ＭＰＥＧデコードにより画質のぼける前後の画像データのパターンの関係を学習することにより、高画質の画像データを算出するための線形推定式の予測係数が各クラス毎に記憶されている。なお、ＲＯＭテーブル１６に記憶されている予測係数の作成方法については後述する。ＲＯＭテーブル１６からは、クラスコードclass で示されるアドレスから、そのクラスの予測係数であるｗn （class ）が読み出される。この予測係数は、推定演算回路１７へ供給される。
【００８６】
推定演算回路１７は、領域切出回路１３Ａから供給される画像データ、及びＲＯＭテーブル１６から供給される予測係数であるｗn に基づいて上述の式（２）の推定演算を行って、画質を向上させた画像データを算出する。
【００８７】
以上のように、上記画像データ変換装置１Ａは、画質のよい画像データを推定するための予測係数をＲＯＭテーブル１６に記憶しておき、入力される画像データ、及びＲＯＭテーブル１６から読み出された予測係数に基づいて推定演算を行うことによって、高画質の画像データを出力することができる。すなわち、上記画像データ変換装置は、エンコード・デコードする前の画像データから後述の学習により求められる予測係数に基づいて推定演算するので、画質がぼける前の画像データを再現して、画質の良好な画像データを出力することができる。
【００８８】
つぎに、ＲＯＭテーブル１６に格納される予測係数を作成（学習）するための予測係数生成装置について図８を用いて説明する。
上記予測係数生成装置は、再現すべき画像にボケのない画質の良好な画像データを用いることによって、ＲＯＭテーブル１６に予測係数を記憶させるものである。
【００８９】
上記予測係数生成装置２Ａは、図８に示すように、高画質の画像データをＭＰＥＧエンコードしてデータストリームを生成するＭＰＥＧエンコーダ２１と、このデータストリームをデコードするＭＰＥＧデコーダ２２と、デコードされて得られた画像データに所定の前処理を施す前処理部３１と、前処理された画像データを切り出す領域切出回路２４Ａ，２５Ａと、画像データを圧縮して圧縮パターンデータを生成するＡＤＲＣ回路２６と、圧縮パターンデータに基づいてクラスコードを発生するクラスコード発生回路２７と、クラスコード毎に正規方程式をたてる正規方程式回路２８と、上記クラス毎に予測係数を決定する予測係数決定回路２９と、決定された予測係数を記憶するＲＯＭテーブル３０とを備える。
【００９０】
前処理部３１には、ＭＰＥＧエンコーダ２１でエンコードされてＭＰＥＧデコーダ２２でデコードされた画像データが供給される。前処理部３１は、上記前処理部１８と同じものであり、画像データにノイズ信号を重畳して、領域切出回路２４Ａ，２５Ａに供給する。
【００９１】
領域切出回路２４Ａは、ＭＰＥＧデコーダ２２からの画像データを所定の領域毎に切り出す。すなわち、領域切出回路２４Ａは、先に説明した領域切出回路１２Ａ，１３Ａと同一の働きをするものであり、切り出した画像データをＡＤＲＣ回路２６に供給する。また、領域切出回路２５Ａは、領域切出回路２４Ａと同様の構成となっていて、所定の領域を切り出した画像データを正規方程式回路２８に供給する。
【００９２】
ＡＤＲＣ回路２６は、例えば８ビットの画像データから２ビットの画像データに圧縮する演算を行ってパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２７に供給する。
【００９３】
クラスコード発生回路２７は、先に説明したクラスコード発生回路１５と同一のものであり、ＡＤＲＣ回路２６から供給されるパターン圧縮データに基づいて、クラスコードを決定する。これにより、上記クラスコード発生回路２７は、そのブロックの属するクラスを発生して、そのクラスを示すクラスコードを正規方程式回路２８に供給する。
【００９４】
正規方程式回路２８は、クラスコード発生回路２７から供給された各クラスコードclass 、各クラスコードclass 毎に領域切出回路２５Ａより供給された画像データｘ1 ，ｘ2 ，‥‥，ｘn 、入力端子より供給された高画質の画像データｙを用いて、正規方程式を立てる。全ての学習用のデータの入力が終了した後、正規方程式回路２８は、各クラスコードclass に、上述の式（１０）に示す正規方程式を立てて、このデータを予測係数決定回路３０に供給する。
【００９５】
予測係数決定回路３０は、正規方程式を各ｗn について解き、各クラス毎に予測係数を算出して、算出した予測係数をＲＯＭテーブル３０に書き込む。
【００９６】
このような学習を行った結果、クラスコード毎に、高画質の画像データｙを推定するための統計的に最も真値に近い推定可能な予測係数が格納される。このＲＯＭテーブル３０に格納されたテーブルが、上述のように、本発明の画像データ変換装置１Ａにおいて使用されるＲＯＭテーブル１６である。かかる処理により、線形推定式に従って通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
【００９７】
以上のように、上記予測係数生成装置２Ａは、劣化した画像データの画質を画像データ変換装置１Ａで向上させるために、ＭＰＥＧエンコード／ＭＰＥＧデコード処理を行った後、さらにノイズ信号を重畳させる前処理を行うことによって、画像にボケのない画像データを再現するための予測係数を生成することができる。
【００９８】
なお、上記画像データ変換装置１Ａ及び上記予測係数生成装置２Ａにおける前処理としては、上述のようにノイズ信号を重畳させるだけでなく、高帯域成分を除去処理するロー・パス・フィルタを用いてもよい。このとき、ブロック歪が落ちるものの画質が劣化するので、上記画像データ変換装置１Ａによって画質を向上させれば、高画質の画像データを生成することができる。すなわち、前処理は、画像データの画質を落とすことができるものであれば、特に限定されるものではない。
【００９９】
なお、本実施の形態では、画像データの画質を向上させるためのハードウェアである画像データ変換装置に、予測係数が既に記憶されているＲＯＭテーブルが設けられている場合について説明したが、本発明はこれに限定されるものではない。
【０１００】
例えば、光ディスク等の記録媒体に通常の画像データとともに予測係数を記憶させておき、上述の画像データ変換装置を光ディスク再生装置に適用してもよい。
【０１０１】
このとき、上記光ディスク再生装置は、光ディスクに記憶された画像データの読み出しを開始する前に上記予測係数を読み出して、この予測係数を上記ＲＯＭテーブルに記憶させる。これにより、上記光ディスク再生装置は、いかなる画像データであっても、ＲＯＭテーブルを取り替えることなく、波形再現性のよい高音質の画像データを得ることができる。
【０１０２】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ変換装置及び方法によれば、予測係数記憶手段から出力されたものであって実際の画像データにより求められた予測係数と切り出された画像データとに基づいて推定演算することによって、より実際に近い波形を再現して画質の良好な画像データを出力することができる。特に、変換処理の対象となる画像データの特徴量を抽出するしてブロック歪の除去の対象となる画像データの位置を検出することによって、ブロック歪の程度に追従してより画質のよい画像データを得ることができる。
【０１０３】
本発明に係る予測係数生成装置及び方法によれば、予めエンコード／デコード処理を行ってブロック歪の生じることを学習することによって、歪の除去した画像データを再現するための予測係数を生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像データ変換装置の具体的な構成を示すブロック図である。
【図２】上記画像データ変換装置の特徴量抽出回路で区分される領域を説明する図である。
【図３】上記の特徴量抽出回路で区分される領域を説明する図である。
【図４】上記特徴量抽出回路で区分される領域を説明する図である。
【図５】上記特徴量抽出回路で区分される領域を説明する図である。
【図６】本発明の第１の実施の形態に係る予測係数生成装置の具体的な構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る画像データ変換装置の具体的な構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る予測係数生成装置の具体的な構成を示すブロック図である。
【符号の説明】
１１，２３ 特徴量抽出回路、１２，１３，２４，２５ 領域切出回路、１４，２６ ＡＤＲＣ回路、１５，２７ クラスコード発生回路、１６，３０ ＲＯＭテーブル、２８ 正規方程式回路、２９ 予測係数決定回路、３１ 前処理部
Claims (14)
- 復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出する特徴量抽出手段と、
所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、
上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、
上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生するクラスコード発生手段と、
画像データを変換するための推定式の予測係数がクラス毎に記憶され、上記クラスコード発生手段で発生されたクラスコードで示されるクラスの予測係数を出力する予測係数記憶手段と、
上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の画像データ切出手段と、
上記予測係数記憶手段から出力された予測係数と上記第２の画像データ切出手段により切り出された画像データとの積和による推定演算を行なって、変換処理済みの画像データを出力する推定演算手段と
を備える画像データ変換装置。 - 上記特徴量抽出手段は、上記変換処理の対象となる画像データに連続し、かつ、この画像データのレベルに略等しいレベルの画像データを検出し、
上記画像データ切出手段は、上記検出された画像データ以外のものであって、検出された画像データの近傍の画像データを切り出すことを特徴とする請求項１記載の画像データ変換装置。 - 上記特徴量抽出手段は、上記変換処理の対象となる画像データの近傍の画像データである第１の画像データ群と、この第１の画像データ群の周囲の１又は２画素外側に位置する画像データである第２の画像データ群とのダイナミックレンジの差を検出し、
上記画像データ切出手段は、ダイナミックレンジの差が所定値より大きいときは第２の画像データ群の画像データを切り出し、ダイナミックレンジの差が所定値より小さいときは第１の画像データ群の画像データを切り出すことを特徴とする請求項１記載の画像データ変換装置。 - 上記特徴量抽出手段は、上記変換処理の対象となる画像データの近傍の画像データである第１の画像データ群と、この第１の画像データ群の周辺の画像データである第２の画像データ群とのそれぞれのレベルの平均値の差を検出し、
上記画像データ切出手段は、平均値の差が所定値より大きいときは第２の画像データ群の画像データを切り出し、平均値の差が所定値より小さいときは第１の画像データ群の画像データを切り出すことを特徴とする請求項１記載の画像データ変換装置。 - 上記第１の画像データ切出手段によって切出される画像データと上記第２の画像データ切出手段によって切出される画像データとは同一であることを特徴とする請求項１に記載の画像データ変換装置。
- 上記第１および第２の画像データ切出手段は、上記各処理単位ブロック内において、上記歪み除去変換処理の対象となる画像データの歪みの傾向に応じて分けられる領域、又は上記歪み除去変換処理の対象となる画像データに連続する領域における画像データの輝度レベルに基づき、上記検出された画像データの近傍の画像データを切り出すことを特徴とする請求項１記載の画像データ変換装置。
- 復号化処理された入力画像データのうち、歪み除去変換処理の対象となる画像データが復号化の処理単位ブロック内のいずれの領域に位置するかを示す位置情報を特徴量として抽出し、
所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、切り出された画像データを圧縮して圧縮データパターンを生成し、
上記圧縮データパターン及び上記特徴量を用いて、画像データを変換する処理単位ブロックが属するクラスを示すクラスコードを発生し、
予めクラス毎に記憶された画像データを変換するための推定式の予測係数から上記発生されたクラスコードで示されるクラスの予測係数を出力し、
上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出し、切り出された画像データと上記出力された予測係数との積和による推定演算を行なって、変換処理済みの画像データを出力することを特徴とする画像データ変換方法。 - 入力画像データにエンコード／デコード処理を行うエンコーダ／デコーダと、
上記エンコーダ／デコーダから出力された予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出する特徴量抽出手段と、
所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出す第１の画像データ切出手段と、
上記第１の画像データ切出手段により切り出された画像データを圧縮して圧縮データパターンを生成するパターン生成手段と、
上記圧縮データパターン及び上記特徴量を用いて上記クラスコードを発生するクラスコード発生手段と、
上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記中心部の近傍の画像データを変換処理に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すとき、上記境界から離れた位置の画像データを変換処理に用いられる画像データとして切り出す第２の 画像データ切出手段と、
あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式からクラスコード毎に予測係数の行列式Ｗを算出する予測係数算出手段と、
上記予測係数算出手段により算出された予測係数を記憶する記憶手段とを備え、
上記行列式Ｙのサンプルは、上記第２の画像データ切出手段により切出されたことを特徴とする予測係数生成装置。 - 上記特徴量抽出手段は、上記変換処理の対象となる画像データに連続し、かつ、この画像データのレベルに略等しいレベルの画像データを検出し、上記画像データ切出手段は、上記検出された画像データ以外のものであって、検出された画像データの近傍の画像データを切り出すことを特徴とする請求項８記載の予測係数生成装置。
- 上記特徴量抽出手段は、上記変換処理の対象となる画像データの近傍の画像データである第１の画像データ群と、この第１の画像データ群の周囲に位置する画像データである第２の画像データ群とのダイナミックレンジの差を検出し、
上記画像データ切出手段は、ダイナミックレンジの差が所定値より大きいときは第２の画像データ群の画像データを切り出し、ダイナミックレンジの差が所定値より小さいときは第１の画像データ群の画像データを切り出すことを特徴とする請求項８記載の予測係数生成装置。 - 上記特徴量抽出手段は、上記変換処理の対象となる画像データの近傍の画像データである第１の画像データ群と、この第１の画像データ群の周辺の画像データである第２の画像データ群とのそれぞれのレベルの平均値の差を検出し、
上記画像データ切出手段は、平均値の差が所定値より大きいときは第２の画像データ群の画像データを切り出し、平均値の差が所定値より小さいときは第１の画像データ群の画像データを切り出すことを特徴とする請求項８記載の予測係数生成装置。 - 上記第１の画像データ切出手段によって切出される画像データと上記第２の画像データ切出手段によって切出される画像データとは同一であることを特徴とする請求項８に記載の予測係数生成装置。
- 上記第１および第２の画像データ切出手段は、上記歪み除去変換処理の対象となる画像データの歪みの傾向に応じて分けられる領域、又は上記歪み除去変換処理の対象となる画像データに連続する領域における画像データの輝度レベルに基づき、上記検出された画像データの近傍の画像データを切り出すことを特徴とする請求項８記載の予測係数生成装置。
- 入力画像データにエンコード／デコード処理を行い、
上記エンコード／デコード処理の行われた予測係数算出の対象となる歪みを有する画像データが処理単位ブロック内のいずれの領域に位置するかを示す特徴量を抽出し、
所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データをクラスコード発生の際に用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データをクラスコード発生の際に用いられる画像データとして切り出し、
切り出された画像データを圧縮して圧縮データパターンを生成し、
上記圧縮データパターン及び上記特徴量を用いてクラスコードを発生し、
上記特徴量の値に応じて、係数算出処理にて用いられる画像データを上記予測係数算出の対象となる画像データ周辺から切り出し、
上記所定ブロック内の中心部の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記中心部の近傍の画像データを係数算出処理にて用いられる画像データとして切り出し、上記所定ブロックの境界近傍の領域に上記歪み除去変換処理の対象となる画像データが位置することを上記特徴量の値が示すときには、上記境界から離れた位置の画像データを係数算出処理にて用いられる画像データとして切り出し、
あるクラスコードにおける上記発生した圧縮データパターンの所定サンプルの行列式をＸ、算出すべき予測係数の行列式をＷ、エンコード／デコード処理が行われる前の画像データの所定サンプルの行列式をＹとしたとき、
Ｗ＝Ｘ−１・Ｙ
なる算出式から、上記特徴量の値に応じて切出された係数算出処理にて用いられる画像データを上記行列式Ｙのサンプルとして用いてクラスコード毎に予測係数の行列式Ｗを算出し、
上記算出された予測係数を記憶することを特徴とする予測係数生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12133197A JP3896635B2 (ja) | 1997-05-12 | 1997-05-12 | 画像データ変換装置及び方法、予測係数生成装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12133197A JP3896635B2 (ja) | 1997-05-12 | 1997-05-12 | 画像データ変換装置及び方法、予測係数生成装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10313458A JPH10313458A (ja) | 1998-11-24 |
| JP3896635B2 true JP3896635B2 (ja) | 2007-03-22 |
Family
ID=14808624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12133197A Expired - Fee Related JP3896635B2 (ja) | 1997-05-12 | 1997-05-12 | 画像データ変換装置及び方法、予測係数生成装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3896635B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4649770B2 (ja) * | 2001-05-10 | 2011-03-16 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
| JP4835949B2 (ja) * | 2007-12-21 | 2011-12-14 | ソニー株式会社 | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 |
| US20130114690A1 (en) * | 2009-11-30 | 2013-05-09 | Nec Corporation | Video encoding device and video decoding device |
-
1997
- 1997-05-12 JP JP12133197A patent/JP3896635B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10313458A (ja) | 1998-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8358701B2 (en) | Switching decode resolution during video decoding | |
| US5146326A (en) | Coded picture information decoding apparatus having means for improving picture distortion | |
| JP3943333B2 (ja) | 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 | |
| JPH0583696A (ja) | 画像符号化装置 | |
| WO1997049250A1 (en) | Device and method for encoding picture and device and method for decoding picture | |
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| US8681877B2 (en) | Decoding apparatus, decoding control apparatus, decoding method, and program | |
| JP2001519988A (ja) | ビデオデータから符号化パラメータを抽出するシステム | |
| JP2003179921A (ja) | 符号化映像復号化装置 | |
| JP4776505B2 (ja) | 画像符号化装置、画像復号装置及び画像処理プログラム | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JP3896635B2 (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法 | |
| JP3271098B2 (ja) | ディジタル画像信号復号装置および方法 | |
| JPH10174094A (ja) | 映像復号化装置 | |
| JP4552262B2 (ja) | ノイズ低減装置および方法 | |
| JPS63284974A (ja) | 画像圧縮方式 | |
| JP3627256B2 (ja) | ディジタル画像信号の受信／再生装置および方法 | |
| JP4909592B2 (ja) | 動画像再生方法及び装置並びにプログラム | |
| JPH06233266A (ja) | 映像符号化装置および映像復号化装置 | |
| JP4078652B2 (ja) | 画像信号復号装置及び画像信号復号方法 | |
| JP4552264B2 (ja) | エラー修整装置および方法 | |
| JP3304415B2 (ja) | ブロック変換符号の復号装置 | |
| JP2900815B2 (ja) | 適応コアリング方法及び適応コアリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |