JP4538699B2 - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4538699B2 JP4538699B2 JP2000164026A JP2000164026A JP4538699B2 JP 4538699 B2 JP4538699 B2 JP 4538699B2 JP 2000164026 A JP2000164026 A JP 2000164026A JP 2000164026 A JP2000164026 A JP 2000164026A JP 4538699 B2 JP4538699 B2 JP 4538699B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- block
- teacher
- tap
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、不可逆圧縮された画像等を復号する場合等に用いて好適なデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像を圧縮符号化する方式としては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ(Discrete Cosine Transform)回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果られる８×８画素の（復号）ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からのブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量の削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ＪＰＥＧ符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【００１７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、学習を行うことにより求められたタップ係数を取得する取得手段と、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出手段と、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算手段とを備え、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００１９】
第１のデータ処理装置には、タップ係数を記憶している記憶手段をさらに設けることができ、この場合、取得手段には、記憶手段から、タップ係数を取得させることができる。
【００２０】
第１のデータ処理装置において、変換データは、所定のデータを、少なくとも、離散コサイン変換したものとすることができる。
【００２１】
第１のデータ処理装置には、注目新変換ブロックの変換データのうちの、注目している注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる量子化変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、演算手段には、予測タップおよび注目データのクラスに対応するタップ係数を用いて予測演算を行わせることができる。
【００２２】
第１のデータ処理装置において、予測タップ抽出手段には、注目新変換ブロックの周辺の新変換ブロックに対応する変換ブロックから、予測タップとする量子化変換データを抽出させることができる。
【００２３】
第１のデータ処理装置において、予測タップ抽出手段には、注目新変換ブロックに対応する変換ブロックと、注目新変換ブロック以外の新変換ブロックに対応する変換ブロックとから、予測タップとする量子化変換データを抽出させることができる。
【００２８】
第１のデータ処理装置において、所定のデータは、動画または静止画の画像データとすることができる。
【００２９】
本発明の第１のデータ処理方法は、学習を行うことにより求められたタップ係数を取得する取得ステップと、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算ステップとを備え、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００３０】
本発明の第１の記録媒体は、学習を行うことにより求められたタップ係数を取得する取得ステップと、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であり、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００３１】
本発明の第２のデータ処理装置は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成手段と、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出手段と、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習手段とを備えることを特徴とする。
【００３３】
第２のデータ処理装置において、教師データは、データを、少なくとも、離散コサイン変換したものとすることができる。
【００３４】
第２のデータ処理装置には、注目教師ブロックの教師データのうちの、注目している注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、学習手段には、予測タップおよび注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、クラスごとのタップ係数を求めさせることができる。
【００３５】
第２のデータ処理装置において、予測タップ抽出手段には、注目教師ブロックの周辺の教師ブロックに対応する生徒ブロックから、予測タップとする生徒データを抽出させることができる。
【００３６】
第２のデータ処理装置において、予測タップ抽出手段には、注目教師ブロックに対応する生徒ブロックと、注目教師ブロック以外の教師ブロックに対応する生徒ブロックとから、予測タップとする生徒データを抽出させることができる。
【００４０】
第２のデータ処理装置において、データは、動画または静止画の画像データとすることができる。
【００４１】
本発明の第２のデータ処理方法は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えることを特徴とする。
【００４２】
本発明の第２の記録媒体は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを実行させるためのプログラムが記録されていることを特徴とする。
【００４３】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、学習を行うことにより求められたタップ係数が取得され、新変換ブロックのうちの注目している注目新変換ブロックの新たな変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する量子化変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データが抽出され、予測タップとして出力される。そして、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データが、変換データに変換される。また、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものである。
【００４４】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の教師データを量子化することにより、生徒データが生成される。そして、教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データが抽出され、予測タップとして出力される。さらに、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。
【００４５】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００４６】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、例えば、ＪＰＥＧ符号化し、符号化データとする。即ち、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成されており、画像データをＪＰＥＧ符号化する。エンコーダ２１がＪＰＥＧ符号化を行うことにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００４７】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、元の画像データに復号する。この復号化された画像データは、例えば、図示せぬモニタに供給されて表示等される。
【００４８】
次に、図３は、図２のデコーダ２２の構成例を示している。
【００４９】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。なお、符号化データには、図１（Ｃ）のエントロピー復号回路１１で説明した場合と同様に、エントロピー符号化された量子化ＤＣＴ係数の他、量子化テーブルも含まれるが、量子化テーブルは、後述するように、必要に応じて、量子化ＤＣＴ係数の復号に用いることが可能である。
【００５０】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとの量子化ＤＣＴ係数を、８×８画素の元のブロックに復号する。
【００５１】
ブロック分解回路３３は、係数変換回路３２において得られる、復号されたブロック（復号ブロック）のブロック化を解くことで、復号画像を得て出力する。
【００５２】
次に、図４のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００５３】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演算を行うことにより、ブロックごとの画素値に復号し、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの画素値のブロック（復号ブロック）のブロック化を解くブロック分解を行い、その結果得られる復号画像を出力して、処理を終了する。
【００５４】
次に、図３の係数変換回路３２では、例えば、クラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号することができる。
【００５５】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００５６】
即ち、適応処理では、例えば、量子化ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、量子化ＤＣＴ係数が、元の画素値に復号される。
【００５７】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ係数を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００５８】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００５９】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００６０】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００６１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００６２】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００６３】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６４】
【数４】
・・・（４）
【００６５】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００６６】
【数５】
・・・（５）
【００６７】
式（４）および（５）より、式（６）が得られる。
【００６８】
【数６】
・・・（６）
【００６９】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００７０】
【数７】
・・・（７）
【００７１】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００７２】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００７３】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００７４】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７５】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００７６】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７７】
従って、この場合、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００７８】
また、上述の場合には、教師データとして画像データを用い、生徒データとして量子化ＤＣＴ係数を用いるようにしたが、その他、例えば、教師データとしてＤＣＴ係数を用い、生徒データとして、そのＤＣＴ係数を量子化した量子化ＤＣＴ係数を用いるようにすることも可能である。この場合、適応処理によれば、量子化ＤＣＴ係数から、量子化誤差を低減（抑制）したＤＣＴ係数を予測するためのタップ係数が得られることになる。
【００７９】
図５は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の第１の構成例を示している。
【００８０】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給されるようになっている。
【００８１】
予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロックという）に対応する画素値のブロック（この画素値のブロックは、現段階では存在しないが、仮想的に想定される）（以下、適宜、画素ブロックという）を、順次、注目画素ブロックとし、さらに、その注目画素ブロックを構成する各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を、パターンテーブル記憶部４６のパターンテーブルを参照することで抽出し、予測タップとする。
【００８２】
即ち、パターンテーブル記憶部４６は、注目画素についての予測タップとして抽出する量子化ＤＣＴ係数の、注目画素に対する位置関係を表したパターン情報が登録されているパターンテーブルを記憶しており、予測タップ抽出回路４１は、そのパターン情報に基づいて、量子化ＤＣＴ係数を抽出し、注目画素についての予測タップを構成する。
【００８３】
予測タップ抽出回路４１は、８×８の６４画素でなる画素ブロックを構成する各画素についての予測タップ、即ち、６４画素それぞれについての６４セットの予測タップを、上述のようにして構成し、積和演算回路４５に供給する。
【００８４】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる量子化ＤＣＴ係数を抽出して、クラスタップとする。
【００８５】
なお、ＪＰＥＧ符号化では、画像が、画素ブロックごとに符号化（ＤＣＴ処理および量子化）されることから、ある画素ブロックに属する画素は、例えば、すべて同一のクラスにクラス分類することとする。従って、クラスタップ抽出回路４２は、ある画素ブロックの各画素については、同一のクラスタップを構成する。即ち、クラスタップ抽出回路４２は、例えば、図６に示すように、注目画素が属する画素ブロックに対応するＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、８×８の６４個の量子化ＤＣＴ係数を、クラスタップとして抽出する。但し、クラスタップは、注目画素ごとに、異なる量子化ＤＣＴ係数で構成することが可能である。
【００８６】
ここで、画素ブロックに属する各画素を、すべて同一のクラスにクラス分類するということは、その画素ブロックをクラス分類することと等価である。従って、クラスタップ抽出回路４２には、注目画素ブロックを構成する６４画素それぞれをクラス分類するための６４セットのクラスタップではなく、注目画素ブロックをクラス分類するための１セットのクラスタップを構成させれば良く、このため、クラスタップ抽出回路４２は、画素ブロックごとに、その画素ブロックをクラス分類するために、その画素ブロックに対応するＤＣＴブロックの６４個の量子化ＤＣＴ係数を抽出して、クラスタップとするようになっている。
【００８７】
なお、クラスタップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００８８】
クラスタップ抽出回路４２において得られる、注目画素ブロックのクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目画素ブロックをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００８９】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９０】
ADRCを用いる方法では、クラスタップを構成する量子化ＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素ブロックのクラスが決定される。
【００９１】
なお、KビットADRCにおいては、例えば、クラスタップを構成する量子化ＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する量子化ＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成する量子化ＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各量子化ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各量子化ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各量子化ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットの量子化ＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９２】
なお、クラス分類回路４３には、例えば、クラスタップを構成する量子化ＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２N）K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００９３】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【００９４】
ところで、本実施の形態では、クラスタップは、上述したように、６４個の量子化ＤＣＴ係数で構成される。従って、例えば、仮に、クラスタップを１ビットADRC処理することにより、クラス分類を行うこととしても、クラスコードの場合の数は、２64通りという大きな値となる。
【００９５】
そこで、本実施の形態では、クラス分類回路４３において、クラスタップを構成する量子化ＤＣＴ係数から、重要性の高い特徴量を抽出し、その特徴量に基づいてクラス分類を行うことで、クラス数を低減するようになっている。
【００９６】
即ち、図７は、図５のクラス分類回路４３の構成例を示している。
【００９７】
クラスタップは、電力演算回路５１に供給されるようになっており、電力演算回路５１は、クラスタップを構成する量子化ＤＣＴ係数を、幾つかの空間周波数帯域のものに分け、各周波数帯域の電力を演算する。
【００９８】
即ち、電力演算回路５１は、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、例えば、図８に示すような４つの空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3に分割する。
【００９９】
ここで、クラスタップを構成する８×８個の量子化ＤＣＴ係数それぞれを、アルファベットｘに、図６に示したような、ラスタスキャン順に、０からのシーケンシャルな整数を付して表すこととすると、空間周波数帯域Ｓ0は、４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9から構成され、空間周波数帯域Ｓ1は、１２個の量子化ＤＣＴ係数ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ10，ｘ11，ｘ12，ｘ13，ｘ14，ｘ15から構成される。また、空間周波数帯域Ｓ2は、１２個の量子化ＤＣＴ係数ｘ16，ｘ17，ｘ24，ｘ25，ｘ32，ｘ33，ｘ40，ｘ41，ｘ48，ｘ49，ｘ56，ｘ57から構成され、空間周波数帯域Ｓ3は、３６個の量子化ＤＣＴ係数ｘ18，ｘ19，ｘ20，ｘ21，ｘ22，ｘ23，ｘ26，ｘ27，ｘ28，ｘ29，ｘ30，ｘ31，ｘ34，ｘ35，ｘ36，ｘ37，ｘ38，ｘ39，ｘ42，ｘ43，ｘ44，ｘ45，ｘ46，ｘ47，ｘ50，ｘ51，ｘ52，ｘ53，ｘ54，ｘ55，ｘ58，ｘ59，ｘ60，ｘ61，ｘ62，ｘ63から構成される。
【０１００】
さらに、電力演算回路５１は、空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3それぞれについて、量子化ＤＣＴ係数のＡＣ成分の電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を演算し、クラスコード生成回路５２に出力する。
【０１０１】
即ち、電力演算回路５１は、空間周波数帯域Ｓ0については、上述の４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9のうちのＡＣ成分ｘ1，ｘ8，ｘ9の２乗和ｘ1 2＋ｘ8 2＋ｘ9 2を求め、これを、電力Ｐ0として、クラスコード生成回路５２に出力する。また、電力演算回路５１は、空間周波数帯域Ｓ１についての、上述の１２個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべての量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ1として、クラスコード生成回路５２に出力する。さらに、電力演算回路５１は、空間周波数帯域Ｓ2とＳ3についても、空間周波数帯域Ｓ1における場合と同様にして、それぞれの電力Ｐ2とＰ3を求め、クラスコード生成回路５２に出力する。
【０１０２】
クラスコード生成回路５２は、電力演算回路５１からの電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を、閾値テーブル記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路５２は、電力Ｐ0と閾値ＴＨ０とを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路５２は、電力Ｐ1と閾値ＴＨ１、電力Ｐ2と閾値ＴＨ２、電力Ｐ3と閾値ＴＨ３を、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。そして、クラスコード生成回路５２は、以上のようにして得られる４つの１ビットのコードを、例えば、所定の順番で並べることにより得られる４ビットのコード（従って、０乃至１５のうちのいずれかの値）を、注目画素ブロックのクラスを表すクラスコードとして出力する。従って、本実施の形態では、注目画素ブロックは、２4（＝１６）個のクラスのうちのいずれかにクラス分類されることになる。
【０１０３】
閾値テーブル記憶部５３は、空間周波数帯域Ｓ0乃至Ｓ3の電力Ｐ0乃至Ｐ3とそれぞれ比較する閾値ＴＨ０乃至ＴＨ３を記憶している。
【０１０４】
なお、上述の場合には、クラス分類処理に、量子化ＤＣＴ係数のＤＣ成分ｘ0が用いられないが、このＤＣ成分ｘ0をも用いてクラス分類処理を行うことも可能である。
【０１０５】
図５に戻り、以上のようなクラス分類回路４３が出力するクラスコードは、係数テーブル記憶部４４およびパターンテーブル記憶部４６に、アドレスとして与えられる。
【０１０６】
係数テーブル記憶部４４は、後述するようなタップ係数の学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【０１０７】
ここで、本実施の形態では、画素ブロックがクラス分類されるから、注目画素ブロックについて、１つのクラスコードが得られる。一方、画素ブロックは、本実施の形態では、８×８画素の６４画素で構成されるから、注目画素ブロックについて、それを構成する６４画素それぞれを復号するための６４セットのタップ係数が必要である。従って、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、６４セットのタップ係数が記憶されている。
【０１０８】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる注目画素ブロックの８×８画素の画素値を、対応するＤＣＴブロックの復号結果として、ブロック分解回路３３（図３）に出力する。
【０１０９】
ここで、予測タップ抽出回路４１においては、上述したように、注目画素ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目画素ブロックの、注目画素となっている画素の位置に対応した動作モード（以下、適宜、画素位置モードという）となって、処理を行う。
【０１１０】
即ち、例えば、注目画素ブロックの画素のうち、ラスタスキャン順で、ｉ番目の画素を、ｐiと表し、画素ｐiが、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｉの処理を行う。
【０１１１】
具体的には、上述したように、係数テーブル記憶部４４は、注目画素ブロックを構成する６４画素それぞれを復号するための６４セットのタップ係数を出力するが、そのうちの画素ｐiを復号するためのタップ係数のセットをＷiと表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｉのときには、予測タップと、６４セットのタップ係数のうちのセットＷiとを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐiの復号結果とする。
【０１１２】
パターンテーブル記憶部４６は、後述するような量子化ＤＣＴ係数の抽出パターンを表すパターン情報の学習処理が行われることにより得られるパターン情報が登録されたパターンテーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているパターン情報を、予測タップ抽出回路４１に出力する。
【０１１３】
ここで、パターンテーブル記憶部４６においても、係数テーブル記憶部４４について説明したのと同様の理由から、１つのクラスコードに対応するアドレスに対して、６４セットのパターン情報（各画素位置モードごとのパターン情報）が記憶されている。
【０１１４】
次に、図９のフローチャートを参照して、図５の係数変換回路３２の処理について説明する。
【０１１５】
エントロピー復号回路３１が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２において順次受信され、予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する画素ブロックを、順次、注目画素ブロックとする。
【０１１６】
そして、クラスタップ抽出回路４２は、ステップＳ１１において、そこで受信した量子化ＤＣＴ係数の中から、注目画素ブロックをクラス分類するのに用いるものを抽出して、クラスタップを構成し、クラス分類回路４３に供給する。
【０１１７】
クラス分類回路４３は、ステップＳ１２において、クラスタップ抽出回路４２からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４およびパターンテーブル記憶部４６に出力する。
【０１１８】
即ち、ステップＳ１２では、図１０のフローチャートに示すように、まず最初に、ステップＳ２１において、クラス分類回路４３（図７）の電力演算回路５１が、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、図８に示した４つの空間周波数帯域Ｓ0乃至Ｓ3に分割し、それぞれの電力Ｐ0乃至Ｐ3を演算する。この電力Ｐ0乃至Ｐ3は、電力演算回路５１からクラスコード生成回路５２に出力される。
【０１１９】
クラスコード生成回路５２は、ステップＳ２２において、閾値テーブル記憶部５３から閾値ＴＨ０乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ0乃至Ｐ3それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小関係に基づいたクラスコードを生成して、リターンする。
【０１２０】
図９に戻り、ステップＳ１２において以上のようにして得られるクラスコードは、クラス分類回路４３から係数テーブル記憶部４４およびパターンテーブル記憶部４６に対して、アドレスとして与えられる。
【０１２１】
係数テーブル記憶部４４は、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている６４セットのタップ係数を読み出し、積和演算回路４５に出力する。また、パターンテーブル記憶部４６も、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている６４セットのパターン情報を読み出し、予測タップ抽出回路４１に出力する。
【０１２２】
そして、ステップＳ１４に進み、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の画素位置モードに対応するパターン情報にしたがって、その注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとして構成する。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【０１２３】
積和演算回路４５は、ステップＳ１５において、ステップＳ１３で係数テーブル記憶部４４が出力する６４セットのタップ係数のうち、注目画素に対する画素位置モードに対応するタップ係数のセットを取得し、そのタップ係数のセットと、ステップＳ１４で予測タップ抽出回路４１から供給された予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１２４】
そして、ステップＳ１６に進み、予測タップ抽出回路４１は、注目画素ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１４に戻り、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１２５】
また、ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目画素ブロックのすべての画素の復号値が得られた場合、積和演算回路４５は、その復号値で構成される画素ブロック（復号ブロック）を、ブロック分解回路３３（図３）に出力し、処理を終了する。
【０１２６】
なお、図９のフローチャートにしたがった処理は、予測タップ抽出回路４１が、新たな注目画素ブロックを設定するごとに繰り返し行われる。
【０１２７】
次に、図１１は、図５の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。
【０１２８】
ブロック化回路６１には、１枚以上の学習用の画像データが、学習時の教師となる教師データとして供給されるようになっており、ブロック化回路６１は、教師データとしての画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。
【０１２９】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画素ブロックを、順次、注目画素ブロックとして読み出し、その注目画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１３０】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に順次供給する。
【０１３１】
予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素について、パターンテーブル記憶部７０から読み出されるパターン情報を参照することにより、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。この予測タップは、学習時の生徒となる生徒データとして、予測タップ抽出回路６４から正規方程式加算回路６７に供給される。
【０１３２】
クラスタップ抽出回路６５は、注目画素ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路６５からクラス分類回路６６に供給される。
【０１３３】
クラス分類回路６６は、クラスタップ抽出回路６５からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７およびパターンテーブル記憶部７０に供給する。
【０１３４】
正規方程式加算回路６７は、ブロック化回路６１から、教師データとしての注目画素（の画素値）を読み出し、予測タップ構成回路６４からの生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および注目画素を対象とした足し込みを行う。
【０１３５】
即ち、正規方程式加算回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３６】
さらに、正規方程式加算回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３７】
なお、正規方程式加算回路６７における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０１３８】
正規方程式加算回路６７は、以上の足し込みを、ブロック化回路６１に供給された教師画像を構成する画素すべてを注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式がたてられる。
【０１３９】
タップ係数決定回路６８は、正規方程式加算回路６７においてクラスごとに（かつ、画素位置モードごとに）生成された正規方程式を解くことにより、クラスごとに、６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給する。
【０１４０】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１４１】
係数テーブル記憶部６９は、タップ係数決定回路６８から供給されるクラスごとの６４セットのタップ係数を記憶する。
【０１４２】
パターンテーブル記憶部７０は、図５のパターンテーブル記憶部４６が記憶しているのと同一のパターンテーブルを記憶しており、クラス分類回路６６からのクラスコードに対応するアドレスに記憶されている６４セットのパターン情報を読み出し、予測タップ抽出回路６４に供給する。
【０１４３】
次に、図１２のフローチャートを参照して、図１１のタップ係数学習装置の処理（学習処理）について説明する。
【０１４４】
ブロック化回路６１には、学習用の画像データが、教師データとして供給され、ブロック化回路６１は、ステップＳ３１において、教師データとしての画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その注目画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ３３に進む。ステップＳ３３では、量子化回路６３が、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１４５】
そして、ステップＳ３４に進み、クラスタップ抽出回路６５は、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものを、注目画素ブロックとする。さらに、クラスタップ抽出回路６５は、注目画素ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路６６に供給する。クラス分類回路６６は、ステップＳ３５において、図１０のフローチャートで説明した場合と同様に、クラスタップ抽出回路６５からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７およびパターンテーブル記憶部７０に供給して、ステップＳ３６に進む。
【０１４６】
これにより、パターンテーブル記憶部７０は、クラス分類回路６６からのクラスコードに対応するアドレスに記憶された６４セットのパターン情報を読み出し、予測タップ抽出回路６４に供給する。
【０１４７】
ステップＳ３６では、予測タップ抽出回路６４が、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、パターンテーブル記憶部７０からの６４セットのパターン情報のうちの、注目画素の画素位置モードに対応するものにしたがって、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から必要な量子化ＤＣＴ係数を抽出することで構成する。そして、予測タップ抽出回路６４は、注目画素についての予測タップを、生徒データとして、正規方程式加算回路６７に供給し、ステップＳ３７に進む。
【０１４８】
ステップＳ３７では、正規方程式加算回路６７は、ブロック化回路６１から、教師データとしての注目画素を読み出し、生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類回路６６からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モードごとに行われる。
【０１４９】
そして、ステップＳ３８に進み、予測タップ抽出回路６４は、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ３８において、注目画素ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ３６に戻り、予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１５０】
また、ステップＳ３８において、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ３９に進み、ブロック化回路６１は、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったかどうかを判定する。ステップＳ３９において、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ３４に戻り、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものが、新たに注目画素ブロックとされ、以下、同様の処理が繰り返される。
【０１５１】
一方、ステップＳ３９において、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったと判定された場合、即ち、例えば、正規方程式加算回路６７において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ４０に進み、タップ係数決定回路６８は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの６４の画素位置モードそれぞれに対応する６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１５２】
以上のようにして、係数テーブル記憶部６９に記憶された各クラスごとのタップ係数が、図５の係数テーブル記憶部４４に記憶されている。
【０１５３】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図５の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、元の画像に限りなく近い画像に復号することができる。
【０１５４】
また、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、画質の良い復号画像を得ることができる。
【０１５５】
次に、図１３は、図５のパターンテーブル記憶部４６および図１１のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。
【０１５６】
ブロック化回路１５１には、１枚以上の学習用の画像データが供給されるようになっており、ブロック化回路１５１は、学習用の画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。なお、ブロック化回路１５１に供給する学習用の画像データは、図１１のタップ係数学習装置のブロック化回路６１に供給される学習用の画像データと同一のものであっても良いし、異なるものであっても良い。
【０１５７】
ＤＣＴ回路１５２は、ブロック化回路１５１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路１５３に供給される。
【０１５８】
量子化回路１５３は、ＤＣＴ回路１５２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、加算回路１５４およびクラスタップ抽出回路１５５およびに順次供給する。
【０１５９】
加算回路１５４は、ブロック化回路１５１において得られた画素ブロックを、順次、注目画素ブロックとし、その注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、クラス分類回路１５６が出力する注目画素のクラスコードごとに、その注目画素と、量子化回路１５３が出力する量子化ＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。
【０１６０】
即ち、パターン情報の学習処理では、例えば、図１４（Ａ）に示すように、注目画素が属する注目画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれと、注目画素とを対応させることを、図１４（Ｂ）に示すように、学習用の画像から得られる画素ブロックすべてについて行うことで、画素ブロックの各位置にある画素それぞれと、画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれとの間の相関値を演算し、画素ブロックの各位置にある画素それぞれについて、例えば、図１４（Ｃ）において■印で示すように、その画素との相関値が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、パターン情報とするようになっている。即ち、図１４（Ｃ）は、画素ブロックの左から３番目で、上から１番目の画素との相関が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、■印で表しており、このような位置パターンが、パターン情報とされる。
【０１６１】
ここで、画素ブロックの左からｘ＋１番目で、上からｙ＋１番目の画素を、A(x,y)と表すとともに（本実施の形態では、ｘ，ｙは、０乃至７（＝８−１）の範囲の整数）、その画素が属する画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの左からｓ＋１番目で、上からｔ＋１番目の量子化ＤＣＴ係数をB(s,t)と表すと（本実施の形態では、ｓ，ｔは、０乃至２３（＝８×３−１）の範囲の整数）、画素A(x,y)と、その画素A(x,y)に対して所定の位置関係にある量子化ＤＣＴ係数B(s,t)との相互相関値ＲA(x,y)B(s,t)は、次式で表される。
【０１６２】
但し、式（９）において（後述する式（１０）乃至（１２）においても同様）、サメーション（Σ）は、学習用の画像から得られた画素ブロックすべてについての加算を表す。また、A'(x,y)は、学習用の画像から得られた画素ブロックの位置（ｘ，ｙ）にある画素（値）の平均値を、B'(s,t)は、学習用の画像から得られた画素ブロックに対する３×３個のＤＣＴブロックの位置（ｓ，ｔ）にある量子化ＤＣＴ係数の平均値をそれぞれ表す。
【０１６３】
従って、学習用の画像から得られた画素ブロックの総数をＮと表すと、平均値A'(x,y)およびB'(s,t)は、次式のように表すことができる。
【０１６４】
A'(x,y)＝（ΣA(x,y))/N
B'(s,t)＝（ΣB(s,t))/N
・・・（１０）
【０１６５】
式（１０）を式（９）に代入すると、次式が導かれる。
【０１６６】
【０１６７】
式（１１）より、相関値ＲA(x,y)B(s,t)を求めるには、
ΣA(x,y)，ΣB(s,t)，ΣA(x,y)2，ΣB(s,t)2，Σ(A(x,y)B(s,t))
・・・（１２）
の合計５式の加算演算を行う必要があり、加算回路１５４は、この５式の加算演算を行う。
【０１６８】
なお、ここでは、説明を簡単にするために、クラスを考慮しなかったが、図１３のパターン学習装置では、加算回路１５４は、式（１２）の５式の加算演算を、クラス分類回路１５６から供給されるクラスコードごとに分けて行う。従って、上述の場合には、サメーション（Σ）は、学習用の画像から得られた画素ブロックすべてについての加算を表すこととしたが、クラスを考慮する場合には、式（１２）のサメーション（Σ）は、学習用の画像から得られた画素ブロックうち、各クラスに属するものについての加算を表すことになる。
【０１６９】
図１３に戻り、加算回路１５４は、学習用の画像について、クラスごとに、画素ブロックの各位置にある画素と、その画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算するための式（１２）に示した加算演算結果を得ると、その加算演算結果を、相関係数算出回路１５７に出力する。
【０１７０】
クラスタップ抽出回路１５５は、注目画素ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路１５３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路１５５からクラス分類回路１５６に供給される。
【０１７１】
クラス分類回路１５６は、クラスタップ抽出回路１５５からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、加算回路１５４に供給する。
【０１７２】
相関係数算出回路１５７は、加算回路１５４の出力を用いて、式（１１）にしたがい、クラスごとに、画素ブロックの各位置にある画素と、その画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算し、パターン選択回路１５８に供給する。
【０１７３】
パターン選択回路１５８は、相関係数算出回路１５７からの相関値に基づいて、画素ブロックの各位置にある８×８の画素それぞれとの相関値が大きい位置関係にあるＤＣＴ係数の位置を、クラスごとに認識する。即ち、パターン選択回路１５８は、例えば、画素ブロックの各位置にある画素との相関値（の絶対値）が所定の閾値以上となっているＤＣＴ係数の位置を、クラスごとに認識する。あるいは、また、パターン選択回路１５８は、例えば、画素ブロックの各位置にある画素との相関値が所定の順位以上であるＤＣＴ係数の位置を、クラスごとに認識する。そして、パターン選択回路１５８は、クラスごとに認識した、８×８画素それぞれについての（画素位置モードごとの）６４セットのＤＣＴ係数の位置パターンを、パターン情報として、パターンテーブル記憶部１５９に供給する。
【０１７４】
なお、パターン選択回路１５８において、画素ブロックの各位置にある画素との相関値が所定の順位以上であるＤＣＴ係数の位置を認識するようにした場合には、その認識されるＤＣＴ係数の位置の数は固定（所定の順位に相当する値）となるが、画素ブロックの各位置にある画素との相関値が所定の閾値以上となっているＤＣＴ係数の位置を認識するようにした場合には、その認識されるＤＣＴ係数の位置の数は、可変になる。
【０１７５】
パターンテーブル記憶部１５９は、パターン選択回路１５８が出力するパターン情報を記憶する。
【０１７６】
次に、図１５のフローチャートを参照して、図１３のパターン学習装置の処理（学習処理）について説明する。
【０１７７】
ブロック化回路１５１には、学習用の画像データが供給され、ブロック化回路６１は、ステップＳ５１において、その学習用の画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ５２に進む。ステップＳ５２では、ＤＣＴ回路１５２が、ブロック化回路１５１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ５３に進む。ステップＳ５３では、量子化回路１５３が、ＤＣＴ回路１５２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１７８】
そして、ステップＳ５４に進み、加算回路１５４は、ブロック化回路１５１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものを、注目画素ブロックとする。さらに、ステップＳ５４では、クラスタップ抽出回路１５５は、注目画素ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路１５６に供給する。クラス分類回路１５６は、ステップＳ５５において、図１０のフローチャートで説明した場合と同様に、クラスタップ抽出回路１５５からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、加算回路１５４に供給して、ステップＳ５６に進む。
【０１７９】
ステップＳ５６では、加算回路１５４が、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の位置（画素位置モード）ごとに、かつ、クラス分類回路１５６から供給されるクラスコードごとに、式（１２）に示した加算演算を、ブロック化回路１５１でブロック化された学習用の画像と、量子化回路１５３が出力する量子化ＤＣＴ係数を用いて行い、ステップＳ５７に進む。
【０１８０】
ステップＳ５７では、加算回路１５４は、注目画素ブロックのすべての画素を、注目画素として、加算演算を行ったかどうかを判定する。ステップＳ５７において、注目画素ブロックのすべての画素を、注目画素として、まだ加算演算を行っていないと判定された場合、ステップＳ５６に戻り、加算回路１５４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１８１】
また、ステップＳ５７において、注目画素ブロックのすべての画素を、注目画素として、加算演算を行ったと判定された場合、ステップＳ５８に進み、加算回路１５４は、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったかどうかを判定する。ステップＳ５８において、教師用の画像から得られたすべての画素ブロックを、注目画素ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ５４に戻り、ブロック化回路１５１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものが、新たに注目画素ブロックとされ、以下、同様の処理が繰り返される。
【０１８２】
一方、ステップＳ５８において、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったと判定された場合、ステップＳ５９に進み、相関係数算出回路１５７は、加算回路１５４における加算演算結果をを用いて、式（１１）にしたがい、クラスごとに、画素ブロックの各位置にある画素と、画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算し、パターン選択回路１５８に供給する。
【０１８３】
パターン選択回路１５８は、ステップＳ６０において、相関係数算出回路１５７からの相関値に基づいて、画素ブロックの各位置にある８×８の画素それぞれとの相関値が大きい位置関係にあるＤＣＴ係数の位置を、クラスごとに認識し、そのクラスごとに認識した８×８画素それぞれについての６４セットのＤＣＴ係数の位置パターンを、パターン情報として、パターンテーブル記憶部１５９に供給して記憶させ、処理を終了する。
【０１８４】
以上のようにして、パターンテーブル記憶部１５９に記憶された各クラスごとの６４セットのパターン情報が、図５のパターンテーブル記憶部４６および図１１のパターンテーブル記憶部７０に記憶されている。
【０１８５】
従って、図５の係数変換回路３２では、注目画素について、それとの相関が大きい位置にある量子化ＤＣＴ係数が、予測タップとして抽出され、そのような予測タップを用いて、量子化ＤＣＴ係数が、元の画素値に復号されるため、例えば、予測タップとする量子化ＤＣＴ係数を、ランダムに抽出する場合に比較して、復号画像の画質を向上させることが可能となる。
【０１８６】
なお、ＪＰＥＧ符号化では、８×８画素の画素ブロック単位で、ＤＣＴおよび量子化が行われることにより、８×８の量子化ＤＣＴ係数からなるＤＣＴブロックが構成されるから、ある画素ブロックの画素を、クラス分類適応処理によって復号する場合には、その画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数を、予測タップとして用いることが考えられる。
【０１８７】
しかしながら、画像においては、ある画素ブロックに注目した場合に、その画素ブロックの画素と、その周辺の画素ブロックの画素との間には、少なからず相関があるのが一般的である。従って、上述のように、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロック、即ち、ある画素ブロックに対応するＤＣＴブロックだけでなく、それ以外のＤＣＴブロックからも、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を抽出して、予測タップとして用いることによって、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、予測タップとして用いる場合に比較して、復号画像の画質を向上させることが可能となる。
【０１８８】
ここで、ある画素ブロックの画素と、その周辺の画素ブロックの画素との間に、少なからず相関があることからすれば、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数すべてを、予測タップとして用いることにより、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、予測タップとして用いる場合に比較して、復号画像の画質を向上させることが可能である。
【０１８９】
但し、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数すべてを、予測タップとすると、予測タップを構成する量子化ＤＣＴ係数の数は５７６（＝８×８×３×３）となり、図５の積和演算回路４５において行う必要のある積和演算の回数が多くなる。
【０１９０】
そこで、その５７６の量子化ＤＣＴ係数のうち、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を抽出して、予測タップとして用いることによって、図５の積和演算回路４５における演算量の増加を抑えながら、復号画像の画質を向上させることが可能となる。
【０１９１】
なお、上述の場合には、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数から、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を予測タップとして抽出するようにしたが、予測タップとする量子化ＤＣＴ係数は、その他、ある画素ブロックに対応するＤＣＴブロックを中心とする５×５個等のＤＣＴブロックの量子化ＤＣＴ係数から抽出するようにしても良い。即ち、どのような範囲のＤＣＴブロックから、予測タップとする量子化ＤＣＴ係数を抽出するかは、特に限定されるものではない。
【０１９２】
また、あるＤＣＴブロックの量子化ＤＣＴ係数は、対応する画素ブロックの画素から得られたものであるから、注目画素について予測タップを構成するにあたっては、その注目画素の画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数は、すべて、予測タップとするのが望ましいと考えられる。
【０１９３】
そこで、図１３のパターン選択回路１５８には、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数は、必ず、予測タップとして抽出されるようなパターン情報を生成させるようにすることができる。この場合、パターン選択回路１５８では、画素ブロックに対応するＤＣＴブロックの周囲に隣接する８個のＤＣＴブロックから、相関値の大きい量子化ＤＣＴ係数が選択され、その量子化ＤＣＴ係数の位置のパターンと、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数すべての位置のパターンとをあわせたものが、最終的な、パターン情報とされることになる。
【０１９４】
次に、図１６は、図３の係数変換回路３２の第２の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の係数変換回路３２は、逆量子化回路７１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０１９５】
図１６の実施の形態において、逆量子化回路７１には、エントロピー復号回路３１（図３）において符号化データをエントロピー復号することにより得られるブロックごとの量子化ＤＣＴ係数が供給される。
【０１９６】
なお、エントロピー復号回路３１においては、上述したように、符号化データから、量子化ＤＣＴ係数の他、量子化テーブルも得られるが、図１６の実施の形態では、この量子化テーブルも、エントロピー復号回路３１から逆量子化回路７１に供給されるようになっている。
【０１９７】
逆量子化回路７１は、エントロピー復号回路３１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路３１からの量子化テーブルにしたがって逆量子化し、その結果られるＤＣＴ係数を、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【０１９８】
従って、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図５における場合と同様の処理が行われる。
【０１９９】
このように、図１６の実施の形態では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われるため、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０２００】
そこで、図１７は、図１６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７のタップ係数学習装置は、量子化回路６３の後段に、逆量子化回路８１が新たに設けられている他は、図１１における場合と基本的に同様に構成されている。
【０２０１】
図１７の実施の形態において、逆量子化回路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係数を、図１６の逆量子化回路７１と同様に逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に供給する。
【０２０２】
従って、予測タップ抽出回路６４とクラスタップ抽出回路６５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図１１における場合と同様の処理が行われる。
【０２０３】
その結果、ＤＣＴ係数が量子化され、さらに逆量子化されることにより生じる量子化誤差の影響を低減するタップ係数が得られることになる。
【０２０４】
次に、図１８は、図１６のパターンテーブル記憶部４６および図１７のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８のパターン学習装置は、量子化回路１５３の後段に、逆量子化回路９１が新たに設けられている他は、図１３における場合と基本的に同様に構成されている。
【０２０５】
図１８の実施の形態において、逆量子化回路９１は、逆量子化回路１５３が出力する量子化ＤＣＴ係数を、図１６の逆量子化回路７１や、図１７の逆量子化回路８１と同様に逆量子化し、その結果得られるＤＣＴ係数を、加算回路１５４およびクラスタップ抽出回路１５５に供給する。
【０２０６】
従って、加算回路１５４とクラスタップ抽出回路１５５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われる。即ち、加算回路１５４は、上述の加算演算を、量子化回路１５３が出力する量子化ＤＣＴ係数に替えて、逆量子化回路９１が出力するＤＣＴ係数を用いて行い、クラスタップ抽出回路１５５も、量子化回路１５３が出力する量子化ＤＣＴ係数に替えて、逆量子化回路９１が出力するＤＣＴ係数を用いて、クラスタップを構成する。そして、以降は、図１３における場合と同様の処理が行われることにより、パターン情報が求められる。
【０２０７】
次に、図１９は、図３の係数変換回路３２の第３の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の係数変換回路３２は、積和演算回路４５の後段に、逆ＤＣＴ回路１０１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０２０８】
逆ＤＣＴ回路１０１は、積和演算回路４５の出力を逆ＤＣＴ処理することにより、画像に復号して出力する。従って、図１９の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成する量子化ＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、ＤＣＴ係数を出力する。
【０２０９】
このように、図１９の実施の形態では、量子化ＤＣＴ係数が、タップ係数との積和演算により、画素値に復号されるのではなく、ＤＣＴ係数に変換され、さらに、そのＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、画素値に復号される。従って、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０２１０】
そこで、図２０は、図１９の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２０のタップ係数学習装置は、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１１における場合と同様に構成されている。
【０２１１】
従って、図２０の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成する量子化ＤＣＴ係数を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２０のタップ係数学習装置では、量子化ＤＣＴ係数を、量子化回路６３における量子化による量子化誤差を低減（抑制）したＤＣＴ係数に変換するタップ係数が求められることになる。
【０２１２】
図１９の係数変換回路３２では、積和演算回路４５が、上述のようなタップ係数を用いて積和演算を行うため、その出力は、予測タップ抽出回路４１が出力する量子化ＤＣＴ係数を、その量子化誤差を低減したＤＣＴ係数に変換したものとなる。従って、そのようなＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、量子化誤差の影響による画質の劣化を低減した復号画像が得られることになる。
【０２１３】
次に、図２１は、図１９のパターンテーブル記憶部４６および図２０のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１のパターン学習装置は、加算回路１５４に対し、ブロック化回路１５１が出力する学習用の画像の画素ではなく、ＤＣＴ回路１５２が出力するＤＣＴ係数が供給されるようになっている他は、図１３における場合と同様に構成されている。
【０２１４】
図１３の実施の形態では、予測タップを構成する量子化ＤＣＴ係数とタップ係数とを用いた積和演算によって、画素を復号するために、画素との相関が大きい位置関係にある量子化ＤＣＴ係数を求めて、その量子化ＤＣＴ係数の位置パターンを、パターン情報としたが、図２１の実施の形態では、予測タップを構成する量子化ＤＣＴ係数とタップ係数とを用いた積和演算によって、量子化誤差を低減したＤＣＴ係数を得るために、ＤＣＴ係数と相関が大きい位置関係にある量子化ＤＣＴ係数を求めて、その量子化ＤＣＴ係数の位置パターンを、パターン情報として求める必要がある。
【０２１５】
そこで、図２１の実施の形態では、加算回路１５４は、ブロック化回路１５１において得られた画素ブロックではなく、その画素ブロックを、ＤＣＴ回路１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順次、注目ブロックとし、その注目ブロックのＤＣＴ係数のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数とされていないＤＣＴ係数を、注目ＤＣＴ係数として、クラス分類回路１５６が出力する注目ＤＣＴ係数のクラスコードごとに、その注目ＤＣＴ係数と、量子化回路１５３が出力する量子化ＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。
【０２１６】
即ち、図２１のパターン学習装置による学習処理では、例えば、図２２（Ａ）に示すように、注目ＤＣＴ係数が属する注目ブロックに対応する、量子化ＤＣＴ係数のＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれと、注目ＤＣＴ係数とを対応させることを、図２２（Ｂ）に示すように、学習用の画像から得られるＤＣＴ係数のブロックすべてについて行うことで、ＤＣＴ係数のブロックの各位置にあるＤＣＴ係数それぞれと、そのブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれとの間の相関値を演算し、ＤＣＴ係数のブロックの各位置にあるＤＣＴ係数それぞれについて、例えば、図２２（Ｃ）において■印で示すように、そのＤＣＴ係数との相関値が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、パターン情報とするようになっている。即ち、図２２（Ｃ）は、ＤＣＴ係数のブロックの左から２番目で、上から１番目のＤＣＴ係数との相関が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、■印で表しており、このような位置パターンが、パターン情報とされる。
【０２１７】
ここで、ＤＣＴ係数のブロックの左からｘ＋１番目で、上からｙ＋１番目の画素を、A(x,y)と表すとともに、そのＤＣＴ係数が属するブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの左からｓ＋１番目で、上からｔ＋１番目の量子化ＤＣＴ係数をB(s,t)と表すと、ＤＣＴ係数A(x,y)と、そのＤＣＴ係数A(x,y)に対して所定の位置関係にある量子化ＤＣＴ係数B(s,t)との相互相関値ＲA(x,y)B(s,t)は、上述の式（９）乃至（１２）で説明した場合と同様にして求めることができる。
【０２１８】
図２１に戻り、相関係数算出回路１５７は、上述のようにして、加算回路１５４が行う加算演算の結果を用いて、ＤＣＴ係数と、量子化ＤＣＴ係数との間の相関値を求める。そして、パターン選択回路１５８は、その相関値を大きくする位置関係にある量子化ＤＣＴ係数の位置パターンを求め、パターン情報とする。
【０２１９】
次に、図２３は、図３の係数変換回路３２の第４の構成例を示している。なお、図中、図５、図１６、または図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の係数変換回路３２は、図１６における場合と同様に、逆量子化回路７１が新たに設けられ、かつ、図１９における場合と同様に、逆ＤＣＴ回路１０１が新たに設けられている他は、図５における場合と同様に構成されている。
【０２２０】
従って、図２３の実施の形態では、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成される。さらに、図２３の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成するＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、量子化誤差を低減したＤＣＴ係数を得て、逆ＤＣＴ回路１０１に出力する。
【０２２１】
次に、図２４は、図２３の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１、図１７、または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４のタップ係数学習装置は、図１７における場合と同様に、逆量子化回路８１が新たに設けられ、さらに、図２０における場合と同様に、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１１における場合と同様に構成されている。
【０２２２】
従って、図２４の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成するＤＣＴ係数（量子化され、逆量子化されたもの）を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２４のタップ係数学習装置では、量子化され、さらに逆量子化されたＤＣＴ係数を、その量子化および逆量子化による量子化誤差を低減したＤＣＴ係数に変換するタップ係数が求められることになる。
【０２２３】
次に、図２５は、図２３のパターンテーブル記憶部４６および図２４のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３、図１８、または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５のパターン学習装置は、図１８における場合と同様に、逆量子化回路９１が新たに設けられているとともに、図２１における場合と同様に、加算回路１５４に対し、ブロック化回路１５１が出力する学習用の画像の画素ではなく、ＤＣＴ回路１５２が出力するＤＣＴ係数が供給されるようになっている他は、図１３における場合と同様に構成されている。
【０２２４】
従って、図２５の実施の形態では、加算回路１５４は、ブロック化回路１５１において得られた画素ブロックではなく、その画素ブロックを、ＤＣＴ回路１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順次、注目ブロックとし、その注目ブロックのＤＣＴ係数のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数とされていないＤＣＴ係数を、注目ＤＣＴ係数として、クラス分類回路１５６が出力する注目ＤＣＴ係数のクラスコードごとに、その注目ＤＣＴ係数と、逆量子化回路９１が出力する、量子化され、さらに逆量子化されたＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。そして、相関係数算出回路１５７は、加算回路１５４が行う加算演算の結果を用いて、ＤＣＴ係数と、量子化されて逆量子化されたＤＣＴ係数との間の相関値を求め、パターン選択回路１５８は、その相関値を大きくする位置関係にある、量子化されて逆量子化されたＤＣＴ係数の位置パターンを求めて、パターン情報とする。
【０２２５】
次に、図２６は、図３の係数変換回路３２の第５の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２６の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられていない他は、基本的に、図５における場合と同様に構成されている。
【０２２６】
従って、図２６の実施の形態では、クラスという概念がないが、このことは、クラスが１つであるとも考えるから、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０２２７】
従って、図２６の実施の形態では、係数テーブル記憶部４４に記憶されているタップ係数は、図５における場合と異なるものとなっている。
【０２２８】
そこで、図２７は、図２６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７のタップ学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられていない他は、図１１における場合と基本的に同様に構成されている。
【０２２９】
従って、図２７のタップ係数学習装置では、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に、画素位置モード別に行われる。そして、タップ係数決定回路６８において、画素位置モードごとに生成された正規方程式を解くことにより、タップ係数が求められる。
【０２３０】
次に、図２６および図２７の実施の形態では、上述したように、クラスが１つだけである（クラスがない）から、図２６のパターンテーブル記憶部４６および図２７のパターンテーブル記憶部７０には、１クラスのパターン情報だけが記憶されている。
【０２３１】
そこで、図２８は、図２６のパターンテーブル記憶部４６および図２７のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２８のパターン学習装置は、クラスタップ抽出回路１５５およびクラス分類回路１５６が設けられていない他は、図１３における場合と基本的に同様に構成されている。
【０２３２】
従って、図２８のパターン学習装置では、加算回路１５４において、上述の加算演算が、クラスには無関係に、画素位置モード別に行われる。そして、相関係数算出回路１５７においても、クラスに無関係に、画素位置モードごとに相関値が求められる。さらに、パターン選択回路１５８においても、相関係数算出回路１５７で得られた相関値に基づいて、クラスに無関係に、画素位置モードごとにパターン情報が求められる。
【０２３３】
なお、例えば、図５の実施の形態では、パターンテーブル記憶部４６に、クラスごとのパターン情報を記憶させておき、クラス分類回路４３が出力するクラスコードに対応するクラスのパターン情報を用いて、予測タップを構成するようにしたが、図５のパターンテーブル記憶部４６には、図２８のパターン学習装置で得られる１クラスのパターン情報を記憶させておき、そのパターン情報を用いて、クラスに無関係に、予測タップを構成するようにすることも可能である。
【０２３４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３５】
そこで、図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２３７】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３８】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２３９】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２４０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４２】
なお、本実施の形態では、画像データを対象としたが、本発明は、その他、例えば、音声データにも適用可能である。
【０２４３】
さらに、本実施の形態では、静止画を圧縮符号化するＪＰＥＧ符号化された画像を対象としたが、本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化された画像を対象とすることも可能である。
【０２４４】
また、本実施の形態では、少なくとも、ＤＣＴ処理を行うＪＰＥＧ符号化された符号化データの復号を行うようにしたが、本発明は、その他の直交変換または周波数変換によって、ブロック単位（ある所定の単位）で変換されたデータの復号や変換に適用可能である。即ち、本発明は、例えば、サブバンド符号化されたデータや、フーリエ変換されたデータ等を復号したり、それらの量子化誤差等を低減したデータに変換する場合にも適用可能である。
【０２４５】
さらに、本実施の形態では、デコーダ２２において、復号に用いるタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２２に提供するようにすることが可能である。パターン情報についても、同様である。
【０２４６】
また、本実施の形態では、タップ係数を用いた線形１次予測演算によって、復号や変換を行うようにしたが、復号および変換は、その他、２次以上の高次の予測演算によって行うことも可能である。
【０２４７】
さらに、本実施の形態では、予測タップを、注目画素ブロックに対応するＤＣＴブロックと、その周辺のＤＣＴブロックの量子化ＤＣＴ係数から構成するようにしたが、クラスタップも同様に構成することが可能である。
【０２４８】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、質の良いデータを得ることが可能となる。
【０２４９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、質の良いデータを得ることが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化／復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示す図である。
【図３】図２のデコーダ２２の構成例を示すブロック図である。
【図４】図３のデコーダ２２の処理を説明するフローチャートである。
【図５】図３の係数変換回路３２の第１の構成例を示すブロック図である。
【図６】クラスタップの例を説明する図である。
【図７】図５のクラス分類回路４３の構成例を示すブロック図である。
【図８】図５の電力演算回路５１の処理を説明するための図である。
【図９】図５の係数変換回路３２の処理を説明するフローチャートである。
【図１０】図９のステップＳ１２の処理のより詳細を説明するフローチャートである。
【図１１】タップ係数を学習するタップ係数学習装置の第１実施の形態の構成例を示すブロック図である。
【図１２】図１１のタップ係数学習装置の処理を説明するフローチャートである。
【図１３】パターン情報を学習するパターン学習装置の第１実施の形態の構成例を示すブロック図である。
【図１４】図１３の加算回路１５４の処理を説明するための図である。
【図１５】図１３のパターン学習装置の処理を説明するフローチャートである。
【図１６】図３の係数変換回路３２の第２の構成例を示すブロック図である。
【図１７】タップ係数学習装置の第２実施の形態の構成例を示すブロック図である。
【図１８】パターン学習装置の第２実施の形態の構成例を示すブロック図である。
【図１９】図３の係数変換回路３２の第３の構成例を示すブロック図である。
【図２０】タップ係数学習装置の第３実施の形態の構成例を示すブロック図である。
【図２１】パターン学習装置の第３実施の形態の構成例を示すブロック図である。
【図２２】図２１の加算回路１５４の処理を説明するための図である。
【図２３】図３の係数変換回路３２の第４の構成例を示すブロック図である。
【図２４】タップ係数学習装置の第４実施の形態の構成例を示すブロック図である。
【図２５】パターン学習装置の第４実施の形態の構成例を示すブロック図である。
【図２６】図３の係数変換回路３２の第５の構成例を示すブロック図である。
【図２７】タップ係数学習装置の第５実施の形態の構成例を示すブロック図である。
【図２８】パターン学習装置の第５実施の形態の構成例を示すブロック図である。
【図２９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３クラス分類回路， ４４ 係数テーブル記憶部， ４５積和演算回路， ４６パターンテーブル記憶部， ５１ 電力演算回路， ５２ クラスコード生成回路， ５３ 閾値テーブル記憶部， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３ 量子化回路， ６４ 予測タップ抽出回路， ６５ クラスタップ抽出回路， ６６ クラス分類回路， ６７ 正規方程式加算回路， ６８ タップ係数決定回路， ６９ 係数テーブル記憶部， ７０ パターンテーブル記憶部， ７１，８１ 逆量子化回路， ９１ 逆量子化回路， １０１ 逆ＤＣＴ回路， １５１ ブロック化回路， １５２ ＤＣＴ回路， １５３ 量子化回路， １５４ 加算回路， １５５ クラスタップ抽出回路， １５６ クラス分類回路， １５７ 相関係数算出回路， １５８ パターン選択回路， １５９ パターンテーブル記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、不可逆圧縮された画像等を復号する場合等に用いて好適なデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像を圧縮符号化する方式としては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ(Discrete Cosine Transform)回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果られる８×８画素の（復号）ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からのブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量の削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ＪＰＥＧ符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【００１７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、学習を行うことにより求められたタップ係数を取得する取得手段と、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出手段と、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算手段とを備え、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００１９】
第１のデータ処理装置には、タップ係数を記憶している記憶手段をさらに設けることができ、この場合、取得手段には、記憶手段から、タップ係数を取得させることができる。
【００２０】
第１のデータ処理装置において、変換データは、所定のデータを、少なくとも、離散コサイン変換したものとすることができる。
【００２１】
第１のデータ処理装置には、注目新変換ブロックの変換データのうちの、注目している注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる量子化変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、演算手段には、予測タップおよび注目データのクラスに対応するタップ係数を用いて予測演算を行わせることができる。
【００２２】
第１のデータ処理装置において、予測タップ抽出手段には、注目新変換ブロックの周辺の新変換ブロックに対応する変換ブロックから、予測タップとする量子化変換データを抽出させることができる。
【００２３】
第１のデータ処理装置において、予測タップ抽出手段には、注目新変換ブロックに対応する変換ブロックと、注目新変換ブロック以外の新変換ブロックに対応する変換ブロックとから、予測タップとする量子化変換データを抽出させることができる。
【００２８】
第１のデータ処理装置において、所定のデータは、動画または静止画の画像データとすることができる。
【００２９】
本発明の第１のデータ処理方法は、学習を行うことにより求められたタップ係数を取得する取得ステップと、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算ステップとを備え、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００３０】
本発明の第１の記録媒体は、学習を行うことにより求められたタップ係数を取得する取得ステップと、変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、量子化変換データのブロックである変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データを、変換データに変換する演算ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であり、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものであることを特徴とする。
【００３１】
本発明の第２のデータ処理装置は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成手段と、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出手段と、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習手段とを備えることを特徴とする。
【００３３】
第２のデータ処理装置において、教師データは、データを、少なくとも、離散コサイン変換したものとすることができる。
【００３４】
第２のデータ処理装置には、注目教師ブロックの教師データのうちの、注目している注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、学習手段には、予測タップおよび注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、クラスごとのタップ係数を求めさせることができる。
【００３５】
第２のデータ処理装置において、予測タップ抽出手段には、注目教師ブロックの周辺の教師ブロックに対応する生徒ブロックから、予測タップとする生徒データを抽出させることができる。
【００３６】
第２のデータ処理装置において、予測タップ抽出手段には、注目教師ブロックに対応する生徒ブロックと、注目教師ブロック以外の教師ブロックに対応する生徒ブロックとから、予測タップとする生徒データを抽出させることができる。
【００４０】
第２のデータ処理装置において、データは、動画または静止画の画像データとすることができる。
【００４１】
本発明の第２のデータ処理方法は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えることを特徴とする。
【００４２】
本発明の第２の記録媒体は、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを実行させるためのプログラムが記録されていることを特徴とする。
【００４３】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、学習を行うことにより求められたタップ係数が取得され、新変換ブロックのうちの注目している注目新変換ブロックの新たな変換データを得るための予測演算に用いる量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する量子化変換ブロックにおける、注目新変換ブロックの変換データのうちの、注目している注目データとの相関が所定の閾値以上となる量子化変換データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データが抽出され、予測タップとして出力される。そして、タップ係数と予測タップとの線形１次予測演算を行うことにより、量子化変換データが、変換データに変換される。また、タップ係数は、所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、生徒データのブロックである生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理により求められたものである。
【００４４】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の教師データを量子化することにより、生徒データが生成される。そして、教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する生徒ブロックにおける、注目教師ブロックの教師データのうちの、注目している注目データとの相関が所定の閾値以上となる生徒データの位置が示される位置パターン、または、注目データとの相関が所定の順位以内になる生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データが抽出され、予測タップとして出力される。さらに、タップ係数と予測タップとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。
【００４５】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００４６】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、例えば、ＪＰＥＧ符号化し、符号化データとする。即ち、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成されており、画像データをＪＰＥＧ符号化する。エンコーダ２１がＪＰＥＧ符号化を行うことにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００４７】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、元の画像データに復号する。この復号化された画像データは、例えば、図示せぬモニタに供給されて表示等される。
【００４８】
次に、図３は、図２のデコーダ２２の構成例を示している。
【００４９】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。なお、符号化データには、図１（Ｃ）のエントロピー復号回路１１で説明した場合と同様に、エントロピー符号化された量子化ＤＣＴ係数の他、量子化テーブルも含まれるが、量子化テーブルは、後述するように、必要に応じて、量子化ＤＣＴ係数の復号に用いることが可能である。
【００５０】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとの量子化ＤＣＴ係数を、８×８画素の元のブロックに復号する。
【００５１】
ブロック分解回路３３は、係数変換回路３２において得られる、復号されたブロック（復号ブロック）のブロック化を解くことで、復号画像を得て出力する。
【００５２】
次に、図４のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００５３】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演算を行うことにより、ブロックごとの画素値に復号し、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの画素値のブロック（復号ブロック）のブロック化を解くブロック分解を行い、その結果得られる復号画像を出力して、処理を終了する。
【００５４】
次に、図３の係数変換回路３２では、例えば、クラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号することができる。
【００５５】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００５６】
即ち、適応処理では、例えば、量子化ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、量子化ＤＣＴ係数が、元の画素値に復号される。
【００５７】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ係数を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００５８】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【００５９】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００６０】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００６１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００６２】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
【００６３】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６４】
【数４】
【００６５】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００６６】
【数５】
【００６７】
式（４）および（５）より、式（６）が得られる。
【００６８】
【数６】
【００６９】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００７０】
【数７】
【００７１】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００７２】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００７３】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００７４】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７５】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００７６】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７７】
従って、この場合、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００７８】
また、上述の場合には、教師データとして画像データを用い、生徒データとして量子化ＤＣＴ係数を用いるようにしたが、その他、例えば、教師データとしてＤＣＴ係数を用い、生徒データとして、そのＤＣＴ係数を量子化した量子化ＤＣＴ係数を用いるようにすることも可能である。この場合、適応処理によれば、量子化ＤＣＴ係数から、量子化誤差を低減（抑制）したＤＣＴ係数を予測するためのタップ係数が得られることになる。
【００７９】
図５は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の第１の構成例を示している。
【００８０】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給されるようになっている。
【００８１】
予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロックという）に対応する画素値のブロック（この画素値のブロックは、現段階では存在しないが、仮想的に想定される）（以下、適宜、画素ブロックという）を、順次、注目画素ブロックとし、さらに、その注目画素ブロックを構成する各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を、パターンテーブル記憶部４６のパターンテーブルを参照することで抽出し、予測タップとする。
【００８２】
即ち、パターンテーブル記憶部４６は、注目画素についての予測タップとして抽出する量子化ＤＣＴ係数の、注目画素に対する位置関係を表したパターン情報が登録されているパターンテーブルを記憶しており、予測タップ抽出回路４１は、そのパターン情報に基づいて、量子化ＤＣＴ係数を抽出し、注目画素についての予測タップを構成する。
【００８３】
予測タップ抽出回路４１は、８×８の６４画素でなる画素ブロックを構成する各画素についての予測タップ、即ち、６４画素それぞれについての６４セットの予測タップを、上述のようにして構成し、積和演算回路４５に供給する。
【００８４】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる量子化ＤＣＴ係数を抽出して、クラスタップとする。
【００８５】
なお、ＪＰＥＧ符号化では、画像が、画素ブロックごとに符号化（ＤＣＴ処理および量子化）されることから、ある画素ブロックに属する画素は、例えば、すべて同一のクラスにクラス分類することとする。従って、クラスタップ抽出回路４２は、ある画素ブロックの各画素については、同一のクラスタップを構成する。即ち、クラスタップ抽出回路４２は、例えば、図６に示すように、注目画素が属する画素ブロックに対応するＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、８×８の６４個の量子化ＤＣＴ係数を、クラスタップとして抽出する。但し、クラスタップは、注目画素ごとに、異なる量子化ＤＣＴ係数で構成することが可能である。
【００８６】
ここで、画素ブロックに属する各画素を、すべて同一のクラスにクラス分類するということは、その画素ブロックをクラス分類することと等価である。従って、クラスタップ抽出回路４２には、注目画素ブロックを構成する６４画素それぞれをクラス分類するための６４セットのクラスタップではなく、注目画素ブロックをクラス分類するための１セットのクラスタップを構成させれば良く、このため、クラスタップ抽出回路４２は、画素ブロックごとに、その画素ブロックをクラス分類するために、その画素ブロックに対応するＤＣＴブロックの６４個の量子化ＤＣＴ係数を抽出して、クラスタップとするようになっている。
【００８７】
なお、クラスタップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００８８】
クラスタップ抽出回路４２において得られる、注目画素ブロックのクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目画素ブロックをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００８９】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９０】
ADRCを用いる方法では、クラスタップを構成する量子化ＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素ブロックのクラスが決定される。
【００９１】
なお、KビットADRCにおいては、例えば、クラスタップを構成する量子化ＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する量子化ＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成する量子化ＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各量子化ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各量子化ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各量子化ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットの量子化ＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９２】
なお、クラス分類回路４３には、例えば、クラスタップを構成する量子化ＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２N）K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００９３】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【００９４】
ところで、本実施の形態では、クラスタップは、上述したように、６４個の量子化ＤＣＴ係数で構成される。従って、例えば、仮に、クラスタップを１ビットADRC処理することにより、クラス分類を行うこととしても、クラスコードの場合の数は、２64通りという大きな値となる。
【００９５】
そこで、本実施の形態では、クラス分類回路４３において、クラスタップを構成する量子化ＤＣＴ係数から、重要性の高い特徴量を抽出し、その特徴量に基づいてクラス分類を行うことで、クラス数を低減するようになっている。
【００９６】
即ち、図７は、図５のクラス分類回路４３の構成例を示している。
【００９７】
クラスタップは、電力演算回路５１に供給されるようになっており、電力演算回路５１は、クラスタップを構成する量子化ＤＣＴ係数を、幾つかの空間周波数帯域のものに分け、各周波数帯域の電力を演算する。
【００９８】
即ち、電力演算回路５１は、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、例えば、図８に示すような４つの空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3に分割する。
【００９９】
ここで、クラスタップを構成する８×８個の量子化ＤＣＴ係数それぞれを、アルファベットｘに、図６に示したような、ラスタスキャン順に、０からのシーケンシャルな整数を付して表すこととすると、空間周波数帯域Ｓ0は、４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9から構成され、空間周波数帯域Ｓ1は、１２個の量子化ＤＣＴ係数ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ10，ｘ11，ｘ12，ｘ13，ｘ14，ｘ15から構成される。また、空間周波数帯域Ｓ2は、１２個の量子化ＤＣＴ係数ｘ16，ｘ17，ｘ24，ｘ25，ｘ32，ｘ33，ｘ40，ｘ41，ｘ48，ｘ49，ｘ56，ｘ57から構成され、空間周波数帯域Ｓ3は、３６個の量子化ＤＣＴ係数ｘ18，ｘ19，ｘ20，ｘ21，ｘ22，ｘ23，ｘ26，ｘ27，ｘ28，ｘ29，ｘ30，ｘ31，ｘ34，ｘ35，ｘ36，ｘ37，ｘ38，ｘ39，ｘ42，ｘ43，ｘ44，ｘ45，ｘ46，ｘ47，ｘ50，ｘ51，ｘ52，ｘ53，ｘ54，ｘ55，ｘ58，ｘ59，ｘ60，ｘ61，ｘ62，ｘ63から構成される。
【０１００】
さらに、電力演算回路５１は、空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3それぞれについて、量子化ＤＣＴ係数のＡＣ成分の電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を演算し、クラスコード生成回路５２に出力する。
【０１０１】
即ち、電力演算回路５１は、空間周波数帯域Ｓ0については、上述の４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9のうちのＡＣ成分ｘ1，ｘ8，ｘ9の２乗和ｘ1 2＋ｘ8 2＋ｘ9 2を求め、これを、電力Ｐ0として、クラスコード生成回路５２に出力する。また、電力演算回路５１は、空間周波数帯域Ｓ１についての、上述の１２個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべての量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ1として、クラスコード生成回路５２に出力する。さらに、電力演算回路５１は、空間周波数帯域Ｓ2とＳ3についても、空間周波数帯域Ｓ1における場合と同様にして、それぞれの電力Ｐ2とＰ3を求め、クラスコード生成回路５２に出力する。
【０１０２】
クラスコード生成回路５２は、電力演算回路５１からの電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を、閾値テーブル記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路５２は、電力Ｐ0と閾値ＴＨ０とを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路５２は、電力Ｐ1と閾値ＴＨ１、電力Ｐ2と閾値ＴＨ２、電力Ｐ3と閾値ＴＨ３を、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。そして、クラスコード生成回路５２は、以上のようにして得られる４つの１ビットのコードを、例えば、所定の順番で並べることにより得られる４ビットのコード（従って、０乃至１５のうちのいずれかの値）を、注目画素ブロックのクラスを表すクラスコードとして出力する。従って、本実施の形態では、注目画素ブロックは、２4（＝１６）個のクラスのうちのいずれかにクラス分類されることになる。
【０１０３】
閾値テーブル記憶部５３は、空間周波数帯域Ｓ0乃至Ｓ3の電力Ｐ0乃至Ｐ3とそれぞれ比較する閾値ＴＨ０乃至ＴＨ３を記憶している。
【０１０４】
なお、上述の場合には、クラス分類処理に、量子化ＤＣＴ係数のＤＣ成分ｘ0が用いられないが、このＤＣ成分ｘ0をも用いてクラス分類処理を行うことも可能である。
【０１０５】
図５に戻り、以上のようなクラス分類回路４３が出力するクラスコードは、係数テーブル記憶部４４およびパターンテーブル記憶部４６に、アドレスとして与えられる。
【０１０６】
係数テーブル記憶部４４は、後述するようなタップ係数の学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【０１０７】
ここで、本実施の形態では、画素ブロックがクラス分類されるから、注目画素ブロックについて、１つのクラスコードが得られる。一方、画素ブロックは、本実施の形態では、８×８画素の６４画素で構成されるから、注目画素ブロックについて、それを構成する６４画素それぞれを復号するための６４セットのタップ係数が必要である。従って、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、６４セットのタップ係数が記憶されている。
【０１０８】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる注目画素ブロックの８×８画素の画素値を、対応するＤＣＴブロックの復号結果として、ブロック分解回路３３（図３）に出力する。
【０１０９】
ここで、予測タップ抽出回路４１においては、上述したように、注目画素ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目画素ブロックの、注目画素となっている画素の位置に対応した動作モード（以下、適宜、画素位置モードという）となって、処理を行う。
【０１１０】
即ち、例えば、注目画素ブロックの画素のうち、ラスタスキャン順で、ｉ番目の画素を、ｐiと表し、画素ｐiが、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｉの処理を行う。
【０１１１】
具体的には、上述したように、係数テーブル記憶部４４は、注目画素ブロックを構成する６４画素それぞれを復号するための６４セットのタップ係数を出力するが、そのうちの画素ｐiを復号するためのタップ係数のセットをＷiと表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｉのときには、予測タップと、６４セットのタップ係数のうちのセットＷiとを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐiの復号結果とする。
【０１１２】
パターンテーブル記憶部４６は、後述するような量子化ＤＣＴ係数の抽出パターンを表すパターン情報の学習処理が行われることにより得られるパターン情報が登録されたパターンテーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているパターン情報を、予測タップ抽出回路４１に出力する。
【０１１３】
ここで、パターンテーブル記憶部４６においても、係数テーブル記憶部４４について説明したのと同様の理由から、１つのクラスコードに対応するアドレスに対して、６４セットのパターン情報（各画素位置モードごとのパターン情報）が記憶されている。
【０１１４】
次に、図９のフローチャートを参照して、図５の係数変換回路３２の処理について説明する。
【０１１５】
エントロピー復号回路３１が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２において順次受信され、予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する画素ブロックを、順次、注目画素ブロックとする。
【０１１６】
そして、クラスタップ抽出回路４２は、ステップＳ１１において、そこで受信した量子化ＤＣＴ係数の中から、注目画素ブロックをクラス分類するのに用いるものを抽出して、クラスタップを構成し、クラス分類回路４３に供給する。
【０１１７】
クラス分類回路４３は、ステップＳ１２において、クラスタップ抽出回路４２からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４およびパターンテーブル記憶部４６に出力する。
【０１１８】
即ち、ステップＳ１２では、図１０のフローチャートに示すように、まず最初に、ステップＳ２１において、クラス分類回路４３（図７）の電力演算回路５１が、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、図８に示した４つの空間周波数帯域Ｓ0乃至Ｓ3に分割し、それぞれの電力Ｐ0乃至Ｐ3を演算する。この電力Ｐ0乃至Ｐ3は、電力演算回路５１からクラスコード生成回路５２に出力される。
【０１１９】
クラスコード生成回路５２は、ステップＳ２２において、閾値テーブル記憶部５３から閾値ＴＨ０乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ0乃至Ｐ3それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小関係に基づいたクラスコードを生成して、リターンする。
【０１２０】
図９に戻り、ステップＳ１２において以上のようにして得られるクラスコードは、クラス分類回路４３から係数テーブル記憶部４４およびパターンテーブル記憶部４６に対して、アドレスとして与えられる。
【０１２１】
係数テーブル記憶部４４は、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている６４セットのタップ係数を読み出し、積和演算回路４５に出力する。また、パターンテーブル記憶部４６も、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている６４セットのパターン情報を読み出し、予測タップ抽出回路４１に出力する。
【０１２２】
そして、ステップＳ１４に進み、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の画素位置モードに対応するパターン情報にしたがって、その注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとして構成する。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【０１２３】
積和演算回路４５は、ステップＳ１５において、ステップＳ１３で係数テーブル記憶部４４が出力する６４セットのタップ係数のうち、注目画素に対する画素位置モードに対応するタップ係数のセットを取得し、そのタップ係数のセットと、ステップＳ１４で予測タップ抽出回路４１から供給された予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１２４】
そして、ステップＳ１６に進み、予測タップ抽出回路４１は、注目画素ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１４に戻り、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１２５】
また、ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目画素ブロックのすべての画素の復号値が得られた場合、積和演算回路４５は、その復号値で構成される画素ブロック（復号ブロック）を、ブロック分解回路３３（図３）に出力し、処理を終了する。
【０１２６】
なお、図９のフローチャートにしたがった処理は、予測タップ抽出回路４１が、新たな注目画素ブロックを設定するごとに繰り返し行われる。
【０１２７】
次に、図１１は、図５の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。
【０１２８】
ブロック化回路６１には、１枚以上の学習用の画像データが、学習時の教師となる教師データとして供給されるようになっており、ブロック化回路６１は、教師データとしての画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。
【０１２９】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画素ブロックを、順次、注目画素ブロックとして読み出し、その注目画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１３０】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に順次供給する。
【０１３１】
予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素について、パターンテーブル記憶部７０から読み出されるパターン情報を参照することにより、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。この予測タップは、学習時の生徒となる生徒データとして、予測タップ抽出回路６４から正規方程式加算回路６７に供給される。
【０１３２】
クラスタップ抽出回路６５は、注目画素ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路６５からクラス分類回路６６に供給される。
【０１３３】
クラス分類回路６６は、クラスタップ抽出回路６５からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７およびパターンテーブル記憶部７０に供給する。
【０１３４】
正規方程式加算回路６７は、ブロック化回路６１から、教師データとしての注目画素（の画素値）を読み出し、予測タップ構成回路６４からの生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および注目画素を対象とした足し込みを行う。
【０１３５】
即ち、正規方程式加算回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３６】
さらに、正規方程式加算回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３７】
なお、正規方程式加算回路６７における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０１３８】
正規方程式加算回路６７は、以上の足し込みを、ブロック化回路６１に供給された教師画像を構成する画素すべてを注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式がたてられる。
【０１３９】
タップ係数決定回路６８は、正規方程式加算回路６７においてクラスごとに（かつ、画素位置モードごとに）生成された正規方程式を解くことにより、クラスごとに、６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給する。
【０１４０】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１４１】
係数テーブル記憶部６９は、タップ係数決定回路６８から供給されるクラスごとの６４セットのタップ係数を記憶する。
【０１４２】
パターンテーブル記憶部７０は、図５のパターンテーブル記憶部４６が記憶しているのと同一のパターンテーブルを記憶しており、クラス分類回路６６からのクラスコードに対応するアドレスに記憶されている６４セットのパターン情報を読み出し、予測タップ抽出回路６４に供給する。
【０１４３】
次に、図１２のフローチャートを参照して、図１１のタップ係数学習装置の処理（学習処理）について説明する。
【０１４４】
ブロック化回路６１には、学習用の画像データが、教師データとして供給され、ブロック化回路６１は、ステップＳ３１において、教師データとしての画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その注目画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ３３に進む。ステップＳ３３では、量子化回路６３が、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１４５】
そして、ステップＳ３４に進み、クラスタップ抽出回路６５は、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものを、注目画素ブロックとする。さらに、クラスタップ抽出回路６５は、注目画素ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路６６に供給する。クラス分類回路６６は、ステップＳ３５において、図１０のフローチャートで説明した場合と同様に、クラスタップ抽出回路６５からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７およびパターンテーブル記憶部７０に供給して、ステップＳ３６に進む。
【０１４６】
これにより、パターンテーブル記憶部７０は、クラス分類回路６６からのクラスコードに対応するアドレスに記憶された６４セットのパターン情報を読み出し、予測タップ抽出回路６４に供給する。
【０１４７】
ステップＳ３６では、予測タップ抽出回路６４が、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、パターンテーブル記憶部７０からの６４セットのパターン情報のうちの、注目画素の画素位置モードに対応するものにしたがって、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から必要な量子化ＤＣＴ係数を抽出することで構成する。そして、予測タップ抽出回路６４は、注目画素についての予測タップを、生徒データとして、正規方程式加算回路６７に供給し、ステップＳ３７に進む。
【０１４８】
ステップＳ３７では、正規方程式加算回路６７は、ブロック化回路６１から、教師データとしての注目画素を読み出し、生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類回路６６からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モードごとに行われる。
【０１４９】
そして、ステップＳ３８に進み、予測タップ抽出回路６４は、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ３８において、注目画素ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ３６に戻り、予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１５０】
また、ステップＳ３８において、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ３９に進み、ブロック化回路６１は、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったかどうかを判定する。ステップＳ３９において、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ３４に戻り、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものが、新たに注目画素ブロックとされ、以下、同様の処理が繰り返される。
【０１５１】
一方、ステップＳ３９において、教師データとしての画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったと判定された場合、即ち、例えば、正規方程式加算回路６７において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ４０に進み、タップ係数決定回路６８は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの６４の画素位置モードそれぞれに対応する６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１５２】
以上のようにして、係数テーブル記憶部６９に記憶された各クラスごとのタップ係数が、図５の係数テーブル記憶部４４に記憶されている。
【０１５３】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図５の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、元の画像に限りなく近い画像に復号することができる。
【０１５４】
また、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、画質の良い復号画像を得ることができる。
【０１５５】
次に、図１３は、図５のパターンテーブル記憶部４６および図１１のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。
【０１５６】
ブロック化回路１５１には、１枚以上の学習用の画像データが供給されるようになっており、ブロック化回路１５１は、学習用の画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。なお、ブロック化回路１５１に供給する学習用の画像データは、図１１のタップ係数学習装置のブロック化回路６１に供給される学習用の画像データと同一のものであっても良いし、異なるものであっても良い。
【０１５７】
ＤＣＴ回路１５２は、ブロック化回路１５１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路１５３に供給される。
【０１５８】
量子化回路１５３は、ＤＣＴ回路１５２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、加算回路１５４およびクラスタップ抽出回路１５５およびに順次供給する。
【０１５９】
加算回路１５４は、ブロック化回路１５１において得られた画素ブロックを、順次、注目画素ブロックとし、その注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、クラス分類回路１５６が出力する注目画素のクラスコードごとに、その注目画素と、量子化回路１５３が出力する量子化ＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。
【０１６０】
即ち、パターン情報の学習処理では、例えば、図１４（Ａ）に示すように、注目画素が属する注目画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれと、注目画素とを対応させることを、図１４（Ｂ）に示すように、学習用の画像から得られる画素ブロックすべてについて行うことで、画素ブロックの各位置にある画素それぞれと、画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれとの間の相関値を演算し、画素ブロックの各位置にある画素それぞれについて、例えば、図１４（Ｃ）において■印で示すように、その画素との相関値が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、パターン情報とするようになっている。即ち、図１４（Ｃ）は、画素ブロックの左から３番目で、上から１番目の画素との相関が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、■印で表しており、このような位置パターンが、パターン情報とされる。
【０１６１】
ここで、画素ブロックの左からｘ＋１番目で、上からｙ＋１番目の画素を、A(x,y)と表すとともに（本実施の形態では、ｘ，ｙは、０乃至７（＝８−１）の範囲の整数）、その画素が属する画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの左からｓ＋１番目で、上からｔ＋１番目の量子化ＤＣＴ係数をB(s,t)と表すと（本実施の形態では、ｓ，ｔは、０乃至２３（＝８×３−１）の範囲の整数）、画素A(x,y)と、その画素A(x,y)に対して所定の位置関係にある量子化ＤＣＴ係数B(s,t)との相互相関値ＲA(x,y)B(s,t)は、次式で表される。
【０１６２】
【０１６３】
従って、学習用の画像から得られた画素ブロックの総数をＮと表すと、平均値A'(x,y)およびB'(s,t)は、次式のように表すことができる。
【０１６４】
A'(x,y)＝（ΣA(x,y))/N
B'(s,t)＝（ΣB(s,t))/N
・・・（１０）
【０１６５】
式（１０）を式（９）に代入すると、次式が導かれる。
【０１６６】
式（１１）より、相関値ＲA(x,y)B(s,t)を求めるには、
ΣA(x,y)，ΣB(s,t)，ΣA(x,y)2，ΣB(s,t)2，Σ(A(x,y)B(s,t))
・・・（１２）
の合計５式の加算演算を行う必要があり、加算回路１５４は、この５式の加算演算を行う。
【０１６８】
なお、ここでは、説明を簡単にするために、クラスを考慮しなかったが、図１３のパターン学習装置では、加算回路１５４は、式（１２）の５式の加算演算を、クラス分類回路１５６から供給されるクラスコードごとに分けて行う。従って、上述の場合には、サメーション（Σ）は、学習用の画像から得られた画素ブロックすべてについての加算を表すこととしたが、クラスを考慮する場合には、式（１２）のサメーション（Σ）は、学習用の画像から得られた画素ブロックうち、各クラスに属するものについての加算を表すことになる。
【０１６９】
図１３に戻り、加算回路１５４は、学習用の画像について、クラスごとに、画素ブロックの各位置にある画素と、その画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算するための式（１２）に示した加算演算結果を得ると、その加算演算結果を、相関係数算出回路１５７に出力する。
【０１７０】
クラスタップ抽出回路１５５は、注目画素ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路１５３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路１５５からクラス分類回路１５６に供給される。
【０１７１】
クラス分類回路１５６は、クラスタップ抽出回路１５５からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、加算回路１５４に供給する。
【０１７２】
相関係数算出回路１５７は、加算回路１５４の出力を用いて、式（１１）にしたがい、クラスごとに、画素ブロックの各位置にある画素と、その画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算し、パターン選択回路１５８に供給する。
【０１７３】
パターン選択回路１５８は、相関係数算出回路１５７からの相関値に基づいて、画素ブロックの各位置にある８×８の画素それぞれとの相関値が大きい位置関係にあるＤＣＴ係数の位置を、クラスごとに認識する。即ち、パターン選択回路１５８は、例えば、画素ブロックの各位置にある画素との相関値（の絶対値）が所定の閾値以上となっているＤＣＴ係数の位置を、クラスごとに認識する。あるいは、また、パターン選択回路１５８は、例えば、画素ブロックの各位置にある画素との相関値が所定の順位以上であるＤＣＴ係数の位置を、クラスごとに認識する。そして、パターン選択回路１５８は、クラスごとに認識した、８×８画素それぞれについての（画素位置モードごとの）６４セットのＤＣＴ係数の位置パターンを、パターン情報として、パターンテーブル記憶部１５９に供給する。
【０１７４】
なお、パターン選択回路１５８において、画素ブロックの各位置にある画素との相関値が所定の順位以上であるＤＣＴ係数の位置を認識するようにした場合には、その認識されるＤＣＴ係数の位置の数は固定（所定の順位に相当する値）となるが、画素ブロックの各位置にある画素との相関値が所定の閾値以上となっているＤＣＴ係数の位置を認識するようにした場合には、その認識されるＤＣＴ係数の位置の数は、可変になる。
【０１７５】
パターンテーブル記憶部１５９は、パターン選択回路１５８が出力するパターン情報を記憶する。
【０１７６】
次に、図１５のフローチャートを参照して、図１３のパターン学習装置の処理（学習処理）について説明する。
【０１７７】
ブロック化回路１５１には、学習用の画像データが供給され、ブロック化回路６１は、ステップＳ５１において、その学習用の画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ５２に進む。ステップＳ５２では、ＤＣＴ回路１５２が、ブロック化回路１５１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ５３に進む。ステップＳ５３では、量子化回路１５３が、ＤＣＴ回路１５２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１７８】
そして、ステップＳ５４に進み、加算回路１５４は、ブロック化回路１５１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものを、注目画素ブロックとする。さらに、ステップＳ５４では、クラスタップ抽出回路１５５は、注目画素ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路１５６に供給する。クラス分類回路１５６は、ステップＳ５５において、図１０のフローチャートで説明した場合と同様に、クラスタップ抽出回路１５５からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、加算回路１５４に供給して、ステップＳ５６に進む。
【０１７９】
ステップＳ５６では、加算回路１５４が、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の位置（画素位置モード）ごとに、かつ、クラス分類回路１５６から供給されるクラスコードごとに、式（１２）に示した加算演算を、ブロック化回路１５１でブロック化された学習用の画像と、量子化回路１５３が出力する量子化ＤＣＴ係数を用いて行い、ステップＳ５７に進む。
【０１８０】
ステップＳ５７では、加算回路１５４は、注目画素ブロックのすべての画素を、注目画素として、加算演算を行ったかどうかを判定する。ステップＳ５７において、注目画素ブロックのすべての画素を、注目画素として、まだ加算演算を行っていないと判定された場合、ステップＳ５６に戻り、加算回路１５４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１８１】
また、ステップＳ５７において、注目画素ブロックのすべての画素を、注目画素として、加算演算を行ったと判定された場合、ステップＳ５８に進み、加算回路１５４は、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったかどうかを判定する。ステップＳ５８において、教師用の画像から得られたすべての画素ブロックを、注目画素ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ５４に戻り、ブロック化回路１５１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものが、新たに注目画素ブロックとされ、以下、同様の処理が繰り返される。
【０１８２】
一方、ステップＳ５８において、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったと判定された場合、ステップＳ５９に進み、相関係数算出回路１５７は、加算回路１５４における加算演算結果をを用いて、式（１１）にしたがい、クラスごとに、画素ブロックの各位置にある画素と、画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数との相関値を演算し、パターン選択回路１５８に供給する。
【０１８３】
パターン選択回路１５８は、ステップＳ６０において、相関係数算出回路１５７からの相関値に基づいて、画素ブロックの各位置にある８×８の画素それぞれとの相関値が大きい位置関係にあるＤＣＴ係数の位置を、クラスごとに認識し、そのクラスごとに認識した８×８画素それぞれについての６４セットのＤＣＴ係数の位置パターンを、パターン情報として、パターンテーブル記憶部１５９に供給して記憶させ、処理を終了する。
【０１８４】
以上のようにして、パターンテーブル記憶部１５９に記憶された各クラスごとの６４セットのパターン情報が、図５のパターンテーブル記憶部４６および図１１のパターンテーブル記憶部７０に記憶されている。
【０１８５】
従って、図５の係数変換回路３２では、注目画素について、それとの相関が大きい位置にある量子化ＤＣＴ係数が、予測タップとして抽出され、そのような予測タップを用いて、量子化ＤＣＴ係数が、元の画素値に復号されるため、例えば、予測タップとする量子化ＤＣＴ係数を、ランダムに抽出する場合に比較して、復号画像の画質を向上させることが可能となる。
【０１８６】
なお、ＪＰＥＧ符号化では、８×８画素の画素ブロック単位で、ＤＣＴおよび量子化が行われることにより、８×８の量子化ＤＣＴ係数からなるＤＣＴブロックが構成されるから、ある画素ブロックの画素を、クラス分類適応処理によって復号する場合には、その画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数を、予測タップとして用いることが考えられる。
【０１８７】
しかしながら、画像においては、ある画素ブロックに注目した場合に、その画素ブロックの画素と、その周辺の画素ブロックの画素との間には、少なからず相関があるのが一般的である。従って、上述のように、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロック、即ち、ある画素ブロックに対応するＤＣＴブロックだけでなく、それ以外のＤＣＴブロックからも、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を抽出して、予測タップとして用いることによって、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、予測タップとして用いる場合に比較して、復号画像の画質を向上させることが可能となる。
【０１８８】
ここで、ある画素ブロックの画素と、その周辺の画素ブロックの画素との間に、少なからず相関があることからすれば、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数すべてを、予測タップとして用いることにより、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、予測タップとして用いる場合に比較して、復号画像の画質を向上させることが可能である。
【０１８９】
但し、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数すべてを、予測タップとすると、予測タップを構成する量子化ＤＣＴ係数の数は５７６（＝８×８×３×３）となり、図５の積和演算回路４５において行う必要のある積和演算の回数が多くなる。
【０１９０】
そこで、その５７６の量子化ＤＣＴ係数のうち、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を抽出して、予測タップとして用いることによって、図５の積和演算回路４５における演算量の増加を抑えながら、復号画像の画質を向上させることが可能となる。
【０１９１】
なお、上述の場合には、ある画素ブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの量子化ＤＣＴ係数から、注目画素との相関が大きい位置関係にある量子化ＤＣＴ係数を予測タップとして抽出するようにしたが、予測タップとする量子化ＤＣＴ係数は、その他、ある画素ブロックに対応するＤＣＴブロックを中心とする５×５個等のＤＣＴブロックの量子化ＤＣＴ係数から抽出するようにしても良い。即ち、どのような範囲のＤＣＴブロックから、予測タップとする量子化ＤＣＴ係数を抽出するかは、特に限定されるものではない。
【０１９２】
また、あるＤＣＴブロックの量子化ＤＣＴ係数は、対応する画素ブロックの画素から得られたものであるから、注目画素について予測タップを構成するにあたっては、その注目画素の画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数は、すべて、予測タップとするのが望ましいと考えられる。
【０１９３】
そこで、図１３のパターン選択回路１５８には、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数は、必ず、予測タップとして抽出されるようなパターン情報を生成させるようにすることができる。この場合、パターン選択回路１５８では、画素ブロックに対応するＤＣＴブロックの周囲に隣接する８個のＤＣＴブロックから、相関値の大きい量子化ＤＣＴ係数が選択され、その量子化ＤＣＴ係数の位置のパターンと、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数すべての位置のパターンとをあわせたものが、最終的な、パターン情報とされることになる。
【０１９４】
次に、図１６は、図３の係数変換回路３２の第２の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の係数変換回路３２は、逆量子化回路７１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０１９５】
図１６の実施の形態において、逆量子化回路７１には、エントロピー復号回路３１（図３）において符号化データをエントロピー復号することにより得られるブロックごとの量子化ＤＣＴ係数が供給される。
【０１９６】
なお、エントロピー復号回路３１においては、上述したように、符号化データから、量子化ＤＣＴ係数の他、量子化テーブルも得られるが、図１６の実施の形態では、この量子化テーブルも、エントロピー復号回路３１から逆量子化回路７１に供給されるようになっている。
【０１９７】
逆量子化回路７１は、エントロピー復号回路３１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路３１からの量子化テーブルにしたがって逆量子化し、その結果られるＤＣＴ係数を、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【０１９８】
従って、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図５における場合と同様の処理が行われる。
【０１９９】
このように、図１６の実施の形態では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われるため、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０２００】
そこで、図１７は、図１６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７のタップ係数学習装置は、量子化回路６３の後段に、逆量子化回路８１が新たに設けられている他は、図１１における場合と基本的に同様に構成されている。
【０２０１】
図１７の実施の形態において、逆量子化回路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係数を、図１６の逆量子化回路７１と同様に逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に供給する。
【０２０２】
従って、予測タップ抽出回路６４とクラスタップ抽出回路６５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図１１における場合と同様の処理が行われる。
【０２０３】
その結果、ＤＣＴ係数が量子化され、さらに逆量子化されることにより生じる量子化誤差の影響を低減するタップ係数が得られることになる。
【０２０４】
次に、図１８は、図１６のパターンテーブル記憶部４６および図１７のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８のパターン学習装置は、量子化回路１５３の後段に、逆量子化回路９１が新たに設けられている他は、図１３における場合と基本的に同様に構成されている。
【０２０５】
図１８の実施の形態において、逆量子化回路９１は、逆量子化回路１５３が出力する量子化ＤＣＴ係数を、図１６の逆量子化回路７１や、図１７の逆量子化回路８１と同様に逆量子化し、その結果得られるＤＣＴ係数を、加算回路１５４およびクラスタップ抽出回路１５５に供給する。
【０２０６】
従って、加算回路１５４とクラスタップ抽出回路１５５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われる。即ち、加算回路１５４は、上述の加算演算を、量子化回路１５３が出力する量子化ＤＣＴ係数に替えて、逆量子化回路９１が出力するＤＣＴ係数を用いて行い、クラスタップ抽出回路１５５も、量子化回路１５３が出力する量子化ＤＣＴ係数に替えて、逆量子化回路９１が出力するＤＣＴ係数を用いて、クラスタップを構成する。そして、以降は、図１３における場合と同様の処理が行われることにより、パターン情報が求められる。
【０２０７】
次に、図１９は、図３の係数変換回路３２の第３の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の係数変換回路３２は、積和演算回路４５の後段に、逆ＤＣＴ回路１０１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０２０８】
逆ＤＣＴ回路１０１は、積和演算回路４５の出力を逆ＤＣＴ処理することにより、画像に復号して出力する。従って、図１９の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成する量子化ＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、ＤＣＴ係数を出力する。
【０２０９】
このように、図１９の実施の形態では、量子化ＤＣＴ係数が、タップ係数との積和演算により、画素値に復号されるのではなく、ＤＣＴ係数に変換され、さらに、そのＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、画素値に復号される。従って、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０２１０】
そこで、図２０は、図１９の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２０のタップ係数学習装置は、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１１における場合と同様に構成されている。
【０２１１】
従って、図２０の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成する量子化ＤＣＴ係数を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２０のタップ係数学習装置では、量子化ＤＣＴ係数を、量子化回路６３における量子化による量子化誤差を低減（抑制）したＤＣＴ係数に変換するタップ係数が求められることになる。
【０２１２】
図１９の係数変換回路３２では、積和演算回路４５が、上述のようなタップ係数を用いて積和演算を行うため、その出力は、予測タップ抽出回路４１が出力する量子化ＤＣＴ係数を、その量子化誤差を低減したＤＣＴ係数に変換したものとなる。従って、そのようなＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、量子化誤差の影響による画質の劣化を低減した復号画像が得られることになる。
【０２１３】
次に、図２１は、図１９のパターンテーブル記憶部４６および図２０のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１のパターン学習装置は、加算回路１５４に対し、ブロック化回路１５１が出力する学習用の画像の画素ではなく、ＤＣＴ回路１５２が出力するＤＣＴ係数が供給されるようになっている他は、図１３における場合と同様に構成されている。
【０２１４】
図１３の実施の形態では、予測タップを構成する量子化ＤＣＴ係数とタップ係数とを用いた積和演算によって、画素を復号するために、画素との相関が大きい位置関係にある量子化ＤＣＴ係数を求めて、その量子化ＤＣＴ係数の位置パターンを、パターン情報としたが、図２１の実施の形態では、予測タップを構成する量子化ＤＣＴ係数とタップ係数とを用いた積和演算によって、量子化誤差を低減したＤＣＴ係数を得るために、ＤＣＴ係数と相関が大きい位置関係にある量子化ＤＣＴ係数を求めて、その量子化ＤＣＴ係数の位置パターンを、パターン情報として求める必要がある。
【０２１５】
そこで、図２１の実施の形態では、加算回路１５４は、ブロック化回路１５１において得られた画素ブロックではなく、その画素ブロックを、ＤＣＴ回路１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順次、注目ブロックとし、その注目ブロックのＤＣＴ係数のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数とされていないＤＣＴ係数を、注目ＤＣＴ係数として、クラス分類回路１５６が出力する注目ＤＣＴ係数のクラスコードごとに、その注目ＤＣＴ係数と、量子化回路１５３が出力する量子化ＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。
【０２１６】
即ち、図２１のパターン学習装置による学習処理では、例えば、図２２（Ａ）に示すように、注目ＤＣＴ係数が属する注目ブロックに対応する、量子化ＤＣＴ係数のＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれと、注目ＤＣＴ係数とを対応させることを、図２２（Ｂ）に示すように、学習用の画像から得られるＤＣＴ係数のブロックすべてについて行うことで、ＤＣＴ係数のブロックの各位置にあるＤＣＴ係数それぞれと、そのブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの各位置にある量子化ＤＣＴ係数それぞれとの間の相関値を演算し、ＤＣＴ係数のブロックの各位置にあるＤＣＴ係数それぞれについて、例えば、図２２（Ｃ）において■印で示すように、そのＤＣＴ係数との相関値が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、パターン情報とするようになっている。即ち、図２２（Ｃ）は、ＤＣＴ係数のブロックの左から２番目で、上から１番目のＤＣＴ係数との相関が大きい位置関係にある量子化ＤＣＴ係数の位置パターンを、■印で表しており、このような位置パターンが、パターン情報とされる。
【０２１７】
ここで、ＤＣＴ係数のブロックの左からｘ＋１番目で、上からｙ＋１番目の画素を、A(x,y)と表すとともに、そのＤＣＴ係数が属するブロックに対応するＤＣＴブロックを中心とする３×３個のＤＣＴブロックの左からｓ＋１番目で、上からｔ＋１番目の量子化ＤＣＴ係数をB(s,t)と表すと、ＤＣＴ係数A(x,y)と、そのＤＣＴ係数A(x,y)に対して所定の位置関係にある量子化ＤＣＴ係数B(s,t)との相互相関値ＲA(x,y)B(s,t)は、上述の式（９）乃至（１２）で説明した場合と同様にして求めることができる。
【０２１８】
図２１に戻り、相関係数算出回路１５７は、上述のようにして、加算回路１５４が行う加算演算の結果を用いて、ＤＣＴ係数と、量子化ＤＣＴ係数との間の相関値を求める。そして、パターン選択回路１５８は、その相関値を大きくする位置関係にある量子化ＤＣＴ係数の位置パターンを求め、パターン情報とする。
【０２１９】
次に、図２３は、図３の係数変換回路３２の第４の構成例を示している。なお、図中、図５、図１６、または図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の係数変換回路３２は、図１６における場合と同様に、逆量子化回路７１が新たに設けられ、かつ、図１９における場合と同様に、逆ＤＣＴ回路１０１が新たに設けられている他は、図５における場合と同様に構成されている。
【０２２０】
従って、図２３の実施の形態では、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成される。さらに、図２３の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成するＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、量子化誤差を低減したＤＣＴ係数を得て、逆ＤＣＴ回路１０１に出力する。
【０２２１】
次に、図２４は、図２３の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１、図１７、または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４のタップ係数学習装置は、図１７における場合と同様に、逆量子化回路８１が新たに設けられ、さらに、図２０における場合と同様に、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１１における場合と同様に構成されている。
【０２２２】
従って、図２４の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成するＤＣＴ係数（量子化され、逆量子化されたもの）を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２４のタップ係数学習装置では、量子化され、さらに逆量子化されたＤＣＴ係数を、その量子化および逆量子化による量子化誤差を低減したＤＣＴ係数に変換するタップ係数が求められることになる。
【０２２３】
次に、図２５は、図２３のパターンテーブル記憶部４６および図２４のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３、図１８、または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５のパターン学習装置は、図１８における場合と同様に、逆量子化回路９１が新たに設けられているとともに、図２１における場合と同様に、加算回路１５４に対し、ブロック化回路１５１が出力する学習用の画像の画素ではなく、ＤＣＴ回路１５２が出力するＤＣＴ係数が供給されるようになっている他は、図１３における場合と同様に構成されている。
【０２２４】
従って、図２５の実施の形態では、加算回路１５４は、ブロック化回路１５１において得られた画素ブロックではなく、その画素ブロックを、ＤＣＴ回路１５２でＤＣＴ処理したＤＣＴ係数のブロックを、順次、注目ブロックとし、その注目ブロックのＤＣＴ係数のうち、ラスタスキャン順で、まだ、注目ＤＣＴ係数とされていないＤＣＴ係数を、注目ＤＣＴ係数として、クラス分類回路１５６が出力する注目ＤＣＴ係数のクラスコードごとに、その注目ＤＣＴ係数と、逆量子化回路９１が出力する、量子化され、さらに逆量子化されたＤＣＴ係数との間の相関値（相互相関値）を求めるための加算演算を行う。そして、相関係数算出回路１５７は、加算回路１５４が行う加算演算の結果を用いて、ＤＣＴ係数と、量子化されて逆量子化されたＤＣＴ係数との間の相関値を求め、パターン選択回路１５８は、その相関値を大きくする位置関係にある、量子化されて逆量子化されたＤＣＴ係数の位置パターンを求めて、パターン情報とする。
【０２２５】
次に、図２６は、図３の係数変換回路３２の第５の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２６の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられていない他は、基本的に、図５における場合と同様に構成されている。
【０２２６】
従って、図２６の実施の形態では、クラスという概念がないが、このことは、クラスが１つであるとも考えるから、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０２２７】
従って、図２６の実施の形態では、係数テーブル記憶部４４に記憶されているタップ係数は、図５における場合と異なるものとなっている。
【０２２８】
そこで、図２７は、図２６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行うタップ係数学習装置の一実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７のタップ学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられていない他は、図１１における場合と基本的に同様に構成されている。
【０２２９】
従って、図２７のタップ係数学習装置では、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に、画素位置モード別に行われる。そして、タップ係数決定回路６８において、画素位置モードごとに生成された正規方程式を解くことにより、タップ係数が求められる。
【０２３０】
次に、図２６および図２７の実施の形態では、上述したように、クラスが１つだけである（クラスがない）から、図２６のパターンテーブル記憶部４６および図２７のパターンテーブル記憶部７０には、１クラスのパターン情報だけが記憶されている。
【０２３１】
そこで、図２８は、図２６のパターンテーブル記憶部４６および図２７のパターンテーブル記憶部７０に記憶させるパターン情報の学習処理を行うパターン学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２８のパターン学習装置は、クラスタップ抽出回路１５５およびクラス分類回路１５６が設けられていない他は、図１３における場合と基本的に同様に構成されている。
【０２３２】
従って、図２８のパターン学習装置では、加算回路１５４において、上述の加算演算が、クラスには無関係に、画素位置モード別に行われる。そして、相関係数算出回路１５７においても、クラスに無関係に、画素位置モードごとに相関値が求められる。さらに、パターン選択回路１５８においても、相関係数算出回路１５７で得られた相関値に基づいて、クラスに無関係に、画素位置モードごとにパターン情報が求められる。
【０２３３】
なお、例えば、図５の実施の形態では、パターンテーブル記憶部４６に、クラスごとのパターン情報を記憶させておき、クラス分類回路４３が出力するクラスコードに対応するクラスのパターン情報を用いて、予測タップを構成するようにしたが、図５のパターンテーブル記憶部４６には、図２８のパターン学習装置で得られる１クラスのパターン情報を記憶させておき、そのパターン情報を用いて、クラスに無関係に、予測タップを構成するようにすることも可能である。
【０２３４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３５】
そこで、図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２３７】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３８】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２３９】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２４０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４２】
なお、本実施の形態では、画像データを対象としたが、本発明は、その他、例えば、音声データにも適用可能である。
【０２４３】
さらに、本実施の形態では、静止画を圧縮符号化するＪＰＥＧ符号化された画像を対象としたが、本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化された画像を対象とすることも可能である。
【０２４４】
また、本実施の形態では、少なくとも、ＤＣＴ処理を行うＪＰＥＧ符号化された符号化データの復号を行うようにしたが、本発明は、その他の直交変換または周波数変換によって、ブロック単位（ある所定の単位）で変換されたデータの復号や変換に適用可能である。即ち、本発明は、例えば、サブバンド符号化されたデータや、フーリエ変換されたデータ等を復号したり、それらの量子化誤差等を低減したデータに変換する場合にも適用可能である。
【０２４５】
さらに、本実施の形態では、デコーダ２２において、復号に用いるタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２２に提供するようにすることが可能である。パターン情報についても、同様である。
【０２４６】
また、本実施の形態では、タップ係数を用いた線形１次予測演算によって、復号や変換を行うようにしたが、復号および変換は、その他、２次以上の高次の予測演算によって行うことも可能である。
【０２４７】
さらに、本実施の形態では、予測タップを、注目画素ブロックに対応するＤＣＴブロックと、その周辺のＤＣＴブロックの量子化ＤＣＴ係数から構成するようにしたが、クラスタップも同様に構成することが可能である。
【０２４８】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、質の良いデータを得ることが可能となる。
【０２４９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、質の良いデータを得ることが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化／復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示す図である。
【図３】図２のデコーダ２２の構成例を示すブロック図である。
【図４】図３のデコーダ２２の処理を説明するフローチャートである。
【図５】図３の係数変換回路３２の第１の構成例を示すブロック図である。
【図６】クラスタップの例を説明する図である。
【図７】図５のクラス分類回路４３の構成例を示すブロック図である。
【図８】図５の電力演算回路５１の処理を説明するための図である。
【図９】図５の係数変換回路３２の処理を説明するフローチャートである。
【図１０】図９のステップＳ１２の処理のより詳細を説明するフローチャートである。
【図１１】タップ係数を学習するタップ係数学習装置の第１実施の形態の構成例を示すブロック図である。
【図１２】図１１のタップ係数学習装置の処理を説明するフローチャートである。
【図１３】パターン情報を学習するパターン学習装置の第１実施の形態の構成例を示すブロック図である。
【図１４】図１３の加算回路１５４の処理を説明するための図である。
【図１５】図１３のパターン学習装置の処理を説明するフローチャートである。
【図１６】図３の係数変換回路３２の第２の構成例を示すブロック図である。
【図１７】タップ係数学習装置の第２実施の形態の構成例を示すブロック図である。
【図１８】パターン学習装置の第２実施の形態の構成例を示すブロック図である。
【図１９】図３の係数変換回路３２の第３の構成例を示すブロック図である。
【図２０】タップ係数学習装置の第３実施の形態の構成例を示すブロック図である。
【図２１】パターン学習装置の第３実施の形態の構成例を示すブロック図である。
【図２２】図２１の加算回路１５４の処理を説明するための図である。
【図２３】図３の係数変換回路３２の第４の構成例を示すブロック図である。
【図２４】タップ係数学習装置の第４実施の形態の構成例を示すブロック図である。
【図２５】パターン学習装置の第４実施の形態の構成例を示すブロック図である。
【図２６】図３の係数変換回路３２の第５の構成例を示すブロック図である。
【図２７】タップ係数学習装置の第５実施の形態の構成例を示すブロック図である。
【図２８】パターン学習装置の第５実施の形態の構成例を示すブロック図である。
【図２９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３クラス分類回路， ４４ 係数テーブル記憶部， ４５積和演算回路， ４６パターンテーブル記憶部， ５１ 電力演算回路， ５２ クラスコード生成回路， ５３ 閾値テーブル記憶部， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３ 量子化回路， ６４ 予測タップ抽出回路， ６５ クラスタップ抽出回路， ６６ クラス分類回路， ６７ 正規方程式加算回路， ６８ タップ係数決定回路， ６９ 係数テーブル記憶部， ７０ パターンテーブル記憶部， ７１，８１ 逆量子化回路， ９１ 逆量子化回路， １０１ 逆ＤＣＴ回路， １５１ ブロック化回路， １５２ ＤＣＴ回路， １５３ 量子化回路， １５４ 加算回路， １５５ クラスタップ抽出回路， １５６ クラス分類回路， １５７ 相関係数算出回路， １５８ パターン選択回路， １５９ パターンテーブル記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
Claims (17)
- 所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データから、量子化される前の変換データを得る処理を行うデータ処理装置であって、
学習を行うことにより求められたタップ係数を取得する取得手段と、
前記変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの前記変換データを得るための予測演算に用いる前記量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、前記量子化変換データのブロックである変換ブロックにおける、前記注目新変換ブロックの前記変換データのうちの、注目している注目データとの相関が所定の閾値以上となる前記量子化変換データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出手段と、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより、前記量子化変換データを、前記変換データに変換する演算手段と
を備え、
前記タップ係数は、
前記所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理により求められたものである
ことを特徴とするデータ処理装置。 - 前記タップ係数を記憶している記憶手段をさらに備え、
前記取得手段は、前記記憶手段から、前記タップ係数を取得する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記変換データは、前記所定のデータを、少なくとも、離散コサイン変換したものである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記注目新変換ブロックの前記変換データのうちの、注目している注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記量子化変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目データのクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記演算手段は、前記予測タップおよび前記注目データのクラスに対応する前記タップ係数を用いて予測演算を行う
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記予測タップ抽出手段は、前記注目新変換ブロックの周辺の新変換ブロックに対応する変換ブロックから、前記予測タップとする量子化変換データを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記予測タップ抽出手段は、前記注目新変換ブロックに対応する変換ブロックと、前記注目新変換ブロック以外の新変換ブロックに対応する変換ブロックとから、前記予測タップとする量子化変換データを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記所定のデータは、動画または静止画の画像データである
ことを特徴とする請求項１に記載のデータ処理装置。 - 所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データから、量子化される前の変換データを得る処理を行うデータ処理方法であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
前記変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの前記変換データを得るための予測演算に用いる前記量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、前記量子化変換データのブロックである変換ブロックにおける、前記注目新変換ブロックの前記変換データのうちの、注目している注目データとの相関が所定の閾値以上となる前記量子化変換データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより、前記量子化変換データを、前記変換データに変換する演算ステップと
を備え、
前記タップ係数は、
前記所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理により求められたものである
ことを特徴とするデータ処理方法。 - 所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データから、量子化される前の変換データを得る処理を行うデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
前記変換データのブロックである新変換ブロックのうちの注目している注目新変換ブロックの前記変換データを得るための予測演算に用いる前記量子化変換データとして、少なくとも、その注目新変換ブロック以外の新変換ブロックに対応する、前記量子化変換データのブロックである変換ブロックにおける、前記注目新変換ブロックの前記変換データのうちの、注目している注目データとの相関が所定の閾値以上となる前記量子化変換データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記量子化変換データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている量子化変換データを抽出し、予測タップとして出力する予測タップ抽出ステップと、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより、前記量子化変換データを、前記変換データに変換する演算ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であり、
前記タップ係数は、
前記所定のデータに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成し、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力し、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理により求められたものである
ことを特徴とする記録媒体。 - データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データを、量子化される前の変換データに変換するのに用いるタップ係数を学習するデータ処理装置であって、
データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成手段と、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出手段と、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を求める学習手段と
を備えることを特徴とするデータ処理装置。 - 前記教師データは、データを、少なくとも、離散コサイン変換したものである
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記注目教師ブロックの前記教師データのうちの、注目している注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記学習手段は、前記予測タップおよび前記注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、クラスごとの前記タップ係数を求める
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記予測タップ抽出手段は、注目教師ブロックの周辺の教師ブロックに対応する前記生徒ブロックから、前記予測タップとする前記生徒データを抽出する
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記予測タップ抽出手段は、注目教師ブロックに対応する前記生徒ブロックと、注目教師ブロック以外の教師ブロックに対応する前記生徒ブロックとから、前記予測タップとする前記生徒データを抽出する
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記データは、動画または静止画の画像データである
ことを特徴とする請求項１０に記載のデータ処理装置。 - データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データを、量子化される前の変換データに変換するのに用いるタップ係数を学習するデータ処理方法であって、
データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を求める学習ステップと
を備えることを特徴とするデータ処理方法。 - データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施し、量子化することにより得られるブロック単位の量子化変換データを、量子化される前の変換データに変換するのに用いるタップ係数を学習するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
データに対し、少なくとも、直交変換処理または周波数変換処理を所定のブロック単位で施すことにより得られるブロック単位の、教師となる教師データを量子化することにより、生徒となる生徒データを生成する生徒データ生成ステップと、
前記教師データのブロックである教師ブロックのうちの注目している注目教師ブロックの教師データを求めるための予測演算に用いる前記生徒データとして、少なくとも、その注目教師ブロック以外の教師ブロックに対応する、前記生徒データのブロックである生徒ブロックにおける、前記注目教師ブロックの前記教師データのうちの、注目している注目データとの相関が所定の閾値以上となる前記生徒データの位置が示される位置パターン、または、前記注目データとの相関が所定の順位以内になる前記生徒データの位置が示される位置パターンに基づいて、その位置パターンにより示される位置に配置されている生徒データを抽出し、予測タップとして出力する予測タップ抽出ステップと、
前記タップ係数と前記予測タップとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を求める学習ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000164026A JP4538699B2 (ja) | 2000-06-01 | 2000-06-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000164026A JP4538699B2 (ja) | 2000-06-01 | 2000-06-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001346210A JP2001346210A (ja) | 2001-12-14 |
| JP4538699B2 true JP4538699B2 (ja) | 2010-09-08 |
Family
ID=18667697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000164026A Expired - Fee Related JP4538699B2 (ja) | 2000-06-01 | 2000-06-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4538699B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2154893A1 (en) * | 2008-08-13 | 2010-02-17 | Thomson Licensing | Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0346484A (ja) * | 1989-07-14 | 1991-02-27 | Hitachi Ltd | 画像処理装置 |
| JPH0779434A (ja) * | 1993-09-06 | 1995-03-20 | Sony Corp | ディジタル画像信号の受信／再生装置 |
-
2000
- 2000-06-01 JP JP2000164026A patent/JP4538699B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0346484A (ja) * | 1989-07-14 | 1991-02-27 | Hitachi Ltd | 画像処理装置 |
| JPH0779434A (ja) * | 1993-09-06 | 1995-03-20 | Sony Corp | ディジタル画像信号の受信／再生装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001346210A (ja) | 2001-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100731708B1 (ko) | 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체 | |
| JP5957559B2 (ja) | 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置 | |
| EP3350992A1 (en) | Methods and apparatuses for encoding and decoding digital images or video streams | |
| WO2020261314A1 (ja) | 画像符号化方法、及び画像復号方法 | |
| JP4517448B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4538699B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4752088B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4678454B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4419287B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4538698B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4147789B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
| JP2004135254A (ja) | 画像処理装置 | |
| JP2001345707A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4081745B2 (ja) | 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4649770B2 (ja) | 画像データ処理装置および方法、記録媒体、並びにプログラム | |
| WO2021117082A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
| JP2001285648A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2004015381A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100609 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111114 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |