JP4158476B2 - 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム - Google Patents
画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム Download PDFInfo
- Publication number
- JP4158476B2 JP4158476B2 JP2002300901A JP2002300901A JP4158476B2 JP 4158476 B2 JP4158476 B2 JP 4158476B2 JP 2002300901 A JP2002300901 A JP 2002300901A JP 2002300901 A JP2002300901 A JP 2002300901A JP 4158476 B2 JP4158476 B2 JP 4158476B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- data
- pixel data
- block
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックに含まれるブロック段差歪みに関係した情報を取得し、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成することによって、ブロック段差歪みを考慮したクラス分類を行い、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【００１０】
ここで、差分データブロックとしてのＤＣＴデータブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持っている。すなわち、リファレンスデータブロックは、ＤＣＴデータブロックに対して動き補償されて得られたものであって、一個または複数個の画素データブロックのデータを含むものとなる。そのため、このリファレンスデータブロックには、これら一個または複数個の画素データブロックによるブロック段差歪みが含まれる。
【００１１】
そして、ＤＣＴデータブロックは、符号化時に、所定の画素データブロックからリファレンスデータブロックを差し引くことで得られたものである。したがって、ＤＣＴデータブロックは、上述したように、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持つことになる。
【００１２】
このようにＤＣＴデータブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持っていることから、このブロック段差歪みを考慮したクラス分類を行うことにより、第２の画像信号の品質の向上が期待される。
【００１３】
そこで、この発明では、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に、適切なクラス分類を行うことによって、第２の画像信号の品質の向上を図ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、当該第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る演算手段とを備えるものである。
【００１５】
また、この発明に係る画像信号処理方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第１のステップと、少なくとも上記第１のステップで取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第３のステップと、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、上記第３のステップで発生された係数データおよび上記第４のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る第５のステップとを備えるものである。
【００１６】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１７】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１８】
第２の画像信号における注目位置に対応した第１の画像信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。リファレンスデータブロックに含まれる段差歪みは、リファレンスデータブロックを得る際に使用された一個または複数個のデータブロックによって生じる。このブロック段差歪みに関係した情報が取得される。
【００１９】
例えば、一個または複数個のデータブロックを構成する画素データの平均値に対応する値を使用し、隣接するデータブロック間の、この平均値に対応する値の差分値を、ブロック段差歪みに関係した情報として取得する。また例えば、リファレンスデータブロックのブロック位置を基準とした、一個または複数個のデータブロックのブロック位置の情報を、ブロック段差歪みに関係した情報として取得する。
【００２０】
少なくとも、このように取得されたブロック段差歪みに関係した情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。そして、このクラスに対応して、第２の画像信号における注目位置の画素データが生成される。
【００２１】
例えば、検出されたクラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２２】
このように、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報が取得され、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスが検出される。そのため、クラス分類が適切に行われ、第２の画像信号の品質の向上を図られる。
【００２３】
この発明に係る係数データ生成装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める演算手段とを備えるものである。
【００２４】
また、この発明に係る係数データ生成方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第２のステップと、少なくとも上記第２のステップで取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める第５のステップとを備えるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
教師信号における注目位置に対応した生徒信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。リファレンスデータブロックに含まれる段差歪みは、リファレンスデータブロックを得る際に使用された一個または複数個のデータブロックによって生じる。このブロック段差歪みに関係した情報が取得される。そして、少なくとも、このブロック段差歪みに関係した情報を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２８】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００２９】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。この場合に、係数データの生成時と同じようにクラス分類を行うことで、クラス分類が適切に行われこととなり、第２の画像信号の品質の向上が図られる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３１】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３２】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３３】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、画素位置モード情報ｐｉ、ピクチャ情報ＰＩ，動き補償用ベクトル情報ＭＩも出力される。画素位置モード情報ｐｉは、出力される画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す情報である。
【００３４】
ピクチャ情報ＰＩは、出力される画素データがＩピクチャ(Intra-Picture)、Ｐピクチャ(Predictive-Picture)、Ｂピクチャ(Bidirectionally predictive-Picture)のいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトル情報ＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際のリファレンスデータブロックがどのように動き補償されたかを示す情報である。
【００３５】
バッファメモリ１０８には、各画素データと対にして情報ｐｉ，ＰＩ，ＭＩも格納される。さらに、ＭＰＥＧ２復号化器１０７からは、後述する抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよびＤＣＴ係数は、後述する画像信号処理部１１０を構成するクラス生成部１２１に内蔵されたメモリに格納される。
【００３６】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３７】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３８】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００３９】
また、復号化器１０７は、ＩピクチャおよびＰピクチャのデータブロックをメモリ（図示せず）に記憶すると共に、これらのデータブロックを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分データブロックが出力されるとき、対応するリファレンスデータブロックＶrefを生成して出力する予測メモリ回路７８を有している。
【００４０】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分データブロックが出力されるとき、その差分データブロックに予測メモリ回路７８で生成されたリファレンスデータブロックＶrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャのデータブロックが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータブロックＶrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャのデータブロックがそのまま出力される。
【００４１】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャのデータブロックを予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャのデータブロックを正しい順に並べ直して画像信号Ｖａとして出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００４２】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータブロックＶrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４３】
なお、ピクチャ選択回路８０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉ、さらにはその画素データに対応した動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００４４】
また、復号化器１０７は、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩを出力する出力端子８３と、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数を出力する出力端子８４とを有している。
【００４５】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４６】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータブロックが得られる。この各ピクチャのデータブロックは加算回路７９を介してピクチャ選択回路８０に供給される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分（残差）データブロックが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータブロックＶrefが加算される。そして、加算回路７９より出力される各ピクチャのデータブロック（画素データブロック）はピクチャ回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００４７】
なお、このようにピクチャ選択回路８０から画像信号Ｖａが出力される場合、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００４８】
また、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩは出力端子８３に出力される。さらに、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数は出力端子８４に出力される。
【００４９】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００５０】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５１】
この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが出力される。これら画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩもバッファメモリ１０８に一時的に格納される。
【００５２】
またこの場合、復号器１０７からは、各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび各ＤＣＴデータブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数は、画像信号処理部１１０を構成するクラス生成部１２１に内蔵されたメモリに格納される。
【００５３】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０では、バッファメモリ１０８に格納されている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩ、さらにはクラス生成部１２１内のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、変換処理が行われる。
【００５４】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成するクラス生成部１２１を有している。このクラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられてクラスコードＣＬａ〜ＣＬｃが生成される。
【００５６】
図３は、クラス生成部１２１の具体的な構成を示している。
このクラス生成部１２１は、上述したＭＰＥＧ２復号化器１０７より出力される量子化特性指定情報ＱＩが入力される入力端子３１と、この入力端子３１に入力される量子化特性指定情報ＱＩを一時的に格納するためのメモリ３２と、上述したＭＰＥＧ２復号化器１０７より出力される量子化ＤＣＴ係数が入力される入力端子３３と、この入力端子３３に入力される量子化ＤＣＴ係数を一時的に格納するためのメモリ３４とを有している。
【００５７】
また、クラス生成部１２１は、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが入力される入力端子３５を有している。情報ＭＩ，ＰＩは、メモリ３２，３４に読み出し制御情報として供給される。
【００５８】
ここで、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データを得る際に用いられたＤＣＴ係数からなるＤＣＴデータブロックを注目ＤＣＴデータブロックとすると共に、この注目ＤＣＴデータブロックに逆ＤＣＴを施して得られた画素データブロックに加算されるリファレンスデータブロックを注目リファレンスデータブロックとする。
【００５９】
また、注目リファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なり、この注目リファレンスデータブロックを構成する際に用いられた一個または複数個の画素データブロックを使用画素データブロックとし、さらにこの使用画素データブロックを得る際に用いられたＤＣＴデータブロックを使用ＤＣＴデータブロックとする。
【００６０】
メモリ３４からは、注目ＤＣＴデータブロックが読み出される。また、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４からは、使用ＤＣＴデータブロックのＤＣ係数も読み出される。ここで、Ｐピクチャの場合には前方向からの予測符号化であるので、使用画素データブロックは１個、２個または４個となり、Ｂピクチャの場合には両方向からの予測符号化であるので、使用画素データブロックはそれぞれの方向で１個、２個または４個である。
【００６１】
図４は、例えば、Ｐピクチャの場合であって、使用画素データブロックが４個であり、その４個の使用画素データブロックを得る際に用いられる４個の使用ＤＣＴデータブロックＤＢ１〜ＤＢ４を示している。この図４において、破線は、注目リファレンスデータブロックのブロック位置を示している。この場合、メモリ３４からは、この４個のＤＣＴデータブロックＤＢ１〜ＤＢ４のＤＣ係数ＤＣ１〜ＤＣ４が読み出される。
【００６２】
同様に、メモリ３２からは、注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出される。また、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３２からは、使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂも読み出される。
【００６３】
また、クラス生成部１２１は、メモリ３４より読み出される使用ＤＣＴデータブロックのＤＣ係数を、メモリ３２より読み出されるその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂに基づいて逆量子化する逆量子化回路３６を有している。この逆量子化回路３６で得られる、使用ＤＣＴデータブロックのそれぞれに対応したＤＣ係数は、使用画素データブロックを構成する画素データの平均値に対応した値を持っている。
【００６４】
また、クラス生成部１２１は、この逆量子化回路３６で得られたＤＣ係数に基づいて、クラスコードＣＬｂを生成するクラス生成回路３７と、このクラス生成回路３７で生成されたクラスコードＣＬｂを出力する出力端子３８とを有している。クラス生成回路３７には、ピクチャ情報ＰＩが動作制御情報として供給される。
クラス生成回路３７は、データブロック間のＤＣ係数の差分値を求める。
【００６５】
上述したようにＤＣ係数は使用画素データブロックを構成する画素データの平均値に対応した値を持っていることから、このＤＣ係数の差分値は、注目リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００６６】
例えば、図４に示すように４個の使用ＤＣＴデータブロックＤＢ１〜ＤＢ４のＤＣ係数ＤＣ１〜ＤＣ４がメモリから読み出され、逆量子化回路３６からこのＤＣ係数ＤＣ１〜ＤＣ４に対応したＤＣ係数ＤＣ１′〜ＤＣ４′が得られる場合には、ブロックＤＢ１，ＤＢ２の間の差分値Ｓ1-2＝ＤＣ１′−ＤＣ２′、ブロックＤＢ３，ＤＢ４の間の差分値Ｓ3-4＝ＤＣ３′−ＤＣ４′、ブロックＤＢ１，ＤＢ３の間の差分値Ｓ1-3＝ＤＣ１′−ＤＣ３′、ブロックＤＢ２，ＤＢ４の間の差分値Ｓ2-4＝ＤＣ２′−ＤＣ４′を求める。
【００６７】
なお、使用ＤＣＴデータブロックが２個である場合には、その２個のブロック間の差分値のみを求める。例えば、図４でブロックＤＢ１，ＤＢ２あるいはＤＢ１，ＤＢ３が使用ＤＣＴデータブロックとなるが、その場合には差分値Ｓ1-2または差分値Ｓ1-3を求める。また、使用ＤＣＴデータブロックが１個である場合、例えば図４でブロックＤＢ１が使用データブロックとなる場合には、差分値を求めることはできず、差分値を求めない。
【００６８】
ここで、Ｐピクチャの場合には、上述したようにして差分値を求める。これに対して、Ｂピクチャの場合には、両方向の使用ＤＣＴデータブロックに対応して、上述した逆量子化回路３６、クラス生成回路３７で並行して処理し、両方向の使用ＤＣＴデータブロックに係る差分値を求める。
【００６９】
そして、クラス生成回路３７は、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬｂとして、特定のコードを生成する。一方、クラス生成回路３７は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められた差分値を用いてクラスコードＣＬｂを生成する。この場合、例えば差分値の絶対値を閾値判定して、クラスコードＣＬｂを生成する。
【００７０】
また、クラス生成部１２１は、入力端子３５に入力された動き補償用ベクトル情報ＭＩに基づいて、クラスコードＣＬａを生成するクラス生成回路３９と、このクラス生成回路３９で生成されたクラスコードＣＬａを出力する出力端子４０とを有している。クラス生成回路３９には、ピクチャ情報ＰＩが動作制御情報として供給される。
【００７１】
クラス生成回路３９は、動き補償用ベクトル情報ＭＩに基づいて、使用画素データブロックのブロック位置の情報を取得する。この情報は、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報の一つである。この場合、ブロック位置の情報は、リファレンスデータブロックのブロック位置を基準としたものとされる。図５は、使用画素データブロックのブロック位置の取りうる範囲（０〜６３）を示している。この図５において、破線は、リファレンスデータブロック（ＲＤＢ）のブロック位置を示している。
【００７２】
例えば、使用データブロックが１個である場合は、図６Ａに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその１個の使用データブロック（ＵＤＢ）のブロック位置の全部が重なる。この場合、ブロック位置は「０」である。
【００７３】
また例えば、使用データブロックが２個である場合は、図６Ｂ，Ｃに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその２個の使用データブロック（ＵＤＢ１，ＵＤＢ２）のブロック位置の一部が重なる。この場合、ブロック位置は、「１」〜「７」，「８」，「１６」，「２４」，「３２」，「４０」，「４８」，「５６」のいずれかとなる。なお、図６Ｂ，Ｃは、それぞれブロック位置が「２」，「１６」の場合を示している。
【００７４】
また例えば、使用データブロックが４個である場合は、図６Ｄ〜Ｆに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその４個の使用データブロック（ＵＤＢ１〜ＵＤＢ４）のブロック位置の一部が重なる。この場合、ブロック位置は、「９」〜「１５」，「１７」〜「２３」，「２５」〜「３１」，「３３」〜３９」，「４１」〜「４７」，「４９」〜「５５」，「５７」〜「６３」のいずれかとなる。なお、図６Ｄ，Ｅ，Ｆは、それぞれブロック位置が「２２」，「５０」，「３６」の場合を示している。
【００７５】
ここで、Ｐピクチャの場合には、上述したようにして使用画素データブロックのブロック位置の情報を求める。これに対して、Ｂピクチャの場合には、両方向の使用ＤＣＴデータブロックに対応して、それぞれ上述したようにしてブロック位置の情報を求める。
【００７６】
そして、クラス生成回路３９は、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬａとして、特定のコードを生成する。一方、クラス生成回路３９は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められたブロック位置の情報を用いてクラスコードＣＬａを生成する。
【００７７】
また、クラス生成部１２１は、メモリ３４から読み出された注目ＤＣＴデータブロックのＤＣＴ係数を、メモリ３２より読み出された注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａに基づいて逆量子化する逆量子化回路４１を有している。
【００７８】
また、クラス生成部１２１は、逆量子化回路４１で得られたＤＣＴデータブロックの各ＡＣ係数に基づいて、クラスコードＣＬｃを生成するクラス生成回路４２と、このクラス生成回路４２で生成されたクラスコードＣＬｂを出力する出力端子４３とを有している。クラス生成回路４２には、ピクチャ情報ＰＩが動作制御情報として供給される。
【００７９】
クラス生成回路４２は、ＤＣＴデータブロックの各ＡＣ係数のそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、レベル分布を示すクラスコードＣＬｃを生成する。なおこの場合、クラス生成回路４２は、Ｉピクチャ、ＰピクチャおよびＢピクチャをそれぞれ区別した状態でクラスコードＣＬｃを生成する。
【００８０】
ＡＤＲＣは、ＤＣＴデータブロックの全てのＡＣ係数の最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各ＡＣ係数を量子化するものである。１ビットのＡＤＲＣの場合、各ＡＣ係数が、その平均値より大きいか、小さいかで１ビットデータに変換される。ＡＤＲＣ処理は、ＡＣ係数のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等のデータビット数を圧縮する符号化を使用するようにしてもよい。
【００８１】
図３に示すクラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成するための動作を説明する。
【００８２】
ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４から一個または複数個の使用ＤＣＴデータブロックのＤＣ係数が読み出されて逆量子化回路３６に供給され、またメモリ３２からその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂが読み出されて逆量子化回路３６に供給される（図４のＤＣ１〜ＤＣ４参照）。逆量子化回路３６は、使用ＤＣＴデータブロックのＤＣ係数を情報ＱＩｂに基づいて逆量子化する。
【００８３】
逆量子化回路３６で逆量子化されたＤＣ係数はクラス生成回路３７に供給される。クラス生成回路３７は、データブロック間のＤＣ係数の差分値を求める。このＤＣ係数の差分値は、注目リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００８４】
クラス生成回路３７は、さらに、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬｂとして、特定のコードを生成する。一方、クラス生成回路３７は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められた差分値を用いてクラスコードＣＬｂを生成する。このようにクラス生成回路３７で生成されたクラスコードＣＬｂは出力端子３８に出力される。
【００８５】
また、入力端子３５に入力される動き補償用ベクトル情報ＭＩはクラス生成回路３９に供給される。クラス生成回路３９は、動き補償用ベクトル情報ＭＩに基づいて、使用画素データブロックのブロック位置の情報を取得する。この情報は、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００８６】
クラス生成回路３９は、さらに、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬａとして、特定のコードを生成する。一方、クラス生成回路３９は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められたブロック位置の情報を用いてクラスコードＣＬａを生成する。このようにクラス生成回路３９で生成されたクラスコードＣＬａは出力端子４０に出力される。
【００８７】
また、メモリ３４から読み出された注目ＤＣＴデータブロックは逆量子化回路４１に供給され、またメモリ３２からその注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて逆量子化回路４１に供給される。逆量子化回路４１は、注目ＤＣＴデータブロックの各ＤＣＴ係数を情報ＱＩａに基づいて逆量子化する。
【００８８】
この逆量子化回路４１で得られた注目ＤＣＴデータブロックの各ＤＣＴ係数はクラス生成回路４２に供給される。クラス生成回路４２は、例えば、各ＡＣ係数のそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、レベル分布を示すクラスコードＣＬｃを生成する。この場合、クラス生成回路４２は、Ｉピクチャ、ＰピクチャおよびＢピクチャをそれぞれ区別した状態でクラスコードＣＬｃを生成する。このようにクラス生成回路４２で生成されたクラスコードＣＬｃは出力端子４３に出力される。
【００８９】
このように図３に示すクラス生成部１２１は、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報に基づいてクラスコードＣＬａ，ＣＬｂを生成している。したがって、このクラスコードＣＬａ，ＣＬｂを用いてクラス分類を行うことで、画像信号Ｖｂの品質の向上を図ることができる。
【００９０】
なお、図３に示すクラス生成部１２１では、使用画素データブロックを構成する画素データの平均値に対応する値として使用ＤＣＴデータブロックにおけるＤＣ係数を用いるものを示したが、使用画素データブロックを構成する画素データの平均値を求め、その平均値自体を用いる構成としてもよい。
【００９１】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００９２】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００９３】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、およびクラス生成部１２１で生成されたクラスコードＣＬａ〜ＣＬｃを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００９４】
図７は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子５０Ａと、この入力端子５０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路５０Ｂ1〜５０Ｂnと、このタップ選択回路５０Ｂ1〜５０Ｂnで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路５０Ｃ1〜５０Ｃnとを有している。
【００９５】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００９６】
▲１▼空間波形クラスを説明する。タップ選択回路５０Ｂ1およびクラス生成回路５０Ｃ1は、この空間波形クラスの検出系を構成しているものとする。
【００９７】
タップ選択回路５０Ｂ1は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して空間方向の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。クラス生成回路５０Ｃ1は、タップ選択回路５０Ｂ1で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、空間波形クラスを示すクラスコードＣＬ１を生成する。
【００９８】
▲２▼時間変動クラスを説明する。タップ選択回路５０Ｂ2およびクラス生成回路５０Ｃ2は、この時間変動クラスの検出系を構成しているものとする。
【００９９】
タップ選択回路５０Ｂ2は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【０１００】
クラス生成回路５０Ｃ2は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ２を生成する。
【０１０１】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路５０Ｂ3およびクラス生成回路５０Ｃ3は、このＡＣ変動クラスの検出系を構成しているものとする。
【０１０２】
タップ選択回路５０Ｂ3は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【０１０３】
クラス生成回路５０Ｃ3は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路５０Ｃ3は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ1と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ2を求め、ｍ1／ｍ2を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【０１０４】
▲４▼フラットクラスを説明する。タップ選択回路５０Ｂ4およびクラス生成回路５０Ｃ4は、このフラットクラスの検出系を構成しているものとする。
【０１０５】
タップ選択回路５０Ｂ4は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。クラス生成回路５０Ｃ4は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ４を生成する。
【０１０６】
▲５▼ライン相関クラスについて説明する。タップ選択回路５０Ｂ5およびクラス生成回路５０Ｃ5は、このライン相関クラスの検出系を構成しているものとする。
【０１０７】
タップ選択回路５０Ｂ5は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。
【０１０８】
クラス生成回路５０Ｃ5は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【０１０９】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路５０Ｂ6およびクラス生成回路５０Ｃ6は、このブロックエッジクラスの検出系を構成しているものとする。
【０１１０】
タップ選択回路５０Ｂ6は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図８に示す隣接ブロック）の画素データを取り出す。
【０１１１】
クラス生成回路５０Ｃ6は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ６を生成する。
【０１１２】
また、クラス分類部１２３は、画素位置モードの情報ｐｉを入力する入力端子５０Ｄと、クラス生成部１２１で生成されたクラスコードＣＬａ〜ＣＬｃを入力する入力端子５０Ｅを有している。画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬｐとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬｐは６４の画素位置モードのいずれかを表すコードとなる。
【０１１３】
また、クラス分類部１２３は、クラス生成回路５０Ｃ1〜５０Ｃnで生成されるクラスコードＣＬ１〜ＣＬｎ、入力端子５０Ｄ，５０Ｅに入力されるクラスコードＣＬｐ，ＣＬａ〜ＣＬｃを統合して１個のクラスコードＣＬとするクラス統合回路５０Ｆと、このクラスコードＣＬを出力する出力端子５０Ｇとを有している。
【０１１４】
本実施の形態において、クラス統合回路５０Ｆは、クラス生成回路５０Ｃ1〜５０Ｃ6で生成されたクラスコードＣＬ１〜ＣＬ６、さらにはクラスコードＣＬｐ，ＣＬａ〜ＣＬｃを統合して、１つのクラスコードＣＬとする。
【０１１５】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１１６】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１１７】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１１８】
【数１】
【０１１９】
この画像信号処理部１１０の動作を説明する。
クラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリ３２，３４に格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、クラスコードＣＬａ〜ＣＬｃが生成される。
【０１２０】
クラスコードＣＬａ，ＣＬｂは、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報に基づいて生成される。すなわち、クラスコードＣＬｂは、ピクチャ情報ＰＩがＩピクチャを示す場合には特定のコードとなり、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、使用ＤＣＴデータブロックのＤＣ係数の隣接データブロック間の差分値に基づいて生成される。また、クラスコードＣＬａは、ピクチャ情報ＰＩがＩピクチャを示す場合には特定のコードとなり、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、使用画素データブロックのブロック位置の情報に基づいて生成される。
【０１２１】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モード情報ｐｉ、クラス生成部１２１で生成されるクラスコードＣＬａ〜ＣＬｂを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１２２】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１２３】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１２４】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１２５】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１２６】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１２７】
また、クラス生成部１２１では、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報に基づいて、クラスコードＣＬａ，ＣＬｂが生成される。そして、クラス分類部１２３では、このクラスコードＣＬａ，ＣＬｂが他のクラスコードと統合されて、クラスコードＣＬが生成される。そのため、画像信号処理部１１０では、ブロック段差歪みを考慮したクラス分類が行われることとなり、画像信号Ｖｂの品質の向上を図ることができる。
【０１２８】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１２９】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１３０】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（３）で定義して、（４）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１３１】
【数２】
【０１３２】
（４）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１３３】
【数３】
【０１３４】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸji，Ｙi を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１３５】
【数４】
【０１３６】
【数５】
【０１３７】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１３８】
図９は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
【０１３９】
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１４０】
また、係数データ生成装置１５０は、クラス生成部１５４を有している。このクラス生成部１５４は、上述した画像信号処理部１１０のクラス生成部１２１と同様に構成され、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成する。このクラス生成部１５４に内蔵されたメモリには、ＭＰＥＧ２復号化器１５３より出力される量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が一時的に格納される。このクラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、クラスコードＣＬａ〜ＣＬｃが生成される。
【０１４１】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成される。
【０１４２】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１４３】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、およびクラス生成部１５４で生成されるクラスコードＣＬａ〜ＣＬｃを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４４】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１４５】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１４６】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１４７】
次に、図９に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１４８】
クラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃが生成される。
【０１４９】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、クラス生成部１５４で生成されたクラスコードＣＬａ〜ＣＬｃを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１５０】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、予測タップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１５１】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１５２】
このように、図９に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１５３】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１５４】
なお、図１の画像信号処理部１１０における処理を、例えば図１０に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１５５】
まず、図１０に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１５６】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１５７】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１５８】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１５９】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６０】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１６１】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６２】
図１１のフローチャートを参照して、図１０に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０１６３】
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも入力する。
【０１６４】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１６５】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１６６】
ステップＳＴ２５では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、クラスコードＣＬａ〜ＣＬｃを生成し、さらにこのクラスコードＣＬａ〜ＣＬｃ、画像信号Ｖａを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１６７】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１６８】
次に、ステップＳＴ２８で、ステップＳＴ２２で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１６９】
このように、図１１に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１７０】
また、処理装置の図示は省略するが、図９の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１７１】
図１２のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも得る。
【０１７２】
そして、ステップＳＴ３５で、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、クラスコードＣＬａ〜ＣＬｃを生成し、さらにこのクラスコードＣＬａ〜ＣＬｃ、生徒信号ＳＳを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７３】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１７４】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１７５】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１７６】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１７７】
このように、図１２に示すフローチャートに沿って処理をすることで、図９に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１７８】
なお、上述実施の形態においては、ＭＰＥＧ２復号化器１０７から可変長復号化回路７４で得られる量子化ＤＣＴ係数が出力され、この量子化ＤＣＴ係数をクラス生成部１２１のメモリ３４に格納して、クラスコードＣＬａ〜ＣＬｃの生成に利用するものである。
【０１７９】
しかし、ＭＰＥＧ２復号化器１０７から逆量子化回路７６で得られる逆量子化されたＤＣＴ係数が出力されるようにし、この逆量子化されたＤＣＴ係数をクラス生成部１２１のメモリ３４に格納して、クラスコードＣＬａ〜ＣＬｃの生成に利用するように構成することもできる。その場合には、クラス生成部１２１において、逆量子化の処理は不要となる。したがってその場合には、図３のクラス生成部１２１において、メモリ３２、逆量子化回路３６，４１は不要となる。
【０１８０】
また、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、ブロック毎に動き補償予測符号化が行われたその他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１８１】
【発明の効果】
この発明によれば、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックに含まれるブロック段差歪みに関係した情報を取得し、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、ブロック段差歪みを考慮したクラス分類が行われることとなり、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス生成部の構成を示すブロック図である。
【図４】使用ＤＣＴデータブロックの一例を示す図である。
【図５】ブロック位置の取りうる範囲を示す図である。
【図６】ブロック位置の例を示す図である。
【図７】クラス分類部の構成を示すブロック図である。
【図８】タップ選択用ブロックを示す図である。
【図９】係数データ生成装置の構成を示すブロック図である。
【図１０】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号処理を示すフローチャートである。
【図１２】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１，１２１Ａ・・・クラス生成部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックに含まれるブロック段差歪みに関係した情報を取得し、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成することによって、ブロック段差歪みを考慮したクラス分類を行い、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【００１０】
ここで、差分データブロックとしてのＤＣＴデータブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持っている。すなわち、リファレンスデータブロックは、ＤＣＴデータブロックに対して動き補償されて得られたものであって、一個または複数個の画素データブロックのデータを含むものとなる。そのため、このリファレンスデータブロックには、これら一個または複数個の画素データブロックによるブロック段差歪みが含まれる。
【００１１】
そして、ＤＣＴデータブロックは、符号化時に、所定の画素データブロックからリファレンスデータブロックを差し引くことで得られたものである。したがって、ＤＣＴデータブロックは、上述したように、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持つことになる。
【００１２】
このようにＤＣＴデータブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持っていることから、このブロック段差歪みを考慮したクラス分類を行うことにより、第２の画像信号の品質の向上が期待される。
【００１３】
そこで、この発明では、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に、適切なクラス分類を行うことによって、第２の画像信号の品質の向上を図ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、当該第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る演算手段とを備えるものである。
【００１５】
また、この発明に係る画像信号処理方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第１のステップと、少なくとも上記第１のステップで取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第３のステップと、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、上記第３のステップで発生された係数データおよび上記第４のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る第５のステップとを備えるものである。
【００１６】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１７】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１８】
第２の画像信号における注目位置に対応した第１の画像信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。リファレンスデータブロックに含まれる段差歪みは、リファレンスデータブロックを得る際に使用された一個または複数個のデータブロックによって生じる。このブロック段差歪みに関係した情報が取得される。
【００１９】
例えば、一個または複数個のデータブロックを構成する画素データの平均値に対応する値を使用し、隣接するデータブロック間の、この平均値に対応する値の差分値を、ブロック段差歪みに関係した情報として取得する。また例えば、リファレンスデータブロックのブロック位置を基準とした、一個または複数個のデータブロックのブロック位置の情報を、ブロック段差歪みに関係した情報として取得する。
【００２０】
少なくとも、このように取得されたブロック段差歪みに関係した情報を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。そして、このクラスに対応して、第２の画像信号における注目位置の画素データが生成される。
【００２１】
例えば、検出されたクラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２２】
このように、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報が取得され、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスが検出される。そのため、クラス分類が適切に行われ、第２の画像信号の品質の向上を図られる。
【００２３】
この発明に係る係数データ生成装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める演算手段とを備えるものである。
【００２４】
また、この発明に係る係数データ生成方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第２のステップと、少なくとも上記第２のステップで取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める第５のステップとを備えるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
教師信号における注目位置に対応した生徒信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。リファレンスデータブロックに含まれる段差歪みは、リファレンスデータブロックを得る際に使用された一個または複数個のデータブロックによって生じる。このブロック段差歪みに関係した情報が取得される。そして、少なくとも、このブロック段差歪みに関係した情報を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２８】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００２９】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。この場合に、係数データの生成時と同じようにクラス分類を行うことで、クラス分類が適切に行われこととなり、第２の画像信号の品質の向上が図られる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３１】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３２】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３３】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、画素位置モード情報ｐｉ、ピクチャ情報ＰＩ，動き補償用ベクトル情報ＭＩも出力される。画素位置モード情報ｐｉは、出力される画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す情報である。
【００３４】
ピクチャ情報ＰＩは、出力される画素データがＩピクチャ(Intra-Picture)、Ｐピクチャ(Predictive-Picture)、Ｂピクチャ(Bidirectionally predictive-Picture)のいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトル情報ＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際のリファレンスデータブロックがどのように動き補償されたかを示す情報である。
【００３５】
バッファメモリ１０８には、各画素データと対にして情報ｐｉ，ＰＩ，ＭＩも格納される。さらに、ＭＰＥＧ２復号化器１０７からは、後述する抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよびＤＣＴ係数は、後述する画像信号処理部１１０を構成するクラス生成部１２１に内蔵されたメモリに格納される。
【００３６】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３７】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３８】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００３９】
また、復号化器１０７は、ＩピクチャおよびＰピクチャのデータブロックをメモリ（図示せず）に記憶すると共に、これらのデータブロックを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分データブロックが出力されるとき、対応するリファレンスデータブロックＶrefを生成して出力する予測メモリ回路７８を有している。
【００４０】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分データブロックが出力されるとき、その差分データブロックに予測メモリ回路７８で生成されたリファレンスデータブロックＶrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャのデータブロックが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータブロックＶrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャのデータブロックがそのまま出力される。
【００４１】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャのデータブロックを予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャのデータブロックを正しい順に並べ直して画像信号Ｖａとして出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００４２】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータブロックＶrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４３】
なお、ピクチャ選択回路８０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉ、さらにはその画素データに対応した動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００４４】
また、復号化器１０７は、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩを出力する出力端子８３と、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数を出力する出力端子８４とを有している。
【００４５】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４６】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータブロックが得られる。この各ピクチャのデータブロックは加算回路７９を介してピクチャ選択回路８０に供給される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分（残差）データブロックが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータブロックＶrefが加算される。そして、加算回路７９より出力される各ピクチャのデータブロック（画素データブロック）はピクチャ回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００４７】
なお、このようにピクチャ選択回路８０から画像信号Ｖａが出力される場合、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００４８】
また、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩは出力端子８３に出力される。さらに、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数は出力端子８４に出力される。
【００４９】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００５０】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５１】
この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが出力される。これら画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩもバッファメモリ１０８に一時的に格納される。
【００５２】
またこの場合、復号器１０７からは、各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび各ＤＣＴデータブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数は、画像信号処理部１１０を構成するクラス生成部１２１に内蔵されたメモリに格納される。
【００５３】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０では、バッファメモリ１０８に格納されている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩ、さらにはクラス生成部１２１内のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、変換処理が行われる。
【００５４】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成するクラス生成部１２１を有している。このクラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられてクラスコードＣＬａ〜ＣＬｃが生成される。
【００５６】
図３は、クラス生成部１２１の具体的な構成を示している。
このクラス生成部１２１は、上述したＭＰＥＧ２復号化器１０７より出力される量子化特性指定情報ＱＩが入力される入力端子３１と、この入力端子３１に入力される量子化特性指定情報ＱＩを一時的に格納するためのメモリ３２と、上述したＭＰＥＧ２復号化器１０７より出力される量子化ＤＣＴ係数が入力される入力端子３３と、この入力端子３３に入力される量子化ＤＣＴ係数を一時的に格納するためのメモリ３４とを有している。
【００５７】
また、クラス生成部１２１は、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが入力される入力端子３５を有している。情報ＭＩ，ＰＩは、メモリ３２，３４に読み出し制御情報として供給される。
【００５８】
ここで、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データを得る際に用いられたＤＣＴ係数からなるＤＣＴデータブロックを注目ＤＣＴデータブロックとすると共に、この注目ＤＣＴデータブロックに逆ＤＣＴを施して得られた画素データブロックに加算されるリファレンスデータブロックを注目リファレンスデータブロックとする。
【００５９】
また、注目リファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なり、この注目リファレンスデータブロックを構成する際に用いられた一個または複数個の画素データブロックを使用画素データブロックとし、さらにこの使用画素データブロックを得る際に用いられたＤＣＴデータブロックを使用ＤＣＴデータブロックとする。
【００６０】
メモリ３４からは、注目ＤＣＴデータブロックが読み出される。また、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４からは、使用ＤＣＴデータブロックのＤＣ係数も読み出される。ここで、Ｐピクチャの場合には前方向からの予測符号化であるので、使用画素データブロックは１個、２個または４個となり、Ｂピクチャの場合には両方向からの予測符号化であるので、使用画素データブロックはそれぞれの方向で１個、２個または４個である。
【００６１】
図４は、例えば、Ｐピクチャの場合であって、使用画素データブロックが４個であり、その４個の使用画素データブロックを得る際に用いられる４個の使用ＤＣＴデータブロックＤＢ１〜ＤＢ４を示している。この図４において、破線は、注目リファレンスデータブロックのブロック位置を示している。この場合、メモリ３４からは、この４個のＤＣＴデータブロックＤＢ１〜ＤＢ４のＤＣ係数ＤＣ１〜ＤＣ４が読み出される。
【００６２】
同様に、メモリ３２からは、注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出される。また、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３２からは、使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂも読み出される。
【００６３】
また、クラス生成部１２１は、メモリ３４より読み出される使用ＤＣＴデータブロックのＤＣ係数を、メモリ３２より読み出されるその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂに基づいて逆量子化する逆量子化回路３６を有している。この逆量子化回路３６で得られる、使用ＤＣＴデータブロックのそれぞれに対応したＤＣ係数は、使用画素データブロックを構成する画素データの平均値に対応した値を持っている。
【００６４】
また、クラス生成部１２１は、この逆量子化回路３６で得られたＤＣ係数に基づいて、クラスコードＣＬｂを生成するクラス生成回路３７と、このクラス生成回路３７で生成されたクラスコードＣＬｂを出力する出力端子３８とを有している。クラス生成回路３７には、ピクチャ情報ＰＩが動作制御情報として供給される。
クラス生成回路３７は、データブロック間のＤＣ係数の差分値を求める。
【００６５】
上述したようにＤＣ係数は使用画素データブロックを構成する画素データの平均値に対応した値を持っていることから、このＤＣ係数の差分値は、注目リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００６６】
例えば、図４に示すように４個の使用ＤＣＴデータブロックＤＢ１〜ＤＢ４のＤＣ係数ＤＣ１〜ＤＣ４がメモリから読み出され、逆量子化回路３６からこのＤＣ係数ＤＣ１〜ＤＣ４に対応したＤＣ係数ＤＣ１′〜ＤＣ４′が得られる場合には、ブロックＤＢ１，ＤＢ２の間の差分値Ｓ1-2＝ＤＣ１′−ＤＣ２′、ブロックＤＢ３，ＤＢ４の間の差分値Ｓ3-4＝ＤＣ３′−ＤＣ４′、ブロックＤＢ１，ＤＢ３の間の差分値Ｓ1-3＝ＤＣ１′−ＤＣ３′、ブロックＤＢ２，ＤＢ４の間の差分値Ｓ2-4＝ＤＣ２′−ＤＣ４′を求める。
【００６７】
なお、使用ＤＣＴデータブロックが２個である場合には、その２個のブロック間の差分値のみを求める。例えば、図４でブロックＤＢ１，ＤＢ２あるいはＤＢ１，ＤＢ３が使用ＤＣＴデータブロックとなるが、その場合には差分値Ｓ1-2または差分値Ｓ1-3を求める。また、使用ＤＣＴデータブロックが１個である場合、例えば図４でブロックＤＢ１が使用データブロックとなる場合には、差分値を求めることはできず、差分値を求めない。
【００６８】
ここで、Ｐピクチャの場合には、上述したようにして差分値を求める。これに対して、Ｂピクチャの場合には、両方向の使用ＤＣＴデータブロックに対応して、上述した逆量子化回路３６、クラス生成回路３７で並行して処理し、両方向の使用ＤＣＴデータブロックに係る差分値を求める。
【００６９】
そして、クラス生成回路３７は、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬｂとして、特定のコードを生成する。一方、クラス生成回路３７は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められた差分値を用いてクラスコードＣＬｂを生成する。この場合、例えば差分値の絶対値を閾値判定して、クラスコードＣＬｂを生成する。
【００７０】
また、クラス生成部１２１は、入力端子３５に入力された動き補償用ベクトル情報ＭＩに基づいて、クラスコードＣＬａを生成するクラス生成回路３９と、このクラス生成回路３９で生成されたクラスコードＣＬａを出力する出力端子４０とを有している。クラス生成回路３９には、ピクチャ情報ＰＩが動作制御情報として供給される。
【００７１】
クラス生成回路３９は、動き補償用ベクトル情報ＭＩに基づいて、使用画素データブロックのブロック位置の情報を取得する。この情報は、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報の一つである。この場合、ブロック位置の情報は、リファレンスデータブロックのブロック位置を基準としたものとされる。図５は、使用画素データブロックのブロック位置の取りうる範囲（０〜６３）を示している。この図５において、破線は、リファレンスデータブロック（ＲＤＢ）のブロック位置を示している。
【００７２】
例えば、使用データブロックが１個である場合は、図６Ａに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその１個の使用データブロック（ＵＤＢ）のブロック位置の全部が重なる。この場合、ブロック位置は「０」である。
【００７３】
また例えば、使用データブロックが２個である場合は、図６Ｂ，Ｃに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその２個の使用データブロック（ＵＤＢ１，ＵＤＢ２）のブロック位置の一部が重なる。この場合、ブロック位置は、「１」〜「７」，「８」，「１６」，「２４」，「３２」，「４０」，「４８」，「５６」のいずれかとなる。なお、図６Ｂ，Ｃは、それぞれブロック位置が「２」，「１６」の場合を示している。
【００７４】
また例えば、使用データブロックが４個である場合は、図６Ｄ〜Ｆに示すように、リファレンスデータブロック（ＲＤＢ）のブロック位置にその４個の使用データブロック（ＵＤＢ１〜ＵＤＢ４）のブロック位置の一部が重なる。この場合、ブロック位置は、「９」〜「１５」，「１７」〜「２３」，「２５」〜「３１」，「３３」〜３９」，「４１」〜「４７」，「４９」〜「５５」，「５７」〜「６３」のいずれかとなる。なお、図６Ｄ，Ｅ，Ｆは、それぞれブロック位置が「２２」，「５０」，「３６」の場合を示している。
【００７５】
ここで、Ｐピクチャの場合には、上述したようにして使用画素データブロックのブロック位置の情報を求める。これに対して、Ｂピクチャの場合には、両方向の使用ＤＣＴデータブロックに対応して、それぞれ上述したようにしてブロック位置の情報を求める。
【００７６】
そして、クラス生成回路３９は、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬａとして、特定のコードを生成する。一方、クラス生成回路３９は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められたブロック位置の情報を用いてクラスコードＣＬａを生成する。
【００７７】
また、クラス生成部１２１は、メモリ３４から読み出された注目ＤＣＴデータブロックのＤＣＴ係数を、メモリ３２より読み出された注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａに基づいて逆量子化する逆量子化回路４１を有している。
【００７８】
また、クラス生成部１２１は、逆量子化回路４１で得られたＤＣＴデータブロックの各ＡＣ係数に基づいて、クラスコードＣＬｃを生成するクラス生成回路４２と、このクラス生成回路４２で生成されたクラスコードＣＬｂを出力する出力端子４３とを有している。クラス生成回路４２には、ピクチャ情報ＰＩが動作制御情報として供給される。
【００７９】
クラス生成回路４２は、ＤＣＴデータブロックの各ＡＣ係数のそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、レベル分布を示すクラスコードＣＬｃを生成する。なおこの場合、クラス生成回路４２は、Ｉピクチャ、ＰピクチャおよびＢピクチャをそれぞれ区別した状態でクラスコードＣＬｃを生成する。
【００８０】
ＡＤＲＣは、ＤＣＴデータブロックの全てのＡＣ係数の最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各ＡＣ係数を量子化するものである。１ビットのＡＤＲＣの場合、各ＡＣ係数が、その平均値より大きいか、小さいかで１ビットデータに変換される。ＡＤＲＣ処理は、ＡＣ係数のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等のデータビット数を圧縮する符号化を使用するようにしてもよい。
【００８１】
図３に示すクラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成するための動作を説明する。
【００８２】
ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４から一個または複数個の使用ＤＣＴデータブロックのＤＣ係数が読み出されて逆量子化回路３６に供給され、またメモリ３２からその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂが読み出されて逆量子化回路３６に供給される（図４のＤＣ１〜ＤＣ４参照）。逆量子化回路３６は、使用ＤＣＴデータブロックのＤＣ係数を情報ＱＩｂに基づいて逆量子化する。
【００８３】
逆量子化回路３６で逆量子化されたＤＣ係数はクラス生成回路３７に供給される。クラス生成回路３７は、データブロック間のＤＣ係数の差分値を求める。このＤＣ係数の差分値は、注目リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００８４】
クラス生成回路３７は、さらに、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬｂとして、特定のコードを生成する。一方、クラス生成回路３７は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められた差分値を用いてクラスコードＣＬｂを生成する。このようにクラス生成回路３７で生成されたクラスコードＣＬｂは出力端子３８に出力される。
【００８５】
また、入力端子３５に入力される動き補償用ベクトル情報ＭＩはクラス生成回路３９に供給される。クラス生成回路３９は、動き補償用ベクトル情報ＭＩに基づいて、使用画素データブロックのブロック位置の情報を取得する。この情報は、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報の一つである。
【００８６】
クラス生成回路３９は、さらに、ピクチャ情報ＰＩがＩピクチャを示す場合には、クラスコードＣＬａとして、特定のコードを生成する。一方、クラス生成回路３９は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、上述したように求められたブロック位置の情報を用いてクラスコードＣＬａを生成する。このようにクラス生成回路３９で生成されたクラスコードＣＬａは出力端子４０に出力される。
【００８７】
また、メモリ３４から読み出された注目ＤＣＴデータブロックは逆量子化回路４１に供給され、またメモリ３２からその注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて逆量子化回路４１に供給される。逆量子化回路４１は、注目ＤＣＴデータブロックの各ＤＣＴ係数を情報ＱＩａに基づいて逆量子化する。
【００８８】
この逆量子化回路４１で得られた注目ＤＣＴデータブロックの各ＤＣＴ係数はクラス生成回路４２に供給される。クラス生成回路４２は、例えば、各ＡＣ係数のそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、レベル分布を示すクラスコードＣＬｃを生成する。この場合、クラス生成回路４２は、Ｉピクチャ、ＰピクチャおよびＢピクチャをそれぞれ区別した状態でクラスコードＣＬｃを生成する。このようにクラス生成回路４２で生成されたクラスコードＣＬｃは出力端子４３に出力される。
【００８９】
このように図３に示すクラス生成部１２１は、リファレンスデータブロックに含まれるブロック段差歪みに関係した情報に基づいてクラスコードＣＬａ，ＣＬｂを生成している。したがって、このクラスコードＣＬａ，ＣＬｂを用いてクラス分類を行うことで、画像信号Ｖｂの品質の向上を図ることができる。
【００９０】
なお、図３に示すクラス生成部１２１では、使用画素データブロックを構成する画素データの平均値に対応する値として使用ＤＣＴデータブロックにおけるＤＣ係数を用いるものを示したが、使用画素データブロックを構成する画素データの平均値を求め、その平均値自体を用いる構成としてもよい。
【００９１】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００９２】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００９３】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、およびクラス生成部１２１で生成されたクラスコードＣＬａ〜ＣＬｃを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００９４】
図７は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子５０Ａと、この入力端子５０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路５０Ｂ1〜５０Ｂnと、このタップ選択回路５０Ｂ1〜５０Ｂnで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路５０Ｃ1〜５０Ｃnとを有している。
【００９５】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００９６】
▲１▼空間波形クラスを説明する。タップ選択回路５０Ｂ1およびクラス生成回路５０Ｃ1は、この空間波形クラスの検出系を構成しているものとする。
【００９７】
タップ選択回路５０Ｂ1は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して空間方向の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。クラス生成回路５０Ｃ1は、タップ選択回路５０Ｂ1で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、空間波形クラスを示すクラスコードＣＬ１を生成する。
【００９８】
▲２▼時間変動クラスを説明する。タップ選択回路５０Ｂ2およびクラス生成回路５０Ｃ2は、この時間変動クラスの検出系を構成しているものとする。
【００９９】
タップ選択回路５０Ｂ2は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【０１００】
クラス生成回路５０Ｃ2は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ２を生成する。
【０１０１】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路５０Ｂ3およびクラス生成回路５０Ｃ3は、このＡＣ変動クラスの検出系を構成しているものとする。
【０１０２】
タップ選択回路５０Ｂ3は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図８に示す過去ブロック）の画素データを取り出す。
【０１０３】
クラス生成回路５０Ｃ3は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路５０Ｃ3は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ1と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ2を求め、ｍ1／ｍ2を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【０１０４】
▲４▼フラットクラスを説明する。タップ選択回路５０Ｂ4およびクラス生成回路５０Ｃ4は、このフラットクラスの検出系を構成しているものとする。
【０１０５】
タップ選択回路５０Ｂ4は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。クラス生成回路５０Ｃ4は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ４を生成する。
【０１０６】
▲５▼ライン相関クラスについて説明する。タップ選択回路５０Ｂ5およびクラス生成回路５０Ｃ5は、このライン相関クラスの検出系を構成しているものとする。
【０１０７】
タップ選択回路５０Ｂ5は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出す。
【０１０８】
クラス生成回路５０Ｃ5は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【０１０９】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路５０Ｂ6およびクラス生成回路５０Ｃ6は、このブロックエッジクラスの検出系を構成しているものとする。
【０１１０】
タップ選択回路５０Ｂ6は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図８に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図８に示す隣接ブロック）の画素データを取り出す。
【０１１１】
クラス生成回路５０Ｃ6は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ６を生成する。
【０１１２】
また、クラス分類部１２３は、画素位置モードの情報ｐｉを入力する入力端子５０Ｄと、クラス生成部１２１で生成されたクラスコードＣＬａ〜ＣＬｃを入力する入力端子５０Ｅを有している。画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬｐとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬｐは６４の画素位置モードのいずれかを表すコードとなる。
【０１１３】
また、クラス分類部１２３は、クラス生成回路５０Ｃ1〜５０Ｃnで生成されるクラスコードＣＬ１〜ＣＬｎ、入力端子５０Ｄ，５０Ｅに入力されるクラスコードＣＬｐ，ＣＬａ〜ＣＬｃを統合して１個のクラスコードＣＬとするクラス統合回路５０Ｆと、このクラスコードＣＬを出力する出力端子５０Ｇとを有している。
【０１１４】
本実施の形態において、クラス統合回路５０Ｆは、クラス生成回路５０Ｃ1〜５０Ｃ6で生成されたクラスコードＣＬ１〜ＣＬ６、さらにはクラスコードＣＬｐ，ＣＬａ〜ＣＬｃを統合して、１つのクラスコードＣＬとする。
【０１１５】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１１６】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１１７】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１１８】
【数１】
この画像信号処理部１１０の動作を説明する。
クラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリ３２，３４に格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、クラスコードＣＬａ〜ＣＬｃが生成される。
【０１２０】
クラスコードＣＬａ，ＣＬｂは、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報に基づいて生成される。すなわち、クラスコードＣＬｂは、ピクチャ情報ＰＩがＩピクチャを示す場合には特定のコードとなり、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、使用ＤＣＴデータブロックのＤＣ係数の隣接データブロック間の差分値に基づいて生成される。また、クラスコードＣＬａは、ピクチャ情報ＰＩがＩピクチャを示す場合には特定のコードとなり、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、使用画素データブロックのブロック位置の情報に基づいて生成される。
【０１２１】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モード情報ｐｉ、クラス生成部１２１で生成されるクラスコードＣＬａ〜ＣＬｂを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１２２】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１２３】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１２４】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１２５】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１２６】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１２７】
また、クラス生成部１２１では、リファレンスデータブロックに含まれる、使用画素データブロックによるブロック段差歪みに関係した情報に基づいて、クラスコードＣＬａ，ＣＬｂが生成される。そして、クラス分類部１２３では、このクラスコードＣＬａ，ＣＬｂが他のクラスコードと統合されて、クラスコードＣＬが生成される。そのため、画像信号処理部１１０では、ブロック段差歪みを考慮したクラス分類が行われることとなり、画像信号Ｖｂの品質の向上を図ることができる。
【０１２８】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１２９】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１３０】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（３）で定義して、（４）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１３１】
【数２】
（４）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１３３】
【数３】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸji，Ｙi を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１３５】
【数４】
【数５】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１３８】
図９は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
【０１３９】
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１４０】
また、係数データ生成装置１５０は、クラス生成部１５４を有している。このクラス生成部１５４は、上述した画像信号処理部１１０のクラス生成部１２１と同様に構成され、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃを生成する。このクラス生成部１５４に内蔵されたメモリには、ＭＰＥＧ２復号化器１５３より出力される量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が一時的に格納される。このクラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、クラスコードＣＬａ〜ＣＬｃが生成される。
【０１４１】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成される。
【０１４２】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１４３】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、およびクラス生成部１５４で生成されるクラスコードＣＬａ〜ＣＬｃを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４４】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１４５】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１４６】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１４７】
次に、図９に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１４８】
クラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬａ〜ＣＬｃが生成される。
【０１４９】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、クラス生成部１５４で生成されたクラスコードＣＬａ〜ＣＬｃを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１５０】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、予測タップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１５１】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１５２】
このように、図９に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１５３】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１５４】
なお、図１の画像信号処理部１１０における処理を、例えば図１０に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１５５】
まず、図１０に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１５６】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１５７】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１５８】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１５９】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６０】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１６１】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６２】
図１１のフローチャートを参照して、図１０に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０１６３】
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも入力する。
【０１６４】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１６５】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１６６】
ステップＳＴ２５では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、クラスコードＣＬａ〜ＣＬｃを生成し、さらにこのクラスコードＣＬａ〜ＣＬｃ、画像信号Ｖａを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１６７】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１６８】
次に、ステップＳＴ２８で、ステップＳＴ２２で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１６９】
このように、図１１に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１７０】
また、処理装置の図示は省略するが、図９の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１７１】
図１２のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも得る。
【０１７２】
そして、ステップＳＴ３５で、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、クラスコードＣＬａ〜ＣＬｃを生成し、さらにこのクラスコードＣＬａ〜ＣＬｃ、生徒信号ＳＳを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７３】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１７４】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１７５】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１７６】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１７７】
このように、図１２に示すフローチャートに沿って処理をすることで、図９に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１７８】
なお、上述実施の形態においては、ＭＰＥＧ２復号化器１０７から可変長復号化回路７４で得られる量子化ＤＣＴ係数が出力され、この量子化ＤＣＴ係数をクラス生成部１２１のメモリ３４に格納して、クラスコードＣＬａ〜ＣＬｃの生成に利用するものである。
【０１７９】
しかし、ＭＰＥＧ２復号化器１０７から逆量子化回路７６で得られる逆量子化されたＤＣＴ係数が出力されるようにし、この逆量子化されたＤＣＴ係数をクラス生成部１２１のメモリ３４に格納して、クラスコードＣＬａ〜ＣＬｃの生成に利用するように構成することもできる。その場合には、クラス生成部１２１において、逆量子化の処理は不要となる。したがってその場合には、図３のクラス生成部１２１において、メモリ３２、逆量子化回路３６，４１は不要となる。
【０１８０】
また、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、ブロック毎に動き補償予測符号化が行われたその他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１８１】
【発明の効果】
この発明によれば、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックに含まれるブロック段差歪みに関係した情報を取得し、少なくともこの情報を用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものであり、ブロック段差歪みを考慮したクラス分類が行われることとなり、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】クラス生成部の構成を示すブロック図である。
【図４】使用ＤＣＴデータブロックの一例を示す図である。
【図５】ブロック位置の取りうる範囲を示す図である。
【図６】ブロック位置の例を示す図である。
【図７】クラス分類部の構成を示すブロック図である。
【図８】タップ選択用ブロックを示す図である。
【図９】係数データ生成装置の構成を示すブロック図である。
【図１０】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号処理を示すフローチャートである。
【図１２】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１，１２１Ａ・・・クラス生成部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
Claims (8)
- ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、当該第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、
少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る演算手段とを備える画像信号処理装置。 - 上記デジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、上記差分データブロックはＤＣＴ係数からなるＤＣＴデータブロックであり、
上記情報取得手段は、
上記差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個の、ＤＣＴ係数からなるＤＣＴデータブロックのＤＣ係数を使用し、隣接するデータブロック間の上記ＤＣ係数の差分値を上記ブロック段差歪みに関係した情報として取得する請求項１に記載の画像信号処理装置。 - 上記情報取得手段は、
上記リファレンスデータブロックのブロック位置を基準位置としたとき、当該基準位置に対して、上記一個または複数個のデータブロックのブロック位置の情報を上記ブロック段差歪みに関係した情報として取得する請求項１に記載の画像信号処理装置。 - ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換する場合に、上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第１のステップと、
少なくとも上記第１のステップで取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、
検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第３のステップと、
上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで発生された係数データおよび上記第４のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る第５のステップとを備える画像信号処理方法。 - ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換するために、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第１のステップと、
少なくとも上記第１のステップで取得された上記差分値の絶対値を閾値判定して、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のステップと、
検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第３のステップと、
上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで発生された係数データおよび上記第４のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを得る第５のステップとを備える画像信号処理方法をコンピュータに実行させるためのプログラム。 - ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する情報取得手段と、
少なくとも上記情報取得手段で取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める演算手段とを備える係数データ生成装置。 - ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第２のステップと、
少なくとも上記第２のステップで取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める第５のステップとを備える係数データ生成方法。 - ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号の符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックを得る際に使用された一個または複数個のデータブロックを構成する画素データの平均値に相当する値を使用し、隣接するデータブロック間の上記平均値に相当する値の差分値をブロック段差歪みに関係した情報として取得する第２のステップと、
少なくとも上記第２のステップで取得された上記差分値の絶対値を閾値判定して、上記教師信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第４のステップと、
上記第３のステップで検出されたクラス、上記第４のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする係数データを求める第５のステップとを備える係数データ生成方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002300901A JP4158476B2 (ja) | 2002-10-15 | 2002-10-15 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002300901A JP4158476B2 (ja) | 2002-10-15 | 2002-10-15 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004140456A JP2004140456A (ja) | 2004-05-13 |
| JP4158476B2 true JP4158476B2 (ja) | 2008-10-01 |
Family
ID=32449453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002300901A Expired - Fee Related JP4158476B2 (ja) | 2002-10-15 | 2002-10-15 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4158476B2 (ja) |
-
2002
- 2002-10-15 JP JP2002300901A patent/JP4158476B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004140456A (ja) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US20070036450A1 (en) | Data processing apparatus and method and recording medium | |
| JPH08307874A (ja) | 映像信号符号化装置 | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| JP3874179B2 (ja) | 符号化動画像変換装置 | |
| JP4078906B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4158476B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US7991054B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program | |
| JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4140259B2 (ja) | 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体 | |
| JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4752088B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP3991800B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4140662B2 (ja) | 係数種データ生成装置および係数データ生成装置 | |
| CN101860711A (zh) | 一种数字电视上显示小视频的方法及装置 | |
| JP2004173013A (ja) | 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP3991801B2 (ja) | 情報信号処理装置、情報信号処理方法および画像信号処理装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2003264837A (ja) | 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2002142222A (ja) | 圧縮画像の画面サイズ変更装置 | |
| JP2005294967A (ja) | 映像符号化装置 | |
| JPH0965341A (ja) | 動画像符号化・復号方法および装置 | |
| JP2000324497A (ja) | 画像情報変換装置および変換方法 | |
| JPH09154061A (ja) | 特殊効果装置及び画像伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |