JP4140259B2 - Information signal processing apparatus, information signal processing method, program, and computer-readable medium - Google Patents

Description

【０１１９】
この推定式の係数データＷｉは、（２）式に示すように、パラメータｐを含む生成式によって生成される。情報メモリバンク１２８には、この生成式における係数データである係数種データｗ_i0〜ｗ_i3が、クラス毎に、格納されている。
Ｗｉ＝ｗ_i0＋ｗ_i1ｐ＋ｗ_i2ｐ²＋ｗ_i3ｐ³ ・・・（２）
【０１２０】
また、画像信号処理部１１０は、各クラスの係数種データｗ_i0〜ｗ_i3およびパラメータｐの値とを用い、（２）式によって、クラス毎に、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１２９を有している。この係数生成回路１２９には、情報メモリバンク１２８より、上述した各クラスの係数種データｗ_i0〜ｗ_i3がロードされる。また、この係数生成回路１２９には、システムコントローラ１０１より、パラメータｐの値が供給される。
【０１２１】
この係数生成回路１２９で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１２６に格納される。この係数生成回路１２９における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｐの値が変更されても、係数メモリ１２６に格納される各クラスの係数データＷｉを、そのパラメータｐの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
【０１２２】
ここで、上述したように情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3についてさらに説明する。この係数種データｗ_i0〜ｗ_i3は、上述したＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化された、ＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成される。
【０１２３】
すなわち、この係数種データｗ_i0〜ｗ_i3は、それぞれパラメータｐの複数の値に応じて生成され、画像信号Ｖａに対応した複数の生徒信号と、画像信号Ｖｂに対応した教師信号とを用いて予め生成される。この場合、生徒信号は、教師信号をＭＰＥＧ２符号化して得られたＭＰＥＧ２ストリームを復号化することで得られ、この復号化の過程でパラメータｐの値に応じて信号を変化させることで、当該パラメータｐの値に対応した生徒信号が得られる。本実施の形態においては、パラメータｐの値に応じて、逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。
【０１２４】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｂによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能となる。
【０１２５】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｂによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能となる。
【０１２６】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｂによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能となる。
【０１２７】
また例えば、少なくともＤＣＴ係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られた複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｂによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能となる。
【０１２８】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２７を有している。
【０１２９】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０８に記憶されている画像信号Ｖａより、第２のタップ選択回路１２２で、作成すべき画像信号Ｖｂにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０１３０】
ＭＰＥＧ２復号化器１０７でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１２４に供給される。この付加情報クラス生成部１２４では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０１３１】
そして、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報はクラスコード生成部１２５に供給される。このクラスコード生成部１２５では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。
【０１３２】
このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬは、係数メモリ１２６に読み出しアドレス情報として供給される。係数メモリ１２６には、例えば各垂直ブランキング期間に、係数生成回路１２９で、ユーザによって調整されたパラメータｐの値に対応して、クラス毎に、係数種データｗ_i0〜ｗ_i3を用いて推定式の係数データＷｉ（ｉ＝１〜ｎ）が求められて格納される（（２）式参照）。
【０１３３】
係数メモリ１２６に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。また、バッファメモリ１０８に記憶されている画像信号Ｖａより、第１のタップ選択回路１２１で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１３４】
推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、推定式（（１）式参照）に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１３５】
このように、画像信号処理部１１０では、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、画素データｙが演算される。したがって、ユーザは、パラメータｐの値を変更することで、画像信号Ｖｂによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
【０１３６】
また、係数データＷｉを生成するための係数種データｗ_i0〜ｗ_i3は、上述したＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Ｖｂによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
【０１３７】
次に、係数種データｗの生成方法の一例について説明する。この例においては、上述した（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i3を求める例を示すものとする。
ここで、以下の説明のため、（３）式のように、ｔ_j（ｊ＝０〜３）を定義する。
ｔ₀＝１，ｔ₁＝ｐ，ｔ₂＝ｐ²，ｔ₃＝ｐ³ ・・・（３）
この（３）式を用いると、（２）式は、（４）式のように書き換えられる。
【０１３８】
【数２】

【０１３９】
最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラス毎に、画像信号Ｖａに対応する生徒信号の画素データと、画像信号Ｖｂに対応する教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（５）式で表される。ここで、ｘ_ikは生徒信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目の教師信号の画素データを表している。
【０１４０】
【数３】

【０１４１】
最小二乗法による解法では、（５）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（６）式で示される。
【０１４２】
【数４】

【０１４３】
以下、（７）式、（８）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（６）式は、（９）式のように行列を用いて書き換えられる。
【０１４４】
【数５】

【０１４５】
【数６】

【０１４６】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。
【０１４７】
図３は、上述した係数種データの生成方法の一例の概念を示している。画像信号Ｖｂに対応した教師信号から、画像信号Ｖａに対応した複数の生徒信号を生成する。例えば、パラメータｐを９段階に可変して、９種類の生徒信号を生成する。このようにして生成された複数の生徒信号と教師信号との間で学習を行って係数種データを生成する。
【０１４８】
図４は、上述したデジタル放送受信機１００の情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3を生成するための係数種データ生成装置１５０の構成を示している。
【０１４９】
この係数種データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号に対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。このＭＰＥＧ２復号化器１５３には、パラメータｐの値が入力される。
【０１５０】
この復号化器１５３では、復号化の過程で、パラメータｐの値に応じて信号が変化するようにされ、当該パラメータｐの値に対応した生徒信号が得られる。本実施の形態では、逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。
【０１５１】
ここで、ＤＣＴでは、画素値ｆ(i,j)に対するＤＣＴ係数（周波数係数）Ｆ(u,v)は、（１０）式で与えられる。一方、逆ＤＣＴでは、ＤＣＴ係数（周波数係数）Ｆ(u,v)に対する画素値ｆ(i,j)は、（１１）式で与えられる。ここで、Ｃ(w)＝１／√２（ｗ＝０）、Ｃ(w)＝１（ｗ≠０）である。このように、逆ＤＣＴにおいて、画素値ｆ(i,j)は、ＤＣＴ係数（周波数係数）と逆変換基底との積和演算で求められる。
【０１５２】
【数７】

【０１５３】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。ここで、元のＡＣ係数をＡＣ[m]、ゲインをgainとすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＊gainとなる。この場合、各ＡＣ係数の間の相関関係は保持できることから、このようにして得られる複数の生徒信号を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｂによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能なものとなる。
【０１５４】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。ここで、元のＤＣ係数をＤＣ[m]、元の量子化ステップをＱst、新たな量子化ステップをnewＱstとすると、新たなＤＣ係数をnewＤＣ[m]は、newＤＣ[m]＝｛ＤＣ[m]＊Ｑst／newＱst｝となる。｛｝は整数演算を表している。この場合、ＤＣ係数の変動を操作可能となり、このようにして得られる複数の生徒信号を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｂによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能なものとなる。
【０１５５】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。ここで、元のＡＣ係数をＡＣ[m]、ゲインをgain[m]とすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＊gain[m]となる。この場合、各ＡＣ係数の間の相関関係を段階的に崩すものであり、このようにして得られる複数の生徒信号を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｂによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能なものとなる。
【０１５６】
また例えば、少なくともＤＣＴ係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。元のＡＣ係数をＡＣ[m]、ランダムノイズをrdmＮとすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＋rdmＮとなる。同様に、元のＤＣ係数をＤＣ[m]、ランダムノイズをrdmＮとすると、新たなＤＣ係数newＤＣ[m]は、newＤＣ[m]＝ＤＣ[m]＋rdmＮとなる。また同様に、元の基底をＲＥＦ[m]、ランダムノイズをrdmＮとすると、新たな基底newＲＥＦ[m]は、newＲＥＦ＝ＲＥＦ[m]＋rdmＮとなる。この場合、ランダムノイズのレベルを段階的に切り換えることにより、それによって得られる複数の生徒信号を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｂによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能なものとなる。
【０１５７】
図６は、ＭＰＥＧ２復号化器１５３の構成を示している。
この復号化器１５３は、ＭＰＥＧ２ストリームが入力される入力端子１８１と、この入力端子１８１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ１８２とを有している。
【０１５８】
また、この復号化器１５３は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路１８３と、この抽出回路１８３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路１８４とを有している。
【０１５９】
また、この復号化器１５３は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報を抽出する抽出回路１８５と、この抽出回路１８５で抽出される量子化特性指定情報に基づいて、可変長復号化回路１８４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路１８６と、逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路１８７とを有している。
【０１６０】
また、復号化器１５３は、Ｉピクチャ(Intra-Picture)およびＰピクチャ(Predictive-Picture)の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャ(Bidirectionally predictive-Picture)の画像信号が出力されるとき、対応する参照画像信号Ｖrefを生成して出力する予測メモリ回路１８８を有している。
【０１６１】
また、復号化器１５３は、逆ＤＣＴ回路１８７からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路１８８で生成された参照画像信号Ｖrefを加算する加算回路１８９を有している。なお、逆ＤＣＴ回路１８７からＩピクチャの画像信号が出力されるとき、予測メモリ回路１８８から加算回路１８９に参照画像信号Ｖrefは供給されず、従って加算回路１８９からは逆ＤＣＴ回路１８７より出力されるＩピクチャの画像信号がそのまま出力される。
【０１６２】
また、復号化器１５３は、加算回路１８９より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路１８８に供給してメモリに記憶させると共に、この加算回路１８９より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路１９０と、このピクチャ選択回路１９０より出力される画像信号を出力する出力端子１９１とを有している。
【０１６３】
また、復号化器１５３は、ストリームバッファ１８２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動きベクトル情報ＭＩを抽出する抽出回路１９２と、この符号化制御情報を出力する出力端子１９３とを有している。この抽出回路１９２で抽出される動きベクトル情報ＭＩは予測メモリ回路１８８に供給され、予測メモリ回路１８８ではこの動きベクトル情報ＭＩを用いて参照画像信号Ｖrefを生成する際に動き補償が行われる。また、抽出回路１９２で抽出されるピクチャ情報ＰＩは予測メモリ回路１８８、ピクチャ選択回路１９０に供給され、これら予測メモリ回路１８８、ピクチャ選択回路１９０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【０１６４】
図６に示すＭＰＥＧ２復号化器１５３の動作を説明する。
ストリームバッファ１８２に記憶されているＭＰＥＧ２ストリームが抽出回路１８３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路１８４に供給されて復号化される。そして、この可変長復号化回路１８４より出力される量子化ＤＣＴ係数が逆量子化回路１８６に供給されて逆量子化が施される。
【０１６５】
逆量子化回路１８６より出力されるＤＣＴ係数に対して逆ＤＣＴ回路１８３で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路１８９を介してピクチャ選択回路１９０に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路１８９で予測メモリ回路１８８より出力される参照画像信号Ｖrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路１９０で正しい順に並べ直されて出力端子１９１に出力される。
【０１６６】
図４に戻って、また、係数種データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第１のタップ選択回路１５４および第２のタップ選択回路１５５を有している。これら第１、第２のタップ選択回路１５４，１５５は、それぞれ上述した画像信号処理部１１０の第１，第２のタップ選択回路１２１，１２２と同様に構成される。
【０１６７】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５５で選択的に取り出されるクラスタップの画素データから特徴量を抽出する特徴量抽出部１５６を有している。この特徴量抽出部１５６は、上述した画像信号処理部１１０の特徴量抽出部１２３と同様に構成され、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードを生成する。
【０１６８】
また、係数種データ生成装置１５０は、ＭＰＥＧ２復号化器１５３でＭＰＥＧ２ストリームより抽出される符号化情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）に基づいて、付加情報クラスを示す第２のクラス情報を生成する付加情報クラス生成部１５７を有している。この付加情報クラス生成部１５７は、上述した画像信号処理部１１０の付加情報クラス生成部１２４と同様に構成される。
【０１６９】
また、係数種データ生成装置１５０は、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１５７で生成される第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬを生成するクラスコード生成部１５８を有している。このクラスコード生成部１５８は、上述した画像信号処理部１１０のクラスコード生成部１２５と同様に構成される。このクラスコードＣＬは、教師信号ＳＴにおける注目位置の画素データｙの属するクラスを示すものである。
【０１７０】
また、係数種データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５９と、この遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとから、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（９）式参照）を生成する正規方程式生成部１６０を有している。
【０１７１】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、パラメータｐの値に応じてＭＰＥＧ２復号化器１５３で複数の生徒信号ＳＳが順次生成されていき、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１６０では、パラメータｐの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データｗ_i0〜ｗ_i3を求めることが可能となる。
【０１７２】
また、係数種データ生成装置１５０は、正規方程式生成部１６０で、クラス毎に生成された正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、係数種データｗ_i0〜ｗ_i3を求める係数種データ決定部１６１と、この求められた係数種データを格納する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
【０１７３】
図４に示す係数種データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてこの教師信号ＳＴに対してＭＰＥＧ２符号化器１５２で、符号化が施されてＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。
【０１７４】
このＭＰＥＧ２復号化器１５３には、パラメータｐの値が入力され、復号化の過程で、当該パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じて逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。これにより、パラメータｐの値に対応した生徒信号ＳＳが得られる。
【０１７５】
また、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、第２のタップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップの画素データに基づいて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０１７６】
また、ＭＰＥＧ２復号化器１５３でＭＰＥＧ２ストリームより抽出される符号化情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１５７に供給される。この付加情報クラス生成部１５７では、符号化情報に基づいて付加情報クラスを示す第２のクラス情報が生成される。
【０１７７】
そして、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）と、付加情報クラス生成部１５７で生成される第２のクラス情報は、それぞれクラスコード生成部１５８に供給される。このクラスコード生成部１５８では、第１のクラス情報および第２のクラス情報に基づいて、教師信号ＳＴにおける注目位置の画素データｙが属するクラス（クラス分類の結果）を示すクラスコードＣＬが生成される。
【０１７８】
また、ＭＰＥＧ復号化器１５３より出力される生徒信号ＳＳより、第１のタップ選択回路１５４で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１７９】
そして、遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６０では、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（９）式参照）が生成される。
【０１８０】
そして、係数種データ決定部１６１で各正規方程式が解かれ、クラス毎の係数種データｗ_i0〜ｗ_i3が求められ、それらの係数種データｗ_i0〜ｗ_i3は係数種メモリ１６２に格納される。
【０１８１】
このように、図４に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１２８に格納される、クラス毎の、推定式（（１）式参照）で用いられる係数データＷｉを求めるための生成式（（２）式参照）における係数データである係数種データｗ_i0〜ｗ_i3を生成することができる。
【０１８２】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i3を求める例を示すものとする。
図７は、この例の概念を示している。教師信号から複数の生徒信号を生成する。例えば、パラメータｐの値を９段階に可変して、９種類の生徒信号を生成する。このようにして生成された各生徒信号と教師信号との間で学習を行って、（１）式の推定式の係数データＷｉを生成する。そして、各生徒信号に対応して生成された係数データＷｉを使用して、（２）式の生成式における係数データである係数種データｗ_i0〜ｗ_i3を生成する。
【０１８３】
まず、推定式の係数データの求め方を説明する。ここでは、（１）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。
上述の、（１）式において、学習前は係数データＷ₁ ，Ｗ₂，‥‥，Ｗ_n は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（１２）式が設定される。ｎは予測タップの数を示している。
ｙ_k ＝Ｗ₁ ×ｘ_k1＋Ｗ₂ ×ｘ_k2＋‥‥＋Ｗ_n ×ｘ_kn ・・・（１２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、係数データＷ₁ ，Ｗ₂，‥‥，Ｗ_nは、一意に決まらないので、誤差ベクトルｅの要素ｅ_kを、以下の式（１３）で定義して、（１４）式のｅ²を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝ ・・・（１３）
（ｋ＝１，２，‥‥ｍ）
【０１８４】
【数８】

【０１８５】
（１４）式のｅ²を最小とする係数データを求めるための実際的な計算方法としては、まず、（１５）式に示すように、ｅ²を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１８６】
【数９】

【０１８７】
（１５）式から係数データＷｉを求める具体的な手順について説明する。（１６）式、（１７）式のようにＸji，Ｙi を定義すると、（１５）式は、（１８）式の行列式の形に書くことができる。
【０１８８】
【数１０】

【０１８９】
【数１１】

【０１９０】
（１８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１９１】
次に、各生徒信号に対応して生成された係数データＷｉを使用した、係数種データの求め方を説明する。
パラメータｐの値に対応した生徒信号を用いた学習による、あるクラスの係数データが、ｋ_piになったとする。ここで、ｉは予測タップの番号である。このｋ_piから、このクラスの係数種データを求める。
【０１９２】
係数データＷｉ（ｉ＝１〜ｎ）は、係数種データｗ_i0〜ｗ_i3を使って、上述した（２）式で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、（１９）式で表される。
【０１９３】
【数１２】

【０１９４】
ここで、ｔ_jは、上述の（３）式に示されている。（１９）式に最小二乗法を作用させると、（２０）式が得られる。
【０１９５】
【数１３】

【０１９６】
ここで、Ｘ_jk，Ｙ_jをそれぞれ（２１）式、（２２）式のように定義すると、（２０）式は（２３）式のように書き換えられる。この（２３）式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ_i0〜ｗ_i3を算出することができる。
【０１９７】
【数１４】

【０１９８】
図８は、図７に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０Ａの構成を示している。この図８において、図４と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１９９】
係数種データ生成装置１５０Ａは、遅延回路１５９で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１８）式参照）を生成する正規方程式生成部１６３を有している。
【０２００】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、パラメータｐの値に応じてＭＰＥＧ２復号化器１５３で複数の生徒信号ＳＳが順次生成されていき、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１６３では、各生徒信号のそれぞれに対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０２０１】
また、係数種データ生成装置１５０Ａは、正規方程式生成部１６３で生成された正規方程式のデータが供給され、その正規方程式を解いて、各生徒信号にそれぞれ対応した、各クラスの係数データＷｉを求める係数データ決定部１６４と、パラメータｐの値および各生徒信号にそれぞれ対応した係数データＷｉとを使用して、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（２３）式参照）を生成する正規方程式生成部１６５とを有している。
【０２０２】
また、係数種データ生成装置１５０Ａは、正規方程式生成部１６５でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ_i0〜ｗ_i3を求める係数種データ決定部１６６と、この求められた係数種データｗ_i0〜ｗ_i3を格納する係数種メモリ１６２とを有している。
図８に示す係数種データ生成装置１５０Ａのその他は、図４に示す係数種データ生成装置１５０と同様に構成される。
【０２０３】
次に、図８に示す係数種データ生成装置１５０Ａの動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてこの教師信号ＳＴに対してＭＰＥＧ２符号化器１５２で、符号化が施されてＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。
【０２０４】
このＭＰＥＧ２復号化器１５３には、パラメータｐの値が入力され、復号化の過程で、当該パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じて逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。これにより、パラメータｐの値に対応した生徒信号ＳＳが得られる。
【０２０５】
また、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、第２のタップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップの画素データに基づいて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０２０６】
また、ＭＰＥＧ２復号化器１５３でＭＰＥＧ２ストリームより抽出される符号化情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１５７に供給される。この付加情報クラス生成部１５７では、符号化情報に基づいて付加情報クラスを示す第２のクラス情報が生成される。
【０２０７】
そして、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）と、付加情報クラス生成部１５７で生成される第２のクラス情報は、それぞれクラスコード生成部１５８に供給される。このクラスコード生成部１５８では、第１のクラス情報および第２のクラス情報に基づいて、教師信号ＳＴにおける注目位置の画素データｙが属するクラス（クラス分類の結果）を示すクラスコードＣＬが生成される。
【０２０８】
また、ＭＰＥＧ復号化器１５３より出力される生徒信号ＳＳより、第１のタップ選択回路１５４で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０２０９】
そして、遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６３では、ＭＰＥＧ２復号化器１５３より出力される、パラメータｐの複数の値にそれぞれ対応した複数の生徒信号ＳＳについて、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１８）式参照）が生成される。
【０２１０】
そして、係数データ決定部１６４でその正規方程式が解かれ、複数の生徒信号ＳＳのそれぞれ対応した、各クラスの係数データＷｉが求められる。正規方程式生成部１６５では、この複数の生徒信号ＳＳのそれぞれ対応した各クラスの係数データＷｉを用いて、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（２３）式参照）が生成される。
【０２１１】
そして、係数種データ決定部１６６でその正規方程式が解かれ、各クラスの係数種データｗ_i0〜ｗ_i3が求められ、その係数種データｗ_i0〜ｗ_i3は係数種メモリ１６２に格納される。
【０２１２】
このように、図８に示す係数種データ生成装置１５０Ａにおいても、図１の画像信号処理部１１０の情報メモリバンク１２８に格納される、各クラスの係数種データｗ_i0〜ｗ_i3を生成することができる。
【０２１３】
図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（２）式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２１４】
また、図１の画像信号処理部１１０では、特徴量抽出部１２３より出力される空間クラスを示す第１のクラス情報（ＡＤＲＣコード）の他に、付加情報クラス生成部１２４で生成された付加情報クラスを示す第２のクラス情報にも基づいて、クラスコード生成部１２５ではクラスコードＣＬを生成するものであるが、第１のクラス情報のみを用いてクラスコードＣＬを生成してもよい。ただし、第２のクラス情報をも加味してクラスコードＣＬを生成することで、より細かなクラス分けを行うことができ、画像信号Ｖｂの画素データの生成精度を高めることができる。
【０２１５】
なお、図１の画像信号処理部１１０における処理を、例えば図９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２１６】
まず、図９に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２１７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２１８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２１９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２２０】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２２１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０２２２】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２２３】
図１０のフローチャートを参照して、図９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号Ｖａを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０７に予め記録されている場合には、このドライブ３０７からこの画像信号Ｖａを読み出し、この画像信号Ｖａを構成する画素データをＲＡＭ３０３に一時的に格納する。
【０２２４】
そして、ステップＳＴ３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０２２５】
このステップＳＴ５では、ユーザのリモコン送信機２００の操作によって入力された画質指定値であるパラメータｐの値を、例えばＲＡＭ３０３より取得する。そして、ステップＳＴ６で、パラメータＰの値、各クラスの係数種データを用いて、生成式（例えば（２）式）によって、各クラスの推定式（（１）式参照）の係数データＷｉを生成する。
【０２２６】
次に、ステップＳＴ７で、ステップＳＴ２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、ステップＳＴ２で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ９に進む。
【０２２７】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データＷｉと予測タップの画素データを使用して、推定式により、画像信号Ｖｂにおける注目位置の画素データを生成し、その後にステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０２２８】
このように、図１０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２２９】
なお、ステップＳＴ９では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、入力端子３１４からは画像信号Ｖａの他に、この画像信号Ｖａに関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）も入力されるようにし、図１の画像信号処理部１１０におけると同様に、この符号化制御情報をも用いてクラスコードＣＬを生成するようにしてもよい。
また、処理装置の図示は省略するが、図４の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２３０】
図１１のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、画質パターン（パラメータｐの値で特定される）を選択する。そして、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０２３１】
このステップＳＴ２４では、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２５で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０２３２】
このステップＳＴ２６では、ステップＳＴ２４で入力された教師信号より、ステップＳＴ２２で選択された画質パターンに基づいて、生徒信号を生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成された生徒信号より、ステップＳＴ２４で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ２８で、ステップＳＴ２４で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップＳＴ２９に進む。
【０２３３】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、正規方程式（（９）式参照）を生成する。その後に、ステップＳＴ２７に戻る。
【０２３４】
また、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、正規方程式を掃き出し法等で解くことによって、各クラスの係数種データを算出し、ステップＳＴ３２で、その係数種データをメモリに保存し、その後にステップＳＴ３３で、処理を終了する。
【０２３５】
このように、図１１に示すフローチャートに沿って処理をすることで、図４に示す係数種データ生成装置１５０と同様の手法によって、係数種データを得ることができる。
【０２３６】
なお、ステップＳＴ２９では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、図４の係数種データ生成装置１５０と同様に、生徒信号に関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）をも用いてクラスコードＣＬを生成するようにしてもよい。
また、処理装置の図示は省略するが、図８の係数種データ生成装置１５０Ａにおける処理も、ソフトウェアで実現可能である。
【０２３７】
図１２のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、学習に使われる、画質パターン（パラメータｐの値で特定される）を選択する。そして、ステップＳＴ４３で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップＳＴ４４に進む。
【０２３８】
このステップＳＴ４４では、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ４５で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４６で、ステップＳＴ４４で入力された教師信号より、ステップＳＴ４２で選択された画質パターンに基づいて、生徒信号を生成する。
【０２３９】
そして、ステップＳＴ４７で、ステップＳＴ４６で生成された生徒信号より、ステップＳＴ４４で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ４８で、ステップＳＴ４４で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ４４に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ４９に進む。
【０２４０】
このステップＳＴ４９では、ステップＳＴ４７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ５０で、係数データを得るための正規方程式（（１８）式参照）を生成する。その後に、ステップＳＴ４７に戻る。
【０２４１】
上述したステップＳＴ４５で、処理が終了したときは、ステップＳＴ５１で、ステップＳＴ５０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ４２に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
【０２４２】
また、上述のステップＳＴ４３で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップＳＴ５２に進む。このステップＳＴ５２では、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式（（２３）式参照）を生成する。
【０２４３】
そして、ステップＳＴ５３で、ステップＳＴ５２で生成された正規方程式を掃き出し法等で解くことによって、各クラスの係数種データを算出し、ステップＳＴ５４で、その係数種データをメモリに保存し、その後にステップＳＴ５５で、処理を終了する。
【０２４４】
このように、図１２に示すフローチャートに沿って処理をすることで、図８に示す係数種データ生成装置１５０Ａと同様の手法によって、係数種データを得ることができる。
【０２４５】
なお、ステップＳＴ４９では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、図８の係数種データ生成装置１５０Ａと同様に、生徒信号に関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）をも用いてクラスコードＣＬを生成するようにしてもよい。
【０２４６】
次に、この発明の他の実施の形態について説明する。
図１３は、他の実施の形態としてのデジタル放送受信機１００Ａの構成を示している。この図１３において、図１と対応する部分には同一符号を付して示している。
【０２４７】
デジタル放送受信機１００Ａは、図１に示すデジタル放送受信機１００の画像信号処理部１１０が画像信号処理部１１０Ａに置き換えられたものであって、デジタル放送受信機１００と同様の動作をする。
【０２４８】
画像信号処理部１１０Ａの詳細を説明する。この画像信号処理部１１０Ａにおいて、図１に示す画像信号処理部１１０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２４９】
この画像信号処理部１１０Ａは、情報メモリバンク１２８Ａを有している。この情報メモリバンク１２８Ａには、クラスおよびパラメータｐの値の組み合わせ毎に、係数データＷｉ（ｉ＝１〜ｎ）が予め格納されている。この係数データＷｉの生成方法については後述する。
【０２５０】
このように情報メモリバンク１２８Ａに格納されている係数データＷｉも、上述した図１の画像信号処理部１１０の情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3と同様に、ＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化された、ＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成される。
【０２５１】
すなわち、この係数データＷｉは、それぞれパラメータｐの複数の値に応じて生成され、画像信号Ｖａに対応した複数の生徒信号と、画像信号Ｖｂに対応した教師信号とを用いて予め生成される。
【０２５２】
この場合、生徒信号は、教師信号をＭＰＥＧ２符号化して得られたＭＰＥＧ２ストリームを復号化することで得られ、この復号化の過程でパラメータｐの値に応じて信号を変化させることで、当該パラメータｐの値に対応した生徒信号が得られる。この場合、パラメータｐの値に応じて、逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。
【０２５３】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８Ａに、このようにして得られる複数の生徒信号を用いて予め生成された係数データＷｉが格納されている場合には、上述の画像信号Ｖｂによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能となる。
【０２５４】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８Ａに、このようにして得られる複数の生徒信号を用いて予め生成された係数データＷｉが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能となる。
【０２５５】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８Ａに、このようにして得られる複数の生徒信号を用いて予め生成された係数データＷｉが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能となる。
【０２５６】
また例えば、少なくともＤＣＴ係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８Ａに、このようにして得られる複数の生徒信号を用いて予め生成された係数種データＷｉが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能となる。
【０２５７】
この画像信号処理部１１０Ａの動作を説明する。
バッファメモリ１０８に記憶されている画像信号Ｖａより、第２のタップ選択回路１２２で、作成すべき画像信号Ｖｂにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０２５８】
ＭＰＥＧ復号化器１０７でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１２４に供給される。この付加情報クラス生成部１２４では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０２５９】
そして、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報はクラスコード生成部１２５に供給される。このクラスコード生成部１２５では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。
【０２６０】
このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬは、係数メモリ１２６に読み出しアドレス情報として供給される。
【０２６１】
係数メモリ１２６には、例えば垂直ブランキング期間に、ユーザによって調整されたパラメータｐの値に対応した、各クラスの係数データＷｉが、システムコントローラ１０１の制御によって、情報メモリバンク１２８Ａよりロードされて格納される。
【０２６２】
なお、情報メモリバンク１２８Ａに、調整されたパラメータｐの値に対応した係数データＷｉが蓄えられていない場合には、その調整されたパラメータｐの値の前後の値に対応した係数データＷｉを情報メモリバンク１２８Ａより読み出し、それらを用いた補間演算処理によって、調整されたパラメータｐの値に対応した係数データを得るようにしてもよい。
【０２６３】
係数メモリ１２６に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。また、バッファメモリ１０８に記憶されている画像信号Ｖａより、第１のタップ選択回路１２１で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０２６４】
推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、推定式（（１）式参照）に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０２６５】
このように、画像信号処理部１１０Ａでは、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、画素データｙが演算される。したがって、ユーザは、パラメータｐの値を変更することで、画像信号Ｖｂによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
【０２６６】
また、この係数データＷｉは、上述したＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化された、ＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Ｖｂによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
【０２６７】
次に、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。
上述では、係数種データの生成方法の他の例として、まずパラメータｐの値を段階的に可変して得られる生徒信号毎に、それを用いた学習によって各クラスの係数データＷｉを生成し、次に生徒信号毎の係数データＷｉを使用して、各クラスの係数種データｗ₁₀〜ｗ_n9を求めるものを説明した。情報メモリバンク１２８Ａに予め蓄えられる、クラスおよびパラメータｐの値の組み合わせ毎の係数データＷｉは、この係数種データの生成方法における、前半部分と同様の方法で生成することができる。
【０２６８】
図１４は、係数データ生成装置１７０を示している。この係数データ生成装置１７０において、図８に示す係数種データ生成装置１５０Ａと対応する部分には同一符号を付し、その詳細説明は省略する。
【０２６９】
この係数データ生成装置１７０では、係数メモリ１６７を有している。この係数メモリ１６７には、係数データ決定部１６４で決定された、パラメータｐの各値に対応した、各クラスの係数データＷｉが記憶される。この係数データ生成装置１７０のその他は、図８に示す係数種データ生成装置１５０Ａと同様に構成され、同様に動作する。
【０２７０】
このように、図１４に示す係数データ生成装置１７０においては、図１３の画像信号処理部１１０Ａの情報メモリバンク１２８Ａに格納される、クラスおよびパラメータｐの値の組み合わせ毎の係数データＷｉを生成することができる。
【０２７１】
また、図１３の画像信号処理部１１０Ａにおける処理を、図１の画像信号処理部１１０における処理と同様に、例えば図９に示す画像信号処理装置３００によって、ソフトウェアで実現することも可能である。この場合、ＲＯＭ３０２等に、係数データが予め格納されて使用される。
【０２７２】
図１５のフローチャートを参照して、図９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ６１で、処理を開始し、ステップＳ６２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号Ｖａを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０７に予め記録されている場合には、このドライブ３０７からこの画像信号Ｖａを読み出し、この画像信号Ｖａを構成する画素データをＲＡＭ３０３に一時的に格納する。
【０２７３】
そして、ステップＳＴ６３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ６４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ６５に進む。
【０２７４】
このステップＳＴ６５では、ユーザのリモコン送信機２００の操作によって入力された画質指定値であるパラメータｐの値を、例えばＲＡＭ３０３より取得する。そして、ステップＳＴ６６で、取得されたパラメータｐの値に基づいて、ＲＯＭ３０２等からそのパラメータｐの値に対応した、各クラスの係数データＷｉを読み出し、ＲＡＭ３０３に一時的に格納する。
【０２７５】
次に、ステップＳＴ６７で、ステップＳＴ６２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ６８で、ステップＳＴ６２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ６２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ６９に進む。
【０２７６】
このステップＳＴ６９では、ステップＳＴ６７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ７０で、そのクラスコードＣＬに対応した係数データＷｉと予測タップの画素データを使用して、推定式により、画像信号Ｖｂにおける注目位置の画素データを生成し、その後にステップＳＴ６７に戻って、上述したと同様の処理を繰り返す。
【０２７７】
このように、図１５に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２７８】
なお、ステップＳＴ６９では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、入力端子３１４からは画像信号Ｖａの他に、この画像信号Ｖａに関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）も入力されるようにし、図１３の画像信号処理部１１０Ａにおけると同様に、この符号化制御情報をも用いてクラスコードＣＬを生成するようにしてもよい。
また、処理装置の図示は省略するが、図１４の係数データ生成装置１７０における処理も、ソフトウェアで実現可能である。
【０２７９】
図１６のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、学習に使われる、画質パターン（パラメータｐの値で特定される）を選択する。そして、ステップＳＴ８３で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップＳＴ８４に進む。
【０２８０】
このステップＳＴ８４では、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ８５で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ８６で、ステップＳＴ８４で入力された教師信号より、ステップＳＴ８２で選択された画質パターンに基づいて、生徒信号を生成する。
【０２８１】
そして、ステップＳＴ８７で、ステップＳＴ８６で生成された生徒信号より、ステップＳＴ８４で入力された教師信号における注目位置に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８８で、ステップＳＴ８４で入力された教師信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ８４に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ８９に進む。
【０２８２】
このステップＳＴ８９では、ステップＳＴ８７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ９０で、係数データを得るための正規方程式（（１８）式参照）を生成する。その後に、ステップＳＴ８７に戻る。
【０２８３】
上述したステップＳＴ８５で、処理が終了したときは、ステップＳＴ９１で、ステップＳＴ９０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ８２に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
【０２８４】
また、上述のステップＳＴ８３で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップＳＴ９２で、全ての画質パターンに対する各クラスの係数データをメモリに保存し、その後にステップＳＴ９３で、処理を終了する。
【０２８５】
このように、図１６に示すフローチャートに沿って処理をすることで、図１４に示す係数データ生成装置１７０と同様の手法によって、係数データを得ることができる。なお、ステップＳＴ８９では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、図１４の係数データ生成装置１７０と同様に、生徒信号に関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）をも用いてクラスコードＣＬを生成するようにしてもよい。
【０２８６】
次に、この発明のさらに他の実施の形態について説明する。
図１７は、他の実施の形態としてのデジタル放送受信機１００Ｂの構成を示している。この図１７において、図１と対応する部分には同一符号を付して示している。
【０２８７】
デジタル放送受信機１００Ｂは、図１に示すデジタル放送受信機１００の画像信号処理部１１０が画像信号処理部１１０Ｂに置き換えられたものであって、デジタル放送受信機１００と同様の動作をする。
【０２８８】
画像信号処理部１１０Ｂの詳細を説明する。この画像信号処理部１１０Ｂにおいて、図１に示す画像信号処理部１１０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２８９】
この画像信号処理部１１０Ｂは、蓄積テーブル１３１を有している。この蓄積テーブル１３１には、クラスおよびパラメータｐの値の組み合わせ毎に、差分データＤＦが予め格納されている。この差分データＤＦは、画素値の差分データあるいはＤＣＴ処理により得られるＤＣＴ係数（周波数係数）の差分データである。蓄積テーブル１３１には、クラスコード生成部１２５より出力されるクラスコードＣＬおよびシステムコントローラ１０１より出力されるパラメータｐの値が読み出しアドレス情報として供給される。この蓄積テーブル１３１からは、クラスコードＣＬおよびパラメータｐの値に対応した差分データＤＦが読み出されて、後述する加算部１３４に供給される。
【０２９０】
この蓄積テーブル１３１に格納されている差分データＤＦも、上述した図１の画像信号処理部１１０の情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3と同様に、ＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化された、ＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成される。
【０２９１】
すなわち、この差分データＤＦは、それぞれパラメータｐの複数の値に応じて生成され、画像信号Ｖａに対応した複数の生徒信号と、画像信号Ｖｂに対応した教師信号とを用いて予め生成される。
【０２９２】
この場合、生徒信号は、教師信号をＭＰＥＧ２符号化して得られたＭＰＥＧ２ストリームを復号化することで得られ、この復号化の過程でパラメータｐの値に応じて信号を変化させることで、当該パラメータｐの値に対応した生徒信号が得られる。この場合、パラメータｐの値に応じて、逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。
【０２９３】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。蓄積テーブル１３１に、このようにして得られる複数の生徒信号を用いて予め生成された差分データＤＦが格納されている場合には、上述の画像信号Ｖｂによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能となる。
【０２９４】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル１３１に、このようにして得られる複数の生徒信号を用いて予め生成された差分データＤＦが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能となる。
【０２９５】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル１３１に、このようにして得られる複数の生徒信号を用いて予め生成された差分データＤＦが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能となる。
【０２９６】
また例えば、少なくともＤＣＴ係数または逆変換基底にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。蓄積テーブル１３１に、このようにして得られる複数の生徒信号を用いて予め生成された差分データＤＦが格納されている場合には、上述の画像信号Ｖｂによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能となる。
【０２９７】
また、画像信号処理部１００Ｂは、バッファメモリ１０８に記憶されている画像信号Ｖａに対してＤＣＴ処理を施してＤＣＴ係数を得るＤＣＴ回路１３２と、このＤＣＴ回路１３２より出力されるＤＣＴ係数がａ側の固定端子に入力されると共に、そのｂ側の固定端子にバッファメモリ１０８より出力される画像信号Ｖａが入力される切換スイッチ１３３を有している。この切換スイッチ１３３は、蓄積テーブル１３１に格納されている差分データＤＦが、画素値の差分データであるときはｂ側に接続され、ＤＣＴ処理により得られるＤＣＴ係数の差分データであるときはａ側に接続される。
【０２９８】
また、画像信号処理部１１０Ｂは、切換スイッチ１３３の可動端子より出力される、画像信号Ｖｂにおける注目位置に対応した画素データ（画素値あるいはＤＣＴ係数）ｘに、蓄積テーブル１３１より読み出される差分データＤＦを加算して、画像信号Ｖｂにおける注目位置の画素データｙを生成する加算部１３４を有している。
【０２９９】
また、画像信号処理部１１０Ｂは、加算部１３４の出力信号に対して逆ＤＣＴ処理を施す逆ＤＣＴ回路１３５と、この逆ＤＣＴ回路１３５の出力信号がａ側の固定端子に入力されると共に、そのｂ側の固定端子に加算部１３４の出力信号が入力される切換スイッチ１３６とを有している。この切換スイッチ１３６は、蓄積テーブル１３１に格納されている差分データＤＦが、画素値の差分データであるときはｂ側に接続され、ＤＣＴ処理により得られるＤＣＴ係数の差分データであるときはａ側に接続される。この切換スイッチ１３６の可動端子より出力される信号は画像信号Ｖｂとしてディスプレイ部１１１に供給される。
【０３００】
また、画像信号処理部１１０Ｂは、図１に示す画像信号処理部１１０における第２のタップ選択回路１２２に相当するタップ選択回路１２２Ｂを有している。このタップ選択回路１２２Ｂは、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
【０３０１】
ここで、蓄積テーブル１３１に格納されている差分データＤＦが画素値の差分データであるときは、このタップ選択回路１２２Ｂでは、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部１２５からは、当該画像信号Ｖｂにおける注目位置の画素データ（１個）が属するクラスを示すクラスコードＣＬが生成される。そして、蓄積テーブル１３１からは、このクラスコードＣＬに基づいて、画像信号Ｖｂにおける注目位置に対応した１個の差分データＤＦが読み出されて加算部１３４に供給される。
【０３０２】
一方、蓄積テーブル１３１に格納されている差分データＤＦがＤＣＴ処理により得られるＤＣＴ係数の差分データであるときは、このタップ選択回路１２２Ｂでは、画像信号Ｖａから、例えば画像信号Ｖｂにおける注目画素ブロック（ＤＣＴ処理の単位となるＤＣＴブロックに対応）に対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部１２５からは、当該画像信号Ｖｂにおける注目画素ブロックが属するクラスを示すクラスコードＣＬが生成される。そして、蓄積テーブル１３１からは、このクラスコードＣＬに基づいて、画素ブロック内の画素データ数に対応した複数個の差分データＤＦが読み出されて加算部１３４に供給される。
【０３０３】
この画像信号処理部１１０Ｂの動作を説明する。
まず、蓄積テーブル１３１に格納されている差分データＤＦが画素値の差分データである場合について説明する。この場合、切換スイッチ１３３，１３６はそれぞれｂ側に接続されている。
【０３０４】
バッファメモリ１０８に記憶されている画像信号Ｖａより、タップ選択回路１２２Ｂで、作成すべき画像信号Ｖｂにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０３０５】
ＭＰＥＧ復号化器１０７でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１２４に供給される。この付加情報クラス生成部１２４では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０３０６】
そして、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報はクラスコード生成部１２５に供給される。このクラスコード生成部１２５では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データ（１個）が属するクラスを示すものとなる。
【０３０７】
このクラスコードＣＬは、蓄積テーブル１３１に読み出しアドレス情報として供給される。蓄積テーブル１３１からは、このクラスコードＣＬに基づいて、画像信号Ｖｂにおける注目位置に対応した１個の差分データＤＦが読み出されて加算部１３４に供給される。
【０３０８】
また、バッファメモリ１０８に記憶されている画像信号Ｖａのうち、画像信号Ｖｂにおける注目位置に対応した画素データｘが切換スイッチ１３３のｂ側を介して加算部１３４に供給される。加算部１３４では、この画素データｘに、蓄積テーブルより読み出される差分データＤＦが加算されて、画像信号Ｖｂにおける注目位置の画素データｙが生成される。そして、この画素データｙが切換スイッチ１３６のｂ側を介して画像信号処理部１１０Ｂの出力信号として出力される。
【０３０９】
次に、蓄積テーブル１３１に格納されている差分データＤＦがＤＣＴ処理により得られるＤＣＴ係数の差分データである場合について説明する。この場合、切換スイッチ１３３，１３６はそれぞれａ側に接続されている。
【０３１０】
バッファメモリ１０８に記憶されている画像信号Ｖａより、タップ選択回路１２２Ｂで、作成すべき画像信号Ｖｂにおける注目画素ブロックに対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。このクラスタップの画素データは特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０３１１】
ＭＰＥＧ復号化器１０７でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１２４に供給される。この付加情報クラス生成部１２４では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０３１２】
そして、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報はクラスコード生成部１２５に供給される。このクラスコード生成部１２５では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。このクラスコードＣＬは、画像信号Ｖｂにおける注目画素ブロックが属するクラスを示すものとなる。
【０３１３】
このクラスコードＣＬは、蓄積テーブル１３１に読み出しアドレス情報として供給される。蓄積テーブル１３１からは、このクラスコードＣＬに基づいて、複数個の差分データＤＦが読み出されて加算部１３４に供給される。
【０３１４】
また、ＤＣＴ回路１３２より得られる、画像信号Ｖｂにおける注目画素ブロック（このブロック内の全ての画素データが注目位置の画素データとなる）に対応した、画像信号Ｖａの複数の画素データに対してＤＣＴ処理を施して得られたＤＣＴブロックを構成する複数個のＤＣＴ係数ｘが切換スイッチ１３３のａ側を介して加算部１３４に供給される。加算部１３４では、この複数個のＤＣＴ係数ｘに、蓄積テーブルより読み出される複数の差分データＤＦがそれぞれ加算されて、画像信号Ｖｂにおける注目画素ブロックに対応したＤＣＴブロックのＤＣＴ係数ｙが生成される。
【０３１５】
そして、画像信号Ｖｂにおける各注目ブロックに対応して加算部１３４より順次出力される各ＤＣＴブロックの複数個のＤＣＴ係数ｙは逆ＤＣＴ回路１３５に供給される。この逆ＤＣＴ回路１３５では、各ＤＣＴブロックの複数のＤＣＴ係数ｙに対して逆ＤＣＴ処理が施されてそれぞれ画素ブロックの画素データ（画素値）が得られる。このように逆ＤＣＴ回路１３５より出力される画素データが切換スイッチ１３６のａ側を介して画像信号処理部１１０Ｂの出力信号として出力される。
【０３１６】
このように、画像信号処理部１１０Ｂでは、パラメータｐの値に対応した差分データＤＦが使用されて、画素データ（ＤＣＴ係数）ｙが演算される。したがって、ユーザは、パラメータｐの値を変更することで、画像信号Ｖｂによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
【０３１７】
また、この差分データＤＦは、上述したＭＰＥＧ２復号化器１０７に入力されるＭＰＥＧ２ストリームと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた信号に基づいて予め生成されたものであり、画像信号Ｖｂによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
【０３１８】
図１８は、図１７の画像信号処理部１１０Ｂの蓄積テーブル１３１に格納すべき差分データＤＦを生成する差分データ生成装置２１０の構成を示している。この図１８において、図４と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３１９】
この差分データ生成装置２１０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳに対してＤＣＴ処理を施してＤＣＴ係数を得るＤＣＴ回路１７１と、このＤＣＴ回路１７１より出力されるＤＣＴ係数がａ側の固定端子に入力されると共に、そのｂ側の固定端子にＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳが入力される切換スイッチ１７２を有している。この切換スイッチ１７２は、後述する蓄積テーブル１７７に蓄積する差分データＤＦが、画素値の差分データであるときはｂ側に接続され、ＤＣＴ処理により得られるＤＣＴ係数の差分データであるときはａ側に接続される。
【０３２０】
また、差分データ生成装置２１０は、遅延回路１５９で時間調整された教師信号ＳＴに対してＤＣＴ処理を施して周波数係数を得るＤＣＴ回路１７３と、このＤＣＴ回路１７３より出力される周波数係数がａ側の固定端子に入力されると共に、そのｂ側の固定端子に遅延回路１５９で時間調整された教師信号ＳＴが入力される切換スイッチ１７４を有している。この切換スイッチ１７４は、後述する蓄積テーブル１７７に蓄積する差分データＤＦが、画素値の差分データであるときはｂ側に接続され、ＤＣＴ処理により得られるＤＣＴ係数の差分データであるときはａ側に接続される。
【０３２１】
また、差分データ生成装置２１０は、切換スイッチ１７４の可動端子より出力される、教師信号ＳＴの注目位置の画素データ（画素値あるいはＤＣＴ係数）ｙから、切換スイッチ１７４の可動端子より出力される、当該教師信号ＳＴの注目位置に対応した画素データ（画素値あるいはＤＣＴ係数）ｘを差し引いて差分データｄｆを得る減算部１７５を有している。
【０３２２】
また、差分データ生成装置２１０は、減算部１７５より順次出力される差分データｄｆに対して、クラスコード生成部１５８より出力されるクラスコードＣＬおよびＭＰＥＧ２復号化器１５３に入力されるパラメータｐの値に基づいて、クラスおよびパラメータｐの値の組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル１７７に差分データＤＦとして格納する蓄積制御部１７６を有している。
【０３２３】
また、差分データ生成装置２１０は、図４に示す係数種データ生成装置１５０における第２のタップ選択回路１５５に相当するタップ選択回路１５５Ａを有している。このタップ選択回路１５５Ａは、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
【０３２４】
ここで、蓄積テーブル１７７に格納する差分データＤＦが画素値の差分データであるときは、このタップ選択回路１５５Ａでは、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部１５８からは、当該教師信号ＳＴにおける注目位置の画素データ（１個）が属するクラスを示すクラスコードＣＬが生成される。
【０３２５】
一方、蓄積テーブル１７７に格納する差分データＤＦがＤＣＴ処理により得られるＤＣＴ係数の差分データであるときは、このタップ選択回路１５５Ａでは、生徒信号ＳＳから、例えば教師信号ＳＴにおける注目画素ブロック（ＤＣＴ処理の単位となるＤＣＴブロックに対応）に対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。そして、クラスコード生成部１５８からは、当該教師信号ＳＴにおける注目画素ブロックが属するクラスを示すクラスコードＣＬが生成される。
なお、図１８に示す差分データ生成装置２１０のその他は、図４に示す係数種データ生成装置１５０と同様に構成される。
【０３２６】
次に、図１８に示す差分データ生成装置２１０の動作を説明する。
まず、蓄積テーブル１７７に格納する差分データＤＦが画素値の差分データである場合について説明する。この場合、切換スイッチ１７２，１７４はそれぞれｂ側に接続されている。
【０３２７】
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてこの教師信号ＳＴに対してＭＰＥＧ２符号化器１５２で、符号化が施されてＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。
【０３２８】
このＭＰＥＧ２復号化器１５３には、パラメータｐの値が入力され、復号化の過程で、当該パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じて逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。これにより、パラメータｐの値に対応した生徒信号ＳＳが得られる。
【０３２９】
遅延回路１５９で時間調整された教師信号ＳＴのうち、注目位置の画素データｙは切換スイッチ１７４のｂ側を介して減算部１７５に供給される。この減算部１７５には、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳのうち、教師信号ＳＴにおける注目位置に対応した画素データｘが切換スイッチ１７２のｂ側を介して供給される。そして、減算部１７５では、画素データｙから画素データｘが差し引かれて差分データｄｆが生成される。この減算部１７５より順次出力される教師信号ＳＴにおける各注目位置に対応した差分データｄｆは、蓄積制御部１７６に供給される。
【０３３０】
また、ＭＰＥＧ２復号化器１５３で得られる生徒信号ＳＳより、タップ選択回路１５５Ａで、教師信号ＳＴにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データは特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０３３１】
ＭＰＥＧ復号化器１５３でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１５７に供給される。この付加情報クラス生成部１５７では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０３３２】
そして、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１５７で生成される第２のクラス情報はクラスコード生成部１５８に供給される。このクラスコード生成部１５８では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。このクラスコードＣＬは、教師信号ＳＴにおける注目位置の画素データ（１個）が属するクラスを示すものとなる。
【０３３３】
このクラスコードＣＬは、蓄積制御部１７６に供給される。また、この蓄積制御部１７６には、ＭＰＥＧ２復号化器１５３に入力されるパラメータｐの値も供給される。蓄積制御部１７６は、減算部１７５より順次出力される差分データｄｆに対して、クラスコードＣＬおよびパラメータｐの値に基づいて、クラスおよびパラメータｐの組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル１７７に差分データＤＦとして格納する。
【０３３４】
次に、蓄積テーブル１７７に格納する差分データＤＦがＤＣＴ処理により得られるＤＣＴ係数の差分データである場合について説明する。この場合、切換スイッチ１７２，１７４はそれぞれａ側に接続されている。
【０３３５】
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてこの教師信号ＳＴに対してＭＰＥＧ２符号化器１５２で、符号化が施されてＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。
【０３３６】
このＭＰＥＧ２復号化器１５３には、パラメータｐの値が入力され、復号化の過程で、当該パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じて逆離散コサイン変換（逆ＤＣＴ）を行う際に用いられる少なくともＤＣＴ係数（周波数係数）または逆変換基底のいずれかが変更される。これにより、パラメータｐの値に対応した生徒信号ＳＳが得られる。
【０３３７】
ＤＣＴ回路１７３より得られる、教師信号ＳＴにおける注目画素ブロック（このブロック内の全ての画素データが注目位置の画素データとなる）の複数の画素データに対してＤＣＴ処理を施して得られたＤＣＴブロックの複数個のＤＣＴ係数ｙは切換スイッチ１７４のａ側を介して減算部１７５に供給される。
【０３３８】
また、この減算部１７５には、ＤＣＴ回路１７１より得られる、教師信号ＳＴにおける注目画素ブロックに対応した、生徒信号ＳＳの複数の画素データに対してＤＣＴ処理を施して得られたＤＣＴブロックの複数個のＤＣＴ係数ｘが切換スイッチ１７２のａ側を介して供給される。そして、減算部１７５では、複数個のＤＣＴ係数ｙから複数個のＤＣＴ係数ｘがそれぞれ差し引かれて複数の差分データｄｆが生成される。この減算部１７５より順次出力される教師信号ＳＴにおける各注目画素ブロックに対応した複数の差分データｄｆは、蓄積制御部１７６に供給される。
【０３３９】
また、ＭＰＥＧ２復号化器１５３で得られる生徒信号ＳＳより、タップ選択回路１５５Ａで、教師信号ＳＴにおける注目画素ブロックに対応する複数の画素データがクラスタップの画素データとして選択的に取り出される。このクラスタップの画素データは特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０３４０】
ＭＰＥＧ復号化器１５３でＭＰＥＧ２ストリームより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１５７に供給される。この付加情報クラス生成部１５７では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０３４１】
そして、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１５７で生成される第２のクラス情報はクラスコード生成部１５８に供給される。このクラスコード生成部１５８では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。このクラスコードＣＬは、教師信号ＳＴにおける注目位置画素ブロックが属するクラスを示すものとなる。
【０３４２】
このクラスコードＣＬは、蓄積制御部１７６に供給される。また、この蓄積制御部１７６には、ＭＰＥＧ２復号化器１５３に入力されるパラメータｐの値も供給される。蓄積制御部１７６は、減算部１７５より順次出力される複数の差分データｄｆのそれぞれに対して、クラスコードＣＬおよびパラメータｐの値に基づいて、クラスおよびパラメータｐの組み合わせ毎に、平均化処理を施し、その結果を蓄積テーブル１７７に複数の差分データＤＦとして格納する。
【０３４３】
このように、図１８に示す差分データ生成装置２１０においては、図１７の画像信号処理部１１０Ｂの蓄積テーブル１３１に格納される、クラスおよびパラメータｐの値の組み合わせ毎の差分データＤＦを生成することができる。
【０３４４】
なお、図１７の画像信号処理部１１０Ｂにおける処理も、例えば図９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。この場合、ＲＯＭ３０２等に、差分データが予め格納されて使用される。
【０３４５】
図１９のフローチャートを参照して、図９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ１０１で、処理を開始し、ステップＳ１０２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号Ｖａを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０７に予め記録されている場合には、このドライブ３０７からこの画像信号Ｖａを読み出し、この画像信号Ｖａを構成する画素データをＲＡＭ３０３に一時的に格納する。
【０３４６】
そして、ステップＳＴ１０３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１０４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１０５に進む。
【０３４７】
このステップＳＴ１０５では、ユーザのリモコン送信機２００の操作によって入力された画質指定値であるパラメータｐの値を、例えばＲＡＭ３０３より取得する。そして、ステップＳＴ１０６で、ステップＳＴ１０２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置に対応して、クラスタップの画素データを取得する。そして、ステップＳＴ１０７で、クラスタップの画素データからクラスコードＣＬを生成する。
【０３４８】
次に、ステップＳＴ１０８で、ステップＳＴ１０５で取得されたパラメータｐの値およびステップＳＴ１０７で生成されたクラスコードＣＬに基づいて、ＲＯＭ３０２等からそのパラメータｐの値およびクラスコードＣＬに対応した差分データＤＦを読み出し、ＲＡＭ３０３に一時的に格納する。
【０３４９】
次に、ステップＳＴ１０９で、画像信号Ｖａのうち、画像信号Ｖｂにおける注目位置に対応した画素データｘに、ステップＳＴ１０８で読み出された差分データＤＦを加算して、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０３５０】
ここで、ＲＯＭ３０２等に格納されている差分データＤＦがＤＣＴ処理により得られるＤＣＴ係数の差分データであるときは、加算結果である画素データｙはＤＣＴ係数であるから、ステップＳＴ１０９では、さらに逆ＤＣＴ処理を行う。また、その場合には、上述のステップＳＴ１０２で入力された画像信号Ｖａに対してＤＣＴ処理を施し、画像信号Ｖｂにおける注目位置に対応した画素データｘをＤＣＴ係数とする。
【０３５１】
次に、ステップＳＴ１１０で、ステップＳＴ１０２で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１０２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１０６に戻り、上述したと同様の処理を繰り返す。
【０３５２】
このように、図１９に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０３５３】
なお、ステップＳＴ１０７では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、入力端子３１４からは画像信号Ｖａの他に、この画像信号Ｖａに関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）も入力されるようにし、図１７の画像信号処理部１１０Ｂにおけると同様に、この符号化制御情報をも用いてクラスコードＣＬを生成するようにしてもよい。
また、処理装置の図示は省略するが、図１８の差分データ生成装置２１０における処理も、ソフトウェアで実現可能である。
【０３５４】
図２０のフローチャートを参照して、差分データを生成するための処理手順を説明する。
まず、ステップＳＴ１２１で、処理を開始し、ステップＳＴ１２２で、画質パターン（パラメータｐの値で特定される）を選択する。そして、ステップＳＴ１２３で、全ての画質パターンに対し差分データＤＦの生成処理が終わったか否かを判定する。全ての画質パターンに対して差分データＤＦの生成処理が終わっていないときは、ステップＳＴ１２４に進む。
【０３５５】
このステップＳＴ１２４では、教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ１２５で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ１２６で、ステップＳＴ１２４で入力された教師信号より、ステップＳＴ１２２で選択された画質パターンに基づいて、生徒信号を生成する。
【０３５６】
そして、ステップＳＴ１２７で、ステップＳＴ１２６で生成された生徒信号より、ステップＳＴ１２４で入力された教師信号における注目位置に対応して、クラスタップの画素データを取得する。そして、ステップＳＴ１２８で、クラスタップの画素データからクラスコードＣＬを生成する。
【０３５７】
次に、ステップＳＴ１２９で、教師信号の注目位置の画素データｙから、この教師信号の注目位置に対応した、生徒信号の画素データｘを差し引いて差分データｄｆを求める。さらに、このステップＳＴ１２９では、ステップＳＴ１２８で生成されたクラスコードＣＬに基づいて、クラス毎に、平均化処理を施し、差分データＤＦを生成する。
【０３５８】
次に、ステップＳＴ１３０で、ステップＳＴ１２４で入力された教師信号の全領域において差分データＤＦの生成処理を終了しているか否かを判定する。差分データＤＦの生成処理を終了しているときは、ステップＳＴ１２４に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、差分データの生成処理を終了していないときは、ステップＳＴ１２７に戻って、上述したと同様の処理を繰り返す。
【０３５９】
上述したステップＳＴ１２５で、処理が終了したときは、ステップＳＴ１２２に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの差分データＤＦを求める。
【０３６０】
ここで、差分データＤＦとしてＤＣＴ処理により得られるＤＣＴ係数の差分データを生成するときは、減算結果である差分データｄｆをＤＣＴ係数とする必要がある。その場合、上述のステップＳＴ１２４で入力された教師信号に対してＤＣＴ処理を施し、教師信号における注目位置に対応した画素データｙをＤＣＴ係数とする。また、上述のステップＳＴ１２６で生成された生徒信号に対してＤＣＴ処理を施し、教師信号における注目位置に対応した、生徒信号の画素データｘをＤＣＴ係数とする。
【０３６１】
また、上述のステップＳＴ１２３で、全ての画質パターンに対する差分データＤＦの算出処理が終了したときは、ステップＳＴ１３１で、全ての画質パターンに対する各クラスの差分データＤＦをメモリに保存し、その後にステップＳＴ１３２で、処理を終了する。
【０３６２】
このように、図２０に示すフローチャートに沿って処理をすることで、図１８に示す差分データ生成装置２１０と同様の手法によって、差分データＤＦを得ることができる。なお、ステップＳＴ１２８では、クラスタップの画素データからクラスコードＣＬを生成するように説明した。しかし、図１８の差分データ生成装置２１０と同様に、生徒信号に関連した符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）をも用いてクラスコードＣＬを生成するようにしてもよい。
【０３６３】
次に、この発明の別の実施の形態について説明する。
図２１は、別の実施の形態としてのデジタル放送受信機１００Ｃの構成を示している。この図２１において、図１と対応する部分には同一符号を付して示している。
【０３６４】
このデジタル放送受信機１００Ｃは、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【０３６５】
また、デジタル放送受信機１００Ｃは、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６と、このチューナ部１０６より出力されるＭＰＥＧ２ストリームＶｃを一時的に格納するストリームバッファ１０９とを有している。
【０３６６】
また、デジタル放送受信機１００Ｃは、ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃを、ユーザ所望の画質を提示する、復号化された画像信号Ｖｄに変換する画像信号処理部１１０Ｃと、この画像信号処理部１１０Ｃより出力される画像信号Ｖｄによる画像を表示するディスプレイ部１１１とを有している。
【０３６７】
図２１に示すデジタル放送受信機１００Ｃの動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームＶｃはストリームバッファ１０９に供給されて一時的に格納される。
【０３６８】
このようにストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃは画像信号処理部１１０Ｃに供給され、ユーザ所望の画質を提示する、復号化された画像信号Ｖｄに変換される。この画像信号処理部１１０Ｃでは、ＭＰＥＧ２ストリームＶｃを構成するＤＣＴ係数から、画像信号Ｖｄを構成する画素データが得られる。
画像信号処理部１１０Ｃより出力される画像信号Ｖｄはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｄによる画像が表示される。
【０３６９】
ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を調整できる。画像信号処理部１１０Ｃでは、後述するように、画像信号Ｖｄの画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって変更されたパラメータｐの値に対応したものが、このパラメータｐを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０Ｃより出力される画像信号Ｖｄによる画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度は、変更されたパラメータｐの値に対応したものとなる。
【０３７０】
画像信号処理部１１０Ｃの詳細を説明する。この画像信号処理部１１０Ｃにおいて、図１に示す画像信号処理部１１０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３７１】
画像信号処理部１１０Ｃは、ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃより周波数係数としてのＤＣＴ係数を抽出するＤＣＴ係数抽出回路２２１と、この抽出回路２２１で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路２２２とを有している。
【０３７２】
また、画像信号処理部１１０Ｃは、ストリームバッファ１０９に格納されているＭＰＥＧ２ストリームＶｃより量子化特性指定情報を抽出する量子化特性指定情報抽出回路２２３と、この抽出回路２２３で抽出される量子化特性指定情報に基づいて、可変長復号化回路２２２より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路２２４とを有している。
【０３７３】
また、画像信号処理部１１０Ｃは、逆量子化回路２２４より出力されるＤＣＴ係数より、画像信号Ｖｄにおける注目位置に対応したＤＣＴ係数を選択的に取り出し、また後述する参照画像信号Ｖrefより、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第１、第２のタップ選択回路２２５，２２６を有している。
【０３７４】
第１のタップ選択回路２２５は、予測に使用する予測タップの複数の画素データ（ＤＣＴ係数も含む）を選択的に取り出すものである。図２Ａは、第１のタップ選択回路２２５において、参照画像信号Ｖrefより選択的に取り出す予測タップの画素データの配置の一例を示している。この図において、「○」は予測タップのタップ位置を示しており、「×」は注目位置を示している。本実施の形態においては、現フィールド（実線図示）と前フィールド（破線図示）における７個の画素データが、予測タップの画素データとして取り出される。
【０３７５】
また、図２２Ａは、第１のタップ選択回路２２５において、逆量子化回路２２４より出力されるＤＣＴ係数より選択的に取り出す予測タップのＤＣＴ係数の一例を示している。本実施の形態においては、画像信号Ｖｄにおける注目位置が属する画素ブロック（ＤＣＴ処理の単位となる８×８の小ブロックに対応）を注目画素ブロックとし、この注目画素ブロックに対応するＤＣＴ係数のブロック（以下、「ＤＣＴブロック」という）の全てのＤＣＴ係数、即ち６４（８×８）個のＤＣＴ係数が、予測タップのＤＣＴ係数として取り出される。
【０３７６】
また、第２のタップ選択回路２２６は、クラス分類に使用するクラスタップの複数の画素データ（ＤＣＴ係数も含む）を選択的に取り出すものである。図２Ｂは、第２のタップ選択回路２２６において、参照画像信号Ｖrefより選択的に取り出すクラスタップの画素データの配置の一例を示している。この図において、「○」は予測タップのタップ位置を示しており、「×」は注目位置を示している。本実施の形態においては、現フィールド（実線図示）と前フィールド（破線図示）における１３個の画素データが、クラスタップの画素データとして取り出される。
【０３７７】
また、図２２Ｂは、第２のタップ選択回路２２６において、逆量子化回路２２４より出力されるＤＣＴ係数より選択的に取り出すクラスタップのＤＣＴ係数の一例を示している。本実施の形態においては、注目画素ブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックとの、合計で５個のＤＣＴブロックの３２０（８×８×５）個のＤＣＴ係数が、クラスタップのＤＣＴ係数として取り出される。
【０３７８】
また、画像信号処理部１１０Ｃは、第２のタップ選択回路２２６で選択的に取り出されるクラスタップの画素データ（ＤＣＴ係数も含む）から特徴量を抽出する特徴量抽出部１２３を有している。特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ（Adaptive Dynamic Range Coding）等の処理を施すことによって、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードを生成する。
【０３７９】
また、画像信号処理部１１０Ｃは、ストリームバッファ１０９に格納されているＭＰＥＧ２ストリームＶｃより付加情報としての符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）を抽出する符号化制御情報抽出回路２２７と、この抽出回路２２７で抽出される符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報を生成する付加情報クラス生成部１２４とを有している。
【０３８０】
また、画像信号処理部１１０Ｃは、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬを生成するクラスコード生成部１２５を有している。このクラスコードＣＬは、画像信号Ｖｄにおける注目位置の画素データが属するクラスを示すものとなる。
【０３８１】
また、画像信号処理部１１０Ｃは、係数メモリ１２６を有している。この係数メモリ１２６は、後述する推定予測演算回路１２７で使用される推定式で用いられる複数の係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納するものである。この係数データＷｉは、ＭＰＥＧ２ストリームＶｃを画像信号Ｖｄに変換するための情報である。係数メモリ１２６には上述したクラスコード生成部１２５より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２６からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【０３８２】
また、画像信号処理部１１０Ｃは、情報メモリバンク１２８を有している。後述する推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとから、上述した（１）式の推定式によって、作成すべき画像信号Ｖｄにおける注目位置の画素データｙが演算される。（１）式のｎは、第１のタップ選択回路２２５で選択される予測タップの数を表している。
【０３８３】
この推定式の係数データＷｉは、上述した（２）式に示すように、パラメータｐを含む生成式によって生成される。情報メモリバンク１２８には、この生成式における係数データである係数種データｗ_i0〜ｗ_i3が、クラス毎に、格納されている。
【０３８４】
また、画像信号処理部１１０Ｃは、各クラスの係数種データｗ_i0〜ｗ_i3およびパラメータｐの値とを用い、（２）式によって、クラス毎に、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１２９を有している。この係数生成回路１２９には、情報メモリバンク１２８より、上述した各クラスの係数種データｗ_i0〜ｗ_i3がロードされる。また、この係数生成回路１２９には、システムコントローラ１０１より、パラメータｐの値が供給される。
【０３８５】
この係数生成回路１２９で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１２６に格納される。この係数生成回路１２９における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｐの値が変更されても、係数メモリ１２６に格納される各クラスの係数データＷｉを、そのパラメータｐの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
【０３８６】
ここで、上述したように情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3についてさらに説明する。この係数種データｗ_i0〜ｗ_i3は、上述したストリームバッファ１０９に格納されるＭＰＥＧ２ストリームＶｃと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた生徒信号に基づいて予め生成される。
【０３８７】
すなわち、この係数種データｗ_i0〜ｗ_i3は、それぞれパラメータｐの複数の値に応じて生成され、ＭＰＥＧ２ストリームＶｃに対応した複数の生徒信号と、画像信号Ｖｄに対応した教師信号とを用いて予め生成される。この場合、生徒信号は、教師信号をＭＰＥＧ２符号化して得られたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理することで、当該パラメータｐの値に対応した生徒信号が得られる。この場合、パラメータｐの値に応じて、ＤＣＴ係数（周波数係数）が変更される。
【０３８８】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られる生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｄによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能となる。
【０３８９】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｄによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能となる。
【０３９０】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｄによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能となる。
【０３９１】
また例えば、ＤＣＴ係数にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号を得ることができる。情報メモリバンク１２８に、このようにして得られる複数の生徒信号を用いて予め生成された係数種データｗ_i0〜ｗ_i3が格納されている場合には、上述の画像信号Ｖｄによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能となる。
【０３９２】
また、画像信号処理部１１０Ｃは、第１のタップ選択回路２２５で選択的に取り出される予測タップの画素データ（ＤＣＴ係数を含む）ｘｉと、係数メモリ１２６より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｄにおける注目位置の画素データｙを演算する推定予測演算回路１２７を有している。
【０３９３】
また、画像信号処理部１１０Ｃは、予測メモリ回路２２８を有している。この予測メモリ回路２２８は、Ｉピクチャ(Intra-Picture)およびＰピクチャ(Predictive-Picture)の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて、逆量子化回路２２４からＰピクチャまたはＢピクチャ(Bidirectionally predictive-Picture)に係るＤＣＴ係数が出力されるとき、対応する参照画像信号Ｖrefを生成して第１、第２のタップ選択回路２２５，２２６に供給する。因みに、逆量子化回路２２４からＩピクチャに係るＤＣＴ係数が出力されるとき、第１、第２のタップ選択回路２２５，２２６には参照画像信号Ｖrefは供給されない。
【０３９４】
また、画像信号処理部１１０Ｃは、ピクチャ選択回路２２９を有している。このピクチャ選択回路２２９は、推定予測演算回路１２７から出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路２２８に供給してメモリに記憶させると共に、この推定予測演算回路１２７から出力される各ピクチャの画像信号を正しい順に並べ直して出力する。
【０３９５】
上述した抽出回路２２７で抽出される動きベクトル情報ＭＩは予測メモリ回路２２８に供給され、予測メモリ回路２２８ではこの動きベクトル情報ＭＩを用いて参照画像信号を生成する際に動き補償が行われる。また、抽出回路２２７で抽出されるピクチャ情報ＰＩは予測メモリ回路２２８、ピクチャ選択回路２２９に供給され、これら予測メモリ回路２２８、ピクチャ選択回路２２９ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【０３９６】
次に、画像信号処理部１１０Ｃの動作を説明する。
ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃが抽出回路２２１に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路２２２に供給されて復号化される。そして、この可変長復号化回路２２２より出力される量子化ＤＣＴ係数が逆量子化回路２２４に供給されて逆量子化が施される。
【０３９７】
第２のタップ選択回路２２６では、クラスタップの複数の画素データ（ＤＣＴ係数も含む）が選択的に取り出される。すなわち、逆量子化回路２２４より出力されるＤＣＴ係数より、画像信号Ｖｄにおける注目位置に対応したＤＣＴ係数が選択的に取り出されると共に、予測メモリ回路２２８より供給される参照画像信号Ｖrefより、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
【０３９８】
このように第２のタップ選択回路２２６で取り出されるクラスタップの画素データは、特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０３９９】
また、抽出回路２２７でＭＰＥＧ２ストリームＶｃより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１２４に供給される。この付加情報クラス生成部１２４では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０４００】
そして、特徴量抽出部１２３で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１２４で生成される第２のクラス情報はクラスコード生成部１２５に供給される。このクラスコード生成部１２５では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。
【０４０１】
このクラスコードＣＬは、画像信号Ｖｄにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬは、係数メモリ１２６に読み出しアドレス情報として供給される。係数メモリ１２６には、例えば各垂直ブランキング期間に、係数生成回路１２９で、ユーザによって調整されたパラメータｐの値に対応して、クラス毎に、係数種データｗ_i0〜ｗ_i3を用いて推定式の係数データＷｉ（ｉ＝１〜ｎ）が求められて格納される（（２）式参照）。
【０４０２】
係数メモリ１２６に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。
【０４０３】
また、第１のタップ選択回路２２５では、予測タップの複数の画素データ（ＤＣＴ係数も含む）が選択的に取り出される。すなわち、逆量子化回路２２４より出力されるＤＣＴ係数より、画像信号Ｖｄにおける注目位置に対応したＤＣＴ係数が選択的に取り出されると共に、予測メモリ回路２２８より供給される参照画像信号Ｖrefより、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。このように第１のタップ選択回路２６５で取り出される予測タップの画素データは、推定予測演算回路１２７に供給される。
【０４０４】
推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、推定式（（１）式参照）に基づいて、作成すべき画像信号Ｖｄにおける注目位置の画素データｙが求められる。推定予測演算回路１２７より出力される各ピクチャの画像信号はピクチャ選択回路２２９で正しい順に並べ直され、画像信号Ｖｄとして出力される。
【０４０５】
このように、画像信号処理部１１０Ｃでは、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、画素データｙが演算される。したがって、ユーザは、パラメータｐの値を変更することで、画像信号Ｖｄによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
【０４０６】
また、この係数データＷｉを生成するための係数種データｗ_i0〜ｗ_i3は、上述したストリームバッファ１０９に格納されるＭＰＥＧ２ストリームＶｃと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた生徒信号に基づいて予め生成されたものであり、画像信号Ｖｄによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
【０４０７】
図２１の画像信号処理部１１０Ｃの情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3も、図１の画像信号処理部１１０の情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3と同様に、複数の生徒信号と教師信号との間で学習を行うことによって生成される（図３参照）。
【０４０８】
図２３は、上述した画像信号処理部１１０Ｃの情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3を生成するための係数種データ生成装置１５０Ｃの構成を示している。この図２３において、図４と対応する部分には同一符号を付して示している。
【０４０９】
この係数種データ生成装置１５０Ｃは、画像信号Ｖｄに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行って生徒信号ＳＳであるＭＰＥＧ２ストリームを得るＭＰＥ２符号化器１５２とを有している。
【０４１０】
また、係数種データ生成装置１５０Ｃは、ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳより周波数係数としてのＤＣＴ係数を抽出するＤＣＴ係数抽出回路２３１と、この抽出回路２３１で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路２３２とを有している。
【０４１１】
また、係数種データ生成装置１５０Ｃは、ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳより量子化特性指定情報を抽出する量子化特性指定情報抽出回路２３３と、この抽出回路２３３で抽出される量子化特性指定情報に基づいて、可変長復号化回路２３２より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路２３４とを有している。
【０４１２】
この逆量子化回路２３４には、パラメータｐの値が入力される。この逆量子化回路２３４では、逆量子化の信号処理の過程で、パラメータｐの値に応じて信号が変化するようにされ、当該パラメータｐの値に対応した、生徒信号に係るＤＣＴ係数が得られる。本実施の形態では、ＤＣＴ係数（周波数係数）が変更される。
【０４１３】
例えば、ＤＣＴ係数のうち全てのＡＣ係数のゲインを同じ値として、パラメータｐの値に応じてゲインを変更することにより、複数の生徒信号に係るＤＣＴ係数を得ることができる。ここで、元のＡＣ係数をＡＣ[m]、ゲインをgainとすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＊gainとなる。この場合、各ＡＣ係数の間の相関関係は保持できることから、このようにして得られる複数の生徒信号に係るＤＣＴ係数を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｄによって得られる画像の解像度をパラメータｐの値に応じて段階的に調整可能なものとなる。
【０４１４】
また例えば、ＤＣＴ係数のうちＤＣ係数の量子化ステップをパラメータｐの値に応じて変更することにより、複数の生徒信号に係るＤＣＴ係数を得ることができる。ここで、元のＤＣ係数をＤＣ[m]、元の量子化ステップをＱst、新たな量子化ステップをnewＱstとすると、新たなＤＣ係数をnewＤＣ[m]は、newＤＣ[m]＝｛ＤＣ[m]＊Ｑst／newＱst｝となる。｛｝は整数演算を表している。この場合、ＤＣ係数の変動を操作可能となり、このようにして得られる複数の生徒信号に係るＤＣＴ係数を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｄによって得られる画像のブロック歪みをパラメータｐの値に応じて段階的に調整可能なものとなる。
【０４１５】
また例えば、ＤＣＴ係数のうちＡＣ係数のゲインを高域程小さくすると共に、このＡＣ係数の高域のゲインの低下の度合いをパラメータｐの値に応じて変更することにより、複数の生徒信号に係るＤＣＴ係数を得ることができる。ここで、元のＡＣ係数をＡＣ[m]、ゲインをgain[m]とすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＊gain[m]となる。この場合、各ＡＣ係数の間の相関関係を段階的に崩すものであり、このようにして得られる複数の生徒信号に係るＤＣＴ係数を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｄによって得られる画像のモスキートノイズをパラメータｐの値に応じて段階的に調整可能なものとなる。
【０４１６】
また例えば、ＤＣＴ係数にランダムノイズを付加すると共に、このランダムノイズのレベルをパラメータｐの値に応じて変更することにより、複数の生徒信号に係るＤＣＴ係数を得ることができる。元のＡＣ係数をＡＣ[m]、ランダムノイズをrdmＮとすると、新たなＡＣ係数newＡＣ[m]は、newＡＣ[m]＝ＡＣ[m]＋rdmＮとなる。同様に、元のＤＣ係数をＤＣ[m]、ランダムノイズをrdmＮとすると、新たなＤＣ係数newＤＣ[m]は、newＤＣ[m]＝ＤＣ[m]＋rdmＮとなる。この場合、ランダムノイズのレベルを段階的に切り換えることにより、それによって得られる複数の生徒信号に係るＤＣＴ係数を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｄによって得られる画像のノイズ抑圧度をパラメータｐの値に応じて段階的に調整可能なものとなる。
【０４１７】
また、係数種データ生成装置１５０Ｃは、逆量子化回路２３４より出力されるＤＣＴ係数より、画像信号Ｖｄにおける注目位置に対応したＤＣＴ係数を選択的に取り出し、また後述する参照画像信号Ｖrefより、画像信号Ｖｄにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第１、第２のタップ選択回路２３５，２３６を有している。これら第１、第２のタップ選択回路２３５，２３６は、それぞれ上記した画像信号処理部１１０Ｃの第１、第２のタップ選択回路２２５，２２６と同様に構成される。
【０４１８】
また、係数種データ生成装置１５０Ｃは、第２のタップ選択回路２３６で選択的に取り出されるクラスタップの画素データから特徴量を抽出する特徴量抽出部１５６を有している。この特徴量抽出部１５６は、上述した画像信号処理部１１０Ｃの特徴量抽出部１２３と同様に構成され、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードを生成する。
【０４１９】
また、係数種データ生成装置１５０Ｃは、ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳより付加情報としての符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）を抽出する符号化制御情報抽出回路２３７と、この抽出回路２３７で抽出される符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報を生成する付加情報クラス生成部１５７とを有している。この付加情報クラス生成部１５７は、上述した画像信号処理部１１０Ｃの付加情報クラス生成部１２４と同様に構成される。
【０４２０】
また、係数種データ生成装置１５０Ｃは、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１５７で生成される第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬを生成するクラスコード生成部１５８を有している。このクラスコード生成部１５８は、上述した画像信号処理部１１０Ｃのクラスコード生成部１２５と同様に構成される。
【０４２１】
また、係数種データ生成装置１５０Ｃは、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５９と、この遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路２３５で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとから、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（９）式参照）を生成する正規方程式生成部１６０を有している。
【０４２２】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、パラメータｐの値に応じて、逆量子化回路２３４からは複数の生徒信号に係るＤＣＴ係数が順次得られ、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１６０では、パラメータｐの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データｗ_i0〜ｗ_i3を求めることが可能となる。
【０４２３】
また、係数種データ生成装置１５０Ｃは、正規方程式生成部１６０で、クラス毎に生成された正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、係数種データｗ_i0〜ｗ_i3を求める係数種データ決定部１６１と、この求められた係数種データを格納する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
【０４２４】
また、係数種データ生成装置１５０Ｃは、予測メモリ回路２３８を有している。この予測メモリ回路２２８は、遅延回路１５９で時間調整された教師信号ＳＴのうち、生徒信号ＳＳのＩピクチャおよびＰピクチャの画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて、逆量子化回路２３４からＰピクチャまたはＢピクチャに係るＤＣＴ係数が出力されるとき、対応する参照画像信号Ｖrefを生成して第１、第２のタップ選択回路２３５，２３６に供給する。因みに、逆量子化回路２３４からＩピクチャに係るＤＣＴ係数が出力されるとき、第１、第２のタップ選択回路２３５，２３６には参照画像信号Ｖrefは供給されない。
【０４２５】
また、係数種データ生成装置１５０Ｃは、ピクチャ選択回路２３９を有している。このピクチャ選択回路２３９は、遅延回路１５９で時間調整された教師信号ＳＴのうち、ＩピクチャおよびＰピクチャの画像信号を予測メモリ回路２３８に供給してメモリに記憶させる。
【０４２６】
上述した抽出回路２３７で抽出される動きベクトル情報ＭＩは予測メモリ回路２３８に供給され、予測メモリ回路２３８ではこの動きベクトル情報ＭＩを用いて参照画像信号Ｖrefを生成する際に動き補償が行われる。また、抽出回路２３７で抽出されるピクチャ情報ＰＩは予測メモリ回路２３８、ピクチャ選択回路２３９に供給され、これら予測メモリ回路２３８、ピクチャ選択回路２３９ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【０４２７】
図２３に示す係数種データ生成装置１５０Ｃの動作を説明する。
入力端子１５１には画像信号Ｖｄに対応した教師信号ＳＴが供給され、そしてこの教師信号ＳＴに対してＭＰＥＧ２符号化器１５２で、符号化が施されて生徒信号ＳＳとしてのＭＰＥＧ２ストリームが生成される。
【０４２８】
ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳは抽出回路２３１に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路２３２に供給されて復号化される。そして、この可変長復号化回路２３２より出力される量子化ＤＣＴ係数が逆量子化回路２３４に供給されて逆量子化が施される。
【０４２９】
この逆量子化回路２３４には、パラメータｐの値が入力される。この逆量子化回路２３４では、逆量子化の信号処理の過程で、パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じてＤＣＴ係数が変更される。これにより、パラメータｐの値に対応した、生徒信号に係るＤＣＴ係数が得られる。
【０４３０】
また、第２のタップ選択回路２３６では、クラスタップの複数の画素データ（ＤＣＴ係数も含む）が選択的に取り出される。すなわち、逆量子化回路２３４より出力されるＤＣＴ係数より、教師信号ＳＴにおける注目位置に対応したＤＣＴ係数が選択的に取り出されると共に、予測メモリ回路２２８より供給される参照画像信号Ｖrefより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
【０４３１】
このように第２のタップ選択回路２３６で取り出されるクラスタップの画素データは、特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示す第１のクラス情報としてのＡＤＲＣコードが生成される。
【０４３２】
また、抽出回路２３７で生徒信号ＳＳより抽出される符号化制御情報（ピクチャ情報ＰＩ、動きベクトル情報ＭＩ）が付加情報クラス生成部１５７に供給される。この付加情報クラス生成部１５７では、この符号化制御情報に基づいて、付加情報クラスを示す第２のクラス情報が生成される。
【０４３３】
そして、特徴量抽出部１５６で生成される第１のクラス情報（ＡＤＲＣコード）および付加情報クラス生成部１５７で生成される第２のクラス情報はクラスコード生成部１５８に供給される。このクラスコード生成部１５８では、これら第１のクラス情報および第２のクラス情報に基づいて、クラス分類の結果を示すクラスコードＣＬが生成される。
【０４３４】
また、第１のタップ選択回路２３５では、予測タップの複数の画素データ（ＤＣＴ係数も含む）が選択的に取り出される。すなわち、逆量子化回路２３４より出力されるＤＣＴ係数より、教師信号ＳＴにおける注目位置に対応したＤＣＴ係数が選択的に取り出されると共に、予測メモリ回路２３８より供給される参照画像信号Ｖrefより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データが選択的に取り出される。
【０４３５】
そして、遅延回路１５９で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して第１のタップ選択回路２３５で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、各注目位置の画素データｙにそれぞれ対応してクラスコード生成部１５８で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６０では、クラス毎に、係数種データｗ_i0〜ｗ_i3を得るための正規方程式（（９）式参照）が生成される。
【０４３６】
そして、係数種データ決定部１６１で各正規方程式が解かれ、クラス毎の係数種データｗ_i0〜ｗ_i3が求められ、それらの係数種データｗ_i0〜ｗ_i3は係数種メモリ１６２に格納される。
【０４３７】
このように、図２３に示す係数種データ生成装置１５０Ｃにおいては、図２１の画像信号処理部１１０Ｃの情報メモリバンク１２８に格納される、クラス毎の、推定式（（１）式参照）で用いられる係数データＷｉを求めるための生成式（（２）式参照）における係数データである係数種データｗ_i0〜ｗ_i3を生成することができる。
【０４３８】
なお、図２３に示す係数種データ生成装置１５０Ｃにおいては、時間調整された教師信号ＳＴに基づいて参照画像信号Ｖrefを生成するものを示したが、これに限定されるものではない。図２４に示すように、演算回路２３９Ａを設け、この演算回路２３９Ａで生成される画像信号に基づいて参照画像信号Ｖrefを生成するようにしてもよい。
【０４３９】
この演算回路２３９Ａには、第１のタップ選択回路２３５で選択的に取り出される予測タップの画素データｘｉと、パラメータｐの値と、クラスコード生成部１５８で生成されるクラスコードＣＬとが供給される。詳細説明は省略するが、この演算回路２３９Ａは、図２１に示す画像信号処理部１１０Ｃにおける推定予測演算回路１２７、係数メモリ１２６、係数生成回路１２９、情報メモリバンク１２８の部分と同様に構成されている。なお、情報メモリバンク１２８には、図２３に示す係数種データ生成装置１５０Ｃとは別の系で予め生成された係数種データｗ_i0〜ｗ_i3が格納されているものとする。
【０４４０】
図２１の画像信号処理部１１０Ｃでは、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（２）式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
また、図２１の画像信号処理部１１０Ｃでは、特徴量抽出部１２３より出力される空間クラスを示す第１のクラス情報（ＡＤＲＣコード）の他に、付加情報クラス生成部１２４で生成された付加情報クラスを示す第２のクラス情報にも基づいて、クラスコード生成部１２５ではクラスコードＣＬを生成するものであるが、第１のクラス情報のみを用いてクラスコードＣＬを生成してもよい。ただし、第２のクラス情報をも加味してクラスコードＣＬを生成することで、より細かなクラス分けを行うことができ、画像信号Ｖｄの画素データの生成精度を高めることができる。
【０４４１】
なお、詳細説明は省略するが、図２１の画像信号処理部１１０Ｃにおける処理を、例えば図９に示す画像信号処理装置３００によって、図１の画像信号処理部１１０における処理と同様に、ソフトウエアで実現することも可能である（図１０のフローチャート参照）。また、詳細説明は省略するが、図２３、図２４の係数種データ生成装置１５０Ｃにおける処理も、図４の係数種データ生成装置１５０における処理と同様に、ソフトウエアで実現することも可能である（図１１のフローチャート参照）。
【０４４２】
また、図２３、図２４に示す係数種データ生成装置１５０Ｃは、図４に示す係数種データ生成装置１５０に対応したものであるが、図８に示す係数種データ生成装置１５０Ａに対応したものとすることもできる。すなわち、パラメータｐの各値に対応した各クラスの係数データＷｉを求め、その後にパラメータｐの各値に対応した各クラスの係数データＷｉを用いて、各クラスの係数種データｗ_i0〜ｗ_i3を求めるものである。
【０４４３】
また、図２１に示す画像信号処理部１１０Ｃでは、情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3に基づいて、係数生成回路１２９でパラメータｐの値に対応した各クラスの係数データＷｉを生成し、この各クラスの係数データＷｉを係数メモリ１２６に格納して使用するものである。しかし、図１３の画像信号処理部１１０Ａと同様に、情報メモリバンク１２８Ａにクラスおよびパラメータｐの値の各組み合わせの係数データＷｉを格納しておき、パラメータｐの値に対応した各クラスの係数データＷｉを情報メモリバンク１２８Ａより係数メモリ１２６にロードして使用するように構成してもよい。
【０４４４】
次に、この発明のさらに別の実施の形態について説明する。
図２５は、さらに別の実施の形態としてのデジタル放送受信機１００Ｄの構成を示している。この図２５において、図１、図２１と対応する部分には同一符号を付して示している。
【０４４５】
このデジタル放送受信機１００Ｄは、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【０４４６】
また、デジタル放送受信機１００Ｄは、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６と、このチューナ部１０６より出力されるＭＰＥＧ２ストリームＶｃを一時的に格納するストリームバッファ１０９とを有している。
【０４４７】
また、デジタル放送受信機１００Ｄは、ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃを、ユーザ所望の画質を提示する、復号化された画像信号Ｖｄに変換する画像信号処理部１１０Ｄと、この画像信号処理部１１０Ｄより出力される画像信号Ｖｄによる画像を表示するディスプレイ部１１１とを有している。
【０４４８】
図２５に示すデジタル放送受信機１００Ｄの動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームＶｃはストリームバッファ１０９に供給されて一時的に格納される。
【０４４９】
このようにストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃは画像信号処理部１１０Ｄに供給され、ユーザ所望の画質を提示する、復号化された画像信号Ｖｄに変換される。この画像信号処理部１１０Ｄでは、ＭＰＥＧ２ストリームＶｃを構成するＤＣＴ係数から画像信号Ｖｄを得るための新たなＤＣＴ係数が得られ、この新たなＤＣＴ係数に対して逆ＤＣＴを施して画像信号Ｖｄが得られる。
画像信号処理部１１０Ｄより出力される画像信号Ｖｄはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｄによる画像が表示される。
【０４５０】
ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を調整できる。画像信号処理部１１０Ｄでは、後述するように、画像信号Ｖｄを得るためのＤＣＴ係数が推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって変更されたパラメータｐの値に対応したものが、このパラメータｐを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０Ｄより出力される画像信号Ｖｄによる画像における解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度は、変更されたパラメータｐの値に対応したものとなる。
【０４５１】
画像信号処理部１１０Ｄの詳細を説明する。この画像信号処理部１１０Ｄにおいて、図１に示す画像信号処理部１１０、図２１に示す画像信号処理部１１０Ｃと対応する部分には同一符号を付し、その詳細説明は省略する。
画像信号処理部１１０Ｄは、ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃより周波数係数としてのＤＣＴ係数を抽出する抽出回路２２１と、この抽出回路２２１で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路２２２とを有している。
【０４５２】
また、画像信号処理部１１０Ｄは、ストリームバッファ１０９に格納されているＭＰＥＧ２ストリームＶｃより量子化特性指定情報を抽出する量子化特性指定情報抽出回路２２３と、この抽出回路２２３で抽出される量子化特性指定情報に基づいて、可変長復号化回路２２２より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路２２４とを有している。
【０４５３】
また、画像信号処理部１１０Ｄは、逆量子化回路２２４より出力されるＤＣＴ係数より、画像信号Ｖｄにおける注目位置に対応したＤＣＴ係数を選択的に取り出して出力する第１、第２のタップ選択回路２４１，２４２を有している。
【０４５４】
第１のタップ選択回路２４１は、予測に使用する予測タップの複数個のＤＣＴ係数を選択的に取り出すものである。図２２Ａは、第１のタップ選択回路２４１において、逆量子化回路２２４より出力されるＤＣＴ係数より選択的に取り出す予測タップのＤＣＴ係数の一例を示している。本実施の形態においては、画像信号Ｖｄの注目画素ブロックを得るためのＤＣＴブロックを注目ＤＣＴブロックとし、この注目ＤＣＴブロックに対応するＤＣＴブロックの全てのＤＣＴ係数、即ち６４（８×８）個のＤＣＴ係数が、予測タップのＤＣＴ係数として取り出される。
【０４５５】
また、第２のタップ選択回路２４２は、クラス分類に使用するクラスタップの複数個のＤＣＴ係数を選択的に取り出すものである。図２２Ｂは、第２のタップ選択回路２４２において、逆量子化回路２２４より出力されるＤＣＴ係数より選択的に取り出すクラスタップのＤＣＴ係数の一例を示している。本実施の形態においては、注目ＤＣＴブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックとの、合計で５個のＤＣＴブロックの３２０（８×８×５）個のＤＣＴ係数が、クラスタップのＤＣＴ係数として取り出される。
【０４５６】
また、画像信号処理部１１０Ｄは、第２のタップ選択回路２４２で選択的に取り出されるクラスタップのＤＣＴ係数から特徴量を抽出する特徴量抽出部１２３を有している。特徴量抽出部１２３では、クラスタップのＤＣＴ係数に１ビットのＡＤＲＣ等の処理を施すことによって、クラスコードＣＬとしてのＡＤＲＣコードを生成する。このクラスコードＣＬは、注目ＤＣＴブロックが属するクラスを示すものとなる。
【０４５７】
また、画像信号処理部１１０Ｄは、係数メモリ１２６を有している。この係数メモリ１２６は、後述する推定予測演算回路１２７で使用される推定式で用いられる複数の係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納するものである。この係数データＷｉは、ＭＰＥＧ２ストリームＶｃのＤＣＴ係数を、画像信号Ｖｄを得るための新たなＤＣＴ係数に変換するための情報である。
【０４５８】
係数メモリ１２６には上述した特徴量抽出部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ１２６からは、クラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。この場合、注目ＤＣＴブロックを構成する全てのＤＣＴ係数を算出するために、この注目ＤＣＴブロック内のＤＣＴ係数の個数分の係数データＷｉが推定予測演算回路１２７に供給される。
【０４５９】
また、画像信号処理部１１０Ｄは、情報メモリバンク１２８を有している。推定予測演算回路１２７では、予測タップの画素データｘｉと、係数メモリ１２６より読み出される係数データＷｉとから、上述した（１）式の推定式によって、注目ＤＣＴブロックを構成するＤＣＴ係数ｙが演算される。（１）式のｎは、第１のタップ選択回路２４１で選択される予測タップの数を表している。
【０４６０】
この推定式の係数データＷｉは、上述した（２）式に示すように、パラメータｐを含む生成式によって生成される。情報メモリバンク１２８には、この生成式における係数データである係数種データｗ_i0〜ｗ_i3が、クラス毎に、格納されている。この場合、各クラスの係数種データｗ_i0〜ｗ_i3は、それぞれ注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3からなっている。
【０４６１】
また、画像信号処理部１１０Ｄは、各クラスの係数種データｗ_i0〜ｗ_i3およびパラメータｐの値とを用い、（２）式によって、クラス毎に、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１２９を有している。この係数生成回路１２９には、情報メモリバンク１２８より、上述した各クラスの係数種データｗ_i0〜ｗ_i3がロードされる。また、この係数生成回路１２９には、システムコントローラ１０１より、パラメータｐの値が供給される。
【０４６２】
この係数生成回路１２９で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１２６に格納される。この係数生成回路１２９における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、リモコン送信機２００の操作によってパラメータｐの値が変更されても、係数メモリ１２６に格納される各クラスの係数データＷｉを、そのパラメータｐの値に対応したものに即座に変更でき、ユーザによる解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等の調整がスムーズに行われる。
【０４６３】
ここで、情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3は、図２１の画像信号処理部１１０Ｃの情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3と同様に、上述したストリームバッファ１０９に格納されるＭＰＥＧ２ストリームＶｃと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた生徒信号に基づいて予め生成される。これにより、画像信号Ｖｄによって得られる画像の解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等をパラメータｐの値に応じて段階的に調整可能となる。
【０４６４】
また、画像信号処理部１１０Ｄは、推定予測演算回路１２７より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路２４３と、ＩピクチャおよびＰピクチャの画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路２４３からＰピクチャまたはＢピクチャの画像信号が出力されるとき、対応する参照画像信号Ｖrefを生成して出力する予測メモリ回路２４４とを有している。
【０４６５】
また、画像信号処理部１１０Ｄは、逆ＤＣＴ回路２４３からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路２４４で生成された参照画像信号Ｖrefを加算する加算回路２４５を有している。なお、逆ＤＣＴ回路２４３からＩピクチャの画像信号が出力されるとき、予測メモリ回路２４４から加算回路２４５に参照画像信号Ｖrefは供給されず、従って加算回路２４５からは逆ＤＣＴ回路２４３より出力されるＩピクチャの画像信号がそのまま出力される。
【０４６６】
また、画像信号処理部１１０Ｄは、加算回路２４５より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路２４４に供給してメモリに記憶させると共に、この加算回路２４５より出力される各ピクチャの画像信号を正しい順に並べ直して画像信号Ｖｄとして出力するピクチャ選択回路２４６とを有している。
【０４６７】
また、画像信号処理部１１０Ｄは、ストリームバッファ１０９に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動きベクトル情報ＭＩを抽出する抽出回路２２７を有している。この抽出回路２２７で抽出される動きベクトル情報ＭＩは予測メモリ回路２４４に供給され、予測メモリ回路２４４ではこの動きベクトル情報ＭＩを用いて参照画像信号Ｖrefを生成する際に動き補償が行われる。また、抽出回路２２７で抽出されるピクチャ情報ＰＩは予測メモリ回路２４４、ピクチャ選択回路２４６に供給され、これら予測メモリ回路２４４、ピクチャ選択回路２４６ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【０４６８】
次に、画像信号処理部１１０Ｄの動作を説明する。
ストリームバッファ１０９に記憶されているＭＰＥＧ２ストリームＶｃが抽出回路２２１に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路２２２に供給されて復号化される。そして、この可変長復号化回路２２２より出力される量子化ＤＣＴ係数が逆量子化回路２２４に供給されて逆量子化が施される。
【０４６９】
第２のタップ選択回路２４２では、逆量子化回路２２４より出力されるＤＣＴ係数より、クラスタップの複数個のＤＣＴ係数が選択的に取り出される。このクラスタップの複数個のＤＣＴ係数は、特徴量抽出部１２３に供給される。この特徴量抽出部１２３では、クラスタップのＤＣＴ係数に１ビットのＡＤＲＣ等の処理が施されて、クラスコードＣＬとしてのＡＤＲＣコードが生成される。このクラスコードＣＬは、画像信号Ｖｄの注目画素ブロックを得るためのＤＣＴブロックが属するクラスを示すものとなる。
【０４７０】
このクラスコードＣＬは、係数メモリ１２６に読み出しアドレス情報として供給される。係数メモリ１２６には、例えば各垂直ブランキング期間に、係数生成回路１２９で、ユーザによって調整されたパラメータｐの値に対応して、クラス毎に、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3を用いて、注目ＤＣＴブロックの各ＤＣＴ係数に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が求められて格納される（（２）式参照）。
【０４７１】
係数メモリ１２６に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１２６からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２７に供給される。この場合、注目ＤＣＴブロックを構成する全てのＤＣＴ係数を算出するために、この注目ＤＣＴブロック内のＤＣＴ係数の個数分の係数データＷｉが推定予測演算回路１２７に供給される。
【０４７２】
また、第１のタップ選択回路２２５では、逆量子化回路２２４より出力されるＤＣＴ係数より、予測タップの複数個のＤＣＴ係数が選択的に取り出される。この予測タップの複数個のＤＣＴ係数ｘｉは、推定予測演算回路１２７に供給される。推定予測演算回路１２７では、予測タップの複数個のＤＣＴ係数ｘｉと、係数メモリ１２６より読み出される係数データＷｉとを用いて、推定式（（１）式参照）に基づいて、注目ＤＣＴブロックを構成する複数個のＤＣＴ係数ｙがそれぞれ求められる。
【０４７３】
また、推定予測演算回路１２７より出力されるＤＣＴ係数に対して逆ＤＣＴ回路２４３で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路２４５を介してピクチャ選択回路２４６に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路２４５で予測メモリ回路２４４より出力される参照画像信号Ｖrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路２２９で正しい順に並べ直されて画像信号Ｖｄとして出力される。
【０４７４】
このように、画像信号処理部１１０Ｄでは、パラメータｐの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、画像信号Ｖｄを得るためのＤＣＴ係数ｙが演算される。したがって、ユーザは、パラメータｐの値を変更することで、画像信号Ｖｄによる画像の解像度、ブロック歪、モスキートノイズあるいはノイズ抑圧度を任意に調整できる。
【０４７５】
また、係数データＷｉを生成するための係数種データｗ_i0〜ｗ_i3は、上述したストリームバッファ１０９に格納されるＭＰＥＧ２ストリームＶｃと同様に符号化されたＭＰＥＧ２ストリームを、パラメータｐの値に応じて処理して得られた生徒信号に基づいて予め生成されたものであり、画像信号Ｖｄによる画像の特定の質のみ、例えば解像度のみ、ブロック歪のみ、モスキートノイズのみあるいはノイズ抑圧度のみを段階的に調整できる。
【０４７６】
図２５の画像信号処理部１１０Ｄの情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3も、図１の画像信号処理部１１０の情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3と同様に、複数の生徒信号と教師信号との間で学習を行うことによって生成される（図３参照）。
【０４７７】
図２６は、上述したデジタル放送受信機１００Ｄの情報メモリバンク１２８に格納される係数種データｗ_i0〜ｗ_i3を生成するための係数種データ生成装置１５０Ｄの構成を示している。この図２６において、図４、図２３と対応する部分には同一符号を付して示している。
【０４７８】
この係数種データ生成装置１５０Ｄは、画像信号Ｖｄに対応した画像信号Ｖｄ′が入力される入力端子１５１と、この画像信号Ｖｄ′に対して符号化を行って生徒信号ＳＳであるＭＰＥＧ２ストリームを得るＭＰＥ２符号化器１５２とを有している。なお、このＭＰＥＧ２符号化器１５２からは、画像信号Ｖｄ′より生成されたＭＰＥＧ２ストリームを構成するＤＣＴ係数が教師信号ＳＴとして出力される。
【０４７９】
また、係数種データ生成装置１５０Ｄは、ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳより周波数係数としてのＤＣＴ係数を抽出するＤＣＴ係数抽出回路２３１と、この抽出回路２３１で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路２３２とを有している。
【０４８０】
また、係数種データ生成装置１５０Ｄは、ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳより量子化特性指定情報を抽出する量子化特性指定情報抽出回路２３３と、この抽出回路２３３で抽出される量子化特性指定情報に基づいて、可変長復号化回路２３２より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路２３４とを有している。
【０４８１】
この逆量子化器回路２３４には、パラメータｐの値が入力される。この逆量子化回路２３４では、図２３の係数種データ生成装置１５０Ｃで説明したと同様に逆量子化の信号処理の過程で、パラメータｐの値に応じてＤＣＴ係数が変化するようにされ、当該パラメータｐの値に対応した、生徒信号に係るＤＣＴ係数が得られる。これにより、複数の生徒信号に係るＤＣＴ係数を用いて生成される係数種データｗ_i0〜ｗ_i3は、上述の画像信号Ｖｄによって得られる画像の解像度、ブロック歪み、モスキートノイズ、ノイズ抑圧度等をパラメータｐの値に応じて段階的に調整可能なものとなる。
【０４８２】
また、係数種データ生成装置１５０Ｄは、逆量子化回路２３４より出力されるＤＣＴ係数より、教師信号ＳＴにおける注目位置に対応したＤＣＴ係数を選択的に取り出して出力する第１、第２のタップ選択回路２５１，２５２を有している。これら第１、第２のタップ選択回路２５１，２５２は、それぞれ上記した画像信号処理部１１０Ｄの第１、第２のタップ選択回路２４１，２４２と同様に構成される。
【０４８３】
第１のタップ選択回路２５１は、予測に使用する予測タップの複数個のＤＣＴ係数を選択的に取り出すものである。図２２Ａは、第１のタップ選択回路２５１において、逆量子化回路２３４より出力されるＤＣＴ係数より選択的に取り出す予測タップのＤＣＴ係数の一例を示している。本実施の形態においては、教師信号ＳＴの注目ＤＣＴブロックに対応するＤＣＴブロックの全てのＤＣＴ係数、即ち６４（８×８）個のＤＣＴ係数が、予測タップのＤＣＴ係数として取り出される。
【０４８４】
また、第２のタップ選択回路２５２は、クラス分類に使用するクラスタップの複数個のＤＣＴ係数を選択的に取り出すものである。図２２Ｂは、第２のタップ選択回路２５２において、逆量子化回路２３４より出力されるＤＣＴ係数より選択的に取り出すクラスタップのＤＣＴ係数の一例を示している。本実施の形態においては、注目ＤＣＴブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックとの、合計で５個のＤＣＴブロックの３２０（８×８×５）個のＤＣＴ係数が、クラスタップのＤＣＴ係数として取り出される。
【０４８５】
また、係数種データ生成装置１５０Ｄは、第２のタップ選択回路２５２で選択的に取り出されるクラスタップのＤＣＴ係数から特徴量を抽出する特徴量抽出部１５６を有している。この特徴量抽出部１５６は、上述した画像信号処理部１１０Ｄの特徴量抽出部１２３と同様に構成される。この特徴量抽出部１５６では、クラスタップのＤＣＴ係数に１ビットのＡＤＲＣ等の処理を施すことによって、クラスコードＣＬとしてのＡＤＲＣコードを生成する。このクラスコードＣＬは、教師信号ＳＴにおける注目ＤＣＴブロックが属するクラスを示すものとなる。
【０４８６】
また、係数種データ生成装置１５０Ｄは、ＭＰＥＧ２符号化器１５２より出力される教師信号（ＤＣＴ係数）ＳＴの時間調整を行うための遅延回路１５９と、この遅延回路１５９で時間調整された教師信号ＳＴの各注目ＤＣＴブロックのＤＣＴ係数ｙと、この各注目ＤＣＴブロックにそれぞれ対応して第１のタップ選択回路２５１で選択的に取り出される予測タップのＤＣＴ係数ｘｉと、パラメータｐの値と、各注目ＤＣＴブロックにそれぞれ対応して特徴量抽出部１５６で生成されるクラスコードＣＬとから、クラス毎に、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3をそれぞれ得るための正規方程式（（９）式参照）を生成する正規方程式生成部１６０を有している。
【０４８７】
この場合、１個のＤＣＴ係数ｙとそれに対応するｎ個の予測タップのＤＣＴ係数ｘｉとの組み合わせで１個の学習データが生成される。パラメータｐの値に応じて、逆量子化回路２３４からは複数の生徒信号に係るＤＣＴ係数が順次得られ、教師信号と各生徒信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１６０では、パラメータｐの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データｗ_i0〜ｗ_i3を求めることが可能となる。
【０４８８】
また、係数種データ生成装置１５０Ｄは、正規方程式生成部１６０で、クラス毎に生成された、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した正規方程式のデータが供給され、当該正規方程式を解いて、クラス毎に、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3を求める係数種データ決定部１６１と、この求められた係数種データを格納する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
【０４８９】
図２６に示す係数種データ生成装置１５０Ｄの動作を説明する。
入力端子１５１には画像信号Ｖｄに対応した画像信号Ｖｄ′が供給され、そしてこの画像信号Ｖｄ′に対してＭＰＥＧ２符号化器１５２で符号化が施されて生徒信号ＳＳとしてのＭＰＥＧ２ストリームが生成される。
【０４９０】
ＭＰＥＧ２符号化器１５２で得られる生徒信号ＳＳは抽出回路２３１に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路２３２に供給されて復号化される。そして、この可変長復号化回路２３２より出力される量子化ＤＣＴ係数が逆量子化回路２３４に供給されて逆量子化が施される。
【０４９１】
この逆量子化器２３４には、パラメータｐの値が入力される。この逆量子化回路２３４では、逆量子化の信号処理の過程で、パラメータｐの値に応じて信号が変化するようにされる。すなわち、本実施の形態においては、上述したように、当該パラメータｐの値に応じてＤＣＴ係数が変更される。これにより、パラメータｐの値に対応した、生徒信号に係るＤＣＴ係数が得られる。
【０４９２】
また、第２のタップ選択回路２５２では、逆量子化回路２３４より出力されるＤＣＴ係数より、クラスタップの複数個のＤＣＴ係数が選択的に取り出される。このクラスタップの複数個のＤＣＴ係数は、特徴量抽出部１５６に供給される。この特徴量抽出部１５６では、クラスタップのＤＣＴ係数に１ビットのＡＤＲＣ等の処理が施されて、クラスコードＣＬとしてのＡＤＲＣコードが生成される。このクラスコードＣＬは、教師信号ＳＴの注目ＤＣＴブロックが属するクラスを示すものとなる。
【０４９３】
また、第１のタップ選択回路２５１では、逆量子化回路２３４より出力されるＤＣＴ係数より、教師信号ＳＴの注目ＤＣＴブロックに対応する、予測タップの複数個のＤＣＴ係数が選択的に取り出される。
【０４９４】
そして、遅延回路１５９で時間調整された教師信号ＳＴの各注目ＤＣＴブロックのＤＣＴ係数ｙと、この各注目ＤＣＴブロックにそれぞれ対応して第１のタップ選択回路２５１で選択的に取り出される予測タップのＤＣＴ係数ｘｉと、パラメータｐの値と、各注目ＤＣＴブロックにそれぞれ対応して特徴量抽出部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１６０では、クラス毎に、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3をそれぞれ得るための正規方程式（（９）式参照）が生成される。
【０４９５】
そして、係数種データ決定部１６１で各正規方程式が解かれ、クラス毎に、注目ＤＣＴブロックの各ＤＣＴ係数にそれぞれ対応した複数組の係数種データｗ_i0〜ｗ_i3を求められ、それらの係数種データｗ_i0〜ｗ_i3は係数種メモリ１６２に格納される。
【０４９６】
このように、図２６に示す係数種データ生成装置１５０Ｄにおいては、図２５の画像信号処理部１１０Ｄの情報メモリバンク１２８に格納される、クラス毎の、推定式（（１）式参照）で用いられる係数データＷｉを求めるための生成式（（２）式参照）における係数データである係数種データｗ_i0〜ｗ_i3を生成することができる。
【０４９７】
なお、図２５の画像信号処理部１１０Ｄでは、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（２）式の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０４９８】
また、詳細説明は省略するが、図２５の画像信号処理部１１０Ｄにおける処理を、例えば図９に示す画像信号処理装置３００によって、図１の画像信号処理部１１０における処理と同様に、ソフトウエアで実現することも可能である（図１０のフローチャート参照）。また、詳細説明は省略するが、図２６の係数種データ生成装置１５０Ｄにおける処理も、図４の係数種データ生成装置１５０における処理と同様に、ソフトウエアで実現することも可能である（図１１のフローチャート参照）。
【０４９９】
また、図２６に示す係数種データ生成装置１５０Ｄは、図４に示す係数種データ生成装置１５０に対応したものであるが、図８に示す係数種データ生成装置１５０Ａに対応したものとすることもできる。すなわち、パラメータｐの各値に対応した各クラスの係数データＷｉを求め、その後にパラメータｐの各値に対応した各クラスの係数データＷｉを用いて、各クラスの係数種データｗ_i0〜ｗ_i3を求めるものである。
【０５００】
また、図２５に示す画像信号処理部１１０Ｄでは、情報メモリバンク１２８に格納されている係数種データｗ_i0〜ｗ_i3に基づいて、係数生成回路１２９でパラメータｐの値に対応した各クラスの係数データＷｉを生成し、この各クラスの係数データＷｉを係数メモリ１２６に格納して使用するものである。しかし、図１３の画像信号処理部１１０Ａと同様に、情報メモリバンク１２８Ａにクラスおよびパラメータｐの値の各組み合わせの係数データＷｉを格納しておき、パラメータｐの値に対応した各クラスの係数データＷｉを情報メモリバンク１２８Ａより係数メモリ１２６にロードして使用するように構成してもよい。
【０５０１】
なお、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル情報信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０５０２】
また、図４に示す係数種データ生成装置１５０、図８に示す係数種データ生成装置１５０Ａ、図１４に示す係数データ生成装置１７０、図１８に示す差分データ生成装置２１０、図２３に示す係数種データ生成装置１５０Ｃ、図２６に示す係数種データ生成装置１５０Ｄのいずれにおいても、ＭＰＥＧ２符号化器１５２を設け、このＭＰＥＧ２符号化器１５２によりＭＰＥＧ２ストリームを得る構成としているが、このＭＰＥＧ２ストリームを外部から入力する構成としてもよい。
【０５０３】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０５０４】
【発明の効果】
この発明によれば、符号化されたデジタル情報信号あるいはそれを復号化して得られたデジタル情報信号である第１の情報信号を、当該第１の情報信号より情報の質を向上させた第２の情報信号に変換する際に、複数種類のパラメータに対応して予め生成された係数種データと、入力されたパラメータの値とを演算して係数データを求めて当該係数データをクラス毎に格納し、この格納された係数データをクラスを参照して選択する。この選択された係数データと、第２の情報信号における注目位置の周辺に位置する複数の第２の情報データとを演算して注目位置の情報データを求める。これにより、第２の情報信号によって得られる出力の特定の質のみを入力パラメータの値を変更して段階的に調整できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】予測タップ、クラスタップの一例を示す図である。
【図３】係数種データの生成方法の一例を説明するための図である。
【図４】係数種データ生成装置の構成例を示すブロック図である。
【図５】モスキートノイズを段階的に調整する際のＡＣ係数のゲインの変更を説明するための図である。
【図６】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図７】係数種データ生成方法の他の例を説明するための図である。
【図８】係数種データ生成装置の構成例を示すブロック図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１０】画像信号処理を示すフローチャートである。
【図１１】係数種データ生成処理（その１）を示すフローチャートである。
【図１２】係数種データ生成処理（その２）を示すフローチャートである。
【図１３】他の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図１４】係数データ生成装置の構成例を示すブロック図である。
【図１５】画像信号処理を示すフローチャートである。
【図１６】係数データ生成処理を示すフローチャートである。
【図１７】さらに他の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図１８】差分データ生成装置の構成例を示すブロック図である。
【図１９】画像信号処理を示すフローチャートである。
【図２０】差分データ生成処理を示すフローチャートである。
【図２１】別の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２２】ＤＣＴ係数の予測タップ、クラスタップの一例を示す図である。
【図２３】係数種データ生成装置の構成例を示すブロック図である。
【図２４】係数種データ生成装置の構成例を示すブロック図である。
【図２５】さらに別の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２６】係数種データ生成装置の構成例を示すブロック図である。
【符号の説明】
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１０９・・・ストリームバッファ、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ・・・画像信号処理部、１１１・・・ディスプレイ部、１２１，２２５，２４１・・・第１のタップ選択回路、１２２，２２６，２４２・・・第２のタップ選択回路、１２２Ｂ・・・タップ選択回路、１２３・・・特徴量抽出部、１２４・・・付加情報クラス生成部、１２５・・・クラスコード生成部、１２６・・・係数メモリ、１２７・・・推定予測演算回路、１２８，１２８Ａ・・・情報メモリバンク、１２９・・・係数生成回路、１３１・・・蓄積テーブル、１３２・・・ＤＣＴ回路、１３３，１３６・・・切換スイッチ、１３４・・・加算部、１３５，２４３・・・逆ＤＣＴ回路、１５０・・・係数種データ生成装置、１５１・・・入力端子、１５２・・・ＭＰＥＧ２符号化器、１５３・・・ＭＰＥＧ２復号化器、１５４，２３５，２５１・・・第１のタップ選択回路、１５５，２３６，２５２・・・第２のタップ選択回路、１５６・・・特徴量抽出部、１５７・・・付加情報クラス生成部、１５８・・・クラスコード生成部、１５９・・・遅延回路、１６０，１６３，１６５・・・正規方程式生成部、１６１，１６６・・・係数種データ決定部、１６２・・・係数メモリ、１６４・・・係数データ決定部、１６７・・・係数メモリ、１７０・・・係数データ生成装置、１７１，１７３・・・ＤＣＴ回路、１７２，１７４・・・切換スイッチ、１７５・・・減算部、１７６・・・蓄積制御部、１７７・・・蓄積テーブル、２１０・・・差分データ生成装置、２２１，２３１・・・ＤＣＴ係数抽出回路、２２２，２３２・・・可変長復号化回路、２２３，２３３・・・量子化特性指定情報抽出回路、２２４，２３４・・・逆量子化回路、２２７，２３７・・・符号化制御情報抽出回路、２２８，２３８，２４４・・・予測メモリ回路、２２９，２３９，２４６・・・ピクチャ選択回路、２３９Ａ・・・演算回路、２４５・・・加算回路、３００・・・画像信号処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information signal processing apparatus and an information signal processing method. , Program and computer readable media.
[0002]
Specifically, when the first information signal that is the encoded digital information signal or the digital information signal obtained by decoding the encoded digital information signal is converted into the second information signal, the position of interest in the second information signal is changed. Information data is generated corresponding to the value of the input parameter, and in this case, based on the signal obtained by processing the encoded digital information signal according to the parameter value in the same manner as the encoded digital information signal. By generating predetermined position information data in the second information signal using predetermined data generated in advance, only the specific quality of the output obtained by the second information signal is changed, and the value of the input parameter is changed. The present invention relates to an information signal processing apparatus that can be adjusted step by step.
[0003]
[Prior art]
As one of image signal compression encoding methods, an MPEG2 (Moving Picture Expert Group phase 2) encoding method is used. In the transmission / reception or recording / reproducing system based on MPEG2, the image signal is subjected to compression coding processing according to MPEG2 to be transmitted or recorded, and the received or reproduced image signal is expanded corresponding to the compression coding processing according to MPEG2. By decoding, the original image signal is restored.
[0004]
In the encoding process based on MPEG2, additional information for decoding process is transmitted together with the encoded image data in order to give versatility to the encoding process and to improve the compression efficiency by encoding. . The additional information is inserted into the header of the MPEG2 stream and transmitted to the decoding apparatus.
[0005]
The characteristics of an image signal obtained by decoding, not limited to MPEG, vary greatly depending on the applied encoding / decoding method. For example, the physical characteristics (frequency characteristics, etc.) differ greatly depending on the signal types such as luminance signal, color difference signal, and three primary color signals. This difference also remains in the decoded signal that has undergone the encoding / decoding process. Also, in general, in image coding / decoding processing, the number of pixels to be encoded is often reduced by introducing spatiotemporal thinning processing. The spatio-temporal resolution characteristics of images differ greatly depending on the thinning method. Furthermore, even when the difference in spatio-temporal resolution characteristics is small, image quality characteristics such as S / N and coding distortion amount greatly differ depending on the compression rate (transmission rate) conditions in encoding.
[0006]
The present applicant has previously proposed a classification adaptation process (see JP-A-8-51599). This is because, in the learning process, the actual image signal (teacher signal and student signal) is used to obtain and accumulate prediction coefficients for each class in advance, and in the actual image conversion process, the class is determined from the input image signal. The output pixel value is obtained by the prediction calculation of the prediction coefficient corresponding to the class and the plurality of pixel values of the input image signal. The class is determined according to the distribution and waveform of pixel values in the spatial and temporal vicinity of the pixel to be created. By calculating a prediction coefficient using an actual image signal and calculating a prediction coefficient for each class, it is possible to create a resolution higher than that of an input image signal as compared with a simple interpolation filter process.
[0007]
In the above-described class classification adaptive processing, the resolution of the image obtained by the output image signal is fixed, and it is set to the user's preferred resolution according to the image content, etc., as in the conventional adjustment of contrast, sharpness, etc. I could not. Therefore, the present applicant has further proposed that the user can arbitrarily adjust the resolution by changing the input parameter value (see Japanese Patent Application Laid-Open No. 2001-238185 and Japanese Patent Application No. 2000-348730).
[0008]
[Problems to be solved by the invention]
For example, a digital image signal obtained by decoding an MPEG2 stream is subjected to class classification application processing as an input image signal, and resolution, block distortion, mosquito distortion, noise removal degree, etc. are arbitrarily changed by changing input parameter values. It is possible to adjust. In this case, it is convenient if only a specific quality among the resolution, block distortion, mosquito distortion, noise removal degree, etc. can be adjusted step by step by changing the value of the input parameter.
[0009]
An object of the present invention is to convert a first information signal, which is an encoded digital information signal or a digital information signal obtained by decoding the encoded digital information signal, into a second information signal. An object of the present invention is to provide an information signal processing device or the like that can adjust only a specific quality of an output obtained by changing the value of an input parameter in a stepwise manner.
[0010]
[Means for Solving the Problems]
An information signal processing apparatus according to the present invention provides a first information signal composed of a plurality of pieces of information data generated by decoding an encoded digital information signal. Improved information quality over the first information signal An information signal processing device for converting to a second information signal comprising a plurality of information data, wherein the first information signal From , First data selection means for selecting a plurality of first information data located around the position of interest in the second information signal, and the plurality of first data selected by the first data selection means. Information data Level distribution pattern is detected and the level distribution pattern is detected. Based on Above Class detection means for detecting a class to which the information data of the noted position belongs, and an output obtained by the second information signal information The quality of Step by step Define For multiple types Parameter input means for inputting parameter values, and information data generation for generating information data of the attention position corresponding to the class detected by the class detection means and the parameter values input to the parameter input means Means for generating the information data. The coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input by the parameter input means are calculated to obtain coefficient data, and the coefficient data is stored for each class. Coefficient data generating means for selecting the coefficient data with reference to the class, and a plurality of second information data located around the position of interest in the second information signal is selected from the first information signal. The second data selection means, the plurality of second information data selected by the second data selection means, and the coefficient data selected by the coefficient data generation means are calculated to obtain the information data of the target position Computing means for obtaining It is characterized by providing.
[0011]
Moreover, the information signal processing method according to the present invention provides a first information signal composed of a plurality of pieces of information data generated by decoding an encoded digital information signal. Improved information quality over the first information signal An information signal processing method for converting to a second information signal comprising a plurality of information data, wherein the first information signal is From A first step of selecting a plurality of first information data located around a target position in the second information signal, and the plurality of first information data selected in the first step Level distribution pattern is detected and the level distribution pattern is detected. Based on Above A second step of detecting a class to which the information data of the noted position belongs, and an output obtained by the second information signal information The quality of Step by step Define For multiple types A third step of acquiring a parameter value, a class detected in the second step and a parameter value acquired in the second step, and generating information data of the attention position 4 steps, and in the fourth step, The coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input in the third step are calculated to obtain coefficient data, and the coefficient data is stored for each class. A fifth step of selecting the coefficient data with reference to the class, and a plurality of second information data located around the position of interest in the second information signal is selected from the first information signal. The sixth step, the plurality of second information data selected in the sixth step, and the coefficient data selected with reference to the class in the fifth step are calculated to calculate the position of the target position. And a seventh step for obtaining information data. It is characterized by this.
[0012]
A program according to the present invention is for causing a computer to execute the above information signal processing method. A computer-readable medium according to the present invention records the above-described program.
[0015]
In the present invention, the first information signal composed of a plurality of information data is generated by decoding the encoded digital information signal. Based on the first information signal, a plurality of first information data located around the target position in the second information signal is selected, and based on the plurality of first information data, the position of the target position is selected. The class to which the information data belongs is detected. For example, a level distribution pattern of a plurality of first information data is detected, and a class to which the information data of the target position belongs is detected based on the level distribution pattern. The information signal is, for example, an image signal or an audio signal.
[0016]
Here, when additional information used when decoding the digital information signal is added to the encoded digital information information signal, the additional information based on the additional information together with the plurality of first information data described above is used. By detecting a class, finer classification can be performed, and the generation accuracy of information data can be improved.
[0017]
The parameter input means receives a parameter value that determines the quality of the output obtained by the second information signal. For example, when the encoded digital information signal is an MPEG2 stream, the resolution, block distortion, mosquito noise, noise suppression degree, and the like are determined by the input parameter values.
[0018]
Corresponding to the detected class and the input parameter value as described above, information data of the target position is generated. In this case, information data of a target position is generated using predetermined data generated in advance based on a signal obtained by processing the encoded digital information signal according to the parameter value.
[0019]
For example, the coefficient seed data as the predetermined data, which is the coefficient data in the generation formula for generating the coefficient data used in the estimation formula obtained in advance for each class, is stored in the storage unit in advance, and this coefficient seed Coefficient data of an estimation formula corresponding to the detected class and the input parameter value is generated using the data and the input parameter value, and the first information signal to the second information signal are generated. A plurality of second information data located around the attention position is selected, and information data of the attention position is generated from the coefficient data and the plurality of second information data using an estimation formula.
[0020]
Further, for example, the coefficient data of the estimation formula as the predetermined data previously generated for each combination of the class and the parameter value is stored in the storage unit, and the class detected by the storage unit and the input parameter The coefficient data of the estimation formula corresponding to the value is read out, and a plurality of second information data located around the position of interest in the second information signal is selected from the first information signal. From the second information data, the information data of the attention position is generated using the estimation formula.
[0021]
Further, for example, the difference data as the above-mentioned predetermined data generated in advance for each combination of class and parameter value is stored in the storage means, and corresponds to the class detected from the storage means and the input parameter value. The read difference data is added to the second information data corresponding to the position of interest in the second information signal among the plurality of information data constituting the first information signal. Information data of the attention position is generated.
[0022]
In addition, for example, the frequency coefficient difference data as the above-described predetermined data, which is generated in advance for each combination of the class and the parameter value, is stored in the storage unit, and the class detected by the storage unit and the input parameter Difference data corresponding to the value is read out, orthogonal transformation is performed on the second information data corresponding to the position of interest in the second information signal among the plurality of information data constituting the first information signal, The read difference data is added to the frequency coefficient obtained by the orthogonal transformation, and further, the inverse orthogonal transformation is performed on the added output to generate the information data of the target position.
[0023]
The coefficient seed data, the coefficient data, the difference data, and the frequency coefficient difference data described above are generated, for example, corresponding to a plurality of parameter values, respectively, a plurality of student signals corresponding to the first information signal, and a second Is generated in advance using a teacher signal corresponding to the information signal. For example, the student signal is obtained by decoding the digital information signal obtained by encoding the teacher signal, and the signal is changed according to the parameter value in the decoding process, so that A student signal corresponding to the value is obtained.
[0024]
For example, when the encoding is encoding with orthogonal transformation (discrete cosine transformation, warblet transformation, discrete sine transformation, etc.), when performing inverse orthogonal transformation according to the parameter value in the decoding process At least one of the frequency coefficient and the inverse transform base used in the above is changed.
[0025]
A plurality of student signals can be obtained by setting the gains of all AC (alternating current) coefficients among the frequency coefficients to the same value and changing the gains according to the parameter values. In this case, the resolution in the output obtained by the second information signal described above can be adjusted stepwise according to the parameter value.
[0026]
When the frequency coefficient is quantized, a plurality of student signals can be obtained by changing the quantization step of the DC (direct current) coefficient among the frequency coefficients in accordance with the parameter value. In this case, the block distortion in the output obtained by the second information signal can be adjusted stepwise according to the parameter value.
[0027]
A plurality of student signals can be obtained by decreasing the gain of the AC coefficient of the frequency coefficient as the frequency increases and changing the degree of decrease in the gain of the AC coefficient according to the parameter value. In this case, the mosquito noise in the output obtained by the second information signal described above can be adjusted stepwise according to the parameter value.
[0028]
Moreover, a plurality of student signals can be obtained by adding random noise to at least the frequency coefficient or the inverse transform base and changing the level of the random noise according to the parameter value. In this case, the degree of noise suppression in the output obtained by the second information signal can be adjusted stepwise according to the parameter value.
[0029]
Predetermined data (coefficient seed data, coefficient data, difference data, difference data of frequency coefficients) generated in advance based on a signal obtained by processing the encoded digital information signal according to the parameter value in this way Etc.), it is possible to adjust only the specific quality of the output obtained by the second information signal stepwise by changing the value of the input parameter.
[0103]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a digital broadcast receiver 100 as an embodiment.
The digital broadcast receiver 100 includes a microcomputer, and includes a system controller 101 for controlling the operation of the entire system, and a remote control signal receiving circuit 102 for receiving a remote control signal. The remote control signal receiving circuit 102 is connected to the system controller 101, receives a remote control signal RM output from the remote control transmitter 200 according to a user operation, and supplies an operation signal corresponding to the signal RM to the system controller 101. Is configured to do.
[0104]
Also, the digital broadcast receiver 100 is supplied with a receiving antenna 105 and a broadcast signal (RF modulated signal) captured by the receiving antenna 105, performs channel selection processing, demodulation processing, error correction processing, etc. And a tuner unit 106 that obtains an MPEG2 stream as an encoded image signal.
[0105]
The digital broadcast receiver 100 also temporarily decodes the MPEG2 decoder 107 that decodes the MPEG2 stream output from the tuner unit 106 to obtain the image signal Va, and the image signal output from the MPEG2 decoder 107. And a buffer memory 108 for storing.
[0106]
Further, the digital broadcast receiver 100 converts the image signal Va stored in the buffer memory 108 into an image signal Vb that presents a user-desired image quality, and outputs from the image signal processing unit 110. And a display unit 111 for displaying an image based on the image signal. The display unit 111 includes a display such as a CRT (cathode-ray tube) display or an LCD (liquid crystal display).
[0107]
The operation of the digital broadcast receiver 100 shown in FIG. 1 will be described.
The MPEG2 stream output from the tuner unit 106 is supplied to the MPEG2 decoder 107 and decoded. The image signal Va output from the decoder 107 is supplied to the buffer memory 108 and temporarily stored.
Thus, the image signal Va stored in the buffer memory 108 is supplied to the image signal processing unit 110 and converted into an image signal Vb that presents a user-desired image quality. In the image signal processing unit 110, pixel data constituting the image signal Vb is obtained from the pixel data constituting the image signal Va.
The image signal Vb output from the image signal processing unit 110 is supplied to the display unit 111, and an image based on the image signal Vb is displayed on the screen of the display unit 111.
[0108]
The user can adjust the resolution, block distortion, mosquito noise, or noise suppression degree in the image displayed on the screen of the display unit 111 as described above by operating the remote control transmitter 200. In the image signal processing unit 110, pixel data of the image signal Vb is calculated by an estimation formula, as will be described later. As the coefficient data of this estimation formula, the data corresponding to the value of the parameter p changed by the user's operation of the remote control transmitter 200 is generated and used by the generation formula including this parameter p. Thereby, the resolution, block distortion, mosquito noise, or noise suppression degree in the image by the image signal Vb output from the image signal processing unit 110 corresponds to the changed value of the parameter p.
[0109]
Next, details of the image signal processing unit 110 will be described.
The image signal processing unit 110 selectively extracts and outputs a plurality of pixel data located around the target position in the image signal Vb from the image signal Va stored in the buffer memory 108 and outputs the first and second taps. Selection circuits 121 and 122 are provided.
[0110]
The first tap selection circuit 121 selectively extracts a plurality of pixel data of prediction taps used for prediction. The second tap selection circuit 122 selectively extracts a plurality of pixel data of class taps used for class classification. The pixel data of the prediction tap and the class tap are pixel data located around the target position in the image signal Vb.
Here, the periphery of the target position means a position that is spatially (horizontal and vertical) and temporal (frame direction) close to the target position.
[0111]
FIG. 2A shows an example of the arrangement of prediction taps, and FIG. 2B shows an example of the arrangement of class taps. 2A and 2B, “◯” indicates the position of the tap, and “X” indicates the position of interest. In the present embodiment, seven pixel data in the current field (shown with a solid line) and the previous field (shown with a broken line) are extracted as pixel data of a prediction tap, and the current field (shown with a solid line) and the previous field (shown with a broken line). 13 pixel data are extracted as pixel data of the class tap.
[0112]
Returning to FIG. 1, the image signal processing unit 110 also includes a feature amount extraction unit 123 that extracts a feature amount from the pixel data of the class tap selectively extracted by the second tap selection circuit 122. The feature amount extraction unit 123 generates an ADRC code as first class information indicating a space class by performing processing such as 1-bit ADRC (Adaptive Dynamic Range Coding) on the pixel data of the class tap.
[0113]
ADRC calculates the maximum value and minimum value of a plurality of pixel data of a class tap, calculates a dynamic range that is the difference between the maximum value and the minimum value, and requantizes each pixel value in accordance with the dynamic range. . In the case of 1-bit ADRC, the pixel value is converted to 1 bit depending on whether it is larger or smaller than the average value of the plurality of pixel values of the class tap. The ADRC process is a process for making the number of classes representing the level distribution of pixel values relatively small. Therefore, not limited to ADRC, encoding that compresses the number of bits of a pixel value such as VQ (vector quantization) may be used.
[0114]
The image signal processing unit 110 includes an additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the additional information used when the MPEG2 stream is decoded. In the present embodiment, this additional information is encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 107.
[0115]
Further, the image signal processing unit 110 performs class classification based on the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124. A class code generation unit 125 that generates a class code CL indicating the result is included.
[0116]
The image signal processing unit 110 has a coefficient memory 126. The coefficient memory 126 stores, for each class, a plurality of coefficient data Wi (i = 1 to n) used in an estimation formula used in an estimated prediction calculation circuit 127 described later. The coefficient data Wi is information for converting the image signal Va into the image signal Vb. The class code CL output from the class code generation unit 125 described above is supplied to the coefficient memory 126 as read address information, and the coefficient data Wi of the estimation formula corresponding to the class code CL is read from the coefficient memory 126. , And supplied to the estimated prediction calculation circuit 127.
[0117]
The image signal processing unit 110 has an information memory bank 128. In the estimated prediction calculation circuit 127, the pixel data y of the target position in the image signal Vb to be generated is calculated from the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126 by the estimation formula (1). Calculated. In the equation (1), n represents the number of prediction taps selected by the first tap selection circuit 121.
[0118]
[Expression 1]

[0119]
The coefficient data Wi of this estimation formula is generated by a generation formula including the parameter p as shown in the formula (2). In the information memory bank 128, coefficient seed data w which is coefficient data in this generation formula is stored. _i0 ~ W _i3 Is stored for each class.
Wi = w _i0 + W _i1 p + w _i2 p ² + W _i3 p ^Three ... (2)
[0120]
In addition, the image signal processing unit 110 performs coefficient seed data w for each class. _i0 ~ W _i3 And a coefficient generation circuit 129 that generates coefficient data Wi (i = 1 to n) of an estimation expression corresponding to the value of the parameter p for each class, using the value of the parameter p and the value of the parameter p. Yes. The coefficient generation circuit 129 receives from the information memory bank 128 the coefficient seed data w of each class described above. _i0 ~ W _i3 Is loaded. The coefficient generation circuit 129 is supplied with the value of the parameter p from the system controller 101.
[0121]
The coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 129 is stored in the coefficient memory 126 described above. The generation of coefficient data Wi for each class in the coefficient generation circuit 129 is performed, for example, in each vertical blanking period. Thereby, even if the value of the parameter p is changed by the user's operation of the remote control transmitter 200, the coefficient data Wi of each class stored in the coefficient memory 126 is immediately changed to the one corresponding to the value of the parameter p. The user can smoothly adjust the resolution, block distortion, mosquito noise, noise suppression degree, and the like.
[0122]
Here, the coefficient seed data w stored in the information memory bank 128 as described above. _i0 ~ W _i3 Will be further described. This coefficient seed data w _i0 ~ W _i3 Is generated in advance based on a signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 described above according to the value of the parameter p.
[0123]
That is, this coefficient seed data w _i0 ~ W _i3 Are respectively generated according to a plurality of values of the parameter p, and are generated in advance using a plurality of student signals corresponding to the image signal Va and a teacher signal corresponding to the image signal Vb. In this case, the student signal is obtained by decoding the MPEG2 stream obtained by MPEG2 encoding the teacher signal, and the signal is changed according to the value of the parameter p in the process of decoding, so that the parameter A student signal corresponding to the value of p is obtained. In the present embodiment, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing the inverse discrete cosine transform (inverse DCT) is changed according to the value of the parameter p.
[0124]
For example, it is possible to obtain a plurality of student signals by changing the gain according to the value of the parameter p while setting the gain of all AC coefficients of the DCT coefficients to the same value. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the resolution of the image obtained by the image signal Vb can be adjusted stepwise according to the value of the parameter p.
[0125]
Further, for example, a plurality of student signals can be obtained by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the block distortion of the image obtained by the image signal Vb described above can be adjusted stepwise according to the value of the parameter p.
[0126]
In addition, for example, a plurality of student signals can be obtained by reducing the gain of the AC coefficient of the DCT coefficient as the frequency increases and changing the degree of decrease in the gain of the AC coefficient according to the parameter value. Can do. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the mosquito noise of the image obtained by the image signal Vb can be adjusted stepwise according to the value of the parameter p.
[0127]
Also, for example, a plurality of student signals can be obtained by adding random noise to at least the DCT coefficient or the inverse transform base and changing the level of the random noise according to the value of the parameter p. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the noise suppression degree of the image obtained by the image signal Vb can be adjusted stepwise according to the value of the parameter p.
[0128]
In addition, the image signal processing unit 110 uses the estimation formula (1) from the prediction tap pixel data xi selectively extracted by the first tap selection circuit 121 and the coefficient data Wi read from the coefficient memory 126. And an estimated prediction calculation circuit 127 for calculating pixel data y of the target position in the image signal Vb to be created.
[0129]
Next, the operation of the image signal processing unit 110 will be described.
From the image signal Va stored in the buffer memory 108, the second tap selection circuit 122 selectively extracts pixel data of class taps located around the target position in the image signal Vb to be created. The pixel data of this class tap is supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code as first class information indicating a space class is generated.
[0130]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG2 decoder 107 is supplied to the additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the encoding control information.
[0131]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124 are supplied to the class code generation unit 125. The class code generation unit 125 generates a class code CL indicating the result of class classification based on the first class information and the second class information.
[0132]
The class code CL represents the detection result of the class to which the pixel data at the target position in the image signal Vb belongs. The class code CL is supplied to the coefficient memory 126 as read address information. The coefficient memory 126 stores, for each class, coefficient seed data w for each class corresponding to the value of the parameter p adjusted by the user by the coefficient generation circuit 129 in each vertical blanking period. _i0 ~ W _i3 Is used to determine and store coefficient data Wi (i = 1 to n) of the estimation formula (see formula (2)).
[0133]
As described above, the class code CL is supplied to the coefficient memory 126 as read address information, whereby the coefficient data Wi corresponding to the class code CL is read from the coefficient memory 126 and supplied to the estimated prediction calculation circuit 127. The Further, the pixel data of the prediction tap located around the target position in the image signal Vb is selectively extracted by the first tap selection circuit 121 from the image signal Va stored in the buffer memory 108.
[0134]
The estimated prediction calculation circuit 127 uses the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126, and based on the estimation formula (see formula (1)), attention is paid to the image signal Vb to be generated. The pixel data y of the position is obtained.
[0135]
In this way, the image signal processing unit 110 calculates the pixel data y using the coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the value of the parameter p. Therefore, the user can arbitrarily adjust the resolution, block distortion, mosquito noise, or noise suppression degree of the image by the image signal Vb by changing the value of the parameter p.
[0136]
Also, coefficient seed data w for generating coefficient data Wi _i0 ~ W _i3 Is generated in advance based on a signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 described above according to the value of the parameter p. Only the specific quality of the image based on the image signal Vb, for example, only the resolution, only the block distortion, only the mosquito noise, or only the noise suppression degree can be adjusted stepwise.
[0137]
Next, an example of a method for generating the coefficient seed data w will be described. In this example, coefficient seed data w which is coefficient data in the generation formula of the above-described formula (2). _i0 ~ W _i3 The example which calculates | requires is shown.
Here, for the following explanation, as shown in equation (3), t _j (J = 0 to 3) is defined.
t ₀ = 1, t ₁ = P, t ₂ = P ² , T _Three = P ^Three ... (3)
Using this equation (3), equation (2) can be rewritten as equation (4).
[0138]
[Expression 2]

[0139]
Finally, the undetermined coefficient w _ij Ask for. That is, for each class, the coefficient value that minimizes the square error is determined using the pixel data of the student signal corresponding to the image signal Va and the pixel data of the teacher signal corresponding to the image signal Vb. This is a so-called least square method. The learning number is m, and the residual in the kth learning data (1 ≦ k ≦ m) is e. _k If the sum of squared errors is E, E is expressed by equation (5) using equations (1) and (2). Where x _ik Is the k-th pixel data at the i-th predicted tap position of the student signal, y _k Represents pixel data of the k-th teacher signal corresponding thereto.
[0140]
[Equation 3]

[0141]
In the least square method, w in equation (5) _ij W such that the partial differential due to becomes zero _ij Ask for. This is shown by equation (6).
[0142]
[Expression 4]

[0143]
Hereinafter, as shown in the equations (7) and (8), X _ipjq , Y _ip Is defined, equation (6) can be rewritten using a matrix like equation (9).
[0144]
[Equation 5]

[0145]
[Formula 6]

[0146]
This equation is generally called a normal equation. This normal equation can be calculated using the sweep-out method (Gauss-Jordan elimination method), etc. _ij The coefficient seed data is calculated.
[0147]
FIG. 3 shows an example of the concept of the above-described coefficient seed data generation method. A plurality of student signals corresponding to the image signal Va are generated from the teacher signal corresponding to the image signal Vb. For example, the parameter p is varied in nine steps to generate nine types of student signals. The coefficient seed data is generated by performing learning between the plurality of student signals and the teacher signal generated as described above.
[0148]
FIG. 4 shows coefficient seed data w stored in the information memory bank 128 of the digital broadcast receiver 100 described above. _i0 ~ W _i3 2 shows a configuration of a coefficient seed data generation device 150 for generating.
[0149]
The coefficient seed data generation device 150 includes an input terminal 151 to which a teacher signal ST corresponding to the image signal Vb is input, an MPE2 encoder 152 that performs encoding on the teacher signal to obtain an MPEG2 stream, An MPEG2 decoder 153 that decodes the MPEG2 stream to obtain a student signal SS. The value of the parameter p is input to the MPEG2 decoder 153.
[0150]
In the decoder 153, in the decoding process, the signal is changed according to the value of the parameter p, and a student signal corresponding to the value of the parameter p is obtained. In this embodiment, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing inverse discrete cosine transform (inverse DCT) is changed.
[0151]
Here, in DCT, a DCT coefficient (frequency coefficient) F (u, v) with respect to a pixel value f (i, j) is given by equation (10). On the other hand, in inverse DCT, a pixel value f (i, j) with respect to a DCT coefficient (frequency coefficient) F (u, v) is given by equation (11). Here, C (w) = 1 / √2 (w = 0) and C (w) = 1 (w ≠ 0). Thus, in inverse DCT, the pixel value f (i, j) is obtained by a product-sum operation of the DCT coefficient (frequency coefficient) and the inverse transform base.
[0152]
[Expression 7]

[0153]
For example, it is possible to obtain a plurality of student signals by changing the gain according to the value of the parameter p while setting the gain of all AC coefficients of the DCT coefficients to the same value. Here, if the original AC coefficient is AC [m] and the gain is gain, the new AC coefficient newAC [m] is newAC [m] = AC [m] * gain. In this case, since the correlation between the AC coefficients can be maintained, the coefficient seed data w generated using the plurality of student signals obtained in this way is used. _i0 ~ W _i3 Can adjust the resolution of the image obtained by the image signal Vb in a stepwise manner in accordance with the value of the parameter p.
[0154]
Further, for example, a plurality of student signals can be obtained by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p. Here, assuming that the original DC coefficient is DC [m], the original quantization step is Qst, and the new quantization step is newQst, the new DC coefficient newDC [m] is newDC [m] = {DC [ m] * Qst / newQst}. {} Represents an integer operation. In this case, the variation of the DC coefficient can be manipulated, and the coefficient seed data w generated using the plurality of student signals obtained in this way. _i0 ~ W _i3 The block distortion of the image obtained by the image signal Vb can be adjusted stepwise according to the value of the parameter p.
[0155]
Further, for example, by reducing the gain of the AC coefficient of the DCT coefficient as the high frequency region is changed, and the degree of decrease in the high frequency gain of the AC coefficient is changed according to the value of the parameter p, a plurality of student signals are obtained. be able to. Here, if the original AC coefficient is AC [m] and the gain is gain [m], the new AC coefficient newAC [m] is newAC [m] = AC [m] * gain [m]. In this case, the correlation between the AC coefficients is broken stepwise, and coefficient seed data w generated using a plurality of student signals obtained in this way. _i0 ~ W _i3 Can adjust the mosquito noise of the image obtained by the image signal Vb in a stepwise manner in accordance with the value of the parameter p.
[0156]
Also, for example, a plurality of student signals can be obtained by adding random noise to at least the DCT coefficient or the inverse transform base and changing the level of the random noise according to the value of the parameter p. When the original AC coefficient is AC [m] and the random noise is rdmN, the new AC coefficient newAC [m] is newAC [m] = AC [m] + rdmN. Similarly, if the original DC coefficient is DC [m] and the random noise is rdmN, the new DC coefficient newDC [m] is newDC [m] = DC [m] + rdmN. Similarly, when the original base is REF [m] and the random noise is rdmN, the new base newREF [m] is newREF = REF [m] + rdmN. In this case, coefficient level data w generated using a plurality of student signals obtained by switching the level of random noise in stages. _i0 ~ W _i3 Can adjust the noise suppression degree of the image obtained by the image signal Vb in a stepwise manner in accordance with the value of the parameter p.
[0157]
FIG. 6 shows the configuration of the MPEG2 decoder 153.
The decoder 153 has an input terminal 181 to which an MPEG2 stream is input, and a stream buffer 182 that temporarily stores the MPEG2 stream input to the input terminal 181.
[0158]
The decoder 153 extracts the DCT (Discrete Cosine Transform) coefficient as a frequency coefficient from the MPEG2 stream stored in the stream buffer 182 and the extraction circuit 183 extracts the DCT coefficient. A variable length decoding circuit 184 that performs variable length decoding on DCT coefficients that have been subjected to variable length coding, for example, Huffman coding.
[0159]
The decoder 153 also extracts an extraction circuit 185 for extracting quantization characteristic designation information from the MPEG2 stream stored in the stream buffer 182, and the quantization characteristic designation information extracted by the extraction circuit 185. Inverse quantization circuit 186 that performs inverse quantization on the quantized DCT coefficient output from variable length decoding circuit 184, and an inverse DCT circuit that performs inverse DCT on the DCT coefficient output from inverse quantization circuit 186 187.
[0160]
Further, the decoder 153 stores the image signals of the I picture (Intra-Picture) and the P picture (Predictive-Picture) in a memory (not shown) and uses the image signals from the inverse DCT circuit 187. When an image signal of a P picture or a B picture (Bidirectionally predictive-Picture) is output, a prediction memory circuit 188 that generates and outputs a corresponding reference image signal Vref is provided.
[0161]
In addition, when the inverse DCT circuit 187 outputs a P picture or B picture image signal, the decoder 153 adds an adder circuit 189 that adds the reference image signal Vref generated by the prediction memory circuit 188 to the image signal. Have. When the image signal of the I picture is output from the inverse DCT circuit 187, the reference image signal Vref is not supplied from the prediction memory circuit 188 to the adder circuit 189. The image signal of the I picture is output as it is.
[0162]
In addition, the decoder 153 supplies the image signals of the I picture and the P picture output from the adder circuit 189 to the prediction memory circuit 188 and stores them in the memory, and also stores the image of each picture output from the adder circuit 189. It has a picture selection circuit 190 that rearranges and outputs signals in the correct order, and an output terminal 191 that outputs an image signal output from the picture selection circuit 190.
[0163]
The decoder 153 also extracts an extraction circuit 192 that extracts encoding control information, that is, picture information PI and motion vector information MI, from the MPEG2 stream stored in the stream buffer 182, and an output that outputs the encoding control information. Terminal 193. The motion vector information MI extracted by the extraction circuit 192 is supplied to the prediction memory circuit 188, and the prediction memory circuit 188 performs motion compensation when generating the reference image signal Vref using the motion vector information MI. The picture information PI extracted by the extraction circuit 192 is supplied to the prediction memory circuit 188 and the picture selection circuit 190, and the prediction memory circuit 188 and the picture selection circuit 190 identify pictures based on the picture information PI. .
[0164]
The operation of the MPEG2 decoder 153 shown in FIG. 6 will be described.
The MPEG2 stream stored in the stream buffer 182 is supplied to the extraction circuit 183, and DCT coefficients as frequency coefficients are extracted. This DCT coefficient is variable-length encoded, and this DCT coefficient is supplied to the variable-length decoding circuit 184 and decoded. Then, the quantized DCT coefficient output from the variable length decoding circuit 184 is supplied to the inverse quantization circuit 186 and subjected to inverse quantization.
[0165]
The DCT coefficient output from the inverse quantization circuit 186 is subjected to inverse DCT by the inverse DCT circuit 183, and an image signal of each picture is obtained. The picture signal of each picture is supplied to the picture selection circuit 190 via the addition circuit 189. In this case, the reference image signal Vref output from the prediction memory circuit 188 is added by the addition circuit 189 to the image signals of the P picture and the B picture. The picture signals of each picture are rearranged in the correct order by the picture selection circuit 190 and output to the output terminal 191.
[0166]
Returning to FIG. 4, the coefficient seed data generation apparatus 150 selectively extracts a plurality of pixel data located around the target position in the teacher signal ST from the student signal SS output from the MPEG2 decoder 153. A first tap selection circuit 154 and a second tap selection circuit 155 that output the first tap. The first and second tap selection circuits 154 and 155 are configured similarly to the first and second tap selection circuits 121 and 122 of the image signal processing unit 110 described above, respectively.
[0167]
In addition, the coefficient seed data generation device 150 includes a feature amount extraction unit 156 that extracts a feature amount from pixel data of class taps that are selectively extracted by the second tap selection circuit 155. The feature amount extraction unit 156 is configured in the same manner as the feature amount extraction unit 123 of the image signal processing unit 110 described above, and generates an ADRC code as first class information indicating a space class.
[0168]
Also, the coefficient seed data generation device 150 generates second class information indicating the additional information class based on the encoded information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG2 decoder 153. An additional information class generation unit 157 is generated. The additional information class generation unit 157 is configured in the same manner as the additional information class generation unit 124 of the image signal processing unit 110 described above.
[0169]
In addition, the coefficient seed data generation device 150 performs class classification based on the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157. A class code generation unit 158 that generates a class code CL indicating the result of the above. The class code generation unit 158 is configured in the same manner as the class code generation unit 125 of the image signal processing unit 110 described above. The class code CL indicates a class to which the pixel data y at the target position in the teacher signal ST belongs.
[0170]
The coefficient seed data generation device 150 also includes a delay circuit 159 for adjusting the time of the teacher signal ST supplied to the input terminal 151, and each attention position obtained from the teacher signal ST adjusted in time by the delay circuit 159. Pixel data y, prediction tap pixel data xi selectively extracted by the first tap selection circuit 154 in correspondence with the pixel data y of each target position, the value of the parameter p, and each target position Coefficient seed data w for each class from the class code CL generated by the class code generating unit 158 corresponding to each pixel data y. _i0 ~ W _i3 A normal equation generating unit 160 for generating a normal equation (see equation (9)) for obtaining
[0171]
In this case, one piece of learning data is generated by a combination of one piece of pixel data y and pixel data xi of n prediction taps corresponding to the piece of pixel data y. A plurality of student signals SS are sequentially generated, and learning data is generated between the teacher signal and each student signal. As a result, the normal equation generation unit 160 generates a normal equation in which many pieces of learning data having different values of the parameter p are registered, and the coefficient seed data w _i0 ~ W _i3 Can be obtained.
[0172]
Further, the coefficient seed data generation device 150 is supplied with data of normal equations generated for each class by the normal equation generation unit 160, solves the normal equations, and generates coefficient seed data w for each class. _i0 ~ W _i3 Is provided with a coefficient seed data determining unit 161 and a coefficient seed memory 162 for storing the obtained coefficient seed data. In the coefficient seed data determination unit 161, the normal equation is solved, for example, by a sweeping method, and coefficient coefficient data is obtained.
[0173]
The operation of the coefficient seed data generation device 150 shown in FIG. 4 will be described.
A teacher signal ST corresponding to the image signal Vb is supplied to the input terminal 151, and the teacher signal ST is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream. This MPEG2 stream is supplied to the MPEG2 decoder 153.
[0174]
The value of the parameter p is input to the MPEG2 decoder 153 so that the signal changes in accordance with the value of the parameter p in the decoding process. That is, in the present embodiment, as described above, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing the inverse discrete cosine transform (inverse DCT) according to the value of the parameter p. Is changed. Thereby, the student signal SS corresponding to the value of the parameter p is obtained.
[0175]
Further, from the student signal SS output from the MPEG2 decoder 153, the second tap selection circuit 155 selectively extracts pixel data of class taps located around the target position in the teacher signal ST. The pixel data of this class tap is supplied to the feature amount extraction unit 156. The feature amount extraction unit 156 generates an ADRC code as first class information indicating a space class based on the pixel data of the class tap.
[0176]
Also, encoded information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG2 decoder 153 is supplied to the additional information class generation unit 157. The additional information class generation unit 157 generates second class information indicating the additional information class based on the encoded information.
[0177]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157 are supplied to the class code generation unit 158, respectively. In this class code generation unit 158, based on the first class information and the second class information, a class code CL indicating the class to which the pixel data y at the target position in the teacher signal ST belongs (result of class classification) is generated. The
[0178]
Also, from the student signal SS output from the MPEG decoder 153, the first tap selection circuit 154 selectively extracts pixel data of prediction taps located around the target position in the teacher signal ST.
[0179]
Then, the pixel data y of each target position obtained from the teacher signal ST time-adjusted by the delay circuit 159 and the first tap selection circuit 154 selectively corresponding to the pixel data y of each target position. The normal equation generation unit 160 uses the predicted tap pixel data xi, the value of the parameter p, and the class code CL generated by the class code generation unit 158 corresponding to the pixel data y of each target position. Coefficient seed data w for each class _i0 ~ W _i3 A normal equation (see equation (9)) is obtained.
[0180]
Then, the coefficient seed data determination unit 161 solves each normal equation, and the coefficient seed data w for each class. _i0 ~ W _i3 Are obtained, and their coefficient seed data w _i0 ~ W _i3 Is stored in the coefficient seed memory 162.
[0181]
As described above, the coefficient seed data generation device 150 shown in FIG. 4 uses the estimation formula (see formula (1)) for each class stored in the information memory bank 128 of the image signal processing unit 110 in FIG. Coefficient data w which is coefficient data in a generation formula (see formula (2)) for obtaining the coefficient data Wi _i0 ~ W _i3 Can be generated.
[0182]
Next, another example of the coefficient seed data generation method will be described. Also in this example, coefficient seed data w which is coefficient data in the generation formula of the above-described formula (2) _i0 ~ W _i3 The example which calculates | requires is shown.
FIG. 7 shows the concept of this example. A plurality of student signals are generated from the teacher signal. For example, the value of the parameter p is varied in 9 steps to generate 9 types of student signals. Learning is performed between each student signal and the teacher signal generated in this way, and coefficient data Wi of the estimation formula (1) is generated. Then, using the coefficient data Wi generated corresponding to each student signal, the coefficient seed data w which is the coefficient data in the generation equation (2) _i0 ~ W _i3 Is generated.
[0183]
First, how to obtain coefficient data of the estimation formula will be described. Here, an example is shown in which the coefficient data Wi (i = 1 to n) of the estimation formula (1) is obtained by the least square method.
In the above equation (1), before learning, coefficient data W ₁ , W ₂ , ..., W _n Is an undetermined coefficient. Learning is performed on a plurality of signal data for each class. When the number of learning data is m, the following equation (12) is set according to equation (1). n indicates the number of prediction taps.
y _k = W ₁ X _k1 + W ₂ X _k2 + ... + W _n X _kn (12)
(K = 1, 2,..., M)
If m> n, coefficient data W ₁ , W ₂ , ..., W _n Is not uniquely determined, so the element e of the error vector e _k Is defined by the following equation (13), and e in equation (14) ² Find coefficient data that minimizes. Coefficient data is uniquely determined by a so-called least square method.
e _k = Y _k -{W ₁ X _k1 + W ₂ X _k2 + ... + w _n X _kn } (13)
(K = 1, 2, ... m)
[0184]
[Equation 8]

[0185]
E in equation (14) ² As a practical calculation method for obtaining coefficient data that minimizes the value, first, as shown in the equation (15), e ² Is partially differentiated with the coefficient data Wi (i = 1, 2,..., N), and the coefficient data Wi may be obtained so that the partial differential value becomes 0 for each value of i.
[0186]
[Equation 9]

[0187]
A specific procedure for obtaining the coefficient data Wi from the equation (15) will be described. If Xji and Yi are defined as in equations (16) and (17), equation (15) can be written in the form of a determinant of equation (18).
[0188]
[Expression 10]

[0189]
## EQU11 ##

[0190]
Equation (18) is generally called a normal equation. Coefficient data Wi (i = 1, 2,..., N) can be obtained by solving this normal equation by a general solution method such as a sweep-out method (Gauss-Jordan elimination method).
[0191]
Next, how to obtain coefficient seed data using coefficient data Wi generated corresponding to each student signal will be described.
The coefficient data of a certain class obtained by learning using the student signal corresponding to the value of the parameter p is k _pi Suppose that Here, i is the number of the prediction tap. This k _pi From this, coefficient class data of this class is obtained.
[0192]
The coefficient data Wi (i = 1 to n) is the coefficient seed data w _i0 ~ W _i3 Is expressed by the above-described equation (2). Here, considering that the least square method is used for the coefficient data Wi, the residual is expressed by equation (19).
[0193]
[Expression 12]

[0194]
Where t _j Is shown in the above equation (3). When the least square method is applied to equation (19), equation (20) is obtained.
[0195]
[Formula 13]

[0196]
Where X _jk , Y _j Are defined as equations (21) and (22), respectively, equation (20) can be rewritten as equation (23). This equation (23) is also a normal equation, and the coefficient seed data w _i0 ~ W _i3 Can be calculated.
[0197]
[Expression 14]

[0198]
FIG. 8 shows a configuration of a coefficient seed data generation device 150A that generates coefficient seed data based on the concept shown in FIG. In FIG. 8, parts corresponding to those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0199]
The coefficient seed data generation device 150A includes pixel data y at each position of interest obtained from the teacher signal ST time-adjusted by the delay circuit 159, and a first tap selection circuit corresponding to the pixel data y at each position of interest. From the pixel data xi of the prediction tap selectively extracted in 154 and the class code CL generated by the class code generation unit 158 corresponding to the pixel data y of each target position, coefficient data Wi ( A normal equation generation unit 163 that generates a normal equation (see equation (18)) for obtaining i = 1 to n) is provided.
[0200]
In this case, one piece of learning data is generated by a combination of one piece of pixel data y and pixel data xi of n prediction taps corresponding to the piece of pixel data y. A plurality of student signals SS are sequentially generated, and learning data is generated between the teacher signal and each student signal. As a result, the normal equation generation unit 163 generates a normal equation for obtaining coefficient data Wi (i = 1 to n) for each class corresponding to each student signal.
[0201]
Further, the coefficient seed data generation device 150A is supplied with the data of the normal equation generated by the normal equation generation unit 163, solves the normal equation, and obtains the coefficient data Wi of each class corresponding to each student signal. Using the coefficient data determination unit 164 and coefficient data Wi corresponding to the value of the parameter p and each student signal, the coefficient seed data w _i0 ~ W _i3 And a normal equation generation unit 165 that generates a normal equation (see equation (23)) for obtaining.
[0202]
Further, the coefficient seed data generation device 150A is supplied with the data of the normal equation generated for each class by the normal equation generation unit 165, solves the normal equation for each class, and generates coefficient seed data w for each class. _i0 ~ W _i3 The coefficient seed data determination unit 166 for determining the coefficient seed data w _i0 ~ W _i3 And a coefficient seed memory 162 for storing.
The rest of the coefficient seed data generation device 150A shown in FIG. 8 is configured in the same manner as the coefficient seed data generation device 150 shown in FIG.
[0203]
Next, the operation of the coefficient seed data generation device 150A shown in FIG. 8 will be described.
A teacher signal ST corresponding to the image signal Vb is supplied to the input terminal 151, and the teacher signal ST is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream. This MPEG2 stream is supplied to the MPEG2 decoder 153.
[0204]
The value of the parameter p is input to the MPEG2 decoder 153 so that the signal changes in accordance with the value of the parameter p in the decoding process. That is, in the present embodiment, as described above, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing the inverse discrete cosine transform (inverse DCT) according to the value of the parameter p. Is changed. Thereby, the student signal SS corresponding to the value of the parameter p is obtained.
[0205]
Further, from the student signal SS output from the MPEG2 decoder 153, the second tap selection circuit 155 selectively extracts pixel data of class taps located around the target position in the teacher signal ST. The pixel data of this class tap is supplied to the feature amount extraction unit 156. The feature amount extraction unit 156 generates an ADRC code as first class information indicating a space class based on the pixel data of the class tap.
[0206]
Also, encoded information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG2 decoder 153 is supplied to the additional information class generation unit 157. The additional information class generation unit 157 generates second class information indicating the additional information class based on the encoded information.
[0207]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157 are supplied to the class code generation unit 158, respectively. In this class code generation unit 158, based on the first class information and the second class information, a class code CL indicating the class to which the pixel data y at the target position in the teacher signal ST belongs (result of class classification) is generated. The
[0208]
Also, from the student signal SS output from the MPEG decoder 153, the first tap selection circuit 154 selectively extracts pixel data of prediction taps located around the target position in the teacher signal ST.
[0209]
Then, the pixel data y of each target position obtained from the teacher signal ST time-adjusted by the delay circuit 159 and the first tap selection circuit 154 selectively corresponding to the pixel data y of each target position. The normal equation generation unit 163 uses the pixel data xi of the predicted tap, the value of the parameter p, and the class code CL generated by the class code generation unit 158 corresponding to the pixel data y of each target position. , A normal equation (((n = 1 to n)) for obtaining coefficient data Wi (i = 1 to n) for each class for a plurality of student signals SS respectively corresponding to a plurality of values of the parameter p output from the MPEG2 decoder 153. 18) is generated.
[0210]
Then, the coefficient data determining unit 164 solves the normal equation, and the coefficient data Wi of each class corresponding to each of the plurality of student signals SS is obtained. The normal equation generation unit 165 uses the coefficient data Wi of each class corresponding to each of the plurality of student signals SS to generate coefficient seed data w for each class. _i0 ~ W _i3 A normal equation (see equation (23)) is obtained.
[0211]
Then, the coefficient seed data determining unit 166 solves the normal equation, and the coefficient seed data w of each class. _i0 ~ W _i3 Is obtained and its coefficient seed data w _i0 ~ W _i3 Is stored in the coefficient seed memory 162.
[0212]
As described above, also in the coefficient seed data generation apparatus 150A shown in FIG. 8, the coefficient seed data w of each class stored in the information memory bank 128 of the image signal processing unit 110 in FIG. _i0 ~ W _i3 Can be generated.
[0213]
In the image signal processing unit 110 of FIG. 1, the generation formula of the formula (2) is used to generate the coefficient data Wi (i = 1 to n), but it is expressed by a polynomial having a different order or another function. It is also possible to use this formula.
[0214]
Further, in the image signal processing unit 110 of FIG. 1, in addition to the first class information (ADRC code) indicating the space class output from the feature amount extraction unit 123, the additional information generated by the additional information class generation unit 124. Based on the second class information indicating the class, the class code generation unit 125 generates the class code CL. However, the class code CL may be generated using only the first class information. However, by generating the class code CL in consideration of the second class information, finer classification can be performed, and the generation accuracy of the pixel data of the image signal Vb can be improved.
[0215]
Note that the processing in the image signal processing unit 110 in FIG. 1 can be realized by software, for example, by an image signal processing apparatus 300 as shown in FIG.
[0216]
First, the image signal processing apparatus 300 shown in FIG. 9 will be described. The image signal processing apparatus 300 includes a CPU 301 that controls the operation of the entire apparatus, a ROM (read only memory) 302 that stores an operation program of the CPU 301, coefficient seed data, and the like, and a RAM ( random access memory) 303. These CPU 301, ROM 302, and RAM 303 are each connected to a bus 304.
[0217]
The image signal processing apparatus 300 also includes a hard disk drive (HDD) 305 as an external storage device and a drive (FDD) 307 that drives a floppy (registered trademark) disk 306. These drives 305 and 307 are each connected to a bus 304.
[0218]
In addition, the image signal processing apparatus 300 includes a communication unit 308 that is connected to a communication network 400 such as the Internet by wire or wirelessly. The communication unit 308 is connected to the bus 304 via the interface 309.
[0219]
In addition, the image signal processing device 300 includes a user interface unit. The user interface unit includes a remote control signal receiving circuit 310 that receives a remote control signal RM from the remote control transmitter 200, and a display 311 that includes an LCD (liquid crystal display) or the like. The receiving circuit 310 is connected to the bus 304 via the interface 312, and similarly the display 311 is connected to the bus 304 via the interface 313.
[0220]
Further, the image signal processing apparatus 300 has an input terminal 314 for inputting the image signal Va and an output terminal 315 for outputting the image signal Vb. The input terminal 314 is connected to the bus 304 via the interface 316, and similarly, the output terminal 315 is connected to the bus 304 via the interface 317.
[0221]
Here, instead of storing the processing program, coefficient seed data, and the like in the ROM 302 in advance as described above, for example, they are downloaded from the communication network 400 such as the Internet via the communication unit 308 and stored in the hard disk or RAM 303 for use. You can also Further, these processing programs, coefficient seed data, and the like may be provided on a floppy (registered trademark) disk 306.
[0222]
Further, instead of inputting the image signal Va to be processed from the input terminal 314, it may be recorded in advance on a hard disk or downloaded from the communication network 400 such as the Internet via the communication unit 308. Further, instead of outputting the processed image signal Vb to the output terminal 315 or in parallel therewith, it is supplied to the display 311 to display an image, further stored in a hard disk, the Internet via the communication unit 308, etc. It may be sent to the communication network 400.
[0223]
A processing procedure for obtaining the image signal Vb from the image signal Va in the image signal processing apparatus 300 shown in FIG. 9 will be described with reference to the flowchart of FIG.
First, in step ST1, processing is started, and in step ST2, for example, an image signal Va for one frame or one field is input into the apparatus from the input terminal 314. Thus, the pixel data constituting the image signal Va input from the input terminal 314 is temporarily stored in the RAM 303. When the image signal Va is recorded in advance in the hard disk drive 307 in the apparatus, the image signal Va is read from the drive 307, and the pixel data constituting the image signal Va is temporarily stored in the RAM 303. To do.
[0224]
In step ST3, it is determined whether or not processing of all frames or all fields of the image signal Va has been completed. When the process is finished, the process ends in step ST4. On the other hand, when the process is not finished, the process proceeds to step ST5.
[0225]
In step ST5, the value of the parameter p, which is the image quality designation value input by the user's operation of the remote control transmitter 200, is acquired from the RAM 303, for example. In step ST6, using the value of the parameter P and the coefficient seed data of each class, the coefficient data Wi of the estimation formula (see formula (1)) of each class is generated by a generation formula (for example, formula (2)). To do.
[0226]
Next, in step ST7, pixel data of class taps and prediction taps are acquired from the image signal Va input in step ST2 corresponding to the target position in the image signal Vb. In step ST8, it is determined whether or not the processing for obtaining the pixel data of the image signal Vb has been completed in the entire region of the pixel data of the image signal Va for one frame or one field input in step ST2. If completed, the process returns to step ST2, and the process proceeds to input processing of the image signal Va for the next one frame or one field. On the other hand, when the process has not ended, the process proceeds to step ST9.
[0227]
In step ST9, a class code CL is generated from the pixel data of the class tap acquired in step ST7. In step ST10, using the coefficient data Wi corresponding to the class code CL and the pixel data of the prediction tap, the pixel data of the target position in the image signal Vb is generated by the estimation formula, and then the process returns to step ST7. Then, the same processing as described above is repeated.
[0228]
As described above, by performing processing according to the flowchart shown in FIG. 10, the pixel data of the input image signal Va can be processed to obtain the pixel data of the image signal Vb. As described above, the image signal Vb obtained by such processing is output to the output terminal 315, supplied to the display 311 to display an image, and further supplied to the hard disk drive 305 to be supplied to the hard disk. Or is recorded.
[0229]
In step ST9, the class code CL is generated from the pixel data of the class tap. However, in addition to the image signal Va, encoding control information (picture information PI, motion vector information MI) related to the image signal Va is also input from the input terminal 314, and the image signal processing unit 110 in FIG. As in, the class code CL may be generated using this encoding control information.
Further, although illustration of the processing device is omitted, the processing in the coefficient seed data generation device 150 in FIG. 4 can also be realized by software.
[0230]
A processing procedure for generating coefficient seed data will be described with reference to the flowchart of FIG.
First, in step ST21, processing is started, and in step ST22, an image quality pattern (specified by the value of parameter p) used for learning is selected. In step ST23, it is determined whether learning has been completed for all image quality patterns. If learning has not been completed for all image quality patterns, the process proceeds to step ST24.
[0231]
In this step ST24, the teacher signal is inputted for one frame or one field. In step ST25, it is determined whether or not the processing of all the frames or fields of the teacher signal has been completed. When the process is completed, the process returns to step ST22, the next image quality pattern is selected, and the same process as described above is repeated. On the other hand, when not completed, the process proceeds to step ST26.
[0232]
In step ST26, a student signal is generated based on the image quality pattern selected in step ST22 from the teacher signal input in step ST24. In step ST27, the pixel data of the class tap and the prediction tap are acquired from the student signal generated in step ST26 corresponding to the attention position in the teacher signal input in step ST24. In step ST28, it is determined whether or not the learning process has been completed in all regions of the teacher signal input in step ST24. When the learning process is completed, the process returns to step ST24, the teacher signal for the next one frame or one field is input, and the same process as described above is repeated. On the other hand, when the process has not ended, the process proceeds to step ST29.
[0233]
In step ST29, the class code CL is generated from the pixel data of the class tap acquired in step ST27. In step ST30, a normal equation (see equation (9)) is generated. Thereafter, the process returns to step ST27.
[0234]
If learning for all image quality patterns is completed in step ST23, the process proceeds to step ST31. In this step ST31, the coefficient seed data of each class is calculated by solving the normal equation by a sweeping method or the like. In step ST32, the coefficient seed data is stored in the memory, and then the process is terminated in step ST33. .
[0235]
In this way, by performing the processing according to the flowchart shown in FIG. 11, coefficient seed data can be obtained by the same method as the coefficient seed data generating apparatus 150 shown in FIG.
[0236]
In step ST29, the class code CL is generated from the pixel data of the class tap. However, similar to the coefficient seed data generation device 150 of FIG. 4, the class code CL may be generated using also the encoding control information (picture information PI, motion vector information MI) related to the student signal.
Although illustration of the processing device is omitted, the processing in the coefficient seed data generation device 150A in FIG. 8 can also be realized by software.
[0237]
A processing procedure for generating coefficient seed data will be described with reference to the flowchart of FIG.
First, in step ST41, processing is started, and in step ST42, an image quality pattern (specified by the value of parameter p) used for learning is selected. In step ST43, it is determined whether or not learning has been completed for all image quality patterns. If learning has not been completed for all image quality patterns, the process proceeds to step ST44.
[0238]
In this step ST44, the teacher signal is inputted for one frame or one field. In step ST45, it is determined whether or not the processing of all the frames or fields of the teacher signal has been completed. If not completed, a student signal is generated in step ST46 based on the image quality pattern selected in step ST42 from the teacher signal input in step ST44.
[0239]
In step ST47, the pixel data of the class tap and the prediction tap are acquired from the student signal generated in step ST46 corresponding to the attention position in the teacher signal input in step ST44. In step ST48, it is determined whether or not the learning process has been completed in all regions of the teacher signal input in step ST44. When the learning process is finished, the process returns to step ST44, the teacher signal for the next one frame or one field is input, and the same process as described above is repeated. On the other hand, when the learning process is not ended, the process proceeds to step ST49.
[0240]
In step ST49, a class code CL is generated from the pixel data of the class tap acquired in step ST47. In step ST50, a normal equation for obtaining coefficient data (see equation (18)) is generated. Thereafter, the process returns to step ST47.
[0241]
When the processing is completed in step ST45 described above, in step ST51, the normal equation generated in step ST50 is solved by a sweeping method or the like to calculate coefficient data for each class. Thereafter, the process returns to step ST42, the next image quality pattern is selected, the same processing as described above is repeated, and the coefficient data of each class corresponding to the next image quality pattern is obtained.
[0242]
If the coefficient data calculation process for all image quality patterns is completed in step ST43, the process proceeds to step ST52. In this step ST52, a normal equation (see equation (23)) for obtaining coefficient seed data is generated from coefficient data for all image quality patterns.
[0243]
Then, in step ST53, the coefficient equation data of each class is calculated by solving the normal equation generated in step ST52 by a sweeping method or the like, and in step ST54, the coefficient species data is stored in the memory, and then the step In ST55, the process ends.
[0244]
In this way, by performing processing according to the flowchart shown in FIG. 12, coefficient seed data can be obtained by the same method as the coefficient seed data generating apparatus 150A shown in FIG.
[0245]
In step ST49, the class code CL is generated from the pixel data of the class tap. However, similar to the coefficient seed data generation device 150A of FIG. 8, the class code CL may be generated using also the encoding control information (picture information PI, motion vector information MI) related to the student signal.
[0246]
Next, another embodiment of the present invention will be described.
FIG. 13 shows a configuration of a digital broadcast receiver 100A as another embodiment. In FIG. 13, portions corresponding to those in FIG.
[0247]
The digital broadcast receiver 100A is obtained by replacing the image signal processing unit 110 of the digital broadcast receiver 100 shown in FIG. 1 with the image signal processing unit 110A, and operates in the same manner as the digital broadcast receiver 100.
[0248]
Details of the image signal processing unit 110A will be described. In this image signal processing unit 110A, parts corresponding to those of the image signal processing unit 110 shown in FIG.
[0249]
The image signal processing unit 110A has an information memory bank 128A. In this information memory bank 128A, coefficient data Wi (i = 1 to n) is stored in advance for each combination of class and parameter p values. A method for generating the coefficient data Wi will be described later.
[0250]
The coefficient data Wi stored in the information memory bank 128A in this way is also the coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110 in FIG. _i0 ~ W _i3 Similarly, the MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 is generated in advance based on a signal obtained by processing according to the value of the parameter p.
[0251]
That is, the coefficient data Wi is generated according to a plurality of values of the parameter p, and is generated in advance using a plurality of student signals corresponding to the image signal Va and a teacher signal corresponding to the image signal Vb.
[0252]
In this case, the student signal is obtained by decoding the MPEG2 stream obtained by MPEG2 encoding the teacher signal, and the signal is changed according to the value of the parameter p in the process of decoding, so that the parameter A student signal corresponding to the value of p is obtained. In this case, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing inverse discrete cosine transform (inverse DCT) is changed according to the value of the parameter p.
[0253]
For example, it is possible to obtain a plurality of student signals by changing the gain according to the value of the parameter p while setting the gain of all AC coefficients of the DCT coefficients to the same value. When the coefficient data Wi generated in advance using a plurality of student signals obtained in this way is stored in the information memory bank 128A, the resolution of the image obtained by the image signal Vb is set to the parameter p. It can be adjusted in stages according to the value.
[0254]
Further, for example, a plurality of student signals can be obtained by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p. When the coefficient data Wi generated in advance using a plurality of student signals obtained in this way is stored in the information memory bank 128A, the block distortion of the image obtained by the image signal Vb is set as the parameter p. It becomes possible to adjust in steps according to the value of.
[0255]
In addition, for example, a plurality of student signals can be obtained by reducing the gain of the AC coefficient of the DCT coefficient as the frequency increases and changing the degree of decrease in the gain of the AC coefficient according to the parameter value. Can do. When coefficient data Wi generated in advance using a plurality of student signals obtained in this way is stored in the information memory bank 128A, the mosquito noise of the image obtained by the image signal Vb is set as the parameter p. It becomes possible to adjust in steps according to the value of.
[0256]
Also, for example, a plurality of student signals can be obtained by adding random noise to at least the DCT coefficient or the inverse transform base and changing the level of the random noise according to the value of the parameter p. When the coefficient seed data Wi generated in advance using a plurality of student signals obtained in this way is stored in the information memory bank 128A, the noise suppression degree of the image obtained by the image signal Vb described above is set. The adjustment can be made in stages according to the value of the parameter p.
[0257]
The operation of the image signal processing unit 110A will be described.
From the image signal Va stored in the buffer memory 108, the second tap selection circuit 122 selectively extracts pixel data of class taps located around the target position in the image signal Vb to be created. The pixel data of this class tap is supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code as first class information indicating a space class is generated.
[0258]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 107 is supplied to the additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the encoding control information.
[0259]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124 are supplied to the class code generation unit 125. The class code generation unit 125 generates a class code CL indicating the result of class classification based on the first class information and the second class information.
[0260]
The class code CL represents the detection result of the class to which the pixel data at the target position in the image signal Vb belongs. The class code CL is supplied to the coefficient memory 126 as read address information.
[0261]
In the coefficient memory 126, for example, coefficient data Wi of each class corresponding to the value of the parameter p adjusted by the user during the vertical blanking period is loaded from the information memory bank 128A and stored under the control of the system controller 101. Is done.
[0262]
When the coefficient data Wi corresponding to the adjusted parameter p value is not stored in the information memory bank 128A, the coefficient data Wi corresponding to the values before and after the adjusted parameter p value is stored in the information memory bank 128A. The coefficient data corresponding to the adjusted value of the parameter p may be obtained by reading from the memory bank 128A and performing an interpolation calculation process using them.
[0263]
As described above, the class code CL is supplied to the coefficient memory 126 as read address information, whereby the coefficient data Wi corresponding to the class code CL is read from the coefficient memory 126 and supplied to the estimated prediction calculation circuit 127. The Further, the pixel data of the prediction tap located around the target position in the image signal Vb is selectively extracted by the first tap selection circuit 121 from the image signal Va stored in the buffer memory 108.
[0264]
The estimated prediction calculation circuit 127 uses the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126, and based on the estimation formula (see formula (1)), attention is paid to the image signal Vb to be generated. The pixel data y of the position is obtained.
[0265]
Thus, in the image signal processing unit 110A, the pixel data y is calculated using the coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the value of the parameter p. Therefore, the user can arbitrarily adjust the resolution, block distortion, mosquito noise, or noise suppression degree of the image by the image signal Vb by changing the value of the parameter p.
[0266]
The coefficient data Wi is based on a signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 described above according to the value of the parameter p. It is generated in advance, and only the specific quality of the image based on the image signal Vb, for example, only the resolution, only the block distortion, only the mosquito noise, or only the noise suppression degree can be adjusted in stages.
[0267]
Next, a method for generating the coefficient data Wi (i = 1 to n) will be described.
In the above, as another example of the coefficient seed data generation method, for each student signal obtained by changing the value of the parameter p stepwise, the coefficient data Wi of each class is generated by learning using the signal, Next, using the coefficient data Wi for each student signal, coefficient seed data w for each class _Ten ~ W _n9 I explained what I wanted. The coefficient data Wi for each combination of class and parameter p values stored in advance in the information memory bank 128A can be generated in the same manner as in the first half of this coefficient seed data generation method.
[0268]
FIG. 14 shows the coefficient data generation device 170. In this coefficient data generation device 170, parts corresponding to those of the coefficient seed data generation device 150A shown in FIG.
[0269]
This coefficient data generation device 170 has a coefficient memory 167. The coefficient memory 167 stores coefficient data Wi of each class corresponding to each value of the parameter p determined by the coefficient data determination unit 164. The rest of the coefficient data generation device 170 is configured in the same manner as the coefficient seed data generation device 150A shown in FIG. 8 and operates in the same manner.
[0270]
14 generates coefficient data Wi for each combination of class and parameter p values stored in the information memory bank 128A of the image signal processing unit 110A of FIG. be able to.
[0271]
In addition, the processing in the image signal processing unit 110A in FIG. 13 can be realized by software, for example, by the image signal processing device 300 shown in FIG. 9, similarly to the processing in the image signal processing unit 110 in FIG. In this case, coefficient data is stored in advance in the ROM 302 or the like and used.
[0272]
A processing procedure for obtaining the image signal Vb from the image signal Va in the image signal processing apparatus 300 shown in FIG. 9 will be described with reference to the flowchart of FIG.
First, in step ST61, processing is started. In step S62, for example, an image signal Va for one frame or one field is input into the apparatus from the input terminal 314. Thus, the pixel data constituting the image signal Va input from the input terminal 314 is temporarily stored in the RAM 303. When the image signal Va is recorded in advance in the hard disk drive 307 in the apparatus, the image signal Va is read from the drive 307, and the pixel data constituting the image signal Va is temporarily stored in the RAM 303. To do.
[0273]
In step ST63, it is determined whether or not the processing of all frames or all fields of the image signal Va has been completed. When the process is finished, the process ends at step ST64. On the other hand, when the process is not finished, the process proceeds to step ST65.
[0274]
In step ST65, the value of the parameter p, which is an image quality designation value input by the user's operation of the remote control transmitter 200, is acquired from the RAM 303, for example. In step ST66, based on the acquired value of the parameter p, the coefficient data Wi of each class corresponding to the value of the parameter p is read from the ROM 302 or the like and temporarily stored in the RAM 303.
[0275]
Next, in step ST67, pixel data of class taps and prediction taps are acquired from the image signal Va input in step ST62, corresponding to the target position in the image signal Vb. In step ST68, it is determined whether or not the processing for obtaining the pixel data of the image signal Vb has been completed in the entire area of the pixel data of the image signal Va for one frame or one field input in step ST62. If completed, the process returns to step ST62, and the process proceeds to input processing of the image signal Va for the next one frame or one field. On the other hand, when the process has not ended, the process proceeds to step ST69.
[0276]
In step ST69, the class code CL is generated from the pixel data of the class tap acquired in step ST67. In step ST70, the coefficient data Wi corresponding to the class code CL and the pixel data of the prediction tap are used to generate pixel data of the target position in the image signal Vb by the estimation formula, and then the process returns to step ST67. Then, the same processing as described above is repeated.
[0277]
As described above, by performing processing according to the flowchart shown in FIG. 15, the pixel data of the input image signal Va can be processed to obtain the pixel data of the image signal Vb. As described above, the image signal Vb obtained by such processing is output to the output terminal 315, supplied to the display 311 to display an image, and further supplied to the hard disk drive 305 to be supplied to the hard disk. Or is recorded.
[0278]
In step ST69, the class code CL is generated from the pixel data of the class tap. However, in addition to the image signal Va, encoding control information (picture information PI, motion vector information MI) related to the image signal Va is also input from the input terminal 314, and the image signal processing unit 110A in FIG. As in, the class code CL may be generated using this encoding control information.
Although illustration of the processing device is omitted, the processing in the coefficient data generation device 170 in FIG. 14 can also be realized by software.
[0279]
A processing procedure for generating coefficient data will be described with reference to the flowchart of FIG.
First, in step ST81, processing is started, and in step ST82, an image quality pattern (specified by the value of parameter p) used for learning is selected. In step ST83, it is determined whether learning has been completed for all image quality patterns. If learning has not been completed for all image quality patterns, the process proceeds to step ST84.
[0280]
In this step ST84, the teacher signal is inputted for one frame or one field. In step ST85, it is determined whether or not the processing of all the frames or fields of the teacher signal has been completed. If not completed, a student signal is generated in step ST86 based on the image quality pattern selected in step ST82 from the teacher signal input in step ST84.
[0281]
Then, in step ST87, pixel data of class taps and prediction taps are acquired from the student signal generated in step ST86, corresponding to the target position in the teacher signal input in step ST84. In step ST88, it is determined whether or not the learning process has been completed in all regions of the teacher signal input in step ST84. When the learning process is finished, the process returns to step ST84, the teacher signal for the next one frame or one field is input, and the same process as described above is repeated. On the other hand, when the learning process is not ended, the process proceeds to step ST89.
[0282]
In step ST89, a class code CL is generated from the pixel data of the class tap acquired in step ST87. In step ST90, a normal equation for obtaining coefficient data (see equation (18)) is generated. Thereafter, the process returns to step ST87.
[0283]
When the processing is completed in step ST85 described above, in step ST91, the normal equation generated in step ST90 is solved by a sweeping method or the like to calculate coefficient data of each class. Thereafter, the process returns to step ST82, the next image quality pattern is selected, the same processing as described above is repeated, and the coefficient data of each class corresponding to the next image quality pattern is obtained.
[0284]
When the coefficient data calculation processing for all image quality patterns is completed in step ST83, the class coefficient data for all image quality patterns is stored in the memory in step ST92, and then in step ST93. The process ends.
[0285]
In this way, by performing processing according to the flowchart shown in FIG. 16, coefficient data can be obtained by a method similar to that of the coefficient data generating apparatus 170 shown in FIG. In step ST89, the class code CL is generated from the pixel data of the class tap. However, similarly to the coefficient data generation device 170 of FIG. 14, the class code CL may be generated using also the encoding control information (picture information PI, motion vector information MI) related to the student signal.
[0286]
Next, still another embodiment of the present invention will be described.
FIG. 17 shows a configuration of a digital broadcast receiver 100B as another embodiment. In FIG. 17, parts corresponding to those in FIG. 1 are given the same reference numerals.
[0287]
The digital broadcast receiver 100B is obtained by replacing the image signal processing unit 110 of the digital broadcast receiver 100 shown in FIG. 1 with the image signal processing unit 110B, and operates in the same manner as the digital broadcast receiver 100.
[0288]
Details of the image signal processing unit 110B will be described. In this image signal processing unit 110B, portions corresponding to those of the image signal processing unit 110 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0289]
The image signal processing unit 110B has an accumulation table 131. In the accumulation table 131, difference data DF is stored in advance for each combination of class and parameter p values. The difference data DF is difference data of pixel values or DCT coefficients (frequency coefficients) obtained by DCT processing. The accumulation table 131 is supplied with the class code CL output from the class code generation unit 125 and the value of the parameter p output from the system controller 101 as read address information. The difference data DF corresponding to the value of the class code CL and the parameter p is read from the accumulation table 131 and supplied to the adding unit 134 described later.
[0290]
The difference data DF stored in the accumulation table 131 is also the coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110 in FIG. _i0 ~ W _i3 Similarly, the MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 is generated in advance based on a signal obtained by processing according to the value of the parameter p.
[0291]
That is, the difference data DF is generated according to a plurality of values of the parameter p, and is generated in advance using a plurality of student signals corresponding to the image signal Va and a teacher signal corresponding to the image signal Vb.
[0292]
In this case, the student signal is obtained by decoding the MPEG2 stream obtained by MPEG2 encoding the teacher signal, and the signal is changed according to the value of the parameter p in the process of decoding, so that the parameter A student signal corresponding to the value of p is obtained. In this case, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing inverse discrete cosine transform (inverse DCT) is changed according to the value of the parameter p.
[0293]
For example, it is possible to obtain a plurality of student signals by changing the gain according to the value of the parameter p while setting the gain of all AC coefficients of the DCT coefficients to the same value. When difference data DF previously generated using a plurality of student signals obtained in this way is stored in the accumulation table 131, the resolution of the image obtained by the image signal Vb is set to the value of the parameter p. It becomes possible to adjust in stages according to.
[0294]
Further, for example, a plurality of student signals can be obtained by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p. In the case where the difference data DF generated in advance using a plurality of student signals obtained in this way is stored in the accumulation table 131, the block distortion of the image obtained by the image signal Vb is set to the parameter p. It can be adjusted in stages according to the value.
[0295]
In addition, for example, a plurality of student signals can be obtained by reducing the gain of the AC coefficient of the DCT coefficient as the frequency increases and changing the degree of decrease in the gain of the AC coefficient according to the parameter value. Can do. In the case where the difference data DF generated in advance using a plurality of student signals obtained in this way is stored in the accumulation table 131, the mosquito noise of the image obtained by the image signal Vb is set to the parameter p. It can be adjusted in stages according to the value.
[0296]
Also, for example, a plurality of student signals can be obtained by adding random noise to at least the DCT coefficient or the inverse transform base and changing the level of the random noise according to the value of the parameter p. When difference data DF generated in advance using a plurality of student signals obtained in this way is stored in the accumulation table 131, the noise suppression degree of the image obtained by the image signal Vb is set as the parameter p. It becomes possible to adjust in steps according to the value of.
[0297]
The image signal processing unit 100B also performs DCT processing on the image signal Va stored in the buffer memory 108 to obtain a DCT coefficient, and the DCT coefficient output from the DCT circuit 132 is the a side. And a selector switch 133 to which the image signal Va output from the buffer memory 108 is input to the fixed terminal on the b side. The changeover switch 133 is connected to the b side when the difference data DF stored in the accumulation table 131 is the difference data of the pixel value, and the a side when the difference data DF is the difference data of the DCT coefficient obtained by the DCT processing. Connected to.
[0298]
Further, the image signal processing unit 110B outputs the difference data DF read from the accumulation table 131 to the pixel data (pixel value or DCT coefficient) x corresponding to the target position in the image signal Vb output from the movable terminal of the changeover switch 133. Are added to generate pixel data y of the target position in the image signal Vb.
[0299]
In addition, the image signal processing unit 110B includes an inverse DCT circuit 135 that performs an inverse DCT process on the output signal of the adder 134, and an output signal of the inverse DCT circuit 135 is input to a fixed terminal on the a side. and a selector switch 136 to which the output signal of the adder 134 is input to a fixed terminal on the b side. This changeover switch 136 is connected to the b side when the difference data DF stored in the accumulation table 131 is the difference data of the pixel value, and is the a side when it is the difference data of the DCT coefficient obtained by the DCT processing. Connected to. A signal output from the movable terminal of the changeover switch 136 is supplied to the display unit 111 as an image signal Vb.
[0300]
Further, the image signal processing unit 110B includes a tap selection circuit 122B corresponding to the second tap selection circuit 122 in the image signal processing unit 110 illustrated in FIG. The tap selection circuit 122B selectively extracts a plurality of pixel data of class taps used for class classification.
[0301]
Here, when the difference data DF stored in the accumulation table 131 is pixel value difference data, the tap selection circuit 122B stores a plurality of pixel data located around the target position in the image signal Vb as class taps. Are selectively extracted as pixel data. The class code generator 125 generates a class code CL indicating the class to which the pixel data (one piece) at the target position in the image signal Vb belongs. Then, based on the class code CL, one difference data DF corresponding to the target position in the image signal Vb is read from the accumulation table 131 and supplied to the adding unit 134.
[0302]
On the other hand, when the difference data DF stored in the accumulation table 131 is DCT coefficient difference data obtained by DCT processing, the tap selection circuit 122B uses the pixel block of interest (for example, the pixel block ( A plurality of pixel data corresponding to a DCT block as a unit of DCT processing) is selectively extracted as class tap pixel data. Then, the class code generator 125 generates a class code CL indicating the class to which the target pixel block in the image signal Vb belongs. Then, based on the class code CL, a plurality of difference data DF corresponding to the number of pixel data in the pixel block is read from the accumulation table 131 and supplied to the adding unit 134.
[0303]
The operation of the image signal processing unit 110B will be described.
First, a case where the difference data DF stored in the accumulation table 131 is pixel value difference data will be described. In this case, the changeover switches 133 and 136 are respectively connected to the b side.
[0304]
From the image signal Va stored in the buffer memory 108, the tap selection circuit 122B selectively extracts pixel data of the class tap located around the target position in the image signal Vb to be created. The pixel data of this class tap is supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code as first class information indicating a space class is generated.
[0305]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 107 is supplied to the additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the encoding control information.
[0306]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124 are supplied to the class code generation unit 125. The class code generation unit 125 generates a class code CL indicating the result of class classification based on the first class information and the second class information. The class code CL indicates a class to which pixel data (one piece) at the target position in the image signal Vb belongs.
[0307]
This class code CL is Accumulation table 131 Is supplied as read address information. Based on the class code CL, one difference data DF corresponding to the target position in the image signal Vb is read from the accumulation table 131 and supplied to the adding unit 134.
[0308]
Of the image signal Va stored in the buffer memory 108, pixel data x corresponding to the target position in the image signal Vb is supplied to the adding unit 134 via the b side of the changeover switch 133. In the adder 134, the difference data DF read from the accumulation table is added to the pixel data x, and the pixel data y at the target position in the image signal Vb is generated. The pixel data y is output as an output signal of the image signal processing unit 110B via the b side of the changeover switch 136.
[0309]
Next, a case where the difference data DF stored in the accumulation table 131 is DCT coefficient difference data obtained by DCT processing will be described. In this case, the changeover switches 133 and 136 are respectively connected to the a side.
[0310]
From the image signal Va stored in the buffer memory 108, the tap selection circuit 122B selectively extracts a plurality of pixel data corresponding to the target pixel block in the image signal Vb to be created as pixel data of the class tap. The pixel data of this class tap is supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code as first class information indicating a space class is generated.
[0311]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 107 is supplied to the additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the encoding control information.
[0312]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124 are supplied to the class code generation unit 125. The class code generation unit 125 generates a class code CL indicating the result of class classification based on the first class information and the second class information. The class code CL indicates the class to which the target pixel block in the image signal Vb belongs.
[0313]
This class code CL is Accumulation table 131 Is supplied as read address information. Based on the class code CL, a plurality of difference data DF is read from the accumulation table 131 and supplied to the adding unit 134.
[0314]
Also, DCT is obtained for a plurality of pixel data of the image signal Va corresponding to the pixel block of interest in the image signal Vb (all pixel data in this block becomes pixel data of the target position) obtained from the DCT circuit 132. A plurality of DCT coefficients x constituting the DCT block obtained by performing the processing are supplied to the adding unit 134 via the a side of the changeover switch 133. In the adder 134, the plurality of difference data DF read from the accumulation table is added to the plurality of DCT coefficients x, respectively, and the DCT coefficient y of the DCT block corresponding to the target pixel block in the image signal Vb is generated. .
[0315]
A plurality of DCT coefficients y of each DCT block sequentially output from the adder 134 corresponding to each block of interest in the image signal Vb are supplied to the inverse DCT circuit 135. In the inverse DCT circuit 135, inverse DCT processing is performed on a plurality of DCT coefficients y of each DCT block to obtain pixel data (pixel value) of each pixel block. In this manner, the pixel data output from the inverse DCT circuit 135 is output as an output signal of the image signal processing unit 110B via the a side of the changeover switch 136.
[0316]
As described above, the image signal processing unit 110B calculates the pixel data (DCT coefficient) y using the difference data DF corresponding to the value of the parameter p. Therefore, the user can arbitrarily adjust the resolution, block distortion, mosquito noise, or noise suppression degree of the image by the image signal Vb by changing the value of the parameter p.
[0317]
The difference data DF is preliminarily determined based on a signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream input to the MPEG2 decoder 107 described above according to the value of the parameter p. Only the specific quality of the image generated by the image signal Vb, for example, only the resolution, only the block distortion, only the mosquito noise, or only the noise suppression level can be adjusted stepwise.
[0318]
FIG. 18 shows a configuration of the difference data generation device 210 that generates the difference data DF to be stored in the accumulation table 131 of the image signal processing unit 110B of FIG. 18, parts corresponding to those in FIG. 4 are given the same reference numerals, and detailed descriptions thereof are omitted.
[0319]
The differential data generation device 210 performs DCT processing on the student signal SS output from the MPEG2 decoder 153 to obtain a DCT coefficient, and the DCT coefficient output from the DCT circuit 171 is a side. The changeover switch 172 to which the student signal SS output from the MPEG2 decoder 153 is input is input to the fixed terminal on the b side. The changeover switch 172 is connected to the b side when the difference data DF accumulated in the accumulation table 177 described later is the difference data of the pixel value, and the a side when the difference data DF is the difference data of the DCT coefficient obtained by the DCT processing. Connected to.
[0320]
Further, the differential data generation device 210 performs a DCT process on the teacher signal ST time-adjusted by the delay circuit 159 to obtain a frequency coefficient, and the frequency coefficient output from the DCT circuit 173 is the a side. And a changeover switch 174 to which the teacher signal ST adjusted in time by the delay circuit 159 is input to the b-side fixed terminal. The changeover switch 174 is connected to the b side when the difference data DF accumulated in the accumulation table 177 to be described later is the difference data of the pixel value, and the a side when the difference data DF is the difference data of the DCT coefficient obtained by the DCT processing. Connected to.
[0321]
Further, the difference data generation device 210 is output from the movable terminal of the changeover switch 174 from the pixel data (pixel value or DCT coefficient) y of the target position of the teacher signal ST output from the movable terminal of the changeover switch 174. A subtracting unit 175 that subtracts pixel data (pixel value or DCT coefficient) x corresponding to the target position of the teacher signal ST to obtain difference data df is provided.
[0322]
Further, the difference data generation device 210 applies the class code CL output from the class code generation unit 158 and the value of the parameter p input to the MPEG2 decoder 153 to the difference data df sequentially output from the subtraction unit 175. Is stored in the accumulation table 177 as difference data DF, and an averaging process is performed for each combination of class and parameter p.
[0323]
Further, the difference data generation device 210 has a tap selection circuit 155A corresponding to the second tap selection circuit 155 in the coefficient seed data generation device 150 shown in FIG. The tap selection circuit 155A selectively extracts a plurality of pixel data of class taps used for class classification.
[0324]
Here, when the difference data DF stored in the accumulation table 177 is pixel value difference data, in the tap selection circuit 155A, a plurality of pixel data located around the target position in the teacher signal ST is a pixel of a class tap. It is selectively retrieved as data. Then, the class code generation unit 158 generates a class code CL indicating the class to which the pixel data (one piece) at the target position in the teacher signal ST belongs.
[0325]
On the other hand, when the difference data DF stored in the accumulation table 177 is DCT coefficient difference data obtained by DCT processing, the tap selection circuit 155A uses, for example, the target pixel block (DCT processing) in the teacher signal ST from the student signal SS. A plurality of pixel data corresponding to a DCT block which is a unit of () are selectively extracted as class tap pixel data. The class code generation unit 158 generates a class code CL indicating the class to which the pixel block of interest belongs in the teacher signal ST.
The rest of the difference data generation device 210 shown in FIG. 18 is configured in the same manner as the coefficient seed data generation device 150 shown in FIG.
[0326]
Next, the operation of the difference data generation device 210 shown in FIG. 18 will be described.
First, a case where the difference data DF stored in the accumulation table 177 is pixel value difference data will be described. In this case, the changeover switches 172 and 174 are respectively connected to the b side.
[0327]
A teacher signal ST corresponding to the image signal Vb is supplied to the input terminal 151, and the teacher signal ST is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream. This MPEG2 stream is supplied to the MPEG2 decoder 153.
[0328]
The value of the parameter p is input to the MPEG2 decoder 153 so that the signal changes in accordance with the value of the parameter p in the decoding process. That is, in the present embodiment, as described above, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing the inverse discrete cosine transform (inverse DCT) according to the value of the parameter p. Is changed. Thereby, the student signal SS corresponding to the value of the parameter p is obtained.
[0329]
Of the teacher signal ST time-adjusted by the delay circuit 159, the pixel data y at the target position is supplied to the subtraction unit 175 via the b side of the changeover switch 174. Of the student signal SS output from the MPEG2 decoder 153, pixel data x corresponding to the position of interest in the teacher signal ST is supplied to the subtracting unit 175 via the b side of the changeover switch 172. Then, in the subtraction unit 175, the pixel data x is subtracted from the pixel data y to generate difference data df. The difference data df corresponding to each position of interest in the teacher signal ST sequentially output from the subtraction unit 175 is supplied to the accumulation control unit 176.
[0330]
Also, from the student signal SS obtained by the MPEG2 decoder 153, the pixel data of the class tap located around the target position in the teacher signal ST is selectively extracted by the tap selection circuit 155A. The pixel data of this class tap is supplied to the feature amount extraction unit 156. In the feature amount extraction unit 156, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code serving as first class information indicating a space class is generated.
[0331]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 153 is supplied to the additional information class generation unit 157. The additional information class generation unit 157 generates second class information indicating the additional information class based on the encoding control information.
[0332]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157 are supplied to the class code generation unit 158. The class code generation unit 158 generates a class code CL indicating the result of class classification based on the first class information and the second class information. The class code CL indicates a class to which pixel data (one piece) at the target position in the teacher signal ST belongs.
[0333]
The class code CL is supplied to the accumulation control unit 176. The accumulation control unit 176 is also supplied with the value of the parameter p input to the MPEG2 decoder 153. The accumulation control unit 176 performs an averaging process on the difference data df sequentially output from the subtraction unit 175 based on the class code CL and the value of the parameter p for each combination of the class and the parameter p. Is stored in the accumulation table 177 as difference data DF.
[0334]
Next, a case where the difference data DF stored in the accumulation table 177 is DCT coefficient difference data obtained by DCT processing will be described. In this case, the changeover switches 172 and 174 are respectively connected to the a side.
[0335]
A teacher signal ST corresponding to the image signal Vb is supplied to the input terminal 151, and the teacher signal ST is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream. This MPEG2 stream is supplied to the MPEG2 decoder 153.
[0336]
The value of the parameter p is input to the MPEG2 decoder 153 so that the signal changes in accordance with the value of the parameter p in the decoding process. That is, in the present embodiment, as described above, at least one of the DCT coefficient (frequency coefficient) or the inverse transform base used when performing the inverse discrete cosine transform (inverse DCT) according to the value of the parameter p. Is changed. Thereby, the student signal SS corresponding to the value of the parameter p is obtained.
[0337]
A DCT block obtained by performing DCT processing on a plurality of pixel data of the target pixel block (all pixel data in this block becomes pixel data at the target position) in the teacher signal ST obtained from the DCT circuit 173 The plurality of DCT coefficients y are supplied to the subtracting unit 175 via the a side of the changeover switch 174.
[0338]
The subtracting unit 175 also includes a plurality of DCT blocks obtained by performing DCT processing on a plurality of pixel data of the student signal SS corresponding to the target pixel block in the teacher signal ST obtained from the DCT circuit 171. DCT coefficients x are supplied through the a side of the changeover switch 172. The subtracting unit 175 then subtracts the plurality of DCT coefficients x from the plurality of DCT coefficients y to generate a plurality of difference data df. A plurality of difference data df corresponding to each target pixel block in the teacher signal ST sequentially output from the subtraction unit 175 is supplied to the accumulation control unit 176.
[0339]
Further, from the student signal SS obtained by the MPEG2 decoder 153, a plurality of pixel data corresponding to the pixel block of interest in the teacher signal ST is selectively extracted as class tap pixel data by the tap selection circuit 155A. The pixel data of this class tap is supplied to the feature amount extraction unit 156. In the feature amount extraction unit 156, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code serving as first class information indicating a space class is generated.
[0340]
Encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream by the MPEG decoder 153 is supplied to the additional information class generation unit 157. The additional information class generation unit 157 generates second class information indicating the additional information class based on the encoding control information.
[0341]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157 are supplied to the class code generation unit 158. The class code generation unit 158 generates a class code CL indicating the result of class classification based on the first class information and the second class information. The class code CL indicates the class to which the target position pixel block in the teacher signal ST belongs.
[0342]
The class code CL is supplied to the accumulation control unit 176. The accumulation control unit 176 is also supplied with the value of the parameter p input to the MPEG2 decoder 153. The accumulation control unit 176 performs an averaging process on each of the plurality of difference data df sequentially output from the subtraction unit 175 for each combination of the class and the parameter p based on the value of the class code CL and the parameter p. The result is stored in the accumulation table 177 as a plurality of difference data DF.
[0343]
As described above, the difference data generation device 210 illustrated in FIG. 18 generates the difference data DF for each combination of the class and parameter p values stored in the accumulation table 131 of the image signal processing unit 110B in FIG. Can do.
[0344]
Note that the processing in the image signal processing unit 110B of FIG. 17 can also be realized by software, for example, by an image signal processing device 300 as shown in FIG. In this case, the difference data is stored in advance in the ROM 302 or the like and used.
[0345]
A processing procedure for obtaining the image signal Vb from the image signal Va in the image signal processing apparatus 300 shown in FIG. 9 will be described with reference to the flowchart of FIG.
First, in step ST101, processing is started, and in step S102, for example, an image signal Va for one frame or one field is input into the apparatus from the input terminal 314. Thus, the pixel data constituting the image signal Va input from the input terminal 314 is temporarily stored in the RAM 303. When the image signal Va is recorded in advance in the hard disk drive 307 in the apparatus, the image signal Va is read from the drive 307, and the pixel data constituting the image signal Va is temporarily stored in the RAM 303. To do.
[0346]
In step ST103, it is determined whether or not processing of all frames or all fields of the image signal Va has been completed. If the process is finished, the process ends in step ST104. On the other hand, when the processing is not finished, step ST 105 Proceed to
[0347]
In step ST105, the value of the parameter p, which is an image quality designation value input by the user's operation of the remote control transmitter 200, is acquired from the RAM 303, for example. In step ST106, the pixel data of the class tap is acquired from the image signal Va input in step ST102 corresponding to the target position in the image signal Vb. In step ST107, a class code CL is generated from the pixel data of the class tap.
[0348]
Next, in step ST108, based on the value of the parameter p acquired in step ST105 and the class code CL generated in step ST107, the difference data DF corresponding to the value of the parameter p and the class code CL is obtained from the ROM 302 or the like. Read and temporarily store in RAM 303.
[0349]
Next, in step ST109, the difference data DF read in step ST108 is added to the pixel data x corresponding to the target position in the image signal Vb in the image signal Va, and the pixel at the target position in the image signal Vb. Data y is generated.
[0350]
Here, when the difference data DF stored in the ROM 302 or the like is the difference data of the DCT coefficient obtained by the DCT process, the pixel data y as the addition result is a DCT coefficient. Therefore, in step ST109, the inverse DCT is further performed. Process. In that case, DCT processing is performed on the image signal Va input in step ST102 described above, and the pixel data x corresponding to the target position in the image signal Vb is used as the DCT coefficient.
[0351]
Next, in step ST110, it is determined whether or not the processing for obtaining the pixel data of the image signal Vb in the entire region of the pixel data of the image signal Va for one frame or one field input in step ST102 is completed. When finished, step ST 102 Referring back to FIG. 4, the process proceeds to input processing of the image signal Va for the next one frame or one field. On the other hand, when the process has not ended, the process returns to step ST106, and the same process as described above is repeated.
[0352]
In this way, by performing processing according to the flowchart shown in FIG. 19, the pixel data of the input image signal Va can be processed, and the pixel data of the image signal Vb can be obtained. As described above, the image signal Vb obtained by such processing is output to the output terminal 315, supplied to the display 311 to display an image, and further supplied to the hard disk drive 305 to be supplied to the hard disk. Or is recorded.
[0353]
In step ST107, the class code CL is generated from the pixel data of the class tap. However, in addition to the image signal Va, encoding control information (picture information PI, motion vector information MI) related to the image signal Va is also input from the input terminal 314, and the image signal processing unit 110B in FIG. As in, the class code CL may be generated using this encoding control information.
Although illustration of the processing device is omitted, the processing in the differential data generation device 210 in FIG. 18 can also be realized by software.
[0354]
Referring to the flowchart of FIG. Difference A processing procedure for generating data will be described.
First, in step ST121, processing is started, and in step ST122, an image quality pattern (specified by the value of parameter p) is selected. In step ST123, it is determined whether or not the difference data DF generation processing has been completed for all image quality patterns. If the generation process of the difference data DF has not been completed for all image quality patterns, the process proceeds to step ST124.
[0355]
In this step ST124, the teacher signal is inputted for one frame or one field. In step ST125, it is determined whether or not processing of all the frames or fields of the teacher signal has been completed. If not completed, a student signal is generated in step ST126 based on the image quality pattern selected in step ST122 from the teacher signal input in step ST124.
[0356]
In step ST127, class tap pixel data is acquired from the student signal generated in step ST126, corresponding to the target position in the teacher signal input in step ST124. In step ST128, a class code CL is generated from the pixel data of the class tap.
[0357]
Next, in step ST129, the difference data df is obtained by subtracting the pixel data x of the student signal corresponding to the target position of the teacher signal from the pixel data y of the target position of the teacher signal. In addition, this step ST In 129, an averaging process is performed for each class based on the class code CL generated in step ST128, and difference data DF is generated.
[0358]
Next, in step ST130, it is determined whether or not the generation process of the difference data DF has been completed in all regions of the teacher signal input in step ST124. When the generation process of the difference data DF has been completed, the process returns to step ST124, the next one frame or one field of teacher signals are input, and the same process as described above is repeated. On the other hand, when the difference data generation process has not ended, the process returns to step ST127 and the same process as described above is repeated.
[0359]
When the process is completed in step ST125 described above, the process returns to step ST122, the next image quality pattern is selected, the same process as described above is repeated, and the difference of each class corresponding to the next image quality pattern is determined. Find the data DF.
[0360]
Here, when generating the difference data of the DCT coefficient obtained by the DCT process as the difference data DF, it is necessary to use the difference data df as the subtraction result as the DCT coefficient. In that case, DCT processing is performed on the teacher signal input in step ST124 described above, and pixel data y corresponding to the target position in the teacher signal is used as a DCT coefficient. Further, DCT processing is performed on the student signal generated in step ST126 described above, and pixel data x of the student signal corresponding to the target position in the teacher signal is used as a DCT coefficient.
[0361]
When the difference data DF calculation processing for all image quality patterns is completed in step ST123, the class difference data DF for all image quality patterns is stored in the memory in step ST131, and then step ST132 is performed. Then, the process ends.
[0362]
As described above, by performing the processing according to the flowchart shown in FIG. 20, the difference data DF can be obtained by the same method as that of the difference data generation device 210 shown in FIG. In step ST128, the class code CL is generated from the pixel data of the class tap. However, similar to the difference data generation device 210 of FIG. 18, the class code CL may be generated using also the encoding control information (picture information PI, motion vector information MI) related to the student signal.
[0363]
Next, another embodiment of the present invention will be described.
FIG. 21 shows the configuration of a digital broadcast receiver 100C as another embodiment. In FIG. 21, parts corresponding to those in FIG.
[0364]
The digital broadcast receiver 100C includes a microcomputer, and includes a system controller 101 for controlling the operation of the entire system, and a remote control signal receiving circuit 102 that receives a remote control signal. The remote control signal receiving circuit 102 is connected to the system controller 101, receives a remote control signal RM output from the remote control transmitter 200 according to a user operation, and supplies an operation signal corresponding to the signal RM to the system controller 101. Is configured to do.
[0365]
Also, the digital broadcast receiver 100C is supplied with a receiving antenna 105 and a broadcast signal (RF modulated signal) captured by the receiving antenna 105, performs channel selection processing, demodulation processing, error correction processing, etc. And a stream buffer 109 for temporarily storing the MPEG2 stream Vc output from the tuner unit 106. The tuner unit 106 obtains an MPEG2 stream as an encoded image signal.
[0366]
Also, the digital broadcast receiver 100C converts the MPEG2 stream Vc stored in the stream buffer 109 into a decoded image signal Vd that presents a user-desired image quality, and this image signal. And a display unit 111 that displays an image based on the image signal Vd output from the processing unit 110C.
[0367]
The operation of the digital broadcast receiver 100C shown in FIG. 21 will be described.
The MPEG2 stream Vc output from the tuner unit 106 is supplied to the stream buffer 109 and temporarily stored.
[0368]
In this way, the MPEG2 stream Vc stored in the stream buffer 109 is supplied to the image signal processing unit 110C and converted into a decoded image signal Vd that presents the user-desired image quality. In the image signal processing unit 110C, pixel data constituting the image signal Vd is obtained from the DCT coefficients constituting the MPEG2 stream Vc.
The image signal Vd output from the image signal processing unit 110C is supplied to the display unit 111, and an image based on the image signal Vd is displayed on the screen of the display unit 111.
[0369]
The user can adjust the resolution, block distortion, mosquito noise, or noise suppression degree in the image displayed on the screen of the display unit 111 as described above by operating the remote control transmitter 200. As will be described later, in the image signal processing unit 110C, pixel data of the image signal Vd is calculated by an estimation formula. As coefficient data of this estimation formula, the parameter p changed by the user's operation of the remote control transmitter 200 is used. The one corresponding to the value is generated and used by a generation formula including this parameter p. As a result, the resolution, block distortion, mosquito noise, or noise suppression degree in the image based on the image signal Vd output from the image signal processing unit 110C corresponds to the changed value of the parameter p.
[0370]
Details of the image signal processing unit 110C will be described. In this image signal processing unit 110C, parts corresponding to those of the image signal processing unit 110 shown in FIG.
[0371]
The image signal processing unit 110C includes a DCT coefficient extraction circuit 221 that extracts a DCT coefficient as a frequency coefficient from the MPEG2 stream Vc stored in the stream buffer 109, and variable-length encoding extracted by the extraction circuit 221 such as Huffman A variable-length decoding circuit 222 that performs variable-length decoding on the encoded DCT coefficients.
[0372]
The image signal processing unit 110C also includes a quantization characteristic designation information extraction circuit 223 that extracts quantization characteristic designation information from the MPEG2 stream Vc stored in the stream buffer 109, and a quantization characteristic extracted by the extraction circuit 223. And an inverse quantization circuit 224 that performs inverse quantization on the quantized DCT coefficient output from the variable length decoding circuit 222 based on the designation information.
[0373]
Further, the image signal processing unit 110C selectively extracts a DCT coefficient corresponding to the target position in the image signal Vd from the DCT coefficient output from the inverse quantization circuit 224, and the image signal from the reference image signal Vref described later. There are first and second tap selection circuits 225 and 226 for selectively extracting and outputting a plurality of pixel data located around the target position in Vd.
[0374]
The first tap selection circuit 225 selectively extracts a plurality of pixel data (including DCT coefficients) of prediction taps used for prediction. FIG. 2A shows an example of the arrangement of pixel data of prediction taps that are selectively extracted from the reference image signal Vref in the first tap selection circuit 225. In this figure, “◯” indicates the tap position of the prediction tap, and “X” indicates the position of interest. In the present embodiment, seven pieces of pixel data in the current field (shown by a solid line) and the previous field (shown by a broken line) are extracted as pixel data of a prediction tap.
[0375]
FIG. 22A shows an example of the DCT coefficient of the prediction tap that is selectively extracted from the DCT coefficient output from the inverse quantization circuit 224 in the first tap selection circuit 225. In the present embodiment, a pixel block to which the target position in the image signal Vd belongs (corresponding to an 8 × 8 small block serving as a unit of DCT processing) is a target pixel block, and a block of DCT coefficients corresponding to this target pixel block All DCT coefficients (hereinafter referred to as “DCT blocks”), that is, 64 (8 × 8) DCT coefficients are extracted as DCT coefficients of the prediction tap.
[0376]
The second tap selection circuit 226 selectively extracts a plurality of pixel data (including DCT coefficients) of class taps used for class classification. FIG. 2B shows an example of the arrangement of pixel data of class taps selectively extracted from the reference image signal Vref in the second tap selection circuit 226. In this figure, “◯” indicates the tap position of the prediction tap, and “X” indicates the position of interest. In the present embodiment, 13 pieces of pixel data in the current field (shown with solid lines) and the previous field (shown with broken lines) are extracted as pixel data of class taps.
[0377]
FIG. 22B shows an example of class tap DCT coefficients that are selectively extracted from the DCT coefficients output from the inverse quantization circuit 224 in the second tap selection circuit 226. In the present embodiment, 320 (8 × 8 × 5) DCTs of a total of five DCT blocks including a DCT block corresponding to the pixel block of interest and four DCT blocks adjacent in the vertical and horizontal directions. The coefficients are extracted as class tap DCT coefficients.
[0378]
In addition, the image signal processing unit 110C includes a feature amount extraction unit 123 that extracts feature amounts from pixel data (including DCT coefficients) of class taps selectively extracted by the second tap selection circuit 226. The feature amount extraction unit 123 generates an ADRC code as first class information indicating a space class by performing processing such as 1-bit ADRC (Adaptive Dynamic Range Coding) on the pixel data of the class tap.
[0379]
Also, the image signal processing unit 110C includes an encoding control information extraction circuit 227 that extracts encoding control information (picture information PI, motion vector information MI) as additional information from the MPEG2 stream Vc stored in the stream buffer 109. And an additional information class generation unit 124 that generates second class information indicating the additional information class based on the encoding control information extracted by the extraction circuit 227.
[0380]
In addition, the image signal processing unit 110C performs class classification based on the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124. A class code generation unit 125 that generates a class code CL indicating the result is included. The class code CL indicates the class to which the pixel data at the target position in the image signal Vd belongs.
[0381]
The image signal processing unit 110 </ b> C has a coefficient memory 126. The coefficient memory 126 stores, for each class, a plurality of coefficient data Wi (i = 1 to n) used in an estimation formula used in an estimated prediction calculation circuit 127 described later. The coefficient data Wi is information for converting the MPEG2 stream Vc into the image signal Vd. The class code CL output from the class code generation unit 125 described above is supplied to the coefficient memory 126 as read address information, and the coefficient data Wi of the estimation formula corresponding to the class code CL is read from the coefficient memory 126. , And supplied to the estimated prediction calculation circuit 127.
[0382]
The image signal processing unit 110 </ b> C has an information memory bank 128. In the estimated prediction calculation circuit 127 described later, the position of interest in the image signal Vd to be created is calculated from the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126 by the above-described estimation formula (1). Pixel data y is calculated. In Expression (1), n represents the number of prediction taps selected by the first tap selection circuit 225.
[0383]
The coefficient data Wi of this estimation formula is generated by a generation formula including the parameter p, as shown in the above formula (2). In the information memory bank 128, coefficient seed data w which is coefficient data in this generation formula is stored. _i0 ~ W _i3 Is stored for each class.
[0384]
In addition, the image signal processing unit 110 </ b> C receives coefficient class data w for each class. _i0 ~ W _i3 And a coefficient generation circuit 129 that generates coefficient data Wi (i = 1 to n) of an estimation expression corresponding to the value of the parameter p for each class, using the value of the parameter p and the value of the parameter p. Yes. The coefficient generation circuit 129 receives from the information memory bank 128 the coefficient seed data w of each class described above. _i0 ~ W _i3 Is loaded. The coefficient generation circuit 129 is supplied with the value of the parameter p from the system controller 101.
[0385]
The coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 129 is stored in the coefficient memory 126 described above. The generation of coefficient data Wi for each class in the coefficient generation circuit 129 is performed, for example, in each vertical blanking period. Thereby, even if the value of the parameter p is changed by the user's operation of the remote control transmitter 200, the coefficient data Wi of each class stored in the coefficient memory 126 is immediately changed to the one corresponding to the value of the parameter p. The user can smoothly adjust the resolution, block distortion, mosquito noise, noise suppression degree, and the like.
[0386]
Here, the coefficient seed data w stored in the information memory bank 128 as described above. _i0 ~ W _i3 Will be further described. This coefficient seed data w _i0 ~ W _i3 Is generated in advance based on the student signal obtained by processing the MPEG2 stream encoded in the same manner as the MPEG2 stream Vc stored in the stream buffer 109 described above according to the value of the parameter p.
[0387]
That is, this coefficient seed data w _i0 ~ W _i3 Are respectively generated according to a plurality of values of the parameter p, and are generated in advance using a plurality of student signals corresponding to the MPEG2 stream Vc and a teacher signal corresponding to the image signal Vd. In this case, a student signal corresponding to the value of the parameter p is obtained by processing an MPEG2 stream obtained by MPEG2 encoding the teacher signal according to the value of the parameter p. In this case, the DCT coefficient (frequency coefficient) is changed according to the value of the parameter p.
[0388]
For example, it is possible to obtain a plurality of student signals by changing the gain according to the value of the parameter p while setting the gain of all AC coefficients of the DCT coefficients to the same value. The coefficient seed data w generated in advance in the information memory bank 128 using the student signal thus obtained. _i0 ~ W _i3 Is stored, the resolution of the image obtained by the image signal Vd can be adjusted stepwise according to the value of the parameter p.
[0389]
Further, for example, a plurality of student signals can be obtained by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the block distortion of the image obtained by the image signal Vd described above can be adjusted stepwise according to the value of the parameter p.
[0390]
In addition, for example, a plurality of student signals can be obtained by reducing the gain of the AC coefficient of the DCT coefficient as the frequency increases and changing the degree of decrease in the gain of the AC coefficient according to the parameter value. Can do. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the mosquito noise of the image obtained by the image signal Vd can be adjusted stepwise according to the value of the parameter p.
[0390]
Further, for example, a plurality of student signals can be obtained by adding random noise to the DCT coefficient and changing the level of the random noise in accordance with the value of the parameter p. The coefficient seed data w generated in advance in the information memory bank 128 using the plurality of student signals thus obtained. _i0 ~ W _i3 Is stored, the noise suppression degree of the image obtained by the image signal Vd can be adjusted stepwise according to the value of the parameter p.
[0392]
In addition, the image signal processing unit 110 </ b> C uses the pixel data (including DCT coefficients) xi of the prediction tap selectively extracted by the first tap selection circuit 225 and the coefficient data Wi read from the coefficient memory 126 as (1 The estimation prediction calculation circuit 127 that calculates pixel data y of the target position in the image signal Vd to be created is provided by the estimation formula (1).
[0393]
The image signal processing unit 110 </ b> C includes a prediction memory circuit 228. The prediction memory circuit 228 stores image signals of an I picture (Intra-Picture) and a P picture (Predictive-Picture) in a memory (not shown), and uses these image signals to use an inverse quantization circuit 224. When a DCT coefficient related to a P picture or a B picture (Bidirectionally predictive-Picture) is output, the corresponding reference image signal Vref is generated and supplied to the first and second tap selection circuits 225 and 226. Incidentally, when the DCT coefficient related to the I picture is output from the inverse quantization circuit 224, the reference image signal Vref is not supplied to the first and second tap selection circuits 225 and 226.
[0394]
In addition, the image signal processing unit 110C includes a picture selection circuit 229. The picture selection circuit 229 supplies the image signals of the I picture and P picture output from the estimated prediction calculation circuit 127 to the prediction memory circuit 228 and stores them in the memory, and also outputs each of the image signals output from the estimated prediction calculation circuit 127. The picture signals of pictures are rearranged in the correct order and output.
[0395]
The motion vector information MI extracted by the extraction circuit 227 described above is supplied to the prediction memory circuit 228, and the prediction memory circuit 228 performs motion compensation when generating the reference image signal using the motion vector information MI. The picture information PI extracted by the extraction circuit 227 is supplied to the prediction memory circuit 228 and the picture selection circuit 229, and the prediction memory circuit 228 and the picture selection circuit 229 identify pictures based on the picture information PI. .
[0396]
Next, the operation of the image signal processing unit 110C will be described.
The MPEG2 stream Vc stored in the stream buffer 109 is supplied to the extraction circuit 221 to extract DCT coefficients as frequency coefficients. This DCT coefficient is variable length encoded, and this DCT coefficient is supplied to the variable length decoding circuit 222 and decoded. Then, the quantized DCT coefficient output from the variable length decoding circuit 222 is supplied to the inverse quantization circuit 224 and subjected to inverse quantization.
[0397]
In the second tap selection circuit 226, a plurality of class tap pixel data (including DCT coefficients) is selectively extracted. That is, the DCT coefficient corresponding to the target position in the image signal Vd is selectively extracted from the DCT coefficient output from the inverse quantization circuit 224, and the image signal is output from the reference image signal Vref supplied from the prediction memory circuit 228. A plurality of pixel data located around the target position in Vd are selectively extracted.
[0398]
As described above, the pixel data of the class tap extracted by the second tap selection circuit 226 is supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code as first class information indicating a space class is generated.
[0399]
Also, the encoding control information (picture information PI, motion vector information MI) extracted from the MPEG2 stream Vc by the extraction circuit 227 is supplied to the additional information class generation unit 124. The additional information class generation unit 124 generates second class information indicating the additional information class based on the encoding control information.
[0400]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 123 and the second class information generated by the additional information class generation unit 124 are supplied to the class code generation unit 125. The class code generation unit 125 generates a class code CL indicating the result of class classification based on the first class information and the second class information.
[0401]
The class code CL represents the detection result of the class to which the pixel data at the target position in the image signal Vd belongs. The class code CL is supplied to the coefficient memory 126 as read address information. The coefficient memory 126 stores, for each class, coefficient seed data w for each class corresponding to the value of the parameter p adjusted by the user by the coefficient generation circuit 129 in each vertical blanking period. _i0 ~ W _i3 Is used to determine and store coefficient data Wi (i = 1 to n) of the estimation formula (see formula (2)).
[0402]
As described above, the class code CL is supplied to the coefficient memory 126 as read address information, whereby the coefficient data Wi corresponding to the class code CL is read from the coefficient memory 126 and supplied to the estimated prediction calculation circuit 127. The
[0403]
The first tap selection circuit 225 selectively extracts a plurality of pixel data (including DCT coefficients) of the prediction tap. That is, the DCT coefficient corresponding to the target position in the image signal Vd is selectively extracted from the DCT coefficient output from the inverse quantization circuit 224, and the image signal is output from the reference image signal Vref supplied from the prediction memory circuit 228. A plurality of pixel data located around the target position in Vd are selectively extracted. In this way, the pixel data of the prediction tap extracted by the first tap selection circuit 265 is supplied to the estimated prediction calculation circuit 127.
[0404]
The estimated prediction calculation circuit 127 uses the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126 to draw attention in the image signal Vd to be created based on the estimation expression (see Expression (1)). Pixel data y at the position is obtained. The picture signals of the pictures output from the estimated prediction calculation circuit 127 are rearranged in the correct order by the picture selection circuit 229 and output as an image signal Vd.
[0405]
Thus, in the image signal processing unit 110C, the pixel data y is calculated using the coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the value of the parameter p. Therefore, the user can arbitrarily adjust the resolution, block distortion, mosquito noise, or noise suppression degree of the image by the image signal Vd by changing the value of the parameter p.
[0406]
Also, coefficient seed data w for generating the coefficient data Wi _i0 ~ W _i3 Is generated in advance based on a student signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream Vc stored in the stream buffer 109 described above according to the value of the parameter p. Only the specific quality of the image based on the image signal Vd, for example, only the resolution, only the block distortion, only the mosquito noise, or only the noise suppression level can be adjusted stepwise.
[0407]
Coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110C in FIG. _i0 ~ W _i3 The coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110 in FIG. _i0 ~ W _i3 In the same manner as above, it is generated by learning between a plurality of student signals and teacher signals (see FIG. 3).
[0408]
FIG. 23 shows coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110C described above. _i0 ~ W _i3 The configuration of the coefficient seed data generation device 150C for generating In FIG. 23, portions corresponding to those in FIG.
[0409]
The coefficient seed data generation device 150C includes an input terminal 151 to which a teacher signal ST corresponding to the image signal Vd is input, and an MPE2 code that encodes the teacher signal ST to obtain an MPEG2 stream that is a student signal SS. Generator 152.
[0410]
The coefficient seed data generation device 150C also includes a DCT coefficient extraction circuit 231 that extracts a DCT coefficient as a frequency coefficient from the student signal SS obtained by the MPEG2 encoder 152, and a variable length encoding extracted by the extraction circuit 231. For example, it has a variable length decoding circuit 232 that performs variable length decoding on DCT coefficients that are Huffman encoded.
[0411]
The coefficient seed data generation device 150C also includes a quantization characteristic designation information extraction circuit 233 that extracts quantization characteristic designation information from the student signal SS obtained by the MPEG2 encoder 152, and a quantization that is extracted by the extraction circuit 233. And an inverse quantization circuit 234 that performs inverse quantization on the quantized DCT coefficient output from the variable length decoding circuit 232 based on the characteristic designation information.
[0412]
The value of the parameter p is input to the inverse quantization circuit 234. In the inverse quantization circuit 234, the signal is changed in accordance with the value of the parameter p in the process of inverse quantization signal processing, and the DCT coefficient related to the student signal corresponding to the value of the parameter p is obtained. It is done. In the present embodiment, the DCT coefficient (frequency coefficient) is changed.
[0413]
For example, DCT coefficients related to a plurality of student signals can be obtained by changing the gain according to the value of the parameter p while setting the gains of all the AC coefficients of the DCT coefficients to the same value. Here, if the original AC coefficient is AC [m] and the gain is gain, the new AC coefficient newAC [m] is newAC [m] = AC [m] * gain. In this case, since the correlation between the AC coefficients can be maintained, the coefficient seed data w generated using the DCT coefficients related to the plurality of student signals obtained in this way. _i0 ~ W _i3 The resolution of the image obtained by the image signal Vd described above can be adjusted stepwise according to the value of the parameter p.
[0414]
Further, for example, by changing the quantization step of the DC coefficient among the DCT coefficients according to the value of the parameter p, it is possible to obtain DCT coefficients related to a plurality of student signals. Here, assuming that the original DC coefficient is DC [m], the original quantization step is Qst, and the new quantization step is newQst, the new DC coefficient newDC [m] is newDC [m] = {DC [ m] * Qst / newQst}. {} Represents an integer operation. In this case, the variation of the DC coefficient can be manipulated, and the coefficient seed data w generated using the DCT coefficients related to the plurality of student signals obtained in this way. _i0 ~ W _i3 The block distortion of the image obtained by the image signal Vd can be adjusted stepwise according to the value of the parameter p.
[0415]
Further, for example, by reducing the gain of the AC coefficient of the DCT coefficient as the high frequency region is changed, and the degree of decrease in the high frequency gain of the AC coefficient is changed according to the value of the parameter p, DCT coefficients can be obtained. Here, if the original AC coefficient is AC [m] and the gain is gain [m], the new AC coefficient newAC [m] is newAC [m] = AC [m] * gain [m]. In this case, the correlation between the AC coefficients is broken stepwise, and coefficient seed data w generated using the DCT coefficients related to the plurality of student signals obtained in this way. _i0 ~ W _i3 Can adjust the mosquito noise of the image obtained by the image signal Vd in a stepwise manner in accordance with the value of the parameter p.
[0416]
Further, for example, by adding random noise to the DCT coefficient and changing the level of the random noise according to the value of the parameter p, DCT coefficients related to a plurality of student signals can be obtained. When the original AC coefficient is AC [m] and the random noise is rdmN, the new AC coefficient newAC [m] is newAC [m] = AC [m] + rdmN. Similarly, if the original DC coefficient is DC [m] and the random noise is rdmN, the new DC coefficient newDC [m] is newDC [m] = DC [m] + rdmN. In this case, coefficient level data w generated using DCT coefficients related to a plurality of student signals obtained by switching the level of random noise in stages. _i0 ~ W _i3 Can adjust the noise suppression degree of the image obtained by the image signal Vd in a stepwise manner in accordance with the value of the parameter p.
[0417]
Further, the coefficient seed data generation device 150C selectively extracts a DCT coefficient corresponding to the target position in the image signal Vd from the DCT coefficient output from the inverse quantization circuit 234, and also extracts an image from a reference image signal Vref described later. There are first and second tap selection circuits 235 and 236 that selectively extract and output a plurality of pixel data located around the target position in the signal Vd. The first and second tap selection circuits 235 and 236 are configured in the same manner as the first and second tap selection circuits 225 and 226 of the image signal processing unit 110C described above, respectively.
[0418]
The coefficient seed data generation device 150 </ b> C includes a feature amount extraction unit 156 that extracts a feature amount from the class tap pixel data that is selectively extracted by the second tap selection circuit 236. The feature amount extraction unit 156 is configured in the same manner as the feature amount extraction unit 123 of the image signal processing unit 110C described above, and generates an ADRC code as first class information indicating a space class.
[0419]
The coefficient seed data generation device 150C extracts encoding control information (picture information PI, motion vector information MI) as additional information from the student signal SS obtained by the MPEG2 encoder 152, and an encoding control information extraction circuit 237. And an additional information class generation unit 157 that generates second class information indicating the additional information class based on the encoding control information extracted by the extraction circuit 237. The additional information class generation unit 157 is configured in the same manner as the additional information class generation unit 124 of the image signal processing unit 110C described above.
[0420]
Further, the coefficient seed data generation device 150C performs class classification based on the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157. A class code generation unit 158 that generates a class code CL indicating the result of the above. The class code generation unit 158 is configured in the same manner as the class code generation unit 125 of the image signal processing unit 110C described above.
[0421]
Further, the coefficient seed data generation device 150C has a delay circuit 159 for adjusting the time of the teacher signal ST supplied to the input terminal 151, and each attention position obtained from the teacher signal ST adjusted in time by the delay circuit 159. Pixel data y, prediction tap pixel data xi selectively extracted by the first tap selection circuit 235 in correspondence with the pixel data y of each target position, the value of the parameter p, and each target position Coefficient seed data w for each class from the class code CL generated by the class code generating unit 158 corresponding to each pixel data y. _i0 ~ W _i3 A normal equation generating unit 160 for generating a normal equation (see equation (9)) for obtaining
[0422]
In this case, one piece of learning data is generated by a combination of one piece of pixel data y and pixel data xi of n prediction taps corresponding to the piece of pixel data y, but the inverse quantization circuit 234 depends on the value of the parameter p. The DCT coefficients related to a plurality of student signals are sequentially obtained from the, and learning data is generated between the teacher signal and each student signal. As a result, the normal equation generation unit 160 generates a normal equation in which many pieces of learning data having different values of the parameter p are registered, and the coefficient seed data w _i0 ~ W _i3 Can be obtained.
[0423]
Further, the coefficient seed data generation device 150C is supplied with data of normal equations generated for each class by the normal equation generation unit 160, solves the normal equations, and generates coefficient seed data w for each class. _i0 ~ W _i3 Is provided with a coefficient seed data determining unit 161 and a coefficient seed memory 162 for storing the obtained coefficient seed data. In the coefficient seed data determination unit 161, the normal equation is solved, for example, by a sweeping method, and coefficient coefficient data is obtained.
[0424]
The coefficient seed data generation device 150 </ b> C includes a prediction memory circuit 238. The prediction memory circuit 228 stores in the memory (not shown) the image signals of the I picture and the P picture of the student signal SS among the teacher signals ST time-adjusted by the delay circuit 159, and also stores these image signals. When the DCT coefficient related to the P picture or B picture is output from the inverse quantization circuit 234, the corresponding reference image signal Vref is generated and supplied to the first and second tap selection circuits 235 and 236. Incidentally, when the DCT coefficient related to the I picture is output from the inverse quantization circuit 234, the reference image signal Vref is not supplied to the first and second tap selection circuits 235 and 236.
[0425]
The coefficient seed data generation device 150C has a picture selection circuit 239. The picture selection circuit 239 supplies the image signals of the I picture and the P picture among the teacher signals ST adjusted in time by the delay circuit 159 to the prediction memory circuit 238 and stores them in the memory.
[0426]
The motion vector information MI extracted by the extraction circuit 237 is supplied to the prediction memory circuit 238, and the prediction memory circuit 238 performs motion compensation when generating the reference image signal Vref using the motion vector information MI. The picture information PI extracted by the extraction circuit 237 is supplied to the prediction memory circuit 238 and the picture selection circuit 239, and the prediction memory circuit 238 and the picture selection circuit 239 identify pictures based on the picture information PI. .
[0427]
The operation of the coefficient seed data generation device 150C shown in FIG. 23 will be described.
A teacher signal ST corresponding to the image signal Vd is supplied to the input terminal 151. The teacher signal ST is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream as the student signal SS. .
[0428]
The student signal SS obtained by the MPEG2 encoder 152 is supplied to the extraction circuit 231 to extract DCT coefficients as frequency coefficients. This DCT coefficient is variable-length encoded, and this DCT coefficient is supplied to the variable-length decoding circuit 232 and decoded. Then, the quantized DCT coefficient output from the variable length decoding circuit 232 is supplied to the inverse quantization circuit 234 and subjected to inverse quantization.
[0429]
The value of the parameter p is input to the inverse quantization circuit 234. In the inverse quantization circuit 234, the signal changes in accordance with the value of the parameter p in the process of inverse quantization signal processing. That is, in the present embodiment, as described above, the DCT coefficient is changed according to the value of the parameter p. Thereby, the DCT coefficient concerning the student signal corresponding to the value of the parameter p is obtained.
[0430]
Further, the second tap selection circuit 236 selectively extracts a plurality of pixel data (including DCT coefficients) of the class tap. That is, the DCT coefficient corresponding to the target position in the teacher signal ST is selectively extracted from the DCT coefficient output from the inverse quantization circuit 234, and the teacher signal is received from the reference image signal Vref supplied from the prediction memory circuit 228. A plurality of pixel data located around the target position in ST are selectively extracted.
[0431]
Thus, the pixel data of the class tap extracted by the second tap selection circuit 236 is supplied to the feature amount extraction unit 156. In the feature amount extraction unit 156, processing such as 1-bit ADRC is performed on the pixel data of the class tap, and an ADRC code serving as first class information indicating a space class is generated.
[0432]
Also, the encoding control information (picture information PI, motion vector information MI) extracted from the student signal SS by the extraction circuit 237 is supplied to the additional information class generation unit 157. The additional information class generation unit 157 generates second class information indicating the additional information class based on the encoding control information.
[0433]
Then, the first class information (ADRC code) generated by the feature amount extraction unit 156 and the second class information generated by the additional information class generation unit 157 are supplied to the class code generation unit 158. The class code generation unit 158 generates a class code CL indicating the result of class classification based on the first class information and the second class information.
[0434]
The first tap selection circuit 235 selectively extracts a plurality of pixel data (including DCT coefficients) of the prediction tap. That is, the DCT coefficient corresponding to the position of interest in the teacher signal ST is selectively extracted from the DCT coefficient output from the inverse quantization circuit 234, and the teacher signal from the reference image signal Vref supplied from the prediction memory circuit 238. A plurality of pixel data located around the target position in ST are selectively extracted.
[0435]
The pixel data y of each target position obtained from the teacher signal ST time-adjusted by the delay circuit 159 and the first tap selection circuit 235 selectively extract the pixel data y corresponding to each pixel data y of each target position. The normal equation generation unit 160 uses the predicted tap pixel data xi, the value of the parameter p, and the class code CL generated by the class code generation unit 158 corresponding to the pixel data y of each target position. Coefficient seed data w for each class _i0 ~ W _i3 A normal equation (see equation (9)) is obtained.
[0436]
Then, the coefficient seed data determination unit 161 solves each normal equation, and the coefficient seed data w for each class. _i0 ~ W _i3 Are obtained, and their coefficient seed data w _i0 ~ W _i3 Is stored in the coefficient seed memory 162.
[0437]
As described above, in the coefficient seed data generation device 150C shown in FIG. 23, it is used in the estimation formula (see formula (1)) for each class stored in the information memory bank 128 of the image signal processing unit 110C in FIG. Coefficient data w which is coefficient data in a generation formula (see formula (2)) for obtaining the coefficient data Wi _i0 ~ W _i3 Can be generated.
[0438]
In the coefficient seed data generation device 150C shown in FIG. 23, the reference image signal Vref is generated based on the time-adjusted teacher signal ST. However, the present invention is not limited to this. As shown in FIG. 24, an arithmetic circuit 239A may be provided, and the reference image signal Vref may be generated based on the image signal generated by the arithmetic circuit 239A.
[0439]
The arithmetic circuit 239A is supplied with the pixel data xi of the prediction tap selectively extracted by the first tap selection circuit 235, the value of the parameter p, and the class code CL generated by the class code generation unit 158. The Although detailed description is omitted, the arithmetic circuit 239A is configured in the same manner as the estimated prediction arithmetic circuit 127, the coefficient memory 126, the coefficient generation circuit 129, and the information memory bank 128 in the image signal processing unit 110C shown in FIG. Yes. In the information memory bank 128, coefficient seed data w generated in advance in a system different from the coefficient seed data generating apparatus 150C shown in FIG. _i0 ~ W _i3 Is stored.
[0440]
In the image signal processing unit 110C of FIG. 21, the generation formula of the formula (2) is used to generate the coefficient data Wi (i = 1 to n), but it is expressed by a polynomial having a different order or another function. It is also possible to use this formula.
Further, in the image signal processing unit 110 </ b> C of FIG. 21, in addition to the first class information (ADRC code) indicating the space class output from the feature amount extraction unit 123, the additional information generated by the additional information class generation unit 124. Based on the second class information indicating the class, the class code generation unit 125 generates the class code CL. However, the class code CL may be generated using only the first class information. However, by generating the class code CL in consideration of the second class information, finer classification can be performed, and the generation accuracy of the pixel data of the image signal Vd can be increased.
[0441]
Although detailed description is omitted, the processing in the image signal processing unit 110C in FIG. 21 is performed by software, for example, by the image signal processing device 300 shown in FIG. 9 as in the processing in the image signal processing unit 110 in FIG. It can also be realized (see the flowchart of FIG. 10). Further, although detailed description is omitted, the processing in the coefficient seed data generation device 150C in FIGS. 23 and 24 can also be realized by software in the same manner as the processing in the coefficient seed data generation device 150 in FIG. (Refer to the flowchart of FIG. 11).
[0442]
23 and 24 correspond to the coefficient seed data generation device 150 shown in FIG. 4, but correspond to the coefficient seed data generation device 150A shown in FIG. You can also That is, the coefficient data Wi of each class corresponding to each value of the parameter p is obtained, and thereafter, the coefficient data Wi of each class corresponding to each value of the parameter p is used to calculate the coefficient seed data w of each class. _i0 ~ W _i3 Is what you want.
[0443]
In the image signal processing unit 110C shown in FIG. 21, the coefficient seed data w stored in the information memory bank 128 is used. _i0 ~ W _i3 The coefficient generation circuit 129 generates the coefficient data Wi for each class corresponding to the value of the parameter p, and stores the coefficient data Wi for each class in the coefficient memory 126 for use. However, like the image signal processing unit 110A of FIG. 13, the coefficient data Wi of each combination of the class and the parameter p is stored in the information memory bank 128A, and the coefficient data of each class corresponding to the value of the parameter p. Wi may be configured to be loaded from the information memory bank 128A into the coefficient memory 126 and used.
[0444]
Next, still another embodiment of the present invention will be described.
FIG. 25 shows a configuration of a digital broadcast receiver 100D as still another embodiment. In FIG. 25, portions corresponding to those in FIGS. 1 and 21 are denoted by the same reference numerals.
[0445]
The digital broadcast receiver 100D includes a microcomputer, and includes a system controller 101 for controlling the operation of the entire system, and a remote control signal receiving circuit 102 that receives a remote control signal. The remote control signal receiving circuit 102 is connected to the system controller 101, receives a remote control signal RM output from the remote control transmitter 200 according to a user operation, and supplies an operation signal corresponding to the signal RM to the system controller 101. Is configured to do.
[0446]
Also, the digital broadcast receiver 100D is supplied with a receiving antenna 105 and a broadcast signal (RF modulated signal) captured by the receiving antenna 105, and performs a channel selection process, a demodulation process, an error correction process, and the like, and a predetermined program And a stream buffer 109 for temporarily storing the MPEG2 stream Vc output from the tuner unit 106. The tuner unit 106 obtains an MPEG2 stream as an encoded image signal.
[0447]
The digital broadcast receiver 100D also converts the MPEG2 stream Vc stored in the stream buffer 109 into a decoded image signal Vd that presents the user-desired image quality, and this image signal. And a display unit 111 that displays an image based on the image signal Vd output from the processing unit 110D.
[0448]
The operation of the digital broadcast receiver 100D shown in FIG. 25 will be described.
The MPEG2 stream Vc output from the tuner unit 106 is supplied to the stream buffer 109 and temporarily stored.
[0449]
The MPEG2 stream Vc stored in the stream buffer 109 in this way is supplied to the image signal processing unit 110D and converted into a decoded image signal Vd that presents the user-desired image quality. In this image signal processing unit 110D, a new DCT coefficient for obtaining the image signal Vd is obtained from the DCT coefficient constituting the MPEG2 stream Vc, and the inverse DCT is performed on the new DCT coefficient to obtain the image signal Vd. It is done.
The image signal Vd output from the image signal processing unit 110D is supplied to the display unit 111, and an image based on the image signal Vd is displayed on the screen of the display unit 111.
[0450]
The user can adjust the resolution, block distortion, mosquito noise, or noise suppression degree in the image displayed on the screen of the display unit 111 as described above by operating the remote control transmitter 200. As will be described later, in the image signal processing unit 110D, the DCT coefficient for obtaining the image signal Vd is calculated by the estimation formula. The coefficient data of the estimation formula is changed by the user's operation of the remote control transmitter 200. A value corresponding to the value of the parameter p is generated and used by a generation formula including the parameter p. As a result, the resolution, block distortion, mosquito noise, or noise suppression degree in the image based on the image signal Vd output from the image signal processing unit 110D corresponds to the changed value of the parameter p.
[0451]
Details of the image signal processing unit 110D will be described. In this image signal processing unit 110D, portions corresponding to those of the image signal processing unit 110 shown in FIG. 1 and the image signal processing unit 110C shown in FIG. 21 are denoted by the same reference numerals, and detailed description thereof is omitted.
The image signal processing unit 110D extracts an extraction circuit 221 that extracts a DCT coefficient as a frequency coefficient from the MPEG2 stream Vc stored in the stream buffer 109, and variable-length coding extracted by the extraction circuit 221 such as Huffman coding And a variable length decoding circuit 222 that performs variable length decoding on the DCT coefficients.
[0452]
The image signal processing unit 110D also includes a quantization characteristic designation information extraction circuit 223 that extracts quantization characteristic designation information from the MPEG2 stream Vc stored in the stream buffer 109, and a quantization characteristic extracted by the extraction circuit 223. And an inverse quantization circuit 224 that performs inverse quantization on the quantized DCT coefficient output from the variable length decoding circuit 222 based on the designation information.
[0453]
Further, the image signal processing unit 110D first and second tap selection circuits that selectively extract and output the DCT coefficient corresponding to the position of interest in the image signal Vd from the DCT coefficient output from the inverse quantization circuit 224. 241,242.
[0454]
The first tap selection circuit 241 selectively extracts a plurality of DCT coefficients of a prediction tap used for prediction. FIG. 22A shows an example of a DCT coefficient of a prediction tap that is selectively extracted from the DCT coefficient output from the inverse quantization circuit 224 in the first tap selection circuit 241. In the present embodiment, a DCT block for obtaining a pixel block of interest of the image signal Vd is a target DCT block, and all DCT coefficients of the DCT block corresponding to this target DCT block, that is, 64 (8 × 8) pieces of DCT blocks. The DCT coefficient is extracted as the DCT coefficient of the prediction tap.
[0455]
The second tap selection circuit 242 selectively extracts a plurality of DCT coefficients of class taps used for class classification. FIG. 22B shows an example of DCT coefficients of class taps that are selectively extracted from the DCT coefficients output from the inverse quantization circuit 224 in the second tap selection circuit 242. In the present embodiment, 320 (8 × 8 × 5) DCTs of a total of five DCT blocks including a DCT block corresponding to the target DCT block and four DCT blocks adjacent in the vertical and horizontal directions. The coefficients are extracted as class tap DCT coefficients.
[0456]
The image signal processing unit 110 </ b> D includes a feature amount extraction unit 123 that extracts a feature amount from the class tap DCT coefficients selectively extracted by the second tap selection circuit 242. The feature amount extraction unit 123 generates an ADRC code as the class code CL by performing processing such as 1-bit ADRC on the DCT coefficient of the class tap. This class code CL indicates the class to which the target DCT block belongs.
[0457]
The image signal processing unit 110D has a coefficient memory 126. The coefficient memory 126 stores, for each class, a plurality of coefficient data Wi (i = 1 to n) used in an estimation formula used in an estimated prediction calculation circuit 127 described later. The coefficient data Wi is information for converting the DCT coefficient of the MPEG2 stream Vc into a new DCT coefficient for obtaining the image signal Vd.
[0458]
The class code CL output from the above-described feature amount extraction unit 123 is supplied to the coefficient memory 126 as read address information. From the coefficient memory 126, the coefficient data Wi of the estimation formula corresponding to the class code CL is read and supplied to the estimated prediction calculation circuit 127. In this case, coefficient data Wi corresponding to the number of DCT coefficients in the target DCT block is supplied to the estimated prediction calculation circuit 127 in order to calculate all DCT coefficients constituting the target DCT block.
[0459]
Further, the image signal processing unit 110D has an information memory bank 128. In the estimated prediction calculation circuit 127, the DCT coefficient y constituting the target DCT block is calculated from the pixel data xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126 by the estimation formula of the above-described formula (1). The In the expression (1), n represents the number of prediction taps selected by the first tap selection circuit 241.
[0460]
The coefficient data Wi of this estimation formula is generated by a generation formula including the parameter p, as shown in the above formula (2). In the information memory bank 128, coefficient seed data w which is coefficient data in this generation formula is stored. _i0 ~ W _i3 Is stored for each class. In this case, coefficient seed data w for each class _i0 ~ W _i3 Is a plurality of sets of coefficient seed data w respectively corresponding to each DCT coefficient of the DCT block of interest. _i0 ~ W _i3 It is made up of.
[0461]
In addition, the image signal processing unit 110D performs coefficient seed data w for each class. _i0 ~ W _i3 And a coefficient generation circuit 129 that generates coefficient data Wi (i = 1 to n) of an estimation expression corresponding to the value of the parameter p for each class, using the value of the parameter p and the value of the parameter p. Yes. The coefficient generation circuit 129 receives from the information memory bank 128 the coefficient seed data w of each class described above. _i0 ~ W _i3 Is loaded. The coefficient generation circuit 129 is supplied with the value of the parameter p from the system controller 101.
[0462]
The coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation circuit 129 is stored in the coefficient memory 126 described above. The generation of coefficient data Wi for each class in the coefficient generation circuit 129 is performed, for example, in each vertical blanking period. Thereby, even if the value of the parameter p is changed by the operation of the remote control transmitter 200, the coefficient data Wi of each class stored in the coefficient memory 126 can be immediately changed to one corresponding to the value of the parameter p, The user can smoothly adjust the resolution, block distortion, mosquito noise, noise suppression degree, and the like.
[0463]
Here, coefficient seed data w stored in the information memory bank 128 _i0 ~ W _i3 Is the coefficient seed data w stored in the information memory bank 128 of the image signal processor 110C of FIG. _i0 ~ W _i3 Similarly, the MPEG2 stream encoded in the same manner as the MPEG2 stream Vc stored in the stream buffer 109 is generated in advance based on the student signal obtained by processing according to the value of the parameter p. Thereby, the resolution, block distortion, mosquito noise, noise suppression degree, and the like of the image obtained from the image signal Vd can be adjusted stepwise according to the value of the parameter p.
[0464]
In addition, the image signal processing unit 110D stores, in a memory (not shown), an inverse DCT circuit 243 that performs inverse DCT on the DCT coefficient output from the estimated prediction calculation circuit 127, and image signals of I and P pictures. And a prediction memory circuit 244 that generates and outputs a corresponding reference image signal Vref when an image signal of a P picture or a B picture is output from the inverse DCT circuit 243 using these image signals. Yes.
[0465]
In addition, when the inverse DCT circuit 243 outputs an image signal of a P picture or a B picture, the image signal processing unit 110D adds the reference image signal Vref generated by the prediction memory circuit 244 to the image signal. have. Note that when the image signal of the I picture is output from the inverse DCT circuit 243, the reference image signal Vref is not supplied from the prediction memory circuit 244 to the adder circuit 245. The image signal of the I picture is output as it is.
[0466]
In addition, the image signal processing unit 110D supplies the I-picture and P-picture image signals output from the adder circuit 245 to the prediction memory circuit 244 and stores them in the memory, and also stores each picture output from the adder circuit 245. A picture selection circuit 246 that rearranges the image signals in the correct order and outputs them as an image signal Vd.
[0467]
The image signal processing unit 110D has an extraction circuit 227 that extracts encoding control information, that is, picture information PI and motion vector information MI, from the MPEG2 stream stored in the stream buffer 109. The motion vector information MI extracted by the extraction circuit 227 is supplied to the prediction memory circuit 244, and the prediction memory circuit 244 performs motion compensation when generating the reference image signal Vref using the motion vector information MI. The picture information PI extracted by the extraction circuit 227 is supplied to the prediction memory circuit 244 and the picture selection circuit 246, and the prediction memory circuit 244 and the picture selection circuit 246 identify pictures based on the picture information PI. .
[0468]
Next, the operation of the image signal processing unit 110D will be described.
The MPEG2 stream Vc stored in the stream buffer 109 is supplied to the extraction circuit 221 to extract DCT coefficients as frequency coefficients. This DCT coefficient is variable length encoded, and this DCT coefficient is supplied to the variable length decoding circuit 222 and decoded. Then, the quantized DCT coefficient output from the variable length decoding circuit 222 is supplied to the inverse quantization circuit 224 and subjected to inverse quantization.
[0469]
The second tap selection circuit 242 selectively extracts a plurality of class tap DCT coefficients from the DCT coefficients output from the inverse quantization circuit 224. The plurality of DCT coefficients of the class tap are supplied to the feature amount extraction unit 123. In the feature amount extraction unit 123, processing such as 1-bit ADRC is performed on the DCT coefficient of the class tap to generate an ADRC code as the class code CL. The class code CL indicates a class to which a DCT block for obtaining a target pixel block of the image signal Vd belongs.
[0470]
The class code CL is supplied to the coefficient memory 126 as read address information. In the coefficient memory 126, for example, in each vertical blanking period, the coefficient generation circuit 129 corresponds to the value of the parameter p adjusted by the user, and a plurality of DCT coefficients corresponding to each DCT coefficient of the DCT block of interest for each class. Coefficient seed data w _i0 ~ W _i3 The coefficient data Wi (i = 1 to n) of the estimation formula corresponding to each DCT coefficient of the target DCT block is obtained and stored (see formula (2)).
[0471]
As described above, the class code CL is supplied to the coefficient memory 126 as read address information, whereby the coefficient data Wi corresponding to the class code CL is read from the coefficient memory 126 and supplied to the estimated prediction calculation circuit 127. The In this case, coefficient data Wi corresponding to the number of DCT coefficients in the target DCT block is supplied to the estimated prediction calculation circuit 127 in order to calculate all DCT coefficients constituting the target DCT block.
[0472]
Further, the first tap selection circuit 225 selectively extracts a plurality of DCT coefficients of the prediction tap from the DCT coefficients output from the inverse quantization circuit 224. The plurality of DCT coefficients xi of the prediction tap are supplied to the estimated prediction calculation circuit 127. In the estimated prediction calculation circuit 127, the DCT block of interest is configured based on the estimation equation (see equation (1)) using the plurality of DCT coefficients xi of the prediction tap and the coefficient data Wi read from the coefficient memory 126. A plurality of DCT coefficients y to be obtained are respectively obtained.
[0473]
Further, the DCT coefficient output from the estimated prediction calculation circuit 127 is subjected to inverse DCT by the inverse DCT circuit 243 to obtain an image signal of each picture. The image signal of each picture is supplied to the picture selection circuit 246 via the addition circuit 245. In this case, the reference image signal Vref output from the prediction memory circuit 244 is added by the addition circuit 245 to the image signals of the P picture and the B picture. The picture signals of the pictures are rearranged in the correct order by the picture selection circuit 229 and output as the picture signal Vd.
[0474]
Thus, in the image signal processing unit 110D, the coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the value of the parameter p is used to calculate the DCT coefficient y for obtaining the image signal Vd. . Therefore, the user can arbitrarily adjust the resolution, block distortion, mosquito noise, or noise suppression degree of the image by the image signal Vd by changing the value of the parameter p.
[0475]
Also, coefficient seed data w for generating coefficient data Wi _i0 ~ W _i3 Is generated in advance based on a student signal obtained by processing an MPEG2 stream encoded in the same manner as the MPEG2 stream Vc stored in the stream buffer 109 described above according to the value of the parameter p. Only the specific quality of the image based on the image signal Vd, for example, only the resolution, only the block distortion, only the mosquito noise, or only the noise suppression level can be adjusted stepwise.
[0476]
Coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110D of FIG. _i0 ~ W _i3 The coefficient seed data w stored in the information memory bank 128 of the image signal processing unit 110 in FIG. _i0 ~ W _i3 In the same manner as above, it is generated by learning between a plurality of student signals and teacher signals (see FIG. 3).
[0477]
FIG. 26 shows coefficient seed data w stored in the information memory bank 128 of the digital broadcast receiver 100D described above. _i0 ~ W _i3 The configuration of the coefficient seed data generation device 150D for generating In FIG. 26, portions corresponding to those in FIGS. 4 and 23 are denoted by the same reference numerals.
[0478]
The coefficient seed data generation apparatus 150D obtains an MPEG2 stream that is a student signal SS by encoding the image signal Vd ′ and an input terminal 151 to which the image signal Vd ′ corresponding to the image signal Vd is input. And an MPE2 encoder 152. The MPEG2 encoder 152 outputs DCT coefficients constituting the MPEG2 stream generated from the image signal Vd ′ as the teacher signal ST.
[0479]
The coefficient seed data generation device 150D also includes a DCT coefficient extraction circuit 231 that extracts a DCT coefficient as a frequency coefficient from the student signal SS obtained by the MPEG2 encoder 152, and a variable length encoding extracted by the extraction circuit 231. For example, a variable-length decoding circuit 232 that performs variable-length decoding on DCT coefficients that are Huffman-encoded.
[0480]
The coefficient seed data generation device 150D also includes a quantization characteristic designation information extraction circuit 233 that extracts quantization characteristic designation information from the student signal SS obtained by the MPEG2 encoder 152, and a quantization that is extracted by the extraction circuit 233. And an inverse quantization circuit 234 that performs inverse quantization on the quantized DCT coefficient output from the variable length decoding circuit 232 based on the characteristic designation information.
[0481]
The value of the parameter p is input to the inverse quantizer circuit 234. In the inverse quantization circuit 234, the DCT coefficient is changed in accordance with the value of the parameter p in the process of inverse quantization signal processing in the same manner as described in the coefficient seed data generation device 150C in FIG. A DCT coefficient related to the student signal corresponding to the value of the parameter p is obtained. Thus, coefficient seed data w generated using DCT coefficients related to a plurality of student signals _i0 ~ W _i3 Can adjust the resolution, block distortion, mosquito noise, noise suppression degree, and the like of the image obtained from the image signal Vd in a stepwise manner in accordance with the value of the parameter p.
[0482]
Further, the coefficient seed data generation device 150D first and second tap selection that selectively extracts and outputs the DCT coefficient corresponding to the target position in the teacher signal ST from the DCT coefficient output from the inverse quantization circuit 234. Circuits 251 and 252 are included. The first and second tap selection circuits 251 and 252 are configured in the same manner as the first and second tap selection circuits 241 and 242 of the image signal processing unit 110D described above, respectively.
[0483]
The first tap selection circuit 251 selectively extracts a plurality of DCT coefficients of a prediction tap used for prediction. FIG. 22A shows an example of the DCT coefficient of the prediction tap that is selectively extracted from the DCT coefficient output from the inverse quantization circuit 234 in the first tap selection circuit 251. In the present embodiment, all DCT coefficients of the DCT block corresponding to the target DCT block of the teacher signal ST, that is, 64 (8 × 8) DCT coefficients are extracted as DCT coefficients of the prediction tap.
[0484]
The second tap selection circuit 252 selectively extracts a plurality of DCT coefficients of class taps used for class classification. FIG. 22B shows an example of DCT coefficients of class taps that are selectively extracted from the DCT coefficients output from the inverse quantization circuit 234 in the second tap selection circuit 252. In the present embodiment, 320 (8 × 8 × 5) DCTs of a total of five DCT blocks including a DCT block corresponding to the target DCT block and four DCT blocks adjacent in the vertical and horizontal directions. The coefficients are extracted as class tap DCT coefficients.
[0485]
The coefficient seed data generation device 150 </ b> D includes a feature quantity extraction unit 156 that extracts a feature quantity from the class tap DCT coefficients selectively extracted by the second tap selection circuit 252. The feature quantity extraction unit 156 is configured in the same manner as the feature quantity extraction unit 123 of the image signal processing unit 110D described above. The feature amount extraction unit 156 generates an ADRC code as the class code CL by performing processing such as 1-bit ADRC on the DCT coefficient of the class tap. This class code CL indicates the class to which the target DCT block in the teacher signal ST belongs.
[0486]
The coefficient seed data generation device 150D also includes a delay circuit 159 for adjusting the time of the teacher signal (DCT coefficient) ST output from the MPEG2 encoder 152, and the teacher signal ST adjusted in time by the delay circuit 159. The DCT coefficient y of each DCT block of interest, the DCT coefficient xi of the prediction tap selectively extracted by the first tap selection circuit 251 corresponding to each DCT block of interest, the value of the parameter p, A plurality of sets of coefficient seed data w corresponding to each DCT coefficient of the DCT block of interest for each class from the class code CL generated by the feature quantity extraction unit 156 corresponding to each DCT block. _i0 ~ W _i3 The normal equation generation unit 160 for generating normal equations (see equation (9)) for obtaining each of the above.
[0487]
In this case, one learning data is generated by a combination of one DCT coefficient y and the corresponding DCT coefficient xi of n prediction taps. Depending on the value of the parameter p, the inverse quantization circuit 234 sequentially obtains DCT coefficients related to a plurality of student signals, and learning data is generated between the teacher signal and each student signal. As a result, the normal equation generation unit 160 generates a normal equation in which many pieces of learning data having different values of the parameter p are registered, and the coefficient seed data w _i0 ~ W _i3 Can be obtained.
[0488]
Further, the coefficient seed data generation device 150D is supplied with data of normal equations corresponding to the respective DCT coefficients of the DCT block of interest generated for each class by the normal equation generation unit 160, and solves the normal equations. For each class, a plurality of sets of coefficient seed data w corresponding to each DCT coefficient of the target DCT block _i0 ~ W _i3 Is provided with a coefficient seed data determining unit 161 and a coefficient seed memory 162 for storing the obtained coefficient seed data. In the coefficient seed data determination unit 161, the normal equation is solved, for example, by a sweeping method, and coefficient coefficient data is obtained.
[0489]
The operation of the coefficient seed data generation device 150D shown in FIG. 26 will be described.
An image signal Vd ′ corresponding to the image signal Vd is supplied to the input terminal 151, and the image signal Vd ′ is encoded by the MPEG2 encoder 152 to generate an MPEG2 stream as the student signal SS. The
[0490]
The student signal SS obtained by the MPEG2 encoder 152 is supplied to the extraction circuit 231 to extract DCT coefficients as frequency coefficients. This DCT coefficient is variable-length encoded, and this DCT coefficient is supplied to the variable-length decoding circuit 232 and decoded. Then, the quantized DCT coefficient output from the variable length decoding circuit 232 is supplied to the inverse quantization circuit 234 and subjected to inverse quantization.
[0491]
The value of the parameter p is input to the inverse quantizer 234. In the inverse quantization circuit 234, the signal changes in accordance with the value of the parameter p in the process of inverse quantization signal processing. That is, in the present embodiment, as described above, the DCT coefficient is changed according to the value of the parameter p. Thereby, the DCT coefficient concerning the student signal corresponding to the value of the parameter p is obtained.
[0492]
The second tap selection circuit 252 selectively extracts a plurality of class tap DCT coefficients from the DCT coefficients output from the inverse quantization circuit 234. The plurality of DCT coefficients of the class tap are supplied to the feature amount extraction unit 156. In this feature amount extraction unit 156, processing such as 1-bit ADRC is performed on the DCT coefficient of the class tap to generate an ADRC code as the class code CL. This class code CL indicates the class to which the target DCT block of the teacher signal ST belongs.
[0493]
The first tap selection circuit 251 selectively extracts a plurality of DCT coefficients of the prediction tap corresponding to the target DCT block of the teacher signal ST from the DCT coefficients output from the inverse quantization circuit 234.
[0494]
Then, the DCT coefficient y of each target DCT block of the teacher signal ST time-adjusted by the delay circuit 159, and the prediction tap selectively extracted by the first tap selection circuit 251 corresponding to each target DCT block, respectively. Using the DCT coefficient xi, the value of the parameter p, and the class code CL generated by the feature amount extraction unit 156 corresponding to each target DCT block, the normal equation generation unit 160 uses the target DCT for each class. Multiple sets of coefficient seed data w corresponding to each DCT coefficient of the block _i0 ~ W _i3 A normal equation (see equation (9)) for obtaining each of the above is generated.
[0495]
Then, each coefficient equation data determination unit 161 solves each normal equation, and for each class, a plurality of sets of coefficient seed data w corresponding to each DCT coefficient of the DCT block of interest. _i0 ~ W _i3 And their coefficient seed data w _i0 ~ W _i3 Is stored in the coefficient seed memory 162.
[0496]
As described above, in the coefficient seed data generation device 150D shown in FIG. 26, it is used in the estimation formula (see formula (1)) for each class stored in the information memory bank 128 of the image signal processing unit 110D in FIG. Coefficient data w which is coefficient data in a generation formula (see formula (2)) for obtaining the coefficient data Wi _i0 ~ W _i3 Can be generated.
[0497]
In the image signal processing unit 110D of FIG. 25, the generation formula (2) is used to generate the coefficient data Wi (i = 1 to n). However, a polynomial having a different order or another function is used. It can also be realized with an expression.
[0498]
Further, although detailed description is omitted, the processing in the image signal processing unit 110D in FIG. 25 is performed by software, for example, by the image signal processing device 300 shown in FIG. 9 in the same manner as the processing in the image signal processing unit 110 in FIG. It can also be realized (see the flowchart of FIG. 10). Further, although detailed description is omitted, the processing in the coefficient seed data generation device 150D in FIG. 26 can also be realized by software in the same manner as the processing in the coefficient seed data generation device 150 in FIG. 4 (FIG. 11). (Refer to the flowchart).
[0499]
26 corresponds to the coefficient seed data generation device 150 shown in FIG. 4, but may also correspond to the coefficient seed data generation device 150A shown in FIG. it can. That is, the coefficient data Wi of each class corresponding to each value of the parameter p is obtained, and thereafter, the coefficient data Wi of each class corresponding to each value of the parameter p is used to calculate the coefficient seed data w of each class. _i0 ~ W _i3 Is what you want.
[0500]
Further, in the image signal processing unit 110D shown in FIG. 25, coefficient seed data w stored in the information memory bank 128 is stored. _i0 ~ W _i3 The coefficient generation circuit 129 generates the coefficient data Wi for each class corresponding to the value of the parameter p, and stores the coefficient data Wi for each class in the coefficient memory 126 for use. However, like the image signal processing unit 110A of FIG. 13, the coefficient data Wi of each combination of the class and the parameter p is stored in the information memory bank 128A, and the coefficient data of each class corresponding to the value of the parameter p. Wi may be configured to be loaded from the information memory bank 128A into the coefficient memory 126 and used.
[0501]
In the above-described embodiment, the MPEG2 stream handling DCT is shown. However, the present invention can be applied to other handling of encoded digital information signals. Further, instead of DCT, encoding with other orthogonal transforms such as a wavelet transform and a discrete sine transform may be used.
[0502]
Also, the coefficient seed data generating device 150 shown in FIG. 4, the coefficient seed data generating device 150A shown in FIG. 8, the coefficient data generating device 170 shown in FIG. 14, the difference data generating device 210 shown in FIG. 18, and the coefficient seed shown in FIG. In both of the data generation device 150C and the coefficient seed data generation device 150D shown in FIG. 26, an MPEG2 encoder 152 is provided, and an MPEG2 stream is obtained by the MPEG2 encoder 152. It is good also as a structure which inputs.
[0503]
Moreover, although the case where the information signal is an image signal has been described in the above embodiment, the present invention is not limited to this. For example, the present invention can be similarly applied when the information signal is an audio signal.
[0504]
【The invention's effect】
According to the present invention, the encoded digital information signal or the first information signal which is a digital information signal obtained by decoding the encoded digital information signal is obtained. , Improved the quality of information than the first information signal When converting to the second information signal, The coefficient seed data generated in advance corresponding to a plurality of types of parameters and the value of the input parameter are calculated to obtain coefficient data, and the coefficient data is stored for each class. Browse to select a class. The selected coefficient data and a plurality of second information data located around the position of interest in the second information signal are calculated to obtain information data of the position of interest. This Only the specific quality of the output obtained by the second information signal can be adjusted step by step by changing the value of the input parameter.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a digital broadcast receiver as an embodiment.
FIG. 2 is a diagram illustrating an example of a prediction tap and a class tap.
FIG. 3 is a diagram for explaining an example of a generation method of coefficient seed data.
FIG. 4 is a block diagram illustrating a configuration example of a coefficient seed data generation apparatus.
FIG. 5 is a diagram for explaining a change in gain of an AC coefficient when adjusting mosquito noise in stages.
FIG. 6 is a block diagram showing a configuration of an MPEG2 decoder.
FIG. 7 is a diagram for explaining another example of the coefficient seed data generation method.
FIG. 8 is a block diagram illustrating a configuration example of a coefficient seed data generation apparatus.
FIG. 9 is a block diagram illustrating a configuration example of an image signal processing device to be realized by software.
FIG. 10 is a flowchart showing image signal processing.
FIG. 11 is a flowchart illustrating a coefficient seed data generation process (part 1).
FIG. 12 is a flowchart showing a coefficient seed data generation process (No. 2).
FIG. 13 is a block diagram showing a configuration of a digital broadcast receiver as another embodiment.
FIG. 14 is a block diagram illustrating a configuration example of a coefficient data generation device.
FIG. 15 is a flowchart showing image signal processing;
FIG. 16 is a flowchart showing coefficient data generation processing.
FIG. 17 is a block diagram showing a configuration of a digital broadcast receiver as still another embodiment.
FIG. 18 is a block diagram illustrating a configuration example of a difference data generation device.
FIG. 19 is a flowchart showing image signal processing;
FIG. 20 is a flowchart showing difference data generation processing.
FIG. 21 is a block diagram showing a configuration of a digital broadcast receiver as another embodiment.
FIG. 22 is a diagram illustrating an example of a DCT coefficient prediction tap and a class tap.
FIG. 23 is a block diagram illustrating a configuration example of a coefficient seed data generation device.
FIG. 24 is a block diagram illustrating a configuration example of a coefficient seed data generation device.
FIG. 25 is a block diagram showing a configuration of a digital broadcast receiver as still another embodiment.
FIG. 26 is a block diagram illustrating a configuration example of a coefficient seed data generation device.
[Explanation of symbols]
100, 100A, 100B, 100C, 100D ... Digital broadcast receiver, 101 ... System controller, 102 ... Remote control signal receiving circuit, 105 ... Receiving antenna, 106 ... Tuner unit, 107 ... MPEG2 decoder 108 ... buffer memory 109 ... stream buffer 110,110A, 110B, 110C ... image signal processing unit 111 ... display unit 121,225,241 ... First tap selection circuit, 122, 226, 242 ... second tap selection circuit, 122B ... tap selection circuit, 123 ... feature quantity extraction unit, 124 ... additional information class generation unit, 125 ... Class code generator, 126 ... Coefficient memory, 127 ... Estimated prediction arithmetic circuit, 128, 128A ... Information memory bank, 129... Coefficient generation circuit, 131... Storage table, 132... DCT circuit, 133, 136, changeover switch, 134, adder, 135, 243, reverse DCT Circuit 150 ... Coefficient seed data generator 151 ... Input terminal 152 ... MPEG2 encoder 153 ... MPEG2 decoder 154, 235, 251 ... First tap selection Circuit, 155, 236, 252 ... second tap selection circuit, 156 ... feature quantity extraction unit, 157 ... additional information class generation unit, 158 ... class code generation unit, 159 ... delay Circuit, 160, 163, 165 ... Normal equation generation unit, 161, 166 ... Coefficient seed data determination unit, 162 ... Coefficient memory, 164 ... Coefficient data determination unit, 167 ... Coefficient memory, 170 ... Coefficient data generation device, 171, 173 ... DCT circuit, 172, 174 ... Changeover switch, 175 ... Subtraction unit, 176 ... Accumulation control unit, 177 ... Accumulation Table, 210... Difference data generation device, 221, 231... DCT coefficient extraction circuit, 222, 232... Variable length decoding circuit, 223, 233. 234 ... Inverse quantization circuit, 227, 237 ... Coding control information extraction circuit, 228, 238, 244 ... Prediction memory circuit, 229, 239, 246 ... Picture selection circuit, 239A ... Arithmetic circuit, 245 ... adder circuit, 300 ... image signal processing apparatus

Claims (40)

A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. An information signal processing device for converting to a second information signal,
First data selection means for selecting, from the first information signal, a plurality of first information data located around the position of interest in the second information signal;
The first is to detect the level distribution pattern of the plurality of first information data selected by the data selection means, class detection means for detecting a class information data above Symbol target position belongs, based on the level distribution pattern When,
Parameter input means for inputting values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
Corresponding to the class detected by the class detection means and the parameter value input to the parameter input means, the information data generation means for generating information data of the position of interest,
The information data generating means includes
The coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input by the parameter input means are calculated to obtain coefficient data, and the coefficient data is stored for each class. Coefficient data generation means for selecting the coefficient data with reference to the class;
Second data selection means for selecting a plurality of second information data located around the position of interest in the second information signal from the first information signal;
Computation means for computing a plurality of second information data selected by the second data selection means and coefficient data selected by the coefficient data generation means to obtain information data of the target position An information signal processing device. Decoding means for decoding the encoded digital information signal,
Additional information used when the digital information signal is decoded by the decoding means is added to the encoded digital information signal,
The information signal processing apparatus according to claim 1, wherein the class detection unit detects a class to which the information data of the target position belongs based on the additional information together with the plurality of first information data. The coefficient data generating means is
First storage means for storing the upper SL coefficient several data for each class,
And calculates the value of the parameters entered in the coefficient seed data and the parameter input unit stored in the first storage means, and coefficient data generation means for generating on the SL coefficient data for each class,
Second storage means for storing the upper SL coefficient data in each class generated by the coefficient data generation means,
Information signal processing apparatus according to claim 1, characterized in that it comprises a data reading means for reading and outputting on SL coefficient data corresponding to the detected class by the class detection means from said second storage means . The coefficient seed data is
Features are respectively generated in accordance with the plural kinds of parameters, and a plurality of student signal corresponding to the first information signal, to be generated in advance by using the teacher signal corresponding to said second information signal The information signal processing apparatus according to claim 3 . The student signal is obtained by decoding a digital information signal obtained by encoding the teacher signal,
5. The information signal processing apparatus according to claim 4 , wherein a student signal corresponding to the parameter value is obtained by changing the signal in accordance with the parameter value in the decoding process. The information signal processing apparatus according to claim 1, wherein the encoding is encoding accompanied by orthogonal transformation. The encoding is encoding with orthogonal transformation,
6. The information signal processing according to claim 5 , wherein at least one of a frequency coefficient and an inverse transform base used when performing inverse orthogonal transform is changed in accordance with a value of the parameter in the decoding process. apparatus. The information signal processing apparatus according to claim 7 , wherein the gain of all AC coefficients among the frequency coefficients is set to the same value, and the gain is changed according to the value of the parameter. The information signal processing apparatus according to claim 7 , wherein the frequency coefficient is quantized, and a DC coefficient quantization step of the frequency coefficient is changed according to the value of the parameter. The gain of the AC coefficients of said frequency coefficients with smaller as the high band, the degree of reduction of the gain in the high range of the AC coefficient according to claim 7 and changes according to the value of the parameter Information signal processing device. The information signal processing apparatus according to claim 7 , wherein random noise is added to at least the frequency coefficient or the inverse transform base, and the level of the random noise is changed according to the value of the parameter. The coefficient data generating means is
In each combination of the values of the classes and the parameters, first memory means for storing coefficient data of the above coefficient seed data,
A first data reading means for reading the upper SL coefficient data in each class corresponding to the value of the first parameter that is input to the parameter input means from the storage means,
Second storage means for storing the upper SL coefficient data in each class read in the first data reading means,
Information according to claim 1, characterized in that a second data reading means for reading and outputting on SL coefficient data corresponding to the detected class by the class detection means from said second storage means Signal processing device. Coefficients corresponding to said plurality of types of parameter data,
Features are respectively generated in accordance with the plural kinds of parameters, and a plurality of student signal corresponding to the first information signal, to be generated in advance by using the teacher signal corresponding to said second information signal The information signal processing apparatus according to claim 12 . Decoding means for decoding the encoded digital information signal,
The student signal is obtained by decoding the digital information signal obtained by encoding the teacher signal by the decoding means ,
14. The information signal processing apparatus according to claim 13 , wherein a student signal corresponding to the parameter value is obtained by changing the signal according to the parameter value in the decoding process. The encoding is encoding with orthogonal transformation,
15. The information signal processing according to claim 14 , wherein at least one of a frequency coefficient and an inverse transform base used when performing an inverse orthogonal transform is changed according to a value of the parameter in the decoding process. apparatus. The information signal processing apparatus according to claim 15 , wherein the gain of all AC coefficients among the frequency coefficients is set to the same value, and the gain is changed according to the value of the parameter. The information signal processing apparatus according to claim 15 , wherein the frequency coefficient is quantized, and a DC coefficient quantization step of the frequency coefficient is changed according to the value of the parameter. The gain of the AC coefficients of said frequency coefficients as well as smaller as the high band, the degree of reduction of the gain in the high range of the AC coefficients of claim 15, wherein the changing according to the value of the parameter Information signal processing device. The information signal processing apparatus according to claim 15 , wherein random noise is added to at least the frequency coefficient or the inverse transform base, and the level of the random noise is changed according to the value of the parameter. A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. An information signal processing method for converting to a second information signal,
A first step of selecting, from the first information signal, a plurality of first information data located around a position of interest in the second information signal;
The detecting the level distribution pattern of the first information data is selected of the plurality in the first step, a second step of information data on SL target position is detected belongs classes based on the level distribution pattern ,
A third step of acquiring values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
A fourth step of generating information data of the position of interest corresponding to the class detected in the second step and the value of the parameter acquired in the second step;
In the fourth step,
The coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input in the third step are calculated to obtain coefficient data, and the coefficient data is stored for each class. A fifth step of selecting the coefficient data with reference to the class;
A sixth step of selecting a plurality of second information data located around the position of interest in the second information signal from the first information signal;
A seventh step of calculating the plurality of second information data selected in the sixth step and the coefficient data selected by referring to the class in the fifth step to obtain the information data of the target position; An information signal processing method comprising the steps of : A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. To convert to a second information signal,
A first step of selecting, from the first information signal, a plurality of first information data located around a position of interest in the second information signal;
The detecting the level distribution pattern of the first information data is selected of the plurality in the first step, a second step of information data on SL target position is detected belongs classes based on the level distribution pattern ,
A third step of acquiring values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
Corresponding to the class detected in the second step and the value of the parameter acquired in the second step, and a fourth step of generating information data of the target position,
In the fourth step,
The coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input in the third step are calculated to obtain coefficient data, and the coefficient data is stored for each class. A fifth step of selecting the coefficient data with reference to the class;
A sixth step of selecting a plurality of second information data located around the position of interest in the second information signal from the first information signal;
A seventh step of calculating the plurality of second information data selected in the sixth step and the coefficient data selected by referring to the class in the fifth step to obtain the information data of the target position; a computer-readable medium storing a program for executing the information signal processing method and a step in the computer. A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. To convert to a second information signal,
A first step of selecting, from the first information signal, a plurality of first information data located around a position of interest in the second information signal;
The detecting the level distribution pattern of the first information data is selected of the plurality in the first step, a second step of information data on SL target position is detected belongs classes based on the level distribution pattern ,
A third step of acquiring values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
Corresponding to the class detected in the second step and the value of the parameter acquired in the second step, and a fourth step of generating information data of the target position,
In the fourth step, the coefficient seed data generated in advance corresponding to the plurality of types of parameters and the value of the parameter input in the third step are calculated to obtain coefficient data, and the coefficient data is obtained. A fifth step of storing for each class and selecting the coefficient data with reference to the class;
A sixth step of selecting a plurality of second information data located around the position of interest in the second information signal from the first information signal;
A seventh step of calculating the plurality of second information data selected in the sixth step and the coefficient data selected by referring to the class in the fifth step to obtain the information data of the target position; A program for causing a computer to execute an information signal processing method comprising the steps of: A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. An information signal processing device for converting to a second information signal,
First data selection means for selecting, from the first information signal, a plurality of first information data located around the position of interest in the second information signal;
Class detection means for detecting a level distribution pattern of the plurality of first information data selected by the first data selection means and detecting a class to which the information data of the target position belongs based on the level distribution pattern; ,
Parameter input means for inputting values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
Corresponding to the class detected by the class detection means and the parameter value input to the parameter input means, the information data generation means for generating information data of the position of interest,
The information data generating means includes
Corresponding to the value of the input parameters to the detected class and the parameter input means above Symbol class detection means, indicating a difference between the information data of the first information signal of the information data and the second information signal Differential data generating means for generating differential data;
Of the plurality of pieces of information data constituting the first information signal, the difference data generated by the difference data generation means is added to the second information data corresponding to the position of interest in the second information signal. information signal processing apparatus you; and a summing means for obtaining the information data of the target position. The difference data generating means is
Storage means for storing the upper Symbol differential data of each combination of values of the classes and the parameters,
The information according to claim 23 , further comprising: a data reading unit that reads out difference data corresponding to a class detected by the class detecting unit and a parameter value input to the parameter input unit from the storage unit. Signal processing device. Minute data on Symbol difference,
Are respectively generated in accordance with the value of said plurality of types of parameters are generated in advance the plurality of the student signal corresponding to the first information signal, and the teacher signal corresponding to the second information signal is subtracted 25. The information signal processing apparatus according to claim 24 . Decoding means for decoding the encoded digital information signal,
The student signal is obtained by decoding the digital information signal obtained by encoding the teacher signal by the decoding means ,
26. The information signal processing apparatus according to claim 25 , wherein a student signal corresponding to the parameter value is obtained by changing the signal according to the parameter value in the decoding process. The encoding is encoding with orthogonal transformation,
27. The information signal processing according to claim 26 , wherein at least one of a frequency coefficient and an inverse transform base used when performing inverse orthogonal transform is changed in accordance with a value of the parameter in the decoding process. apparatus. 28. The information signal processing apparatus according to claim 27 , wherein the gain of all AC coefficients of the frequency coefficients is set to the same value, and the gain is changed according to the value of the parameter. The information signal processing apparatus according to claim 27 , wherein the frequency coefficient is quantized, and a quantization step of a DC coefficient among the frequency coefficients is changed according to a value of the parameter. The gain of the AC coefficients of said frequency coefficients as well as smaller as the high band, the degree of reduction of the gain in the high range of the AC coefficients of claim 27, wherein changing according to the value of the parameter Information signal processing device. The information signal processing apparatus according to claim 27 , wherein random noise is added to at least the frequency coefficient or the inverse transform base, and the level of the random noise is changed according to the value of the parameter. A first information signal made up of a plurality of information data, which is generated by decoding an encoded digital information signal, is made up of a plurality of information data whose information quality is improved over that of the first information signal. An information signal processing device for converting to a second information signal,
First data selection means for selecting, from the first information signal, a plurality of first information data located around the position of interest in the second information signal;
Class detection means for detecting a level distribution pattern of the plurality of first information data selected by the first data selection means and detecting a class to which the information data of the target position belongs based on the level distribution pattern; ,
Parameter input means for inputting values of a plurality of types of parameters for determining in stages the quality of output information obtained by the second information signal;
Corresponding to the class detected by the class detection means and the parameter value input to the parameter input means, the information data generation means for generating information data of the position of interest,
The coefficient data generating means is
Difference data indicating the difference between the respective frequency coefficients obtained by orthogonal transformation in the first and second information signals corresponding to the class detected by the class detection means and the parameter values input to the parameter input means. Differential data generating means for generating
Orthogonal transform means for performing orthogonal transform on the second information data corresponding to the position of interest in the second information signal among the plurality of information data constituting the first information signal;
Adding means for adding the difference data generated by the difference data generating means to the frequency coefficient output from the orthogonal transform means;
Information signal processing apparatus you; and a inverse orthogonal transform means for obtaining information data of the target position by performing inverse orthogonal transformation on the frequency coefficients outputted from said adding means. The difference data generating means is
Storage means for storing the difference data for each combination of the class and the parameter values;
33. The information according to claim 32 , further comprising: a data reading unit that reads out difference data corresponding to the class detected by the class detection unit and the parameter value input to the parameter input unit from the storage unit. Signal processing device. Minute data on Symbol difference,
They are respectively generated in accordance with the plural kinds of parameters, and a plurality of student signal corresponding to the first information signal, in that the said teacher signal corresponding to the second information signal is generated in advance is subtracted 34. The information signal processing apparatus according to claim 33 , wherein Decoding means for decoding the encoded digital information signal,
The student signal is obtained by decoding the digital information signal obtained by encoding the teacher signal by the decoding means ,
The information signal processing apparatus according to claim 34 , wherein a student signal corresponding to the parameter value is obtained by changing the signal in accordance with the parameter value in the decoding process. The encoding is encoding with orthogonal transformation,
36. The information signal processing according to claim 35 , wherein at least one of a frequency coefficient and an inverse transform base used when performing inverse orthogonal transform is changed according to the value of the parameter in the decoding process. apparatus. 37. The information signal processing apparatus according to claim 36 , wherein the gain of all AC coefficients among the frequency coefficients is set to the same value, and the gain is changed according to the value of the parameter. 37. The information signal processing apparatus according to claim 36 , wherein the frequency coefficient is quantized, and a DC coefficient quantization step of the frequency coefficient is changed according to the value of the parameter. The gain of the AC coefficients of said frequency coefficients as well as smaller as the high band, the degree of reduction of the gain in the high range of the AC coefficients of claim 36, wherein changing according to the value on the parameter Information signal processing device. The information signal processing apparatus according to claim 36 , wherein random noise is added to at least the frequency coefficient or the inverse transform base, and the level of the random noise is changed according to the value of the parameter.

Images