JP4154961B2 - 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 - Google Patents
画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 Download PDFInfo
- Publication number
- JP4154961B2 JP4154961B2 JP2002254805A JP2002254805A JP4154961B2 JP 4154961 B2 JP4154961 B2 JP 4154961B2 JP 2002254805 A JP2002254805 A JP 2002254805A JP 2002254805 A JP2002254805 A JP 2002254805A JP 4154961 B2 JP4154961 B2 JP 4154961B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel data
- signal
- motion vector
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、この発明は、動きベクトルによって動き補償された入力画像信号に基づいて選択された出力画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ、およびこの出力画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成することによって、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データに対して可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像データは直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮した上で重要である低周波データに関しては、細かく量子化を施し、人間の視覚特性を考慮した上で重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
このような符号化雑音（符号化歪み）は、ＭＰＥＧ２による符号化方式だけでなく、その他の符号化方式によっても発生する。
【００１０】
この発明の目的は、符号化されたデジタル画像信号を復号化することによって得られた画像信号の符号化雑音（符号化歪み）を良好に軽減することにある。また、この発明の他の目的は、動きベクトルを検出する際の演算量を低減することにある。また、この発明の目的は、クラス分類を的確に行い得るようにすることにある。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の第１の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、上記動きベクトル検出手段は、上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００１２】
また、この発明に係る画像信号処理方法は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する第１のステップと、上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、上記第３のステップで検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第４のステップと、上記第４のステップで発生された係数データおよび上記第２のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する第５のステップとを有し、上記第１のステップでは、上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００１３】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００１４】
また、この発明に係る画像表示装置は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、この画像信号入力手段に入力された第１の画像信号を符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなるものである。画像信号処理手段は、上述した画像信号処理装置と同様の構成である。
【００１５】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。この第１の画像信号に基づいて、第２の画像信号における注目位置に対応した動きベクトルが検出される。
【００１６】
例えば、符号化が直交変換を伴う符号化であって、この動きベクトルの検出が第１の画像信号に係る解像度の異なる複数階層の画素データに基づいて行われる際には、解像度が低い上位階層の画素データとして直交変換の処理ブロック単位毎に得られるＤＣ係数が用いられる。この場合、上位階層の画素データを得るための加算平均処理を省略できることから、動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【００１７】
このように検出される動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。第１の画像信号に動き補償が行われることで、時間方向に存在する各画面の画像信号から選択される複数の第１の画素データは相関が高いものとなり、この複数の第１の画素データを用いて後述するように生成される第２の画像信号における注目位置の画素データの品質を高めることができる。
【００１８】
また、第１の画像信号に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。例えば、上述したように検出された動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第２の画素データを選択され、この複数の第２の画素データを用いて第２の画像信号における注目位置の画素データが属するクラスが検出される。動き補償が行われた第１の画像信号に基づいて複数の第２の画素データが選択されることで、上述したように動き補償が行われた第１の画像信号に基づいて選択された複数の第１の画素データに対応したクラスを良好に検出できる。
【００１９】
また例えば、上述したように検出された動きベクトルおよびこの動きベクトルに関連した情報の少なくとも１つに基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。動きベクトルに関連した情報としては、例えば動きベクトルがブロックマッチング法で行われる場合、検出された動きベクトルに対応した差分絶対値和、差分二乗和などが用いられる。
【００２０】
上述したように、動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択され、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成される。クラス分類に動きベクトルやそれに関連した情報を用いることで、より的確なクラス分類を行うことが可能となる。
【００２１】
上述したように検出されたクラスに対応して、推定式で用いられる係数データが発生される。そして、この係数データおよび上述したように選択された複数の第１の画素データが用いられ、推定式に基づいて、第２の画像信号における注目位置の画素データが生成される。
【００２２】
このように、動きベクトルによって動き補償された第１の画像信号（入力画像信号）に基づいて選択された、第２の画像信号（出力画像信号）における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ、およびこの第２の画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成するものであり、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００２３】
この発明に係る係数データ生成装置は、符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る復号化手段と、上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める演算手段とを備え、上記動きベクトル検出手段は、上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００２４】
また、この発明に係る係数データ生成方法は、符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る第１のステップと、上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する第２のステップと、上記第２のステップで検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第３のステップと、少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、上記第４のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める第５のステップとを有し、上記第２のステップでは、上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。この生徒信号に基づいて、教師信号における注目位置に対応した動きベクトルが検出される。
【００２８】
この動きベクトルによって動き補償が行われた生徒信号に基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。また、少なくとも、生徒信号を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２９】
そして、この教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００３０】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３１】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
【００３３】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３４】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３５】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３６】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、その画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。バッファメモリ１０８には、各画素データと対にして情報ｐｉも格納される。さらに、ＭＰＥＧ２復号化器１０７からは、各ＤＣＴブロックのＤＣ係数も出力される。バッファメモリ１０８には、各ＤＣＴブロックに対応した複数の画素データに対応させてＤＣ係数も格納される。
【００３７】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３８】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３９】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報を抽出する抽出回路７５と、この抽出回路７５で抽出される量子化特性指定情報に基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００４０】
また、復号化器１０７は、Ｉピクチャ(Intra-Picture)およびＰピクチャ(Predictive-Picture)の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャ(Bidirectionally predictive-Picture)の画像信号が出力されるとき、対応する参照画像信号Ｖrefを生成して出力する予測メモリ回路７８を有している。
【００４１】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路７８で生成された参照画像信号Ｖrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャの画像信号が出力されるとき、予測メモリ回路７８から加算回路７９に参照画像信号Ｖrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画像信号がそのまま出力される。
【００４２】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００４３】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、予測メモリ回路７８ではこの動き補償用ベクトルの情報ＭＩを用いて参照画像信号Ｖrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４４】
なお、ピクチャ選択回路８０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉも出力される。
【００４５】
また、復号化器１０７は、逆ＤＣＴ回路７７で処理される各ＤＣＴブロック（処理ＤＣＴブロック）のＤＣ係数Ｅ0に基づいて、各ＤＣＴブロックのＤＣ係数ＥDCを出力するＤＣ係数出力回路８３と、このＤＣ係数出力回路８３より出力されるＤＣ係数ＥDCを出力する出力端子８４とを有している。
【００４６】
ＭＰＥＧ２の符号化データにおいて、ＰピクチャおよびＢピクチャにおける各ＤＣＴブロックのＤＣＴ係数は、残差信号に対応するものとなっている。そのため、ＤＣ係数出力回路８３では、逆ＤＣＴ回路７７で処理されるＤＣＴブロック（処理ＤＣＴブロック）がＩピクチャのＤＣＴブロックであるときは、その処理ＤＣＴブロックに含まれるＤＣ係数をそのまま出力すべきＤＣ係数ＥDCとする。
【００４７】
また、ＤＣ係数出力回路８３では、逆ＤＣＴ回路７７で処理されるＤＣＴブロック（処理ＤＣＴブロック）がＰピクチャおよびＢピクチャのＤＣＴブロックであるときは、その処理ＤＣＴブロックに含まれるＤＣ係数Ｅ0に、対応する参照画像信号ＶrefのＤＣＴブロック（参照ＤＣＴブロック）のＤＣ係数ＥDCであるＥDCRを加算して、出力すべきＤＣ係数ＥDCとする（図３Ａ参照）。
【００４８】
ここで、上述したように参照画像信号Ｖrefは動き補償用ベクトル情報ＭＩに基づいて動き補償されていることから、処理ＤＣＴブロックに対応する参照ＤＣＴブロックが２個以上となることもある。その場合には、その２個以上の参照ＤＣＴブロックのＤＣ係数ＥDCRが加算平均されて、加算すべきＤＣ係数とされる。図４Ｂに示すように、処理ＤＣＴブロックに対応する参照ＤＣＴブロックが４個である場合には、処理ＤＣＴブロックに含まれるＤＣ係数Ｅ0に加算すべきＤＣ係数は、（ＥDCR1＋ＥDCR2＋ＥDCR3＋ＥDCR4）／４とされる。この場合、単純な加算平均ではなく、対応する面積割合に応じて重み付けをした加算平均であってもよい。
【００４９】
上述したように、ピクチャ選択回路８０からは、加算回路７９より出力される各ピクチャの画像信号が正しい順に並べ直されて出力される。ＤＣ係数出力回路８３より出力されるＤＣ係数についても、ピクチャ選択回路８０より出力される各ピクチャの画像信号に対応した順に並べ直されて出力される。
【００５０】
抽出回路８２で抽出される動き補償用ベクトル情報ＭＩはＤＣ係数出力回路８３に供給される。ＤＣ係数出力回路８３は、この動き補償用ベクトル情報ＭＩを用いて、処理ＤＣＴブロックに対応する参照ＤＣＴブロックの個数および位置を認識する。また、抽出回路８２で抽出されるピクチャ情報ＰＩはＤＣ係数出力回路８３に供給される。ＤＣ係数出力回路８３は、このピクチャ情報ＰＩを用いて、ピクチャの識別をする。
【００５１】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００５２】
逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路７９を介してピクチャ選択回路８０に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路７９で予測メモリ回路７８より出力される参照画像信号Ｖrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００５３】
なお、このようにピクチャ選択回路８０から画像信号Ｖａが出力される場合、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となってその画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉも出力される。
【００５４】
また、逆ＤＣＴ回路７７で処理される各ＤＣＴブロック（処理ＤＣＴブロック）のＤＣ係数Ｅ0がＤＣ係数出力回路８３に供給される。このＤＣ係数出力回路８３からは、ピクチャ選択回路８０より出力される画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCが出力され、このＤＣ係数ＥDCは出力端子８４に出力される。
【００５５】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００５６】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって画像位置モード情報ｐｉが出力されると共に、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCも出力される。これら、画像位置モード情報ｐｉおよびＤＣ係数ＥDCもバッファメモリ１０８に一時的に格納される。
【００５７】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。この画像信号処理部１１０では、バッファメモリ１０８に記憶されている画像位置モード情報ｐｉおよびＤＣ係数ＥDCが用いられて変換処理が行われる。
【００５８】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５９】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａおよびこの画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶを検出する動きベクトル検出部１２１を有している。
【００６０】
この動きベクトル検出部１２１では、ブロックマッチング法により動きベクトルが検出される。これは、図４に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルＭＶを求めるものである。
【００６１】
ブロックマッチング法では、図５Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図５Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図５Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【００６２】
図６Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと一致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。
【００６３】
図６Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図６Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図６Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。
【００６４】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。
【００６５】
図７は、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことを示している。すなわち、この図５のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図５は、Ｓ＝４，Ｔ＝３とした例である。
【００６６】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和等）の中で、最小値を検出することによって、動きベクトルが検出される。図７の探索範囲は、候補ブロックの中心が位置する領域であり、候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００６７】
また、動きベクトル検出部１２１では、解像度の異なる２階層の画像データを使用して、画像信号Ｖｂにおける注目位置の動きベクトルＭＶが検出される。本実施の形態において、階層１（下位階層）の画素データとして画像信号Ｖａの画素データそのものが用いられ、この階層１より解像度が低下した階層２（上位階層）の画素データとして、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCが用いられる。
【００６８】
図８は、階層構造を示しており、階層１の６４（＝８×８）画素に対応して、階層２の１（＝１×１）画素が存在する。ここで、階層２の１画素のデータは、８×８のＤＣＴブロック部分に対応したものであり、階層１の６４画素のデータの平均値に対応した値を持っている。
【００６９】
動きベクトル検出部１２１では、各階層の画素データを用いて、各階層でブロックマッチング法による動きベクトル検出を行う。すなわち、ブロックマッチングの評価関数は、参照フレームをＴで表し、探索フレームをＴ−１で表すと、（１）式で求められる。ただし、（ｕn、ｖn）は、階層ｎでの動きベクトルを示している。
【００７０】
【数１】
【００７１】
この評価関数Ｅ（Ｙ）n の最小を与えるＶn′ ＝（ｕn、ｖn）を、求める動きベクトルとする。最終的な動きベクトルＶ1は、（２）式の関係に基づいて、求めることができる。
ＭＶ＝Ｖ1′＋８Ｖ2′ ・・・（２）
【００７２】
図９のフローチャートは、画像信号Ｖｂにおける注目位置の動きベクトルＭＶの検出処理の手順を示している。
まず、ステップＳＴ１で、階層２の参照フレーム（Ｔフレーム）に、注目位置に対応した画素データを中心とした参照ブロックを設定し、階層２の探索フレーム（Ｔ−１フレーム）の探索範囲内での探索を開始する。
【００７３】
次に、ステップＳＴ２で、探索範囲内での全ての探索が終了したか否かを判定する。探索が終了していないときは、ステップＳＴ３に進み、画素データ（ＤＣ係数ＥDC）を用いて、（１）式に基づいて、評価関数Ｅ（Ｙ）2による評価値を求め、ステップＳＴ２に戻る。一方、探索が終了したときは、ステップＳＴ４で、評価値より動きベクトルＶ2′を決定する。
【００７４】
次に、ステップＳＴ５で、階層１の参照フレーム（Ｔフレーム）に、注目位置に対応した画素データを中心とした参照ブロックを設定し、階層１の探索フレーム（Ｔ−１フレーム）の探索範囲内での探索を開始する。この場合、階層１の探索フレームを、階層２で決定された動きベクトルＶ2′を８倍した動きベクトルによって動き補償して用いる。
【００７５】
次に、ステップＳＴ６で、探索範囲内での全ての探索が終了したか否かを判定する。探索が終了していないときは、ステップＳＴ７に進み、画素データを用いて、（１）式に基づいて、評価関数Ｅ（Ｙ）1による評価値を求め、ステップＳＴ６に戻る。一方、探索が終了したときは、ステップＳＴ８で、評価値より動きベクトルＶ1′を決定する。
【００７６】
そして、ステップＳＴ９で、（２）式に基づいて、階層２で決定された動きベクトルＶ2′を８倍して、階層１で決定された動きベクトルＶ1′に加算し、画像信号Ｖｂにおける注目位置の最終的な動きベクトルＭＶを求める。
【００７７】
図１０は、動きベクトル検出部１２１の構成を示している。
ＤＣ係数ＥDCが階層２の画素データとして参照フレーム用のフレームメモリ２１に供給されて書き込まれる。あるフレーム期間でフレームメモリ２１に書き込まれる画素データは、続くフレームではこのフレームメモリ２１から読み出されて探索フレーム用のフレームメモリ２２に供給されて書き込まれる。
【００７８】
参照ブロック回路２３は、フレームメモリ２１から、画像信号Ｖｂにおける注目位置に対応した画素データを中心とした参照ブロックの画素データを選択的に読み出し、評価値算出回路２４に供給する。また、サーチブロック回路２５は、フレームメモリ２２から、探索範囲内の各候補ブロックに対応した画像データを順次読み出して評価値算出回路２４に供給する。
【００７９】
評価値算出回路２４は、参照ブロック回路２３からの参照ブロックの画素データと、サーチブロック回路２５からの各候補ブロックの画像データとを用いて、（１）式の評価関数Ｅ（Ｙ）2に基づいて、各候補ブロックの評価値を求める。この評価値算出回路２４で求められ各候補ブロックの評価値は、動きベクトル検出回路２６に供給される。
【００８０】
この動きベクトル検出回路２６は、各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕn、ｖn）を、階層２の動きベクトルＶ2′として出力する（（１）式参照）。
【００８１】
また、画像信号Ｖａは参照フレーム用のフレームメモリ１１に供給されて書き込まれる。あるフレーム期間でフレームメモリ１１に書き込まれる画素データは、続くフレームではこのフレームメモリ１１から読み出されて探索フレーム用のフレームメモリ１２に供給されて書き込まれる。
【００８２】
参照ブロック回路１３は、フレームメモリ１１から、画像信号Ｖｂにおける注目位置に対応した画素データを中心とした参照ブロックの画素データを選択的に読み出し、評価値算出回路１４に供給する。また、サーチブロック回路１５は、フレームメモリ１２から、探索範囲内の各候補ブロックに対応した画像データを順次読み出して評価値算出回路１４に供給する。
【００８３】
この場合、上述したように動きベクトル検出回路２６で検出される階層２の動きベクトルＶ2′がフレームメモリ１２に供給される。上述したように、階層１の６４（＝８×８）画素に対応して、階層２の１（＝１×１）画素が存在する（図８参照）。そのため、この動きベクトルＶ2′が８倍されたものによって探索範囲が動き補償される。
【００８４】
評価値算出回路１４は、参照ブロック回路１３からの参照ブロックの画素データと、サーチブロック回路１５からの各候補ブロックの画像データとを用いて、（１）式の評価関数Ｅ（Ｙ）1に基づいて、各候補ブロックの評価値を求める。この評価値算出回路１４で求められ各候補ブロックの評価値は、動きベクトル検出回路１６に供給される。
【００８５】
この動きベクトル検出回路１６は、各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕn、ｖn）を、階層１の動きベクトルＶ1′として出力する（（１）式参照）。
【００８６】
上述の動きベクトル検出回路１６，２６で検出された階層１，２の動きベクトルＶ1′，Ｖ2′は加算回路３１に供給され、上述の（２）に基づいて加算される。そして、この加算回路３１は、画像信号Ｖｂにおける注目位置の動きベクトルＭＶを出力する。
【００８７】
なお、動きベクトル検出部１２１は、上述したように動きベクトルＭＶを出力する他に、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力する。これら評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minは、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出する際に用いられる。
【００８８】
本実施の形態において、評価値算出回路４０（１４，２４）は、図１１に示すように構成されている。すなわち、評価値算出回路４０においては、参照ブロックメモリ４１と候補ブロックメモリ４２とを有している。参照ブロックメモリ４１は、フレームメモリ１１，２１より参照ブロック回路１１，２３で選択的に読み出される参照ブロックの画素データを格納する。候補ブロックメモリ４２は、フレームメモリ１２，２２よりサーチブロック回路１５，２５で選択的に読み出される候補ブロックの画素データを格納する。
【００８９】
参照ブロックメモリ４１および候補ブロックメモリ４２の内容が、メモリコントローラ４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４およびレジスタ４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８およびレジスタ４９で累積加算される。この累積加算結果は、当該候補ブロックの評価値となる。評価値算出回路４０で順次算出される各候補ブロックの評価値は、評価値メモリ５０に、評価値メモリコントローラ５１より指定されたアドレス、つまり動きベクトル（ｕn、ｖn）（（１）式参照））の順に入力される。
【００９０】
本実施の形態において、動きベクトル検出回路６０（１６，２６）は、図１２に示すように構成されている。すなわち、動きベクトル検出回路６０においては、各候補ブロックの評価値が、評価値メモリ５０より、順次評価値メモリコントローラ５１より指定されたアドレス（＝（ｕn、ｖn））に従って読み出され、比較器６１およびレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち評価値メモリ５０より読み出された評価値が小さいとき、レジスタ６２およびレジスタ６３の内容を更新する信号を送出する。
【００９１】
レジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして評価値メモリ５０に記憶された評価値が順次評価され、そのうちの評価値の最小を与えるアドレス、つまり（ｕn、ｖn）がレジスタ６３より出力され、これが動きベクトル検出回路６０の出力、すなわち動きベクトルＶn′として出力される。
【００９２】
また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００９３】
予測タップ選択回路１２２には、上述の動きベクトル検出部１２１で検出された動きベクトルＭＶが供給される。予測タップ選択回路１２２は、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償を行う。例えば、図１３に示すように、動きベクトルＭＶが（−２，＋１）であったとき、予測タップ選択回路１２２は、Ｔフレームからｘ1〜ｘ13の画素データを選択的に取り出し、Ｔ−１フレームから（−２，＋１）だけずれた位置にあるｘ1〜ｘ13の画素データを選択的に取り出す。
【００９４】
このように、予測タップ選択回路１２２において、動き補償を行って予測タップの画素データを選択的に取り出すようにしたことで、Ｔフレーム、Ｔ−１フレームから選択される予測タップの画素データは相関が高いものとなる。そのため、この予測タップの画素データを用いて後述するように生成される画像信号Ｖｂにおける注目位置の画素データの品質を高めることができる。
【００９５】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００９６】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、動きベクトル検出部１２１より出力される画像信号Ｖｂにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１２１より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００９７】
図１４は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子９０Ａと、この入力端子９０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路９０Ｂ1〜９０Ｂnと、このタップ選択回路９０Ｂ1〜９０Ｂnで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ1〜ＣＬnを生成するクラス生成回路９０Ｃ1〜９０Ｃnとを有している。
【００９８】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ1〜ＣＬ6を生成する。６種類のクラスは、時空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００９９】
▲１▼時空間波形クラスを説明する。タップ選択回路９０Ｂ1およびクラス生成回路９０Ｃ1は、この時空間波形クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ1は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。
【０１００】
このタップ選択回路９０Ｂ1には、上述の動きベクトル検出部１２１で検出された動きベクトルＭＶが供給される。タップ選択回路９０Ｂ1は、上述した予測タップ選択回路１２２と同様に、動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償を行った後に、ＴフレームおよびＴ−１フレームから複数の画素データを選択的に取り出す。
【０１０１】
このように、タップ選択回路９０Ｂ1において、動き補償を行って複数の画素データを選択的に取り出すようにしたことで、上述したように予測タップ選択回路１２２で動き補償が行われて選択された予測タップの画素データに対応した時空間波形クラスを良好に検出できる。
【０１０２】
クラス生成回路９０Ｃ1は、タップ選択回路９０Ｂ1で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、時空間波形クラスを示すクラスコードＣＬ1を生成する。
【０１０３】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【０１０４】
▲２▼時間変動クラスを説明する。タップ選択回路９０Ｂ2およびクラス生成回路９０Ｃ2は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ2は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図１５に示す過去ブロック）の画素データを取り出す。
【０１０５】
クラス生成回路９０Ｃ2は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ2を生成する。
【０１０６】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路９０Ｂ3およびクラス生成回路９０Ｃ3は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ3は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図１５に示す過去ブロック）の画素データを取り出す。
【０１０７】
クラス生成回路９０Ｃ3は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路９０Ｃ3は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ1と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ2を求め、ｍ1／ｍ2を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ3を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【０１０８】
▲４▼フラットクラスを説明する。タップ選択回路９０Ｂ4およびクラス生成回路９０Ｃ4は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ4は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出す。クラス生成回路９０Ｃ4は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ4を生成する。
【０１０９】
▲５▼ライン相関クラスについて説明する。タップ選択回路９０Ｂ5およびクラス生成回路９０Ｃ5は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ5は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出す。
【０１１０】
クラス生成回路９０Ｃ5は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ5を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【０１１１】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路９０Ｂ6およびクラス生成回路９０Ｃ6は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ6は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図１５に示す隣接ブロック）の画素データを取り出す。
【０１１２】
クラス生成回路９０Ｃ6は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ6を生成する。
【０１１３】
また、クラス分類部１２３は、画素位置モードの情報ｐｉを入力する入力端子９０Ｄを有している。この画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬpとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬpは６４の画素位置モードのいずれかを表すコードとなる。
【０１１４】
また、クラス分類部１２３は、動きベクトルＭＶを入力する入力端子９０Ｅと、この入力端子９０Ｅに入力される動きベクトルＭＶを閾値判定して、動きベクトルクラスを示すクラスコードＣＬMを生成するクラス生成回路９０Ｆとを有している。
【０１１５】
また、クラス分類部１２３は、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを入力する入力端子９０Ｇと、この入力端子９０Ｇに入力される評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを閾値判定して、評価値クラスを示すクラスコードＣＬCを生成するクラス生成回路９０Ｈとを有している。
【０１１６】
また、クラス分類部１２３は、クラス生成回路９０Ｃ1〜９０Ｃn，９０Ｅ，９０Ｈで生成されるクラスコードＣＬ1〜ＣＬn，ＣＬM，ＣＬCおよびクラスコードＣＬpを統合して１個のクラスコードＣＬとするクラス統合回路９０Ｉと、このクラスコードＣＬを出力する出力端子９０Ｊとを有している。
【０１１７】
本実施の形態において、クラス統合回路９０Ｉは、クラス生成回路９０Ｃ1〜９０Ｃ6，９０Ｅ，９０Ｈで生成されたクラスコードＣＬ1〜ＣＬ6，ＣＬM，ＣＬC、さらにはクラスコードＣＬpを統合して、１つのクラスコードＣＬとする。
【０１１８】
上述したように、予測タップ選択回路１２２は動きベクトルＭＶを用いて動き補償を行って予測タップの画素データを取り出すものであり、クラス分類に動きベクトルＭＶやそれに関連した情報、例えば上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等を用いることで、より的確なクラス分類を行うことができる。
【０１１９】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１２０】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１２１】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（３）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１２２】
【数２】
【０１２３】
この画像信号処理部１１０の動作を説明する。
動きベクトル検出部１２１では、バッファメモリ１０８に記憶されている画像信号Ｖａおよびこの画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶが検出される。なお、この動きベクトル検出部１２１からは、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力される。
【０１２４】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、動きベクトル検出部１２１より出力される画像信号Ｖｂにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１２１より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１２５】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１２６】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトル検出部１２１で検出された動きベクトルＭＶが予測タップ選択回路１２２に供給される。予測タップ選択回路１２２では、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償が行われた後に、これらＴフレームおよびＴ−１フレームから予測タップの画素データが選択的に取り出される。
【０１２７】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（３）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１２８】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、動きベクトルＭＶによって動き補償された画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１２９】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データが用いられることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１３０】
また、予測タップ選択回路１２２において、動き補償を行って予測タップの画素データを選択的に取り出すものであり、Ｔフレーム、Ｔ−１フレームから選択される予測タップの画素データは相関が高いものとなる。そのため、この予測タップの画素データを用いて生成される画像信号Ｖｂにおける注目位置の画素データｙの品質を高めることができる。
【０１３１】
また、クラス分類部１２３では、動きベクトルＭＶやそれに関連した情報である評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いてクラス分類が行われるが、予測タップ選択回路１２２は動きベクトルＭＶを用いて動き補償を行って予測タップの画素データを取り出すものであり、より的確なクラス分類を行うことができる。
【０１３２】
また、動きベクトル検出部１２１では、階層１，２の画素データを用いて階層的に動きベクトルを検出するものであって、上位階層（階層２）の画素データとしてＤＣ係数ＥDCを利用するものである。したがって、上位階層の画素データを得るための加算平均処理を省略でき、動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【０１３３】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（３）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（３）式に従って、以下に示す（４）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（４）
（ｋ＝１，２，‥‥，ｍ）
【０１３４】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（５）で定義して、（６）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（５）
（ｋ＝１，２，‥‥ｍ）
【０１３５】
【数３】
【０１３６】
（６）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（７）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１３７】
【数４】
【０１３８】
（７）式から係数データＷｉを求める具体的な手順について説明する。（８）式、（９）式のようにＸji，Ｙi を定義すると、（７）式は、（１０）式の行列式の形に書くことができる。
【０１３９】
【数５】
【０１４０】
【数６】
【０１４１】
（１０）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１４２】
図１６は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１４３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳおよびこの生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶを検出する動きベクトル検出部１５４を有している。この動きベクトル検出部１５４は、上述した画像信号処理部１１０の動きベクトル検出部１２１と同様に構成される。この動きベクトル検出部１５４は、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力する。
【０１４４】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成され、動きベクトル検出部１５４で検出された動きベクトルＭＶによる動き補償も行われる。
【０１４５】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１４６】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モードの情報ｐｉ、動きベクトル検出部１５４より出力される教師信号ＳＴにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１５４より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４７】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（１０）式参照）を生成する正規方程式生成部１５８を有している。
【０１４８】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１４９】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１５０】
次に、図１６に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１５１】
動きベクトル検出部１５４では、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳおよびこの生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶが検出される。なお、この動きベクトル検出部１５４からは、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力される。
【０１５２】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、動きベクトル検出部１５４より出力される教師信号ＳＴにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１５４より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１５３】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、タップ選択回路１５５で、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトル検出部１５４で検出された動きベクトルＭＶが予測タップ選択回路１５５に供給される。予測タップ選択回路１５５では、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償が行われた後に、これらＴフレームおよびＴ−１フレームから予測タップの画素データが選択的に取り出される。
【０１５４】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１０）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１５５】
このように、図１６に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１５６】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１５７】
なお、図１の画像信号処理部１１０における処理を、例えば図１７に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１５８】
まず、図１７に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１５９】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１６０】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１６１】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１６２】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６３】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１６４】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６５】
図１８のフローチャートを参照して、図１７に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDC、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉも入力する。
【０１６６】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１６７】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１６８】
このステップＳＴ２５では、画像信号Ｖａの画素データを階層１（下位階層）の画素データとすると共にＤＣ係数ＥDCを階層２（上位階層）の画素データとして、ブロックマッチング法によって、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶを検出する。このとき、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも得る。
【０１６９】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａ、画素位置モード情報ｐｉ、ステップＳＴ２５で得られた動きベクトルＭＶ、評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等に基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７０】
次に、ステップＳＴ２７で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。この場合、ステップＳＴ２５で検出した動きベクトルＭＶによって動き補償を行った後に、予測タップの画素データを取得する。
【０１７１】
次に、ステップＳＴ２８で、ステップＳＴ２６で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２７で取得された予測タップの画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１７２】
そして、ステップＳＴ２９で、ステップＳＴ２２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１７３】
このように、図１８に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１７４】
また、処理装置の図示は省略するが、図１６の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１７５】
図１９のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDC、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉも得る。
【０１７６】
そして、ステップＳＴ３５で、生徒信号ＳＳの画素データを階層１（下位階層）の画素データとすると共にＤＣ係数ＥDCを階層２（上位階層）の画素データとして、ブロックマッチング法によって、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶを検出する。このとき、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも得る。
【０１７７】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳ、画素位置モード情報ｐｉ、ステップＳＴ３５で得られた動きベクトルＭＶ、評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等に基づいて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７８】
次に、ステップＳＴ３７で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。この場合、ステップＳＴ３５で検出した動きベクトルＭＶによって動き補償を行った後に、予測タップの画素データを取得する。
【０１７９】
そして、ステップＳＴ３８で、ステップＳＴ３６で生成されたクラスコードＣＬ、ステップＳＴ３７で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（１０）式に示す正規方程式を得るための加算をする（（８）式、（９）式参照）。
【０１８０】
次に、ステップＳＴ３９で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１８１】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ４０で、上述のステップＳＴ３８の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４１で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４２で、処理を終了する。
【０１８２】
このように、図１９に示すフローチャートに沿って処理をすることで、図１６に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１８３】
なお、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル情報信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１８４】
また、上述実施の形態においては、動きベクトルＭＶとこれに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minとの双方をクラス検出の情報として用いたものであるが、いずれか一方を用いてもよい。また、動きベクトルＭＶに関連した情報は評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minに限定されるものではない。また、この評価値も差分絶対値和ではなく差分二乗和であってもよい。また、勾配法、反復勾配法等で動きベクトルＭＶを求める場合には、その過程で得られる情報を用いることも考えられる。
【０１８５】
また、上述実施の形態においては、動きベクトルＭＶを階層１，２の２階層とし、階層２の画素データとしてＤＣ係数ＥDCを用いたものであるが、階層１と階層２との間にさらに階層１の画素を１／２，１／４とした階層を設けて、動きベクトルの検出を行うようにしてもよい。さらに、階層２の上位に階層を設けてもよい。
【０１８６】
【発明の効果】
この発明によれば、動きベクトルによって動き補償された第１の画像信号（入力画像信号）に基づいて選択された、第２の画像信号（出力画像信号）における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データ、およびこの出力画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成するものであり、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できる。
【０１８７】
また、この発明によれば、動き補償が行われた第１の画像信号に基づいて複数の第２の画素データが選択され、この複数の第２の画素データを用いて第２の画像信号における注目位置の画素データが属するクラスが検出されるものであり、上述したように動き補償が行われた第１の画像信号に基づいて選択された複数の第１の画素データに対応したクラスを良好に検出できる。
【０１８８】
また、この発明によれば、動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択され、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成されるものであり、クラス分類に動きベクトルやそれに関連した情報を用いることで、より的確なクラス分類を行うことができる。
【０１８９】
また、この発明によれば、符号化が直交変換を伴う符号化であって、動きベクトルの検出が第１の画像信号に係る解像度の異なる複数階層の画素データに基づいて行われる際、解像度が低い上位階層の画素データとして直交変換の処理ブロック単位毎に得られるＤＣ係数が用いられるものであり、上位階層の画素データを得るための加算平均処理を省略でき、従って動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】ＤＣ係数の出力処理を説明するための図である。
【図４】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図５】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図６】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図７】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図８】動きベクトル検出時の階層構造を説明するための図である。
【図９】動きベクトル検出処理を説明するためのフローチャートである。
【図１０】動きベクトル検出部の構成を示すブロック図である。
【図１１】評価値算出回路の構成を示すブロック図である。
【図１２】動きベクトル検出回路の構成を示すブロック図である。
【図１３】動き補償を説明するための図である。
【図１４】クラス分類部の構成を示すブロック図である。
【図１５】タップ選択用ブロックを示す図である。
【図１６】係数データ生成装置の構成を示すブロック図である。
【図１７】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１８】画像信号処理を示すフローチャートである。
【図１９】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・動きベクトル検出部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、この発明は、動きベクトルによって動き補償された入力画像信号に基づいて選択された出力画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ、およびこの出力画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成することによって、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データに対して可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像データは直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮した上で重要である低周波データに関しては、細かく量子化を施し、人間の視覚特性を考慮した上で重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
このような符号化雑音（符号化歪み）は、ＭＰＥＧ２による符号化方式だけでなく、その他の符号化方式によっても発生する。
【００１０】
この発明の目的は、符号化されたデジタル画像信号を復号化することによって得られた画像信号の符号化雑音（符号化歪み）を良好に軽減することにある。また、この発明の他の目的は、動きベクトルを検出する際の演算量を低減することにある。また、この発明の目的は、クラス分類を的確に行い得るようにすることにある。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の第１の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、上記動きベクトル検出手段は、上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００１２】
また、この発明に係る画像信号処理方法は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する第１のステップと、上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、上記第３のステップで検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第４のステップと、上記第４のステップで発生された係数データおよび上記第２のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する第５のステップとを有し、上記第１のステップでは、上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００１３】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００１４】
また、この発明に係る画像表示装置は、直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、この画像信号入力手段に入力された第１の画像信号を符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなるものである。画像信号処理手段は、上述した画像信号処理装置と同様の構成である。
【００１５】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。この第１の画像信号に基づいて、第２の画像信号における注目位置に対応した動きベクトルが検出される。
【００１６】
例えば、符号化が直交変換を伴う符号化であって、この動きベクトルの検出が第１の画像信号に係る解像度の異なる複数階層の画素データに基づいて行われる際には、解像度が低い上位階層の画素データとして直交変換の処理ブロック単位毎に得られるＤＣ係数が用いられる。この場合、上位階層の画素データを得るための加算平均処理を省略できることから、動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【００１７】
このように検出される動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。第１の画像信号に動き補償が行われることで、時間方向に存在する各画面の画像信号から選択される複数の第１の画素データは相関が高いものとなり、この複数の第１の画素データを用いて後述するように生成される第２の画像信号における注目位置の画素データの品質を高めることができる。
【００１８】
また、第１の画像信号に基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。例えば、上述したように検出された動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第２の画素データを選択され、この複数の第２の画素データを用いて第２の画像信号における注目位置の画素データが属するクラスが検出される。動き補償が行われた第１の画像信号に基づいて複数の第２の画素データが選択されることで、上述したように動き補償が行われた第１の画像信号に基づいて選択された複数の第１の画素データに対応したクラスを良好に検出できる。
【００１９】
また例えば、上述したように検出された動きベクトルおよびこの動きベクトルに関連した情報の少なくとも１つに基づいて、第２の画像信号における注目位置の画素データが属するクラスが検出される。動きベクトルに関連した情報としては、例えば動きベクトルがブロックマッチング法で行われる場合、検出された動きベクトルに対応した差分絶対値和、差分二乗和などが用いられる。
【００２０】
上述したように、動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択され、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成される。クラス分類に動きベクトルやそれに関連した情報を用いることで、より的確なクラス分類を行うことが可能となる。
【００２１】
上述したように検出されたクラスに対応して、推定式で用いられる係数データが発生される。そして、この係数データおよび上述したように選択された複数の第１の画素データが用いられ、推定式に基づいて、第２の画像信号における注目位置の画素データが生成される。
【００２２】
このように、動きベクトルによって動き補償された第１の画像信号（入力画像信号）に基づいて選択された、第２の画像信号（出力画像信号）における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ、およびこの第２の画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成するものであり、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００２３】
この発明に係る係数データ生成装置は、符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る復号化手段と、上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める演算手段とを備え、上記動きベクトル検出手段は、上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００２４】
また、この発明に係る係数データ生成方法は、符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る第１のステップと、上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する第２のステップと、上記第２のステップで検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第３のステップと、少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、上記第４のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める第５のステップとを有し、上記第２のステップでは、上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いるものである。
【００２５】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２６】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２７】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。この生徒信号に基づいて、教師信号における注目位置に対応した動きベクトルが検出される。
【００２８】
この動きベクトルによって動き補償が行われた生徒信号に基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。また、少なくとも、生徒信号を用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００２９】
そして、この教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００３０】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３１】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
【００３３】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３４】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３５】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３６】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、その画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モードの情報ｐｉも出力される。バッファメモリ１０８には、各画素データと対にして情報ｐｉも格納される。さらに、ＭＰＥＧ２復号化器１０７からは、各ＤＣＴブロックのＤＣ係数も出力される。バッファメモリ１０８には、各ＤＣＴブロックに対応した複数の画素データに対応させてＤＣ係数も格納される。
【００３７】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３８】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３９】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報を抽出する抽出回路７５と、この抽出回路７５で抽出される量子化特性指定情報に基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００４０】
また、復号化器１０７は、Ｉピクチャ(Intra-Picture)およびＰピクチャ(Predictive-Picture)の画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャ(Bidirectionally predictive-Picture)の画像信号が出力されるとき、対応する参照画像信号Ｖrefを生成して出力する予測メモリ回路７８を有している。
【００４１】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの画像信号が出力されるとき、その画像信号に予測メモリ回路７８で生成された参照画像信号Ｖrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャの画像信号が出力されるとき、予測メモリ回路７８から加算回路７９に参照画像信号Ｖrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画像信号がそのまま出力される。
【００４２】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャの画像信号を予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャの画像信号を正しい順に並べ直して出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００４３】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、予測メモリ回路７８ではこの動き補償用ベクトルの情報ＭＩを用いて参照画像信号Ｖrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４４】
なお、ピクチャ選択回路８０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉも出力される。
【００４５】
また、復号化器１０７は、逆ＤＣＴ回路７７で処理される各ＤＣＴブロック（処理ＤＣＴブロック）のＤＣ係数Ｅ0に基づいて、各ＤＣＴブロックのＤＣ係数ＥDCを出力するＤＣ係数出力回路８３と、このＤＣ係数出力回路８３より出力されるＤＣ係数ＥDCを出力する出力端子８４とを有している。
【００４６】
ＭＰＥＧ２の符号化データにおいて、ＰピクチャおよびＢピクチャにおける各ＤＣＴブロックのＤＣＴ係数は、残差信号に対応するものとなっている。そのため、ＤＣ係数出力回路８３では、逆ＤＣＴ回路７７で処理されるＤＣＴブロック（処理ＤＣＴブロック）がＩピクチャのＤＣＴブロックであるときは、その処理ＤＣＴブロックに含まれるＤＣ係数をそのまま出力すべきＤＣ係数ＥDCとする。
【００４７】
また、ＤＣ係数出力回路８３では、逆ＤＣＴ回路７７で処理されるＤＣＴブロック（処理ＤＣＴブロック）がＰピクチャおよびＢピクチャのＤＣＴブロックであるときは、その処理ＤＣＴブロックに含まれるＤＣ係数Ｅ0に、対応する参照画像信号ＶrefのＤＣＴブロック（参照ＤＣＴブロック）のＤＣ係数ＥDCであるＥDCRを加算して、出力すべきＤＣ係数ＥDCとする（図３Ａ参照）。
【００４８】
ここで、上述したように参照画像信号Ｖrefは動き補償用ベクトル情報ＭＩに基づいて動き補償されていることから、処理ＤＣＴブロックに対応する参照ＤＣＴブロックが２個以上となることもある。その場合には、その２個以上の参照ＤＣＴブロックのＤＣ係数ＥDCRが加算平均されて、加算すべきＤＣ係数とされる。図４Ｂに示すように、処理ＤＣＴブロックに対応する参照ＤＣＴブロックが４個である場合には、処理ＤＣＴブロックに含まれるＤＣ係数Ｅ0に加算すべきＤＣ係数は、（ＥDCR1＋ＥDCR2＋ＥDCR3＋ＥDCR4）／４とされる。この場合、単純な加算平均ではなく、対応する面積割合に応じて重み付けをした加算平均であってもよい。
【００４９】
上述したように、ピクチャ選択回路８０からは、加算回路７９より出力される各ピクチャの画像信号が正しい順に並べ直されて出力される。ＤＣ係数出力回路８３より出力されるＤＣ係数についても、ピクチャ選択回路８０より出力される各ピクチャの画像信号に対応した順に並べ直されて出力される。
【００５０】
抽出回路８２で抽出される動き補償用ベクトル情報ＭＩはＤＣ係数出力回路８３に供給される。ＤＣ係数出力回路８３は、この動き補償用ベクトル情報ＭＩを用いて、処理ＤＣＴブロックに対応する参照ＤＣＴブロックの個数および位置を認識する。また、抽出回路８２で抽出されるピクチャ情報ＰＩはＤＣ係数出力回路８３に供給される。ＤＣ係数出力回路８３は、このピクチャ情報ＰＩを用いて、ピクチャの識別をする。
【００５１】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００５２】
逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路７９を介してピクチャ選択回路８０に供給される。この場合、ＰピクチャおよびＢピクチャの画像信号に対しては、加算回路７９で予測メモリ回路７８より出力される参照画像信号Ｖrefが加算される。そして、各ピクチャの画像信号は、ピクチャ選択回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００５３】
なお、このようにピクチャ選択回路８０から画像信号Ｖａが出力される場合、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となってその画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉも出力される。
【００５４】
また、逆ＤＣＴ回路７７で処理される各ＤＣＴブロック（処理ＤＣＴブロック）のＤＣ係数Ｅ0がＤＣ係数出力回路８３に供給される。このＤＣ係数出力回路８３からは、ピクチャ選択回路８０より出力される画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCが出力され、このＤＣ係数ＥDCは出力端子８４に出力される。
【００５５】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００５６】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって画像位置モード情報ｐｉが出力されると共に、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCも出力される。これら、画像位置モード情報ｐｉおよびＤＣ係数ＥDCもバッファメモリ１０８に一時的に格納される。
【００５７】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。この画像信号処理部１１０では、バッファメモリ１０８に記憶されている画像位置モード情報ｐｉおよびＤＣ係数ＥDCが用いられて変換処理が行われる。
【００５８】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５９】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａおよびこの画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶを検出する動きベクトル検出部１２１を有している。
【００６０】
この動きベクトル検出部１２１では、ブロックマッチング法により動きベクトルが検出される。これは、図４に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルＭＶを求めるものである。
【００６１】
ブロックマッチング法では、図５Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図５Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図５Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【００６２】
図６Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと一致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。
【００６３】
図６Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図６Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図６Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。
【００６４】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。
【００６５】
図７は、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことを示している。すなわち、この図５のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図５は、Ｓ＝４，Ｔ＝３とした例である。
【００６６】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和等）の中で、最小値を検出することによって、動きベクトルが検出される。図７の探索範囲は、候補ブロックの中心が位置する領域であり、候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００６７】
また、動きベクトル検出部１２１では、解像度の異なる２階層の画像データを使用して、画像信号Ｖｂにおける注目位置の動きベクトルＭＶが検出される。本実施の形態において、階層１（下位階層）の画素データとして画像信号Ｖａの画素データそのものが用いられ、この階層１より解像度が低下した階層２（上位階層）の画素データとして、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCが用いられる。
【００６８】
図８は、階層構造を示しており、階層１の６４（＝８×８）画素に対応して、階層２の１（＝１×１）画素が存在する。ここで、階層２の１画素のデータは、８×８のＤＣＴブロック部分に対応したものであり、階層１の６４画素のデータの平均値に対応した値を持っている。
【００６９】
動きベクトル検出部１２１では、各階層の画素データを用いて、各階層でブロックマッチング法による動きベクトル検出を行う。すなわち、ブロックマッチングの評価関数は、参照フレームをＴで表し、探索フレームをＴ−１で表すと、（１）式で求められる。ただし、（ｕn、ｖn）は、階層ｎでの動きベクトルを示している。
【００７０】
【数１】
この評価関数Ｅ（Ｙ）n の最小を与えるＶn′ ＝（ｕn、ｖn）を、求める動きベクトルとする。最終的な動きベクトルＶ1は、（２）式の関係に基づいて、求めることができる。
ＭＶ＝Ｖ1′＋８Ｖ2′ ・・・（２）
【００７２】
図９のフローチャートは、画像信号Ｖｂにおける注目位置の動きベクトルＭＶの検出処理の手順を示している。
まず、ステップＳＴ１で、階層２の参照フレーム（Ｔフレーム）に、注目位置に対応した画素データを中心とした参照ブロックを設定し、階層２の探索フレーム（Ｔ−１フレーム）の探索範囲内での探索を開始する。
【００７３】
次に、ステップＳＴ２で、探索範囲内での全ての探索が終了したか否かを判定する。探索が終了していないときは、ステップＳＴ３に進み、画素データ（ＤＣ係数ＥDC）を用いて、（１）式に基づいて、評価関数Ｅ（Ｙ）2による評価値を求め、ステップＳＴ２に戻る。一方、探索が終了したときは、ステップＳＴ４で、評価値より動きベクトルＶ2′を決定する。
【００７４】
次に、ステップＳＴ５で、階層１の参照フレーム（Ｔフレーム）に、注目位置に対応した画素データを中心とした参照ブロックを設定し、階層１の探索フレーム（Ｔ−１フレーム）の探索範囲内での探索を開始する。この場合、階層１の探索フレームを、階層２で決定された動きベクトルＶ2′を８倍した動きベクトルによって動き補償して用いる。
【００７５】
次に、ステップＳＴ６で、探索範囲内での全ての探索が終了したか否かを判定する。探索が終了していないときは、ステップＳＴ７に進み、画素データを用いて、（１）式に基づいて、評価関数Ｅ（Ｙ）1による評価値を求め、ステップＳＴ６に戻る。一方、探索が終了したときは、ステップＳＴ８で、評価値より動きベクトルＶ1′を決定する。
【００７６】
そして、ステップＳＴ９で、（２）式に基づいて、階層２で決定された動きベクトルＶ2′を８倍して、階層１で決定された動きベクトルＶ1′に加算し、画像信号Ｖｂにおける注目位置の最終的な動きベクトルＭＶを求める。
【００７７】
図１０は、動きベクトル検出部１２１の構成を示している。
ＤＣ係数ＥDCが階層２の画素データとして参照フレーム用のフレームメモリ２１に供給されて書き込まれる。あるフレーム期間でフレームメモリ２１に書き込まれる画素データは、続くフレームではこのフレームメモリ２１から読み出されて探索フレーム用のフレームメモリ２２に供給されて書き込まれる。
【００７８】
参照ブロック回路２３は、フレームメモリ２１から、画像信号Ｖｂにおける注目位置に対応した画素データを中心とした参照ブロックの画素データを選択的に読み出し、評価値算出回路２４に供給する。また、サーチブロック回路２５は、フレームメモリ２２から、探索範囲内の各候補ブロックに対応した画像データを順次読み出して評価値算出回路２４に供給する。
【００７９】
評価値算出回路２４は、参照ブロック回路２３からの参照ブロックの画素データと、サーチブロック回路２５からの各候補ブロックの画像データとを用いて、（１）式の評価関数Ｅ（Ｙ）2に基づいて、各候補ブロックの評価値を求める。この評価値算出回路２４で求められ各候補ブロックの評価値は、動きベクトル検出回路２６に供給される。
【００８０】
この動きベクトル検出回路２６は、各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕn、ｖn）を、階層２の動きベクトルＶ2′として出力する（（１）式参照）。
【００８１】
また、画像信号Ｖａは参照フレーム用のフレームメモリ１１に供給されて書き込まれる。あるフレーム期間でフレームメモリ１１に書き込まれる画素データは、続くフレームではこのフレームメモリ１１から読み出されて探索フレーム用のフレームメモリ１２に供給されて書き込まれる。
【００８２】
参照ブロック回路１３は、フレームメモリ１１から、画像信号Ｖｂにおける注目位置に対応した画素データを中心とした参照ブロックの画素データを選択的に読み出し、評価値算出回路１４に供給する。また、サーチブロック回路１５は、フレームメモリ１２から、探索範囲内の各候補ブロックに対応した画像データを順次読み出して評価値算出回路１４に供給する。
【００８３】
この場合、上述したように動きベクトル検出回路２６で検出される階層２の動きベクトルＶ2′がフレームメモリ１２に供給される。上述したように、階層１の６４（＝８×８）画素に対応して、階層２の１（＝１×１）画素が存在する（図８参照）。そのため、この動きベクトルＶ2′が８倍されたものによって探索範囲が動き補償される。
【００８４】
評価値算出回路１４は、参照ブロック回路１３からの参照ブロックの画素データと、サーチブロック回路１５からの各候補ブロックの画像データとを用いて、（１）式の評価関数Ｅ（Ｙ）1に基づいて、各候補ブロックの評価値を求める。この評価値算出回路１４で求められ各候補ブロックの評価値は、動きベクトル検出回路１６に供給される。
【００８５】
この動きベクトル検出回路１６は、各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕn、ｖn）を、階層１の動きベクトルＶ1′として出力する（（１）式参照）。
【００８６】
上述の動きベクトル検出回路１６，２６で検出された階層１，２の動きベクトルＶ1′，Ｖ2′は加算回路３１に供給され、上述の（２）に基づいて加算される。そして、この加算回路３１は、画像信号Ｖｂにおける注目位置の動きベクトルＭＶを出力する。
【００８７】
なお、動きベクトル検出部１２１は、上述したように動きベクトルＭＶを出力する他に、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力する。これら評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minは、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出する際に用いられる。
【００８８】
本実施の形態において、評価値算出回路４０（１４，２４）は、図１１に示すように構成されている。すなわち、評価値算出回路４０においては、参照ブロックメモリ４１と候補ブロックメモリ４２とを有している。参照ブロックメモリ４１は、フレームメモリ１１，２１より参照ブロック回路１１，２３で選択的に読み出される参照ブロックの画素データを格納する。候補ブロックメモリ４２は、フレームメモリ１２，２２よりサーチブロック回路１５，２５で選択的に読み出される候補ブロックの画素データを格納する。
【００８９】
参照ブロックメモリ４１および候補ブロックメモリ４２の内容が、メモリコントローラ４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４およびレジスタ４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８およびレジスタ４９で累積加算される。この累積加算結果は、当該候補ブロックの評価値となる。評価値算出回路４０で順次算出される各候補ブロックの評価値は、評価値メモリ５０に、評価値メモリコントローラ５１より指定されたアドレス、つまり動きベクトル（ｕn、ｖn）（（１）式参照））の順に入力される。
【００９０】
本実施の形態において、動きベクトル検出回路６０（１６，２６）は、図１２に示すように構成されている。すなわち、動きベクトル検出回路６０においては、各候補ブロックの評価値が、評価値メモリ５０より、順次評価値メモリコントローラ５１より指定されたアドレス（＝（ｕn、ｖn））に従って読み出され、比較器６１およびレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち評価値メモリ５０より読み出された評価値が小さいとき、レジスタ６２およびレジスタ６３の内容を更新する信号を送出する。
【００９１】
レジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして評価値メモリ５０に記憶された評価値が順次評価され、そのうちの評価値の最小を与えるアドレス、つまり（ｕn、ｖn）がレジスタ６３より出力され、これが動きベクトル検出回路６０の出力、すなわち動きベクトルＶn′として出力される。
【００９２】
また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【００９３】
予測タップ選択回路１２２には、上述の動きベクトル検出部１２１で検出された動きベクトルＭＶが供給される。予測タップ選択回路１２２は、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償を行う。例えば、図１３に示すように、動きベクトルＭＶが（−２，＋１）であったとき、予測タップ選択回路１２２は、Ｔフレームからｘ1〜ｘ13の画素データを選択的に取り出し、Ｔ−１フレームから（−２，＋１）だけずれた位置にあるｘ1〜ｘ13の画素データを選択的に取り出す。
【００９４】
このように、予測タップ選択回路１２２において、動き補償を行って予測タップの画素データを選択的に取り出すようにしたことで、Ｔフレーム、Ｔ−１フレームから選択される予測タップの画素データは相関が高いものとなる。そのため、この予測タップの画素データを用いて後述するように生成される画像信号Ｖｂにおける注目位置の画素データの品質を高めることができる。
【００９５】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【００９６】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、動きベクトル検出部１２１より出力される画像信号Ｖｂにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１２１より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００９７】
図１４は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子９０Ａと、この入力端子９０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路９０Ｂ1〜９０Ｂnと、このタップ選択回路９０Ｂ1〜９０Ｂnで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ1〜ＣＬnを生成するクラス生成回路９０Ｃ1〜９０Ｃnとを有している。
【００９８】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ1〜ＣＬ6を生成する。６種類のクラスは、時空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【００９９】
▲１▼時空間波形クラスを説明する。タップ選択回路９０Ｂ1およびクラス生成回路９０Ｃ1は、この時空間波形クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ1は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。
【０１００】
このタップ選択回路９０Ｂ1には、上述の動きベクトル検出部１２１で検出された動きベクトルＭＶが供給される。タップ選択回路９０Ｂ1は、上述した予測タップ選択回路１２２と同様に、動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償を行った後に、ＴフレームおよびＴ−１フレームから複数の画素データを選択的に取り出す。
【０１０１】
このように、タップ選択回路９０Ｂ1において、動き補償を行って複数の画素データを選択的に取り出すようにしたことで、上述したように予測タップ選択回路１２２で動き補償が行われて選択された予測タップの画素データに対応した時空間波形クラスを良好に検出できる。
【０１０２】
クラス生成回路９０Ｃ1は、タップ選択回路９０Ｂ1で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、時空間波形クラスを示すクラスコードＣＬ1を生成する。
【０１０３】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【０１０４】
▲２▼時間変動クラスを説明する。タップ選択回路９０Ｂ2およびクラス生成回路９０Ｃ2は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ2は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図１５に示す過去ブロック）の画素データを取り出す。
【０１０５】
クラス生成回路９０Ｃ2は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ2を生成する。
【０１０６】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路９０Ｂ3およびクラス生成回路９０Ｃ3は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ3は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図１５に示す過去ブロック）の画素データを取り出す。
【０１０７】
クラス生成回路９０Ｃ3は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路９０Ｃ3は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ1と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ2を求め、ｍ1／ｍ2を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ3を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【０１０８】
▲４▼フラットクラスを説明する。タップ選択回路９０Ｂ4およびクラス生成回路９０Ｃ4は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ4は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出す。クラス生成回路９０Ｃ4は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ4を生成する。
【０１０９】
▲５▼ライン相関クラスについて説明する。タップ選択回路９０Ｂ5およびクラス生成回路９０Ｃ5は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ5は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出す。
【０１１０】
クラス生成回路９０Ｃ5は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ5を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【０１１１】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路９０Ｂ6およびクラス生成回路９０Ｃ6は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路９０Ｂ6は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図１５に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図１５に示す隣接ブロック）の画素データを取り出す。
【０１１２】
クラス生成回路９０Ｃ6は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ6を生成する。
【０１１３】
また、クラス分類部１２３は、画素位置モードの情報ｐｉを入力する入力端子９０Ｄを有している。この画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬpとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬpは６４の画素位置モードのいずれかを表すコードとなる。
【０１１４】
また、クラス分類部１２３は、動きベクトルＭＶを入力する入力端子９０Ｅと、この入力端子９０Ｅに入力される動きベクトルＭＶを閾値判定して、動きベクトルクラスを示すクラスコードＣＬMを生成するクラス生成回路９０Ｆとを有している。
【０１１５】
また、クラス分類部１２３は、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを入力する入力端子９０Ｇと、この入力端子９０Ｇに入力される評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを閾値判定して、評価値クラスを示すクラスコードＣＬCを生成するクラス生成回路９０Ｈとを有している。
【０１１６】
また、クラス分類部１２３は、クラス生成回路９０Ｃ1〜９０Ｃn，９０Ｅ，９０Ｈで生成されるクラスコードＣＬ1〜ＣＬn，ＣＬM，ＣＬCおよびクラスコードＣＬpを統合して１個のクラスコードＣＬとするクラス統合回路９０Ｉと、このクラスコードＣＬを出力する出力端子９０Ｊとを有している。
【０１１７】
本実施の形態において、クラス統合回路９０Ｉは、クラス生成回路９０Ｃ1〜９０Ｃ6，９０Ｅ，９０Ｈで生成されたクラスコードＣＬ1〜ＣＬ6，ＣＬM，ＣＬC、さらにはクラスコードＣＬpを統合して、１つのクラスコードＣＬとする。
【０１１８】
上述したように、予測タップ選択回路１２２は動きベクトルＭＶを用いて動き補償を行って予測タップの画素データを取り出すものであり、クラス分類に動きベクトルＭＶやそれに関連した情報、例えば上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等を用いることで、より的確なクラス分類を行うことができる。
【０１１９】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１２０】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１２１】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（３）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１２２】
【数２】
この画像信号処理部１１０の動作を説明する。
動きベクトル検出部１２１では、バッファメモリ１０８に記憶されている画像信号Ｖａおよびこの画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶが検出される。なお、この動きベクトル検出部１２１からは、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力される。
【０１２４】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、動きベクトル検出部１２１より出力される画像信号Ｖｂにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１２１より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１２５】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１２６】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトル検出部１２１で検出された動きベクトルＭＶが予測タップ選択回路１２２に供給される。予測タップ選択回路１２２では、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償が行われた後に、これらＴフレームおよびＴ−１フレームから予測タップの画素データが選択的に取り出される。
【０１２７】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（３）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１２８】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、動きベクトルＭＶによって動き補償された画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１２９】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データが用いられることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１３０】
また、予測タップ選択回路１２２において、動き補償を行って予測タップの画素データを選択的に取り出すものであり、Ｔフレーム、Ｔ−１フレームから選択される予測タップの画素データは相関が高いものとなる。そのため、この予測タップの画素データを用いて生成される画像信号Ｖｂにおける注目位置の画素データｙの品質を高めることができる。
【０１３１】
また、クラス分類部１２３では、動きベクトルＭＶやそれに関連した情報である評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いてクラス分類が行われるが、予測タップ選択回路１２２は動きベクトルＭＶを用いて動き補償を行って予測タップの画素データを取り出すものであり、より的確なクラス分類を行うことができる。
【０１３２】
また、動きベクトル検出部１２１では、階層１，２の画素データを用いて階層的に動きベクトルを検出するものであって、上位階層（階層２）の画素データとしてＤＣ係数ＥDCを利用するものである。したがって、上位階層の画素データを得るための加算平均処理を省略でき、動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【０１３３】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（３）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（３）式に従って、以下に示す（４）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（４）
（ｋ＝１，２，‥‥，ｍ）
【０１３４】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（５）で定義して、（６）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（５）
（ｋ＝１，２，‥‥ｍ）
【０１３５】
【数３】
（６）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（７）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１３７】
【数４】
（７）式から係数データＷｉを求める具体的な手順について説明する。（８）式、（９）式のようにＸji，Ｙi を定義すると、（７）式は、（１０）式の行列式の形に書くことができる。
【０１３９】
【数５】
【数６】
（１０）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１４２】
図１６は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１４３】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳおよびこの生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶを検出する動きベクトル検出部１５４を有している。この動きベクトル検出部１５４は、上述した画像信号処理部１１０の動きベクトル検出部１２１と同様に構成される。この動きベクトル検出部１５４は、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力する。
【０１４４】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成され、動きベクトル検出部１５４で検出された動きベクトルＭＶによる動き補償も行われる。
【０１４５】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１４６】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モードの情報ｐｉ、動きベクトル検出部１５４より出力される教師信号ＳＴにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１５４より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４７】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（１０）式参照）を生成する正規方程式生成部１５８を有している。
【０１４８】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１４９】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１５０】
次に、図１６に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１５１】
動きベクトル検出部１５４では、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳおよびこの生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDCに基づいて、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶが検出される。なお、この動きベクトル検出部１５４からは、動きベクトルＭＶの他に、この動きベクトルＭＶに関連した情報として、階層１，２の動きベクトルＶ1′，Ｖ2′に対応した最小の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも出力される。
【０１５２】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、動きベクトル検出部１５４より出力される教師信号ＳＴにおける注目位置の動きベクトルＭＶ、それに関連して動きベクトル検出部１５４より出力される上述の評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minを用いて、当該教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１５３】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、タップ選択回路１５５で、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトル検出部１５４で検出された動きベクトルＭＶが予測タップ選択回路１５５に供給される。予測タップ選択回路１５５では、この動きベクトルＭＶによって、Ｔフレーム（現在フレーム）に対するＴ−１フレーム（１フレーム前のフレーム）の動き補償が行われた後に、これらＴフレームおよびＴ−１フレームから予測タップの画素データが選択的に取り出される。
【０１５４】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１０）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１５５】
このように、図１６に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１５６】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１５７】
なお、図１の画像信号処理部１１０における処理を、例えば図１７に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１５８】
まず、図１７に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１５９】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１６０】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１６１】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１６２】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６３】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１６４】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６５】
図１８のフローチャートを参照して、図１７に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣ係数ＥDC、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉも入力する。
【０１６６】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１６７】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１６８】
このステップＳＴ２５では、画像信号Ｖａの画素データを階層１（下位階層）の画素データとすると共にＤＣ係数ＥDCを階層２（上位階層）の画素データとして、ブロックマッチング法によって、画像信号Ｖｂにおける注目位置に対応した動きベクトルＭＶを検出する。このとき、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも得る。
【０１６９】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａ、画素位置モード情報ｐｉ、ステップＳＴ２５で得られた動きベクトルＭＶ、評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等に基づいて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７０】
次に、ステップＳＴ２７で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。この場合、ステップＳＴ２５で検出した動きベクトルＭＶによって動き補償を行った後に、予測タップの画素データを取得する。
【０１７１】
次に、ステップＳＴ２８で、ステップＳＴ２６で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２７で取得された予測タップの画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１７２】
そして、ステップＳＴ２９で、ステップＳＴ２２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１７３】
このように、図１８に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１７４】
また、処理装置の図示は省略するが、図１６の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１７５】
図１９のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣ係数ＥDC、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉも得る。
【０１７６】
そして、ステップＳＴ３５で、生徒信号ＳＳの画素データを階層１（下位階層）の画素データとすると共にＤＣ係数ＥDCを階層２（上位階層）の画素データとして、ブロックマッチング法によって、教師信号ＳＴにおける注目位置に対応した動きベクトルＭＶを検出する。このとき、動きベクトルＭＶに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minも得る。
【０１７７】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳ、画素位置モード情報ｐｉ、ステップＳＴ３５で得られた動きベクトルＭＶ、評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-min等に基づいて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７８】
次に、ステップＳＴ３７で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。この場合、ステップＳＴ３５で検出した動きベクトルＭＶによって動き補償を行った後に、予測タップの画素データを取得する。
【０１７９】
そして、ステップＳＴ３８で、ステップＳＴ３６で生成されたクラスコードＣＬ、ステップＳＴ３７で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（１０）式に示す正規方程式を得るための加算をする（（８）式、（９）式参照）。
【０１８０】
次に、ステップＳＴ３９で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１８１】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ４０で、上述のステップＳＴ３８の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４１で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４２で、処理を終了する。
【０１８２】
このように、図１９に示すフローチャートに沿って処理をすることで、図１６に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１８３】
なお、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル情報信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０１８４】
また、上述実施の形態においては、動きベクトルＭＶとこれに関連した情報としての評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minとの双方をクラス検出の情報として用いたものであるが、いずれか一方を用いてもよい。また、動きベクトルＭＶに関連した情報は評価値Ｅ(Ｙ)1-min，Ｅ(Ｙ)2-minに限定されるものではない。また、この評価値も差分絶対値和ではなく差分二乗和であってもよい。また、勾配法、反復勾配法等で動きベクトルＭＶを求める場合には、その過程で得られる情報を用いることも考えられる。
【０１８５】
また、上述実施の形態においては、動きベクトルＭＶを階層１，２の２階層とし、階層２の画素データとしてＤＣ係数ＥDCを用いたものであるが、階層１と階層２との間にさらに階層１の画素を１／２，１／４とした階層を設けて、動きベクトルの検出を行うようにしてもよい。さらに、階層２の上位に階層を設けてもよい。
【０１８６】
【発明の効果】
この発明によれば、動きベクトルによって動き補償された第１の画像信号（入力画像信号）に基づいて選択された、第２の画像信号（出力画像信号）における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データ、およびこの出力画像信号における注目位置の画素データが属するクラスに対応した推定式の係数データを用い、推定式に基づいて出力画像信号における注目位置の画素データを生成するものであり、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できる。
【０１８７】
また、この発明によれば、動き補償が行われた第１の画像信号に基づいて複数の第２の画素データが選択され、この複数の第２の画素データを用いて第２の画像信号における注目位置の画素データが属するクラスが検出されるものであり、上述したように動き補償が行われた第１の画像信号に基づいて選択された複数の第１の画素データに対応したクラスを良好に検出できる。
【０１８８】
また、この発明によれば、動きベクトルによって動き補償が行われた第１の画像信号に基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択され、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成されるものであり、クラス分類に動きベクトルやそれに関連した情報を用いることで、より的確なクラス分類を行うことができる。
【０１８９】
また、この発明によれば、符号化が直交変換を伴う符号化であって、動きベクトルの検出が第１の画像信号に係る解像度の異なる複数階層の画素データに基づいて行われる際、解像度が低い上位階層の画素データとして直交変換の処理ブロック単位毎に得られるＤＣ係数が用いられるものであり、上位階層の画素データを得るための加算平均処理を省略でき、従って動きベクトルを検出する際の演算量を低減でき、また動きベクトルを検出するための回路規模を低減できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】ＤＣ係数の出力処理を説明するための図である。
【図４】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図５】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図６】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図７】動きベクトル検出のためのブロックマッチング法を説明するための図である。
【図８】動きベクトル検出時の階層構造を説明するための図である。
【図９】動きベクトル検出処理を説明するためのフローチャートである。
【図１０】動きベクトル検出部の構成を示すブロック図である。
【図１１】評価値算出回路の構成を示すブロック図である。
【図１２】動きベクトル検出回路の構成を示すブロック図である。
【図１３】動き補償を説明するための図である。
【図１４】クラス分類部の構成を示すブロック図である。
【図１５】タップ選択用ブロックを示す図である。
【図１６】係数データ生成装置の構成を示すブロック図である。
【図１７】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１８】画像信号処理を示すフローチャートである。
【図１９】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・動きベクトル検出部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
Claims (11)
- 直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の第１の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記動きベクトル検出手段は、
上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる画像信号処理装置。 - 上記クラス検出手段は、
上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段を有し、
上記第２のデータ選択手段で選択された複数の第２の画素データを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する請求項１に記載の画像信号処理装置。 - 上記クラス検出手段は、
上記動きベクトル検出手段で上記第１の画像信号のフレーム又はフィールド間のブロックの差分が最小を示す評価値から決定された動きベクトル、当該動きベクトルに対応した上記評価値、上記第１の画像信号を構成する画素データが上記直交変換のブロックにおける画素位置のいずれにあったかを示す画素位置モードの情報のうちの１つ又はこれらの組み合わせから、上記第２の画像信号における注目位置の画素データが属するクラスを検出する請求項１に記載の画像信号処理装置。 - 直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する第１のステップと、
上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記第３のステップで検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第４のステップと、
上記第４のステップで発生された係数データおよび上記第２のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する第５のステップとを有し、
上記第１のステップでは、
上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる画像信号処理方法。 - 直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する第１のステップと、
上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記第３のステップで検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第４のステップと、
上記第４のステップで発生された係数データおよび上記第２のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する第５のステップとを有し、
上記第１のステップでは、
上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる画像信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号から、当該符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号における注目位置に対応した動きベクトルを検出する第１のステップと、
上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記第３のステップで検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する第４のステップと、
上記第４のステップで発生された係数データおよび上記第２のステップで選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する第５のステップとを有し、
上記第１のステップでは、
上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる画像信号処理方法をコンピュータに実行させるためのプログラム。 - 直交変換により符号化されたデジタル画像信号を復号化することによって生成されて複数の画素データからなる第１の画像信号が入力される画像信号入力手段と、
上記画像信号入力手段に入力された上記第１の画像信号を符号化に伴う歪みを低減した複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、
上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段とを有してなり、
上記画像信号処理手段は、
上記第１の画像信号から、上記第２の画像信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記第１の画像信号から、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
少なくとも上記第１の画像信号から、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の画像信号に対応して符号化歪みを含む生徒信号と上記第２の画像信号に対応して符号化歪みを含まない教師信号との誤差を最小にする係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを演算して上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記動きベクトル検出手段は、
上記第１の画像信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる画像表示装置。 - 符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る復号化手段と、
上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段で検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める演算手段とを備え、
上記動きベクトル検出手段は、
上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる係数データ生成装置。 - 符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る第１のステップと、
上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する第２のステップと、
上記第２のステップで検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第３のステップと、
少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、
上記第４のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める第５のステップとを有し、
上記第２のステップでは、
上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる係数データ生成方法。 - 符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る第１のステップと、
上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する第２のステップと、
上記第２のステップで検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第３のステップと、
少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、
上記第４のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める第５のステップとを有し、
上記第２のステップでは、
上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる係数データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 符号化歪みを含まない教師信号が直交変換により符号化されて得られたデジタル画像信号を復号化して符号化歪みを含む生徒信号を得る第１のステップと、
上記生徒信号から、上記教師信号における注目位置に対応した動きベクトルを検出する第２のステップと、
上記第２のステップで検出された動きベクトルによって動き補償が行われた上記生徒信号から、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第３のステップと、
少なくとも上記生徒信号から、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、
上記第４のステップで検出されたクラス、上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データから上記クラス毎に、上記生徒信号に係る複数の画素データと上記教師信号における注目位置の画素データとの誤差を最小にする上記係数データを求める第５のステップとを有し、
上記第２のステップでは、
上記生徒信号に係る解像度の異なる複数階層の画素データを入力し、当該画素データから構成されるブロックを上位階層から照合して最下位階層の上記動きベクトルを検出する場合に、解像度が低い上位階層の画素データとして上記直交変換の処理ブロック単位毎に得られるＤＣ係数を用いる係数データ生成方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002254805A JP4154961B2 (ja) | 2002-08-30 | 2002-08-30 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002254805A JP4154961B2 (ja) | 2002-08-30 | 2002-08-30 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096430A JP2004096430A (ja) | 2004-03-25 |
| JP4154961B2 true JP4154961B2 (ja) | 2008-09-24 |
Family
ID=32060486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002254805A Expired - Fee Related JP4154961B2 (ja) | 2002-08-30 | 2002-08-30 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154961B2 (ja) |
-
2002
- 2002-08-30 JP JP2002254805A patent/JP4154961B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004096430A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US20100172417A1 (en) | Motion estimation technique for digital video encoding applications | |
| JPH06292176A (ja) | 飛び越し走査デジタルビデオ信号の符号化方法及び複号化方法 | |
| JPH08307874A (ja) | 映像信号符号化装置 | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| JP2008521324A (ja) | カバーリング及びアンカバーリングを扱う動きベクトル場の投影 | |
| JP2000278688A (ja) | 動きベクトル検出装置およびその方法と画像処理装置 | |
| JP4078906B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| US20040105589A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4140259B2 (ja) | 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体 | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US7991054B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program | |
| JP2007067552A (ja) | 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 | |
| CN100531397C (zh) | 用于设置数字视频的运动矢量的方法 | |
| JP4158476B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JPH1023420A (ja) | 動き検出方法および動き検出装置 | |
| JP4140662B2 (ja) | 係数種データ生成装置および係数データ生成装置 | |
| JP3991800B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2004173013A (ja) | 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP3991801B2 (ja) | 情報信号処理装置、情報信号処理方法および画像信号処理装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2003271970A (ja) | テロップ領域抽出回路、テロップ領域抽出方法、その方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体、並びに画像信号処理回路 | |
| JPH07203460A (ja) | 軌跡表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050812 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |