JP4462823B2 - 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム - Google Patents
画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム Download PDFInfo
- Publication number
- JP4462823B2 JP4462823B2 JP2002337196A JP2002337196A JP4462823B2 JP 4462823 B2 JP4462823 B2 JP 4462823B2 JP 2002337196 A JP2002337196 A JP 2002337196A JP 2002337196 A JP2002337196 A JP 2002337196A JP 4462823 B2 JP4462823 B2 JP 4462823B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- image signal
- target position
- data
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
詳しくは、この発明は、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データを、該画素データに対応した隣接フレームとの間の動きベクトルと共に記憶しておき、現在フレームが記憶されているフレームメモリ部から第２の画像信号における注目位置に対して空間方向の周辺に位置する複数の画素データを選択すると共に、現在フレームの前後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データを選択し、これら選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成することによって、第２の画像信号の品質の向上を容易に実現できるようにした画像信号処理装置等に係るものである。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００３】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００４】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００５】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
このような従来例に関連して特許文献１には、空間的／時間的に近傍に存在する複数の画素を使用して注目画素を作成するデジタル画像信号処理装置が開示されている。
【特許文献１】
特開平７−４６５８９号公報（第５頁、第１図）
【０００６】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００７】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００８】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【０００９】
この場合、第１の画像信号に基づいて第２の画像信号における注目位置に対して空間方向の周辺だけでなく時間方向の周辺にも位置する複数の画素データを選択し、この複数の画素データを用いて第２の画像信号における注目位置の画素データを生成することで、第２の画像信号の品質を高めることが可能となる。しかし、その場合に時間方向の周辺に位置する複数の画素データとして、注目位置に対して空間方向の周辺に位置する複数の画素データと相関の高いものを選択して用いる必要がある。
【００１０】
この発明の目的は、第２の画像信号の品質の向上を容易に実現し得る画像信号処理装置等を提供することにある。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、上記第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段によって選択された複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、上記検出されたクラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する係数データ発生手段と、上記係数データ発生手段により発生された係数データ及び上記データ選択手段により選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する画素データ生成手段とを備え、上記データ選択手段は、上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００１２】
また、この発明に係る画像信号処理方法は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、選択された上記複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する第３のステップと、検出された上記クラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する第４のステップと、上記第４のステップで発生された上記係数データ及び上記第２のステップで選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する第５のステップとを有し、上記第２のステップでは、上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００１３】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１４】
この発明においては、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データが、この画素データに対応した隣接フレームとの間の動きベクトルと共に記憶される。
【００１５】
そして、複数のフレームメモリ部に記憶されている複数のフレームに基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。
【００１６】
この場合、第２の画像信号における注目位置が存在するフレームと対応する第１の画像信号の現在フレームが記憶されているフレームメモリ部から、この注目位置に対して空間方向の周辺に位置する複数の画素データが選択される。また、現在フレームの前および後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データが選択される。
【００１７】
そして、この選択された複数の画素データを用いて第２の画像信号における注目位置の画素データが選択される。例えば、以下のようにして注目位置の画素データが生成される。すなわち、第２の画像信号における注目位置の画素データが属するクラスが検出され、この検出されたクラスに対応した推定式の係数データが発生される。そして、発生された係数データおよび選択された複数の画素データを用いて、推定式に基づいて、第２の画像信号における注目位置の画素データが算出される。
【００１８】
複数のフレームメモリ部に画素データと共に記憶された動きベクトルにより現在フレームの前後のフレームの動き補償を行って、現在フレームの前後のフレームから選択された複数の画素データを、現在フレームから選択された複数の画素データとの相関が高いものとするものであり、第２の画像信号の品質の向上を容易に実現できる。
【００１９】
なお、少なくとも、上述したように選択された複数の画素データを用いて、第２の画像信号における注目位置の画素データが属するクラスを検出するようにしてもよい。これにより、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データに対応した時空間クラスを良好に検出できる。
【００２０】
また、フレームは、所定数の画素データで構成される小ブロックに分割され、更に、所定数の当該小ブロックが二次元的に配置されてなる大ブロックを単位として分割される。フレームメモリ部が複数のバンクで構成されるようにし、複数のバンクのそれぞれには、大ブロックが、この大ブロックにおける異なる位置の小ブロックの単位で記憶され、複数のバンクは同時に書き込み及び読み出しがなされるようにしてもよい。これにより、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データを複数のバンクから並行して読み出すことができ、画素データの生成速度を高めることができる。
【００２１】
符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段によって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、誤差を最小にする学習により求める演算手段とを備え、上記データ選択手段は、上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００２２】
また、この発明に係る係数データ生成方法は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、複数のフレームメモリ部に、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、上記第２のステップによって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを注目位置の画素データの属するクラスとして検出する第３のステップと、上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、最小二乗法による学習により求める第４のステップとを有し、上記第２のステップでは、上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００２３】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２４】
この発明において、複数のフレームメモリ部に、生徒信号の連続する複数のフレームの画素データが、この画素データに対応した隣接フレームとの間の動きベクトルと共に記憶される。
【００２５】
そして、複数のフレームメモリ部に記憶されている複数のフレームに基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。そして、この選択された複数の画素データおよび教師信号における注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する。この検出されたクラスに対応して、推定式に用いられる係数データを、選択された複数の画素データおよび教師信号における注目位置の画素データとから、誤差を最小にする学習により求める。
【００２６】
この場合、教師信号における注目位置が存在するフレームと対応する生徒信号の現在フレームが記憶されているフレームメモリ部から、この注目位置に対して空間方向の周辺に位置する複数の画素データが選択される。また、現在フレームの前および後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データが選択される。
【００２７】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、その係数データが使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、第２の画像信号の品質の向上を容易に実現できる。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２９】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３０】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３１】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３２】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３３】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００３４】
また、復号化器１０７は、Ｉピクチャ（Intra-Picture）およびＰピクチャ（Predictive-Picture）の画素データをメモリ（図示せず）に記憶すると共に、これらの画素データを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャ（Bidirectionally predictive-Picture）の残差データが出力されるとき、対応するリファレンスデータＶrefを生成して出力する予測メモリ回路７８を有している。
【００３５】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、その残差データに予測メモリ回路７８で生成されたリファレンスデータＶrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャの画素データが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータＶrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画素データがそのまま出力される。
【００３６】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャの画素データを予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャの画素データを正しい順に並べ直して画像信号Ｖａとして出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００３７】
因に、ＭＰＥＧ方式の符号化では、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化されている。ピクチャ選択回路８０は、各ピクチャの画像信号を符号化の順番から実際のフレーム／フィールドの順番に並べ直して出力する。
【００３８】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータＶrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００３９】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４０】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータが得られる。この各ピクチャのデータは加算回路７９を介してピクチャ選択回路８０に供給される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータＶrefが加算される。そして、加算回路７９より出力される各ピクチャの画素データはピクチャ選択回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００４１】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００４２】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００４３】
バッファメモリ１０８に一時的に格納された画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。
【００４４】
画像信号処理部１１０で得られた画像信号Ｖｂはディスプレイ部１１１に供給される。ディスプレイ部１１１の画面上には、その画像信号Ｖｂによる画像が表示される。
【００４５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に一時的に格納された画像信号Ｖａを入力し、この画像信号Ｖａの連続した所定フレーム、ここでは連続した５フレームを常に記憶した状態とし、この５フレームから予測タップとしての複数の画素データを選択的に出力するメモリ部１２１を有している。
【００４６】
図３は、メモリ部１２１の構成を示している。
このメモリ部１２１は、６個のフレームメモリ部２１ａ〜２１ｆと、６個のデータセレクタ２２ａ〜２２ｆと、メモリＷ／Ｒ制御回路２３とを有している。
【００４７】
フレームメモリ部２１ａ〜２１ｆは、それぞれ、画像信号Ｖａの１フレーム分を記憶し得る容量を持っている。この場合、フレームメモリ部２１ａ〜２１ｆのそれぞれには、１フレーム分の画素データが記憶されると共に、各画素データに対応した隣接フレームとの間の動きベクトルも記憶される。この隣接フレームとの間の動きベクトルは、１フレーム前のフレームとの間の動きベクトルＢＷＶおよび１フレーム後のフレームとの間の動きベクトルＦＷＶからなっている。これらの動きベクトルＢＷＶ，ＦＷＶは、後述する動きベクトル検出部１２２において検出される。
【００４８】
フレームメモリ部２１ａ〜２１ｆは、それぞれ、複数個のバンクで構成される。本実施の形態においては、図４に示すように、バンク０〜バンク３までの４個のバンクで構成されている。ここで、フレームメモリ部２１ａ〜２１ｆのそれぞれに記憶されるフレームは、図５に示すように、「０」〜「３」の小ブロックが二次元的に配置されてなる大ブロックを単位として分割される。
【００４９】
そして、バンク０〜バンク３のそれぞれには、大ブロックの異なる位置の小ブロックが記憶される。つまり、バンク０には、大ブロックの「０」の小ブロックのみが記憶される。バンク１には、大ブロックの「１」の小ブロックのみが記憶される。バンク２には、大ブロックの「２」の小ブロックのみが記憶される。バンク３には、大ブロックの「３」の小ブロックのみが記憶される。
【００５０】
本実施の形態において、小ブロックは、８×８個の画素データで構成されている。なお例えば、画素データは８ビットのデータであり、動きベクトルＢＷＶ，ＦＷＶはそれぞれ１６ビットのデータである。
【００５１】
バンク０〜バンク３は、それぞれ、各小ブロックを構成する８×８個の画素データを同時に読み出し可能となるように構成される。例えば、各小ブロックを構成する８×８個の画素データは、メモリ構造は図示せずも、同一のワードラインに接続されたメモリセルに記憶される。
【００５２】
メモリＷ／Ｒ制御回路２２は、フレームメモリ部２１ａ〜２１ｆの書き込み、読み出しを制御すると共に、データセレクタ２２ａ〜２２ｆにおけるデータ選択を制御する。
【００５３】
フレームメモリ部２１ａ〜２１ｆは、画像信号Ｖａの連続した５フレームが常に記憶された状態とされる。そして、これら５フレームが記憶された５個のフレームメモリ部のそれぞれから、予測タップとしての複数の画素データを取り出すために、それぞれ４ブロック分（１６×１６個）の画素データが読み出される。
【００５４】
すなわち、あるフレーム期間では、フレームメモリ部２１ａ〜２１ｅに連続したｎ−２，ｎ−１，ｎ，ｎ＋１，ｎ＋２の５フレームが記憶された状態となり、フレームメモリ部２１ｆにフレームｎ＋３の書き込みが行われる。次のフレーム期間では、フレームメモリ部２１ｂ〜２１ｆに連続したｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３の５フレームが記憶された状態となり、フレームメモリ部２１ａにフレームｎ＋４の書き込みが行われる。
【００５５】
また、次のフレーム期間では、フレームメモリ部２１ｃ〜２１ｆ，２１ａに連続したｎ，ｎ＋１，ｎ＋２，ｎ＋３，ｎ＋４の５フレームが記憶された状態となり、フレームメモリ部２１ｂにフレームｎ＋５の書き込みが行われる。以下のフレーム期間では、同様に、フレームメモリ部２１ｃ，２１ｄ，２１ｅ，・・・にｎ＋６，ｎ＋７，ｎ＋８，・・・のフレームの書き込みが行われる。
【００５６】
あるフレーム期間で、５個のフレームメモリ部に記憶されている画像信号Ｖａの連続した５フレームのうち、中央のフレームは、画像信号Ｖｂにおける注目位置が存在するフレームと対応する現在フレームｆr(0)とされる。この現在フレームｆr(0)が記憶されているフレームメモリ部から、注目位置Ｐ(0)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００５７】
上述の４ブロック分の画素データは、上述したバンク０〜バンク３からそれぞれ１ブロック分の画素データが読み出されて構成される。ここで、５×５個の画素データが図６Ａのケース０〜ケース３で示す４ブロックの範囲内にある場合には、それぞれ、バンク０〜バンク３からは図６Ｂのケース０〜ケース３の黒点で示すブロックの画素データが読み出される。このことは、以下に述べる、フレームｆr(-1)，ｆr(+1)，ｆr(-2)，ｆr(+2)が記憶されているフレームメモリ部から４ブロック分の画素データが読み出される場合においても同様である。
【００５８】
なお、この現在フレームｆr(0)が記憶されているフレームメモリ部からは、注目位置Ｐ(0)の画素データと対にして記憶されている動きベクトルＢＷＶ(0)，ＦＷＶ(0)も読み出される。この動きベクトルＢＷＶ(0)，ＦＷＶ(0)は、メモリＷ／Ｒ制御回路２３に供給される。
【００５９】
メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(0)を動きベクトルＢＷＶ(0)により動き補償して、現在フレームｆr(0)の前のフレームｆr(-1)における上述の注目位置Ｐ(0)に対応した位置Ｐ(-1)を求める。同様に、メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(0)を動きベクトルＦＷＶ(0)により動き補償して、現在フレームｆr(0)の後のフレームｆr(+1)における上述の注目位置Ｐ(0)に対応した位置Ｐ(+1)を求める。
【００６０】
そして、フレームｆr(-1)が記憶されているフレームメモリ部から、位置Ｐ(-1)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６１】
同様に、フレームｆr(+1)が記憶されているフレームメモリ部から、位置Ｐ(+1)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６２】
なお、フレームｆr(-1)が記憶されているフレームメモリ部からは、位置Ｐ(-1)の画素データと対にして記憶されている動きベクトルＢＷＶ(-1)も読み出される。一方、フレームｆr(+1)が記憶されているフレームメモリ部からは、位置Ｐ(+1)の画素データと対にして記憶されている動きベクトルＦＷＶ(+1)も読み出される。これら動きベクトルＢＷＶ(-1)，ＦＷＶ(+1)は、メモリＷ／Ｒ制御回路２３に供給される。
【００６３】
メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(-1)を動きベクトルＢＷＶ(-1)により動き補償して、フレームｆr(-1)の前のフレームｆr(-2)における上述の注目位置Ｐ(0)に対応した位置Ｐ(-2)を求める。同様に、メモリＷ／Ｒ制御回路２３は、位置Ｐ(+1)を動きベクトルＦＷＶ(+1)により動き補償して、フレームｆr(+1)の後のフレームｆr(+2)における上述の注目位置Ｐ(0)に対応した位置Ｐ(+2)を求める。
【００６４】
そして、フレームｆr(-2)が記憶されているフレームメモリ部から、位置Ｐ(-2)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６５】
同様に、フレームｆr(+2)が記憶されているフレームメモリ部から、位置Ｐ(+2)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６６】
データセレクタ２２ａ〜２２ｆは、それぞれ、フレームメモリ部２１ａ〜２１ｆから同時に読み出される４ブロック分（１６×１６個）の画素データから、予測タップとすべき５×５個の画素データを選択的に取り出すためのものである。この場合、データセレクタ２２ａ〜２２ｆでそれぞれ取り出される５×５個の画素データは、それぞれ位置Ｐ(-2)，Ｐ(-1)，Ｐ(0)，Ｐ(+1)，Ｐ(+2)によって、一義的に決まる。
【００６７】
図７Ａのハッチング領域は、図６Ａ，Ｂに示すケース０の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。図７Ｂのハッチング領域は、図６Ａ，Ｂに示すケース１の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。
【００６８】
図７Ｃのハッチング領域は、図６Ａ，Ｂに示すケース２の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。図７Ｄのハッチング領域は、図６Ａ，Ｂに示すケース３の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。
【００６９】
このようにメモリ部１２１は、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、画像信号Ｖｂにおける注目位置に対して空間方向（水平方向および垂直方向）および時間方向（フレーム方向）の周辺に位置する複数の画素データを予測タップの画素データとして出力する。
【００７０】
図８は、メモリ部１２１より予測タップの画素データとして出力される、各フレームの画素データの位置関係を示している。なお、図８においては、図面の簡単化のために、各フレームには画素を示す黒丸を５×５個ではなく、３×３個のみを示している。
【００７１】
上述したように、フレームｆr(-1)の位置Ｐ(-1)は注目位置Ｐ(0)を動きベクトルＢＷＶ(0)で動き補償して得られた位置であり、またフレームｆr(-2)の位置Ｐ(-2)は位置Ｐ(-1)を動きベクトルＢＷＶ(-1)で動き補償して得られた位置である。同様に、フレームｆr(+1)の位置Ｐ(+1)は注目位置Ｐ(0)を動きベクトルＦＷＶ(0)で動き補償して得られた位置であり、またフレームｆr(+2)の位置Ｐ(+2)は位置Ｐ(+1)を動きベクトルＦＷＶ(+1)で動き補償して得られた位置である。
【００７２】
なお、上述では、予測タップの画素データとして、５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)のそれぞれから５×５個の画素データを取り出すものを示したが、各フレームから取り出す画素データの個数はこれに限定されるものではない。例えば、現在フレームｆr(0)から取り出す画素データの個数を最も多くし、この現在フレームｆr(0)から離れたフレームほど取り出す画素データの個数が少なくなるようにしてもよい。
【００７３】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する動きベクトル検出部１２２を有している。この動きベクトル検出部１２２では、例えば従来周知のブロックマッチング法により動きベクトルＢＷＶ，ＦＷＶが検出される。
【００７４】
上述したように、動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶは１フレーム後のフレームとの間の動きベクトルである。このように動きベクトル検出部１２２で検出される動きベクトルＢＷＶ，ＦＷＶはメモリ部１２１に供給され、上述したように画素データと対にして記憶される。
【００７５】
また、画像信号処理部１１０は、メモリ部１２１より、画像信号Ｖｂにおける注目位置に対応して出力される、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)から順次取り出された予測タップの画素データｘｉを蓄積するタップ蓄積部１２３を有している。
【００７６】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する、クラス検出手段としてのクラス分類部１２４を有している。このクラス分類部１２４は、タップ蓄積部１２３に蓄積された予測タップの画素データｘi (ｉ＝１〜ｎ、ｎは予測タップの個数)と、メモリ部１２１で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬを生成する。
【００７７】
図９は、クラス分類部１２４の構成を示している。
このクラス分類部１２４は、画素データｘｉを入力する入力端子５１と、この入力端子５１に入力される画素データｘｉに基づいて、時空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路５２とを有している。クラス生成回路５２は、画素データｘｉのそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、時空間クラスを示すクラスコードＣＬ１を生成する。
【００７８】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【００７９】
また、クラス分類部１２４は、動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を入力するための入力端子５３と、この入力端子５３に入力された動きベクトルを閾値判定して、動きベクトルクラスを示すクラスコードＣＬ２を生成するクラス生成回路５４とを有している。
【００８０】
また、クラス分類部１２４は、クラス生成回路５２，５４で生成されるクラスコードＣＬ１，ＣＬ２を統合して１個のクラスコードＣＬとするクラス統合回路５５と、このクラスコードＣＬを出力する出力端子５６とを有している。
【００８１】
図９に示すクラス分類部１２４の動作を説明する。入力端子５１に、タップ蓄積部１２３（図１参照）に蓄積された画素データｘｉが入力され、この画素データｘｉはクラス生成回路５２に供給される。クラス生成回路５２は、画素データｘｉのそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、時空間クラスを示すクラスコードＣＬ１を生成する。
【００８２】
また、入力端子５３に、メモリ部１２１（図１参照）から、動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)が供給される。これらの動きベクトルは、メモリ部１２１で画素データを取り出すために用いられたものである。これらの動きベクトルはクラス生成回路５４に供給される。クラス生成回路５４は、これらの動きベクトルの閾値判定をして、動きベクトルクラスを示すクラスコードＣＬ２を生成する。
【００８３】
クラス生成回路５２，５４で生成されるクラスコードＣＬ１，ＣＬ２はクラス統合回路５５に供給されて統合され、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは出力端子５６に出力される。
【００８４】
なお、クラス分類部１２４では、予測タップとしての画素データｘｉを、そのままクラスコードＣＬ１を生成するための画素データとしたものである。これにより、クラスコードＣＬ１を生成するための画素データの取り出し部分の構成を、予測タップとしての画素データの取り出し部分と共通にでき、回路構成を簡単にできる。しかし、このクラスコードＣＬ１を生成するための画素データとして、画素データｘｉとは異なる画素データを取り出して用いる構成としてもよい。
【００８５】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２５を有している。この係数メモリ１２５は、後述する推定予測演算回路１２６で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００８６】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２５に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２５には上述したクラス分類部１２４より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２５からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、後述する推定予測演算回路１２６に供給される。係数データＷｉの生成方法については後述する。
【００８７】
また、画像信号処理部１１０は、タップ蓄積部１２３に蓄積された予測タップの画素データｘｉと、係数メモリ１２５より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２６を有している。
【００８８】
【数１】
【００８９】
この画像信号処理部１１０の動作を説明する。
動きベクトル検出部１２２では、バッファメモリ１０８に記憶されている画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶが検出される。動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶは１フレーム後のフレームとの間の動きベクトルである。
【００９０】
メモリ部１２１には、バッファメモリ１０８に一時的に格納された画像信号Ｖａが入力されると共に、動きベクトル検出部１２２で検出された動きベクトルＢＷＶ，ＦＷＶも入力される。そして、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆ（図３参照）のそれぞれには、１フレーム分の画素データが記憶されると共に、各画素データに対応した動きベクトルＢＷＶ，ＦＷＶも記憶される。
【００９１】
この場合、フレームメモリ部２１ａ〜２１ｆは、画像信号Ｖａの連続した５フレームが常に記憶された状態とされる。そして、これら５フレームが記憶された５個のフレームメモリ部のそれぞれから、予測タップとしての５×５個の画素データを取り出すために、それぞれ４ブロック分（１６×１６個）の画素データが読み出される。
【００９２】
この４ブロック分の画素データは、フレームメモリ部を構成するバンク０〜バンク３（図４参照）からそれぞれ１ブロック分の画素データが読み出されて構成される。この場合、各バンクからは、それぞれ、１ブロック分の画素データである、８×８個の画素データが同時に読み出される。
【００９３】
フレームメモリ部２１ａ〜２１ｆから読み出される４ブロック分（１６×１６個）の画素データは、それぞれデータセレクタ２２ａ〜２２ｆ（図３参照）に供給される。データセレクタ２２ａ〜２２ｆは、それぞれ、４ブロック分（１６×１６個）の画素データから、予測タップとすべき５×５個の画素データを選択的に取り出す。
【００９４】
これにより、メモリ部１２１からは、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、図８に示すように、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データが予測タップの画素データｘｉとして出力される。
【００９５】
この場合、フレームｆr(0)からは、注目位置Ｐ(0)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(-1)からは、位置Ｐ(-1)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(-2)からは、位置Ｐ(-2)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。ここで、位置Ｐ(-1)は注目位置Ｐ(0)を動きベクトルＢＷＶ(0)で動き補償して得られた位置である。位置Ｐ(-2)は位置Ｐ(-1)を動きベクトルＢＷＶ(-1)で動き補償して得られた位置である。
【００９６】
同様に、フレームｆr(+1)からは、位置Ｐ(+1)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(+2)からは、位置Ｐ(+2)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。ここで、位置Ｐ(+1)は注目位置Ｐ(0)を動きベクトルＦＷＶ(0)で動き補償して得られた位置である。位置Ｐ(+2)は位置Ｐ(+1)を動きベクトルＦＷＶ(+1)で動き補償して得られた位置である。
【００９７】
メモリ部１２１より、画像信号Ｖｂにおける注目位置に対応して出力される、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)から順次取り出された予測タップの画素データｘｉは、タップ蓄積部１２３に供給されて蓄積される。
【００９８】
クラス分類部１２４では、タップ蓄積部１２３に蓄積された予測タップの画素データｘi と、メモリ部１２１で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬが生成される。このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すものである。
【００９９】
このようにクラス分類部１２４で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２５に供給される。これにより、係数メモリ１２５からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２６に供給される。
【０１００】
推定予測演算回路１２６では、タップ蓄積部１２３に蓄積された予測タップの画素データｘi と、係数メモリ１２５より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１０１】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データ（予測タップの画素データ）ｘｉ、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１０２】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１０３】
また、メモリ部１２１において、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される予測タップとすべき５×５個の画素データは、位置Ｐ(-2)，Ｐ(-1)，Ｐ(+1)，Ｐ(+2)に対して空間方向の周辺に位置するものである。これらの位置は、フレームメモリ部２１ａ〜２１ｆに画素データと共に記憶されている動きベクトルＢＷＶ，ＦＷＶにより注目位置Ｐ(0)が動き補償されて得られたものである。そのため、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される複数の画素データは、注目位置Ｐ(0)に対して空間方向の周辺に位置する複数の画素データとの相関が高いものとなる。
【０１０４】
このように、フレームメモリ部２１ａ〜２１ｆに画素データと共に記憶されている動きベクトルＢＷＶ，ＦＷＶにより動き補償された位置Ｐ(-2)，Ｐ(-1)，Ｐ(+1)，Ｐ(+2)を得ることで、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される複数の画素データを、注目位置Ｐ(0)に対して空間方向の周辺に位置する複数の画素データとの相関が高いものとするものであり、画像信号Ｖｂの品質の向上を容易に実現できる。
【０１０５】
また、タップ蓄積部１２３に蓄積された予測タップとしての画素データｘｉをクラス分類部１２４に供給し、この画素データｘｉに基づいて時空間クラスを示すクラスコードＣＬ１を生成し、最終的なクラスコードＣＬとして、クラスコードＣＬ１が統合されたものを得るようにしている。したがって、画像信号Ｖｂにおける注目位置の画素データを生成する際に用いられる画素データｘｉに対応した時空間クラスを良好に検出でき、クラス分類の精度を高めることができる。
【０１０６】
また、予測タップとしての画素データｘｉに基づいて時空間クラスを示すクラスコードＣＬ１を生成することで、時空間クラスを検出するための画素データを抽出する回路を別個に設ける必要がなく、回路構成を簡単にできる。
【０１０７】
また、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆは、それぞれバンク０〜バンク３を有して構成されている。そして、バンク０〜バンク３のそれぞれには、フレームを０〜３の４個の小ブロックが二次元的に配置されてなる大ブロックを単位として分割した際の大ブロックの異なる位置の小ブロックが記憶される。
【０１０８】
これにより、予測タップとすべき５×５個の画素データを取り出すために、この５×５個の画素データを含む範囲の４ブロック分（１６×１６個）の画素データを、バンク０〜バンク３から各１ブロック分ずつ並行して読み出すことができる。したがって、メモリ部１２１より、予測タップとしての画素データを出力するための処理速度を高めることができ、ひいては画像信号Ｖｂにおける注目位置の画素データの生成速度を高めることができる。
【０１０９】
次に、係数メモリ１２５に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１１０】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１１１】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（３）で定義して、（４）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１１２】
【数２】
【０１１３】
（４）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１１４】
【数３】
【０１１５】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸji，Ｙi を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１１６】
【数４】
【０１１７】
【数５】
【０１１８】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１１９】
図１０は、図１の画像信号処理部１１０の係数メモリ１２５に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１２０】
また、係数データ生成装置１５０は、動きベクトル検出部１５４を有している。この動きベクトル検出部１５４は、上述した画像信号処理部１１０の動きベクトル検出部１２２と同様に構成され、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶおよび１フレーム後のフレームとの間の動きベクトルである。
【０１２１】
また、係数データ生成装置１５０は、メモリ部１５５を有している。このメモリ部１５５は、上述した画像信号処理部１１０のメモリ部１２１と同様に構成される。このメモリ部１５５は、生徒信号ＳＳの連続した５フレームを常に記憶すると共に、各画素データと対にして、動きベクトル検出部１５４で検出された動きベクトルＢＷＶ，ＦＷＶも記憶する。また、このメモリ部１５５は、生徒信号ＳＳの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、教師信号ＳＴにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データとして出力する。
【０１２２】
また、係数データ生成装置１５０は、メモリ部１５５より、教師信号ＳＴにおける注目位置に対応して出力される、生徒信号ＳＳの連続する５フレームから順次取り出された予測タップの画素データを蓄積するタップ蓄積部１５６を有している。このタップ蓄積部１５６は、上述した画像信号処理部１１０のタップ蓄積部１２３と同様に構成される。
【０１２３】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する、クラス検出手段としてのクラス分類部１５７を有している。このクラス分類部１５７は、タップ蓄積部１５６に蓄積された予測タップの画素データｘi (ｉ＝１〜ｎ、ｎは予測タップの個数)と、メモリ部１５５で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬを生成する。このクラス分類部１５７は、上述した画像信号処理部１１０のクラス分類部１２４と同様に構成される。
【０１２４】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５８と、この遅延回路１５８で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ蓄積部１５６に蓄積された予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５７で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５９を有している。
【０１２５】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１２６】
また、係数データ生成装置１５０は、正規方程式生成部１５９で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１６０と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６１とを有している。
【０１２７】
次に、図１０に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１２８】
動きベクトル検出部１５４では、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶが検出される。
【０１２９】
メモリ部１５５には、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳが入力されると共に、動きベクトル検出部１５４で検出された動きベクトルＢＷＶ，ＦＷＶも入力される。このメモリ部１５５には、生徒信号ＳＳの連続した５フレームが常に記憶されると共に、各画素データと対にして動きベクトルＢＷＶ，ＦＷＶも記憶される。
【０１３０】
そして、このメモリ部１５５からは、生徒信号ＳＳの連続する５フレームに基づいて、教師信号ＳＴにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが予測タップの画素データとして出力される。このようにメモリ部１５５より出力される予測タップの画素データはタップ蓄積部１５６に供給されて蓄積される。
【０１３１】
クラス分類部１５７では、タップ蓄積部１５６に蓄積された予測タップの画素データｘi と、メモリ部１５５で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬが生成される。このクラスコードＣＬは、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すものである。
【０１３２】
そして、遅延回路１５８で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ蓄積部１５６に蓄積された予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５７で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１６０で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６１に格納される。
【０１３３】
このように、図１０に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２５に格納される各クラスの係数データＷｉを生成することができる。
【０１３４】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１３５】
なお、図１の画像信号処理部１１０における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１３６】
まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１３９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１４０】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１４１】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１４２】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４３】
図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０１４４】
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に複数フレーム分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号ＶａはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａを読み出し、この画像信号ＶａをＲＡＭ３０３に一時的に格納する。
【０１４５】
次に、ステップＳＴ２３で、入力された画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。
【０１４６】
次に、ステップＳＴ２４で、画像信号Ｖａの全フレームの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２５で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２６に進む。
【０１４７】
ステップＳＴ２６では、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データｘｉとして取得する。この場合、ステップＳＴ２３で検出した動きベクトルを用いて、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)に関しては、動き補償をする。
【０１４８】
次に、ステップＳＴ２７で、ステップＳＴ２６で取得された予測タップの画素データｘｉと、この画素データｘｉを取得する際に使用された動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４９】
そして、ステップＳＴ２８で、ステップＳＴ２７で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１５０】
次に、ステップＳＴ２９で、ステップＳＴ２２で入力された複数フレーム分の画像信号Ｖａに対応した処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の複数フレーム分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２６に戻って、次の注目位置についての処理に移る。
【０１５１】
このように、図１２に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１５２】
また、処理装置の図示は省略するが、図１０の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１５３】
図１３のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、複数フレーム分の教師信号ＳＴを入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０１５４】
次に、ステップＳＴ３５で、生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。そして、ステップＳＴ３６で、生徒信号ＳＳの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、教師信号ＳＴにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データｘｉとして取得する。この場合、ステップＳＴ３５で検出した動きベクトルを用いて、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)に関しては動き補償をする。
【０１５５】
次に、ステップＳＴ３７で、ステップＳＴ３６で取得された予測タップの画素データｘｉと、この画素データｘｉを取得する際に使用された動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１５６】
そして、ステップＳＴ３８で、ステップＳＴ３７で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１５７】
次に、ステップＳＴ３９で、ステップＳＴ３２で入力された複数フレーム分の教師信号ＳＴに対応した学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の複数フレーム分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３６に戻って、次の注目位置についての処理に移る。
【０１５８】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ４０で、上述のステップＳＴ３８の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４１で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４２で、処理を終了する。
【０１５９】
このように、図１３に示すフローチャートに沿って処理をすることで、図１０に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１６０】
なお、上述実施の形態においては、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆのそれぞれは、バンク０〜バンク３の４個のバンクで構成されたものであるが、１個のフレームメモリ部を構成するバンクの個数はこれに限定されるものではない。また、上述実施の形態においては、小ブロックを８×８個の画素データからなるものとしたが、小ブロックの大きさはこれに限定されるものではない。
【０１６１】
例えば、小ブロックが８×８個の画素データで構成される場合であって、１フレームから予測タップとして取り出すべき画素データが８×８個の画素データ範囲を越える場合には、フレームメモリ部を９個のバンクで構成することで、予測タップとして取り出すべき画素データを含む９個の小ブロックを同時に読み出すことができる。この場合、フレームは９個の小ブロックが二次元的に配置されてなる大ブロックを単位として分割され、９個のバンクのそれぞれには、大ブロックの異なる位置の小ブロックが記憶される。
【０１６２】
また、上述実施の形態においては、復号化された画像信号Ｖａを符号化雑音が軽減された画像信号Ｖｂに変換する画像信号処理部１１０にこの発明を適用したものである。しかし、この発明は、一般的に、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する際に、第１の画像信号に基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択し、この選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成するものに、同様に適用できることは勿論である。
【０１６３】
【発明の効果】
この発明によれば、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データを、該画素データに対応した隣接フレームとの間の動きベクトルと共に記憶しておき、現在フレームが記憶されているフレームメモリ部から第２の画像信号における注目位置に対して空間方向の周辺に位置する複数の画素データを選択すると共に、現在フレームの前後方向の複数のフレームが記憶されている複数のフレームメモリ部から、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データを選択し、これら選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成するものである。
したがって、この発明によれば、複数のフレームメモリ部に画素データと共に記憶された動きベクトルにより現在フレームの前後のフレームの動き補償を行って、現在フレームの前後の複数のフレームから選択された複数の画素データを、現在フレームから選択された複数の画素データとの相関が高いものとするものであり、第２の画像信号の品質の向上を容易に実現できる。
【０１６４】
また、この発明によれば、フレームメモリ部が複数のバンクを有してなるようにし、複数のバンクのそれぞれには、フレームを複数の小ブロックが二次元的に配置されてなる大ブロックを単位として分割した際の大ブロックの異なる位置の小ブロックが記憶されるものであり、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データを複数のバンクから並行して読み出すことができ、画素データの生成速度を高めることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】メモリ部の構成を示すブロック図である。
【図４】フレームメモリ部を構成するバンクを説明するための図である。
【図５】フレームのブロック分割を説明するための図である。
【図６】各バンクからのブロックの読み出しを説明するための図である。
【図７】各バンクの読み出されたブロックからの画素データの取り出し例を示す図である。
【図８】予測タップの各フレームの画素データの位置関係を示す図である。
【図９】クラス分類部の構成を示すブロック図である。
【図１０】係数データ生成装置の構成を示すブロック図である。
【図１１】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１２】画像信号処理を示すフローチャートである。
【図１３】係数データ生成処理を示すフローチャートである。
【符号の説明】
２１ａ〜２１ｆ・・・フレームメモリ部、２２ａ〜２２ｆ・・・データセレクタ、２３・・・メモリＷ／Ｒ制御回路、１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・メモリ部、１２２・・・動きベクトル検出部、１２３・・・タップ蓄積部、１２４・・・クラス分類部、１２５・・・係数メモリ、１２６・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
詳しくは、この発明は、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データを、該画素データに対応した隣接フレームとの間の動きベクトルと共に記憶しておき、現在フレームが記憶されているフレームメモリ部から第２の画像信号における注目位置に対して空間方向の周辺に位置する複数の画素データを選択すると共に、現在フレームの前後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データを選択し、これら選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成することによって、第２の画像信号の品質の向上を容易に実現できるようにした画像信号処理装置等に係るものである。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００３】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００４】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００５】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverce DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
このような従来例に関連して特許文献１には、空間的／時間的に近傍に存在する複数の画素を使用して注目画素を作成するデジタル画像信号処理装置が開示されている。
【特許文献１】
特開平７−４６５８９号公報（第５頁、第１図）
【０００６】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００７】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００８】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【０００９】
この場合、第１の画像信号に基づいて第２の画像信号における注目位置に対して空間方向の周辺だけでなく時間方向の周辺にも位置する複数の画素データを選択し、この複数の画素データを用いて第２の画像信号における注目位置の画素データを生成することで、第２の画像信号の品質を高めることが可能となる。しかし、その場合に時間方向の周辺に位置する複数の画素データとして、注目位置に対して空間方向の周辺に位置する複数の画素データと相関の高いものを選択して用いる必要がある。
【００１０】
この発明の目的は、第２の画像信号の品質の向上を容易に実現し得る画像信号処理装置等を提供することにある。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、上記第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段によって選択された複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、上記検出されたクラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する係数データ発生手段と、上記係数データ発生手段により発生された係数データ及び上記データ選択手段により選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する画素データ生成手段とを備え、上記データ選択手段は、上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００１２】
また、この発明に係る画像信号処理方法は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、選択された上記複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する第３のステップと、検出された上記クラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する第４のステップと、上記第４のステップで発生された上記係数データ及び上記第２のステップで選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する第５のステップとを有し、上記第２のステップでは、上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００１３】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１４】
この発明においては、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データが、この画素データに対応した隣接フレームとの間の動きベクトルと共に記憶される。
【００１５】
そして、複数のフレームメモリ部に記憶されている複数のフレームに基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。
【００１６】
この場合、第２の画像信号における注目位置が存在するフレームと対応する第１の画像信号の現在フレームが記憶されているフレームメモリ部から、この注目位置に対して空間方向の周辺に位置する複数の画素データが選択される。また、現在フレームの前および後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データが選択される。
【００１７】
そして、この選択された複数の画素データを用いて第２の画像信号における注目位置の画素データが選択される。例えば、以下のようにして注目位置の画素データが生成される。すなわち、第２の画像信号における注目位置の画素データが属するクラスが検出され、この検出されたクラスに対応した推定式の係数データが発生される。そして、発生された係数データおよび選択された複数の画素データを用いて、推定式に基づいて、第２の画像信号における注目位置の画素データが算出される。
【００１８】
複数のフレームメモリ部に画素データと共に記憶された動きベクトルにより現在フレームの前後のフレームの動き補償を行って、現在フレームの前後のフレームから選択された複数の画素データを、現在フレームから選択された複数の画素データとの相関が高いものとするものであり、第２の画像信号の品質の向上を容易に実現できる。
【００１９】
なお、少なくとも、上述したように選択された複数の画素データを用いて、第２の画像信号における注目位置の画素データが属するクラスを検出するようにしてもよい。これにより、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データに対応した時空間クラスを良好に検出できる。
【００２０】
また、フレームは、所定数の画素データで構成される小ブロックに分割され、更に、所定数の当該小ブロックが二次元的に配置されてなる大ブロックを単位として分割される。フレームメモリ部が複数のバンクで構成されるようにし、複数のバンクのそれぞれには、大ブロックが、この大ブロックにおける異なる位置の小ブロックの単位で記憶され、複数のバンクは同時に書き込み及び読み出しがなされるようにしてもよい。これにより、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データを複数のバンクから並行して読み出すことができ、画素データの生成速度を高めることができる。
【００２１】
符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段によって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、誤差を最小にする学習により求める演算手段とを備え、上記データ選択手段は、上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００２２】
また、この発明に係る係数データ生成方法は、符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、複数のフレームメモリ部に、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、上記第２のステップによって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを注目位置の画素データの属するクラスとして検出する第３のステップと、上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、最小二乗法による学習により求める第４のステップとを有し、上記第２のステップでは、上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択するものである。
【００２３】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２４】
この発明において、複数のフレームメモリ部に、生徒信号の連続する複数のフレームの画素データが、この画素データに対応した隣接フレームとの間の動きベクトルと共に記憶される。
【００２５】
そして、複数のフレームメモリ部に記憶されている複数のフレームに基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。そして、この選択された複数の画素データおよび教師信号における注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する。この検出されたクラスに対応して、推定式に用いられる係数データを、選択された複数の画素データおよび教師信号における注目位置の画素データとから、誤差を最小にする学習により求める。
【００２６】
この場合、教師信号における注目位置が存在するフレームと対応する生徒信号の現在フレームが記憶されているフレームメモリ部から、この注目位置に対して空間方向の周辺に位置する複数の画素データが選択される。また、現在フレームの前および後のフレームが記憶されているフレームメモリ部から、複数のフレームメモリ部に画素データと共に記憶されている動きベクトルにより注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データが選択される。
【００２７】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、その係数データが使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、第２の画像信号の品質の向上を容易に実現できる。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２９】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３０】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３１】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３２】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ(Discrete Cosine Transform：離散コサイン変換)係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３３】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００３４】
また、復号化器１０７は、Ｉピクチャ（Intra-Picture）およびＰピクチャ（Predictive-Picture）の画素データをメモリ（図示せず）に記憶すると共に、これらの画素データを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャ（Bidirectionally predictive-Picture）の残差データが出力されるとき、対応するリファレンスデータＶrefを生成して出力する予測メモリ回路７８を有している。
【００３５】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、その残差データに予測メモリ回路７８で生成されたリファレンスデータＶrefを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャの画素データが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータＶrefは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画素データがそのまま出力される。
【００３６】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャの画素データを予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャの画素データを正しい順に並べ直して画像信号Ｖａとして出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００３７】
因に、ＭＰＥＧ方式の符号化では、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化されている。ピクチャ選択回路８０は、各ピクチャの画像信号を符号化の順番から実際のフレーム／フィールドの順番に並べ直して出力する。
【００３８】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータＶrefを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００３９】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４０】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータが得られる。この各ピクチャのデータは加算回路７９を介してピクチャ選択回路８０に供給される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータＶrefが加算される。そして、加算回路７９より出力される各ピクチャの画素データはピクチャ選択回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００４１】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００４２】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００４３】
バッファメモリ１０８に一時的に格納された画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが生成される。
【００４４】
画像信号処理部１１０で得られた画像信号Ｖｂはディスプレイ部１１１に供給される。ディスプレイ部１１１の画面上には、その画像信号Ｖｂによる画像が表示される。
【００４５】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に一時的に格納された画像信号Ｖａを入力し、この画像信号Ｖａの連続した所定フレーム、ここでは連続した５フレームを常に記憶した状態とし、この５フレームから予測タップとしての複数の画素データを選択的に出力するメモリ部１２１を有している。
【００４６】
図３は、メモリ部１２１の構成を示している。
このメモリ部１２１は、６個のフレームメモリ部２１ａ〜２１ｆと、６個のデータセレクタ２２ａ〜２２ｆと、メモリＷ／Ｒ制御回路２３とを有している。
【００４７】
フレームメモリ部２１ａ〜２１ｆは、それぞれ、画像信号Ｖａの１フレーム分を記憶し得る容量を持っている。この場合、フレームメモリ部２１ａ〜２１ｆのそれぞれには、１フレーム分の画素データが記憶されると共に、各画素データに対応した隣接フレームとの間の動きベクトルも記憶される。この隣接フレームとの間の動きベクトルは、１フレーム前のフレームとの間の動きベクトルＢＷＶおよび１フレーム後のフレームとの間の動きベクトルＦＷＶからなっている。これらの動きベクトルＢＷＶ，ＦＷＶは、後述する動きベクトル検出部１２２において検出される。
【００４８】
フレームメモリ部２１ａ〜２１ｆは、それぞれ、複数個のバンクで構成される。本実施の形態においては、図４に示すように、バンク０〜バンク３までの４個のバンクで構成されている。ここで、フレームメモリ部２１ａ〜２１ｆのそれぞれに記憶されるフレームは、図５に示すように、「０」〜「３」の小ブロックが二次元的に配置されてなる大ブロックを単位として分割される。
【００４９】
そして、バンク０〜バンク３のそれぞれには、大ブロックの異なる位置の小ブロックが記憶される。つまり、バンク０には、大ブロックの「０」の小ブロックのみが記憶される。バンク１には、大ブロックの「１」の小ブロックのみが記憶される。バンク２には、大ブロックの「２」の小ブロックのみが記憶される。バンク３には、大ブロックの「３」の小ブロックのみが記憶される。
【００５０】
本実施の形態において、小ブロックは、８×８個の画素データで構成されている。なお例えば、画素データは８ビットのデータであり、動きベクトルＢＷＶ，ＦＷＶはそれぞれ１６ビットのデータである。
【００５１】
バンク０〜バンク３は、それぞれ、各小ブロックを構成する８×８個の画素データを同時に読み出し可能となるように構成される。例えば、各小ブロックを構成する８×８個の画素データは、メモリ構造は図示せずも、同一のワードラインに接続されたメモリセルに記憶される。
【００５２】
メモリＷ／Ｒ制御回路２２は、フレームメモリ部２１ａ〜２１ｆの書き込み、読み出しを制御すると共に、データセレクタ２２ａ〜２２ｆにおけるデータ選択を制御する。
【００５３】
フレームメモリ部２１ａ〜２１ｆは、画像信号Ｖａの連続した５フレームが常に記憶された状態とされる。そして、これら５フレームが記憶された５個のフレームメモリ部のそれぞれから、予測タップとしての複数の画素データを取り出すために、それぞれ４ブロック分（１６×１６個）の画素データが読み出される。
【００５４】
すなわち、あるフレーム期間では、フレームメモリ部２１ａ〜２１ｅに連続したｎ−２，ｎ−１，ｎ，ｎ＋１，ｎ＋２の５フレームが記憶された状態となり、フレームメモリ部２１ｆにフレームｎ＋３の書き込みが行われる。次のフレーム期間では、フレームメモリ部２１ｂ〜２１ｆに連続したｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３の５フレームが記憶された状態となり、フレームメモリ部２１ａにフレームｎ＋４の書き込みが行われる。
【００５５】
また、次のフレーム期間では、フレームメモリ部２１ｃ〜２１ｆ，２１ａに連続したｎ，ｎ＋１，ｎ＋２，ｎ＋３，ｎ＋４の５フレームが記憶された状態となり、フレームメモリ部２１ｂにフレームｎ＋５の書き込みが行われる。以下のフレーム期間では、同様に、フレームメモリ部２１ｃ，２１ｄ，２１ｅ，・・・にｎ＋６，ｎ＋７，ｎ＋８，・・・のフレームの書き込みが行われる。
【００５６】
あるフレーム期間で、５個のフレームメモリ部に記憶されている画像信号Ｖａの連続した５フレームのうち、中央のフレームは、画像信号Ｖｂにおける注目位置が存在するフレームと対応する現在フレームｆr(0)とされる。この現在フレームｆr(0)が記憶されているフレームメモリ部から、注目位置Ｐ(0)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００５７】
上述の４ブロック分の画素データは、上述したバンク０〜バンク３からそれぞれ１ブロック分の画素データが読み出されて構成される。ここで、５×５個の画素データが図６Ａのケース０〜ケース３で示す４ブロックの範囲内にある場合には、それぞれ、バンク０〜バンク３からは図６Ｂのケース０〜ケース３の黒点で示すブロックの画素データが読み出される。このことは、以下に述べる、フレームｆr(-1)，ｆr(+1)，ｆr(-2)，ｆr(+2)が記憶されているフレームメモリ部から４ブロック分の画素データが読み出される場合においても同様である。
【００５８】
なお、この現在フレームｆr(0)が記憶されているフレームメモリ部からは、注目位置Ｐ(0)の画素データと対にして記憶されている動きベクトルＢＷＶ(0)，ＦＷＶ(0)も読み出される。この動きベクトルＢＷＶ(0)，ＦＷＶ(0)は、メモリＷ／Ｒ制御回路２３に供給される。
【００５９】
メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(0)を動きベクトルＢＷＶ(0)により動き補償して、現在フレームｆr(0)の前のフレームｆr(-1)における上述の注目位置Ｐ(0)に対応した位置Ｐ(-1)を求める。同様に、メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(0)を動きベクトルＦＷＶ(0)により動き補償して、現在フレームｆr(0)の後のフレームｆr(+1)における上述の注目位置Ｐ(0)に対応した位置Ｐ(+1)を求める。
【００６０】
そして、フレームｆr(-1)が記憶されているフレームメモリ部から、位置Ｐ(-1)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６１】
同様に、フレームｆr(+1)が記憶されているフレームメモリ部から、位置Ｐ(+1)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６２】
なお、フレームｆr(-1)が記憶されているフレームメモリ部からは、位置Ｐ(-1)の画素データと対にして記憶されている動きベクトルＢＷＶ(-1)も読み出される。一方、フレームｆr(+1)が記憶されているフレームメモリ部からは、位置Ｐ(+1)の画素データと対にして記憶されている動きベクトルＦＷＶ(+1)も読み出される。これら動きベクトルＢＷＶ(-1)，ＦＷＶ(+1)は、メモリＷ／Ｒ制御回路２３に供給される。
【００６３】
メモリＷ／Ｒ制御回路２３は、注目位置Ｐ(-1)を動きベクトルＢＷＶ(-1)により動き補償して、フレームｆr(-1)の前のフレームｆr(-2)における上述の注目位置Ｐ(0)に対応した位置Ｐ(-2)を求める。同様に、メモリＷ／Ｒ制御回路２３は、位置Ｐ(+1)を動きベクトルＦＷＶ(+1)により動き補償して、フレームｆr(+1)の後のフレームｆr(+2)における上述の注目位置Ｐ(0)に対応した位置Ｐ(+2)を求める。
【００６４】
そして、フレームｆr(-2)が記憶されているフレームメモリ部から、位置Ｐ(-2)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６５】
同様に、フレームｆr(+2)が記憶されているフレームメモリ部から、位置Ｐ(+2)に対して空間方向（水平方向および垂直方向）の周辺に位置する複数の画素データ、本実施の形態においては５×５個の画素データを取り出すために、この複数の画素データを含む範囲の４ブロック分（１６×１６個）の画素データが同時に読み出される。
【００６６】
データセレクタ２２ａ〜２２ｆは、それぞれ、フレームメモリ部２１ａ〜２１ｆから同時に読み出される４ブロック分（１６×１６個）の画素データから、予測タップとすべき５×５個の画素データを選択的に取り出すためのものである。この場合、データセレクタ２２ａ〜２２ｆでそれぞれ取り出される５×５個の画素データは、それぞれ位置Ｐ(-2)，Ｐ(-1)，Ｐ(0)，Ｐ(+1)，Ｐ(+2)によって、一義的に決まる。
【００６７】
図７Ａのハッチング領域は、図６Ａ，Ｂに示すケース０の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。図７Ｂのハッチング領域は、図６Ａ，Ｂに示すケース１の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。
【００６８】
図７Ｃのハッチング領域は、図６Ａ，Ｂに示すケース２の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。図７Ｄのハッチング領域は、図６Ａ，Ｂに示すケース３の場合であって、５×５個の画素データが４ブロックに跨っているときに、予測タップとして取り出される画素データの範囲例を示している。
【００６９】
このようにメモリ部１２１は、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、画像信号Ｖｂにおける注目位置に対して空間方向（水平方向および垂直方向）および時間方向（フレーム方向）の周辺に位置する複数の画素データを予測タップの画素データとして出力する。
【００７０】
図８は、メモリ部１２１より予測タップの画素データとして出力される、各フレームの画素データの位置関係を示している。なお、図８においては、図面の簡単化のために、各フレームには画素を示す黒丸を５×５個ではなく、３×３個のみを示している。
【００７１】
上述したように、フレームｆr(-1)の位置Ｐ(-1)は注目位置Ｐ(0)を動きベクトルＢＷＶ(0)で動き補償して得られた位置であり、またフレームｆr(-2)の位置Ｐ(-2)は位置Ｐ(-1)を動きベクトルＢＷＶ(-1)で動き補償して得られた位置である。同様に、フレームｆr(+1)の位置Ｐ(+1)は注目位置Ｐ(0)を動きベクトルＦＷＶ(0)で動き補償して得られた位置であり、またフレームｆr(+2)の位置Ｐ(+2)は位置Ｐ(+1)を動きベクトルＦＷＶ(+1)で動き補償して得られた位置である。
【００７２】
なお、上述では、予測タップの画素データとして、５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)のそれぞれから５×５個の画素データを取り出すものを示したが、各フレームから取り出す画素データの個数はこれに限定されるものではない。例えば、現在フレームｆr(0)から取り出す画素データの個数を最も多くし、この現在フレームｆr(0)から離れたフレームほど取り出す画素データの個数が少なくなるようにしてもよい。
【００７３】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する動きベクトル検出部１２２を有している。この動きベクトル検出部１２２では、例えば従来周知のブロックマッチング法により動きベクトルＢＷＶ，ＦＷＶが検出される。
【００７４】
上述したように、動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶは１フレーム後のフレームとの間の動きベクトルである。このように動きベクトル検出部１２２で検出される動きベクトルＢＷＶ，ＦＷＶはメモリ部１２１に供給され、上述したように画素データと対にして記憶される。
【００７５】
また、画像信号処理部１１０は、メモリ部１２１より、画像信号Ｖｂにおける注目位置に対応して出力される、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)から順次取り出された予測タップの画素データｘｉを蓄積するタップ蓄積部１２３を有している。
【００７６】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する、クラス検出手段としてのクラス分類部１２４を有している。このクラス分類部１２４は、タップ蓄積部１２３に蓄積された予測タップの画素データｘi (ｉ＝１〜ｎ、ｎは予測タップの個数)と、メモリ部１２１で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬを生成する。
【００７７】
図９は、クラス分類部１２４の構成を示している。
このクラス分類部１２４は、画素データｘｉを入力する入力端子５１と、この入力端子５１に入力される画素データｘｉに基づいて、時空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路５２とを有している。クラス生成回路５２は、画素データｘｉのそれぞれに例えば１ビットのＡＤＲＣ(Adaptive Dynamic Range Coding)等の処理を施し、時空間クラスを示すクラスコードＣＬ１を生成する。
【００７８】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【００７９】
また、クラス分類部１２４は、動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を入力するための入力端子５３と、この入力端子５３に入力された動きベクトルを閾値判定して、動きベクトルクラスを示すクラスコードＣＬ２を生成するクラス生成回路５４とを有している。
【００８０】
また、クラス分類部１２４は、クラス生成回路５２，５４で生成されるクラスコードＣＬ１，ＣＬ２を統合して１個のクラスコードＣＬとするクラス統合回路５５と、このクラスコードＣＬを出力する出力端子５６とを有している。
【００８１】
図９に示すクラス分類部１２４の動作を説明する。入力端子５１に、タップ蓄積部１２３（図１参照）に蓄積された画素データｘｉが入力され、この画素データｘｉはクラス生成回路５２に供給される。クラス生成回路５２は、画素データｘｉのそれぞれに例えば１ビットのＡＤＲＣ等の処理を施し、時空間クラスを示すクラスコードＣＬ１を生成する。
【００８２】
また、入力端子５３に、メモリ部１２１（図１参照）から、動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)が供給される。これらの動きベクトルは、メモリ部１２１で画素データを取り出すために用いられたものである。これらの動きベクトルはクラス生成回路５４に供給される。クラス生成回路５４は、これらの動きベクトルの閾値判定をして、動きベクトルクラスを示すクラスコードＣＬ２を生成する。
【００８３】
クラス生成回路５２，５４で生成されるクラスコードＣＬ１，ＣＬ２はクラス統合回路５５に供給されて統合され、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは出力端子５６に出力される。
【００８４】
なお、クラス分類部１２４では、予測タップとしての画素データｘｉを、そのままクラスコードＣＬ１を生成するための画素データとしたものである。これにより、クラスコードＣＬ１を生成するための画素データの取り出し部分の構成を、予測タップとしての画素データの取り出し部分と共通にでき、回路構成を簡単にできる。しかし、このクラスコードＣＬ１を生成するための画素データとして、画素データｘｉとは異なる画素データを取り出して用いる構成としてもよい。
【００８５】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２５を有している。この係数メモリ１２５は、後述する推定予測演算回路１２６で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００８６】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２５に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２５には上述したクラス分類部１２４より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２５からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、後述する推定予測演算回路１２６に供給される。係数データＷｉの生成方法については後述する。
【００８７】
また、画像信号処理部１１０は、タップ蓄積部１２３に蓄積された予測タップの画素データｘｉと、係数メモリ１２５より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２６を有している。
【００８８】
【数１】
この画像信号処理部１１０の動作を説明する。
動きベクトル検出部１２２では、バッファメモリ１０８に記憶されている画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶが検出される。動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶは１フレーム後のフレームとの間の動きベクトルである。
【００９０】
メモリ部１２１には、バッファメモリ１０８に一時的に格納された画像信号Ｖａが入力されると共に、動きベクトル検出部１２２で検出された動きベクトルＢＷＶ，ＦＷＶも入力される。そして、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆ（図３参照）のそれぞれには、１フレーム分の画素データが記憶されると共に、各画素データに対応した動きベクトルＢＷＶ，ＦＷＶも記憶される。
【００９１】
この場合、フレームメモリ部２１ａ〜２１ｆは、画像信号Ｖａの連続した５フレームが常に記憶された状態とされる。そして、これら５フレームが記憶された５個のフレームメモリ部のそれぞれから、予測タップとしての５×５個の画素データを取り出すために、それぞれ４ブロック分（１６×１６個）の画素データが読み出される。
【００９２】
この４ブロック分の画素データは、フレームメモリ部を構成するバンク０〜バンク３（図４参照）からそれぞれ１ブロック分の画素データが読み出されて構成される。この場合、各バンクからは、それぞれ、１ブロック分の画素データである、８×８個の画素データが同時に読み出される。
【００９３】
フレームメモリ部２１ａ〜２１ｆから読み出される４ブロック分（１６×１６個）の画素データは、それぞれデータセレクタ２２ａ〜２２ｆ（図３参照）に供給される。データセレクタ２２ａ〜２２ｆは、それぞれ、４ブロック分（１６×１６個）の画素データから、予測タップとすべき５×５個の画素データを選択的に取り出す。
【００９４】
これにより、メモリ部１２１からは、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、図８に示すように、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データが予測タップの画素データｘｉとして出力される。
【００９５】
この場合、フレームｆr(0)からは、注目位置Ｐ(0)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(-1)からは、位置Ｐ(-1)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(-2)からは、位置Ｐ(-2)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。ここで、位置Ｐ(-1)は注目位置Ｐ(0)を動きベクトルＢＷＶ(0)で動き補償して得られた位置である。位置Ｐ(-2)は位置Ｐ(-1)を動きベクトルＢＷＶ(-1)で動き補償して得られた位置である。
【００９６】
同様に、フレームｆr(+1)からは、位置Ｐ(+1)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。フレームｆr(+2)からは、位置Ｐ(+2)に対して空間方向の周辺に位置する５×５個の画素データが取り出される。ここで、位置Ｐ(+1)は注目位置Ｐ(0)を動きベクトルＦＷＶ(0)で動き補償して得られた位置である。位置Ｐ(+2)は位置Ｐ(+1)を動きベクトルＦＷＶ(+1)で動き補償して得られた位置である。
【００９７】
メモリ部１２１より、画像信号Ｖｂにおける注目位置に対応して出力される、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)から順次取り出された予測タップの画素データｘｉは、タップ蓄積部１２３に供給されて蓄積される。
【００９８】
クラス分類部１２４では、タップ蓄積部１２３に蓄積された予測タップの画素データｘi と、メモリ部１２１で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬが生成される。このクラスコードＣＬは、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すものである。
【００９９】
このようにクラス分類部１２４で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２５に供給される。これにより、係数メモリ１２５からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２６に供給される。
【０１００】
推定予測演算回路１２６では、タップ蓄積部１２３に蓄積された予測タップの画素データｘi と、係数メモリ１２５より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１０１】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データ（予測タップの画素データ）ｘｉ、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１０２】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１０３】
また、メモリ部１２１において、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される予測タップとすべき５×５個の画素データは、位置Ｐ(-2)，Ｐ(-1)，Ｐ(+1)，Ｐ(+2)に対して空間方向の周辺に位置するものである。これらの位置は、フレームメモリ部２１ａ〜２１ｆに画素データと共に記憶されている動きベクトルＢＷＶ，ＦＷＶにより注目位置Ｐ(0)が動き補償されて得られたものである。そのため、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される複数の画素データは、注目位置Ｐ(0)に対して空間方向の周辺に位置する複数の画素データとの相関が高いものとなる。
【０１０４】
このように、フレームメモリ部２１ａ〜２１ｆに画素データと共に記憶されている動きベクトルＢＷＶ，ＦＷＶにより動き補償された位置Ｐ(-2)，Ｐ(-1)，Ｐ(+1)，Ｐ(+2)を得ることで、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)から取り出される複数の画素データを、注目位置Ｐ(0)に対して空間方向の周辺に位置する複数の画素データとの相関が高いものとするものであり、画像信号Ｖｂの品質の向上を容易に実現できる。
【０１０５】
また、タップ蓄積部１２３に蓄積された予測タップとしての画素データｘｉをクラス分類部１２４に供給し、この画素データｘｉに基づいて時空間クラスを示すクラスコードＣＬ１を生成し、最終的なクラスコードＣＬとして、クラスコードＣＬ１が統合されたものを得るようにしている。したがって、画像信号Ｖｂにおける注目位置の画素データを生成する際に用いられる画素データｘｉに対応した時空間クラスを良好に検出でき、クラス分類の精度を高めることができる。
【０１０６】
また、予測タップとしての画素データｘｉに基づいて時空間クラスを示すクラスコードＣＬ１を生成することで、時空間クラスを検出するための画素データを抽出する回路を別個に設ける必要がなく、回路構成を簡単にできる。
【０１０７】
また、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆは、それぞれバンク０〜バンク３を有して構成されている。そして、バンク０〜バンク３のそれぞれには、フレームを０〜３の４個の小ブロックが二次元的に配置されてなる大ブロックを単位として分割した際の大ブロックの異なる位置の小ブロックが記憶される。
【０１０８】
これにより、予測タップとすべき５×５個の画素データを取り出すために、この５×５個の画素データを含む範囲の４ブロック分（１６×１６個）の画素データを、バンク０〜バンク３から各１ブロック分ずつ並行して読み出すことができる。したがって、メモリ部１２１より、予測タップとしての画素データを出力するための処理速度を高めることができ、ひいては画像信号Ｖｂにおける注目位置の画素データの生成速度を高めることができる。
【０１０９】
次に、係数メモリ１２５に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１１０】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ1 ，Ｗ2，‥‥，Ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙk ＝Ｗ1 ×ｘk1＋Ｗ2 ×ｘk2＋‥‥＋Ｗn ×ｘkn ・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１１１】
ｍ＞ｎの場合、係数データＷ1 ，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（３）で定義して、（４）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１１２】
【数２】
（４）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ2を係数データＷｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１１４】
【数３】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸji，Ｙi を定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１１６】
【数４】
【数５】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１１９】
図１０は、図１の画像信号処理部１１０の係数メモリ１２５に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１２０】
また、係数データ生成装置１５０は、動きベクトル検出部１５４を有している。この動きベクトル検出部１５４は、上述した画像信号処理部１１０の動きベクトル検出部１２２と同様に構成され、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。動きベクトルＢＷＶは１フレーム前のフレームとの間の動きベクトルであり、ＦＷＶおよび１フレーム後のフレームとの間の動きベクトルである。
【０１２１】
また、係数データ生成装置１５０は、メモリ部１５５を有している。このメモリ部１５５は、上述した画像信号処理部１１０のメモリ部１２１と同様に構成される。このメモリ部１５５は、生徒信号ＳＳの連続した５フレームを常に記憶すると共に、各画素データと対にして、動きベクトル検出部１５４で検出された動きベクトルＢＷＶ，ＦＷＶも記憶する。また、このメモリ部１５５は、生徒信号ＳＳの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、教師信号ＳＴにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データとして出力する。
【０１２２】
また、係数データ生成装置１５０は、メモリ部１５５より、教師信号ＳＴにおける注目位置に対応して出力される、生徒信号ＳＳの連続する５フレームから順次取り出された予測タップの画素データを蓄積するタップ蓄積部１５６を有している。このタップ蓄積部１５６は、上述した画像信号処理部１１０のタップ蓄積部１２３と同様に構成される。
【０１２３】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する、クラス検出手段としてのクラス分類部１５７を有している。このクラス分類部１５７は、タップ蓄積部１５６に蓄積された予測タップの画素データｘi (ｉ＝１〜ｎ、ｎは予測タップの個数)と、メモリ部１５５で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬを生成する。このクラス分類部１５７は、上述した画像信号処理部１１０のクラス分類部１２４と同様に構成される。
【０１２４】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５８と、この遅延回路１５８で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ蓄積部１５６に蓄積された予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５７で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５９を有している。
【０１２５】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１２６】
また、係数データ生成装置１５０は、正規方程式生成部１５９で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１６０と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６１とを有している。
【０１２７】
次に、図１０に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１２８】
動きベクトル検出部１５４では、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶが検出される。
【０１２９】
メモリ部１５５には、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳが入力されると共に、動きベクトル検出部１５４で検出された動きベクトルＢＷＶ，ＦＷＶも入力される。このメモリ部１５５には、生徒信号ＳＳの連続した５フレームが常に記憶されると共に、各画素データと対にして動きベクトルＢＷＶ，ＦＷＶも記憶される。
【０１３０】
そして、このメモリ部１５５からは、生徒信号ＳＳの連続する５フレームに基づいて、教師信号ＳＴにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが予測タップの画素データとして出力される。このようにメモリ部１５５より出力される予測タップの画素データはタップ蓄積部１５６に供給されて蓄積される。
【０１３１】
クラス分類部１５７では、タップ蓄積部１５６に蓄積された予測タップの画素データｘi と、メモリ部１５５で画素データｘｉを取り出すために用いられた動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)とを用いて、クラスコードＣＬが生成される。このクラスコードＣＬは、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すものである。
【０１３２】
そして、遅延回路１５８で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応してタップ蓄積部１５６に蓄積された予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５７で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１６０で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６１に格納される。
【０１３３】
このように、図１０に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２５に格納される各クラスの係数データＷｉを生成することができる。
【０１３４】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１３５】
なお、図１の画像信号処理部１１０における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１３６】
まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１３９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１４０】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１４１】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１４２】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４３】
図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０１４４】
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に複数フレーム分の画像信号Ｖａを入力する。このように入力端子３１４より入力される画像信号ＶａはＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａが装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａを読み出し、この画像信号ＶａをＲＡＭ３０３に一時的に格納する。
【０１４５】
次に、ステップＳＴ２３で、入力された画像信号Ｖａに基づいて、この画像信号Ｖａを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。
【０１４６】
次に、ステップＳＴ２４で、画像信号Ｖａの全フレームの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２５で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２６に進む。
【０１４７】
ステップＳＴ２６では、画像信号Ｖａの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、画像信号Ｖｂにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データｘｉとして取得する。この場合、ステップＳＴ２３で検出した動きベクトルを用いて、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)に関しては、動き補償をする。
【０１４８】
次に、ステップＳＴ２７で、ステップＳＴ２６で取得された予測タップの画素データｘｉと、この画素データｘｉを取得する際に使用された動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４９】
そして、ステップＳＴ２８で、ステップＳＴ２７で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１５０】
次に、ステップＳＴ２９で、ステップＳＴ２２で入力された複数フレーム分の画像信号Ｖａに対応した処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の複数フレーム分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２６に戻って、次の注目位置についての処理に移る。
【０１５１】
このように、図１２に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１５２】
また、処理装置の図示は省略するが、図１０の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１５３】
図１３のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、複数フレーム分の教師信号ＳＴを入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０１５４】
次に、ステップＳＴ３５で、生徒信号ＳＳに基づいて、この生徒信号ＳＳを構成する各画素データに対応した動きベクトルＢＷＶ，ＦＷＶを検出する。そして、ステップＳＴ３６で、生徒信号ＳＳの連続する５フレームｆr(-2)，ｆr(-1)，ｆr(0)，ｆr(+1)，ｆr(+2)に基づいて、教師信号ＳＴにおける注目位置Ｐ(0)に対して空間方向および時間方向の周辺に位置する複数の画素データを予測タップの画素データｘｉとして取得する。この場合、ステップＳＴ３５で検出した動きベクトルを用いて、フレームｆr(-2)，ｆr(-1)，ｆr(+1)，ｆr(+2)に関しては動き補償をする。
【０１５５】
次に、ステップＳＴ３７で、ステップＳＴ３６で取得された予測タップの画素データｘｉと、この画素データｘｉを取得する際に使用された動きベクトルＢＷＶ(0)，ＢＷＶ(-1)，ＦＷＶ(0)，ＦＷＶ(+1)を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１５６】
そして、ステップＳＴ３８で、ステップＳＴ３７で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１５７】
次に、ステップＳＴ３９で、ステップＳＴ３２で入力された複数フレーム分の教師信号ＳＴに対応した学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の複数フレーム分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３６に戻って、次の注目位置についての処理に移る。
【０１５８】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ４０で、上述のステップＳＴ３８の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４１で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４２で、処理を終了する。
【０１５９】
このように、図１３に示すフローチャートに沿って処理をすることで、図１０に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１６０】
なお、上述実施の形態においては、メモリ部１２１を構成するフレームメモリ部２１ａ〜２１ｆのそれぞれは、バンク０〜バンク３の４個のバンクで構成されたものであるが、１個のフレームメモリ部を構成するバンクの個数はこれに限定されるものではない。また、上述実施の形態においては、小ブロックを８×８個の画素データからなるものとしたが、小ブロックの大きさはこれに限定されるものではない。
【０１６１】
例えば、小ブロックが８×８個の画素データで構成される場合であって、１フレームから予測タップとして取り出すべき画素データが８×８個の画素データ範囲を越える場合には、フレームメモリ部を９個のバンクで構成することで、予測タップとして取り出すべき画素データを含む９個の小ブロックを同時に読み出すことができる。この場合、フレームは９個の小ブロックが二次元的に配置されてなる大ブロックを単位として分割され、９個のバンクのそれぞれには、大ブロックの異なる位置の小ブロックが記憶される。
【０１６２】
また、上述実施の形態においては、復号化された画像信号Ｖａを符号化雑音が軽減された画像信号Ｖｂに変換する画像信号処理部１１０にこの発明を適用したものである。しかし、この発明は、一般的に、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する際に、第１の画像信号に基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択し、この選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成するものに、同様に適用できることは勿論である。
【０１６３】
【発明の効果】
この発明によれば、複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データを、該画素データに対応した隣接フレームとの間の動きベクトルと共に記憶しておき、現在フレームが記憶されているフレームメモリ部から第２の画像信号における注目位置に対して空間方向の周辺に位置する複数の画素データを選択すると共に、現在フレームの前後方向の複数のフレームが記憶されている複数のフレームメモリ部から、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて注目位置が動き補償されて得られた位置に対して空間方向の周辺に位置する複数の画素データを選択し、これら選択された複数の画素データを用いて第２の画像信号における注目位置の画素データを生成するものである。
したがって、この発明によれば、複数のフレームメモリ部に画素データと共に記憶された動きベクトルにより現在フレームの前後のフレームの動き補償を行って、現在フレームの前後の複数のフレームから選択された複数の画素データを、現在フレームから選択された複数の画素データとの相関が高いものとするものであり、第２の画像信号の品質の向上を容易に実現できる。
【０１６４】
また、この発明によれば、フレームメモリ部が複数のバンクを有してなるようにし、複数のバンクのそれぞれには、フレームを複数の小ブロックが二次元的に配置されてなる大ブロックを単位として分割した際の大ブロックの異なる位置の小ブロックが記憶されるものであり、第２の画像信号における注目位置の画素データを生成する際に用いられる複数の画素データを複数のバンクから並行して読み出すことができ、画素データの生成速度を高めることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】メモリ部の構成を示すブロック図である。
【図４】フレームメモリ部を構成するバンクを説明するための図である。
【図５】フレームのブロック分割を説明するための図である。
【図６】各バンクからのブロックの読み出しを説明するための図である。
【図７】各バンクの読み出されたブロックからの画素データの取り出し例を示す図である。
【図８】予測タップの各フレームの画素データの位置関係を示す図である。
【図９】クラス分類部の構成を示すブロック図である。
【図１０】係数データ生成装置の構成を示すブロック図である。
【図１１】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１２】画像信号処理を示すフローチャートである。
【図１３】係数データ生成処理を示すフローチャートである。
【符号の説明】
２１ａ〜２１ｆ・・・フレームメモリ部、２２ａ〜２２ｆ・・・データセレクタ、２３・・・メモリＷ／Ｒ制御回路、１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・メモリ部、１２２・・・動きベクトル検出部、１２３・・・タップ蓄積部、１２４・・・クラス分類部、１２５・・・係数メモリ、１２６・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
Claims (7)
- 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記データ選択手段によって選択された複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、
上記検出されたクラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する係数データ発生手段と、
上記係数データ発生手段により発生された係数データ及び上記データ選択手段により選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する画素データ生成手段とを備え、
上記データ選択手段は、
上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする画像信号処理装置。 - 上記フレームは、所定数の画素データで構成される小ブロックに分割され、更に、所定数の当該小ブロックが二次元的に配置されてなる大ブロックを単位として分割され、
上記フレームメモリ部は、複数のバンクを有してなり、
上記複数のバンクのそれぞれには、上記大ブロックが、当該大ブロックにおける異なる位置の上記小ブロックの単位で記憶され、
上記複数のバンクは同時に書き込み及び読み出しがなされる
ことを特徴とする請求項１に記載の画像信号処理装置。 - 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
選択された上記複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する第３のステップと、
検出された上記クラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する第４のステップと、
上記第４のステップで発生された上記係数データ及び上記第２のステップで選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する第５のステップとを有し、
上記第２のステップでは、
上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする画像信号処理方法。 - 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換するために、
複数のフレームメモリ部に、第１の画像信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
選択された上記複数の画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出する第３のステップと、
検出された上記クラスに対応したデータであって、予めクラス毎の学習により求められ、上記注目位置の画素データを生成するための推定式に用いられる係数データを発生する第４のステップと、
上記第４のステップで発生された上記係数データ及び上記第２のステップで選択された複数の画素データを上記推定式に基づいて積和演算することにより、上記注目位置の画素データを生成する第５のステップとを有し、
上記第２のステップでは、
上記第２の画像信号における注目位置が存在するフレームと対応する上記第１の画像信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする画像信号処理方法をコンピュータに実行させるためのプログラム。 - 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する複数のフレームメモリ部と、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記データ選択手段によって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを当該注目位置の画素データの属するクラスとして検出するクラス検出手段と、
上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、誤差を最小にする学習により求める演算手段とを備え、
上記データ選択手段は、
上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする係数データ生成装置。 - 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
複数のフレームメモリ部に、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップによって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを注目位置の画素データの属するクラスとして検出する第３のステップと、
上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、最小二乗法による学習により求める第４のステップとを有し、
上記第２のステップでは、
上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする係数データ生成方法。 - 符号化されたデジタル画像信号を復号化することによって生成される、符号化雑音を含む複数の画素データからなる第１の画像信号を、該第１の画像信号の符号化雑音が軽減された複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
複数のフレームメモリ部に、上記第１の画像信号に対応する生徒信号の連続する複数のフレームの画素データと、該画素データに対応した隣接フレーム間の動きベクトルとを共に記憶する第１のステップと、
上記複数のフレームメモリ部に記憶されている複数のフレームに基づいて、上記第２の画像信号に対応した教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップによって選択された画素データの値及び上記注目位置の画素データに対応する動きベクトルからクラスコードを算出し、当該算出されたクラスコードを注目位置の画素データの属するクラスとして検出する第３のステップと、
上記検出されたクラスに対応して、上記推定式に用いられる係数データを、上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データとから、最小二乗法による学習により求める第４のステップとを有し、
上記第２のステップでは、
上記教師信号における注目位置が存在するフレームと対応する上記生徒信号の現在フレームが記憶されているフレームメモリ部から該注目位置に対して空間方向の周辺に位置する複数の画素データを選択し、かつ
上記複数のフレームメモリ部に記憶された上記現在フレームの前方向の複数のフレームおよび後方向の複数のフレームから、当該複数のフレームメモリ部に記憶されている隣接フレーム間の動きベクトルを用いて上記注目位置が動き補償されて得られた位置に対して、空間方向の周辺に位置する複数の画素データを選択する
ことを特徴とする係数データ生成方法をコンピュータに実行させるためのプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337196A JP4462823B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| US10/535,573 US7729558B2 (en) | 2002-11-20 | 2003-11-11 | Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program |
| PCT/JP2003/014321 WO2004047454A1 (ja) | 2002-11-20 | 2003-11-11 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| KR20057009033A KR101031740B1 (ko) | 2002-11-20 | 2003-11-11 | 화상 신호의 처리 장치 및 처리 방법, 그에 사용되는 계수 데이터의 생성 장치 및 생성 방법, 및 각 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337196A JP4462823B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004173011A JP2004173011A (ja) | 2004-06-17 |
| JP2004173011A5 JP2004173011A5 (ja) | 2005-03-10 |
| JP4462823B2 true JP4462823B2 (ja) | 2010-05-12 |
Family
ID=32321834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002337196A Expired - Fee Related JP4462823B2 (ja) | 2002-11-20 | 2002-11-20 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7729558B2 (ja) |
| JP (1) | JP4462823B2 (ja) |
| KR (1) | KR101031740B1 (ja) |
| WO (1) | WO2004047454A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| JP3832431B2 (ja) * | 2002-12-25 | 2006-10-11 | ソニー株式会社 | 画像処理装置 |
| JP4265291B2 (ja) * | 2003-06-06 | 2009-05-20 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム |
| US8036494B2 (en) * | 2004-04-15 | 2011-10-11 | Hewlett-Packard Development Company, L.P. | Enhancing image resolution |
| KR101045205B1 (ko) | 2005-07-12 | 2011-06-30 | 삼성전자주식회사 | 화상 데이터 부호화 및 복호화 장치 및 방법 |
| KR100813258B1 (ko) * | 2005-07-12 | 2008-03-13 | 삼성전자주식회사 | 화상 데이터 부호화 및 복호화 장치 및 방법 |
| US20070052640A1 (en) * | 2005-09-08 | 2007-03-08 | Bernard Feldman | Field sequential LCD display system |
| US7894522B2 (en) | 2005-09-16 | 2011-02-22 | Sony Corporation | Classified filtering for temporal prediction |
| US7596243B2 (en) | 2005-09-16 | 2009-09-29 | Sony Corporation | Extracting a moving object boundary |
| US7885335B2 (en) * | 2005-09-16 | 2011-02-08 | Sont Corporation | Variable shape motion estimation in video sequence |
| US7894527B2 (en) | 2005-09-16 | 2011-02-22 | Sony Corporation | Multi-stage linked process for adaptive motion vector sampling in video compression |
| US8165205B2 (en) | 2005-09-16 | 2012-04-24 | Sony Corporation | Natural shaped regions for motion compensation |
| US8107748B2 (en) | 2005-09-16 | 2012-01-31 | Sony Corporation | Adaptive motion search range |
| US7620108B2 (en) | 2005-09-16 | 2009-11-17 | Sony Corporation | Integrated spatial-temporal prediction |
| US8059719B2 (en) * | 2005-09-16 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter |
| US7957466B2 (en) | 2005-09-16 | 2011-06-07 | Sony Corporation | Adaptive area of influence filter for moving object boundaries |
| US8005308B2 (en) | 2005-09-16 | 2011-08-23 | Sony Corporation | Adaptive motion estimation for temporal prediction filter over irregular motion vector samples |
| JP4190551B2 (ja) * | 2006-07-18 | 2008-12-03 | 三菱電機株式会社 | 画像処理装置、画像処理方法、画像符号化装置、および画像符号化方法 |
| TWI347130B (en) * | 2006-08-29 | 2011-08-11 | Realtek Semiconductor Corp | Method and apparatus for de-interlacing video data through utilizing horizontal motion estimation and horizontal motion compensation |
| TWI463874B (zh) * | 2008-01-02 | 2014-12-01 | Mstar Semiconductor Inc | 產生目標影像區塊的影像處理方法及其相關裝置 |
| KR101987079B1 (ko) * | 2017-12-28 | 2019-06-10 | 주식회사 홈초이스 | 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2259212B (en) * | 1991-08-27 | 1995-03-29 | Sony Broadcast & Communication | Standards conversion of digital video signals |
| US5198901A (en) * | 1991-09-23 | 1993-03-30 | Matsushita Electric Corporation Of America | Derivation and use of motion vectors in a differential pulse code modulation system |
| DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
| JP3271096B2 (ja) | 1993-07-27 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号処理装置 |
| KR0126871B1 (ko) * | 1994-07-30 | 1997-12-29 | 심상철 | 양방향 이동벡터 추정을 위한 고속 블럭정합 방식 |
| KR100287211B1 (ko) * | 1994-08-30 | 2001-04-16 | 윤종용 | 양방향 움직임 추정방법 및 장치 |
| JP3803122B2 (ja) * | 1995-05-02 | 2006-08-02 | 松下電器産業株式会社 | 画像メモリ装置および動きベクトル検出回路 |
| JP3627291B2 (ja) | 1995-05-25 | 2005-03-09 | ソニー株式会社 | ブロック歪み除去装置および方法 |
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| US5778097A (en) * | 1996-03-07 | 1998-07-07 | Intel Corporation | Table-driven bi-directional motion estimation using scratch area and offset valves |
| JP3861325B2 (ja) * | 1996-05-16 | 2006-12-20 | ソニー株式会社 | 動きベクトル検出装置および検出方法 |
| US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
| JP4434322B2 (ja) * | 1998-02-16 | 2010-03-17 | ソニー株式会社 | 記憶素子および方法 |
| JP4250806B2 (ja) * | 1999-05-07 | 2009-04-08 | ソニー株式会社 | フィールド周波数変換装置および変換方法 |
| US6351494B1 (en) * | 1999-09-24 | 2002-02-26 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| JP4552262B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ノイズ低減装置および方法 |
| JP4552261B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 |
| JP4552264B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | エラー修整装置および方法 |
| JP4538698B2 (ja) * | 2000-05-09 | 2010-09-08 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| KR100731708B1 (ko) | 2000-05-09 | 2007-06-25 | 소니 가부시끼 가이샤 | 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체 |
| JP4752088B2 (ja) * | 2000-05-09 | 2011-08-17 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP4517448B2 (ja) * | 2000-05-09 | 2010-08-04 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP2001345707A (ja) | 2000-06-01 | 2001-12-14 | Sony Corp | データ処理装置およびデータ処理方法、並びに記録媒体 |
| KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| JP4407015B2 (ja) * | 2000-06-15 | 2010-02-03 | ソニー株式会社 | ノイズ除去装置およびノイズ除去方法 |
| WO2001097510A1 (en) | 2000-06-15 | 2001-12-20 | Sony Corporation | Image processing system, image processing method, program, and recording medium |
| JP4419287B2 (ja) * | 2000-06-27 | 2010-02-24 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| WO2002013512A1 (fr) * | 2000-08-07 | 2002-02-14 | Sony Corporation | Procede et dispositif de traitement d'image et support enregistre |
| JP4507046B2 (ja) | 2001-01-25 | 2010-07-21 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
| US7082220B2 (en) * | 2001-01-25 | 2006-07-25 | Sony Corporation | Data processing apparatus |
| KR100945546B1 (ko) * | 2002-01-14 | 2010-03-08 | 노키아 코포레이션 | 동적 필터 부호화 |
| JP3861698B2 (ja) * | 2002-01-23 | 2006-12-20 | ソニー株式会社 | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム |
| JP4078906B2 (ja) * | 2002-07-19 | 2008-04-23 | ソニー株式会社 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| JP4003128B2 (ja) * | 2002-12-24 | 2007-11-07 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
| US7627198B2 (en) * | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US7848427B2 (en) * | 2004-04-09 | 2010-12-07 | Sony Corporation | Apparatus and method for determining motion vector with effective pixel gradient |
| US8331710B2 (en) * | 2007-11-06 | 2012-12-11 | Sony Corporation | Image processing apparatus and method, learning apparatus and method, and program |
-
2002
- 2002-11-20 JP JP2002337196A patent/JP4462823B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-11 US US10/535,573 patent/US7729558B2/en not_active Expired - Fee Related
- 2003-11-11 KR KR20057009033A patent/KR101031740B1/ko not_active IP Right Cessation
- 2003-11-11 WO PCT/JP2003/014321 patent/WO2004047454A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004173011A (ja) | 2004-06-17 |
| KR20050083896A (ko) | 2005-08-26 |
| WO2004047454A1 (ja) | 2004-06-03 |
| KR101031740B1 (ko) | 2011-04-29 |
| US20060110051A1 (en) | 2006-05-25 |
| US7729558B2 (en) | 2010-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US7283678B2 (en) | Data processing apparatus and method and recording medium | |
| JP4114885B2 (ja) | 画像符号化装置、方法、及びプログラム | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| JP4078906B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2013026952A (ja) | 画像処理方法、エンコード装置、デコード装置および画像処理装置 | |
| JP4140259B2 (ja) | 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| US7991054B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program | |
| JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4140662B2 (ja) | 係数種データ生成装置および係数データ生成装置 | |
| JP4158476B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP3991800B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2001285882A (ja) | ノイズ低減装置および方法 | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4518727B2 (ja) | 画像符号化装置および方法、記録媒体、並びにプログラム | |
| JP2004173013A (ja) | 動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2001285870A (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP2002142222A (ja) | 圧縮画像の画面サイズ変更装置 | |
| JP2001313948A (ja) | 動きベクトル変換装置及び方法 | |
| JP2002064826A (ja) | 圧縮画像の解像度変換装置及び方法 | |
| JP2001285864A (ja) | エラー修整装置および方法 | |
| JP2005117682A (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040406 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040406 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070501 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070717 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071002 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080111 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |