JP4082079B2 - 画像信号処理装置及びその方法 - Google Patents
画像信号処理装置及びその方法 Download PDFInfo
- Publication number
- JP4082079B2 JP4082079B2 JP2002129440A JP2002129440A JP4082079B2 JP 4082079 B2 JP4082079 B2 JP 4082079B2 JP 2002129440 A JP2002129440 A JP 2002129440A JP 2002129440 A JP2002129440 A JP 2002129440A JP 4082079 B2 JP4082079 B2 JP 4082079B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- block
- class
- frame
- taps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
本発明は、ＤＣＴ変換及びＤＣＴ変換後に得られるＤＣＴ係数の量子化により生じた歪み等の除去を図った画像信号処理装置及びその方法に関する。
【０００２】
【従来の技術】
映像・音声・データ等を限られた伝送帯域幅の中で高品質に伝送したり、限られた容量の記録媒体に記録したりするために、ディジタル画像・音声圧縮技術やディジタル伝送技術の発展が不可欠である。このような圧縮技術として、現在では特にＭＰＥＧ２（Moving Picture Experts Group 2）やＭＰＥＧ１といったＭＰＥＧ方式が用いられている。
【０００３】
ＭＰＥＧ方式で画像データを圧縮（エンコード）する場合、画像データが８×８の正方形のＤＣＴ（Discrete Cosine Transform）ブロックに分割され、このＤＣＴブロック毎にＤＣＴ変換が行われ、ＤＣＴ変換後の各係数は所定の量子化ステップで除算されて量子化され、データの圧縮されたデータストリームが生成される。
【０００４】
また、ＭＰＥＧ方式で圧縮されたデータを伸長（デコード）する場合、８×８の正方形のＤＣＴブロック毎の各係数に量子化ステップが乗算され、このＤＣＴブロック毎に逆ＤＣＴ変換が行われ、画像データが復号される。
【０００５】
【発明が解決しようとする課題】
しかしながら、ＤＣＴブロックのＤＣＴ係数を粗く量子化すると、直交変換符号化時特有の雑音、すなわちブロック歪やモスキート・ノイズが発生してしまう。したがって、復号処理によって得られる画像データは、視覚的に大きく画像が劣化する。
【０００６】
このブロック歪及びモスキート・ノイズの発生メカニズムについて、図３４を参照しながら説明する。なお、この図３４では、ＤＣＴブロックの水平方向の波形に着目し、右端の１画素のみが明るいパターンの場合の歪みの発生について説明する。原波形が図３４の太線で示すようなステップ波形である場合、これをＤＣＴ変換して得られるＤＣＴの基底の波形は、図３４に示すようなＡＣ成分７本とＤＣ成分とからなる形となる。
【０００７】
ＭＰＥＧ１／ＭＰＥＧ２では、これらの波形の振幅及びＤＣレベルをある量子化テーブルによって量子化し、図３５に示すＡＣ／ＤＣ成分のように情報量を削減する。この際、通常は高周波成分がより粗く量子化されるため、量子化誤差を含んだ低周波成分のみを表示波形とするような波形が復号される。このとき、原波形のステップ波形に見られない波がブロック左に現れ、これがモスキート・ノイズと呼ばれる画像の歪みとして見える。
【０００８】
また、ブロックの境界部分の画素値で、原波形と復号した表示波形との間には誤差があり、この誤差の現れ方が左右に隣接するブロック間でまちまちになることで段差が生じる。この段差は、一定の位置に固定されたＤＣＴブロックの境界に沿って現れるため、ブロック歪として知覚されやすい。さらにブロック歪は、隣接するブロック間での波形の食い違いとしても現れる。図３５の太線で示す表示波形は、原波形に対してエッジが鈍っており、エッジが半画素程度左にずれたように見える。このようなずれの程度は、エッジの走り方や量子化の粗さに影響されるため、例えば原波形で上下の隣接ブロック間で連続していたエッジが、復号後の表示波形ではブロック境界で不連続になってしまうという問題が発生する。
【０００９】
なお、図３４は理想化された模式図であり、実際には量子化テーブル、量子化スケール、原波形の形状や振幅等の要因により、歪みの発生パターンは必ずしも一定ではない。
【００１０】
ところで、既存のＤＶＤ（Digital Versatile Disk）プレーヤ等でもＢＮＲ（Block Noise Reduction）等の名称でブロック歪やモスキート・ノイズの除去を行っている例はあるが、処理としてはブロック境界部や画像のエッジ付近をローパス・フィルタによってぼかす程度であり、能動的な歪み除去とは言い難いものであった。また、画像が本来有しているエッジもぼかしてしまうため、解像度の低下を招来するといった問題点があった。
【００１１】
本発明は、このような従来の実情に鑑みて提案されたものであり、画像データの圧縮を行ったときに生じた歪を効率的に除去する画像信号処理装置及びその方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像信号処理装置は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、上記第１の画像をフレーム毎に記憶する複数のフレームメモリと、上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出手段と、上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出手段と、上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出手段と、上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類手段と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段とを有することを特徴とする。
【００１３】
本発明においては、クラスタップの画素間の差分値を算出して、この差分値に基づきクラスタップのクラス分類を行って所定の推定演算を行うクラス分類適応処理により、画像信号を変換処理する際に、本来画像が有するエッジは抽出し、逆にモスキート・ノイズ及びブロック歪等を効果的に抑圧することができる。
【００２４】
更にまた、上記予測タップにおける隣接フレームの画素間の差分値が上記フレーム毎の上記ブロック閾値の最大値より大きい場合は、上記差分値を算出したフレームから上記注目フレームとは離隔する方向のフレームの画素を使用不可タップとし、この使用不可タップ以外の画素を使用可能タップとし、上記クラス分類手段は、上記タップの種類（使用可能タップであるか使用不可タップであるか）に基づき上記時間クラスを分類することができる。
【００２５】
また、予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、推定演算時の予測タップは、上記未来方向に１以上の上記使用可能タップが存在し、且つ、上記過去方向に１以上の上記使用可能タップが存在する場合、上記注目画素は、第１の時間クラスに分類され、上記学習時の予測タップは、全ての予測タップが上記使用可能タップである場合、上記注目画素は、上記第１の時間クラスに分類され、上記推定演算時に上記第１の時間クラスに分類される上記予測タップにおける上記使用不可タップに相当する上記第１の時間クラスに分類され学習された上記学習手段における上記予測タップの予測係数を、上記推定演算時の上記予測タップにおける全ての上記使用可能タップに分配すると共に、該使用不可タップの予測係数を０にすることにより、正確に学習すると共に効率よくマッピングすることができる。
【００２８】
本発明に係る画像信号処理方法は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理方法において、上記第１の画像をフレーム毎に複数のフレームメモリに記憶する記憶工程と、上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出工程と、上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出工程と、上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出工程と、上記ブロック画素間差分値算出工程で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出工程と、上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類工程と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出工程と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算工程とを有することを特徴とする。
【００３０】
【発明の実施の形態】
本願発明者等は、上述した課題を解決するために鋭意実験研究した結果、上述の図３５に示す原波形のエッジ近辺では表示波形の画素間差分が大きく、モスキート・ノイズ部分の画素間差分は相対的に小さいこと、及び原波形がブロック間で連続であれば、ブロック間で生じる段差も表示波形のエッジ付近の画素間差分値よりは小さくなることを知見した。但し、極端な高圧縮率のために量子化ステップが非常に粗くなり、ＡＣ成分がほとんど残らないような場合はその限りではない。本願発明者等は、上記の知見に基づき、ブロック内部での画素間差分絶対値の分布を調べれば、画像本来のエッジとそれ以外の歪成分とを区別することができることを見出した。即ち、画素間差分絶対値の統計量を使用してエッジ検出を行い、エッジの有無及びブロック内での配置に基づきクラス分類することにより、効率的な歪抑圧を行うことができることを見出した。
【００３１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、本発明をＭＰＥＧデコードされた画像データに生じるブロック歪み及びモスキート・ノイズを除去するための画像信号処理装置及び方法に適用したものである。
【００３２】
（１）クラス分類適応処理の原理
先ず、本実施の形態の説明に先立ち、理解を容易とするために、クラス分類適応処理の概要について説明する。図１は、クラス分類適応処理を使用した画像信号処理装置の一例を示すブロック図を示す。図１に示すように、画像信号処理装置１００は、第１の画像データＤ１が入力され、所定の領域の画像を切り出す第１及び第２の領域切出部１０１、１０２と、第１の領域切出部１０１により切り出されたデータＤ２からクラスコードを生成するクラスコード生成部１０３と、クラスコード生成部１０３から供給されるクラスコードに対応する予測係数を読み出すＲＯＭ（Read Only Memory）テーブル１０４と、第２の領域切出部１０２により切り出されたデータＤ３及びＲＯＭテーブル２４から読み出された予測係数が入力され、所定の推定演算を行って第２の画像データＤ４を生成する推定演算部１０５とから構成されている。
【００３３】
後述する本実施の形態においては、第１の画像データとして、ＭＰＥＧ復号画像データが入力され、この第１の画像データから変換する第２の画像データとして、ＭＰＥＧ復号画像データのブロック歪及びモスキート・ノイズ等が除去された歪除去処理済画像を生成する。
【００３４】
第１の領域切出部１０１は、画像データＤ１から例えば、注目画素及びこの注目画素を中心しとした複数の周辺画素から構成される例えば合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップという。）として切り出し、これら７タップの画素値をクラスコード生成部１０３に供給する。
【００３５】
クラスコード生成部１０３は、供給されたクラスタップの信号レベル分布に基づいて、注目画素のクラスを示すクラスコードを生成する。クラスコードの生成方法としては、画像データＤ１が例えばパルス符号変調ＰＣＭ（Pulse Code Modulation）データであるときは、このＰＣＭデータをそのままクラスコードとして使用する方法や、いわゆるＡＤＲＣ（Adaptive Dynamic Range Coding）等のデータ圧縮方法を使用してクラス数を削減する方法等がる。このうち、ＰＣＭデータをそのままクラスコードとする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ使用する場合、クラス数が２５６という膨大な数のクラス数に分類されることになり、実用上問題がある。そこで実際には、クラスコード生成部１０３は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。ＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば、領域内の７タップにおいて、各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００３６】
生成されたクラスコードは、ＲＯＭテーブル１０４に送られる。ＲＯＭテーブル１０４は、後述する学習回路によって予め学習された各クラスコードに対応する予測係数が格納されている。そしてＲＯＭテーブル１０４にて、クラスコードに応じた予測係数が読み出され、この予測係数が推定演算部１０５に送出される。
【００３７】
一方、第２の領域切出部１０２は、画像データＤ１から、注目画素及びこの注目画素を中心しとした複数の周辺画素から構成される例えば合計１３タップを予測演算用の画素（以下、これを予測タップという。）として切り出し、この予測タップの画素値を推定演算部１０５に供給する。
【００３８】
推定演算部１０５は、第２の領域切出部１０２から供給された予測タップの各画素値と、ＲＯＭテーブル１０４から読み出された予測係数とを使用して、積和演算を行うことにより、予測タップには存在しない、例えば高解像度ＨＤ（High Definition）の画素の集まりであるＨＤ画像データ等の第２の画像データの画素値を生成する。
【００３９】
本発明は、このような画像信号処理装置において、第１の画像データとして入力されるＭＰＥＧデコードされた画像データを変換し、第１の画像データに生じるブロック歪み及びモスキート・ノイズを除去した歪除去処理済画像データを第２の画像データとして生成する（以下、マッピングという。）際のクラスタップ及び予測タップ、並びに後述する学習回路において使用する際のクラスタップ及び予測タップにおいて、ブロック歪み及びモスキート・ノイズを効率よく除去するためのタップ構造を提案するものである。
【００４０】
次に、ＲＯＭテーブル１０４に格納されている予測係数を学習する学習回路について説明する。学習は、教師画像と、変換対象である生徒画像との間で行う。即ち、本発明の画像信号処理装置であれば、教師画像としてＭＰＥＧ圧縮符号化前の原画像、即ち、歪等がない画像を使用し、生徒画像としてＭＰＥＧ復号画像データを使用して学習することにより、ＭＰＥＧ復号画像データから歪を除去して原画像に近づけた歪除去処理済画像を生成するための予測計数を学習する。即ち、学習回路は、生徒画像から教師画像へ変換するための予測係数を学習するものである。
【００４１】
図２は、図１に示す画像信号処理装置の学習回路の一例を示すブロック図である。ここでは、高解像度画像である教師画像と、低域通過フィルタ（ＬＰＦ）を通して解像度を下げた生徒画像との間で行う学習について説明する。学習回路１３０は、予測係数を予め学習して、これを図１に示すＲＯＭテーブル１０４に格納するようになされている。この学習回路１３０は、教師画像データＤ１１が入力される垂直間引きフィルタＬＰＦ１３１と、ＬＰＦ１３１から出力された低解像度データＤ１２（生徒画像データ）からクラスタップ及び予測タップを切り出す第１及び第２の領域切出部１３２、１３３と、第１の領域切出部１３２から供給されたクラスタップの画素値に基づきクラスコードを生成するクラスコード生成部１３４と、第２の領域切出部１３３から供給される予測タップの画素値、クラスコード生成部１３４から供給されるクラスコード、及び画像データ（教師画像データ）Ｄ１１が入力され、正規方程式により予測係数を演算する正規方程式演算部１３５と、予測係数を決定する予測係数決定部１３６と、決定された予測係数をクラスコードと共に格納するメモリ１３７とから構成される。
【００４２】
第１の領域切出部１３２、第２の領域切出部１３３及びクラスコード生成部１３４は、図１に示す画像信号処理装置における第１の領域切出部１０１、第２の領域切出部１０２及びクラスコード生成部１０３と同様の構成とすることができ、第１の領域切出部１３２に入力される生徒画像データＤ１２からクラスタップを切り出し、クラスコード生成部１３４がクラスタップの信号レベル分布に基づいてクラスコードを生成した後、これを正規化方程式演算部１３５に送出する。また、第２の領域切出部１３３は、生徒画像データＤ１２から予測タップを切り出し、正規化方程式演算部１３５に供給する。
【００４３】
正規化方程式演算部１３５は、教師画像データＤ１１及び予測タップの画素値を基に、予測係数を算出して予測係数決定部１３６で決定された予測係数をクラスコードと共にメモリ１３７に格納する。このような画像信号変換装置においては、クラス分類適応処理により、予め学習された予測係数を使用して所定の推定演算をすることにより、変換対象の第１の画像データを所望の画像データに変換することができる。
【００４４】
以下、本発明の実施の形態について説明する。図３は、本発明の実施の形態に係る画像信号処理装置を示すブロック図である。本実施の形態の画像信号処理装置１０は、第１の画像であるＭＰＥＧ復号画像が入力され、第２の画像である歪除去処理済画像の予測値を求める所定の推定演算により、ＭＰＥＧ復号画像を歪除去処理済画像に変換するものである。
【００４５】
本実施の形態においては、ＭＰＥＧ復号画像から注目画素を含む複数の画素をクラスタップとして切り出してクラス分類する際、注目画素を空間クラス及び時間クラスに分類する。この際の処理をブロック単位で行うため、ブロック毎の特徴量を抽出し、空間及び時間クラス分類に使用する。
【００４６】
（２）画像信号処理装置（マッピング処理装置）の構成
先ず、空間クラスを分類する際の処理は、図３に示すように、ＭＰＥＧ復号画像のブロックデータから注目画素及び注目画素を含む水平方向及び垂直方向のラインデータを空間クラス分類に使用する空間クラスタップとして出力するラインメモリ１５と、統計量算出部１３と、メモリ１４と、特徴量抽出部２０とで行われる。差分値算出手部１２は、空間クラスタップのうち所定の位置関係を有する画素間の差分値を算出する。統計量算出部１３は、クラスタップの差分値の統計からクラスタップの特徴を抽出する。メモリ１４は、クラスタップの特徴量を記憶する。また、特徴量抽出部２０は、クラスタップの特徴量から空間クラスを分類する。
【００４７】
また、時間クラスを分類する際の処理は、注目画素が属する注目フレームとその前後の複数のフレームを記憶する並列（メモリバンク状）に接続されたフレームメモリ１６と、注目フレーム及びその前後の複数のフレームが入力され、注目画素及び注目画素と同一の位置にある画素を時間クラス分類に使用する時間クラスタップとして切り出す領域切出部１７と、時間クラスタップにおいて時間方向に隣接する画素間の差分値を算出する画素間差分値算出部１８と、時間クラスタップの差分値の統計から時間クラスタップの特徴を抽出する統計量算出部１９と、特徴量抽出部２０とで行われる。特徴量抽出部２０は、時間クラスタップの画素間差分値及び特徴から時間クラスを分類する。
【００４８】
また、ブロック単位の特徴を抽出する処理は、画素間差分値算出部１２、統計量算出部１３及び特徴量メモリ１４で行われる。画素間差分値算出部１２は、ブロック毎のデータも入力されブロック内の隣接する画素間の画素値の差分値を算出する。統計量算出部１３は、画素間差分値の統計からブロック毎の特徴を抽出し、これを特徴量メモリ１４に送出する。
【００４９】
更に、画像信号処理装置１０は、特徴量抽出部２０にて分類された空間クラス及び時間クラス等から注目画素のクラスを識別するクラスコードを発生するクラスコード発生部２１と、後述する学習回路にて予め学習された複数のクラス毎の予測係数のうち、上記クラスコードに対応する予測係数を読み出すＲＯＭテーブル２２と、フレームメモリから注目フレーム及びその前後のフレームデータが入力され、注目画素及びこの注目画素が属するブロック内の複数個の空間予測タップ及び時間方向に異なるブロックにおいて注目画素と同一位置にある時間予測タップを切り出す領域切出部２３と、予測係数及び予測タップから推定演算して注目画素の画素値を算出する推定演算部２４とを有している。
【００５０】
（３）学習回路の構成
図４は、画像信号処理装置１０で使用される予測係数を学習する学習回路を示す。基本的な構成は、画像信号処理装置１０と同様である。教師画像として、原画像データＤ２１が入力され、この原画データＤ２１をＭＰＥＧ符号化し、更に復号化し、ＭＰＥＧ歪を不可した生徒画像Ｄ２２を生成する歪付加部３１を有している。また、正規化方程式演算部４４には、クラスコード、予測タップ及び教師画像である原画像データＤ２１が入力され、予測係数を所定の正規化方程式により演算して決定し、決定された予測係数をクラスコードと共にメモリ４２に記憶する。ここで、詳しくは、後述するが、学習時とマッピング時とでは、時間クラスタップの構成が異なり、学習時にはより正確な予測係数を求めるために、使用可能な時間クラスタップをマッピング時よりも制限する。
【００５１】
上述した如く、ＤＶＤやＣＳ放送、ＢＳハイビジョン放送等で使用されるＭＰＥＧ２、又はＭＰＥＧ１による画像圧縮では、圧縮方式の基礎になっているＤＣＤ変換と、変換後に得られるＤＣＴ係数の量子化が主な発生原因となり、ブロック歪やモスキート・ノイズと呼ばれる特有の歪が発生する。更に、ＭＰＥＧ２の場合には、復号したイントラ・フレームから動き補償を行い、ＤＣＴ残差を加えてノンイントラ・フレームを作るため、時間的な画質の変動も加わる。
【００５２】
本実施の形態の画像信号処理装置においては、ノイズが発生しやすく、且つ目立ちやすい場合、具体的には、ＤＣＴブロック内の画像に鋭いエッジが含まれ、その周辺が平坦である場合等に着目してクラス分類を行うことにより、モスキート・ノイズ抑圧することができる。
【００５３】
また、ノイズの発生パターンはブロック内のエッジの位置とある程度の相関があるため、エッジの位置にも着目し、画像が本来有するエッジの抽出と、モスキート・ノイズ成分との判別／分離には、上下及び左右の画素間の差分値をブロック内や注目画素周辺について求め、その統計量（最大及び最小値）から求めた閾値と、差分値とを比較することでクラス分類を行う。
【００５４】
更に、予測タップの一部が常に注目ブロックの上下左右の隣接ブロックに配置されるタップ構造とし、動きぼけを防止する。
【００５５】
更にまた、このようなクラス分類及びタップ構造を使用して、ＭＰＥＧ２符号化／復号した画像を生徒画像、原画像を教師画像として学習を行い、予測係数を生成するものである。
【００５６】
以下、本実施の形態における画像信号処理装置１０及び学習回路３０にて行われる信号処理について詳細に説明する。
【００５７】
先ず、ＤＣＴブロックの輝度信号の処理について説明する。なお、後述するクロマ信号（色差信号）の処理についても、基本的には輝度信号と同様に行うものとする。
【００５８】
先ず、クラス分類適応処理を施す画像信号処理装置１０におけるクラス分類方法を説明する。本実施の形態におけるクラス分類方法は、ＤＣＴブロック単位毎のブロック特徴量を抽出する第１の工程と、同一フレームデータから空間クラスを分類する第２の工程と、複数のフレームデータから時間クラスを分類する第３の工程とを有している。以下、画像信号処理装置１０によりＭＰＥＧ復号画像を歪除去処理済画像に変換するマッピング時の処理について説明するが、学習回路において予測係数を学習する学習時においても基本的には同様であるため、その詳細な説明は省略する。
【００５９】
（４）ブロック特徴量の算出
ブロック特徴量は、図３に示す画像信号処理装置１０の画素間差分値算出部１２と、統計量算出部１３と、ブロック特徴量メモリ１４とから抽出される。抽出したブロック特徴量は、後述する空間クラス分類及び時間クラス分類の何れにおいても使用する。画素間差分値算出部１２は、１６×１６画素のマクロブロック単位のＭＰＥＧ復号画像が入力され、このマクロブロックがフィールドＤＣＴ構造であるか、またはフレームＤＣＴ構造であるかのブロックタイプを判定すると共に、８×８画素のブロックにおいて、隣接する各画素間の画素値の微分値から画素間絶対差分値を算出する。統計量算出部１３は、画素間絶対差分値が入力され、ブロック毎の画素間絶対差分値の統計量をとって、ブロックが平坦であるか否かを示す平坦フラグを算出し、空間クラス分類に使用する。また、統計量から時間クラス分類において使用するブロック単位の閾値（ブロック閾値Ｂｔｈ）を算出する。ブロック特徴量メモリ１４は、ブロックタイプ、平坦フラグ及びブロック閾値Ｂｔｈ等のデータを記憶する。以下、このブロック特徴量の抽出について詳細に説明する。
【００６０】
（４−１）ブロックタイプの判定
図５は、ブロック単位の閾値Ｂｔｈを算出する工程を示すフローチャートである。図５に示すように、先ず、ステップＳ１において、マクロブロック毎の輝度値が読み込まれ、ステップＳ２において、そのブロック構造がフィールドブロックであるか、又はフレームブロックであるかが判定される。すなわち、本実施の形態におけるＤＣＴブロックは、ＭＰＥＧのエンコード時に選択されるブロック構造を想定しているため、フィールドＤＣＴブロックとフレームＤＣＴブロックの２通りが存在し得る。ここで、ブロック構造をフィールド又はフレームの何れにするかは、ＭＰＥＧのビットストリームから情報が得られる場合はそれに従う。また、既に復号された画像のように、ブロック情報が得られない場合には、ＭＰＥＧ１／ＭＰＥＧ２で行われるのと同様の手法を適用する等して、ＤＣＴブロックの構造を判定する。後者の場合には、判定結果であるブロックタイプフラグBtype_flagを後述するブロック単位閾値Ｂｔｈ等と共に記憶しておく。
【００６１】
（４−２）画素間差分値算出
次に、ステップＳ３において、８×８画素のＤＣＴブロック毎の画素の輝度値が抽出され、ステップＳ４において、水平方向及び垂直方向の隣接画素間の差分絶対値が算出される。
【００６２】
図６（ａ）及び（ｂ）は、８×８画素のＤＣＴブロックを示す模式図である。先ず、図６（ａ）に示すように、ブロックＢ１において、水平方向の隣接画素間の輝度の差分値（以下、水平差分値という。）を算出する。ブロックＢ１は、水平方向に８画素配列されているため、水平差分値は、各行毎に７個求まり、ブロックＢ１全体では、７×８（列）＝５６個が算出される。また、図６（ｂ）に示すように、ブロック画素１１において、垂直方向の隣接画素間の輝度の差分値（以下、垂直差分値という。）を算出する。垂直方向にも８画素配列されているため、垂直差分値は、各列毎に７個求まり、ブロックＢ１全体では、７×８（行）＝５６個が算出される。これらの水平差分値及び垂直差分値が統計量算出部１３に送られる。
【００６３】
（４−３）ブロック画素間差分値統計量の算出
次に、ステップＳ５において、統計量算出部１３により、水平差分値及び垂直差分値から、夫々最大値（ＭＡＸ）、最小値（ＭＩＮ）及びダイナミックレンジ（ＤＲ＝ＭＡＸ−ＭＩＮ）を算出する。以下、水平方向のダイナミックレンジ及び最小値を夫々ＨＤＲ及びＨＭＩＮとし、垂直方向のダイナミックレンジ及び最小値を夫々ＶＤＲ及びＶＭＩＮという。
【００６４】
次に、ステップＳ６では、ＨＤＲ及びＶＤＲがともに所定値未満であるか否かが判別される。ここで、ＨＤＲ及びＶＤＲが共に所定の閾値未満である場合は、このブロック内部には、明確なエッジが存在しないものとみなし、ステップ７に進み、このブロックが平坦であることを示す平坦フラグＰｆｌａｇに１をたてる。一方、ＨＤＲ及びＶＤＲの何れも所定の閾値以上である場合には、ステップＳ８に進む。
【００６５】
ステップＳ８では、ブロック閾値Ｂｔｈを算出する。図７は、横軸に水平方向又は垂直方向の差分値をとり、縦軸にその度数を取って、ブロック内の差分値の分布を模式的に示すヒストグラムである。図７に示すように、得られた水平方向（又は垂直方向）の５６個の値から、ＨＭＩＮ、ＨＭＡＸ、ＨＤＲ及びＨＤＲ／４＋ＨＭＩＮ（又は、ＶＭＩＮ、ＶＭＡＸ、ＶＤＲ及びＶＤＲ／４＋ＶＭＩＮ）を夫々求める。そして、水平方向及び垂直方向の夫々（ＨＤＲ／４＋ＨＭＩＮ）及び（ＶＤＲ／４＋ＶＭＩＮ）の値のうち、小さい方の値をとってそのブロックの閾値Ｂｔｈとする。
【００６６】
このブロック閾値Ｂｔｈは、後述する時間方向クラス分類において、複数のフレームに亘ってブロック閾値を参照し、その中で最大のものを選択して使用するものである。従って、画像データが入力される都度、予め各ブロック毎に閾値Ｂｔｈを算出し、画像データ及び平坦フラグと共にこの閾値Ｂｔｈを記録しておく。また、上述したように、ＤＣＴブロックの構造がフィールド又はフレームであるか判断した後、このブロック構造に従って画素をサンプリングしてブロック閾値Ｂｔｈの計算を行う。
【００６７】
ここで、ブロック閾値Ｂｔｈ算出の際には、ＨＤＲ又はＶＤＲを１／４倍してＨＭＩＮ又はＶＭＩＮに加えているが、比率は１／４に限定されるものではない。しかし、エッジとモスキート・ノイズとの判別性能に関係するため、それを考慮して適宜決定する必要がある。
【００６８】
次に、ステップＳ９では、ブロック閾値Ｂｔｈ、平坦フラグＰflag及びブロックタイプフラグＢtype_flagがフラグメモリ（ブロック特徴量メモリ１４、図１参照）に記録される。
【００６９】
続いて、ステップＳ１０では、ステップＳ９にてブロック閾値ＮＢｔｈ、平坦フラグＰflag及びブロックタイプフラグＢtype_flagを算出・判定したブロックが最終マクロブロックであるか否かが判別される。このステップＳ１０において、最終マクロブロックでないと判別された場合には、ステップＳ１１に進み、マクロブロック位置を更新してステップＳ１に戻る。一方、ステップＳ１０において、最終マクロブロックであると判定された場合には、ステップＳ１２に進み、マクロブロック位置をリセットし、次フレームの処理に移る。
【００７０】
（５）空間クラス分類処理
空間方向のクラス分類は、図１に示す画像信号処理装置１０において、ラインメモリ１５と、画素間差分値算出部１２と、統計量算出部１３と、ブロック特徴量メモリ１４と、特徴量抽出部２０とで行われる。ラインメモリ１５は、入力されるＭＰＥＧ復号画像から、８×８画素のブロックにおいて、ブロック内をスキャンして注目画素を含む水平方向のラインデータ（水平ラインデータ）と、注目画素を含む垂直方向のラインデータ（垂直ラインデータ）とを記憶する。画素間差分値算出部１２は、画素のラインメモリ１５から各８画素の水平ラインデータ及び垂直ラインデータが入力され、上述したブロックデータと同様に、隣接する画素間の差分値を算出する。統計量算出部１３も、上述と同様に、各ラインデータから算出された７つの画素間差分値から最大値、最小値、及びダイナミックレンジ等を求める。ブロック特徴量メモリ１４は、それらの値を記憶する。そして、特徴量抽出部２０にて、ブロック特徴量メモリ１４から読み出されたデータを元に空間クラス分類を分類する。クラス分類されたクラスタップは、クラスコード発生部２１によりクラスコード（クラス番号）が付される。
【００７１】
以下、空間クラス分類における各工程について詳細に説明する。図８及び図９は、空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程を示すタイミングチャートである。
【００７２】
（５−１）空間クラスタップの抽出
先ず、ステップＳ２１では、ブロック特徴量メモリ１４に記憶されている注目ブロックのＰflag及びＢtype_flagが読み出され、特徴量抽出部２０に入力される。次いで、ステップＳ２２においては、注目画素が属する注目ブロック内の画素がスキャンされる。そして、ステップＳ２３において、図１０に示すように、注目ブロックＢ２から注目画素５１を含む水平方向及び垂直方向の各８画素が抽出される。更に、ステップＳ２４において、注目ブロックＢ２に隣接する隣接ブロックにおいて、注目画素と同じ水平位置及び垂直位置の画素であって、注目ブロックに隣接する画素（インタレース方式においては、注目画素と同一のフィールドで、注目ブロックに再近接する画素）をブロック隣接画素として抽出する。即ち、図１１に示すように、ブロック隣接画素は、注目画素５１と水平位置が同じ左右のブロックの画素で、注目画素が属するブロックＢ２と接している画素５２ａ，５２ｂ及び注目画素５１と垂直位置が同じ上下のブロックの画素で、注目画素５１が属するブロックＢ１と接している画素５３ａ，５３ｂを示す。本実施の形態においては、この注目ブロックにおける注目画素を含む水平及び垂直方向の計１５画素及びブロック隣接画素から空間クラスを分類する空間クラスタップが構成される。
【００７３】
（５−２）クラスタップの統計量の算出
図１０に示すように、ステップＳ２５では、ステップＳ２３にて抽出されたＤＣＴブロック内の注目画素５１を含むの上下方向（垂直方向）及び左右方向（水平方向）の各８画素の隣接する画素間の差分絶対値を求める。
【００７４】
次いで、ステップＳ２６において、上述のブロック閾値Ｂｔｈの算出と同様に、図７と同様のヒストグラムから隣接する画素間差分絶対値の分布を調べ、水平方向及び垂直方向のダイナミックレンジ及び最小値の夫々ｈｄｒ，ｈｍｉｎ及びｖｄｒ，ｖｍｉｎを求める。
【００７５】
なお、図１０及び図１１では、注目画素５１を注目ブロックＢ１の上から３行目、左から４列目の画素としているが、他の画素が注目画素の場合においても、注目画素を含む水平方向及び垂直方向の各８画素の画素間差分絶対値を求めるものとする。
【００７６】
更に、図１０及び図１１は、フレームＤＣＴブロックを示すものであるが、フィールドＤＣＴブロックの場合は、垂直方向は１ラインおきにサンプリングして、１ラインおきの画素間の差分絶対値を求める。
【００７７】
（５−３）空間クラスタップの特徴量抽出
次に、ステップＳ２７において、画素間差分値（エッジ検出）による空間クラス分類を行う。以下、このエッジ検出による空間クラス分類について詳細に説明する。図１２乃至図１５は、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を詳細に示すフローチャートである。また、図１６（ａ）乃至（ｅ）は、図１１に示す注目ブロックの注目画素を含む水平方向の１ライン及び注目ブロックの左右（水平方向）に隣接する隣接ブロックのブロック隣接画素において算出されたエッジの値と、空間クラス分類の関係を示す模式図である。
【００７８】
先ず、ステップＳ５１において、上述のステップＳ２６にて算出したｈｄｒ，ｈｍｉｎ及びｖｄｒ，ｖｍｉｎから、水平方向の閾値（水平ライン閾値）ｈｔｈ＝ｈｄｒ／４＋ｈｍｉｎ、垂直方向の閾値（垂直ライン閾値）ｖｔｈ＝ｖｄｒ／４＋ｖｍｉｎを計算する。
【００７９】
なお、上述のブロック閾値Ｂｔｈ、並びに水平ライン閾値ｈｔｈ、及び垂直ライン閾値ｖｔｈ算出の際に、ダイナミックレンジＤＲ（ｄｒ）を１／４倍し、これに最小値ＭＩＮ（ｍｉｎ）を加えているが、この比率はエッジとモスキート・ノイズとの判別性能に関係するもので、それを考慮して適宜決定することができる。
【００８０】
（５−４）境界フラグの検出
先ずクラス分類に先立って、ステップＳ５２において、ステップＳ８で求めたブロック閾値Ｂｔｈと、ステップＳ５１にて求めた水平ライン閾値ｈｔｈ及び垂直ライン閾値ｖｔｈとを使用し、注目ブロックに隣接するブロック隣接画素との連続性を調べる。隣接画素との連続性は、まず注目画素とブロック隣接画素との差分絶対値を求め、左右のブロック隣接画素は水平ライン閾値ｈｔｈと比較し、上下の隣接画素は垂直ライン閾値ｖｔｈと比較する。即ち、図１６（ａ）に示す水平ラインにおいては、注目ブロックＢ３の左側にて隣接する左隣接画素５２ａと注目画素５１との差分絶対値（１７５−１２８＝４７）、及び注目ブロックＢ３の右側にて隣接する右隣接画素５２ｂと注目画素５１との差分絶対値（１４６−１２８＝１８）を水平ライン閾値ｈｄｒと比較して、水平ライン閾値ｈｄｒを超えるか否かを検出する。垂直方向においても同様に計算し、垂直ライン閾値ｖｄｒを超えるか否かを検出する。そして、これら４つの検出結果を注目ブロックと左右上下に隣接する隣接ブロックとの連続性を示す夫々ブロック境界段差Ａ（Ａ１乃至Ａ４）に格納する。ここで、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超える場合は、注目ブロックと隣接ブロックとの間には連続性がないものとし、対応するブロック境界段差Ａに１を格納し、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超えない場合は対応するブロック境界段差Ａに０を格納する。
【００８１】
次に、ステップＳ５３において、左右及び上下のブロック隣接画素とブロック境界を隔てて接する注目ブロック内の画素との差分絶対値を求め、１／２倍したのち、同様に夫々水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒと比較する。即ち、図１６（ａ）に示す水平方向のラインにおいては、左ブロック隣接画素５２ａとこれに隣接する内側画素５４ａとの画素間差分絶対値（（１８１−１７５）／２＝３）と、右ブロック隣接画素５２ｂとこれに隣接する内側画素５４ｂとの画素間絶対差分値（（１４６−１３８）／２＝４）とを求め、これらの値が水平ライン閾値ｈｄｒを超えるか否かを検出する。垂直方向においても同様に計算し、垂直ライン閾値ｖｄｒを超えるか否かを検出する。そして、これら４つの検出結果を、注目ブロックＢ３と左右上下に隣接するブロックとの連続性を示すブロック境界段差Ｂ（Ｂ１乃至Ｂ４）に格納する。ここで、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超える場合は、連続性がないものとし、対応するブロック境界段差Ｂに１を格納し、超えない場合は対応するブロック境界段差Ｂに０を格納する。
【００８２】
次に、ステップＳ５４において、ブロック隣接画素と注目画素との差分絶対値、又は内側画素との差分絶対値の１／２のいずれかが閾値を超えたとき、即ち、ブロック境界段差Ａとブロック境界段差Ｂのうち、いずれか一方でも１である（連続性がない）場合は、注目画素と注目画素が属する注目ブロックに隣接する隣接ブロックとの間には連続性がないものとみなし、境界フラグを１とする。即ち、ブロック境界段差Ａとブロック境界段差ＢとのＯＲをとる。こうして、注目ブロックＢ３の上下左右の隣接ブロックに対応して設けられた４ｂｉｔの境界フラグのうち、連続性がない場合はフラグを１とし、どちらも閾値を超えない場合のみ該当する境界フラグを０とする。
【００８３】
なお、注目画素がブロック境界に接している場合には、重複して判定を行うことになるため、差分絶対値を１／２倍した値との比較は省略可能である。
【００８４】
このブロック境界の連続性判定は、注目画素の歪を処理するにあたって、隣接ブロックの情報を補正項として使用できるか否かを判定し、分類することを目的とする。これにより、ブロック間に閾値を超える差がある場合には、これを画像が本来持っているエッジが関与しているものと判断し、補正項としては隣接ブロックの情報を使用しないように分類することができる。
【００８５】
即ち、ブロック境界部において、偶然、画像本来のエッジが重なる場合には、不用意に段差を埋めると画像がぼけて見えてしまうため、このようなケースでは段差を残しておかねばならない。本実施の形態には、境界フラグにより、注目画素周辺の画素間差分から求めた閾値を使用して、ある程度大きな段差がある場合には画像本来のエッジとみなすことにより、画像本来のエッジか又はノイズであるかの判別に使用することができる。
【００８６】
ここで、ブロック境界をまたいで接する画素間の差分を１／２倍する理由は、この位置にはブロック歪成分が重畳しやすく、補正すべきブロック歪を画像本来のエッジと混同してしまう恐れがあるためである。この倍率は、ブロック歪の検出性能を考慮して適宜決定することができる。こうして、隣接ブロックを補正項として使用するか否かが判定された後、隣接画素の状況に続いて、ブロック内部の画像エッジに基づいてクラス分類を行う。
【００８７】
（５−５）平坦ブロッククラス
先ず、ステップＳ５５において、注目画素が属する注目ブロックについて、ブロック単位の閾値Ｂｔｈと共に求めた平坦フラグＰflagを参照し、平坦フラグＰflagが１である（平坦なブロックである）場合は、ステップＳ５６に進み、この注目ブロックは、平坦ブロッククラスとしてクラス分類する。更に、ステップＳ５７に進み、番号４４８乃至４６３が付され、ステップＳ５４で求めた境界フラグの４ｂｉｔの情報に基づいてクラス番号４４８乃至４６３に分類される。
【００８８】
（５−６）水平方向の空間クラス分類：左右平坦クラス、左右エッジ上クラス、左右細線上クラス、左右複雑クラス、左右単純エッジクラス
平坦フラグＰflagが１ではないブロック、即ち、平坦ではないブロックについては、エッジの位置から、水平方向及び垂直方向において、大きく分けて、平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスの５つのクラスに分類される。なお、図１６（ｂ）乃至（ｅ）は、図１０に示す注目ブロック内において、注目画素を含む水平方向の８画素を抜き出して示すのである。以下、これを使用して数値例を交えて説明する。垂直方向もこれと同様にして分類を行う。
【００８９】
先ず、水平方向における平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスのクラス分類を行う。ステップＳ５８において、注目ブロック内で、ステップＳ２６で求めた注目画素を含む水平方向にて隣接する画素間の差分絶対値のダイナミックレンジｈｄｒが所定の閾値未満の場合は、ステップＳ５９に進み、左右平坦クラスに分類する。即ち、平坦ではないブロックでも、注目画素の周囲は局所的に平坦である場合である。次に、８画素の差分絶対値のｈｄｒが所定の閾値以上の場合は、ステップＳ６０に進み、画素間差分値とｈｔｈとを比較してエッジを検出する。このエッジの検出結果を使用して、更に細かくクラス分類する。
【００９０】
先ず、ステップＳ６０におけるエッジ検出について説明する。図１６（ａ）に示すように、８個の画素の画素間にエッジ位置番号１〜７を定義する。本実施の形態においては、水平方向の左から右へ番号を付すものとする。次いで、隣り合う画素間の差分値を求め、エッジ位置番号１〜７に割り当てる。この段階では差分値は、絶対値を取らず正負の符号は残す。差分は２つの隣接画素において、左側から右側の値を引いた差分値とする。ここで、上述の水平ライン閾値ｈｔｈは差分絶対値の分布から求めるため、図１６（ａ）の場合では、水平ライン最大値ｈｍａｘ＝５１、水平ライン最小値ｈｍｉｎ＝２であり、水平ライン閾値ｈｔｈ＝１４となる。
【００９１】
次いで、各差分値の絶対値を水平ライン閾値ｈｔｈと比較し、このｈｔｈを超える場合には該当するエッジ位置にエッジフラグを立てる。このフラグには、エッジの傾きの方向を示すため、差分値の符号を付加する。従って、このフラグは−１、０、１の３値を有する。なお、上述したように、隣接ブロック画素５２ａ又は５２ｂとの差分値は、１／２倍してから水平ライン閾値ｈｄｒと比較する。
【００９２】
このエッジフラグを利用して、注目画素の周辺のエッジ有無及びその配置に基づいてクラス分類する。
【００９３】
ステップＳ６１において、注目画素と、その両側の画素との間のエッジフラグを調べる。ここで、注目画素の両側のいずれにもエッジがある場合、ステップＳ６２に進み、両側のエッジフラグの符号が一致しているか否かを検出する。そして、図１６（ｂ）に示すように、注目画素５２の両側のエッジフラグが同一符号である場合は、水平エッジ上クラスと分類され、ステップＳ６３に進み、エッジ上フラグをたてる。一方、図１６（ｃ）に示すように、注目画素５２の両側の両側のエッジフラグが同一符号でない場合は、水平細線上クラス（縦細線上クラス）と分類され、ステップＳ６４に進み、細線上フラグをたてる。エッジ上フラグ又は細線上フラグをたてた後、ステップＳ６５に進み、注目画素の両側を除き、左右のブロック境界までのエッジの有無を検出し、ステップＳ６６に進む。ステップＳ６６では、ステップＳ６５の検出結果から、エッジがある側の境界フラグを１とする。図１６（ｂ）及び（ｃ）の例においては、右側のみエッジがあるので、右境界フラグが１となり、左境界フラグはステップＳ５４のままとなる。また、両側にエッジがあるときは、左右の境界フラグが１となり、いずれの側にもエッジがないときは左右の境界フラグはステップＳ５４のままとなる。
【００９４】
即ち、注目画素の両側を除く左右のブロック境界までの間にエッジフラグがある場合は、注目画素からエッジフラグがある隣接ブロックに達するまでの間に、画像のエッジが横切っており、隣接ブロックにおけるブロック隣接画素が補正項として使えないことを示すので、ステップＳ５４で求めた結果とＯＲをとる。即ち、左右のブロック境界フラグに１を立てる。
【００９５】
また、ステップＳ６１において、注目画素の両側のいずれか一方又はいずれにもエッジがない場合は、ステップＳ６７に進む。そして、注目画素から左右のブロック境界までのエッジの有無を検出し、ステップＳ６８に進む。そして、図１６（ｄ）に示すように、左右いずれの方向においてもエッジがある場合は、左右複雑クラスに分類され、ステップＳ６９に進み、左右の境界フラグに、ステップＳ５４で求めた結果とＯＲをとって１を立てる。一方、図１６（ｅ）に示すように、注目画素の左右いずれか一方にエッジがある場合は、左右単純エッジクラスと分類され、ステップ６８からステップ６９に進み、エッジが検出された方向のエッジ境界フラグに、ステップＳ５４で求めた結果とＯＲをとって１を立てると共に、そのエッジ位置を記録する。エッジを複数有する場合は、注目画素に最も近い位置とし、例えば、図１６（ｅ）に示す例においては、エッジ位置番号は５である。こうして、左右単純エッジクラスは、そのエッジ位置番号から、更に７つのクラスに分類される。
【００９６】
（５−７）垂直方向の空間クラス分類：上下平坦クラス、上下エッジ上クラス、上下細線上クラス、上下複雑クラス、上下単純エッジクラス
注目ブロックにおける注目画素を含む垂直方向の８画素についても同様に、垂直方向における平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスのクラス分類を行う。即ち、ステップＳ７１において、注目ブロック内で、ステップＳ２６で求めた注目画素を含む水平方向に隣接する画素間の差分絶対値のダイナミックレンジｖｄｒが所定の閾値未満の場合は、上下平坦クラスに分類されステップＳ７２に進む。即ち、平坦ではないブロックでも、注目画素の周囲は局所的に平坦である場合である。次に、８画素の差分絶対値のｖｄｒが所定の閾値以上の場合は、ステップＳ７３に進み、画素間差分値とｈｔｈとを比較し、エッジを検出する。そして、ステップＳ７４において、注目画素のすぐ上下にエッジがあるか否かを検出し、何れもエッジがある場合はステップＳ７５に進み、エッジの符号が同一である場合は、垂直エッジ上クラスと分類され、ステップＳ７６に進む。一方、エッジの符号が異なるときは、垂直細線上クラス（横細線上クラス）と分類され、ステップＳ７７に進む。垂直エッジ上クラス又は垂直細線上クラスに分類された後、ステップＳ７７では、注目画素の上下を除き、注目ブロックに隣接する上下のブロック境界までのエッジの有無を調べ、Ｓ７９にてエッジがある側、即ち、上側、下側又は上下両方に対応する境界フラグに１をたてる。
【００９７】
一方、ステップＳ７４にて、注目画素のすぐ上下の両方、又は何れか１方にエッジがなかった場合は、ステップＳ８０に進み、注目画素から注目ブロックに上下に隣接する隣接ブロックの境界までのエッジの有無を調べる。そして、ステップＳ８０の検出結果から、ステップ８１にて、上下両方向にエッジがある場合は上下複雑クラスと分類され、ステップＳ８２に進み、上下の境界フラグを１とする。一方、上下のいずれか一方にのみエッジがある場合は、上下単純エッジクラスに分類され、ステップＳ８３に進み、エッジがある側の境界フラグを１にすると共に、そのエッジ位置番号を記憶する。これにより、上下単純エッジクラスは、エッジの位置により、更に７つに分類される。
【００９８】
以上、ブロック内部のエッジ分類としては、水平及び垂直方向、それぞれに１：平坦クラス、２：エッジ上クラス、３：細線上クラス、４：複雑クラス、５：単純エッジクラス（１〜７）の５種類、１１クラスに分類される。下記表１及び表２に、以上の空間クラス分類を示す。
【００９９】
【表１】
【０１００】
【表２】
【０１０１】
（５−８）空間クラス番号の発生
次に、ステップＳ５１乃至８３で分類した水平方向及び垂直方向の各５種類１１クラスに、先に求めた境界フラグ、及び平坦ブロッククラスの情報を加え、最終的なフレーム内クラス番号(空間クラス)を決定する。
【０１０２】
基本的に水平方向及び垂直方向のクラスの組合せと、境界フラグの状況とで分類し、更に、単純エッジクラスが関係する時はエッジの位置で分類する。即ち、水平方向及び垂直方向の各５種類１１クラスに分類された後、図１４に示すように、ステップＳ８４において、上下左右、共に平坦クラスであるか否かが判定され、共に平坦クラスである場合は、ステップＳ８５に進む。この上下左右平坦クラスは、境界フラグの４ビットの情報が付加されて、ステップＳ５７の上下平坦ブロッククラスと同様に、境界フラグの４ビットの情報に基づいてクラス番号４４８乃至４６３に分類される。なお、この上下左右平坦クラスと、平坦ブロッククラスを別々のクラスとして分類しいてもよい。
【０１０３】
一方、上下左右の何れか一方又は共に平坦クラスではない場合は、ステップＳ８６に進み、上下、左右共に複雑クラスであるか否かが判定される。ここで、上下、左右共に複雑クラスである場合は、複雑ブロックに分類され、ステップＳ８７に進み、境界フラグの４ビットのデータに基づいてクラス番号０乃至１５に分類される。
【０１０４】
また、ステップＳ８６でＮＯである場合、即ち、上下、左右の何れか一方又は両方が複雑クラスではない場合は、ステップＳ８８に進み、上下平坦クラスであり、且つ左右が単純エッジクラスである場合は、ステップＳ８９に進み、境界フラグ及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号１６乃至７１に分類される。
【０１０５】
ステップＳ８８でＮＯである場合、ステップＳ９０に進み、上下複雑クラスであり、かつ左右単純エッジクラスである場合は、ステップＳ９１に進み、境界フラグ及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号７２乃至８５に分類される。
【０１０６】
ステップＳ９０でＮＯである場合、ステップＳ９２に進み、上下単純エッジクラスであり、且つ左右複雑クラスである場合は、ステップＳ９３に進み、境界フラグ及び上下単純エッジクラスのエッジ位置番号に基づいてクラス番号８６乃至１４１に分類される。
【０１０７】
ステップＳ９２でＮＯの場合、ステップＳ９４に進み、上下単純エッジクラスであり、且つ左右複雑クラスである場合は、ステップＳ９５に進み、境界フラグ及び上下単純エッジクラスのエッジ位置番号に基づいてクラス番号１４２乃至１５５に分類される。
【０１０８】
ステップＳ９４でＮＯの場合、ステップＳ９６に進み、上下、左右共に単純エッジクラスである場合は、ステップＳ９７に進み、境界フラグ、並びに上下及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号１５６乃至３５１に分類される。
【０１０９】
ステップＳ９６でＮＯの場合、ステップＳ９８に進み、水平エッジ上クラスである場合は、ステップＳ９９に進み、境界フラグに基づいてクラス番号３５２乃至３６７に分類される。
【０１１０】
ステップＳ９８でＮＯの場合、ステップＳ１００に進み、垂直エッジ上クラスである場合は、ステップＳ１０１に進み、境界フラグに基づいてクラス番号３６８乃至３８３に分類される。
【０１１１】
ステップＳ１００でＮＯの場合、ステップＳ１０２に進み、右上りエッジ上クラスである場合は、ステップＳ１０３に進み、境界フラグに基づいてクラス番号３８４乃至３９９に分類される。右上りエッジ上クラスとは、注目画素が共に同じ値を有する細線上クラスの場合であり、例えば図１６（ｃ）に示す左右細線上クラスであれば、この注目画素の上下のエッジフラグが、（１、−１）となる場合である。
【０１１２】
ステップＳ１０２でＮＯの場合、ステップＳ１０４に進み、左上がりエッジ上クラスである場合は、ステップＳ１０５に進み、境界フラグに基づいてクラス番号４００乃至４１５に分類される。左上りエッジ上クラスとは、注目画素が互いに異なる値を有する細線上クラスの場合であり、例えば図１６（ｃ）に示す左右細線上クラスであれば、この注目画素の上下のエッジフラグが、（−１、１）となる場合である。
【０１１３】
ステップＳ１０４でＮＯの場合、ステップＳ１０６に進み、水平方向のみが細線上クラス（縦細線上クラス）である場合は、ステップＳ１０７に進み、境界フラグに基づいてクラス番号４１６乃至４３１に分類される。
【０１１４】
ステップＳ１０６でＮＯの場合、ステップＳ１０８に進み、垂直方向のみが細線上クラス（横細線上クラス）である場合は、ステップＳ１０９に進み、境界フラグに基づいてクラス番号４３２乃至４４７に分類される。
【０１１５】
ステップＳ１０８でＮＯの場合、ステップＳ１１０に進み、これらは、孤立点（複雑クラス）と分類され、ステップＳ８６と同様に、境界フラグの４ビットのデータに基づいてクラス番号０乃至１５に分類される。
【０１１６】
（６）時間クラス分類処理
（６−１）時間クラスタップの構成
次に、画素値の時間変動による輝度差を利用して時間方向のクラス分類を行う。この時間クラスは、時間クラスタップの画素間の差分値に基づき時間クラス分類を行うが、後述する予測タップにおいても、空間タップ及び時間タップから構成され、予測タップの時間タップは、時間クラスタップと同様の理由により同様のタップ構造を有する。即ち、主として静止画（及び動画の静止部）の画素値が時間的に変動する問題への対策として、注目画素が属するフレームの前後、多数のフレームに渡って注目画素と同じ位置に時間クラスタップ（予測タップ）を１点ずつ張り、時間クラス分類を行って予測係数の学習とマッピングを行う。これによって、時間方向の画素値が平均されることで、時間変動を目立たなくする。
【０１１７】
使用するフレーム数は多いほど良いが、リアルタイム再生の場合などにディレイの原因となるので、それを勘案して決定する。本実施の形態においては、注目フレームとその前後３フレームずつ、合計７フレームとして説明する。
【０１１８】
即ち、図３に示す画像信号処理装置１０におけるフレームメモリ１６と、領域切出部１７と、画素間差分値算出部１８と、統計量算出部１９と、特徴量抽出部２０とクラスコード発生部２１とにより空間クラス分類が行われる。フレームメモリ１６は、注目画素が属する注目フレームを中心に時間的に前後３フレームを記憶する。領域切出部１７は、フレームメモリから７つのフレームデータが入力され、注目フレームも注目画素と同一の位置の各フレームにおける画素を空間クラスタップとして設定する。統計量算出部１９は、７つの空間クラスタップにおいて、時間的に隣り合う画素間の絶対差分値を算出する。特徴量抽出部２０は、７つのフレームにおいて、空間クラスタップが属するブロックにおける各ブロック閾値Ｂｔｈを読み出し、その中で最大のブロック閾値Ｂｔｈと画素間差分値とを比較し、使用可能タップを選択し、使用可能タップ数に基づき空間クラスを分類する。そして、クラスコード発生部２０において、クラスコード（空間クラス番号）が付される。なお、クラスコード発生部２０は、この時間クラスと、後述する画素位置モード、及び先に求めた空間クラスから最終的なクラスコードを発生する。以下、空間クラス分類の各工程について詳細に説明する。
【０１１９】
（６−２）使用可能時間クラスタップの判定
次に、使用可能な時間クラスタップの判定を行う。なお、上述したように、後述する予測タップの時間タップについても同様に使用可能か否かの判定を行うことができる。画素値の時間平均をとるとき、即ち、正確には予測係数と画素との積和演算の際、７フレームの範囲に動物体が割り込んでくるフレームがある場合には、そのフレーム（以降）の画素値は使用するべきではない。従って、時間方向で使える範囲をまず判定しておく。
【０１２０】
そこで、先ず、図８に示すステップＳ２８において、使用可能フレームを判定するため、上述した如くステップＳ８において、空間内の画素間微分値から求めたブロック閾値Ｂｔｈを使用し、注目画素を含む注目ブロックを中心フレームとして時間方向７フレームの中で最大のブロック閾値Ｂｔｈを選択し、この最大ブロック閾値Ｂｔｈと時間方向の画素間差分絶対値（画素のフレーム間差分絶対値）とを比較し、フレーム間差分絶対値が最大ブロック閾値Ｂｔｈを超えるフレームの手前までを使用可能と判定する。以下、ステップＳ２８について更に詳細に説明する。
【０１２１】
先ず、注目画素を含む注目ブロックを中心として時間方向７フレームのブロック閾値Ｂｔｈのうち、最大のブロック閾値Ｂｔｈを選択する。ここで、最大ブロック閾値Ｂｔｈを選択する理由について説明する。
【０１２２】
ブロック閾値Ｂｔｈは、ＤＣＴブロック単位にフレーム内で求めているので、図１７に示すように、そのブロックに対するブロック閾値Ｂｔｈそのものも時間的に変動する。図１７は、ｔ＝５〜７及びｔ＝１３で静止部のブロック内に動物体の一部（着色部）が侵入し、その画像エッジの影響でＢｔｈの値が他より大きくなっている様子を示す。ここで、ブロック閾値Ｂｔｈの大きさは、ｔｈ６＞ｔｈ１３＞ｔｈ７＞ｔｈ５＞その他、の関係があるものとする。
【０１２３】
このような場合には、例えば注目フレームがｔ＝４であるとき、このときのＢｔｈとしてＢｔｈ＝ｔｈ４を使用すると、ｔ＝５，６のフレームが使用可能範囲から排除されてしまう。
【０１２４】
実際に、図１７のブロックの右側の画素ＢＲのように、注目画素位置にｔ＝５〜７で動物体が割り込んでくるのであれば、ｔ＝５〜７のフレームが排除されるのが正しいが、図１７のブロックの左側の画素ＢＬのように、注目画素位置にそのようなことが起きない場合でも、動物体のエッジが起こすモスキート・ノイズにより、静止部でもブロック閾値Ｂｔｈ＝ｔｈ４を超える時間変動が起き、ｔ＝５〜７のフレームが排除されてしまう可能性がある。
【０１２５】
これは静止部の時間変動を押さえる目的からは望ましくない。なぜならば、例えばブロック閾値Ｂｔｈが大きいｔ＝６のフレームではｔ＝４も参照するのに、その逆はなくなってしまうので、ｔ＝４〜７にかけての変動を滑らかに押さえることができなくなるからである。
【０１２６】
そこで、ブロック閾値Ｂｔｈの値は、時間タップを張るフレーム範囲（使用される可能性があるフレーム）の全てのブロック閾値Ｂｔｈから最大のものを選択するようにする。即ち、合計７フレームを参照し、ｔ＝４であれば、最大のブロック閾値Ｂｔｈ＝ｔｈ６が選択される。これによって、先に述べたフレーム毎の不整合が解消される。
【０１２７】
なお、図１７はどのフレームもフレームＤＣＴブロックとして示しているが、実際にはフレーム及びフィールドＤＣＴブロックが混在する。このため、各フレームでのブロック構造に合わせて、注目画素が属するブロックのブロック閾値Ｂｔｈを調べる必要がある。
【０１２８】
次に、最大ブロック閾値Ｂｔｈと画素のフレーム間差分絶対値とを比較し、差分絶対値が閾値Ｂｔｈを超えたフレームから先は、使用不可のタップとする。時間方向のクラス分類は、基本的にはフレーム間差分の閾値処理で分類するが、時間クラス分類は、マッピング時と学習時とで分類方法が異なる。
【０１２９】
（６−３）時間クラスの分類
画素値の時間変動は、発生原因としてＭＰＥＧの動き補償（静止部でもあり得る）や、ＤＣＴ量子化残差の加算のほか、ＤＣＴブロックの一部に動物体が入ったことによるＤＣＴ係数の加算、ＧＯＰ（Group of Picture）の切れ目でイントラピクチャ符号化が行われる際の量子化スケールの変化等がある。
【０１３０】
このような時間変動は、画像が静止している領域で特に見えやすいため、前後の多数フレームに亘って空間的な位置を固定した予測タップを配置することにより、変動を抑圧することができる。ここで、上述した注目ブロック内の画素間差分値から求めたブロック閾値Ｂｔｈと、時間タップとの間の差分値とを比較して、変動抑圧に使用できるタップの範囲と時間クラスとを決定することにより、動画像本来の時間変化を抑圧してしまい不自然な動きぼけとして見えてしまうことを防止する。
【０１３１】
図１８は、横方向に時間をとって、注目画素とこの注目画素とブロック内で同位置における未来及び過去方向の各３タップ、合計７タップを示し、縦方向に空間タップを示す模式図である。先ず、ステップ２９において、注目画素５１とブロック内で同位置における未来及び過去方向の各３タップを読み込む。以下、注目画素より時間的に過去となる側を過去方向、注目画素より時間的に未来となる側を未来方向という。
【０１３２】
次に、ステップＳ３０において、読み込んだ時間方向の７タップにおいて、時間方向に隣接する画素の差分絶対値（フレーム間差分絶対値）を計算する。
【０１３３】
そして、ステップＳ３１において、求めたフレーム間差分絶対値と、上述した最大ブロック閾値Ｂｔｈとを比較し、最大ブロック閾値Ｂｔｈを超えたフレームから先のタップは使用不可タップとすると共に、使用不可タップに基づき、時間方向のクラス分類を行う。
【０１３４】
以下、ステップＳ３１における工程について、詳細に説明する。図１９（ａ）〜（ｄ）及び図２０（ａ）〜（ｄ）は、夫々学習時及びマッピング時のクラス分類を示す模式図である。図中、使用可能タップを○で示し、使用不可と判定された使用不可タップを●で示し、注目画素をハッチングして示す。また、下記表３及び表４に、時間クラス分類におけるクラス番号及びフラグの意味を示す
【０１３５】
（６−３−１）学習時における時間クラス分類
先ず、学習時のクラス分類について説明する。図１９（ａ）に示すように、過去及び未来方向全てに、使用不可タップが存在しない場合は、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類され、全ての時間タップが予測タップとして使用可能のクラスとし、学習を行う。
【０１３６】
また、図１９（ｂ）に示すように、未来方向のみに使用不可タップ６１があるときは、表３に示す時間クラス番号２（クラス１０：第２の時間クラス）と分類され、過去方向の時間タップのみを使用し、未来方向の時間タップは使用しない。また、未来方向の時間タップのみが使用可能な場合は、表３に示す時間クラス番号１（クラス０１：第３の時間クラス）と分類される。
【０１３７】
ここで、学習時においては、過去又は未来方向に１つでも使用不可タップがある場合は、過去又は未来方向の全ての時間タップは使用できないものとする。従って、図１９（ｃ）に示す場合は、過去方向の３タップ全て、未来方向の１タップが使用不可タップ６１であり、図１９（ｄ）に示す場合は、過去及び未来方向の全ての時間タップが使用不可タップ６１であるため、共に表３に示す時間クラス番号３（クラス１１：第４の時間クラス）と分類され、学習時には全ての時間タップは使用不可クラスと判定される。こうして学習時の時間クラスは、表３に示す時間クラス番号０〜３の４クラスに分類される。
【０１３８】
このように、学習時には、時間タップが使用可能となるクラス００，１０，０１は、その方向の全ての時間タップが使える場合のみになる。これにより、学習時においては、使用可能のクラスでは全時間タップが注目画素と相関が高い状態にしておき、時間平均に近い予測タップを得ることができる。
【０１３９】
こうして求めた時間クラス０〜３は、この値を、空間クラス数倍である４６４倍して空間クラスの番号を加算し、最終的なクラス番号０〜１８５５を確定する。即ち、クラス番号＝時間クラス×４６４＋空間クラス、となる。
【０１４０】
（６−３−２）マッピング時における時間クラス分類
次に、マッピング時の時間クラス分類について説明する。図２０（ａ）に示すように、使用不可タップがない場合は、学習時と同様に、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類されるものの、図２０（ｂ）に示すように、例えば未来方向に使用不可タップ６１が１つのみ存在したとしても、マッピング時には、学習時とは異なり、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類され、両方向の時間タップが使用可能なクラスに分類される。即ち、マッピング時には、１つでも使用可能のタップがある場合は、その方向の時間タップは使用するものとする。従って、図２０（ｃ）に示すように、過去方向の３タップが全て使用不可タップ６１であり、未来方向の１タップが使用不可タップ６１である場合は、表３に示す時間クラス番号１（クラス０１：第２の時間クラス）と分類され、未来方向の時間タップは使用する。同様に、過去方向にのみ、使用可能タップがある場合は、表３に示す時間クラス番号２（クラス１０：第３の時間クラス）と分類される。そして、図２０（ｄ）に示すように、未来及び過去方向全ての時間タップが使用不可タップ６１である場合のみ、表３に示す時間クラス番号３（クラス１１：第４の時間クラス）と分類され、全ての時間タップが使用できないクラスに分類される。このように、マッピング時には、一部のタップが使える場合にはその方向の時間タップが使用可能であるクラスに分類することにより、時間平均の効果を上げることができる。即ち、マッピング時には、時間平均の効果を上げるために、少しでも多くのフレームを使用し、且つ使用するフレーム数をなるべく時間的に滑らかに変化させることができる。
【０１４１】
こうして、マッピング時の時間クラスにおいても、クラス００〜１１（空間クラス番号０〜３）の４クラスに分類される。このマッピング時においても、学習時と同様に、４つの時間クラスを４６４倍して空間クラス番号を足し、最終的なクラス番号とする点は同様である。
【０１４２】
【表３】
【０１４３】
【表４】
【０１４４】
但し、この分類を行うと、学習時には使用不可と判定された使用不可タップが、マッピング時には使用可能と判定される場合があり、このため、この使用不可タップにもマッピング時に予測係数が適用され、使用不可タップが時間平均に含まれることになってしまう。即ち、マッピング時には、例えば、図２０（ｂ）に示す未来方向３タップのうち、使用不可タップは１つのみで、後の２つは使用可能である場合、クラス番号０に分類されるため、使用不可タップ６１がマッピングにおける時間平均に含まれてしまう。これを防ぐため、マッピング時には予測係数を一部加工し、後述するゲイン調整を行ってから積和演算を行うものとする。
【０１４５】
（６−３−３）時間クラス分類の例外処理
また、時間クラス分類の例外処理として、過去又は未来方向に画素値が単調に増加又は減少している場合は、その方向は全て使用不可タップとする。これは画面のフェードイン・アウト、又はゆるやかなグラデーションを有する物体の移動等に対応するためである。この例外処理は、学習時もマッピング時も同様に行う。
【０１４６】
（７）ブロック内画素位置モード
次に、ステップＳ３２において、ブロック内の画素位置に基づき画素位置モードを判定する。歪除去にあたって、空間方向のクラス分類と共に、注目画素がＤＣＴブロックのどの位置に存在しているかについては重要な情報である。
【０１４７】
そこで、学習及びマッピングには、上述した空間方向クラス分類及び時間方向クラス分類と共に、ＤＣＴブロック内における画素位置モードを分類する。
【０１４８】
従って、実質的なクラス数は時空間４６４×４＝１８５６クラス数の画素位置モード数倍になる。ただし、例えばエッジ上クラス等、ブロック端の画素位置モードでは実際には分類されないクラスも存在する。
【０１４９】
ＤＣＴブロックは８×８＝６４画素で構成されるため、画素位置モードは６４通りとなる。しかしＤＣＴの原理からして、符号化に使用するコサインカーブの基底波形は、ブロックの中心を通る水平線及び垂直線に対して線対称であり、モスキート・ノイズの発生パターンにも対称性がある。そこで、ブロック全体を４×４＝１６画素の小ブロックに４分割し、画素位置モードを１６に縮退させることが可能である。
【０１５０】
図２１（ａ）乃至（ｄ）は、ＤＣＴブロックを４分割して小ブロックとして画素位置モードの分類を示す模式図であって、夫々、小ブロックがブロック左上、右上、左下及び右下に位置する場合を示す。図２１に示すように、画素位置モードの番号は小ブロック単位で割り振られ、その順番は小ブロックのブロック内位置によって対称になる。また、クラス分類の際に上下左右の方向に関係する境界フラグ、及びエッジ位置番号も小ブロックの位置に応じて適宜反転させる必要がある。
【０１５１】
図２１（ａ）に示す小ブロックが左上に位置する場合を基準にして、図２１（ｂ）に示すように、小ブロックが右上に位置する場合は、図２１（ａ）に示す場合とブロックの中心を通る垂直線に対して線対称となり、左右の境界フラグを入れ替える。また、図２１（ｃ）に示すように、小ブロックが左下に位置する場合は、図２１（ａ）に示す場合と、ブロックの中心を通る水平線に対して線対称となり、上下の境界フラグを入れ替える。更に、図２１（ｄ）に示すように、小ブロックが右下に位置する場合は、図１８（ａ）に示す場合と、ブロックの中心に対して点対称となり、上下及び左右の境界フラグを入れ替える。
【０１５２】
ここで、空間クラスの入れ替えと同様にして、４通りある時間クラスの分類も、過去・未来の一方のみ使えるクラス番号１及びクラス番号２において、時間軸を反転することで時間クラスを１つに縮退させて、計３クラスとすることができる。
【０１５３】
（８）予測タップ構造
予測タップは、上述した時間クラスタップ及び空間クラスタップからなるクラスタップと同一の構成とすることができるが、本実施の形態における予測タップは、注目画素が属する注目フレーム内の空間タップと、注目フレームとは時間的に前後する各３つのフレームにおける注目画素と同一画素位置の時間タップとから構成されるものとする。なお、上述したように、予測タップの時間タップは、時間クラス分類における時間クラスタップと同様の構成を有する。また、予測タップの構造は、マッピング時及び学習時において同様とすることができる。
【０１５４】
図３に示す画像信号処理装置１０においては、フレームメモリ１６から入力される注目フレームを含む７フレームのデータから、領域切出部２３にて予測タップを切り出す。以下、予測タップを抽出する各工程について詳細に説明する。
【０１５５】
先ず、画素位置モードを判定した後、ステップＳ３３に進み、予測タップを読み込む。予測タップは、注目画素周辺のタップと、注目画素が属する注目ブロックに隣接する隣接ブロックのタップと、時間方向のタップとから構成される。
【０１５６】
図２２は、予測タップの一例を示す模式図である。図２２に示すように、本実施の形態においては、予測タップは、空間タップと時間タップとからなり、空間タップは、注目画素７１の周辺タップ７２、即ち、注目画素に隣接する上下左右のタップと、注目画素が属する注目ブロックＢ４に隣接する隣接ブロックにおける注目画素と水平又は垂直方向が同一位置の隣接画素である隣接ブロックタップ７３の４タップとの計１３タップからなり、時間タップ７５は、時間方向が前後各３フレームにおける注目画素と同一位置における計６タップからなり、これより、予測タップは、合計１９タップから構成される。
【０１５７】
ここで、注目画素と同一フレームにある周辺タップ及び隣接ブロックタップ（以下、空間タップともいう。）に関しては、注目画素が属するＤＣＴブロックの構造がフレームＤＣＴであるかフィールドＤＣＴであるかによって、タップの位置関係が異なる。
【０１５８】
図２３（ａ）乃至（ｃ）は、フレームＤＣＴブロックにおける空間タップを示す模式図であり、図２４（ａ）及び（ｂ）は、フィールドＤＣＴブロックにおける空間タップを示す模式図である。
【０１５９】
フレームＤＣＴブロックの場合には、図２３（ａ）に示すように、周辺タップは、注目画素の上下左右共に隣接して配置され、隣接ブロックの隣接ブロックタップも注目画素が属する注目ブロックに接している。フレームＤＣＴの場合は、上下の隣接ブロックは同一マクロブロックに属する。
【０１６０】
一方、フィールドＤＣＴブロックの場合には、図２４（ａ）に示すように、周辺タップのうち、垂直方向の上下のタップは、注目画素とは１ラインおきに配置される。即ち、注目画素が、図２４（ａ）に示すように、フレームの奇数番目の走査線に相当するトップフィールドにある場合は、垂直方向の上下のタップとして、注目画素と同じフィールド上（トップフィールドＦ１上）で注目画素に再近接する画素が選択される。また、フィールドＤＣＴブロックの上下のブロック境界Ｌ１，Ｌ２は、マクロブロック境界を示す。即ち、フィールドＤＣＴの場合は、上下の隣接ブロックは異なるマクロブロックに属する。左右のブロック境界は、いずれか一方がマクロブロック境界である。従って、注目画素と垂直方向が同一の位置である隣接ブロックのブロック隣接画素である隣接ブロックタップとしては、隣接マクロブロック上で、注目画素と同一フィールドであり、注目ブロックに再近接した画素が選択される。即ち、図２４（ａ）においては、上側の隣接ブロックタップが、注目ブロックから1ライン離れたところに張られる。左右の隣接ブロックタップは、フレームＤＣＴの場合と同様であり、隣接するブロックにおいて、注目ブロックに隣接する画素が隣接ブロックタップとなる。
【０１６１】
ここで、予測タップ数は任意の数とすることができるが、フレーム及びフィールドＤＣＴの何れの場合にも、注目画素の上下左右のタップのうち、注目ブロックの水平位置、又は垂直位置が一致する最低１つのタップを隣接ブロックに配置し、隣接ブロックタップとする。
【０１６２】
ブロック歪は隣接するブロック間での不連続な段差として見えるケースが多いので、ＤＣＴブロック内部のみで閉じた処理では不可能であるが、このように、予測タップの一部が常に注目ブロックの上下左右の隣接ブロックに配置されるタップ構造とすることにより、隣接するブロックの情報を取り込んで段差を埋めて、ブロック歪を抑圧することができる。
【０１６３】
また、注目画素が注目ブロックの端に位置する場合には、図２３（ｂ）及び（ｃ）に示すように、注目画素の周囲のタップが隣接ブロックにはみだして、隣接ブロックタップが数の上で増加する形になる。図２３（ｃ）に示すように、注目画素が、注目ブロックの最外周、左下に位置する場合、注目画素と水平方向又は垂直方向の位置が同一で注目ブロックに隣接する隣接ブロックタップ４つに加え、注目画素の左側及び下側に位置する周囲６タップが隣接ブロックに配置されることになる。
【０１６４】
インタレースの場合も同様で、例えば、図２４（ｂ）に示すように、フレームの偶数番目に相当するボトムフィールドＦ２の上から１ライン目に注目画素が位置する場合、注目画素の上方向の周辺タップは、隣接マクロブロックから選択される。そして、この周辺タップの更に上のライン上で注目画素と垂直方向が同一の位置の画素が隣接ブロックタップとして選択される。
【０１６５】
なお、図２２では、空間タップと共に、時間タップも全てフレームＤＣＴブロックとして示してあるが、実際には２種のブロック構造が混在しうる。時間タップは画面上の空間的な位置が注目画素と同一であることが重要であるので、各フレームにおけるブロック構造の差はタップ配置の点では無関係とすることができる。ここで、例えば、注目画素がフレームＤＣＴブロック内にある場合で、時間タップをフィールドＤＣＴブロックから切り出す場合は、注目画素の走査線位置が、フレームの奇数番目にある場合は、トップフィールドのフィールドＤＣＴブロックを、また、フレームの偶数番目にある場合は、ボトムフィールドのＤＣＴブロックを使用するものとする。なお、先に述べた最大ブロック閾値Ｂｔｈを求める際にはブロック構造を考慮する必要がある。
【０１６６】
予測タップを読み込んだ後、ステップＳ３４に進む。ステップＳ３４では、ステップＳ３２において判定された画素位置モードがブロックの上半分にあるか否かが検出され、画素位置モードが上半分にない場合は、ステップＳ３５に進み、垂直エッジ位置番号及び予測タップが上下反転される。即ち、図２１（ａ）に示すように、ブロックの上から順に垂直エッジ位置番号が付されていたのに対し、図２１（ｃ）及び（ｄ）に示すように、ブロックの下から順に垂直エッジ位置番号が付される。
【０１６７】
また、ステップＳ３４でＹｅｓ、即ち、画素位置が上半分であると判定された後及びステップＳ３５でエッジ位置番号及び予測タップ位置が反転された後は、ステップＳ３６に進み、画素位置はブロックの左半分であるか否かが判定される。ここで、左半分ではないと判定された場合は、ステップＳ３７に進み、水平エッジ位置番号及び予測タップが左右反転される。即ち、図２１（ａ）に示すように、ブロックの左から順に水平エッジ番号が付されていたのに対し、図２１（ｂ）及び（ｄ）に示すように、ブロックの右から順次エッジ番号が付される。
【０１６８】
こうして、予測タップのデータに関しても、図２１（ｅ）に示すように、ブロック内の小ブロックの位置に応じて空間タップの位置を水平及び垂直方向並べかえる。即ち、注目画素を中心にして、線対称又は点対称に再配列する。
【０１６９】
更に、ステップＳ３６でＹｅｓ、即ち、画素位置が左半分と判定された場合と、ステップＳ３７とからステップＳ３８に進み、ステップＳ２７で分類した空間クラス、ステップＳ３１で分類した時間クラス及びステップＳ３２で判定した画素位置モードから、注目画素のクラスを確定する。そして、確定したクラスのクラス番号（クラスコード）をＲＯＭテーブル２２に出力する。ＲＯＭテーブル２２では、このクラスコードに対応する予測係数が読み出される。
【０１７０】
（９）マッピング時の時間クラス分類におけるゲイン調整
次に、ステップＳ３９に進み、時間タップの使用可能タップ数に応じて予測係数のゲイン調整（予測係数の加工）を行う。
【０１７１】
図２５（ａ）及び（ｂ）は、マッピング時における時間タップの予測係数のゲイン調整方法を説明する模式図であって、夫々未来方向の３タップ目（最も未来の時間タップ）が使用不可タップと判定された例及び未来方向の３タップ目及び過去方向３タップ全てが使用不可タップと判定された例を示す模式図である。ここで、例えば、図２５（ａ）及び（ｂ）に示す未来方向の３タップ目の予測係数が０．１である場合について説明する。
【０１７２】
マッピング時においては、図２５（ａ）及び（ｂ）のいずれの場合においても、注目画素５１から未来方向に３タップ目の使用不可タップ６１の予測係数を０とし、そのタップがマッピングに寄与しないようにする。次に、そのタップが有する予測係数の値０．１を使用可能なタップの予測係数に均等に分配する。即ち、図２５（ａ）に示すように、過去方向のフレームにおけるタップが全て使用可能である場合には、０．１／６を各タップの予測係数に加える。また、例えば、過去方向３タップのうち、２タップが使用不可で、６タップのうち、合計４タップが使えるような場合には、未来方向及び過去方向の使用不可タップの予測係数を合計し、この合計値を使用可能である４タップに分配する。
【０１７３】
一方、図２５（ｂ）に示すように、過去方向の全てのタップが使用不可タップ６１である場合には、過去方向は使用不可クラスに分類される。この場合は、もともと過去方向のタップの予測係数は０に近い値となっているため、予測係数はそのまま加工せず、未来方向の使用不可タップ６１の予測係数０．１を、注目画素５１及び２つの使用可能タップ５２の３タップに分配する。
【０１７４】
こうして、予測計数のゲイン調整を行った後、ステップＳ４０に進み、予測タップの積和演算を行い、歪みが除去されたデータを得る。積和演算を行った後、ステップＳ４１に進み、ブロック内の全ての画素において処理が完了したか否かが判定され、完了していない場合は、ステップＳ４２に進んで注目画素位置を更新し、ステップ２３に戻る。また、ブロック内全ての画素において処理が完了されたと判定された場合は、ステップＳ４３に進み、マクロブロック内の処理が完了したか否かが判定され、完了していない場合は、ステップＳ４４に進み、マクロブロック内で注目ブロック位置を更新し、ステップ２２に戻る。マクロブロックの処理が完了したと判定された場合は、ステップＳ４５に進み、最終マクロブロックであるか否かが判定され、処最終マクロブロックでないと判定された場合は、ステップＳ４６に進み、マクロブロックを更新し、ステップ２１に戻る。最終マクロブロックであると判定された場合は、ステップＳ４７に進み、マクロブロック位置をリセットし、次のフレーム処理に移る。
【０１７５】
こうして、全てのフレームについて、クラス分類して積和演算を行うことにより、ＭＰＥＧ歪みを除去した画像データを得ることができる。
【０１７６】
マッピングではなく学習の場合には、ステップＳ４０における予測タップ積和演算が、最小二乗法を解くためのコレスキー法等の行列に対する予測タップデータの投入に置き換え、多数の画像に対してこのフローを回して、最終的に各クラスの予測係数を求めることになる。
【０１７７】
（１０）クロマ信号のクラス分類
次に、クロマ信号（色差信号）におけるクラス分類本に基づく処理について説明する。ＭＰＥＧ１／２符号化では、ＤＶＤ等のようにＹＰｂＰｒの４：２：０フォーマットの信号を対象にしていることが多く、輝度信号Ｙだけでなくクロマ信号（色差信号）ＣもＤＣＴで符号化されている。このため、クロマ信号にもブロック歪やモスキート・ノイズが発生し、これにより、色のずれ及びぼけ、並びに画像のエッジ付近での変色として現れる。従って、これを防止するために、本実施の形態は、輝度信号に加え、クロマ信号に対しても輝度信号と同様にマッピング及び学習を行うものである。
【０１７８】
本実施の形態においては、４：２：０のクロマ信号Ｃに対して歪除去処理を行うこととし、以下、クロマ信号のクラス分類及びタップ構造について説明する。基本的には輝度信号Ｙを使用して、上述と同様のクラス分類を行い、予測タップをクロマ信号に張って学習及びマッピングを行う。
【０１７９】
クラス分類にＹ信号を使用するのは、クロマ信号Ｃは一般に輝度信号Ｙよりも狭帯域であり、且つダイナミックレンジが小さいため、上述したようなエッジに基づくクラス分類に向かないためである。
【０１８０】
クロマ信号ＣはＭＰＥＧ復号後にＬＰＦ等の処理によってラインは輝度信号Ｙと一対一に対応しているものとする。ＭＰＥＧではクロマ信号ＣのＤＣＴブロックを構成する際のサンプリング方式が２種類あり、プログレッシブ・フレームと、インタレース・フレームとに分かれる。図２６（ａ）及び（ｂ）は、夫々プログレッシブ・フレーム及びインタレース・フレームにおける輝度信号Ｙ及びクロマ信号Ｃのラインの対応関係を示す模式図である。
【０１８１】
図２６（ａ）及び（ｂ）に示すように、８×８画素のクロマ信号は、１６×１６画素の輝度信号のマクロブロックに相当する。プログレッシブ・フレームの場合は、図２６（ａ）に示すように、クロマ信号の垂直方向は８ライン、輝度信号の垂直方向は１６ラインであり、クロマ信号１ラインに対して輝度信号が２ラインずつ対応する。即ち、クロマ信号の１ライン目と、輝度信号の１，２ライン目、クロマ信号の２ライン目と、輝度信号の３，４ライン目というように、クロマ信号のラインｉ（１≦ｉ≦８）は、輝度信号のライン２ｉ−１，２ｉに対応する。一方、図２６（ｂ）に示すように、インタレース・フレームの場合は、垂直方向のクロマ信号及び輝度信号の夫々８ライン及び１６ラインに対し、クロマ信号の奇数ラインｉ（ｉ＝１，３，５，７）は、輝度信号の２ｉ−１，２ｉ＋１ラインに対応し、クロマ信号の偶数ラインｉ（ｉ＝２，４，６，８）は、輝度信号の２ｉ−２，２ｉラインに対応する。
【０１８２】
クロマ信号のクラス分類は、クロマ信号に対応する輝度信号に基づいて行うため、クロマ信号の歪除去処理の際は、プログレッシブ・フレーム又はインタレース・フレームの何れかの構造に従って行う必要がある。そこで、先ず、歪除去処理に先立って、クロマ信号が、どちらの構造になっているかを判別する。判断方法としては、例えば輝度信号Ｙのフレーム／フィールドＤＣＴブロックの判別と同様に、ライン間差分の二乗和を比較する方法等を使用することができる。
【０１８３】
クラス分類は輝度信号Ｙの画素を元にして、輝度信号の画素間差分から閾値を求め、エッジを検出して分類する。上述したように、マクロ信号Ｃのブロックは輝度信号Ｙのマクロブロック全体に対応するため、輝度信号Ｙの画素は１６×１６＝２５６画素存在する。従って、エッジの位置に関して多少の変換を要する。
【０１８４】
（１０−１）クロマ信号の空間クラス分類：水平方向
図２７は、輝度信号Ｙから検出したエッジ位置をＣのエッジ位置に置きかえた場合の水平方向のエッジ位置を示す模式図である。図２７に示すように、クロマ信号の水平方向の各Ｃ画素Ｃ０〜Ｃ７に対して、輝度信号の水平方向に隣接する２つのＹ画素（Ｙ０，Ｙ１）、（Ｙ２，Ｙ３）、…、（Ｙ１４，Ｙ１５）が対応する。ここで、輝度信号ＹのＹエッジ位置は、１〜１５の１５個となり、クロマ信号のＣエッジ位置は、１〜７の７個となる。Ｃエッジ位置をｋ（１≦ｋ≦７）としたとき、このＣエッジ位置に対応するＹエッジ位置Ｋは、Ｋ＝２ｋと、この２ｋの両隣のエッジ（２ｋ−１及び２ｋ＋１）のうち、Ｃ画素の注目画素側の位置のものとなる。そして、注目画素のＣ画素に対応する２つのＹ画素の間のエッジ位置にエッジが存在する場合、この注目画素（Ｃ画素）をエッジ上クラスと分類する。即ち、図２７に示すように、ハッチングして示すクロマ信号の注目画素がＣ３である場合、クロマ信号のエッジ位置ｋ＝１〜３には、輝度信号のエッジ位置Ｋ＝２ｋ−１，２ｋ、即ち、夫々（１，２）、（３，４）及び（５，６）が対応し、クロマ信号のエッジ位置ｋ＝４乃至７には、輝度信号のエッジ位置Ｋ＝２ｋ，２ｋ＋１、即ち、夫々（８，９）、（１０，１１）、（１２，１３）及び（１４，１５）が対応する。例えば、Ｙエッジ位置５に存在するエッジは、Ｃエッジ位置３となり、Ｙエッジ位置１０に存在するエッジは、Ｃエッジ位置５となる。
【０１８５】
クラス分類は、注目画素Ｃ３に対応するＹ画素（Ｙ６，Ｙ７）の間のＹエッジ位置Ｋ＝７にエッジがあれば、注目画素Ｃ３はエッジ上クラスに分類される。
【０１８６】
また、細線上クラスは、注目するＣ画素の２つの隣接画素に対応する各２つのＹ画素のうち、注目画素に近接する側の各Ｙ画素のいずれか一方が細線上クラスとなる場合とする。例えば、注目画素がＣ３である場合、この注目画素Ｃ３に隣接する画素Ｃ２及びＣ４に夫々対応するＹ画素Ｙ４，Ｙ５及びＹ８，Ｙ９において、注目画素Ｃ３に近接する側のＹ画素である画素Ｙ５及びＹ８の何れか一方が細線上クラスである場合である。即ち、Ｙエッジ位置５，６の何れにもエッジが存在し、且つ逆符号である場合か、又はＹエッジ位置８，９の何れにもエッジが存在し、且つ逆符号である場合に、注目画素Ｃ３を水平エッジ上クラスに分類する。それ以外は、上述の輝度信号のクラス分類と同様に行う。
【０１８７】
（１０−２）クロマ信号の空間クラス分類：垂直方向
次に、クロマ信号の垂直方向のクラス分類について説明する。図２８（ａ）及び（ｂ）は、垂直方向のＹエッジ位置及びＣエッジ位置を示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームの場合を示す模式図である。この図２８（ａ）及び（ｂ）は、夫々図２６（ａ）及び（ｂ）に対応する。
【０１８８】
垂直方向は、図２８に示すように、プログレッシブ・フレームか、又はインタレース・フレームであるかと、ラインがＡ〜Ｈ（左側から奇数列目）の系列か、又はＡ’〜Ｈ’（左側から偶数列目）の系列かとに応じて、Ｙのエッジ位置をＣエッジ位置へ変換する。要するに各系列のライン間にある複数のＹのエッジ位置を、同じＣのエッジ位置に落とし込むようにする。図２８（ａ）に示すプログレッシブ・フレームの場合、奇数列目であるラインＡ〜Ｈにおいては、Ｙエッジ位置Ｋの上から２つずつが順に１つのＣエッジ位置ｋに対応し、余った最後の１５番目のＹエッジＫが下境界エッジＥ１となる。また、偶数列目であるラインＡ’〜Ｈ’においては、一番上のＹエッジＫを上境界エッジＥ２とし、２番目以降のＹエッジ位置Ｋの上から２つずつが順に１つのＣエッジ位置ｋに対応する。
【０１８９】
一方、図２８（ｂ）に示すように、インタレース・フレームの場合は、奇数列目であるラインＡ〜Ｈにおいては、奇数行目の１つのＣエッジ位置ｋには、３つのＹエッジ位置Ｋが対応し、偶数行目の１つのＣエッジ位置ｋには１つのＹエッジ位置Ｋが対応する。また、偶数列目であるラインＡ’〜Ｈ’においては、一番上及び下のＹエッジ位置は、夫々上境界エッジＥ３及び下境界エッジＥ４となり、奇数行目の１つのＣエッジ位置には１つのＹエッジ位置が対応し、偶数行目の１つのＣエッジ位置には、３つのＹエッジ位置が対応する。そして、各上下境界エッジＥ１〜Ｅ４となるＹエッジ位置にエッジがある場合は、境界フラグに１を立てる。
【０１９０】
その他、隣接ブロック画素との連続性は、上述の輝度信号Ｙと同様に行うが、クロマ信号のＣ画素１つに対して、輝度信号のＹ画素２つが対応するので、２つのＹ画素のうち何れか１つが隣接画素と不連続（注目画素と隣接画素の差分絶対値、またはブロック境界をまたぐ２画素の差分絶対値の１／２倍が閾値より大）の場合に不連続として、該当する境界フラグを立てる。
【０１９１】
以上のようにして輝度信号を元に、クロマ信号のクラス分類を行うが、輝度信号に明確なエッジが存在せず、色のみが変化するようなブロックでは、輝度信号によるクラス分類を行うと、色のにじみを引き起こす恐れがある。これを回避するためには、クロマ信号のエッジ検出を加え、輝度信号のエッジとのＯＲをとるか、又は輝度信号Ｙにエッジがなく、クロマ信号Ｃの差分絶対値のＤＲが大である場合は、特に歪除去処理を行わずにそのまま出力する等の方法をとることができる。
【０１９２】
（１０−３）クロマ信号の予測タップ構造
次に、クロマ信号の予測タップ構造について説明する。図２９は、クロマ信号の予測タップを示す模式図である。Ｃ信号の予測タップ構造も、上述の輝度信号とほぼ同様であるが、垂直方向のタップ位置は、図２９（ａ）に示すように、プログレッシブ・フレームの場合には１ラインおき、また、図２９（ｂ）に示すように、インタレース・フレームの場合には、不等間隔になる。
【０１９３】
また、画素位置モードの１６モード化は、Ｃのブロック内画素位置を基準として行う。その他の学習及びマッピング関係の処理は輝度信号Ｙと同様である。
【０１９４】
（１２）歪除去処理における効果
図３０乃至図３２は、実際にＭＰＥＧ２で符号化／復号したＭＰＥＧ復号画像、本発明による歪除去処理を行った歪除去処理画像、及び符号化前の原画を示す。なお、この図３０及び図３２において、輝度信号のみ部分拡大してある。
【０１９５】
原画サイズは７０４×４８０画素の４：１：１フォーマットで、ＭＰＥＧ符号化はＮ＝１５、Ｍ＝３、４Ｍｂｐｓの条件で行った。画像の内容は、花柄の背景の前で玩具の歯車が回転しているものである。インタレース画像をフレームで表示しているため、歯車の歯が櫛状に見えているが、これは正常なフィールドの違いによるものである。
【０１９６】
図３０では、右下の白い歯車及び左上の白い台形領域の縁にモスキート・ノイズが目立ち、中央の歯車にはモザイク状のブロック歪も見られる。これらの歪が図３１では低減されているのがわかる。また、歯車が回転しているため、ＭＰＥＧ復号画像では、背景のＤＣＴブロックの一部に歯車がかかる箇所で、背景にも歯車の影響が出てしまい、背景は静止しているにもかかわらず時間的な画素値の変動が発生している。
【０１９７】
一例として、白い歯車の右上部分、図中×印で示した画素の輝度レベルの時間的な推移を図３３に示す。図３３は、横軸にフレーム番号（時間）をとり、縦軸に輝度レベルをとって、輝度レベルの時間的変動を示すグラフ図である。図３３に示すように、中央のフレーム番号４４が図３０乃至３２の画像に相当する。
【０１９８】
○で示す原画における輝度レベルは、１６９〜１７３の範囲で安定しているのに対し、×で示すＭＰＥＧ復号画における輝度レベルは１５６から１８６と、原画に比して輝度レベルの変化が極めて大きい。これに対して、本発明の歪除去処理を行った▲で示す歪み除去処理画像における輝度レベルは１５８から１７７の範囲に抑え込まれ、原画に近づいて安定しているのがわかる。
【０１９９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０２００】
例えば、本発明は、ＭＰＥＧ１／２で符号化／復号された画像の歪除去を対象としているが、同様にＤＣＴ変換とＤＣＴ係数の量子化とによって画像を圧縮する、例えばＭｏｔｉｏｎＪＰＥＧ等の符号化方式にも対応することができる。また、時間方向の処理を省けばＪＰＥＧにも応用することができる。
【０２０１】
【発明の効果】
以上詳細に説明したように本発明に係る画像信号処理装置は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、上記第１の画像から、注目画素及びその周辺の複数の画素を予測タップとして切り出す領域切出手段と、上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、上記予測タップの差分値に基づき、上記注目画素を複数のクラスのうち何れかのクラスに分類するクラス分類手段と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段とを有するので、例えばＤＣＴ変換に使用されるブロック構造を考慮し発生する歪の特性に合わせたタップ構造とし、差分値を利用して適切なクラス分類を行うことで、効果的にＭＰＥＧ復号画像に発生するブロック歪、モスキート・ノイズ、及び画素の時間変動を抑圧することができる。
【図面の簡単な説明】
【図１】クラス分類適応処理を使用した画像信号処理装置の一例を示すブロック図である。
【図２】画像信号処理装置の学習回路の一例を示すブロック図である。
【図３】本発明の実施の形態に係る画像信号処理装置を示すブロック図である。
【図４】本発明の実施の形態に係る画像信号処理装置で使用される予測係数を学習する学習回路を示すブロック図である。
【図５】ブロック単位の閾値Ｂｔｈを算出する工程を示すフローチャートである。
【図６】（ａ）及び（ｂ）は、８×８画素のＤＣＴブロックを示す模式図である。
【図７】横軸に水平方向又は垂直方向の差分値をとり、縦軸にその度数を取って、ブロック内の差分値の分布を模式的に示すヒストグラムである。
【図８】空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程をその工程順に示すフローチャートである。
【図９】同じく、空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程を示す図であって、図８に示す工程の後の工程をその工程順に示すフローチャートである。
【図１０】本発明の実施の形態に係る画像信号処理装置における空間クラス分類に使用される注目ブロック及び注目画素を含む水平ライン及び垂直ラインの各８画素を示す模式図である。
【図１１】本発明の実施の形態に係る画像信号処理装置における空間クラス分類に使用されるクラスタップを示す模式図である。
【図１２】図８に示すステップ２７のエッジ検出による空間クラス分類における工程をその工程順に示すフローチャートである。
【図１３】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１２に示す工程の後の工程をその工程順に示すフローチャートである。
【図１４】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１３に示す工程の後の工程をその工程順に示すフローチャートである。
【図１５】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１４に示す工程の後の工程をその工程順に示すフローチャートである。
【図１６】（ａ）乃至（ｅ）は、図１１に示す注目ブロックの注目画素を含む水平方向の１ライン及び注目ブロックの左右（水平方向）に隣接する隣接ブロックのブロック隣接画素において算出されたエッジの値と、空間クラス分類の関係を示す模式図である。
【図１７】本発明の実施の形態に係る画像信号処理装置における時間クラス分類に使用されるブロックを示す模式図である。
【図１８】横方向に時間をとって、注目画素とこの注目画素とブロック内で同位置における未来及び過去方向の各３タップ、縦方向に空間タップを示す模式図である。
【図１９】学習時の時間クラス分類を示す模式図である。
【図２０】マッピング時の時間クラス分類を示す模式図である。
【図２１】（ａ）乃至（ｄ）は、ＤＣＴブロックを４分割して小ブロックとして画素位置モードの分類を示す模式図であって、夫々マクロブロック左上、右上、左下及び右下に位置する小ブロックを示し、（ｅ）は、画素位置モードに基づいて移動する予測タップの移動方向を示す模式図である。
【図２２】本発明の実施の形態に係る画像信号処理装置における推定演算時に使用される予測タップの一例を示す模式図である。
【図２３】フレームＤＣＴブロックにおける空間予測タップを示す模式図である。
【図２４】（ａ）及び（ｂ）は、フィールドＤＣＴブロックにおける空間予測タップを示し、夫々注目画素がトップフィールド及びボトムフィールドに位置する場合を示す模式図である。
【図２５】（ａ）及び（ｂ）は、マッピング時における時間タップの予測係数のゲイン調整方法を示す模式図である。
【図２６】（ａ）及び（ｂ）は、夫々プログレッシブ・フレーム及びインタレース・フレームにおける輝度信号Ｙ及びクロマ信号Ｃのラインの対応関係を示す模式図である。
【図２７】輝度信号から検出したＹエッジ位置をクロマ信号のＣエッジ位置に置きかえる際の水平方向におけるＹエッジ位置とＣエッジ位置との対応関係を示す模式図である。
【図２８】（ａ）及び（ｂ）は、垂直方向のＹエッジ位置及びＣエッジ位置の対応関係を示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームにおける対応関係を示す模式図である。
【図２９】（ａ）及び（ｂ）は、クロマ信号における空間予測タップを示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームにおける場合を示す模式図である。
【図３０】実際にＭＰＥＧ２で符号化／復号したＭＰＥＧ復号画像を示す図である。
【図３１】図３０に示すＭＰＥＧ復号画像から本発明による歪除去処理を行った歪除去処理画像を示す図である。
【図３２】ＭＰＥＧ符号化前の原画像を示す図である。
【図３３】横軸にフレーム番号（時間）をとり、縦軸に輝度レベルをとって、輝度レベルの時間的変動を示すグラフ図である。
【図３４】理想的なステップ波形をＤＣＴ変換したＤＣＴブロックの水平方向の波形を示すグラフ図である。
【図３５】モスキート・ノイズを示すグラフ図である。
【符号の説明】
１０ 画像信号処理装置、 １２、１８、３２、３８ 画素間差分値算出部、１３、１９、３３、３９ 統計量算出部、 １４、３４ 特徴量メモリ、 １５、３５ ラインメモリ、 １６、３６ フレームメモリ、 １７、２３、３７、４３ 領域切出部、 ２０、４０ 特徴量抽出部、 ２１、４１ クラスコード発生部、 ２２ ＲＯＭテーブル、 ２４ 推定演算部、 ４４ 正規化方程式演算部、 ４２ メモリ
本発明は、ＤＣＴ変換及びＤＣＴ変換後に得られるＤＣＴ係数の量子化により生じた歪み等の除去を図った画像信号処理装置及びその方法に関する。
【０００２】
【従来の技術】
映像・音声・データ等を限られた伝送帯域幅の中で高品質に伝送したり、限られた容量の記録媒体に記録したりするために、ディジタル画像・音声圧縮技術やディジタル伝送技術の発展が不可欠である。このような圧縮技術として、現在では特にＭＰＥＧ２（Moving Picture Experts Group 2）やＭＰＥＧ１といったＭＰＥＧ方式が用いられている。
【０００３】
ＭＰＥＧ方式で画像データを圧縮（エンコード）する場合、画像データが８×８の正方形のＤＣＴ（Discrete Cosine Transform）ブロックに分割され、このＤＣＴブロック毎にＤＣＴ変換が行われ、ＤＣＴ変換後の各係数は所定の量子化ステップで除算されて量子化され、データの圧縮されたデータストリームが生成される。
【０００４】
また、ＭＰＥＧ方式で圧縮されたデータを伸長（デコード）する場合、８×８の正方形のＤＣＴブロック毎の各係数に量子化ステップが乗算され、このＤＣＴブロック毎に逆ＤＣＴ変換が行われ、画像データが復号される。
【０００５】
【発明が解決しようとする課題】
しかしながら、ＤＣＴブロックのＤＣＴ係数を粗く量子化すると、直交変換符号化時特有の雑音、すなわちブロック歪やモスキート・ノイズが発生してしまう。したがって、復号処理によって得られる画像データは、視覚的に大きく画像が劣化する。
【０００６】
このブロック歪及びモスキート・ノイズの発生メカニズムについて、図３４を参照しながら説明する。なお、この図３４では、ＤＣＴブロックの水平方向の波形に着目し、右端の１画素のみが明るいパターンの場合の歪みの発生について説明する。原波形が図３４の太線で示すようなステップ波形である場合、これをＤＣＴ変換して得られるＤＣＴの基底の波形は、図３４に示すようなＡＣ成分７本とＤＣ成分とからなる形となる。
【０００７】
ＭＰＥＧ１／ＭＰＥＧ２では、これらの波形の振幅及びＤＣレベルをある量子化テーブルによって量子化し、図３５に示すＡＣ／ＤＣ成分のように情報量を削減する。この際、通常は高周波成分がより粗く量子化されるため、量子化誤差を含んだ低周波成分のみを表示波形とするような波形が復号される。このとき、原波形のステップ波形に見られない波がブロック左に現れ、これがモスキート・ノイズと呼ばれる画像の歪みとして見える。
【０００８】
また、ブロックの境界部分の画素値で、原波形と復号した表示波形との間には誤差があり、この誤差の現れ方が左右に隣接するブロック間でまちまちになることで段差が生じる。この段差は、一定の位置に固定されたＤＣＴブロックの境界に沿って現れるため、ブロック歪として知覚されやすい。さらにブロック歪は、隣接するブロック間での波形の食い違いとしても現れる。図３５の太線で示す表示波形は、原波形に対してエッジが鈍っており、エッジが半画素程度左にずれたように見える。このようなずれの程度は、エッジの走り方や量子化の粗さに影響されるため、例えば原波形で上下の隣接ブロック間で連続していたエッジが、復号後の表示波形ではブロック境界で不連続になってしまうという問題が発生する。
【０００９】
なお、図３４は理想化された模式図であり、実際には量子化テーブル、量子化スケール、原波形の形状や振幅等の要因により、歪みの発生パターンは必ずしも一定ではない。
【００１０】
ところで、既存のＤＶＤ（Digital Versatile Disk）プレーヤ等でもＢＮＲ（Block Noise Reduction）等の名称でブロック歪やモスキート・ノイズの除去を行っている例はあるが、処理としてはブロック境界部や画像のエッジ付近をローパス・フィルタによってぼかす程度であり、能動的な歪み除去とは言い難いものであった。また、画像が本来有しているエッジもぼかしてしまうため、解像度の低下を招来するといった問題点があった。
【００１１】
本発明は、このような従来の実情に鑑みて提案されたものであり、画像データの圧縮を行ったときに生じた歪を効率的に除去する画像信号処理装置及びその方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像信号処理装置は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、上記第１の画像をフレーム毎に記憶する複数のフレームメモリと、上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出手段と、上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出手段と、上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出手段と、上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類手段と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段とを有することを特徴とする。
【００１３】
本発明においては、クラスタップの画素間の差分値を算出して、この差分値に基づきクラスタップのクラス分類を行って所定の推定演算を行うクラス分類適応処理により、画像信号を変換処理する際に、本来画像が有するエッジは抽出し、逆にモスキート・ノイズ及びブロック歪等を効果的に抑圧することができる。
【００２４】
更にまた、上記予測タップにおける隣接フレームの画素間の差分値が上記フレーム毎の上記ブロック閾値の最大値より大きい場合は、上記差分値を算出したフレームから上記注目フレームとは離隔する方向のフレームの画素を使用不可タップとし、この使用不可タップ以外の画素を使用可能タップとし、上記クラス分類手段は、上記タップの種類（使用可能タップであるか使用不可タップであるか）に基づき上記時間クラスを分類することができる。
【００２５】
また、予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、推定演算時の予測タップは、上記未来方向に１以上の上記使用可能タップが存在し、且つ、上記過去方向に１以上の上記使用可能タップが存在する場合、上記注目画素は、第１の時間クラスに分類され、上記学習時の予測タップは、全ての予測タップが上記使用可能タップである場合、上記注目画素は、上記第１の時間クラスに分類され、上記推定演算時に上記第１の時間クラスに分類される上記予測タップにおける上記使用不可タップに相当する上記第１の時間クラスに分類され学習された上記学習手段における上記予測タップの予測係数を、上記推定演算時の上記予測タップにおける全ての上記使用可能タップに分配すると共に、該使用不可タップの予測係数を０にすることにより、正確に学習すると共に効率よくマッピングすることができる。
【００２８】
本発明に係る画像信号処理方法は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理方法において、上記第１の画像をフレーム毎に複数のフレームメモリに記憶する記憶工程と、上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出工程と、上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出工程と、上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出工程と、上記ブロック画素間差分値算出工程で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出工程と、上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類工程と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出工程と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算工程とを有することを特徴とする。
【００３０】
【発明の実施の形態】
本願発明者等は、上述した課題を解決するために鋭意実験研究した結果、上述の図３５に示す原波形のエッジ近辺では表示波形の画素間差分が大きく、モスキート・ノイズ部分の画素間差分は相対的に小さいこと、及び原波形がブロック間で連続であれば、ブロック間で生じる段差も表示波形のエッジ付近の画素間差分値よりは小さくなることを知見した。但し、極端な高圧縮率のために量子化ステップが非常に粗くなり、ＡＣ成分がほとんど残らないような場合はその限りではない。本願発明者等は、上記の知見に基づき、ブロック内部での画素間差分絶対値の分布を調べれば、画像本来のエッジとそれ以外の歪成分とを区別することができることを見出した。即ち、画素間差分絶対値の統計量を使用してエッジ検出を行い、エッジの有無及びブロック内での配置に基づきクラス分類することにより、効率的な歪抑圧を行うことができることを見出した。
【００３１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、本発明をＭＰＥＧデコードされた画像データに生じるブロック歪み及びモスキート・ノイズを除去するための画像信号処理装置及び方法に適用したものである。
【００３２】
（１）クラス分類適応処理の原理
先ず、本実施の形態の説明に先立ち、理解を容易とするために、クラス分類適応処理の概要について説明する。図１は、クラス分類適応処理を使用した画像信号処理装置の一例を示すブロック図を示す。図１に示すように、画像信号処理装置１００は、第１の画像データＤ１が入力され、所定の領域の画像を切り出す第１及び第２の領域切出部１０１、１０２と、第１の領域切出部１０１により切り出されたデータＤ２からクラスコードを生成するクラスコード生成部１０３と、クラスコード生成部１０３から供給されるクラスコードに対応する予測係数を読み出すＲＯＭ（Read Only Memory）テーブル１０４と、第２の領域切出部１０２により切り出されたデータＤ３及びＲＯＭテーブル２４から読み出された予測係数が入力され、所定の推定演算を行って第２の画像データＤ４を生成する推定演算部１０５とから構成されている。
【００３３】
後述する本実施の形態においては、第１の画像データとして、ＭＰＥＧ復号画像データが入力され、この第１の画像データから変換する第２の画像データとして、ＭＰＥＧ復号画像データのブロック歪及びモスキート・ノイズ等が除去された歪除去処理済画像を生成する。
【００３４】
第１の領域切出部１０１は、画像データＤ１から例えば、注目画素及びこの注目画素を中心しとした複数の周辺画素から構成される例えば合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップという。）として切り出し、これら７タップの画素値をクラスコード生成部１０３に供給する。
【００３５】
クラスコード生成部１０３は、供給されたクラスタップの信号レベル分布に基づいて、注目画素のクラスを示すクラスコードを生成する。クラスコードの生成方法としては、画像データＤ１が例えばパルス符号変調ＰＣＭ（Pulse Code Modulation）データであるときは、このＰＣＭデータをそのままクラスコードとして使用する方法や、いわゆるＡＤＲＣ（Adaptive Dynamic Range Coding）等のデータ圧縮方法を使用してクラス数を削減する方法等がる。このうち、ＰＣＭデータをそのままクラスコードとする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ使用する場合、クラス数が２５６という膨大な数のクラス数に分類されることになり、実用上問題がある。そこで実際には、クラスコード生成部１０３は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。ＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば、領域内の７タップにおいて、各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００３６】
生成されたクラスコードは、ＲＯＭテーブル１０４に送られる。ＲＯＭテーブル１０４は、後述する学習回路によって予め学習された各クラスコードに対応する予測係数が格納されている。そしてＲＯＭテーブル１０４にて、クラスコードに応じた予測係数が読み出され、この予測係数が推定演算部１０５に送出される。
【００３７】
一方、第２の領域切出部１０２は、画像データＤ１から、注目画素及びこの注目画素を中心しとした複数の周辺画素から構成される例えば合計１３タップを予測演算用の画素（以下、これを予測タップという。）として切り出し、この予測タップの画素値を推定演算部１０５に供給する。
【００３８】
推定演算部１０５は、第２の領域切出部１０２から供給された予測タップの各画素値と、ＲＯＭテーブル１０４から読み出された予測係数とを使用して、積和演算を行うことにより、予測タップには存在しない、例えば高解像度ＨＤ（High Definition）の画素の集まりであるＨＤ画像データ等の第２の画像データの画素値を生成する。
【００３９】
本発明は、このような画像信号処理装置において、第１の画像データとして入力されるＭＰＥＧデコードされた画像データを変換し、第１の画像データに生じるブロック歪み及びモスキート・ノイズを除去した歪除去処理済画像データを第２の画像データとして生成する（以下、マッピングという。）際のクラスタップ及び予測タップ、並びに後述する学習回路において使用する際のクラスタップ及び予測タップにおいて、ブロック歪み及びモスキート・ノイズを効率よく除去するためのタップ構造を提案するものである。
【００４０】
次に、ＲＯＭテーブル１０４に格納されている予測係数を学習する学習回路について説明する。学習は、教師画像と、変換対象である生徒画像との間で行う。即ち、本発明の画像信号処理装置であれば、教師画像としてＭＰＥＧ圧縮符号化前の原画像、即ち、歪等がない画像を使用し、生徒画像としてＭＰＥＧ復号画像データを使用して学習することにより、ＭＰＥＧ復号画像データから歪を除去して原画像に近づけた歪除去処理済画像を生成するための予測計数を学習する。即ち、学習回路は、生徒画像から教師画像へ変換するための予測係数を学習するものである。
【００４１】
図２は、図１に示す画像信号処理装置の学習回路の一例を示すブロック図である。ここでは、高解像度画像である教師画像と、低域通過フィルタ（ＬＰＦ）を通して解像度を下げた生徒画像との間で行う学習について説明する。学習回路１３０は、予測係数を予め学習して、これを図１に示すＲＯＭテーブル１０４に格納するようになされている。この学習回路１３０は、教師画像データＤ１１が入力される垂直間引きフィルタＬＰＦ１３１と、ＬＰＦ１３１から出力された低解像度データＤ１２（生徒画像データ）からクラスタップ及び予測タップを切り出す第１及び第２の領域切出部１３２、１３３と、第１の領域切出部１３２から供給されたクラスタップの画素値に基づきクラスコードを生成するクラスコード生成部１３４と、第２の領域切出部１３３から供給される予測タップの画素値、クラスコード生成部１３４から供給されるクラスコード、及び画像データ（教師画像データ）Ｄ１１が入力され、正規方程式により予測係数を演算する正規方程式演算部１３５と、予測係数を決定する予測係数決定部１３６と、決定された予測係数をクラスコードと共に格納するメモリ１３７とから構成される。
【００４２】
第１の領域切出部１３２、第２の領域切出部１３３及びクラスコード生成部１３４は、図１に示す画像信号処理装置における第１の領域切出部１０１、第２の領域切出部１０２及びクラスコード生成部１０３と同様の構成とすることができ、第１の領域切出部１３２に入力される生徒画像データＤ１２からクラスタップを切り出し、クラスコード生成部１３４がクラスタップの信号レベル分布に基づいてクラスコードを生成した後、これを正規化方程式演算部１３５に送出する。また、第２の領域切出部１３３は、生徒画像データＤ１２から予測タップを切り出し、正規化方程式演算部１３５に供給する。
【００４３】
正規化方程式演算部１３５は、教師画像データＤ１１及び予測タップの画素値を基に、予測係数を算出して予測係数決定部１３６で決定された予測係数をクラスコードと共にメモリ１３７に格納する。このような画像信号変換装置においては、クラス分類適応処理により、予め学習された予測係数を使用して所定の推定演算をすることにより、変換対象の第１の画像データを所望の画像データに変換することができる。
【００４４】
以下、本発明の実施の形態について説明する。図３は、本発明の実施の形態に係る画像信号処理装置を示すブロック図である。本実施の形態の画像信号処理装置１０は、第１の画像であるＭＰＥＧ復号画像が入力され、第２の画像である歪除去処理済画像の予測値を求める所定の推定演算により、ＭＰＥＧ復号画像を歪除去処理済画像に変換するものである。
【００４５】
本実施の形態においては、ＭＰＥＧ復号画像から注目画素を含む複数の画素をクラスタップとして切り出してクラス分類する際、注目画素を空間クラス及び時間クラスに分類する。この際の処理をブロック単位で行うため、ブロック毎の特徴量を抽出し、空間及び時間クラス分類に使用する。
【００４６】
（２）画像信号処理装置（マッピング処理装置）の構成
先ず、空間クラスを分類する際の処理は、図３に示すように、ＭＰＥＧ復号画像のブロックデータから注目画素及び注目画素を含む水平方向及び垂直方向のラインデータを空間クラス分類に使用する空間クラスタップとして出力するラインメモリ１５と、統計量算出部１３と、メモリ１４と、特徴量抽出部２０とで行われる。差分値算出手部１２は、空間クラスタップのうち所定の位置関係を有する画素間の差分値を算出する。統計量算出部１３は、クラスタップの差分値の統計からクラスタップの特徴を抽出する。メモリ１４は、クラスタップの特徴量を記憶する。また、特徴量抽出部２０は、クラスタップの特徴量から空間クラスを分類する。
【００４７】
また、時間クラスを分類する際の処理は、注目画素が属する注目フレームとその前後の複数のフレームを記憶する並列（メモリバンク状）に接続されたフレームメモリ１６と、注目フレーム及びその前後の複数のフレームが入力され、注目画素及び注目画素と同一の位置にある画素を時間クラス分類に使用する時間クラスタップとして切り出す領域切出部１７と、時間クラスタップにおいて時間方向に隣接する画素間の差分値を算出する画素間差分値算出部１８と、時間クラスタップの差分値の統計から時間クラスタップの特徴を抽出する統計量算出部１９と、特徴量抽出部２０とで行われる。特徴量抽出部２０は、時間クラスタップの画素間差分値及び特徴から時間クラスを分類する。
【００４８】
また、ブロック単位の特徴を抽出する処理は、画素間差分値算出部１２、統計量算出部１３及び特徴量メモリ１４で行われる。画素間差分値算出部１２は、ブロック毎のデータも入力されブロック内の隣接する画素間の画素値の差分値を算出する。統計量算出部１３は、画素間差分値の統計からブロック毎の特徴を抽出し、これを特徴量メモリ１４に送出する。
【００４９】
更に、画像信号処理装置１０は、特徴量抽出部２０にて分類された空間クラス及び時間クラス等から注目画素のクラスを識別するクラスコードを発生するクラスコード発生部２１と、後述する学習回路にて予め学習された複数のクラス毎の予測係数のうち、上記クラスコードに対応する予測係数を読み出すＲＯＭテーブル２２と、フレームメモリから注目フレーム及びその前後のフレームデータが入力され、注目画素及びこの注目画素が属するブロック内の複数個の空間予測タップ及び時間方向に異なるブロックにおいて注目画素と同一位置にある時間予測タップを切り出す領域切出部２３と、予測係数及び予測タップから推定演算して注目画素の画素値を算出する推定演算部２４とを有している。
【００５０】
（３）学習回路の構成
図４は、画像信号処理装置１０で使用される予測係数を学習する学習回路を示す。基本的な構成は、画像信号処理装置１０と同様である。教師画像として、原画像データＤ２１が入力され、この原画データＤ２１をＭＰＥＧ符号化し、更に復号化し、ＭＰＥＧ歪を不可した生徒画像Ｄ２２を生成する歪付加部３１を有している。また、正規化方程式演算部４４には、クラスコード、予測タップ及び教師画像である原画像データＤ２１が入力され、予測係数を所定の正規化方程式により演算して決定し、決定された予測係数をクラスコードと共にメモリ４２に記憶する。ここで、詳しくは、後述するが、学習時とマッピング時とでは、時間クラスタップの構成が異なり、学習時にはより正確な予測係数を求めるために、使用可能な時間クラスタップをマッピング時よりも制限する。
【００５１】
上述した如く、ＤＶＤやＣＳ放送、ＢＳハイビジョン放送等で使用されるＭＰＥＧ２、又はＭＰＥＧ１による画像圧縮では、圧縮方式の基礎になっているＤＣＤ変換と、変換後に得られるＤＣＴ係数の量子化が主な発生原因となり、ブロック歪やモスキート・ノイズと呼ばれる特有の歪が発生する。更に、ＭＰＥＧ２の場合には、復号したイントラ・フレームから動き補償を行い、ＤＣＴ残差を加えてノンイントラ・フレームを作るため、時間的な画質の変動も加わる。
【００５２】
本実施の形態の画像信号処理装置においては、ノイズが発生しやすく、且つ目立ちやすい場合、具体的には、ＤＣＴブロック内の画像に鋭いエッジが含まれ、その周辺が平坦である場合等に着目してクラス分類を行うことにより、モスキート・ノイズ抑圧することができる。
【００５３】
また、ノイズの発生パターンはブロック内のエッジの位置とある程度の相関があるため、エッジの位置にも着目し、画像が本来有するエッジの抽出と、モスキート・ノイズ成分との判別／分離には、上下及び左右の画素間の差分値をブロック内や注目画素周辺について求め、その統計量（最大及び最小値）から求めた閾値と、差分値とを比較することでクラス分類を行う。
【００５４】
更に、予測タップの一部が常に注目ブロックの上下左右の隣接ブロックに配置されるタップ構造とし、動きぼけを防止する。
【００５５】
更にまた、このようなクラス分類及びタップ構造を使用して、ＭＰＥＧ２符号化／復号した画像を生徒画像、原画像を教師画像として学習を行い、予測係数を生成するものである。
【００５６】
以下、本実施の形態における画像信号処理装置１０及び学習回路３０にて行われる信号処理について詳細に説明する。
【００５７】
先ず、ＤＣＴブロックの輝度信号の処理について説明する。なお、後述するクロマ信号（色差信号）の処理についても、基本的には輝度信号と同様に行うものとする。
【００５８】
先ず、クラス分類適応処理を施す画像信号処理装置１０におけるクラス分類方法を説明する。本実施の形態におけるクラス分類方法は、ＤＣＴブロック単位毎のブロック特徴量を抽出する第１の工程と、同一フレームデータから空間クラスを分類する第２の工程と、複数のフレームデータから時間クラスを分類する第３の工程とを有している。以下、画像信号処理装置１０によりＭＰＥＧ復号画像を歪除去処理済画像に変換するマッピング時の処理について説明するが、学習回路において予測係数を学習する学習時においても基本的には同様であるため、その詳細な説明は省略する。
【００５９】
（４）ブロック特徴量の算出
ブロック特徴量は、図３に示す画像信号処理装置１０の画素間差分値算出部１２と、統計量算出部１３と、ブロック特徴量メモリ１４とから抽出される。抽出したブロック特徴量は、後述する空間クラス分類及び時間クラス分類の何れにおいても使用する。画素間差分値算出部１２は、１６×１６画素のマクロブロック単位のＭＰＥＧ復号画像が入力され、このマクロブロックがフィールドＤＣＴ構造であるか、またはフレームＤＣＴ構造であるかのブロックタイプを判定すると共に、８×８画素のブロックにおいて、隣接する各画素間の画素値の微分値から画素間絶対差分値を算出する。統計量算出部１３は、画素間絶対差分値が入力され、ブロック毎の画素間絶対差分値の統計量をとって、ブロックが平坦であるか否かを示す平坦フラグを算出し、空間クラス分類に使用する。また、統計量から時間クラス分類において使用するブロック単位の閾値（ブロック閾値Ｂｔｈ）を算出する。ブロック特徴量メモリ１４は、ブロックタイプ、平坦フラグ及びブロック閾値Ｂｔｈ等のデータを記憶する。以下、このブロック特徴量の抽出について詳細に説明する。
【００６０】
（４−１）ブロックタイプの判定
図５は、ブロック単位の閾値Ｂｔｈを算出する工程を示すフローチャートである。図５に示すように、先ず、ステップＳ１において、マクロブロック毎の輝度値が読み込まれ、ステップＳ２において、そのブロック構造がフィールドブロックであるか、又はフレームブロックであるかが判定される。すなわち、本実施の形態におけるＤＣＴブロックは、ＭＰＥＧのエンコード時に選択されるブロック構造を想定しているため、フィールドＤＣＴブロックとフレームＤＣＴブロックの２通りが存在し得る。ここで、ブロック構造をフィールド又はフレームの何れにするかは、ＭＰＥＧのビットストリームから情報が得られる場合はそれに従う。また、既に復号された画像のように、ブロック情報が得られない場合には、ＭＰＥＧ１／ＭＰＥＧ２で行われるのと同様の手法を適用する等して、ＤＣＴブロックの構造を判定する。後者の場合には、判定結果であるブロックタイプフラグBtype_flagを後述するブロック単位閾値Ｂｔｈ等と共に記憶しておく。
【００６１】
（４−２）画素間差分値算出
次に、ステップＳ３において、８×８画素のＤＣＴブロック毎の画素の輝度値が抽出され、ステップＳ４において、水平方向及び垂直方向の隣接画素間の差分絶対値が算出される。
【００６２】
図６（ａ）及び（ｂ）は、８×８画素のＤＣＴブロックを示す模式図である。先ず、図６（ａ）に示すように、ブロックＢ１において、水平方向の隣接画素間の輝度の差分値（以下、水平差分値という。）を算出する。ブロックＢ１は、水平方向に８画素配列されているため、水平差分値は、各行毎に７個求まり、ブロックＢ１全体では、７×８（列）＝５６個が算出される。また、図６（ｂ）に示すように、ブロック画素１１において、垂直方向の隣接画素間の輝度の差分値（以下、垂直差分値という。）を算出する。垂直方向にも８画素配列されているため、垂直差分値は、各列毎に７個求まり、ブロックＢ１全体では、７×８（行）＝５６個が算出される。これらの水平差分値及び垂直差分値が統計量算出部１３に送られる。
【００６３】
（４−３）ブロック画素間差分値統計量の算出
次に、ステップＳ５において、統計量算出部１３により、水平差分値及び垂直差分値から、夫々最大値（ＭＡＸ）、最小値（ＭＩＮ）及びダイナミックレンジ（ＤＲ＝ＭＡＸ−ＭＩＮ）を算出する。以下、水平方向のダイナミックレンジ及び最小値を夫々ＨＤＲ及びＨＭＩＮとし、垂直方向のダイナミックレンジ及び最小値を夫々ＶＤＲ及びＶＭＩＮという。
【００６４】
次に、ステップＳ６では、ＨＤＲ及びＶＤＲがともに所定値未満であるか否かが判別される。ここで、ＨＤＲ及びＶＤＲが共に所定の閾値未満である場合は、このブロック内部には、明確なエッジが存在しないものとみなし、ステップ７に進み、このブロックが平坦であることを示す平坦フラグＰｆｌａｇに１をたてる。一方、ＨＤＲ及びＶＤＲの何れも所定の閾値以上である場合には、ステップＳ８に進む。
【００６５】
ステップＳ８では、ブロック閾値Ｂｔｈを算出する。図７は、横軸に水平方向又は垂直方向の差分値をとり、縦軸にその度数を取って、ブロック内の差分値の分布を模式的に示すヒストグラムである。図７に示すように、得られた水平方向（又は垂直方向）の５６個の値から、ＨＭＩＮ、ＨＭＡＸ、ＨＤＲ及びＨＤＲ／４＋ＨＭＩＮ（又は、ＶＭＩＮ、ＶＭＡＸ、ＶＤＲ及びＶＤＲ／４＋ＶＭＩＮ）を夫々求める。そして、水平方向及び垂直方向の夫々（ＨＤＲ／４＋ＨＭＩＮ）及び（ＶＤＲ／４＋ＶＭＩＮ）の値のうち、小さい方の値をとってそのブロックの閾値Ｂｔｈとする。
【００６６】
このブロック閾値Ｂｔｈは、後述する時間方向クラス分類において、複数のフレームに亘ってブロック閾値を参照し、その中で最大のものを選択して使用するものである。従って、画像データが入力される都度、予め各ブロック毎に閾値Ｂｔｈを算出し、画像データ及び平坦フラグと共にこの閾値Ｂｔｈを記録しておく。また、上述したように、ＤＣＴブロックの構造がフィールド又はフレームであるか判断した後、このブロック構造に従って画素をサンプリングしてブロック閾値Ｂｔｈの計算を行う。
【００６７】
ここで、ブロック閾値Ｂｔｈ算出の際には、ＨＤＲ又はＶＤＲを１／４倍してＨＭＩＮ又はＶＭＩＮに加えているが、比率は１／４に限定されるものではない。しかし、エッジとモスキート・ノイズとの判別性能に関係するため、それを考慮して適宜決定する必要がある。
【００６８】
次に、ステップＳ９では、ブロック閾値Ｂｔｈ、平坦フラグＰflag及びブロックタイプフラグＢtype_flagがフラグメモリ（ブロック特徴量メモリ１４、図１参照）に記録される。
【００６９】
続いて、ステップＳ１０では、ステップＳ９にてブロック閾値ＮＢｔｈ、平坦フラグＰflag及びブロックタイプフラグＢtype_flagを算出・判定したブロックが最終マクロブロックであるか否かが判別される。このステップＳ１０において、最終マクロブロックでないと判別された場合には、ステップＳ１１に進み、マクロブロック位置を更新してステップＳ１に戻る。一方、ステップＳ１０において、最終マクロブロックであると判定された場合には、ステップＳ１２に進み、マクロブロック位置をリセットし、次フレームの処理に移る。
【００７０】
（５）空間クラス分類処理
空間方向のクラス分類は、図１に示す画像信号処理装置１０において、ラインメモリ１５と、画素間差分値算出部１２と、統計量算出部１３と、ブロック特徴量メモリ１４と、特徴量抽出部２０とで行われる。ラインメモリ１５は、入力されるＭＰＥＧ復号画像から、８×８画素のブロックにおいて、ブロック内をスキャンして注目画素を含む水平方向のラインデータ（水平ラインデータ）と、注目画素を含む垂直方向のラインデータ（垂直ラインデータ）とを記憶する。画素間差分値算出部１２は、画素のラインメモリ１５から各８画素の水平ラインデータ及び垂直ラインデータが入力され、上述したブロックデータと同様に、隣接する画素間の差分値を算出する。統計量算出部１３も、上述と同様に、各ラインデータから算出された７つの画素間差分値から最大値、最小値、及びダイナミックレンジ等を求める。ブロック特徴量メモリ１４は、それらの値を記憶する。そして、特徴量抽出部２０にて、ブロック特徴量メモリ１４から読み出されたデータを元に空間クラス分類を分類する。クラス分類されたクラスタップは、クラスコード発生部２１によりクラスコード（クラス番号）が付される。
【００７１】
以下、空間クラス分類における各工程について詳細に説明する。図８及び図９は、空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程を示すタイミングチャートである。
【００７２】
（５−１）空間クラスタップの抽出
先ず、ステップＳ２１では、ブロック特徴量メモリ１４に記憶されている注目ブロックのＰflag及びＢtype_flagが読み出され、特徴量抽出部２０に入力される。次いで、ステップＳ２２においては、注目画素が属する注目ブロック内の画素がスキャンされる。そして、ステップＳ２３において、図１０に示すように、注目ブロックＢ２から注目画素５１を含む水平方向及び垂直方向の各８画素が抽出される。更に、ステップＳ２４において、注目ブロックＢ２に隣接する隣接ブロックにおいて、注目画素と同じ水平位置及び垂直位置の画素であって、注目ブロックに隣接する画素（インタレース方式においては、注目画素と同一のフィールドで、注目ブロックに再近接する画素）をブロック隣接画素として抽出する。即ち、図１１に示すように、ブロック隣接画素は、注目画素５１と水平位置が同じ左右のブロックの画素で、注目画素が属するブロックＢ２と接している画素５２ａ，５２ｂ及び注目画素５１と垂直位置が同じ上下のブロックの画素で、注目画素５１が属するブロックＢ１と接している画素５３ａ，５３ｂを示す。本実施の形態においては、この注目ブロックにおける注目画素を含む水平及び垂直方向の計１５画素及びブロック隣接画素から空間クラスを分類する空間クラスタップが構成される。
【００７３】
（５−２）クラスタップの統計量の算出
図１０に示すように、ステップＳ２５では、ステップＳ２３にて抽出されたＤＣＴブロック内の注目画素５１を含むの上下方向（垂直方向）及び左右方向（水平方向）の各８画素の隣接する画素間の差分絶対値を求める。
【００７４】
次いで、ステップＳ２６において、上述のブロック閾値Ｂｔｈの算出と同様に、図７と同様のヒストグラムから隣接する画素間差分絶対値の分布を調べ、水平方向及び垂直方向のダイナミックレンジ及び最小値の夫々ｈｄｒ，ｈｍｉｎ及びｖｄｒ，ｖｍｉｎを求める。
【００７５】
なお、図１０及び図１１では、注目画素５１を注目ブロックＢ１の上から３行目、左から４列目の画素としているが、他の画素が注目画素の場合においても、注目画素を含む水平方向及び垂直方向の各８画素の画素間差分絶対値を求めるものとする。
【００７６】
更に、図１０及び図１１は、フレームＤＣＴブロックを示すものであるが、フィールドＤＣＴブロックの場合は、垂直方向は１ラインおきにサンプリングして、１ラインおきの画素間の差分絶対値を求める。
【００７７】
（５−３）空間クラスタップの特徴量抽出
次に、ステップＳ２７において、画素間差分値（エッジ検出）による空間クラス分類を行う。以下、このエッジ検出による空間クラス分類について詳細に説明する。図１２乃至図１５は、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を詳細に示すフローチャートである。また、図１６（ａ）乃至（ｅ）は、図１１に示す注目ブロックの注目画素を含む水平方向の１ライン及び注目ブロックの左右（水平方向）に隣接する隣接ブロックのブロック隣接画素において算出されたエッジの値と、空間クラス分類の関係を示す模式図である。
【００７８】
先ず、ステップＳ５１において、上述のステップＳ２６にて算出したｈｄｒ，ｈｍｉｎ及びｖｄｒ，ｖｍｉｎから、水平方向の閾値（水平ライン閾値）ｈｔｈ＝ｈｄｒ／４＋ｈｍｉｎ、垂直方向の閾値（垂直ライン閾値）ｖｔｈ＝ｖｄｒ／４＋ｖｍｉｎを計算する。
【００７９】
なお、上述のブロック閾値Ｂｔｈ、並びに水平ライン閾値ｈｔｈ、及び垂直ライン閾値ｖｔｈ算出の際に、ダイナミックレンジＤＲ（ｄｒ）を１／４倍し、これに最小値ＭＩＮ（ｍｉｎ）を加えているが、この比率はエッジとモスキート・ノイズとの判別性能に関係するもので、それを考慮して適宜決定することができる。
【００８０】
（５−４）境界フラグの検出
先ずクラス分類に先立って、ステップＳ５２において、ステップＳ８で求めたブロック閾値Ｂｔｈと、ステップＳ５１にて求めた水平ライン閾値ｈｔｈ及び垂直ライン閾値ｖｔｈとを使用し、注目ブロックに隣接するブロック隣接画素との連続性を調べる。隣接画素との連続性は、まず注目画素とブロック隣接画素との差分絶対値を求め、左右のブロック隣接画素は水平ライン閾値ｈｔｈと比較し、上下の隣接画素は垂直ライン閾値ｖｔｈと比較する。即ち、図１６（ａ）に示す水平ラインにおいては、注目ブロックＢ３の左側にて隣接する左隣接画素５２ａと注目画素５１との差分絶対値（１７５−１２８＝４７）、及び注目ブロックＢ３の右側にて隣接する右隣接画素５２ｂと注目画素５１との差分絶対値（１４６−１２８＝１８）を水平ライン閾値ｈｄｒと比較して、水平ライン閾値ｈｄｒを超えるか否かを検出する。垂直方向においても同様に計算し、垂直ライン閾値ｖｄｒを超えるか否かを検出する。そして、これら４つの検出結果を注目ブロックと左右上下に隣接する隣接ブロックとの連続性を示す夫々ブロック境界段差Ａ（Ａ１乃至Ａ４）に格納する。ここで、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超える場合は、注目ブロックと隣接ブロックとの間には連続性がないものとし、対応するブロック境界段差Ａに１を格納し、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超えない場合は対応するブロック境界段差Ａに０を格納する。
【００８１】
次に、ステップＳ５３において、左右及び上下のブロック隣接画素とブロック境界を隔てて接する注目ブロック内の画素との差分絶対値を求め、１／２倍したのち、同様に夫々水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒと比較する。即ち、図１６（ａ）に示す水平方向のラインにおいては、左ブロック隣接画素５２ａとこれに隣接する内側画素５４ａとの画素間差分絶対値（（１８１−１７５）／２＝３）と、右ブロック隣接画素５２ｂとこれに隣接する内側画素５４ｂとの画素間絶対差分値（（１４６−１３８）／２＝４）とを求め、これらの値が水平ライン閾値ｈｄｒを超えるか否かを検出する。垂直方向においても同様に計算し、垂直ライン閾値ｖｄｒを超えるか否かを検出する。そして、これら４つの検出結果を、注目ブロックＢ３と左右上下に隣接するブロックとの連続性を示すブロック境界段差Ｂ（Ｂ１乃至Ｂ４）に格納する。ここで、水平ライン閾値ｈｄｒ、垂直ライン閾値ｖｄｒを超える場合は、連続性がないものとし、対応するブロック境界段差Ｂに１を格納し、超えない場合は対応するブロック境界段差Ｂに０を格納する。
【００８２】
次に、ステップＳ５４において、ブロック隣接画素と注目画素との差分絶対値、又は内側画素との差分絶対値の１／２のいずれかが閾値を超えたとき、即ち、ブロック境界段差Ａとブロック境界段差Ｂのうち、いずれか一方でも１である（連続性がない）場合は、注目画素と注目画素が属する注目ブロックに隣接する隣接ブロックとの間には連続性がないものとみなし、境界フラグを１とする。即ち、ブロック境界段差Ａとブロック境界段差ＢとのＯＲをとる。こうして、注目ブロックＢ３の上下左右の隣接ブロックに対応して設けられた４ｂｉｔの境界フラグのうち、連続性がない場合はフラグを１とし、どちらも閾値を超えない場合のみ該当する境界フラグを０とする。
【００８３】
なお、注目画素がブロック境界に接している場合には、重複して判定を行うことになるため、差分絶対値を１／２倍した値との比較は省略可能である。
【００８４】
このブロック境界の連続性判定は、注目画素の歪を処理するにあたって、隣接ブロックの情報を補正項として使用できるか否かを判定し、分類することを目的とする。これにより、ブロック間に閾値を超える差がある場合には、これを画像が本来持っているエッジが関与しているものと判断し、補正項としては隣接ブロックの情報を使用しないように分類することができる。
【００８５】
即ち、ブロック境界部において、偶然、画像本来のエッジが重なる場合には、不用意に段差を埋めると画像がぼけて見えてしまうため、このようなケースでは段差を残しておかねばならない。本実施の形態には、境界フラグにより、注目画素周辺の画素間差分から求めた閾値を使用して、ある程度大きな段差がある場合には画像本来のエッジとみなすことにより、画像本来のエッジか又はノイズであるかの判別に使用することができる。
【００８６】
ここで、ブロック境界をまたいで接する画素間の差分を１／２倍する理由は、この位置にはブロック歪成分が重畳しやすく、補正すべきブロック歪を画像本来のエッジと混同してしまう恐れがあるためである。この倍率は、ブロック歪の検出性能を考慮して適宜決定することができる。こうして、隣接ブロックを補正項として使用するか否かが判定された後、隣接画素の状況に続いて、ブロック内部の画像エッジに基づいてクラス分類を行う。
【００８７】
（５−５）平坦ブロッククラス
先ず、ステップＳ５５において、注目画素が属する注目ブロックについて、ブロック単位の閾値Ｂｔｈと共に求めた平坦フラグＰflagを参照し、平坦フラグＰflagが１である（平坦なブロックである）場合は、ステップＳ５６に進み、この注目ブロックは、平坦ブロッククラスとしてクラス分類する。更に、ステップＳ５７に進み、番号４４８乃至４６３が付され、ステップＳ５４で求めた境界フラグの４ｂｉｔの情報に基づいてクラス番号４４８乃至４６３に分類される。
【００８８】
（５−６）水平方向の空間クラス分類：左右平坦クラス、左右エッジ上クラス、左右細線上クラス、左右複雑クラス、左右単純エッジクラス
平坦フラグＰflagが１ではないブロック、即ち、平坦ではないブロックについては、エッジの位置から、水平方向及び垂直方向において、大きく分けて、平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスの５つのクラスに分類される。なお、図１６（ｂ）乃至（ｅ）は、図１０に示す注目ブロック内において、注目画素を含む水平方向の８画素を抜き出して示すのである。以下、これを使用して数値例を交えて説明する。垂直方向もこれと同様にして分類を行う。
【００８９】
先ず、水平方向における平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスのクラス分類を行う。ステップＳ５８において、注目ブロック内で、ステップＳ２６で求めた注目画素を含む水平方向にて隣接する画素間の差分絶対値のダイナミックレンジｈｄｒが所定の閾値未満の場合は、ステップＳ５９に進み、左右平坦クラスに分類する。即ち、平坦ではないブロックでも、注目画素の周囲は局所的に平坦である場合である。次に、８画素の差分絶対値のｈｄｒが所定の閾値以上の場合は、ステップＳ６０に進み、画素間差分値とｈｔｈとを比較してエッジを検出する。このエッジの検出結果を使用して、更に細かくクラス分類する。
【００９０】
先ず、ステップＳ６０におけるエッジ検出について説明する。図１６（ａ）に示すように、８個の画素の画素間にエッジ位置番号１〜７を定義する。本実施の形態においては、水平方向の左から右へ番号を付すものとする。次いで、隣り合う画素間の差分値を求め、エッジ位置番号１〜７に割り当てる。この段階では差分値は、絶対値を取らず正負の符号は残す。差分は２つの隣接画素において、左側から右側の値を引いた差分値とする。ここで、上述の水平ライン閾値ｈｔｈは差分絶対値の分布から求めるため、図１６（ａ）の場合では、水平ライン最大値ｈｍａｘ＝５１、水平ライン最小値ｈｍｉｎ＝２であり、水平ライン閾値ｈｔｈ＝１４となる。
【００９１】
次いで、各差分値の絶対値を水平ライン閾値ｈｔｈと比較し、このｈｔｈを超える場合には該当するエッジ位置にエッジフラグを立てる。このフラグには、エッジの傾きの方向を示すため、差分値の符号を付加する。従って、このフラグは−１、０、１の３値を有する。なお、上述したように、隣接ブロック画素５２ａ又は５２ｂとの差分値は、１／２倍してから水平ライン閾値ｈｄｒと比較する。
【００９２】
このエッジフラグを利用して、注目画素の周辺のエッジ有無及びその配置に基づいてクラス分類する。
【００９３】
ステップＳ６１において、注目画素と、その両側の画素との間のエッジフラグを調べる。ここで、注目画素の両側のいずれにもエッジがある場合、ステップＳ６２に進み、両側のエッジフラグの符号が一致しているか否かを検出する。そして、図１６（ｂ）に示すように、注目画素５２の両側のエッジフラグが同一符号である場合は、水平エッジ上クラスと分類され、ステップＳ６３に進み、エッジ上フラグをたてる。一方、図１６（ｃ）に示すように、注目画素５２の両側の両側のエッジフラグが同一符号でない場合は、水平細線上クラス（縦細線上クラス）と分類され、ステップＳ６４に進み、細線上フラグをたてる。エッジ上フラグ又は細線上フラグをたてた後、ステップＳ６５に進み、注目画素の両側を除き、左右のブロック境界までのエッジの有無を検出し、ステップＳ６６に進む。ステップＳ６６では、ステップＳ６５の検出結果から、エッジがある側の境界フラグを１とする。図１６（ｂ）及び（ｃ）の例においては、右側のみエッジがあるので、右境界フラグが１となり、左境界フラグはステップＳ５４のままとなる。また、両側にエッジがあるときは、左右の境界フラグが１となり、いずれの側にもエッジがないときは左右の境界フラグはステップＳ５４のままとなる。
【００９４】
即ち、注目画素の両側を除く左右のブロック境界までの間にエッジフラグがある場合は、注目画素からエッジフラグがある隣接ブロックに達するまでの間に、画像のエッジが横切っており、隣接ブロックにおけるブロック隣接画素が補正項として使えないことを示すので、ステップＳ５４で求めた結果とＯＲをとる。即ち、左右のブロック境界フラグに１を立てる。
【００９５】
また、ステップＳ６１において、注目画素の両側のいずれか一方又はいずれにもエッジがない場合は、ステップＳ６７に進む。そして、注目画素から左右のブロック境界までのエッジの有無を検出し、ステップＳ６８に進む。そして、図１６（ｄ）に示すように、左右いずれの方向においてもエッジがある場合は、左右複雑クラスに分類され、ステップＳ６９に進み、左右の境界フラグに、ステップＳ５４で求めた結果とＯＲをとって１を立てる。一方、図１６（ｅ）に示すように、注目画素の左右いずれか一方にエッジがある場合は、左右単純エッジクラスと分類され、ステップ６８からステップ６９に進み、エッジが検出された方向のエッジ境界フラグに、ステップＳ５４で求めた結果とＯＲをとって１を立てると共に、そのエッジ位置を記録する。エッジを複数有する場合は、注目画素に最も近い位置とし、例えば、図１６（ｅ）に示す例においては、エッジ位置番号は５である。こうして、左右単純エッジクラスは、そのエッジ位置番号から、更に７つのクラスに分類される。
【００９６】
（５−７）垂直方向の空間クラス分類：上下平坦クラス、上下エッジ上クラス、上下細線上クラス、上下複雑クラス、上下単純エッジクラス
注目ブロックにおける注目画素を含む垂直方向の８画素についても同様に、垂直方向における平坦クラス、エッジ上クラス、細線上クラス、複雑クラス及び単純エッジクラスのクラス分類を行う。即ち、ステップＳ７１において、注目ブロック内で、ステップＳ２６で求めた注目画素を含む水平方向に隣接する画素間の差分絶対値のダイナミックレンジｖｄｒが所定の閾値未満の場合は、上下平坦クラスに分類されステップＳ７２に進む。即ち、平坦ではないブロックでも、注目画素の周囲は局所的に平坦である場合である。次に、８画素の差分絶対値のｖｄｒが所定の閾値以上の場合は、ステップＳ７３に進み、画素間差分値とｈｔｈとを比較し、エッジを検出する。そして、ステップＳ７４において、注目画素のすぐ上下にエッジがあるか否かを検出し、何れもエッジがある場合はステップＳ７５に進み、エッジの符号が同一である場合は、垂直エッジ上クラスと分類され、ステップＳ７６に進む。一方、エッジの符号が異なるときは、垂直細線上クラス（横細線上クラス）と分類され、ステップＳ７７に進む。垂直エッジ上クラス又は垂直細線上クラスに分類された後、ステップＳ７７では、注目画素の上下を除き、注目ブロックに隣接する上下のブロック境界までのエッジの有無を調べ、Ｓ７９にてエッジがある側、即ち、上側、下側又は上下両方に対応する境界フラグに１をたてる。
【００９７】
一方、ステップＳ７４にて、注目画素のすぐ上下の両方、又は何れか１方にエッジがなかった場合は、ステップＳ８０に進み、注目画素から注目ブロックに上下に隣接する隣接ブロックの境界までのエッジの有無を調べる。そして、ステップＳ８０の検出結果から、ステップ８１にて、上下両方向にエッジがある場合は上下複雑クラスと分類され、ステップＳ８２に進み、上下の境界フラグを１とする。一方、上下のいずれか一方にのみエッジがある場合は、上下単純エッジクラスに分類され、ステップＳ８３に進み、エッジがある側の境界フラグを１にすると共に、そのエッジ位置番号を記憶する。これにより、上下単純エッジクラスは、エッジの位置により、更に７つに分類される。
【００９８】
以上、ブロック内部のエッジ分類としては、水平及び垂直方向、それぞれに１：平坦クラス、２：エッジ上クラス、３：細線上クラス、４：複雑クラス、５：単純エッジクラス（１〜７）の５種類、１１クラスに分類される。下記表１及び表２に、以上の空間クラス分類を示す。
【００９９】
【表１】
【表２】
【０１０１】
（５−８）空間クラス番号の発生
次に、ステップＳ５１乃至８３で分類した水平方向及び垂直方向の各５種類１１クラスに、先に求めた境界フラグ、及び平坦ブロッククラスの情報を加え、最終的なフレーム内クラス番号(空間クラス)を決定する。
【０１０２】
基本的に水平方向及び垂直方向のクラスの組合せと、境界フラグの状況とで分類し、更に、単純エッジクラスが関係する時はエッジの位置で分類する。即ち、水平方向及び垂直方向の各５種類１１クラスに分類された後、図１４に示すように、ステップＳ８４において、上下左右、共に平坦クラスであるか否かが判定され、共に平坦クラスである場合は、ステップＳ８５に進む。この上下左右平坦クラスは、境界フラグの４ビットの情報が付加されて、ステップＳ５７の上下平坦ブロッククラスと同様に、境界フラグの４ビットの情報に基づいてクラス番号４４８乃至４６３に分類される。なお、この上下左右平坦クラスと、平坦ブロッククラスを別々のクラスとして分類しいてもよい。
【０１０３】
一方、上下左右の何れか一方又は共に平坦クラスではない場合は、ステップＳ８６に進み、上下、左右共に複雑クラスであるか否かが判定される。ここで、上下、左右共に複雑クラスである場合は、複雑ブロックに分類され、ステップＳ８７に進み、境界フラグの４ビットのデータに基づいてクラス番号０乃至１５に分類される。
【０１０４】
また、ステップＳ８６でＮＯである場合、即ち、上下、左右の何れか一方又は両方が複雑クラスではない場合は、ステップＳ８８に進み、上下平坦クラスであり、且つ左右が単純エッジクラスである場合は、ステップＳ８９に進み、境界フラグ及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号１６乃至７１に分類される。
【０１０５】
ステップＳ８８でＮＯである場合、ステップＳ９０に進み、上下複雑クラスであり、かつ左右単純エッジクラスである場合は、ステップＳ９１に進み、境界フラグ及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号７２乃至８５に分類される。
【０１０６】
ステップＳ９０でＮＯである場合、ステップＳ９２に進み、上下単純エッジクラスであり、且つ左右複雑クラスである場合は、ステップＳ９３に進み、境界フラグ及び上下単純エッジクラスのエッジ位置番号に基づいてクラス番号８６乃至１４１に分類される。
【０１０７】
ステップＳ９２でＮＯの場合、ステップＳ９４に進み、上下単純エッジクラスであり、且つ左右複雑クラスである場合は、ステップＳ９５に進み、境界フラグ及び上下単純エッジクラスのエッジ位置番号に基づいてクラス番号１４２乃至１５５に分類される。
【０１０８】
ステップＳ９４でＮＯの場合、ステップＳ９６に進み、上下、左右共に単純エッジクラスである場合は、ステップＳ９７に進み、境界フラグ、並びに上下及び左右単純エッジクラスのエッジ位置番号に基づいてクラス番号１５６乃至３５１に分類される。
【０１０９】
ステップＳ９６でＮＯの場合、ステップＳ９８に進み、水平エッジ上クラスである場合は、ステップＳ９９に進み、境界フラグに基づいてクラス番号３５２乃至３６７に分類される。
【０１１０】
ステップＳ９８でＮＯの場合、ステップＳ１００に進み、垂直エッジ上クラスである場合は、ステップＳ１０１に進み、境界フラグに基づいてクラス番号３６８乃至３８３に分類される。
【０１１１】
ステップＳ１００でＮＯの場合、ステップＳ１０２に進み、右上りエッジ上クラスである場合は、ステップＳ１０３に進み、境界フラグに基づいてクラス番号３８４乃至３９９に分類される。右上りエッジ上クラスとは、注目画素が共に同じ値を有する細線上クラスの場合であり、例えば図１６（ｃ）に示す左右細線上クラスであれば、この注目画素の上下のエッジフラグが、（１、−１）となる場合である。
【０１１２】
ステップＳ１０２でＮＯの場合、ステップＳ１０４に進み、左上がりエッジ上クラスである場合は、ステップＳ１０５に進み、境界フラグに基づいてクラス番号４００乃至４１５に分類される。左上りエッジ上クラスとは、注目画素が互いに異なる値を有する細線上クラスの場合であり、例えば図１６（ｃ）に示す左右細線上クラスであれば、この注目画素の上下のエッジフラグが、（−１、１）となる場合である。
【０１１３】
ステップＳ１０４でＮＯの場合、ステップＳ１０６に進み、水平方向のみが細線上クラス（縦細線上クラス）である場合は、ステップＳ１０７に進み、境界フラグに基づいてクラス番号４１６乃至４３１に分類される。
【０１１４】
ステップＳ１０６でＮＯの場合、ステップＳ１０８に進み、垂直方向のみが細線上クラス（横細線上クラス）である場合は、ステップＳ１０９に進み、境界フラグに基づいてクラス番号４３２乃至４４７に分類される。
【０１１５】
ステップＳ１０８でＮＯの場合、ステップＳ１１０に進み、これらは、孤立点（複雑クラス）と分類され、ステップＳ８６と同様に、境界フラグの４ビットのデータに基づいてクラス番号０乃至１５に分類される。
【０１１６】
（６）時間クラス分類処理
（６−１）時間クラスタップの構成
次に、画素値の時間変動による輝度差を利用して時間方向のクラス分類を行う。この時間クラスは、時間クラスタップの画素間の差分値に基づき時間クラス分類を行うが、後述する予測タップにおいても、空間タップ及び時間タップから構成され、予測タップの時間タップは、時間クラスタップと同様の理由により同様のタップ構造を有する。即ち、主として静止画（及び動画の静止部）の画素値が時間的に変動する問題への対策として、注目画素が属するフレームの前後、多数のフレームに渡って注目画素と同じ位置に時間クラスタップ（予測タップ）を１点ずつ張り、時間クラス分類を行って予測係数の学習とマッピングを行う。これによって、時間方向の画素値が平均されることで、時間変動を目立たなくする。
【０１１７】
使用するフレーム数は多いほど良いが、リアルタイム再生の場合などにディレイの原因となるので、それを勘案して決定する。本実施の形態においては、注目フレームとその前後３フレームずつ、合計７フレームとして説明する。
【０１１８】
即ち、図３に示す画像信号処理装置１０におけるフレームメモリ１６と、領域切出部１７と、画素間差分値算出部１８と、統計量算出部１９と、特徴量抽出部２０とクラスコード発生部２１とにより空間クラス分類が行われる。フレームメモリ１６は、注目画素が属する注目フレームを中心に時間的に前後３フレームを記憶する。領域切出部１７は、フレームメモリから７つのフレームデータが入力され、注目フレームも注目画素と同一の位置の各フレームにおける画素を空間クラスタップとして設定する。統計量算出部１９は、７つの空間クラスタップにおいて、時間的に隣り合う画素間の絶対差分値を算出する。特徴量抽出部２０は、７つのフレームにおいて、空間クラスタップが属するブロックにおける各ブロック閾値Ｂｔｈを読み出し、その中で最大のブロック閾値Ｂｔｈと画素間差分値とを比較し、使用可能タップを選択し、使用可能タップ数に基づき空間クラスを分類する。そして、クラスコード発生部２０において、クラスコード（空間クラス番号）が付される。なお、クラスコード発生部２０は、この時間クラスと、後述する画素位置モード、及び先に求めた空間クラスから最終的なクラスコードを発生する。以下、空間クラス分類の各工程について詳細に説明する。
【０１１９】
（６−２）使用可能時間クラスタップの判定
次に、使用可能な時間クラスタップの判定を行う。なお、上述したように、後述する予測タップの時間タップについても同様に使用可能か否かの判定を行うことができる。画素値の時間平均をとるとき、即ち、正確には予測係数と画素との積和演算の際、７フレームの範囲に動物体が割り込んでくるフレームがある場合には、そのフレーム（以降）の画素値は使用するべきではない。従って、時間方向で使える範囲をまず判定しておく。
【０１２０】
そこで、先ず、図８に示すステップＳ２８において、使用可能フレームを判定するため、上述した如くステップＳ８において、空間内の画素間微分値から求めたブロック閾値Ｂｔｈを使用し、注目画素を含む注目ブロックを中心フレームとして時間方向７フレームの中で最大のブロック閾値Ｂｔｈを選択し、この最大ブロック閾値Ｂｔｈと時間方向の画素間差分絶対値（画素のフレーム間差分絶対値）とを比較し、フレーム間差分絶対値が最大ブロック閾値Ｂｔｈを超えるフレームの手前までを使用可能と判定する。以下、ステップＳ２８について更に詳細に説明する。
【０１２１】
先ず、注目画素を含む注目ブロックを中心として時間方向７フレームのブロック閾値Ｂｔｈのうち、最大のブロック閾値Ｂｔｈを選択する。ここで、最大ブロック閾値Ｂｔｈを選択する理由について説明する。
【０１２２】
ブロック閾値Ｂｔｈは、ＤＣＴブロック単位にフレーム内で求めているので、図１７に示すように、そのブロックに対するブロック閾値Ｂｔｈそのものも時間的に変動する。図１７は、ｔ＝５〜７及びｔ＝１３で静止部のブロック内に動物体の一部（着色部）が侵入し、その画像エッジの影響でＢｔｈの値が他より大きくなっている様子を示す。ここで、ブロック閾値Ｂｔｈの大きさは、ｔｈ６＞ｔｈ１３＞ｔｈ７＞ｔｈ５＞その他、の関係があるものとする。
【０１２３】
このような場合には、例えば注目フレームがｔ＝４であるとき、このときのＢｔｈとしてＢｔｈ＝ｔｈ４を使用すると、ｔ＝５，６のフレームが使用可能範囲から排除されてしまう。
【０１２４】
実際に、図１７のブロックの右側の画素ＢＲのように、注目画素位置にｔ＝５〜７で動物体が割り込んでくるのであれば、ｔ＝５〜７のフレームが排除されるのが正しいが、図１７のブロックの左側の画素ＢＬのように、注目画素位置にそのようなことが起きない場合でも、動物体のエッジが起こすモスキート・ノイズにより、静止部でもブロック閾値Ｂｔｈ＝ｔｈ４を超える時間変動が起き、ｔ＝５〜７のフレームが排除されてしまう可能性がある。
【０１２５】
これは静止部の時間変動を押さえる目的からは望ましくない。なぜならば、例えばブロック閾値Ｂｔｈが大きいｔ＝６のフレームではｔ＝４も参照するのに、その逆はなくなってしまうので、ｔ＝４〜７にかけての変動を滑らかに押さえることができなくなるからである。
【０１２６】
そこで、ブロック閾値Ｂｔｈの値は、時間タップを張るフレーム範囲（使用される可能性があるフレーム）の全てのブロック閾値Ｂｔｈから最大のものを選択するようにする。即ち、合計７フレームを参照し、ｔ＝４であれば、最大のブロック閾値Ｂｔｈ＝ｔｈ６が選択される。これによって、先に述べたフレーム毎の不整合が解消される。
【０１２７】
なお、図１７はどのフレームもフレームＤＣＴブロックとして示しているが、実際にはフレーム及びフィールドＤＣＴブロックが混在する。このため、各フレームでのブロック構造に合わせて、注目画素が属するブロックのブロック閾値Ｂｔｈを調べる必要がある。
【０１２８】
次に、最大ブロック閾値Ｂｔｈと画素のフレーム間差分絶対値とを比較し、差分絶対値が閾値Ｂｔｈを超えたフレームから先は、使用不可のタップとする。時間方向のクラス分類は、基本的にはフレーム間差分の閾値処理で分類するが、時間クラス分類は、マッピング時と学習時とで分類方法が異なる。
【０１２９】
（６−３）時間クラスの分類
画素値の時間変動は、発生原因としてＭＰＥＧの動き補償（静止部でもあり得る）や、ＤＣＴ量子化残差の加算のほか、ＤＣＴブロックの一部に動物体が入ったことによるＤＣＴ係数の加算、ＧＯＰ（Group of Picture）の切れ目でイントラピクチャ符号化が行われる際の量子化スケールの変化等がある。
【０１３０】
このような時間変動は、画像が静止している領域で特に見えやすいため、前後の多数フレームに亘って空間的な位置を固定した予測タップを配置することにより、変動を抑圧することができる。ここで、上述した注目ブロック内の画素間差分値から求めたブロック閾値Ｂｔｈと、時間タップとの間の差分値とを比較して、変動抑圧に使用できるタップの範囲と時間クラスとを決定することにより、動画像本来の時間変化を抑圧してしまい不自然な動きぼけとして見えてしまうことを防止する。
【０１３１】
図１８は、横方向に時間をとって、注目画素とこの注目画素とブロック内で同位置における未来及び過去方向の各３タップ、合計７タップを示し、縦方向に空間タップを示す模式図である。先ず、ステップ２９において、注目画素５１とブロック内で同位置における未来及び過去方向の各３タップを読み込む。以下、注目画素より時間的に過去となる側を過去方向、注目画素より時間的に未来となる側を未来方向という。
【０１３２】
次に、ステップＳ３０において、読み込んだ時間方向の７タップにおいて、時間方向に隣接する画素の差分絶対値（フレーム間差分絶対値）を計算する。
【０１３３】
そして、ステップＳ３１において、求めたフレーム間差分絶対値と、上述した最大ブロック閾値Ｂｔｈとを比較し、最大ブロック閾値Ｂｔｈを超えたフレームから先のタップは使用不可タップとすると共に、使用不可タップに基づき、時間方向のクラス分類を行う。
【０１３４】
以下、ステップＳ３１における工程について、詳細に説明する。図１９（ａ）〜（ｄ）及び図２０（ａ）〜（ｄ）は、夫々学習時及びマッピング時のクラス分類を示す模式図である。図中、使用可能タップを○で示し、使用不可と判定された使用不可タップを●で示し、注目画素をハッチングして示す。また、下記表３及び表４に、時間クラス分類におけるクラス番号及びフラグの意味を示す
【０１３５】
（６−３−１）学習時における時間クラス分類
先ず、学習時のクラス分類について説明する。図１９（ａ）に示すように、過去及び未来方向全てに、使用不可タップが存在しない場合は、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類され、全ての時間タップが予測タップとして使用可能のクラスとし、学習を行う。
【０１３６】
また、図１９（ｂ）に示すように、未来方向のみに使用不可タップ６１があるときは、表３に示す時間クラス番号２（クラス１０：第２の時間クラス）と分類され、過去方向の時間タップのみを使用し、未来方向の時間タップは使用しない。また、未来方向の時間タップのみが使用可能な場合は、表３に示す時間クラス番号１（クラス０１：第３の時間クラス）と分類される。
【０１３７】
ここで、学習時においては、過去又は未来方向に１つでも使用不可タップがある場合は、過去又は未来方向の全ての時間タップは使用できないものとする。従って、図１９（ｃ）に示す場合は、過去方向の３タップ全て、未来方向の１タップが使用不可タップ６１であり、図１９（ｄ）に示す場合は、過去及び未来方向の全ての時間タップが使用不可タップ６１であるため、共に表３に示す時間クラス番号３（クラス１１：第４の時間クラス）と分類され、学習時には全ての時間タップは使用不可クラスと判定される。こうして学習時の時間クラスは、表３に示す時間クラス番号０〜３の４クラスに分類される。
【０１３８】
このように、学習時には、時間タップが使用可能となるクラス００，１０，０１は、その方向の全ての時間タップが使える場合のみになる。これにより、学習時においては、使用可能のクラスでは全時間タップが注目画素と相関が高い状態にしておき、時間平均に近い予測タップを得ることができる。
【０１３９】
こうして求めた時間クラス０〜３は、この値を、空間クラス数倍である４６４倍して空間クラスの番号を加算し、最終的なクラス番号０〜１８５５を確定する。即ち、クラス番号＝時間クラス×４６４＋空間クラス、となる。
【０１４０】
（６−３−２）マッピング時における時間クラス分類
次に、マッピング時の時間クラス分類について説明する。図２０（ａ）に示すように、使用不可タップがない場合は、学習時と同様に、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類されるものの、図２０（ｂ）に示すように、例えば未来方向に使用不可タップ６１が１つのみ存在したとしても、マッピング時には、学習時とは異なり、表３に示す時間クラス番号０（クラス００：第１の時間クラス）と分類され、両方向の時間タップが使用可能なクラスに分類される。即ち、マッピング時には、１つでも使用可能のタップがある場合は、その方向の時間タップは使用するものとする。従って、図２０（ｃ）に示すように、過去方向の３タップが全て使用不可タップ６１であり、未来方向の１タップが使用不可タップ６１である場合は、表３に示す時間クラス番号１（クラス０１：第２の時間クラス）と分類され、未来方向の時間タップは使用する。同様に、過去方向にのみ、使用可能タップがある場合は、表３に示す時間クラス番号２（クラス１０：第３の時間クラス）と分類される。そして、図２０（ｄ）に示すように、未来及び過去方向全ての時間タップが使用不可タップ６１である場合のみ、表３に示す時間クラス番号３（クラス１１：第４の時間クラス）と分類され、全ての時間タップが使用できないクラスに分類される。このように、マッピング時には、一部のタップが使える場合にはその方向の時間タップが使用可能であるクラスに分類することにより、時間平均の効果を上げることができる。即ち、マッピング時には、時間平均の効果を上げるために、少しでも多くのフレームを使用し、且つ使用するフレーム数をなるべく時間的に滑らかに変化させることができる。
【０１４１】
こうして、マッピング時の時間クラスにおいても、クラス００〜１１（空間クラス番号０〜３）の４クラスに分類される。このマッピング時においても、学習時と同様に、４つの時間クラスを４６４倍して空間クラス番号を足し、最終的なクラス番号とする点は同様である。
【０１４２】
【表３】
【表４】
但し、この分類を行うと、学習時には使用不可と判定された使用不可タップが、マッピング時には使用可能と判定される場合があり、このため、この使用不可タップにもマッピング時に予測係数が適用され、使用不可タップが時間平均に含まれることになってしまう。即ち、マッピング時には、例えば、図２０（ｂ）に示す未来方向３タップのうち、使用不可タップは１つのみで、後の２つは使用可能である場合、クラス番号０に分類されるため、使用不可タップ６１がマッピングにおける時間平均に含まれてしまう。これを防ぐため、マッピング時には予測係数を一部加工し、後述するゲイン調整を行ってから積和演算を行うものとする。
【０１４５】
（６−３−３）時間クラス分類の例外処理
また、時間クラス分類の例外処理として、過去又は未来方向に画素値が単調に増加又は減少している場合は、その方向は全て使用不可タップとする。これは画面のフェードイン・アウト、又はゆるやかなグラデーションを有する物体の移動等に対応するためである。この例外処理は、学習時もマッピング時も同様に行う。
【０１４６】
（７）ブロック内画素位置モード
次に、ステップＳ３２において、ブロック内の画素位置に基づき画素位置モードを判定する。歪除去にあたって、空間方向のクラス分類と共に、注目画素がＤＣＴブロックのどの位置に存在しているかについては重要な情報である。
【０１４７】
そこで、学習及びマッピングには、上述した空間方向クラス分類及び時間方向クラス分類と共に、ＤＣＴブロック内における画素位置モードを分類する。
【０１４８】
従って、実質的なクラス数は時空間４６４×４＝１８５６クラス数の画素位置モード数倍になる。ただし、例えばエッジ上クラス等、ブロック端の画素位置モードでは実際には分類されないクラスも存在する。
【０１４９】
ＤＣＴブロックは８×８＝６４画素で構成されるため、画素位置モードは６４通りとなる。しかしＤＣＴの原理からして、符号化に使用するコサインカーブの基底波形は、ブロックの中心を通る水平線及び垂直線に対して線対称であり、モスキート・ノイズの発生パターンにも対称性がある。そこで、ブロック全体を４×４＝１６画素の小ブロックに４分割し、画素位置モードを１６に縮退させることが可能である。
【０１５０】
図２１（ａ）乃至（ｄ）は、ＤＣＴブロックを４分割して小ブロックとして画素位置モードの分類を示す模式図であって、夫々、小ブロックがブロック左上、右上、左下及び右下に位置する場合を示す。図２１に示すように、画素位置モードの番号は小ブロック単位で割り振られ、その順番は小ブロックのブロック内位置によって対称になる。また、クラス分類の際に上下左右の方向に関係する境界フラグ、及びエッジ位置番号も小ブロックの位置に応じて適宜反転させる必要がある。
【０１５１】
図２１（ａ）に示す小ブロックが左上に位置する場合を基準にして、図２１（ｂ）に示すように、小ブロックが右上に位置する場合は、図２１（ａ）に示す場合とブロックの中心を通る垂直線に対して線対称となり、左右の境界フラグを入れ替える。また、図２１（ｃ）に示すように、小ブロックが左下に位置する場合は、図２１（ａ）に示す場合と、ブロックの中心を通る水平線に対して線対称となり、上下の境界フラグを入れ替える。更に、図２１（ｄ）に示すように、小ブロックが右下に位置する場合は、図１８（ａ）に示す場合と、ブロックの中心に対して点対称となり、上下及び左右の境界フラグを入れ替える。
【０１５２】
ここで、空間クラスの入れ替えと同様にして、４通りある時間クラスの分類も、過去・未来の一方のみ使えるクラス番号１及びクラス番号２において、時間軸を反転することで時間クラスを１つに縮退させて、計３クラスとすることができる。
【０１５３】
（８）予測タップ構造
予測タップは、上述した時間クラスタップ及び空間クラスタップからなるクラスタップと同一の構成とすることができるが、本実施の形態における予測タップは、注目画素が属する注目フレーム内の空間タップと、注目フレームとは時間的に前後する各３つのフレームにおける注目画素と同一画素位置の時間タップとから構成されるものとする。なお、上述したように、予測タップの時間タップは、時間クラス分類における時間クラスタップと同様の構成を有する。また、予測タップの構造は、マッピング時及び学習時において同様とすることができる。
【０１５４】
図３に示す画像信号処理装置１０においては、フレームメモリ１６から入力される注目フレームを含む７フレームのデータから、領域切出部２３にて予測タップを切り出す。以下、予測タップを抽出する各工程について詳細に説明する。
【０１５５】
先ず、画素位置モードを判定した後、ステップＳ３３に進み、予測タップを読み込む。予測タップは、注目画素周辺のタップと、注目画素が属する注目ブロックに隣接する隣接ブロックのタップと、時間方向のタップとから構成される。
【０１５６】
図２２は、予測タップの一例を示す模式図である。図２２に示すように、本実施の形態においては、予測タップは、空間タップと時間タップとからなり、空間タップは、注目画素７１の周辺タップ７２、即ち、注目画素に隣接する上下左右のタップと、注目画素が属する注目ブロックＢ４に隣接する隣接ブロックにおける注目画素と水平又は垂直方向が同一位置の隣接画素である隣接ブロックタップ７３の４タップとの計１３タップからなり、時間タップ７５は、時間方向が前後各３フレームにおける注目画素と同一位置における計６タップからなり、これより、予測タップは、合計１９タップから構成される。
【０１５７】
ここで、注目画素と同一フレームにある周辺タップ及び隣接ブロックタップ（以下、空間タップともいう。）に関しては、注目画素が属するＤＣＴブロックの構造がフレームＤＣＴであるかフィールドＤＣＴであるかによって、タップの位置関係が異なる。
【０１５８】
図２３（ａ）乃至（ｃ）は、フレームＤＣＴブロックにおける空間タップを示す模式図であり、図２４（ａ）及び（ｂ）は、フィールドＤＣＴブロックにおける空間タップを示す模式図である。
【０１５９】
フレームＤＣＴブロックの場合には、図２３（ａ）に示すように、周辺タップは、注目画素の上下左右共に隣接して配置され、隣接ブロックの隣接ブロックタップも注目画素が属する注目ブロックに接している。フレームＤＣＴの場合は、上下の隣接ブロックは同一マクロブロックに属する。
【０１６０】
一方、フィールドＤＣＴブロックの場合には、図２４（ａ）に示すように、周辺タップのうち、垂直方向の上下のタップは、注目画素とは１ラインおきに配置される。即ち、注目画素が、図２４（ａ）に示すように、フレームの奇数番目の走査線に相当するトップフィールドにある場合は、垂直方向の上下のタップとして、注目画素と同じフィールド上（トップフィールドＦ１上）で注目画素に再近接する画素が選択される。また、フィールドＤＣＴブロックの上下のブロック境界Ｌ１，Ｌ２は、マクロブロック境界を示す。即ち、フィールドＤＣＴの場合は、上下の隣接ブロックは異なるマクロブロックに属する。左右のブロック境界は、いずれか一方がマクロブロック境界である。従って、注目画素と垂直方向が同一の位置である隣接ブロックのブロック隣接画素である隣接ブロックタップとしては、隣接マクロブロック上で、注目画素と同一フィールドであり、注目ブロックに再近接した画素が選択される。即ち、図２４（ａ）においては、上側の隣接ブロックタップが、注目ブロックから1ライン離れたところに張られる。左右の隣接ブロックタップは、フレームＤＣＴの場合と同様であり、隣接するブロックにおいて、注目ブロックに隣接する画素が隣接ブロックタップとなる。
【０１６１】
ここで、予測タップ数は任意の数とすることができるが、フレーム及びフィールドＤＣＴの何れの場合にも、注目画素の上下左右のタップのうち、注目ブロックの水平位置、又は垂直位置が一致する最低１つのタップを隣接ブロックに配置し、隣接ブロックタップとする。
【０１６２】
ブロック歪は隣接するブロック間での不連続な段差として見えるケースが多いので、ＤＣＴブロック内部のみで閉じた処理では不可能であるが、このように、予測タップの一部が常に注目ブロックの上下左右の隣接ブロックに配置されるタップ構造とすることにより、隣接するブロックの情報を取り込んで段差を埋めて、ブロック歪を抑圧することができる。
【０１６３】
また、注目画素が注目ブロックの端に位置する場合には、図２３（ｂ）及び（ｃ）に示すように、注目画素の周囲のタップが隣接ブロックにはみだして、隣接ブロックタップが数の上で増加する形になる。図２３（ｃ）に示すように、注目画素が、注目ブロックの最外周、左下に位置する場合、注目画素と水平方向又は垂直方向の位置が同一で注目ブロックに隣接する隣接ブロックタップ４つに加え、注目画素の左側及び下側に位置する周囲６タップが隣接ブロックに配置されることになる。
【０１６４】
インタレースの場合も同様で、例えば、図２４（ｂ）に示すように、フレームの偶数番目に相当するボトムフィールドＦ２の上から１ライン目に注目画素が位置する場合、注目画素の上方向の周辺タップは、隣接マクロブロックから選択される。そして、この周辺タップの更に上のライン上で注目画素と垂直方向が同一の位置の画素が隣接ブロックタップとして選択される。
【０１６５】
なお、図２２では、空間タップと共に、時間タップも全てフレームＤＣＴブロックとして示してあるが、実際には２種のブロック構造が混在しうる。時間タップは画面上の空間的な位置が注目画素と同一であることが重要であるので、各フレームにおけるブロック構造の差はタップ配置の点では無関係とすることができる。ここで、例えば、注目画素がフレームＤＣＴブロック内にある場合で、時間タップをフィールドＤＣＴブロックから切り出す場合は、注目画素の走査線位置が、フレームの奇数番目にある場合は、トップフィールドのフィールドＤＣＴブロックを、また、フレームの偶数番目にある場合は、ボトムフィールドのＤＣＴブロックを使用するものとする。なお、先に述べた最大ブロック閾値Ｂｔｈを求める際にはブロック構造を考慮する必要がある。
【０１６６】
予測タップを読み込んだ後、ステップＳ３４に進む。ステップＳ３４では、ステップＳ３２において判定された画素位置モードがブロックの上半分にあるか否かが検出され、画素位置モードが上半分にない場合は、ステップＳ３５に進み、垂直エッジ位置番号及び予測タップが上下反転される。即ち、図２１（ａ）に示すように、ブロックの上から順に垂直エッジ位置番号が付されていたのに対し、図２１（ｃ）及び（ｄ）に示すように、ブロックの下から順に垂直エッジ位置番号が付される。
【０１６７】
また、ステップＳ３４でＹｅｓ、即ち、画素位置が上半分であると判定された後及びステップＳ３５でエッジ位置番号及び予測タップ位置が反転された後は、ステップＳ３６に進み、画素位置はブロックの左半分であるか否かが判定される。ここで、左半分ではないと判定された場合は、ステップＳ３７に進み、水平エッジ位置番号及び予測タップが左右反転される。即ち、図２１（ａ）に示すように、ブロックの左から順に水平エッジ番号が付されていたのに対し、図２１（ｂ）及び（ｄ）に示すように、ブロックの右から順次エッジ番号が付される。
【０１６８】
こうして、予測タップのデータに関しても、図２１（ｅ）に示すように、ブロック内の小ブロックの位置に応じて空間タップの位置を水平及び垂直方向並べかえる。即ち、注目画素を中心にして、線対称又は点対称に再配列する。
【０１６９】
更に、ステップＳ３６でＹｅｓ、即ち、画素位置が左半分と判定された場合と、ステップＳ３７とからステップＳ３８に進み、ステップＳ２７で分類した空間クラス、ステップＳ３１で分類した時間クラス及びステップＳ３２で判定した画素位置モードから、注目画素のクラスを確定する。そして、確定したクラスのクラス番号（クラスコード）をＲＯＭテーブル２２に出力する。ＲＯＭテーブル２２では、このクラスコードに対応する予測係数が読み出される。
【０１７０】
（９）マッピング時の時間クラス分類におけるゲイン調整
次に、ステップＳ３９に進み、時間タップの使用可能タップ数に応じて予測係数のゲイン調整（予測係数の加工）を行う。
【０１７１】
図２５（ａ）及び（ｂ）は、マッピング時における時間タップの予測係数のゲイン調整方法を説明する模式図であって、夫々未来方向の３タップ目（最も未来の時間タップ）が使用不可タップと判定された例及び未来方向の３タップ目及び過去方向３タップ全てが使用不可タップと判定された例を示す模式図である。ここで、例えば、図２５（ａ）及び（ｂ）に示す未来方向の３タップ目の予測係数が０．１である場合について説明する。
【０１７２】
マッピング時においては、図２５（ａ）及び（ｂ）のいずれの場合においても、注目画素５１から未来方向に３タップ目の使用不可タップ６１の予測係数を０とし、そのタップがマッピングに寄与しないようにする。次に、そのタップが有する予測係数の値０．１を使用可能なタップの予測係数に均等に分配する。即ち、図２５（ａ）に示すように、過去方向のフレームにおけるタップが全て使用可能である場合には、０．１／６を各タップの予測係数に加える。また、例えば、過去方向３タップのうち、２タップが使用不可で、６タップのうち、合計４タップが使えるような場合には、未来方向及び過去方向の使用不可タップの予測係数を合計し、この合計値を使用可能である４タップに分配する。
【０１７３】
一方、図２５（ｂ）に示すように、過去方向の全てのタップが使用不可タップ６１である場合には、過去方向は使用不可クラスに分類される。この場合は、もともと過去方向のタップの予測係数は０に近い値となっているため、予測係数はそのまま加工せず、未来方向の使用不可タップ６１の予測係数０．１を、注目画素５１及び２つの使用可能タップ５２の３タップに分配する。
【０１７４】
こうして、予測計数のゲイン調整を行った後、ステップＳ４０に進み、予測タップの積和演算を行い、歪みが除去されたデータを得る。積和演算を行った後、ステップＳ４１に進み、ブロック内の全ての画素において処理が完了したか否かが判定され、完了していない場合は、ステップＳ４２に進んで注目画素位置を更新し、ステップ２３に戻る。また、ブロック内全ての画素において処理が完了されたと判定された場合は、ステップＳ４３に進み、マクロブロック内の処理が完了したか否かが判定され、完了していない場合は、ステップＳ４４に進み、マクロブロック内で注目ブロック位置を更新し、ステップ２２に戻る。マクロブロックの処理が完了したと判定された場合は、ステップＳ４５に進み、最終マクロブロックであるか否かが判定され、処最終マクロブロックでないと判定された場合は、ステップＳ４６に進み、マクロブロックを更新し、ステップ２１に戻る。最終マクロブロックであると判定された場合は、ステップＳ４７に進み、マクロブロック位置をリセットし、次のフレーム処理に移る。
【０１７５】
こうして、全てのフレームについて、クラス分類して積和演算を行うことにより、ＭＰＥＧ歪みを除去した画像データを得ることができる。
【０１７６】
マッピングではなく学習の場合には、ステップＳ４０における予測タップ積和演算が、最小二乗法を解くためのコレスキー法等の行列に対する予測タップデータの投入に置き換え、多数の画像に対してこのフローを回して、最終的に各クラスの予測係数を求めることになる。
【０１７７】
（１０）クロマ信号のクラス分類
次に、クロマ信号（色差信号）におけるクラス分類本に基づく処理について説明する。ＭＰＥＧ１／２符号化では、ＤＶＤ等のようにＹＰｂＰｒの４：２：０フォーマットの信号を対象にしていることが多く、輝度信号Ｙだけでなくクロマ信号（色差信号）ＣもＤＣＴで符号化されている。このため、クロマ信号にもブロック歪やモスキート・ノイズが発生し、これにより、色のずれ及びぼけ、並びに画像のエッジ付近での変色として現れる。従って、これを防止するために、本実施の形態は、輝度信号に加え、クロマ信号に対しても輝度信号と同様にマッピング及び学習を行うものである。
【０１７８】
本実施の形態においては、４：２：０のクロマ信号Ｃに対して歪除去処理を行うこととし、以下、クロマ信号のクラス分類及びタップ構造について説明する。基本的には輝度信号Ｙを使用して、上述と同様のクラス分類を行い、予測タップをクロマ信号に張って学習及びマッピングを行う。
【０１７９】
クラス分類にＹ信号を使用するのは、クロマ信号Ｃは一般に輝度信号Ｙよりも狭帯域であり、且つダイナミックレンジが小さいため、上述したようなエッジに基づくクラス分類に向かないためである。
【０１８０】
クロマ信号ＣはＭＰＥＧ復号後にＬＰＦ等の処理によってラインは輝度信号Ｙと一対一に対応しているものとする。ＭＰＥＧではクロマ信号ＣのＤＣＴブロックを構成する際のサンプリング方式が２種類あり、プログレッシブ・フレームと、インタレース・フレームとに分かれる。図２６（ａ）及び（ｂ）は、夫々プログレッシブ・フレーム及びインタレース・フレームにおける輝度信号Ｙ及びクロマ信号Ｃのラインの対応関係を示す模式図である。
【０１８１】
図２６（ａ）及び（ｂ）に示すように、８×８画素のクロマ信号は、１６×１６画素の輝度信号のマクロブロックに相当する。プログレッシブ・フレームの場合は、図２６（ａ）に示すように、クロマ信号の垂直方向は８ライン、輝度信号の垂直方向は１６ラインであり、クロマ信号１ラインに対して輝度信号が２ラインずつ対応する。即ち、クロマ信号の１ライン目と、輝度信号の１，２ライン目、クロマ信号の２ライン目と、輝度信号の３，４ライン目というように、クロマ信号のラインｉ（１≦ｉ≦８）は、輝度信号のライン２ｉ−１，２ｉに対応する。一方、図２６（ｂ）に示すように、インタレース・フレームの場合は、垂直方向のクロマ信号及び輝度信号の夫々８ライン及び１６ラインに対し、クロマ信号の奇数ラインｉ（ｉ＝１，３，５，７）は、輝度信号の２ｉ−１，２ｉ＋１ラインに対応し、クロマ信号の偶数ラインｉ（ｉ＝２，４，６，８）は、輝度信号の２ｉ−２，２ｉラインに対応する。
【０１８２】
クロマ信号のクラス分類は、クロマ信号に対応する輝度信号に基づいて行うため、クロマ信号の歪除去処理の際は、プログレッシブ・フレーム又はインタレース・フレームの何れかの構造に従って行う必要がある。そこで、先ず、歪除去処理に先立って、クロマ信号が、どちらの構造になっているかを判別する。判断方法としては、例えば輝度信号Ｙのフレーム／フィールドＤＣＴブロックの判別と同様に、ライン間差分の二乗和を比較する方法等を使用することができる。
【０１８３】
クラス分類は輝度信号Ｙの画素を元にして、輝度信号の画素間差分から閾値を求め、エッジを検出して分類する。上述したように、マクロ信号Ｃのブロックは輝度信号Ｙのマクロブロック全体に対応するため、輝度信号Ｙの画素は１６×１６＝２５６画素存在する。従って、エッジの位置に関して多少の変換を要する。
【０１８４】
（１０−１）クロマ信号の空間クラス分類：水平方向
図２７は、輝度信号Ｙから検出したエッジ位置をＣのエッジ位置に置きかえた場合の水平方向のエッジ位置を示す模式図である。図２７に示すように、クロマ信号の水平方向の各Ｃ画素Ｃ０〜Ｃ７に対して、輝度信号の水平方向に隣接する２つのＹ画素（Ｙ０，Ｙ１）、（Ｙ２，Ｙ３）、…、（Ｙ１４，Ｙ１５）が対応する。ここで、輝度信号ＹのＹエッジ位置は、１〜１５の１５個となり、クロマ信号のＣエッジ位置は、１〜７の７個となる。Ｃエッジ位置をｋ（１≦ｋ≦７）としたとき、このＣエッジ位置に対応するＹエッジ位置Ｋは、Ｋ＝２ｋと、この２ｋの両隣のエッジ（２ｋ−１及び２ｋ＋１）のうち、Ｃ画素の注目画素側の位置のものとなる。そして、注目画素のＣ画素に対応する２つのＹ画素の間のエッジ位置にエッジが存在する場合、この注目画素（Ｃ画素）をエッジ上クラスと分類する。即ち、図２７に示すように、ハッチングして示すクロマ信号の注目画素がＣ３である場合、クロマ信号のエッジ位置ｋ＝１〜３には、輝度信号のエッジ位置Ｋ＝２ｋ−１，２ｋ、即ち、夫々（１，２）、（３，４）及び（５，６）が対応し、クロマ信号のエッジ位置ｋ＝４乃至７には、輝度信号のエッジ位置Ｋ＝２ｋ，２ｋ＋１、即ち、夫々（８，９）、（１０，１１）、（１２，１３）及び（１４，１５）が対応する。例えば、Ｙエッジ位置５に存在するエッジは、Ｃエッジ位置３となり、Ｙエッジ位置１０に存在するエッジは、Ｃエッジ位置５となる。
【０１８５】
クラス分類は、注目画素Ｃ３に対応するＹ画素（Ｙ６，Ｙ７）の間のＹエッジ位置Ｋ＝７にエッジがあれば、注目画素Ｃ３はエッジ上クラスに分類される。
【０１８６】
また、細線上クラスは、注目するＣ画素の２つの隣接画素に対応する各２つのＹ画素のうち、注目画素に近接する側の各Ｙ画素のいずれか一方が細線上クラスとなる場合とする。例えば、注目画素がＣ３である場合、この注目画素Ｃ３に隣接する画素Ｃ２及びＣ４に夫々対応するＹ画素Ｙ４，Ｙ５及びＹ８，Ｙ９において、注目画素Ｃ３に近接する側のＹ画素である画素Ｙ５及びＹ８の何れか一方が細線上クラスである場合である。即ち、Ｙエッジ位置５，６の何れにもエッジが存在し、且つ逆符号である場合か、又はＹエッジ位置８，９の何れにもエッジが存在し、且つ逆符号である場合に、注目画素Ｃ３を水平エッジ上クラスに分類する。それ以外は、上述の輝度信号のクラス分類と同様に行う。
【０１８７】
（１０−２）クロマ信号の空間クラス分類：垂直方向
次に、クロマ信号の垂直方向のクラス分類について説明する。図２８（ａ）及び（ｂ）は、垂直方向のＹエッジ位置及びＣエッジ位置を示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームの場合を示す模式図である。この図２８（ａ）及び（ｂ）は、夫々図２６（ａ）及び（ｂ）に対応する。
【０１８８】
垂直方向は、図２８に示すように、プログレッシブ・フレームか、又はインタレース・フレームであるかと、ラインがＡ〜Ｈ（左側から奇数列目）の系列か、又はＡ’〜Ｈ’（左側から偶数列目）の系列かとに応じて、Ｙのエッジ位置をＣエッジ位置へ変換する。要するに各系列のライン間にある複数のＹのエッジ位置を、同じＣのエッジ位置に落とし込むようにする。図２８（ａ）に示すプログレッシブ・フレームの場合、奇数列目であるラインＡ〜Ｈにおいては、Ｙエッジ位置Ｋの上から２つずつが順に１つのＣエッジ位置ｋに対応し、余った最後の１５番目のＹエッジＫが下境界エッジＥ１となる。また、偶数列目であるラインＡ’〜Ｈ’においては、一番上のＹエッジＫを上境界エッジＥ２とし、２番目以降のＹエッジ位置Ｋの上から２つずつが順に１つのＣエッジ位置ｋに対応する。
【０１８９】
一方、図２８（ｂ）に示すように、インタレース・フレームの場合は、奇数列目であるラインＡ〜Ｈにおいては、奇数行目の１つのＣエッジ位置ｋには、３つのＹエッジ位置Ｋが対応し、偶数行目の１つのＣエッジ位置ｋには１つのＹエッジ位置Ｋが対応する。また、偶数列目であるラインＡ’〜Ｈ’においては、一番上及び下のＹエッジ位置は、夫々上境界エッジＥ３及び下境界エッジＥ４となり、奇数行目の１つのＣエッジ位置には１つのＹエッジ位置が対応し、偶数行目の１つのＣエッジ位置には、３つのＹエッジ位置が対応する。そして、各上下境界エッジＥ１〜Ｅ４となるＹエッジ位置にエッジがある場合は、境界フラグに１を立てる。
【０１９０】
その他、隣接ブロック画素との連続性は、上述の輝度信号Ｙと同様に行うが、クロマ信号のＣ画素１つに対して、輝度信号のＹ画素２つが対応するので、２つのＹ画素のうち何れか１つが隣接画素と不連続（注目画素と隣接画素の差分絶対値、またはブロック境界をまたぐ２画素の差分絶対値の１／２倍が閾値より大）の場合に不連続として、該当する境界フラグを立てる。
【０１９１】
以上のようにして輝度信号を元に、クロマ信号のクラス分類を行うが、輝度信号に明確なエッジが存在せず、色のみが変化するようなブロックでは、輝度信号によるクラス分類を行うと、色のにじみを引き起こす恐れがある。これを回避するためには、クロマ信号のエッジ検出を加え、輝度信号のエッジとのＯＲをとるか、又は輝度信号Ｙにエッジがなく、クロマ信号Ｃの差分絶対値のＤＲが大である場合は、特に歪除去処理を行わずにそのまま出力する等の方法をとることができる。
【０１９２】
（１０−３）クロマ信号の予測タップ構造
次に、クロマ信号の予測タップ構造について説明する。図２９は、クロマ信号の予測タップを示す模式図である。Ｃ信号の予測タップ構造も、上述の輝度信号とほぼ同様であるが、垂直方向のタップ位置は、図２９（ａ）に示すように、プログレッシブ・フレームの場合には１ラインおき、また、図２９（ｂ）に示すように、インタレース・フレームの場合には、不等間隔になる。
【０１９３】
また、画素位置モードの１６モード化は、Ｃのブロック内画素位置を基準として行う。その他の学習及びマッピング関係の処理は輝度信号Ｙと同様である。
【０１９４】
（１２）歪除去処理における効果
図３０乃至図３２は、実際にＭＰＥＧ２で符号化／復号したＭＰＥＧ復号画像、本発明による歪除去処理を行った歪除去処理画像、及び符号化前の原画を示す。なお、この図３０及び図３２において、輝度信号のみ部分拡大してある。
【０１９５】
原画サイズは７０４×４８０画素の４：１：１フォーマットで、ＭＰＥＧ符号化はＮ＝１５、Ｍ＝３、４Ｍｂｐｓの条件で行った。画像の内容は、花柄の背景の前で玩具の歯車が回転しているものである。インタレース画像をフレームで表示しているため、歯車の歯が櫛状に見えているが、これは正常なフィールドの違いによるものである。
【０１９６】
図３０では、右下の白い歯車及び左上の白い台形領域の縁にモスキート・ノイズが目立ち、中央の歯車にはモザイク状のブロック歪も見られる。これらの歪が図３１では低減されているのがわかる。また、歯車が回転しているため、ＭＰＥＧ復号画像では、背景のＤＣＴブロックの一部に歯車がかかる箇所で、背景にも歯車の影響が出てしまい、背景は静止しているにもかかわらず時間的な画素値の変動が発生している。
【０１９７】
一例として、白い歯車の右上部分、図中×印で示した画素の輝度レベルの時間的な推移を図３３に示す。図３３は、横軸にフレーム番号（時間）をとり、縦軸に輝度レベルをとって、輝度レベルの時間的変動を示すグラフ図である。図３３に示すように、中央のフレーム番号４４が図３０乃至３２の画像に相当する。
【０１９８】
○で示す原画における輝度レベルは、１６９〜１７３の範囲で安定しているのに対し、×で示すＭＰＥＧ復号画における輝度レベルは１５６から１８６と、原画に比して輝度レベルの変化が極めて大きい。これに対して、本発明の歪除去処理を行った▲で示す歪み除去処理画像における輝度レベルは１５８から１７７の範囲に抑え込まれ、原画に近づいて安定しているのがわかる。
【０１９９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０２００】
例えば、本発明は、ＭＰＥＧ１／２で符号化／復号された画像の歪除去を対象としているが、同様にＤＣＴ変換とＤＣＴ係数の量子化とによって画像を圧縮する、例えばＭｏｔｉｏｎＪＰＥＧ等の符号化方式にも対応することができる。また、時間方向の処理を省けばＪＰＥＧにも応用することができる。
【０２０１】
【発明の効果】
以上詳細に説明したように本発明に係る画像信号処理装置は、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、上記第１の画像から、注目画素及びその周辺の複数の画素を予測タップとして切り出す領域切出手段と、上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、上記予測タップの差分値に基づき、上記注目画素を複数のクラスのうち何れかのクラスに分類するクラス分類手段と、上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段とを有するので、例えばＤＣＴ変換に使用されるブロック構造を考慮し発生する歪の特性に合わせたタップ構造とし、差分値を利用して適切なクラス分類を行うことで、効果的にＭＰＥＧ復号画像に発生するブロック歪、モスキート・ノイズ、及び画素の時間変動を抑圧することができる。
【図面の簡単な説明】
【図１】クラス分類適応処理を使用した画像信号処理装置の一例を示すブロック図である。
【図２】画像信号処理装置の学習回路の一例を示すブロック図である。
【図３】本発明の実施の形態に係る画像信号処理装置を示すブロック図である。
【図４】本発明の実施の形態に係る画像信号処理装置で使用される予測係数を学習する学習回路を示すブロック図である。
【図５】ブロック単位の閾値Ｂｔｈを算出する工程を示すフローチャートである。
【図６】（ａ）及び（ｂ）は、８×８画素のＤＣＴブロックを示す模式図である。
【図７】横軸に水平方向又は垂直方向の差分値をとり、縦軸にその度数を取って、ブロック内の差分値の分布を模式的に示すヒストグラムである。
【図８】空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程をその工程順に示すフローチャートである。
【図９】同じく、空間クラス分類及び後述する時間クラス分類からクラスコードを発生し、更に予測演算する一連の工程を示す図であって、図８に示す工程の後の工程をその工程順に示すフローチャートである。
【図１０】本発明の実施の形態に係る画像信号処理装置における空間クラス分類に使用される注目ブロック及び注目画素を含む水平ライン及び垂直ラインの各８画素を示す模式図である。
【図１１】本発明の実施の形態に係る画像信号処理装置における空間クラス分類に使用されるクラスタップを示す模式図である。
【図１２】図８に示すステップ２７のエッジ検出による空間クラス分類における工程をその工程順に示すフローチャートである。
【図１３】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１２に示す工程の後の工程をその工程順に示すフローチャートである。
【図１４】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１３に示す工程の後の工程をその工程順に示すフローチャートである。
【図１５】同じく、図８に示すステップ２７のエッジ検出による空間クラス分類における工程を示す図であって、図１４に示す工程の後の工程をその工程順に示すフローチャートである。
【図１６】（ａ）乃至（ｅ）は、図１１に示す注目ブロックの注目画素を含む水平方向の１ライン及び注目ブロックの左右（水平方向）に隣接する隣接ブロックのブロック隣接画素において算出されたエッジの値と、空間クラス分類の関係を示す模式図である。
【図１７】本発明の実施の形態に係る画像信号処理装置における時間クラス分類に使用されるブロックを示す模式図である。
【図１８】横方向に時間をとって、注目画素とこの注目画素とブロック内で同位置における未来及び過去方向の各３タップ、縦方向に空間タップを示す模式図である。
【図１９】学習時の時間クラス分類を示す模式図である。
【図２０】マッピング時の時間クラス分類を示す模式図である。
【図２１】（ａ）乃至（ｄ）は、ＤＣＴブロックを４分割して小ブロックとして画素位置モードの分類を示す模式図であって、夫々マクロブロック左上、右上、左下及び右下に位置する小ブロックを示し、（ｅ）は、画素位置モードに基づいて移動する予測タップの移動方向を示す模式図である。
【図２２】本発明の実施の形態に係る画像信号処理装置における推定演算時に使用される予測タップの一例を示す模式図である。
【図２３】フレームＤＣＴブロックにおける空間予測タップを示す模式図である。
【図２４】（ａ）及び（ｂ）は、フィールドＤＣＴブロックにおける空間予測タップを示し、夫々注目画素がトップフィールド及びボトムフィールドに位置する場合を示す模式図である。
【図２５】（ａ）及び（ｂ）は、マッピング時における時間タップの予測係数のゲイン調整方法を示す模式図である。
【図２６】（ａ）及び（ｂ）は、夫々プログレッシブ・フレーム及びインタレース・フレームにおける輝度信号Ｙ及びクロマ信号Ｃのラインの対応関係を示す模式図である。
【図２７】輝度信号から検出したＹエッジ位置をクロマ信号のＣエッジ位置に置きかえる際の水平方向におけるＹエッジ位置とＣエッジ位置との対応関係を示す模式図である。
【図２８】（ａ）及び（ｂ）は、垂直方向のＹエッジ位置及びＣエッジ位置の対応関係を示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームにおける対応関係を示す模式図である。
【図２９】（ａ）及び（ｂ）は、クロマ信号における空間予測タップを示す図であって、夫々プログレッシブ・フレーム及びインタレース・フレームにおける場合を示す模式図である。
【図３０】実際にＭＰＥＧ２で符号化／復号したＭＰＥＧ復号画像を示す図である。
【図３１】図３０に示すＭＰＥＧ復号画像から本発明による歪除去処理を行った歪除去処理画像を示す図である。
【図３２】ＭＰＥＧ符号化前の原画像を示す図である。
【図３３】横軸にフレーム番号（時間）をとり、縦軸に輝度レベルをとって、輝度レベルの時間的変動を示すグラフ図である。
【図３４】理想的なステップ波形をＤＣＴ変換したＤＣＴブロックの水平方向の波形を示すグラフ図である。
【図３５】モスキート・ノイズを示すグラフ図である。
【符号の説明】
１０ 画像信号処理装置、 １２、１８、３２、３８ 画素間差分値算出部、１３、１９、３３、３９ 統計量算出部、 １４、３４ 特徴量メモリ、 １５、３５ ラインメモリ、 １６、３６ フレームメモリ、 １７、２３、３７、４３ 領域切出部、 ２０、４０ 特徴量抽出部、 ２１、４１ クラスコード発生部、 ２２ ＲＯＭテーブル、 ２４ 推定演算部、 ４４ 正規化方程式演算部、 ４２ メモリ
Claims (7)
- 入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理装置において、
上記第１の画像をフレーム毎に記憶する複数のフレームメモリと、
上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出手段と、
上記予測タップのうち所定の位置関係を有する画素間の画素値の差分値を算出する差分値算出手段と、
上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出手段と、
上記ブロック画素間差分値算出手段で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出手段と、
上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類手段と、
上記注目画素が分類されたクラスに対応する予測係数を読み出す読出手段と、
読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算手段と
を有することを特徴とする画像信号処理装置。 - 上記予測タップにおける隣接フレームの画素間差分値が上記フレーム毎の上記ブロック閾値の最大値より大きい場合は、上記画素間差分値を算出したフレームから上記注目フレームとは離隔する方向のフレームの画素を使用不可タップとし、
この使用不可タップ以外の画素を使用可能タップとし、上記クラス分類手段は、上記使用可能タップ数及び使用不可タップ数に基づき上記時間クラスを分類することを特徴とする請求項１記載の画像信号処理装置。 - 上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、上記未来方向に１以上の上記使用可能タップが存在し、且つ、上記過去方向に１以上の上記使用可能タップが存在する場合、上記注目画素は、第１の時間クラスに分類されることを特徴とする請求項２記載の画像信号処理装置。
- 上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、未来方向における全てのタップが上記使用不可タップである場合、上記注目画素は、第２の時間クラスに分類されることを特徴とする請求項２記載の画像信号処理装置。
- 上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、過去方向における全てのタップが上記使用不可タップである場合、上記注目画素は、第３の時間クラスに分類されることを特徴とする請求項２記載の画像信号処理装置。
- 上記予測タップは、上記注目画素が属する上記注目フレームから時間的に未来方向及び過去方向の複数のタップからなり、全てのタップが上記使用不可タップである場合、上記注目画素は、第４の時間クラスに分類されることを特徴とする請求項２記載の画像信号処理装置。
- 入力される第１の画像に対して所定の推定演算を行って上記第１の画像を第２の画像に変換する画像信号処理方法において、
上記第１の画像をフレーム毎に複数のフレームメモリに記憶する記憶工程と、
上記第１の画像の注目画素を含む注目フレーム及びこの注目フレームの前後の複数のフレームが入力され、これら全てのフレームにおいて上記注目画素と同一の位置の画素を予測タップとして切り出す領域切出工程と、
上記予測タップのうち所定の位置関係を有する画素間の差分値を算出する差分値算出工程と、
上記フレーム毎のブロックデータが入力され、上記注目画素が属する注目ブロックにおいて水平方向及び垂直方向に隣接する各画素間の画素値の差分値をブロック画素間差分値として算出するブロック画素間差分値算出工程と、
上記ブロック画素間差分値算出工程で算出された上記注目ブロックにおける上記ブロック画素間差分値の統計に基づきブロック閾値を算出するブロック特徴量算出工程と、
上記予測タップにおける隣接フレームの画素間差分値と上記フレーム毎の上記ブロック閾値の最大値とに基づき上記注目画素の時間クラスを分類するクラス分類工程と、
上記注目画素が分類されたクラスに対応する予測係数を読み出す読出工程と、
読み出された上記予測係数と上記予測タップとから上記所定の推定演算により上記注目画素の画素値を第２の画像の画素値に変換する推定演算工程と
を有することを特徴とする画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002129440A JP4082079B2 (ja) | 2002-04-30 | 2002-04-30 | 画像信号処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002129440A JP4082079B2 (ja) | 2002-04-30 | 2002-04-30 | 画像信号処理装置及びその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003324738A JP2003324738A (ja) | 2003-11-14 |
| JP2003324738A5 JP2003324738A5 (ja) | 2005-09-08 |
| JP4082079B2 true JP4082079B2 (ja) | 2008-04-30 |
Family
ID=29542837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002129440A Expired - Fee Related JP4082079B2 (ja) | 2002-04-30 | 2002-04-30 | 画像信号処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4082079B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2004301091B2 (en) | 2003-08-19 | 2008-09-11 | Panasonic Corporation | Method for encoding moving image and method for decoding moving image |
| JP4683294B2 (ja) * | 2006-03-16 | 2011-05-18 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
| JP5029869B2 (ja) * | 2006-11-09 | 2012-09-19 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP4770711B2 (ja) * | 2006-11-15 | 2011-09-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP4957280B2 (ja) * | 2007-02-15 | 2012-06-20 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN110032914A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种标注图片的方法和装置 |
| CN112642022B (zh) * | 2020-12-31 | 2022-07-05 | 遵义师范学院 | 一种输液监控系统及监控方法 |
-
2002
- 2002-04-30 JP JP2002129440A patent/JP4082079B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324738A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100597920B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 및 그에 대한 기록매체 | |
| USRE42148E1 (en) | Method and apparatus for visual lossless image syntactic encoding | |
| KR100299202B1 (ko) | 디지털 화상 신호 처리장치 및 처리방법 | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| US20070076972A1 (en) | System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures | |
| CN1199987A (zh) | 图像处理设备及方法 | |
| JP2002517176A (ja) | デジタル動きビデオ信号のコード化と復号の方法および装置 | |
| JP4082079B2 (ja) | 画像信号処理装置及びその方法 | |
| US6404924B1 (en) | Image processing apparatus and method | |
| Song et al. | Efficient debanding filtering for inverse tone mapped high dynamic range videos | |
| JP4746909B2 (ja) | ビデオシーケンスの補助データ処理 | |
| CN113365059B (zh) | 图像冗余去除方法、图像冗余去除装置、存储介质和设备 | |
| JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
| Bedi et al. | Improvements to the JPEG-LS prediction scheme | |
| JP4622762B2 (ja) | 画像データ圧縮・復元方法 | |
| Zhao et al. | Content-adaptive up-scaling of chrominance using classification of luminance and chrominance data | |
| JPH07236142A (ja) | 高能率符号化装置及び復号化装置 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JPH10243405A (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、並びに記録媒体 | |
| KR101174589B1 (ko) | 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP4154902B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
| KR101204210B1 (ko) | 기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치 | |
| JPH08172632A (ja) | 画像処理装置 | |
| JP4512956B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |