JP4264604B2 - 画像信号処理装置および画像信号処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ等の直交変換を含む圧縮符号化によって得られる圧縮画像信号を復元するための画像情報変換装置および画像情報変換方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ１，ＭＰＥＧ２等の直交変換を含む圧縮符号化によって得られる圧縮画像信号を復元した場合、特に高い圧縮率では、再生画像においてブロック歪みが目立つ場合がある。このブロック歪みはブロック境界において目立つので、ブロック境界部分に対して適応的なローパスフィルタ等をかけることによって歪みの低減を行う方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したような処理を行うと、元の画像に含まれるエッジ部分においてローパスフィルタ処理に起因する解像度の低下が生じるおそれがあるという問題があった。
【０００４】
ブロック歪みの位置等を的確に検出することができれば、その部分にのみローパスフィルタをかけるようにする等の処理が可能となり、上述の問題点を解消若しくはその程度を低減することができる。
【０００５】
従って、この発明の目的は、直交変換を含む符号化によって生成された符号化画像信号から復元される画像信号中のブロック歪みの位置等を的確に検出することにより、ブロック歪みを的確に除去し、画質を向上させることが可能な画像情報変換装置および画像情報変換方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理装置において、入力する画像信号に、２次元のブロックを単位として直交変換を行う直交変換手段と、上記直交変換の結果として上記ブロック毎に得られる係数値の集合を空間周波数に応じて複数の領域に分割する係数値集合分割手段と、
上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算手段と、上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較手段と、上記比較結果信号が、上記分散の値が上記しきい値より小さい比較結果を示すものである場合に、ブロック歪みであることを示すフラグを立て、フラグに基づいてブロック歪みの発生位置を特定し、ブロック歪みを除去する手段と、を有することを特徴とする画像信号処理装置である。
【０００７】
請求項４の発明は、直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理装置において、入力する画像信号を２次元のブロックを単位として分割するブロック化手段と、上記２次元のブロックを単位として直交変換を行う直交変換手段と、上記直交変換の結果として上記ブロック毎に得られる係数値集合を空間周波数に応じて複数の領域に分割する係数値集合分割手段と、上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算手段と、上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較手段と上記特定の領域として空間周波数が比較的高い２個の領域を用い、上記２個の領域にそれぞれ対応する上記分散値比較手段から出力される比較結果信号のうちの少なくとも一方が、上記分散の値が上記しきい値より小さい比較結果を示すものある場合に、ブロック歪み候補であることを示す第１のフラグを立てる手段と、上記２次元のブロックのブロック境界を挟んで互いに隣接する位置にある２個の画素の組を上記ブロック毎に抽出する隣接画素抽出手段と、上記画素の組についての差分絶対値を計算する差分絶対値計算手段と、上記差分絶対値をしきい値と比較し、比較結果を示す比較結果信号を生成し、上記比較結果信号が、上記差分絶対値が上記しきい値より大きい比較結果を示すものである場合に、第２のフラグを立てる差分絶対値比較手段と、上記差分絶対値比較手段の出力に、上記第２のフラグが連続して現れる回数を計数して計数値を求める連続性計数手段と、上記計数値をしきい値と比較し、比較結果を示す比較結果信号を生成し、上記比較結果信号が、上記計数値が上記しきい値より大きい比較結果を示すものである場合に、ブロック歪み候補であることを示す第３のフラグを立てる連続性計数比較手段と、上記第１のフラグと記第３のフラグとが同時に立っているときに、ブロック歪みであることを示す第４のフラグを立て、第４のフラグに基づいてブロック歪みの発生位置を特定し、ブロック歪みを除去する手段とを有することを特徴とする画像信号処理装置である。
【０００８】
請求項５の発明は、直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理方法において、入力する画像信号に、２次元のブロックを単位として直交変換を行う直交変換ステップと、上記直交変換の結果として上記ブロック毎に得られる係数値の集合を空間周波数に応じて複数の領域に分割する係数値集合分割ステップと、上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算ステップと、上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較ステップと、上記比較結果信号が、上記分散の値が上記しきい値より小さい比較結果を示すものである場合に、ブロック歪みであることを示すフラグを立て、フラグに基づいてブロック歪みの発生位置を特定し、ブロック歪みを除去するステップと、を有することを特徴とする画像信号処理方法である。
【００１０】
請求項１および請求項５に記載の発明によれば、画像信号に直交変換を施すことによって得られる変換係数に分散値に基づいてブロック歪みを有する可能性の高いブロックが検出される。
【００１１】
請求項４に記載の発明によれば、画像信号に直交変換を施すことによって得られる変換係数に分散値、および画像信号中のブロック境界を挟んで隣接する画素の間の画素データの差分絶対値に基づいてブロック歪みを有する可能性の高いブロックが検出される。
【００１２】
【発明の実施の形態】
この発明の一実施形態の構成について図１を参照して説明する。入力画像信号ＩはＡＤ変換器３０に供給される。ここで、入力画像信号Ｉは、原画像信号にＭＰＥＧ１，ＭＰＥＧ２等の離散コサイン変換（以下、ＤＣＴ変換と表記する）を含む圧縮符号化が施されてなる圧縮画像信号を、図示しないデコーダによって復元することによって得られる通常のＴＶ信号である。ＡＤ変換器３０は、入力画像信号ＩにＡＤ変換を施してディジタル化する。ＡＤ変換器３０の出力はブロック化回路３１に供給される。ブロック化回路３１は、ＡＤ変換器３０の出力を例えば８画素×８画素等の２次元のＤＣＴブロックにブロック化する。ここで、ＤＣＴブロックのブロック境界がＭＰＥＧ１，ＭＰＥＧ２等の圧縮符号化の際のＤＣＴブロックのブロック境界と同じ位置とされるように、ブロック化回路３１の動作条件が制御される。
【００１３】
ブロック化回路３１の出力は、ＤＣＴ変換回路３２および隣接画素抽出用メモリ３３に供給される。ＤＣＴ変換回路３２は、ブロック化回路３１の出力にＤＣＴ変換処理を施し、ＤＣＴ係数値を生成する。ここでは、元の圧縮符号化として、ＭＰＥＧ１，ＭＰＥＧ２等のＤＣＴ変換を含む符号化方式を用いる場合をＤＣＴ変換回路３２を備える構成としたが、元の圧縮符号化として、例えばアダマール変換等のＤＣＴ変換以外の直交変換を含む符号化方式を用いる場合においてもこの発明を適用することができる。そのような場合には、ＤＣＴ変換回路３２の代わりに、元の圧縮符号化に含まれる直交変換を行う回路を備える構成とすれば良い。
【００１４】
ＤＣＴ変換回路３２によって生成されるＤＣＴ係数値が空間周波数に従って分割される。例えば図２に示すようなＤＣ値、低域、中域および高域を含む４個の領域に分割される。これら複数個の領域の内で、空間周波数が比較的高い領域におけるＤＣＴ係数値が抽出される。図２に示したような分割を行う場合には、中域および高域の係数値がそれぞれ、中域抽出回路３４および高域抽出回路３５によって抽出される。ここで、空間周波数が比較的高い領域におけるＤＣＴ係数値に基づく処理を行うのは、ブロック歪みが生じ易いことを考慮したためである。但し、分割される領域の数は４個に限定されるものでは無く、また、抽出される領域の数は２個に限定されるものでは無い。
【００１５】
中域抽出回路３４および高域抽出回路３５の出力は、それぞれ、絶対値、平均値および分散値計算回路３６，３７に供給される。絶対値、平均値および分散値計算回路３６，３７は、供給される信号に基づいて、絶対値、平均値および分散値を計算する。絶対値、平均値および分散値計算回路３６，３７がそれぞれ算出する分散値は、比較回路３８，３９に供給される。比較回路３８、３９には、第１のしきい値が別途供給される。そして、比較回路３８、３９は、供給される分散値を第１のしきい値と比較し、比較結果をフラグ生成回路４０に供給する。
【００１６】
フラグ生成回路４０は、比較回路３８、３９の出力の内の少なくとも一方が分散値が第１のしきい値よりも小さい旨の比較結果である時に、出力信号上にブロック歪み候補であることを示す第１のフラグを立てる。このような動作は、比較回路３８、３９が供給される分散値が第１のしきい値よりも小さい場合に比較結果として'1' を出力するようにし、また、フラグ生成回路４０として論理和回路を用いる等の構成によって実現される。フラグ生成回路４０の出力はタイミング調整用メモリ４５に供給される。
【００１７】
一方、隣接画素抽出用メモリ３３は、ブロック化回路３１の出力であるブロック化された画像信号を一旦記憶し、その後アドレスを適切に制御しながら出力を行うことによってブロック境界を挟んで互いに隣接する画素データの組を差分絶対値計算回路４１に供給する。
【００１８】
ブロック境界を挟んで互いに隣接する画素データの組について図３を参照して説明する。図３において、太線が８画素×８画素からなるブロック境界を示す。ブロック境界に隣接する位置にあるブロック内の画素に、時計回りに１、２、３・・・、２８の符号を付した。そして、画素１、２、３・・・、２８のそれぞれに対して隣接するブロック境界の外側の画素に１’、２’、３’・・・を付した。但し、ブロックの４隅に位置する画素１、８、１５、２２に対しては、ブロック境界の外側の２個の画素が隣接するので、それぞれ、画素１’と１’’、画素８’と８’’、画素１５’と１５’’、画素２２’と２２’’が隣接するように図示した。
【００１９】
差分絶対値計算回路４１は、隣接画素抽出用メモリ３３から供給される、ブロック境界を挟んで互いに隣接する画素データの組について差分の絶対値を算出し、算出した差分の絶対値を比較回路４２に供給する。比較回路４２には、第２のしきい値が別途供給される。そして、比較回路４２は供給される差分の絶対値を第２のしきい値と比較し、比較結果を連続性計数回路４３に供給する。より具体的には、比較回路４２は、差分の絶対値が第２のしきい値よりも大きいと判定される時に比較結果を示す信号上に第２のフラグを立てる。
【００２０】
連続性計数回路４３は、比較回路４２の出力に第２のフラグが連続して現れる数を計数し、計数値を比較回路４４に供給する。比較回路４４には第３のしきい値が別途供給される。そして、計数値が第３のしきい値より大きいと判定される時に、比較回路４４は、出力信号上にブロック歪み候補であることを示す第３のフラグを立てる。比較回路４４の出力は、タイミング調整用メモリ４５に供給される。
【００２１】
タイミング調整用メモリ４５は、フラグ生成回路４０の出力と比較回路４４の出力を一旦保持し、両者のタイミングを合わせた上で論理積回路４６に供給する。論理積回路４６は、フラグ生成回路４０の出力における第１のフラグと比較回路４４の出力における第３のフラグとが同時に立っている時に第４のフラグを立てる。このような第４のフラグは、ブロック歪みが生じている可能性がより高いブロックを示すことになる。第４のフラグが図示しないブロック歪み低減回路に供給される。
【００２２】
ブロック歪み低減回路では、第４のフラグが立っている位置を参照してブロック歪みの発生位置を特定する処理を行い、処理結果に基づいてブロック歪みを除去するための処理を行う。すなわち、特定されるブロック歪みの発生位置に関連して、ローパスフィルタ処理や、クラス分類適応処理における処理条件の制御（例えば予測係数データの切り替え等の処理パラメータの変更、タップ構造の変更等）を行う。
【００２３】
上述したこの発明の一実施形態においては、ＤＣＴ変換回路３２（より一般的には直交変換回路）の出力に基づいて計算される分散値に基づくフラグと、ブロック境界を挟んで隣接する画素間の差分絶対値に基づくフラグとの両方に基づいてブロック歪みを有するブロックを示すフラグを生成するようにしている。これに対して、直交変換回路の出力に基づいて計算される分散値に基づくフラグをブロック歪みを有するブロックを示すフラグとして使用するようにしても良い。また、ブロック境界を挟んで隣接する画素間の差分絶対値に基づくフラグをブロック歪みを有するブロックを示すフラグとして使用するようにしても良い。
【００２４】
この発明は、上述した実施形態等に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００２５】
【発明の効果】
上述したように、この発明によれば、ブロック歪みを有する可能性のある画像信号に直交変換を施すことによって得られる変換係数に分散値、および／または画像信号中のブロック境界を挟んで隣接する画素の間の画素データの差分絶対値に基づいてブロック歪みを有する可能性の高いブロックが検出される。
【００２６】
これにより、例えばローパスフィルタ処理等のブロック歪みを低減するための処理をより的確に行うことができるので、画質を向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成の一例を示すブロック図である。
【図２】ＤＣＴ係数値の領域分割説明するための略線図である。
【図３】ブロック境界を挟んで隣接する画素について説明するための略線図である。
【符号の説明】
３２・・・ＤＣＴ変換回路、３６、３７・・・絶対値、平均値および分散値計算回路、３８、３９・・・比較回路、３３・・・隣接画素抽出用メモリ、４１・・・差分絶対値計算回路、４３・・・連続性計数回路

Claims (5)

1. 直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理装置において、
   入力する画像信号に、２次元のブロックを単位として直交変換を行う直交変換手段と、
   上記直交変換の結果として上記ブロック毎に得られる係数値の集合を空間周波数に応じて複数の領域に分割する係数値集合分割手段と、
   上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算手段と、
   上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較手段と、
   上記比較結果信号が、上記分散の値が上記しきい値より小さい比較結果を示すものである場合に、ブロック歪みであることを示すフラグを立て、該フラグに基づいてブロック歪みの発生位置を特定し、該ブロック歪みを除去する手段と、
   を有することを特徴とする画像信号処理装置。
2. 請求項１において、
   上記特定の領域として空間周波数が比較的高い領域を用いることを特徴とする画像信号処理装置。
3. 請求項１において、
   上記特定の領域として空間周波数が比較的高い２個の領域を用い、
   上記２個の領域にそれぞれ対応する上記分散値比較手段から出力される比較結果信号のうちの少なくとも一方が、上記分散の値が上記しきい値より小さい比較結果を示すものである場合に、ブロック歪みであることを示すフラグを立てることを特徴とする画像信号処理装置。
4. 直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理装置において、
   入力する画像信号を２次元のブロックを単位として分割するブロック化手段と、
   上記２次元のブロックを単位として直交変換を行う直交変換手段と、上記直交変換の結果として上記ブロック毎に得られる係数値集合を空間周波数に応じて複数の領域に分割する係数値集合分割手段と、
   上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算手段と、
   上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較手段と
   上記特定の領域として空間周波数が比較的高い２個の領域を用い、上記２個の領域にそれぞれ対応する上記分散値比較手段から出力される比較結果信号のうちの少なくとも一方が、上記分散の値が上記しきい値より小さい比較結果を示すものある場合に、ブロック歪み候補であることを示す第１のフラグを立てる手段と、
   上記２次元のブロックのブロック境界を挟んで互いに隣接する位置にある２個の画素の組を上記ブロック毎に抽出する隣接画素抽出手段と、
   上記画素の組についての差分絶対値を計算する差分絶対値計算手段と、
   上記差分絶対値をしきい値と比較し、比較結果を示す比較結果信号を生成し、上記比較結果信号が、上記差分絶対値が上記しきい値より大きい比較結果を示すものである場合に、第２のフラグを立てる差分絶対値比較手段と、
   上記差分絶対値比較手段の出力に、上記第２のフラグが連続して現れる回数を計数して計数値を求める連続性計数手段と、
   上記計数値をしきい値と比較し、比較結果を示す比較結果信号を生成し、上記比較結果信号が、上記計数値が上記しきい値より大きい比較結果を示すものである場合に、ブロック歪み候補であることを示す第３のフラグを立てる連続性計数比較手段と、
   上記第１のフラグと上記第３のフラグとが同時に立っているときに、ブロック歪みであることを示す第４のフラグを立て、該第４のフラグに基づいてブロック歪みの発生位置を特定し、該ブロック歪みを除去する手段と、
   を有することを特徴とする画像信号処理装置。
5. 直交変換を含む圧縮符号化によって生成される圧縮符号化画像信号に対して圧縮符号化に対応する復号化を施すことによって得られる画像信号からブロック歪みを除去する画像信号処理方法において、
   入力する画像信号に、２次元のブロックを単位として直交変換を行う直交変換ステップと、
   上記直交変換の結果として上記ブロック毎に得られる係数値の集合を空間周波数に応じて複数の領域に分割する係数値集合分割ステップと、
   上記複数の領域の内の１個または複数個の特定の領域において、上記係数値の絶対値の分散の値を計算する分散値計算ステップと、
   上記分散の値をしきい値と比較し、比較結果を示す比較結果信号を生成する分散値比較ステップと、
   上記比較結果信号が、上記分散の値が上記しきい値より小さい比較結果を示すものである場合に、ブロック歪みであることを示すフラグを立て、該フラグに基づいてブロック歪みの発生位置を特定し、該ブロック歪みを除去するステップと、
   を有することを特徴とする画像信号処理方法。

Images