JP4085647B2 - ブロックノイズ除去方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データをブロックに分割した後、直交変換、量子化、可変長符号化を行う非可逆圧縮符号化方式によって得られた第一の符号化データから別の第二の符号化データに変換する画像処理装置、および、第一の符号化データの符号化時に生じたノイズを第二の符号化データの復号化時に低減する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
近年、画像データの圧縮符号化技術は著しく進歩してきており、記憶媒体の効率的な使用や、ネットワークを介した画像データ送受信の高速化などの目的で広く用いられている。通常、画像データを高圧縮する必要がある場合には、非可逆圧縮符号化方式が用いられるが、これらの多くは図１に示す符号化処理が用いられる。
【０００３】
図１は多くの非可逆圧縮符号化方式における符号化処理のブロック図である。
【０００４】
まず、符号化直交変換部１１では、画像データに対して、Ｍ×Ｎ画素単位で分割されたブロック毎に直交変換を行って、直交変換係数を算出する。直交変換としては２次元フーリエ変換、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換、離散コサイン変換（ＤＣＴ）等、様々な変換が利用できるが、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等で広く用いられている８×８画素単位のＤＣＴの場合、変換後の直交変換係数（ＤＣＴ係数）をＤＣＴ［ｖ］［ｕ］、変換前の画像データをＦ［ｙ］［ｘ］とすると、変換式は（数１）のように表される。なお、（ｘ，ｙ）は変換前の画像データにおける各ブロック内での座標値、（ｕ，ｖ）はＤＣＴ係数における周波数成分の次数を表すものとする。
【０００５】
ＤＣＴ［ｖ］［ｕ］＝１／４×Ｃｕ・Ｃｖ・ΣΣＦ［ｙ］［ｘ］・ｃｏｓ｛（２ｘ＋１）ｕπ／１６｝・ｃｏｓ｛（２ｙ＋１）ｖπ／１６｝
Ｃｕ，Ｃｖ＝１／√２（ｕ，ｖ＝０），１（ｏｔｈｅｒｗｉｓｅ）・・・（数１）
次に、量子化部１２では、符号化直交変換部１１において算出された直交変換係数の量子化を行う。一般に、各ブロックで算出されるＭ×Ｎサイズの直交変換係数に対して、Ｍ×Ｎサイズの量子化テーブルを用いて量子化が行われる。参考として、ＪＰＥＧにおける８×８サイズの量子化テーブルの一例を図６に示す。一般に、量子化テーブルの設定値が圧縮レベルを決定する最大の要因となるため、量子化テーブル設定部１３において、所望の圧縮レベルに応じた量子化テーブルが設定される。ここで、量子化後の直交変換係数をＱＤＣＴ［ｖ］［ｕ］、量子化テーブルの値をＱｔａｂｌｅ［ｖ］［ｕ］とすると、量子化は（数２）のように表される。ただし、ＩＮＴ｛ａ｝は値ａを超えない最大の整数値を表すものとする。
【０００６】
ＱＤＣＴ［ｖ］［ｕ］＝ＩＮＴ｛ＤＣＴ［ｖ］［ｕ］／Ｑｔａｂｌｅ［ｖ］［ｕ］＋０．５｝・・・（数２）
最後に、可変長符号化部１４では、量子化部１２において量子化された直交変換係数が可変長符号化されて、符号化データが生成される。可変長符号化としては、ハフマン符号化や算術符号化などが用いられる。
【０００７】
以上が、画像データから符号化データを得るまでの符号化処理の概要である。逆に、符号化データから画像データへの復号化処理については、図２に示すように、基本的に符号化処理を逆順に行うことによって実現できる。
【０００８】
図２は多くの非可逆圧縮符号化方式における復号化処理のブロック図である。
【０００９】
まず、可変長復号化部２１では、符号化データに対して可変長復号化を行う。
【００１０】
次に、量子化テーブル抽出部２２では、符号化時に用いた量子化テーブルの情報を符号化データから抽出する。
【００１１】
次に、逆量子化部２３では、量子化テーブル抽出部２２で抽出された量子化テーブルの情報を用いて、可変長復号化部２１で復号化された直交変換係数の逆量子化を行う。ここで、逆量子化された直交変換係数をＲＤＣＴ［ｖ］［ｕ］とすると、逆量子化は（数３）のように表される。
【００１２】
ＲＤＣＴ［ｖ］［ｕ］＝ＱＤＣＴ［ｖ］［ｕ］×Ｑｔａｂｌｅ［ｖ］［ｕ］・・・（数３）
最後に、復号化逆直交変換部２４において、逆量子化部２３において逆量子化された直行変換係数が逆直交変換されて、画像データに復号化される。８×８画素単位のＤＣＴの場合、復号化される画像データをＧ［ｖ］［ｕ］とすると、変換式は（数４）のように表される。
【００１３】
Ｇ［ｙ］［ｘ］＝１／４・ΣΣＣｕ・Ｃｖ・ＲＤＣＴ［ｖ］［ｕ］・ｃｏｓ｛（２ｘ＋１）ｕπ／１６｝・ｃｏｓ｛（２ｙ＋１）ｖπ／１６｝
Ｃｕ，Ｃｖ＝１／√２（ｕ，ｖ＝０），１（ｏｔｈｅｒｗｉｓｅ）・・・（数４）
以上が、多くの非可逆圧縮符号化方式で用いられている符号化処理、復号化処理の概要であるが、この処理過程の中で、直交変換係数の量子化が行われるため、信号の劣化が生じる。この信号の劣化は復号化された画像データにおける画質劣化として現れ、原画像には存在しなかったノイズが発生する。ここで生じるノイズのうち、特に視覚的に悪影響を及ぼすノイズとして、ブロック歪およびモスキートノイズがある。ブロック歪とは、Ｍ×Ｎ画素単位のブロック単位で符号化処理が行われることに起因するノイズであり、復号化された画像データのブロック境界において画素値が階段状になる現象のことを言う。また、モスキートノイズとは、量子化により高周波成分が欠落したことに起因するノイズであり、原画像に存在していた強いエッジが正確に再現されず、エッジ周辺に蚊が飛んでいるように見えるノイズのことを言う。
【００１４】
これらのノイズを除去し、復号化された画像データの画質改善を図る処理は、一般に、画像復元処理と呼ばれるが、この有力な従来手法に凸射影法（Ａ．Ｚａｋｈｏｒ，"Ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｒｅｄｕｃｔｉｏｎ ｏｆ ｂｌｏｃｋｉｎｇ ｅｆｆｅｃｔｓ ｉｎ ｔｒａｎｓｆｏｒｍ ｉｍａｇｅ ｃｏｄｉｎｇ，"ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ．Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ．，ｖｏｌ．２，ｐｐ．９１−９５，Ｍａｒ．１９９２）がある。以下では、この凸射影法の概要について説明する。
【００１５】
一般に、画像中のノイズを低減するには平滑化処理が有効であるが、単純なフィルタ処理によって画像全体を平滑化すると、ノイズが低減される代わりに、原画像に存在していた本来のエッジが大きくボケるという課題があった。これに対し、凸射影法では、平滑化処理と制約条件に基づく射影処理を繰り返し交互に行うことによりエッジのボケを最小限に抑える改良がなされている。ここで、制約条件に基づく射影処理とは、画像復元処理後の直交変換係数が、原画像と同一量子化ステップ内の値となるように平滑化処理の影響を制限する処理のことを言う。これは、非可逆圧縮符号化方式の符号化処理において、直交変換係数が量子化されて原画像の直交変換係数とは異なる値に変化するが、その誤差は、高々、量子化ステップの範囲内であり、原画像の直交変換係数は、少なくとも、復号化された画像データの直交変換係数と同一量子化ステップ内、すなわち、（数５）で表される下限値ｄＤＣＴ［ｖ］［ｕ］以上、且つ、上限値ｐＤＣＴ［ｖ］［ｕ］未満であることが保証されるという性質を利用している。
【００１６】
ｄＤＣＴ［ｖ］［ｕ］＝ＲＤＣＴ［ｖ］［ｕ］−０．５×Ｑｔａｂｌｅ［ｖ］［ｕ］
ｐＤＣＴ［ｖ］［ｕ］＝ＲＤＣＴ［ｖ］［ｕ］＋０．５×Ｑｔａｂｌｅ［ｖ］［ｕ］・・・（数５）
すなわち、平滑化処理後の直交変換係数が、この範囲外に変化していた場合は、原画像からの変化が非常に大きく、過度のボケが発生していると判断できる。ここで、平滑化処理後の直交変換係数が下限値ｄＤＣＴ［ｖ］［ｕ］未満であれば下限値ｄＤＣＴ［ｖ］［ｕ］への射影処理を行い、一方、上限値ｐＤＣＴ［ｖ］［ｕ］以上であれば上限値ｐＤＣＴ［ｖ］［ｕ］への射影処理を行う。これにより、過度のボケを防ぎながらノイズを低減することができる。
【００１７】
凸射影法を適用する場合の具体的な処理の流れを図３に示す。図３は凸射影法による画像復元処理のブロック図である。ただし、図３における可変長復号化部２１’、量子化テーブル抽出部２２’、逆量子化部２３’、復号化逆直交変換部２４’の処理は、それぞれ図２における可変長復号化部２１、量子化テーブル抽出部２２、逆量子化部２３、復号化逆直交変換部２４の処理と同一であるため、ここでの詳細な説明は省略する。
【００１８】
まず、制約条件設定部３１では、量子化テーブル抽出部２２’で得られた量子化テーブルの情報と、逆量子化部２３’で得られた逆量子化後の直交変換係数から、原画像の直交変換係数と同一量子化ステップ範囲となる下限値ｄＤＣＴ［ｖ］［ｕ］、および、上限値ｐＤＣＴ［ｖ］［ｕ］を算出する。
【００１９】
次に、平滑化処理部３２では、復号化逆直交変換部２４’で復号化された画像データをフィルタ処理によって平滑化する。
【００２０】
直交変換部３３では、符号化直交変換部１１と同一の直交変換を行って、平滑化処理部３２において平滑化された画像データから直交変換係数を算出する。
【００２１】
射影処理部３４では、直交変換部３３において算出された直交変換係数に対して、制約条件設定部３１で算出した直交変換係数の下限値ｄＤＣＴ［ｖ］［ｕ］、および、上限値ｐＤＣＴ［ｖ］［ｕ］に基づいて射影処理を行う。
【００２２】
逆直交変換部３５では、復号化逆直交変換部２４と同一の逆直交変換を行って、射影処理された直交変換係数から新しい画像データに復号化する。
【００２３】
なお、終了判定部３６では、画像復元処理を終了するか、さらに継続するかを判定する。画像復元処理を継続する場合には、平滑化処理部３２から逆直交変換部３５の処理を再度繰り返す。この処理を繰り返し行うことにより、復号化された画像データのノイズはより低減されるが、本来のエッジのボケも徐々に大きくなる。このため、終了判定条件の設定方法としては、あらかじめ設定された所定回数だけ画像復元処理を繰り返した時点で終了するように設定する方法や、また、画質に関して何らかの評価値を算出し、この評価値が特定の条件を満たした時点で終了するように設定する方法などがあげられる。
【００２４】
【発明が解決しようとする課題】
このような画像復元処理を適用することにより、非可逆圧縮符号化方式で生じたブロック歪やモスキートノイズを低減し、画質を改善することができる。しかし、凸射影法のような画像復元処理では、非可逆圧縮符号化方式の符号化時に使用した量子化テーブル等の情報が必要となる。このため、一旦、非可逆圧縮符号化方式の符号化データが復号化された後、別の符号化データに変換された場合には、非可逆圧縮方式の符号化時に用いた量子化テーブル等の情報が失われるため、凸射影法のような画像復元処理が適用できなくなるという課題があった。
【００２５】
【課題を解決するための手段】
上記の課題を解決するために、本発明では、非可逆圧縮符号化方式の符号化データ（以下、符号化データＡ）から別の符号化データ（以下、符号化データＢ）に変換する画像処理方法において、符号化データＡの符号化時に用いた量子化テーブル等の符号化情報を、符号化データＡの復号化時に抽出する符号化情報抽出ステップ、この符号化情報抽出ステップで抽出された符号化情報を符号化データＢとともに格納するステップ、および、この符号化情報を用いて画像復元処理を行う画像復元ステップを具備することにより、符号化データＡの符号化時に生じたノイズを低減することが可能なブロックノイズ除去方法を提供する。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について説明する。図４非可逆圧縮符号化方式の符号化データに関する符号化情報を保持したまま別の符号化データへ変換する処理のブロック図を示している。
【００２９】
まず、符号化方式判定部１０１では、符号化データＡに用いられている符号化方式の種類を判定する。
【００３０】
次に、符号化情報抽出部１０２では、符号化データＡの符号化時に用いられた量子化テーブル等の符号化情報を抽出する。ここで抽出された符号化情報は、後述の処理によって符号化データＢにおいて保持されることになるが、保持しておくべき符号化情報の種類は、符号化データＡに用いられていた符号化方式の種類に応じて異なる。このため、符号化情報抽出部１０２において抽出する符号化情報の種類は、符号化方式判定部１０１で判定された符号化データＡの符号化方式の種類に応じて決定されるようにする。
【００３１】
次に、復号化部１０３では、符号化データＡから画像データへの復号化処理を行う。この復号化部１０３で行う復号化処理は、図２における可変長復号化部２１、逆量子化部２３、および、復号化逆直交変換部２４の処理と同様である。
【００３２】
最後に、符号化部１０４では、復号化部１０３で復号化された画像データを、別の符号化データＢに変換する。このとき、符号化データＢには、符号化情報抽出部１０２で抽出された符号化データＡに関する符号化情報も一緒に格納する。ここで、符号化データＢにおける符号化情報の格納方法としては、例えば、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）やＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などのように、画像の符号化データとともに任意のテキスト文字列を格納できる仕様が定められている場合には、この仕様を利用して符号化情報を格納することができる。また、このようにテキスト文字列を格納できない仕様の場合には、特定の名称の別ファイルを用いる方法等により、符号化情報を格納することができる。
【００３３】
以上の処理が、非可逆圧縮符号化方式の符号化データＡに関する符号化情報を保持したまま、別の符号化データＢに変換する処理の実施の一形態である。
【００３４】
次に、符号化データＢの復号化時に、符号化データＡに関する符号化情報を抽出して画像復元処理を適用する処理の流れを図５に示し、詳細な説明を行う。
【００３５】
図５は符号化データから以前の符号化データに関する符号化情報を抽出して凸射影法による画像復元処理を適用する処理のブロック図である。
【００３６】
まず、第二復号化部２０１では、符号化データＢから画像データへの復号化処理を行う。
【００３７】
次に、前符号化情報抽出部２０２では、符号化データＡに関する符号化情報を符号化データＢから抽出する。
【００３８】
第二直交変換部２０３では、第二復号化部２０１で復号化された画像データに対して直交変換を行い、直交変換係数を算出する。
【００３９】
次に、制約条件設定部３１’では、第二直交変換部２０３で算出された直交変換係数、および、前符号化情報抽出部２０２で抽出された符号化データＡに関する符号化情報から、射影処理部３４’で直交変換係数を射影する範囲の下限値ｄＤＣＴ［ｖ］［ｕ］および上限値ｐＤＣＴ［ｖ］［ｕ］を算出する。
【００４０】
以下、第二復号化部２０１において復号化された画像データに対して凸射影法による画像復元を行う処理は、前述した図３における通常の凸射影法の処理と同様であるため、ここでの詳細な説明は省略する。
【００４１】
以上の処理により、一旦、別の符号化データに変換された後にも、以前の非可逆圧縮符号化方式の符号化時に用いた量子化テーブルなどの符号化情報を用いて画像復元処理を行うことが可能となる。
【００４２】
なお、符号化データＡに関する符号化情報として、直交変換を行った色空間の情報を符号化データＢに格納することも可能である。カラー画像を符号化して生成された符号化データを復号化する場合には、直交変換された時の色空間の情報が必要となる。このため、符号化データＡの符号化処理に関して、直交変換された時点の色空間の情報を符号化データＢにおいて保持しておくことにより、任意の色空間で直交変換されたカラー画像の符号化データＡに対しても、符号化データＢの復号化時に画像復元処理を適用することが可能となる。
【００４３】
また、符号化データＡに関する符号化情報として、情報の間引きを示すサブサンプリングの情報を符号化データＢに格納することも可能である。一般に、輝度成分に対して色差成分のデータを間引いて符号化することが多い。このため、符号化データＡの符号化処理に関して、直交変換された時点のサブサンプリングの情報を保持しておくことにより、任意にサブサンプリングして符号化された符号化データＡに対しても、符号化データＢの復号化時に画像復元処理を適用することが可能となる。
【００４４】
なお、符号化データＡを復号化した時点で、画像データを不図示の表示装置で閲覧できるようにし、不図示の入力装置から符号化データＢへの符号化処理が支持された場合のみ、それ以降の処理を行うような形で実現することもできる。
【００４５】
なお、符号化データＡから符号化データＢに変換された後、さらに、符号化データＢから別の符号化データ（以下、符号化データＣ）へ変換する場合には、符号化データＢに格納されている符号化データＡに関する符号化情報についても、符号化データＢに関する符号化情報とともに符号化データＣに格納できるようにすることによって、以前に符号化された符号化情報の履歴を保持することが可能となる。
【００４６】
【発明の効果】
以上のように、本発明で提案した画像処理装置および画像処理方法を適用することにより、非可逆圧縮符号化方式による第一の符号化データから別の第二の符号化データに変換された場合にも、第一の符号化データに関する符号化情報を用いて画像復元処理を行うことが可能となる。
【図面の簡単な説明】
【図１】多くの非可逆圧縮符号化方式における符号化処理のブロック図
【図２】多くの非可逆圧縮符号化方式における復号化処理のブロック図
【図３】凸射影法による画像復元処理のブロック図
【図４】非可逆圧縮符号化方式の符号化データに関する符号化情報を保持したまま別の符号化データへ変換する処理のブロック図
【図５】符号化データから以前の符号化データに関する符号化情報を抽出して凸射影法による画像復元処理を適用する処理のブロック図
【図６】量子化テーブルの一例
【符号の説明】
１０１ 符号化方式判定部
１０２ 符号化情報抽出部
１０３ 復号化部
１０４ 符号化部

Claims (2)

1. 画像データのブロックノイズ除去方法であって、
   画像データをＭ×Ｎ画素単位のブロック毎に直交変換し、直交変換データを量子化テーブルを用いて量子化し可変長符号化を行う非可逆圧縮符号化方式を用いて符号化された符号化データＡを入力するステップと、
   前記符号化データＡから、前記符号化に用いられた前記量子化テーブルを抽出しつつ、前記符号化データＡを復号化して第一の画像データを取得する第一復号化ステップと、
   前記第一の画像データを、ＰＮＧにより符号化するとともに前記抽出された量子化テーブルを格納し符号化データＢを出力する第二符号化ステップと、
   前記符号化データＢを復号化して第二の画像データを取得する第二復号化ステップと、
   前記符号化データＢから前記格納された量子化テーブルを抽出する符号化情報抽出ステップと、
   前記第二の画像データに対して直交変換を行い、直交変換係数を算出する直交変換ステップと、
   前記符号化情報抽出ステップにおいて抽出された量子化テーブルと前記直交変換ステップにおいて算出された直交変換係数とを用いて凸射影法を適用することにより前記第二の画像データのブロック歪を除去する画像復元ステップと、
   を含むブロックノイズ除去方法。
2. 前記第二符号化ステップは、前記量子化テーブルを前記符号化データＢのテキスト領域に格納する、請求項１記載のブロックノイズ除去方法。

Images