JP3710974B2 - ブロック化現象及びリング現象を除去するための圧縮動画像の復元方法及びその装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に係るもので、詳しくは、圧縮画像を復元する方法及びその装置に関するものである。
【０００２】
【従来の技術】
一般に、ＭＰＥＧ、ＭＰＥＧ２、Ｈ２６１及びＨ２６３のような画像圧縮法としては、ハイブリッド動き補償離散コサイン変換法を利用する。 このようなハイブリッド動き補償離散コサイン変換（Ｈｙｂｒｉｄ ＭＣ ＤＣＴ）法は、符号化過程と復号化過程とに大別されるが、符号化過程では、原画像を一定の大きさの複数のブロックにそれぞれ分割した後、それら各ブロックに対して２次元離散コサイン変換（ＤＣＴと称す）を行って空間領域の情報を圧縮させ、各画像間の時間軸上の相関関係を利用てし画像内部又は画像間の冗長性を減らして情報を減少させていた。
一方、復号化過程は、符号化過程の逆順に行われるが、このようなハイブリッド動き補償離散コサイン変換法を行うためには、エンコーダとデコーダが必要である。
【０００３】
図５は、本発明の関連技術に係る画像復号のブロック図で、図示したように、入力画像信号は、減算器１で画像メモリ９からの動き補償された画像信号と減算されて、第１スイッチング部２を経てＤＣＴ部３に入力される。その後、ＤＣＴ部３は、入力された画像信号を離散コサイン変換し、量子化部４でその離散コサイン変換された画像信号を量子化してＤＣＴ係数ｑを出力する。
次いで、前記ＤＣＴ係数ｑは、逆量子化部６で逆量子化され、逆ＤＣＴ部７で逆離散コサイン変換され元の画像信号が復号される。
【０００４】
このように復号された画像信号は、第２スイッチング部１０を経て加算器８で以前の段階で復号された画像信号と加算されて、画像メモリ９に入力される。
制御器５は、第１、第２スイッチング部２、１０のスイッチング動作を制御し、イントラ／インター情報（ｐ＝ｍｔｙｐｅ；flag for INTRA/INTER）、伝送情報（ｔ；flag for transmitted or not）及び量子化情報（ｑｚ＝Ｑｐ；quantizer indication）をデコーダ（図示されず）に伝送する。
次いで、前記画像メモリ９は、動きベクトル情報（ｖ＝ＭＶ；motion vector）をデコーダに出力する。ＤＣＴ３は、ＤＣＴ係数ｑをデコーダに出力する。
【０００５】
このように画像信号を符号化するとき、特に、画像信号を量子化する過程で原画像信号の情報が損失されて、デコーダで再構成された画像には、ブロック現象（blocking artifacts）及びリング現象（ring effects）が発生する。そのブロック現象は低周波ＤＣＴ係数の量子化過程で、リング現象は高周波ＤＣＴ係数の量子化過程に伴う原画像の情報損失によりでそれぞれ発生する。
【０００６】
即ち、ＤＣＴを利用して停止画像又は動画像を符号化するとき、画像全体を複数の小さいブロック（例えば、８×８ブロック）にそれぞれ分離した後、それら各ブロックに対して変換を行って、原画像をＤＣＴ変換すると、原画像の重要情報は、低周波成分に多く包含され、高周波成分にはあまり包含されない。
更に、低周波成分は、隣接ブロックと関連する多様な情報を包含しているが、ＤＣＴを行う際、ブロック間の相関関係が考慮されず、ブロック別に低周波成分が量子化されるため、隣接ブロック間の連続性が消失されるブロック現象が発生する。
【０００７】
ＤＣＴを行って得た係数を量子化する際、量子化ステップを大きくするほど、符号化すべき成分が減少し、処理ビット数も減少するため、原画像に含まれていた高周波成分の情報が減少して、再構成された画像に歪みが発生するリング現象が発生する。このリング現象は、再構成された画像における物体の外郭線に著しく発生する。
【０００８】
このようなブロック現象及びリング現象を除去する方法として、低域通過フィルタ方式及び正規化復元方式がある。以下それを比較して説明する。
ローパスフィルタ方式では、任意の画素周辺の複数の画素を選択（フィルタマスク）して、それらの画素の平均値を求める。その際、フィルタタップ又はフィルタ係数を経験的に設定する。画像の種類及び圧縮比に従って、復号された画像の画質が緩和（スムース化、均一化）されすぎる欠点がある。
次に、正規化復号方式では、画像の統計的特性に基づいて適応的にブロック現象を処理する。即ち、各ブロック間の四方の境界部及びブロック内部の不均一情報を全て計算し、その結果値をマトリックス状に算出するため、計算量が極めて多くて実時間処理が難しいと言う欠点がある。
又、情報の不均一さに拘らず、不均一情報の算出結果の平均値を一括的に適用するため、不均一情報の多いブロックでは不均一さが低下するが、逆に、不均一情報の少ないブロックでは不均一さが増大して、システムに適応的でないという欠点がある。
【０００９】
このように、前述した従来の二つの方式は、システムが複雑化する一方、画像処理性能向上の面でそれぞれ利点及び欠点を有する。即ち、ローパスフィルタ方式は、正規化復元方式よりも相対的に計算量が少ないが、画像の適応的処理能力が足りないため、画像の縁部の情報が失われる。しかし、正規化復元方式は、画像処理能力面では優秀であるが、計算量が多く、特に、正規化パラメータを求める過程での計算量が極めて多い。
【００１０】
【発明が解決しようとする課題】
その上、このような従来の画像処理システムの圧縮画像の復元方法及びその装置においては、復号された画像信号から発生するブロック現象及びリング現象が十分に除去できないという不都合な点があった。
また、画像情報の不均一さに拘らず、不均一情報の算出結果の平均値を一括的に適用するため、不均一情報の多いブロックでは不均一さが低下するが、逆に、不均一情報の少ないブロックでは不均一さが増大して、システムに適応的でないという不都合な点があった。
本発明の目的は、復号された画像信号で発生するブロック現象及びリング現象を十分に除去し得る圧縮動画像の復元方法及びその装置を提供することである。本発明の他の目的は、復号化過程で画素単位に方向性を有する費用関数（cost function）を定義し、その費用関数に基づき、正規化パラメータを適用的に求めるようにしたブロック化現象及びリンク現象を除去するための圧縮動画像の復元方法及びその装置を提供することである。
【００１１】
【課題を解決するための手段】
このような目的を達成するため、本発明に係る画像処理システムの圧縮動画像の復元方法は、
復号すべき画素とその画素に隣接した複数の画素間の方向性を考慮し、画像の緩和程度及び原画像に対して信頼度を有する費用関数を定義し、
その費用関数に基づいて所定の加重値を有する正規化パラメータを求め、
圧縮された画素を用い前記正規化パラメータを近似化して復元画素を求めることを特徴としている。
【００１２】
本発明に係るブロック化現象及びリンク現象を除去するための圧縮動画像の復元装置は、
符号化画像信号を復号化して得た復号化画像、量子化変数、マクロブロックタイプ及び動きベクトルなどの復元画像に対する情報を出力する画像復号化部と、その画像復号化部から入力された復元画像に対する情報に基づいて、復号すべき画素を基準にして、隣接した画素と処理すべき画素間の方向性を考慮して画像の緩和度及び原画像に対する信頼度を媒介とする費用関数を定義し、その費用関数から原画像に対する信頼度の加重値を与える正規化パラメータを適応的に求め、復号化すべき画素の範囲値にしたがって、復号化された画素をマッピングする投影法を利用して画素を復号するブロック化除去フィルタと、を備えている。
【００１３】
又、本発明に係るブロック化現象及びリンク現象を除去するための圧縮動画像の復元装置は、
符号化された画像信号を復号化して得た復号化画像、量子化変数、マクロブロックタイプ及び動きベクトルなどの復元画像に対する情報を出力する画像復号化部と、
その画像復号化部から入力した復元画像に対する情報に基づいて、復号すべき画素を基準にして、隣接した画素と処理すべき画素間の方向性を考慮し、画像の緩和度及び原画像に対する信頼度を媒介とする費用関数を定義し、その費用関数から原画像に対する信頼度の加重値及び原画像に対する緩和度の加重値を有する正規化パラメータを適応的に求めて、原画素を復号するブロック化除去フィルタと、を備えている。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態に対し図面を用いて説明する。
本発明実施形態に係る画像処理システムの圧縮画像の復号装置は、図１に示したように、エンコーダ（図５参照のこと）からイントラ／インター（ＩＮＴＲＡ／ＩＮＴＥＲ）情報（ｐ＝ｍｔｙｐｅ）、伝送情報（ｔ）、量子化情報（ｑｚ＝Ｑｐ）、ＤＣＴ係数ｑ及び動きベクトル（ｖ＝ＭＶ）を受けて復号するデコーダ２０１と、デコーダ２０１から画像信号（Ｙ、Ｕ、Ｖ）、量子化変数（ｑｚ＝Ｑｐ）、マクロブロックタイプ（ｍｔｙｐｅ）及び動きベクトル（ｖ＝ＭＶ）を受けて圧縮画像の復号動作を行い、復号された画像を出力するブロック除去フィルタ２０２とを備えている。
デコーダ２０１とエンコーダとは、通信チャンネル又はネットワークを介して連結されている。
【００１５】
以下、このように構成された画像処理システムの圧縮画像の復号装置の動作に対し図面を説明する。
図２は、本発明に係る画像処理システムの圧縮画像の復号動作の原理説明図で、各画素の位置情報を表したものである。即ち、中央の原画素ｆ（ｉ，ｊ）を基準にしたとき、ｆ（ｉ，ｊ−１）は左方に隣接した画素で、ｆ（ｉ，ｊ＋１）右方に隣接した画素で、ｆ（ｉ−１，ｊ）は上方に隣接した画素で、ｆ（ｉ＋１，ｊ）は下方に隣接した画素である。（ここで、ｉ、ｊは、それぞれ各画素の位置情報である。）
【００１６】
即ち、本発明の第１実施形態に係る圧縮動画像の復元方法においては、復号すべき画素単位に方向性を有する費用関数を定義し、その費用関数に基づいて正規化パラメータを求め、正規化パラメータに実際に利用可能な値を適用して復元する画素を求め、それをＤＣＴ変換した後、投影を行い、再び逆ＤＣＴ変換を行って原画像と類似の画像を復元するようになっている。以下これらの過程を説明する。
【００１７】
＜費用関数の定義＞
原画像ｆが圧縮して伝送されると、デコーダ２０１で再編成されるが、この画像ｇを表すと次式のようになる。
ｇ＝ｆ＋ｎ …………式（１）
ここで、ｇ、ｆ及びｎは、それぞれ走査順に再配列されたＭＭ×１の大きさを有し、ｎは、量子化誤差である。
原画像ｆを画素単位に処理するため、所定の位置情報（ｉ、ｊ）を有する原画素ｆ（ｉ、ｊ）を導入するが、原画素（ｉ、ｊ）とその画素（ｉ、ｊ）に対する量子化誤差のｎ（ｉ、ｊ）を利用して、復号された画素ｇ（ｉ、ｊ）を表すと次式のようになる。
ｇ（ｉ，ｊ）＝ｆ（ｉ，ｊ）＋ｎ（ｉ，ｊ） …………式（２）
この式（２）を考慮して、原画素ｆ（ｉ，ｊ）及びその原画素ｆ（ｉ，ｊ）の周辺の画素に対する緩和の程度を表す緩和度並びに、原画素ｆ（ｉ，ｊ）及び圧縮画素ｇ（ｉ，ｊ）に対する信頼度を含む費用関数を定義する。
【００１８】
先ず、原画素ｆ（ｉ，ｊ）に隣接した４個の画素ｆ（ｉ，ｊ＋１）、ｆ（ｉ＋１，ｊ）、ｆ（ｉ，ｊ−１）及びｆ（ｉ−１，ｊ）に対する方向性を考慮するため、それら隣接画素に対する費用関数Ｍ_HL（ｆ（ｉ，ｊ））、Ｍ_HR（ｆ（ｉ，ｊ））、Ｍ_VT（ｆ（ｉ，ｊ））、Ｍ_VD（ｆ（ｉ，ｊ））をそれぞれ定義し、かつ、原画素ｆ（ｉ，ｊ）の時間領域の関係を設定するための費用関数をＭ_T （ｆ（ｉ，ｊ））を定義する。
【００１９】
その後、各隣接画素に対する費用関数Ｍ_HL（ｆ（ｉ，ｊ））、Ｍ_HR（ｆ（ｉ，ｊ））、Ｍ_VT（ｆ（ｉ，ｊ））、及びＭ_VD（ｆ（ｉ，ｊ））並びに、時間領域の費用関数Ｍ_T （ｆ（ｉ，ｊ））を全て合算すると、次式（３）に示したように、原画素ｆ（ｉ，ｊ）に対する費用関数Ｍ（ｆ（ｉ，ｊ））を得ることができる。
【数９】

【００２０】
ここで、Ｍ_HLは、画素ｆ（ｉ，ｊ）とその画素の左側に隣接する画素ｆ（ｉ，ｊ−１）との関係を表す費用関数で、Ｍ_HR（ｆ（ｉ，ｊ））は、画素ｆ（ｉ，ｊ）とその画素の右に隣接した画素ｆ（ｉ，ｊ＋１）との関係を表す費用関数、Ｍ_VT（ｆ（ｉ，ｊ））は、画素ｆ（ｉ，ｊ）とその画素の上方に隣接した画素ｆ（ｉ−１，ｊ）との関係を表す費用関数、Ｍ_VD（ｆ（ｉ，ｊ））は、画素ｆ（ｉ，ｊ）とその画素の下に隣接した画素ｆ（ｉ＋１，ｊ）との関係を表す費用関数であり、Ｍ_T（ｆ（ｉ，ｊ））は、時間領域の関係を表す費用関数である。
【００２１】
従って、緩和度及び信頼度を表す費用関数は、次式（４）のように示される。
【数１０】

【００２２】
ここで、式（４）の各費用関数の右辺の第一項目は、原画素と隣接の画素間の緩和度を表し、右辺の第２項目は、原画素に対する復号画素の信頼度を表したものである。
且つ、式（４）の費用関数Ｍ_HL（ｆ（ｉ，ｊ））の右辺の第１項目は、原画素ｆ（ｉ，ｊ）とその左方に隣接した画素ｆ（ｉ，ｊ−１）との減算値を自乗した値、即ち、原画素ｆ（ｉ，ｊ）と左方に隣接した画素ｆ（ｉ，ｊ−１）間の誤差成分であって、原画素ｆ（ｉ，ｊ）と左方に隣接した画素ｆ（ｉ，ｊ−１）間の緩和度を表す。
【００２３】
又、費用関数Ｍ_HL（ｆ（ｉ，ｊ））の右辺の第２項目は、原画素ｆ（ｉ，ｊ）と圧縮画素ｇ（ｉ，ｊ）との減算値を自乗した値、即ち、原画素ｆ（ｉ，ｊ）と圧縮画素ｇ（ｉ，ｊ）間の誤差成分であって、原画素ｆ（ｉ，ｊ）に対する圧縮画素ｇ（ｉ，ｊ）の信頼度を表す。
更に、式（４）の費用関数Ｍ_HR（ｆ（ｉ，ｊ））の右辺の第１項目は、原画素ｆ（ｉ，ｊ）と右方に隣接した画素ｆ（ｉ，ｊ＋１）間の緩和度を表し、費用関数Ｍ_HR（ｆ（ｉ，ｊ））の右辺の第２項目は、原画素ｆ（ｉ，ｊ）に対する圧縮画素ｇ（ｉ，ｊ）の信頼度を表す。
且つ、式（４）の費用関数Ｍ_VT（ｆ（ｉ，ｊ））の右辺の第１項目は、原画素ｆ（ｉ，ｊ）と上方に隣接した画素ｆ（ｉ−１，ｊ）間の緩和度を表し、費用関数Ｍ_VT（ｆ（ｉ，ｊ））の右辺の第２項目は、原画素ｆ（ｉ，ｊ）に対する圧縮画素ｇ（ｉ，ｊ）の信頼度を表す。
又、式（４）の費用関数Ｍ_VD（ｆ（ｉ，ｊ））の右辺の第１項目は、原画素ｆ（ｉ，ｊ）と下方に隣接した画素ｆ（ｉ＋１，ｊ）間の緩和度を表し、費用関数Ｍ_VD（ｆ（ｉ，ｊ））の右辺の第２項目は、原画素ｆ（ｉ，ｊ）に対する圧縮画素ｇ（ｉ，ｊ）の信頼度を表す。
更に、式（４）のＭ_T （ｆ（ｉ，ｊ））は時間領域の関係を表す費用関数である。
【００２４】
式（４）の各費用関数の右辺の第２項目に含まれている値のα_HL、α_HR、α_VT、α_VD及びα_T は、正規化パラメータであって信頼度を表す誤差成分である。
即ち、それら各正規化パラメータは、信頼度に対する加重値であるため、その値が大きいほど信頼度は高くなるが、不均一さと信頼度は相互に相反する関係にあるため、正規化パラメータを設定すると、緩和度及び信頼度の比率が決定される。即ち、各正規化パラメータは、次式（５）のように示される。
【数１１】

【００２５】
式（５）の分母部は、原画素と圧縮画素間の減算値を意味し、分子部は、原画素と隣接画素との減算値の誤差成分を意味する。
【００２６】
＜費用関数から復号すべき画素を計算＞
本発明では、復号すべき原画素を求める必要があるが、各隣接画素との関係を示す費用関数には原画素の自乗が含まれているため、それらの各費用関数を原画素で偏微分した後、その結果値を整えると、原画素を求めることができる。
即ち、式（３）に示した費用関数Ｍ（ｆ（ｉ，ｊ））の微分結果を表すと、次式のようになる。
【数１２】

【００２７】
ここで、各隣接画素に対する費用関数の微分値の右辺の各項は次のように示される。
【数１３】

【００２８】
式（７）の結果値を式（６）に代入して、式（６）を整えると、復号すべき画素は次式のように示される。
【数１４】

【００２９】
式（８）で示される画素は、インターマクロブロックに属する画素であるが、式（６）に示したように、イントラマイクロタイプ（intra mtype） に符号化されたマクロブロックの画素には、時間軸上の動き情報が存在しないため、
【数１５】

になる。且つ、イントラマクロブロックに属する画素を表すと、式（９）のようになる。
【数１６】

【００３０】
このように、インターマクロブロックに属する画素は、式（８）より求められ、イントラマクロブロックに属する画素は次式（９）より求められる。この場合、マクロブロックの画素がイントラマクロタイプに符号化されるか、又は、インターマクロタイプに符号化されるかは、イントラ／インター情報（ｐ＝ｍｔｙｐｅ）により決定される。
式（８）、（９）に示したように、復号すべき画素には、正規化パラメータαが含まれているが、それら各正規化パラメータを求める方法に対し説明すると次の通りである。
【００３１】
＜正規化パラメータの近似化＞
式（５）に示したように、各正規化パラメータには、原画素、その原画素に隣接した画素及び復号された画素（圧縮画素）がそれぞれ含まれているが、原画素ｆ（ｉ，ｊ）及び４個の隣接画素ｆ（ｉ，ｊ−１）、ｆ（ｉ，ｊ＋１）、ｆ（ｉ−１，ｊ）、ｆ（ｉ＋１，ｊ）は復号以前の原画素であるため、デコーダには存在しない値である。従って、各画素ｆ（ｉ，ｊ）、ｆ（ｉ，ｊ−１）、ｆ（ｉ，ｊ＋１）、ｆ（ｉ−１，ｊ）、ｆ（ｉ＋１，ｊ）は、実計算の際に利用することができないため、それらの各画素を実際に利用し得る値の圧縮画素ｇ（ｉ，ｊ）、ｇ（ｉ，ｊ−１）、ｇ（ｉ，ｊ＋１）、ｇ（ｉ−１，ｊ）、ｇ（ｉ＋１，ｊ）に近似させる必要がある。このように正規化パラメータを近似化するため、次のような条件を仮定する。
【００３２】
▲１▼ マクロブロック単位の最大量子化誤差は、量子化変数（Ｑｐ）で、
▲２▼ 各ＤＣＴ係数の量子化誤差が均一に該当マクロブロック内の各画素に割り当てられており、
▲３▼ 原画像の隣接した二つの原画素間の不均一値が圧縮画像の隣接した二つの画素間の不均一値と統計的に類似である。このような仮定に基づき、各正規化パラメータ変は、次式（１０）のように近似化される。
【００３３】
【数１７】

【００３４】
ここで、ｌは、ｌ番目のマクロブロックを表し、Ｑ_plは、ｌ番目のマクロブロックの量子化パラメータである。且つ、式（１０）より各正規化パラメータの分母成分の原画素と圧縮画素との減算値は、最大量子化誤差に近似化され、分子成分の原画素と隣接画素との減算値の誤差は、圧縮画素と隣接した圧縮画素との減算値の誤差に近似されたことを意味する。
このように近似化された正規化パラメータを式（８）又は式（９）に代入すると、結果値ｆ（ｉ，ｊ）が得られる。
【００３５】
以下、本発明の第１実施形態に係る圧縮動画像の復元方法に対し、図３を用いて説明する。
先ず、処理すべき画素がイントラマクロブロックの画素又はインターマクロブロックの画素であるかどうかを判断し（ＳＴ１）、その判断結果に従って段階（ＳＴ２）又は段階（ＳＴ３）に進んで正規化パラメータを求める。
【００３６】
即ち、処理すべき画素がイントラマクロブロックの画素であると、式（１０）により正規化パラメータα_HL、α_HR、α_VT、α_VDをそれぞれ求め（ＳＴ２）、処理すべき画素がインターマクロブロックの画素であると、正規化パラメータα_HL、α_HR、α_VT、α_VD、α_T をそれぞれ求める（ＳＴ３）。その後、その求められた正規化パラメータから求めたい画素 ｆ（ｉ，ｊ）を求めるが（ＳＴ４）、この場合、処理すべき画素がインターマクロブロック画素であると、式（８）を利用し、処理すべき画素がインターマクロブロックの画素であると、式（９）を利用する。
【００３７】
＜投影法による画像の復元＞
次いで、前記求められた画素ｆ（ｉ，ｊ）に対しＤＣＴを行って量子化する（ＳＴ５）が、その結果、画素ｆ（ｉ，ｊ）のＤＣＴ係数はＦ（ｕ，ｖ）になる。且つ、ＤＣＴ処理された圧縮画像ｇ（ｉ，ｊ）のＧ（ｕ，ｖ）は、ＤＣＴ領域で次式のように示される。
Ｇ＝ＱＢｆ ………… 式（１１）
ここで、ＢはＤＣＴ過程を表し、Ｑは量子化過程を表す。
原画像のＤＣＴ係数と圧縮画像のＤＣＴ係数との関係を表すと、次式のようになる。
Ｇ（ｕ，ｖ）−Ｑ_pl≦Ｆ（ｕ，ｖ）≦Ｇ（ｕ，ｖ）＋Ｑ_pl………式（１２）
ここで、Ｇ（ｕ、ｖ）は、圧縮画像の（ｕ、ｖ）番目の２次元ＤＣＴ係数値を表し、Ｆ（ｕ、ｖ）は原画像の（ｕ、ｖ）番目の２次元ＤＣＴ係数値を表し、Ｑ_plは、ｌ番目のマクロブロックの最大量子化誤差で、各ＤＣＴ係数値は、復号された画像のＤＣＴ係数の範囲を設定する一種のサブセットである。
【００３８】
従って、復号された画像を式（１２）のサブセットに投影する（ＳＴ６）が、このような過程を表すと、次式のようになる。

【００３９】
即ち、Ｆ（ｕ，ｖ）がＧ（ｕ，ｖ）−Ｑ_plより小さいと、投影された復元画像Ｐ（Ｆ（ｕ，ｖ））をＧ（ｕ，ｖ）−Ｑ_plにマッピングさせ、Ｆ（ｕ，ｖ）がＧ（ｕ，ｖ）＋Ｑ_plより大きいと、投影された復元画像Ｐ（Ｆ（ｕ，ｖ））をＧ（ｕ，ｖ）＋Ｑ_plにマッピングさせるが、そうでなければ、投影された復元画像Ｐ（Ｆ（ｕ，ｖ））をそのままＦ（ｕ，ｖ）にマッピングさせる。
【００４０】
その後、空間領域でマッピングされたＰ（Ｆ（ｕ，ｖ））に対し逆ＤＣＴを行って、最終的に復号された画像を得るが、その復元画像を表すと、次式のようになる。
【数１８】

【００４１】
ここで、Ｋ（ｇ）は、式（８）又は式（９）に示したように復号すべき画素を計算する過程を意味し、ＢＫ（ｇ）は、ブロックＤＣＴ係数、ＰＢＫ（ｇ）は、投影されたブロックＤＣＴ係数、Ｂ^TＰＢＫ（ｇ）は、空間領域にて復号された投影のブロックＤＣＴ係数をそれぞれ意味する。
【００４２】
その後、復号された画像は、画像メモリに記憶され出力される。
このように、本発明では、デコーダから出力される複数の情報を利用し、各画素の緩和度及び信頼性を考慮して、復号された画像から発生するブロック現象及びリング現象を一挙に除去することができる。
【００４３】
＜反復法＞
復号された画素から発生するブロック現象及びリング現象が充分に除去されていない場合は、本発明に係る画像の復号化過程を反復して行うが、このように過程を反復するほどブロック現象及びリング現象はより除去されるが、画像のエッジ領域からにじみ現象が発生する。従って、この点を考慮して適切な回数に反復過程を行う必要がある。
【００４４】
本発明に係る画像の復号化過程がｋ回行われて得られた復元画像を表すと、次式（１５）、（１６）のようになる。
【数１９】

【００４５】
即ち、式（１５）に表される画像は、インターマクロブロックブロックに属する画素であり、式（１６）に表される画像は、イントラマクロブロックに属する画素である。
このような式（１５）、（１６）により正規化パラメータを求めて、ＤＣＴを行った後、投影法により逆ＤＣＴを行って復号された最後の復元画像は、次式のように表される。
【数２０】

【００４６】
このように、適応的復号化過程を行って復元された画像では、ブロック現象及びリンク現象が除去されて、ディジタル画像機器での実時間処理が可能となり、特に、低ビット率又は高速処理が要請される圧縮画像の画質を改善し得るという効果がある。
【００４７】
以下、本発明の第２実施形態に係る圧縮動画像の復元方法を説明する。
本発明の第２実施形態は、第１実施形態よりも計算量及び計算時間を低減させるために案出されたもので、図１の本発明に係る圧縮動画像の復元装置により行われる。
先ず、費用関数を次式（１８）のように定義する。

【００４８】
ここで、Ｍ_L は、画素（ｆ（ｉ，ｊ））と、左方に隣接した画素（ｆ（ｉ，ｊ−１））との関係を表す費用関数で、Ｍ_R （ｆ（ｉ，ｊ））は、画素（ｆ（ｉ，ｊ））と、右方に隣接した画素（ｆ（ｉ，ｊ＋１））との関係を表す費用関数で、Ｍ_U （ｆ（ｉ，ｊ））は、画素（ｆ（ｉ，ｊ））と、上方に隣接した画素（ｆ（ｉ−１，ｊ））との関係を表す費用関数で、Ｍ_D （ｆ（ｉ，ｊ））は、画素（ｆ（ｉ，ｊ））と、下方に隣接した画素（ｆ（ｉ＋１，ｊ））と、の関係を表す費用関数である。
【００４９】
次に、緩和度及び信頼度を含む費用関数をそれぞれ定義するが、本発明の第１実施形態では、原画素及び復元された画素に対する信頼度を表す部分（式（４）の右辺の二番目の項）のみに正規化パラメータが含まれるが、本発明の第２実施形態では、原画素及び復元された画素に対する信頼度を表す部分のみならず、原画素及び隣接が素に対する緩和度を表す部分にも正規化パラメータが含まれる。
【００５０】
このような画素の緩和度と信頼度は、相互に相反する関係にあり、各費用関数を表すと、次式（１９）の通りである。
【数２１】

【００５１】
上記式（１９）中、各費用関数の右辺の一番目の項は、原画素及び隣接画素に対する緩和度を表し、右辺の二番目の項は、原画素及び復元された画素に対する信頼度を表す。
ここで、α_L、α_R、α_U、α_Dは、各費用関数に対する正規化パラメータで、誤差成分として緩和度及び信頼度の比率を表し、例えば、α_L は、緩和度に対する加重値で、１−α_Lは、信頼度に対する加重値である。
従って、正規化変数値が大きいほど、緩和度は増大する反面、信頼度は減少する。
このように、正規化パラメータが費用関数の右辺の一番目の項及び右辺の二番目の項の両方に含まれるため、本発明の第１実施形態に比べ、緩和度及び信頼度の関係が一層明確に表される。
【００５２】
次に、復元すべき画素を求めるため、費用関数を原画素に対して、偏微分した後、その結果を整理すると、次の式（２０）となる。
【数２２】

【００５３】
上記式（２０）の右辺の各項を表すと、次の通りである。
【数２３】

【００５４】
上記式（２１）のように表される値を上記式（２０）に代入した後、整理すると、最終的に復号される画素は、次式（２２）のようになる。
【数２４】

一方、マクロタイプ（ｍｔｙｐｅ）には、ＣＯＤと定義されたビット値が含まれる。そのＣＯＤは、マクロブロックに対する情報を含む。このとき、ＣＯＤ値が‘０’であると、符号化されたマクロブロックを意味し、ＣＯＤ値が‘１’であると、符号化されていないマクロブロックを意味する。即ち、ＣＯＤ値に基づき、現在処理中のマクロブロックの画素が以前に伝送されたマクロブロックの画素と同一であるか否かを確認することができる。例えば、ＣＯＤ値が‘０’であると、圧縮状態の以前の画像のマクロブロックと現在処理中の画像のマクロブロックが異なることを意味し、ＣＯＤ値が‘１’であると、以前の画像のマクロブロックと現在処理中の画像のマクロブロックとが同じであることを意味する。従って、ＣＯＤ値が‘０’であるときは、式（２２）を利用して復元を行い、ＣＯＤ値が‘１’であるときは、次式（２３）のように、以前の画像のマクロブロックに対し、既に復元された画素値ｆｐ（ｉ，ｊ）を現在の画素値に置き代える。
ｆ（ｉ，ｊ）＝ｆｐ（ｉ，ｊ） ……………（２３）
【００５５】
次に、上記式（２２）に示されたように、復元すべき画素は、正規化パラメータαを含む。それらの各正規化パラメータは、次のように求められる。
即ち、正規化パラメータは、上記式（１９）より求めるが、それら正規化パラメータは、緩和度及び信頼度は、相反する関係にあるため、緩和度と信頼度との比率として正規化パラメータを整理すると、次式（２４）のようになる。
【数２５】

【００５６】
上記式（２４）に表れる正規化パラメータを求めるためには、画素ｆ（ｉ，ｊ），ｆ（ｉ，ｊ−１），ｆ（ｉ，ｊ＋１），ｆ（ｉ−１，ｊ），ｆ（ｉ＋１，ｊ））を実際に利用可能な値の圧縮画素ｇ（ｉ，ｊ），ｇ（ｉ，ｊ−１）ｇ（ｉ，ｊ＋１），ｇ（ｉ−１，ｊ），ｇ（ｉ＋１，ｊ））に近似化すべきであるが、このために、次のような条件を仮定する。
【００５７】
▲１▼各画素の量子化誤差は、マクロブロック単位に設定された量子化変数Ｑｐの関数であり、
▲２▼ブロックの境界から生じるブロック現象は、ブロック内部から生じるリング現象よりも不均一さが大きいため、ブロックの内部に位置する画素よりもブロックの境界に位置する画素に対する誤差を大いに反映する。即ち、誤差に画素の位置に従う加重値を与える。
このような仮定に基づいて、上記式（２４）を近似化すると、次式（２５）のようになる。
【数２６】

【００５８】
上記式中、Φ（Ｑｐ）は、量子化変数Ｑｐの関数で、画素の位置に従って異なる。
よって、関数Φ（Ｑｐ）の各画素の位置を考慮すると、α_L に対するΦ（Ｑｐ）は、Ｋ_LＱｐ²、α_Rに対するΦ（Ｑｐ）は、Ｋ_RＱｐ²、α_Uに対するΦ（Ｑｐ）は、Ｋ_UＱｐ²、αＤに対するΦ（Ｑｐ）は、Ｋ_DＱｐ²にそれぞれ表され、更に、常数Ｋ_L、Ｋ_R、Ｋ_U、Ｋ_Dは加重値であって、隣接画素がブロックの境界又は、ブロックの内部に位置するかに従い異なる値を有する。このように、各画素の位置を考慮し各正規化パラメータを近似化して表すと、次式（２６）のようになる。
【数２７】

【００５９】
上記式（２６）中、一つのブロックが８×８個の画素からなると仮定すると、即ち、 ｆ（ｉ，ｊ）のｉ及びｊがそれぞれ８であると仮定すると、加重値Ｋ_L、Ｋ_R、Ｋ_U、Ｋ_Dは、それぞれ次のように表される。
【数２８】

【００６０】
例えば、Ｋ_Lに関わる上記式は、ｊを８で除算したとき、残りが０であると、Ｋ_Lは、９で、そうでないと、Ｋ_Lは、１であるとこを意味する。
近似化された正規化パラメータを上記式（２２）に代入すると、結果値ｆ（ｉ，ｊ）が求められる。
【００６１】
図４は、本発明の他の実施形態に係る画像処理システムの圧縮画像復元方法を示したフローチャートである。
図示されたように、段階ＳＴ１０では、ＣＯＤ値に基づき、現在処理しているマクロブロックの画素が以前に伝送されたマクロブロックの画素と同じであるかどうかを判断して、同じであると、段階ＳＴ１１で、式（２３）に表したように、復元すべき画素値を以前の段階で既に復元された画素値に置き換える。
【００６２】
しかし、前記判断結果が同じでない場合は、段階ＳＴ１２で、式（２６）より正規化パラメータ変数α_L、α_R、α_U、α_Dをそれぞれ求め、段階ＳＴ１３で、式（２２）より復号化画素 ｆ（ｉ，ｊ）を求める。
【００６３】
このように、本発明の他の実施形態によれば、信頼度及び緩和度を有する正規化パラメータを考慮して、近似化される正規化パラメータには、画素の位置に従う加重値が与えられて、実際の画素値に近似する値が得られるため、第１実施形態の投影法及び反復法を行わずに済み、第１実施形態に比べ、計算量及び計算時間が低減されるという効果がある。
【００６４】
【発明の効果】
以上説明したように、本発明に係る画像処理システムの圧縮動画像の復元方法及びその装置においては、適応的復号化過程を行って復元された画像では、ブロック現象及びリンク現象が除去されて、ディジタル画像機器での実時間処理が可能となり、特に、低ビット率又は高速処理を要する圧縮画像の画質を改善し得るという効果がある。
且つ、信頼度及び緩和度を有する正規化パラメータを考慮して、近似化される正規化パラメータには、画素の位置に従う加重値が与えられて、実際の画素値に近似する値が得られるため、第１実施形態の投影法及び反復法を行わずに済み、第１実施形態に比べ、計算量及び計算時間が低減するという効果がある。
【図面の簡単な説明】
【図１】 本発明に係る画像処理システムの圧縮動画像の復元装置の図ロック図である。
【図２】 本発明に係る画素間の位置情報を示した動作説明図である。
【図３】 本発明の第1実施形態に係る画像処理システムの圧縮動画像の復元方法を示したフローチャートである。
【図４】 本発明の第2実施形態に係る画像処理システムの圧縮動画像の復元方法を示したフローチャートである。
【図５】 本発明の関連技術の画像エンコーダのブロック図である。
【符号の説明】
２０１：デコーダ
２０２：ブロック除去フィルタ

Claims (17)

1. 原画像をＤＣＴ処理と量子化処理を含む符号化処理した後、該符号化処理された圧縮画像が伝送されると、該伝送された圧縮画像を復号化し、復号化した画像のブロック化現象及びリング現象を除去する方法において、
   前記原画像の画素を示す原画素とその原画素に隣接した画素との間の情報の差分を画像の緩和度として定義するとともに、前記原画素とその原画素に対応する前記圧縮画像中の圧縮画素との間の情報の差分を前記原画像に対する信頼度として定義する第１の段階と、
   前記第１の段階で定義された前記緩和度と前記信頼度との和を費用関数として定義する第２の段階と、
   前記費用関数に含まれる前記信頼度を、前記原画像を符号化する過程で伝送された最大量子化誤差に近似させ、かつ前記費用関数に含まれる前記緩和度を、前記圧縮画素とこの圧縮画素に隣接した画素との間の情報の差分に近似させることにより、前記信頼度に対する前記緩和度の比率を表す正規化パラメータを近似的に求める第３の段階と、
   前記第３の段階で近似的に求められた正規化パラメータと前記費用関数の微分演算結果とに基づいて復元画像を求める第４の段階と
   を順次行うことを特徴とする画像処理システムの圧縮動画像の復元方法。
2. 前記原画素がインターマクロブロックに属する画素である場合は、前記原画素の時間軸上の動き情報が前記費用関数に包含されることを特徴とする請求項１記載の画像処理システムの圧縮動画像の復元方法。
3. 前記原画素に隣接した各画素は、前記原画素の上下左右４方向に隣接した画素であることを特徴とする請求項１記載の画像処理システムの圧縮動画像の復元方法。
4. Ｍ×Ｍの大きさのマクロブロック単位で原画像をＤＣＴ処理と量子化処理を含む符号化処理した後、前記符号化処理された圧縮画像が伝送されると、該伝送された圧縮画像を復号化し、復号化した画像のブロック化現象及びリング現象を除去する方法において、
   前記原画像の画素を示す原画素ｆ（ｉ，ｊ）とその原画素に隣接した画素との間の情報の差分を画像の緩和度として定義するとともに、前記原画素とその原画素に対応する前記圧縮画像中の圧縮画素ｇ（ｉ，ｊ）との間の情報の差分を原画像の信頼度として定義する第１の段階と、
   前記第１の段階で定義された前記緩和度と前記信頼度との和を費用関数Ｍ（ｉ，ｊ）として定義する第２の段階と、
   前記費用関数に含まれる前記信頼度を、前記原画像を符号化する過程で伝送された最大量子化誤差に近似させ、かつ前記費用関数に含まれる前記緩和度を、前記圧縮画素とこの圧縮画素に隣接した画素との間の情報の差分に近似させることにより、前記信頼度に対する前記緩和度の比率を表す正規化パラメータαを近似的に求める第３の段階と、
   前記第３の段階で近似的に求められた正規化パラメータと前記費用関数の微分演算結果とに基づいて復元画素を求める第４の段階と、
   前記第４の段階で求めた復元画素をＤＣＴ処理する第５の段階と、
   前記第５の段階でＤＣＴ処理されたＤＣＴ係数（Ｆ（ｕ，ｖ））を有する画素Ｐ（Ｆ（ｕ，ｖ））を、前記原画像を符号化する過程で伝送された前記原画素のＤＣＴ係数（Ｇ（ｕ，ｖ））と最大量子化誤差Ｑｐとに基づき最大量子化誤差Ｑｐの範囲内でマッピングする第６の段階と、
   第６の段階でマッピングされた画素を逆ＤＣＴ処理する第７の段階と
   を順次行うことを特徴とする画像処理システムの圧縮動画像の復元方法。
5. 前記費用関数Ｍ（ｉ，ｊ）は、原画素ｆ（ｉ，ｊ）と左方に隣接した画素ｆ（ｉ，ｊ−１）に対する緩和度及び信頼度を表す費用関数Ｍ_HL（ｆ（ｉ，ｊ））、原画素ｆ（ｉ，ｊ）と右方に隣接した画素ｆ（ｉ，ｊ＋１）に対する緩和度及び信頼度を表す費用関数Ｍ_HR（ｆ（ｉ，ｊ））、原画素ｆ（ｉ ，ｊ）と上方に隣接した画素ｆ（ｉ−１，ｊ）に対する緩和度及び信頼度を表すＭ_VT（ｆ（ｉ，ｊ））、原画素ｆ（ｉ，ｊ）と下方に隣接した画素ｆ（ｉ＋１，ｊ）に対する緩和度及び信頼度を表すＭ_VD（ｆ（ｉ，ｊ））及び原画素ｆ（ｉ，ｊ）に対する時間領域の関係を設定する費用関数Ｍ_T （ｆ（ｉ，ｊ））の総和であることを特徴とする請求項４記載の画像処理システムの圧縮動画像の復元方法。
6. 前記費用関数は、次式のように得られ、次式のｆ_MC（ｉ，ｊ）は、動き補償された画素で、α_HL、α_HR、α_VT、α_VD及びα_T は、前記各費用関数の正規化パラメータであることを特徴とする請求項５記載の画像処理システムの圧縮動画像の復元方法。
   

   
7. 前記ブロック化現象及びリング現象が除去される画素ｆ（ｉ，ｊ）は、その画素がインターマクロブロックに属する場合は、次式のように求められ、
   

   

   （ここで、α_TOT＝α_HL＋α_HR＋α_VT＋α_VD＋α_T である）
   前記ブロック化現象及びリング現象が除去される画素ｆ（ｉ，ｊ）は、前記画素がイントラマクロブロックに属する場合は、次式のように求められることを特徴とする請求項６記載の画像処理システムの圧縮動画像の復元方法。
   

   

   （ここで、α_TOT＝α_HL＋α_HR＋α_VT＋α_VD＋α_T である）
8. 前記正規化パラメータα_HL、α_HR、α_VT、α_VD及びα_T は、それぞれ次式のように近似化して求められ、式中、Ｑplは、ｌ番目のマクロブロックの量子化変数であることを特徴とする請求項６記載の画像処理システムの圧縮動画像の復元方法。
   

   
9. 前記画素Ｐ（Ｆ（ｕ、ｖ））を求める過程では、原画像の２次元ＤＣＴ係数の（ｕ，ｖ）番目の値Ｆ（ｕ，ｖ）が、Ｇ（ｕ，ｖ）−Ｑplより小さいと、投影された画素Ｐ（Ｆ（ｕ，ｖ））をＧ（ｕ，ｖ）−Ｑplにマッピングさせ、前記Ｆ（ｕ，ｖ）がＧ（ｕ，ｖ）＋Ｑplより大きいと、画素Ｐ（Ｆ（ｕ，ｖ））をＧ（ｕ，ｖ）＋Ｑplにマッピングさせるが、上記の全ての場合に該当しないと、画素Ｐ（Ｆ（ｕ，ｖ））をそのままＦ（ｕ，ｖ）にマッピングさせ、ここで、前記Ｇ（ｕ，ｖ）は、原画像の２次元ＤＣＴ係数の（ｕ，ｖ）番目の値で、Ｑplはｌ番目のマクロブロックの最大量子化誤差であることを特徴とする請求項４記載の画像処理システムの圧縮動画像の復元方法。
10. 前記緩和度及び信頼度を定義する前記第１の段階から最終的に前記ブロック化現象及びリング現象が除去された画素を求める前記第７の段階までの過程をｋ回繰り返して最終的にブロック化現象及びリング現象が除去された画像を求めることを特徴とする請求項４記載の画像処理システムの圧縮動画像の復元方法。
11. 原画像がＤＣＴ処理及び量子化処理を含む符号化処理された後、前記符号化処理された圧縮画像が伝送されると、該伝送された圧縮画像を復号化するとともに、この復号化画像と、量子化変数及びマクロブロックタイプを含む前記復号化画像に対応する情報とを出力する画像復号化部と、
    前記原画像の画素を示す原画素ｆ（ｉ，ｊ）とその原画素に隣接した画素との間の情報の差分として定義された画像の緩和度と、前記原画素とその原画素に対応する前記圧縮画像中の圧縮画素ｇ（ｉ，ｊ）との間の情報の差分として定義された原画像に対する信頼度との和を表す費用関数に含まれる前記信頼度を、前記画像復号化部から出力された量子化変数を示す最大量子化誤差に近似させ、かつ前記費用関数に含まれる前記緩和度を、前記圧縮画素とこの圧縮画素に隣接した画素との間の情報の差分に近似させることにより、前記信頼度に対する前記緩和度の比率を表す正規化パラメータを近似的に求め、求めた正規化パラメータと前記費用関数の微分演算結果と前記画像復号化部から出力されたマクロブロックタイプとに基づいてブロック化現象及びリング現象が除去された画像を求めるブロック化除去フィルタと
    を備えたことを特徴とする画像処理システムの圧縮動画像の復元装置。
12. 前記ブロック化除去フィルタによりブロック化現象及びリング現象が除去された画像に対しＤＣＴ変換を行うＤＣＴ変換部と、
    そのＤＣＴ変換を行った後、そのＤＣＴ変換された画素を、前記圧縮画素とこの圧縮画素に対応する最大量子化誤差とに基づいて投影するベクトル投影部と、そのベクトル投影部により投影された画像に対して逆ＤＣＴ変換を行うＩＤＣＴ変換部と、
    を更に備えて構成されることを特徴とする請求項１１記載の画像処理システムの圧縮動画像の復元装置。
13. Ｍ×Ｍの大きさのマクロブロック単位で原画像がＤＣＴ処理及び量子化処理を含む符号化処理された後、前記符号化処理された圧縮画像が伝送されると、該伝送された圧縮画像を復号化し、復号化した画像のブロック化現象及びリング現象を除去する方法において、
    前記原画像の画素を示す原画素ｆ（ｉ，ｊ）とその原画素に隣接した画素との間の情報の差分を画像の緩和度として定義するとともに、前記原画素とその原画素に対応する前記圧縮画像中の圧縮画素ｇ（ｉ，ｊ）との間の情報の差分を前記原画像の信頼度として定義する段階と、
    前記緩和度と前記信頼度との和を費用関数Ｍ（ｉ，ｊ）として定義する段階と、
    前記費用関数に含まれる前記信頼度を、前記原画像を符号化する過程で伝送された最大量子化誤差に近似させ、かつ前記費用関数に含まれる前記緩和度を、前記圧縮画素とこの圧縮画素に隣接した画素との間の情報の差分に近似させることにより、前記信頼度に対する前記緩和度の比率を表す正規化パラメータαを近似的に求める段階と
    を順次行うことを特徴とする画像処理システムの圧縮動画像の復元方法。
14. 前記費用関数は、それぞれ次式のように求められ、式中、α_L、α_R、α_U、α_D は、各費用関数に対する正規化パラメータであることを特徴とする請求項１３記載の画像処理システムの圧縮動画像の復元方法。
    

    
15. ブロック化現象及びリング現象が除去された画素f(i,j)は、現在処理しているマクロブロックの画素が以前に伝送されたマクロブロックの画素と同様であると、以前の画像のマクロブロックに対し、ブロック化現象及びリング現象が除去された画素値を現在の画素値に代置し、同様でないと、次式のように求めることを特徴とする請求項１４記載の画像処理システムの圧縮動画像の復元方法。
    

    

    （ここで、α_TOT＝α_HL＋α_HR＋α_VT＋α_VD＋α_T である）
16. 前記正規化パラメータα_L、α_R、α_U、α_Dは、 それぞれ次のように近似化され、式中、Ｋ_LＱｐ²、Ｋ_RＱｐ²、Ｋ_UＱｐ²、Ｋ_DＱｐ²は、 量子化変数Ｑｐの関数で、常数Ｋ_L、Ｌ_R、Ｋ_U、Ｋ_Dは、それぞれ正規化パラメータα_L、α_R、α_U、α_D に対する加重値であって、隣接画素がブロックの境界又は、ブロックの内部に位置するかに従い異なる値を有することを特徴とする請求項１４記載の画像処理システムの圧縮動画像の復元方法。
    

    
17. 前記加重値Ｋ_L、Ｌ_R、Ｋ_U、Ｋ_D は、画素ｆ（ｉ，ｊ）のｉ及びｊが８であると仮定すると、それぞれ次のように表されることを特徴とする請求項１６記載の画像処理システムの圧縮動画像の復元方法。
    

    

Images