JP3678481B2 - 映像データ後処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号復号化装置に用いる後処理方法に関するものであって、特に、復号化された映像データを効果的に後処理して、この復号化映像データのブロックの境界に現れるブロッキング現象を除去し得る後処理方法に関する。
【０００２】
【従来の技術】
高精細度テレビ(HDTV)及びテレビ電話システムのような多様な電子/ 電気的な用途においては、一般に、映像信号をディジタル形態にて伝送する必要がある。この映像信号をディジタル形態にて表現する場合には、大量のディジタルデータが生じる。しかし、通常の伝送チャネルの利用可能な周波数帯域幅は制限されているため、大量のディジタルデータをその制限されたチャネルを通じて伝送するためには、伝送すべきデータの量を圧縮しなければならない。多様な映像信号圧縮技法のうち、いわゆる、統計的符号化法と時間的及び空間的圧縮法とを組み合わせたハイブリッド符号化技法が最も有効であることが知られている。
【０００３】
殆どのハイブリッド符号化技法は、適応インタ/ イントラモード符号化(inter/intra mode coding) 、直交変換、変換係数の量子化、RLC （ランレングス符号化）及びVLC （可変長符号化）を含む多様な信号処理技法を採用している。適応インタ/ イントラモード符号化は、現フレームのPCM （パルス符号変調）データまたは、例えば、PCM データの分散に基づいたDPCM（差分パルス符号変調）データから引き続く直交変換のための映像信号を選択するプロセスである。予測方法として知られているインタモード符号化は、隣接フレーム間の冗長性を減らす概念に基づいたものであって、現フレームと１つまたは２つの隣接フレームとの間の物体の動きを求める共に、その物体の動く流れによって現フレームを予測して、現フレームとその予測値と間の差を表すエラー信号を生成するプロセスである。このような符号化法は、例えば、Staffan Ericssonの論文、“「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」、IEEE Transactions on Communications,COM-33,No.12,1291-1301頁(1985 年12月）”と、Ninomiya及びOhtsuka の論文“「A Motion-Compensated Interframe Coding Scheme for Television Pictures 」、IEEE Transactions on Communications,COM-30,No.1,201-210 頁(1982 年1 月）”に開示されている。
【０００４】
直交変換は、現フレームのPCM データまたは動き補償されたDPCMデータのような映像データ間の空間的相関性を用いて、それらの間の空間的冗長性を減らすかまたは除去し、ディジタル映像データのブロックを１組の変換係数に変換する。このような技法は、例えば、Chen及びPratt の論文“「Scene Adaptive Coder」、IEEE Transactions on Communications,COM-32,No.3,225-232 頁(1984 年3 月）”に開示されている。そのような変換係数のデータを量子化、ジグザグ走査、RLC 及びVLC を通じて処理することによって、伝送すべきデータの量を有効に圧縮することができる。
【０００５】
符号化映像データは、通常の伝送チャネルを経て受信機の映像信号復号化装置内の映像信号デコーダへ伝送される。この映像信号デコーダにおいては、符号化動作の逆過程を行うことによって、元の映像データを再構成する。しかし、再構成映像データまたは復号化映像データでは、受信機にてブロックの境界線が目立つようになるブロッキング現象と称されるアーチファクトが表示される。このようなブロッキング現象は、１フレームをブロック単位で符号化しているため頻繁に生じ、更に、量子化ステップサイズが大きくなる場合（即ち、該ブロックがより粗く量子化される場合）に一層目立つようになる。詳述すると、任意のブロックがその隣接ブロックより明るいか、または暗い場合で、しかも、イントラブロックＤＣ係数を量子化するのに大きな量子化ステップサイズを用いる場合には、該任意のブロックとその隣接ブロックとの間の強度の差がより一層明確となる。その結果、ブロッキング現象がより激しくなることによって、映像の画質が低下する。
【０００６】
従って、ブロッキング現象を減らすことによって復号化映像データの画質を改善するために、多様なタイプの後処理技法が提案されてきた。一般に、これらの後処理技法は、後処理フィルタを用いて復号化映像データを更に処理するものである。
【０００７】
後処理フィルタを用いる後処理技法においては、予め定められた遮断周波数を有する低域通過フィルタを用いて復号化映像データを画素単位でフィルタリングする。後処理フィルタを採用した後処理技法は、本願発明と出願人を同じくする係属中の米国特許出願第08/431,880号明細書に、「IMPROVED POST-PROCESSING METHOD FOR USE IN AN IMAGE SIGNAL DECODING SYSTEM」という名称で開示されている。この技法は、フィルタリングした各映像データを繰り返し後処理することによって、復号化映像データのブロックの境界に現れるブロッキング現象を減らすことができる。しかしながら、このような後処理技法は、復号化映像データをブロック内に含まれる各画素の位置を考慮せずにフィルタリング処理するため、ブロックの境界に沿うブロッキング現象を充分に除去することができない。
【０００８】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像信号復号化装置に用いられ、現ブロックの画素値とその隣接ブロックの画素値とを調整するか、一致させることによって、復号化映像データにおいてブロックの境界に現れるブロッキング現象を十分に除去できる後処理方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、符号化されたディジタル映像信号を復号化する映像信号復号化装置に用いられ、現ブロックを後処理する映像データ後処理方法であって、前記符号化されたディジタル映像信号が、量子化された変換係数からなる複数の符号化ブロックを有し、前記符号化ブロックのうちのいずれか一つに対応する前記現ブロックが、ＤＣ量子化ステップサイズ（ＱＳ）に基づいて量子化される一つの量子化されたＤＣ係数と予め定められた数の量子化されたＡＣ係数とを有しており、
前記現ブロックと該現ブロックの上側及び左側に置かれた隣接ブロックとの間の境界線に沿って位置する前記現ブロックの画素の平均輝度値（ＭＶ）を求める第１過程と、
前記隣接ブロック内における画素の画素値の変化量を用いて、前記現ブロック内の画素の平均画素値を推定することによって、隣接ブロック内の画素の推定平均値（ＥＭＶ）を発生する第２過程と、
前記平均輝度値（ＭＶ）、前記推定平均値（ＥＭＶ）及び前記ＤＣ量子化ステップサイズに基づいて、前記現ブロック内の画素の画素値を調整する第３過程と
を含み、前記第３過程が、
前記平均輝度値（ＭＶ）から前記推定平均値（ＥＭＶ）を減算する過程と、
（ＭＶ−ＥＭＶ）＞ＱＳ／２の場合、前記現ブロックの全画素値をＱＳ／２だけ減少させ、（ＭＶ−ＥＭＶ）＜−ＱＳ／２の場合は、前記現ブロックの全画素値をＱＳ／２だけ増加させ、−ＱＳ／２＜（ＭＶ−ＥＭＶ）＜ＱＳ／２の場合には、前記現ブロックの全画素値を（ＥＭＶ−ＭＶ）だけ増加させる過程と、
を含むことを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながら詳細に説明する。
図１には、ブロッキング現象を除去し得る本発明による映像信号復号化装置の概略的なブロック図を示してある。図示するように、符号化された映像ビットストリームが、通常のエンコーダ（図示せず）から復号化装置内のバッファ１００へ供給される。このバッファ１００は、符号化映像ビットストリームを受け取ると共に、これを一定のビットレートで可変長デコーダ（ＶＬＤ）１０２へ供給する。
【００１１】
ＶＬＤ１０２では、まず、入力された符号化映像ビットストリームを多重分離して、イントラ／インタモード信号、符号化映像データ（即ち、量子化変換係数からなる複数の符号化ブロック）及び可変長の符号化動きベクトルを発生し、その後、複数の符号化されたブロックの量子化変換係数を復号化して、複数の量子化変換係数Ｑｆｓのブロック及びこれらの各ブロックに対する１組の量子化ステップサイズをラインＬ１０を経て逆量子化器１０６へ供給し、可変長の符号化動きベクトルもやはり復号化して、ラインＬ１２を経て動き補償器１２８へ供給する。各ブロック（例えば、８×８ブロック）に対するＱｆｓは、一つのＤＣ係数と６３個のＡＣ係数を有しており、1 組の量子化ステップサイズは２種類の量子化ステップサイズを有し、その一方はＤＣ係数に対する量子化ステップサイズを表し、他の一方はＡＣ係数に対する量子化ステップサイズを表す。
【００１２】
逆量子化器１０６においては、ラインＬ４を経てＶＬＤ１０２から供給されるイントラ／インタモード信号によって決定された対応する組の量子化ステップサイズを用いて、一つのブロックのＱｆｓを１組のＤＣＴ係数に変換する。その後、この組のＤＣＴ係数をＩＤＣＴ（離散的逆コサイン変換器）１１０へ供給すると共に、ＤＣ係数に対する量子化ステップサイズを後処理ブロック１２４へ供給する。
ＩＤＣＴ１１０は、ＤＣＴ係数の組を一つのブロックのＩＤＣＴデータに逆変換し、このデータを加算器１１６へ供給する。
【００１３】
一方、動き補償器１２８は、ＶＬＤ１０２からラインＬ１２を経て供給される動きベクトルを用いて、フレームメモリ１２６に格納された前フレームからＩＤＣＴデータのブロックに対応する画素データのブロックをラインＬ１８を経て抽出すると共に、この抽出画素データを動き補償データとしてスイッチＳＷ１０へ供給する。このスイッチＳＷ１０においては、インタモード信号がラインＬ１４を経て入力される場合、動き補償データを加算器１１６に送出してＩＤＣＴデータと加算することによって、復号化データ信号を後処理ブロック１２４へ供給し、イントラモード信号がラインＬ４を経て入力される場合には、スイッチＳＷ１０は閉鎖状態となり、ＩＤＣＴ１１０からのＩＤＣＴデータは何等加算動作されることなく加算器１１６を経て後処理ブロック１２４へと供給される。
【００１４】
この後処理ブロック１２４では、現ブロックとその隣接ブロックとの間における画素の輝度値の差が大きいために生じる、いわゆる、ブロッキング現象を次のようにして除去する。即ち、このようなブロッキング現象は、先ず、現ブロックとその隣接ブロックとの間の境界線に沿って位置する現ブロックの画素の平均輝度値（ＭＶ）を計算した後、隣接ブロック内に位置する画素の画素値の変化量を用いて現ブロック内の画素の平均輝度値を推定することによって、該現ブロックの画素の推定平均値（ＥＭＶ）を求め、その後、ＭＶ、ＥＭＶ、現ブロックのＤＣ量子化ステップサイズ（ＱＳ）に基づいて、現ブロックの全画素値を調整することによって除去することができる。−ＱＳ／２＜（ＭＶ−ＥＭＶ）＜ＱＳ／２の場合には、前記現ブロックの全画素値を（ＥＭＶ−ＭＶ）だけ増加させ、（ＭＶ−ＥＭＶ）＞ＱＳ／２の場合、前記現ブロックの全画素値をＱＳ／２だけ減少させ、（ＭＶ−ＥＭＶ）＜−ＱＳ／２の場合は、前記現ブロックの全画素値をＱＳ／２だけ増加させる。この後処理ブロック１２４については、以下図２を参照して詳細に説明する。
【００１５】
後処理ブロック１２４は、平均値計算器２０２及び平均値推定器２１２と、乗算器２０４と、第１及び第２加算器２０６及び２２０と、第１及び第２減算器２０８及び２１８と、第１及び第２セレクター２１０及び２１４と、バッファ２１６とから構成されている。ＩＤＣＴデータは、ラインＬ１３を経て加算器１１６から平均値計算器２０２及びバッファ２１６へ各々入力される。平均値計算器２０２は、現ブロックの画素値を格納すると共に第１平均値ＭＶを計算する。図３（Ａ）の拡大図である図３（Ｂ）に示すように、例えば、８×８ブロックに対するＭＶは、次式（１）のように計算される。
【００１６】
【数１】

ここで、Ｃ（ｉ、ｊ）は、現ブロックにおけるｉ番目の行とｊ番目の列に位置する画素の輝度値を表す。上記式（１）から分かるように、ＭＶは、現ブロックとその隣接ブロックとの間の境界線に沿って位置する現ブロックの画素の輝度値の平均値となる。
【００１７】
一方、図中、現ブロックの上側及び左側に置かれた隣接ブロックの全画素値は、ラインＬ１４を経てフレームメモリ１２６から平均値推定器２１２へ入力される。この平均値計算器２１２では、平均値ＥＭＶを計算する。図３（Ｂ）を参照するに、現ブロックの隣接ブロックが上側及び左側に位置する場合、２つの８×８ブロックに対するＥＭＶは、次式（２）のように計算される。
【００１８】
【数２】

ここで、Ｕ（ｉ、ｊ）は、上側に位置する隣接ブロックにおけるi 番目の行とｊ番目の列の画素の輝度値を、Ｌ（ｉ、ｊ）は、左側に位置する隣接ブロックにおけるｉ番目の行とｊ番目の列の画素の輝度値を各々表す。上記式（２）から分かるように、ＥＭＶは、隣接ブロック内の画素の画素値の変化を用いて求められる。
【００１９】
平均値ＭＶと推定された平均値ＥＭＶとの間の差に基づいて、現ブロックの画素値を調整するために、乗算器２０４は、逆量子化器１０６からのＱＳに１／２を乗じ、この乗算結果ＱＳ／２を、ラインＬ２４を経て第１加算器２０６へ供給する。第１加算器２０６は、平均値計算器２０２からのＭＶと乗算器２０４からのＱＳ／２とを加算し、この加算結果ＭＶ＋ＱＳ／２を、ラインＬ２６を経て第１セレクター２１０へ供給する。この第１セレクター２１０は、加算器２０６からのＭＶ＋ＱＳ／２と平均値推定器２１２からのＥＭＶとのうちで、小さいほうの値を選択して第２セレクター２１４へ供給する。第１減算器２０８はＭＶとＱＳ／２との差を計算し、この減算結果ＭＶ−ＱＳ／２を第２セレクター２１４へ供給する。この第２セレクター２１４は、減算器２０８からのＭＶ−ＱＳ／２と第１セレクター２１０からの選択値とのうちで、大きい方の値を選択して第２減算器２１８へ供給する。第２減算器２１８は、第２セレクター２１４からの値からＭＶを減算することによって、ＱＳ／２、ＥＭＶ−ＭＶまたは−ＱＳ／２のうちの１つを発生する。第２加算器２２０においては、第２減算器２１８からの結果とバッファ２１６で遅延された現ブロックの全画素値とを加算することによって、現ブロックの調整された画素値を発生させる。この調整された画素値は、フレームメモリ１２６及び表示装置に同時に供給される。
【００２０】
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２１】
【発明の効果】
従って、本発明によれば、現ブロック画素の平均値とその隣接ブロックの平均値とを用いて、該現ブロックの画素値を調整して、復号化された映像データのブロック境界に現れるブロッキング現象を大きく減らすことによって、映像信号の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明による映像信号復号化装置の概略的なブロック図である。
【図２】図１の後処理ブロックの詳細なブロック図である。
【図３】（Ａ）は、フレーム内の現ブロックとその隣接ブロックとを示す説明図であり、（Ｂ）は、図３（Ａ）の拡大図であり、ブロック間の境界に位置する画素値を調整してブロッキング現象を除去する動作を説明するための図である。
【符号の説明】
１００、２１６ バッファ
１０２ ＶＬＤ（可変長復号化器）
１０６ 逆量子化器
１１０ ＩＤＣＴ（離散的逆コサイン変換器）
１１６、２０６、２２０ 加算器
１２４ 後処理ブロック
１２６ フレームメモリ
１２８ 動き補償器
２０２ 平均値計算器
２０４ 乗算器
２０８、２１８ 減算器
２１０、２１４ 第１及び第２セレクター
２１２ 平均値推定器
ＳＷ１０ スイッチ

Claims (1)

1. 符号化されたディジタル映像信号を復号化する映像信号復号化装置に用いられ、現ブロックを後処理する映像データ後処理方法であって、前記符号化されたディジタル映像信号が、量子化された変換係数からなる複数の符号化ブロックを有し、前記符号化ブロックのうちのいずれか一つに対応する前記現ブロックが、ＤＣ量子化ステップサイズ（ＱＳ）に基づいて量子化される一つの量子化されたＤＣ係数と予め定められた数の量子化されたＡＣ係数とを有しており、
   前記現ブロックと該現ブロックの上側及び左側に置かれた隣接ブロックとの間の境界線に沿って位置する前記現ブロックの画素の平均輝度値（ＭＶ）を求める第１過程と、
   前記隣接ブロック内における画素の画素値の変化量を用いて、前記現ブロック内の画素の平均画素値を推定することによって、隣接ブロック内の画素の推定平均値（ＥＭＶ）を発生する第２過程と、
   前記平均輝度値（ＭＶ）、前記推定平均値（ＥＭＶ）及び前記ＤＣ量子化ステップサイズに基づいて、前記現ブロック内の画素の画素値を調整する第３過程と
   を含み、前記第３過程が、
   前記平均輝度値（ＭＶ）から前記推定平均値（ＥＭＶ）を減算する過程と、
   （ＭＶ−ＥＭＶ）＞ＱＳ／２の場合、前記現ブロックの全画素値をＱＳ／２だけ減少させ、（ＭＶ−ＥＭＶ）＜−ＱＳ／２の場合は、前記現ブロックの全画素値をＱＳ／２だけ増加させ、−ＱＳ／２＜（ＭＶ−ＥＭＶ）＜ＱＳ／２の場合には、前記現ブロックの全画素値を（ＥＭＶ−ＭＶ）だけ増加させる過程と、
   を含むことを特徴とする映像データ後処理方法。

Images