JP5001853B2 - 映像符号化及び復号化装置とその方法 - Google Patents

Description

本発明は、映像符号化及び復号化に係り、特に、主観的損失のない許容ノイズを利用して決定された量子化パラメータで映像を符号化し、符号化されたビット列を復号化するための映像符号化及び復号化装置とその方法に関する。

これまで人間の視感特性を映像符号化に適用する多くの試みがあった。このような努力は、復元された映像の画質を評価する人間の視覚的能力が単純な信号処理観点と一致しないということに基づいている。しかし、映像符号化において、多くの接近方法が依然として人間が感じるノイズと信号ノイズとが同一であるという仮定から始まっている。特に、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）は、最も広く使用している信号ノイズであると言え、これにより復元された映像の画質の程度をＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）により数値的に評価している。

一般的に多く使用する視感特性指標としては、ＪＮＤ（Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｓｔｏｒｔｉｏｎ）値を挙げることができる。ＪＮＤ値は一つの画素値に対して周辺画素値の相対的な変化度を考慮して計算されたものであり、人間が複雑な背景では大きいノイズに対して認識できない特性をモデリングする。映像符号化では、各画素に対して得られたＪＮＤ値を利用して、量子化過程で量子化パラメータを追加的に調整する。このような過程を通じて人間の視感特性に敏感な領域に対してはノイズをさらに少なく発生させ、鈍感な領域についてはノイズをさらに多く発生させて圧縮率を高める。

一方、ＪＮＤ値以外に周波数領域での人間の視感特性を考慮できる。このために、多様なテスト映像から人間の視感特性のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を経験的に求め、これを利用して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数に対して各周波数領域に対する量子化加重値を抽出した。

このようなＪＮＤ値を利用するか、量子化値を利用して人間の視感特性を映像符号化に適用する方式は多くの限界点を持つ。量子化値を利用する場合、単に周波数成分に対する値を一括的に適用する問題点を持ち、人間の視感特性が単に周辺の画素値との相対的な値にのみ依存するものではないので、ＪＮＤ値の適用に問題点がある。また、各画素値に対してＪＮＤ値を計算するために、ビット量制御で基本的に提供される量子化パラメータを各画素単位で修正せねばならない。したがって、修正される前の別途の情報が復号化器に伝えられるか、復号化器でＪＮＤ値が符号化器でと同じ値に計算されねばならない。この時、復号化器では再生された値のみ持っているので、符号化器でも復号化器でと同様に、再生された値を以ってＪＮＤ値を計算せねばならないという根本的な問題点を持つ。

人間の視感特性を反映して映像符号化を行う関連文献としては、Ｂｏｗｏｎｋｏｏｎ Ｃｈｉｔｐｒａｓｒｔ及びＫ．Ｒ．Ｒａｏの論文“Ｈｕｍａｎ Ｖｉｓｕａｌ Ｗｅｉｇｈｔｅｄ Ｐｒｏｇｒａｓｓｉｖｅ Ｉｍａｇｅ Ｔｒａｎｓｍｉｓｓｉｏｎ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．３８，ｐｐ．１０４０−１０４４，Ｊｕｌｙ，１９９０），ＩＳＯ／ＩＥＣ １１１７２−２，Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｏｒａｇｅ Ｍｅｄｉａ ａｔ Ｕｐ ｔｏ Ａｂｏｕｔ １．５Ｍｂｉｔ／ｓ Ｐａｒｔ ２：Ｖｉｄｅｏ，１９９３，Ｋｉｎｇ Ｎ．Ｎｇａｎ，Ｋｉｎ Ｓ．Ｌｅｏｎｇ及びＨ．Ｓｉｎｇｈの論文、“Ａｄａｐｔｉｖｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ Ｃｏｄｉｎｇ ｏｆ Ｉｍａｇｅ ｉｎ Ｐｅｒｃｅｐｔｕａｌ Ｄｏｍａｉｎ”（ＩＥＥＥ Ｔｒａｎｓ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３７，ｐｐ．１７４３−１７５０，Ｎｏｖ．１９８９）などを挙げることができる。

本発明が解決しようとする技術的課題は、主観的損失のない許容ノイズを利用して決定された量子化パラメータで映像を符号化するための映像符号化装置及び方法と、その映像復号化装置及び方法を提供するところにある。

本発明が解決しようとする他の技術的課題は、主観的損失のない許容ノイズを利用して決定された量子化パラメータで映像を量子化し、各コーディングブロックを品質レイヤーに区分し、量子化された映像を品質レイヤー別スキャン順序によって符号化するための映像復号化装置及び方法と、その映像復号化装置及び方法を提供するところにある。

前記技術的課題を達成するために、本発明による映像符号化装置は、入力される原映像を変換して空間的重畳を除去する変換部と、前記原映像から許容ノイズを獲得する許容ノイズ獲得部と、前記許容ノイズを利用して量子化パラメータを決定する量子化パラメータ決定部と、前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する量子化部と、前記量子化された係数をエントロピー符号化して統計的重畳を除去するエントロピー符号化部と、を備えることを特徴とする。

前記技術的課題を達成するために、本発明による映像符号化装置は、入力される原映像を変換して空間的重畳を除去する変換部と、前記原映像から許容ノイズを獲得する許容ノイズ獲得部と、前記許容ノイズを利用して量子化パラメータを決定する量子化パラメータ決定部と、前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する量子化部と、前記許容ノイズを利用して決定される品質レイヤーによってスキャン順序を決定するスキャン順序決定部と、前記量子化された係数を前記品質レイヤーによるスキャン順序にエントロピー符号化して、統計的重畳を除去するエントロピー符号化部とを備えることを特徴とする。

前記技術的課題を達成するために、本発明による映像符号化方法は、入力される原映像を変換して空間的重畳を除去する工程と、前記原映像から許容ノイズを獲得する工程と、前記許容ノイズを利用して量子化パラメータを決定する工程と、前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する工程と、前記量子化された係数をエントロピー符号化して統計的重畳を除去する工程とを含むことを特徴とする。

前記技術的課題を達成するために、本発明による映像符号化方法は、入力される原映像を変換して空間的重畳を除去する工程と、前記原映像から許容ノイズを獲得する工程と、前記許容ノイズを利用して量子化パラメータを決定する工程と、前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する工程と、前記許容ノイズを利用して決定される品質レイヤーによってスキャン順序を決定する工程と、前記量子化された係数を、前記品質レイヤーによるスキャン順序にエントロピー符号化して、統計的重畳を除去する工程とを含むことを特徴とする。

前記さらに他の技術的課題を達成するために、本発明による映像復号化装置は、入力されるビット列をエントロピー復号化して、量子化された係数を生成するエントロピー復号化部と、前記量子化された係数を逆量子化して変換係数を生成する逆量子化部と、前記変換係数を逆変換して復元された映像を生成する逆変換部とを備えることを特徴とする。

前記さらに他の技術的課題を達成するために、本発明による映像復号化方法は、入力されるビット列をエントロピー復号化して、量子化された係数を生成する工程と、前記量子化された係数を逆量子化して変換係数を生成する工程と、前記変換係数を逆変換して復元された映像を生成する工程とを含むことを特徴とする。

前記映像符号化方法または映像復号化方法は、望ましくは、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体に具現できる。

本発明によれば、主観的損失のない許容ノイズを利用して決定された量子化パラメータで映像を符号化及び復号化することによって、符号化効率及び復元された映像の主観的画質を大幅向上させることができる。

また、主観的損失のない許容ノイズを利用して決定された量子化パラメータで映像を量子化し、各コーディングブロックを品質レイヤーに区分し、量子化された映像を品質レイヤー別スキャン順序によって符号化及び復号化することによって、スケーラブル機能を持ちつつ符号化効率及び復元された映像の主観的画質を大幅向上させることができる。

以下、添付された図面を参照して本発明による映像符号化装置及び方法と、その復号化装置及び方法について詳細に説明する。

図１は、本発明の一実施形態による映像符号化装置の構成を示すブロック図であり、変換部１１０、許容ノイズ獲得部１３０、量子化パラメータ決定部１５０、量子化部１７０及びエントロピー符号化部１９０を備えてなる。一方、スキャン順序決定部１８０は、オプションで備わりうる。

図１を参照するに、変換部１１０は、入力されるフレーム映像で視空間的な重畳を除去するためのものであり、商用化されるか、制定された映像あるいはビデオ圧縮標準で使用するＤＣＴ、ウェーブレット変換、予測、あるいは整数変換などを使用でき、必ずしもこれに限定されるものではない。望ましくは、ウェーブレット変換を使用できる。

許容ノイズ獲得部１３０は、入力される原映像から許容ノイズを求め、求められた許容ノイズを量子化パラメータ決定部１５０に提供する。ここで、許容ノイズは、認識基盤オーディオ符号化で使われるマスキング臨界値と類似した機能を行うものであり、一実施形態では、カラー量子化アルゴリズムを利用して許容ノイズを求める。

量子化パラメータ決定部１５０は、許容ノイズ獲得部１３０で求められた許容ノイズを利用して、コーディングブロック単位で一つの量子化パラメータを決定して量子化部１７０に提供する。すなわち、量子化部１７０で、各コーディングブロックに対する量子化結果として、発生する量子化ノイズが許容ノイズ以下になるように、各コーディングブロックの量子化パラメータを決定する。

量子化部１７０は、変換部１１０から提供される各コーディングブロックの変換係数に対して、量子化パラメータ決定部１５０で決定された各コーディングブロックの量子化パラメータを利用して、各コーディングブロックの量子化を行い、量子化された各コーディングブロックの変換係数をエントロピー符号化部１９０に提供する。

スキャン順序決定部１８０は、任意数の品質レイヤーによって各レイヤーに対して許容ノイズを利用して、決定されたほどのビットプレインで構成される各品質レイヤーを利用してスキャン順序を決定する。ここで、品質レイヤーは、エンベデッド符号化されたビット列の伝送時に、損失が発生する場合、復元された映像の画質、すなわち、品質に一定の影響を及ぼしうる境界を表す。まず、最上位ビットレートである場合、該当する第１許容ノイズ

（外１）

は、第１品質を保証する第１コスト関数を満足できるカラー数ｋにより決定される。最初の品質レイヤーは、第１品質より低い第２品質を保証する第２コスト関数を満足できるように、第１許容ノイズ

（外２）

を決定するカラー数ｋより小さなカラー数ｍで得られる第２許容ノイズ

（外３）

を利用して決定する。同様に、第２品質レイヤーは、第２品質より低い第３品質を保証する第３コスト関数を満足できるように、第２許容ノイズ

（外４）

を決定するカラー数ｍより小さなカラー数ｎで得られる第３許容ノイズ

（外５）

を利用して決定する。この時、品質レイヤーの数及び各品質レイヤーに対応するコスト関数は、符号化初期にスキャン順序決定部１８０に予め入力しておくことができる。すなわち、スキャン順序は、上位品質レイヤーから下位品質レイヤーに進行する。

エントロピー符号化部１９０は、量子化部１７０から提供される量子化された各コーディングブロックの変換係数に対して、統計的な重畳を除去してビット列を生成する。この時、最上位ビットレートでは、各コーディングブロック単位でスキャンを行いつつエントロピー符号化を行う。一方、サブビットレートでは、スキャン順序決定部１８０で決定されたスキャン順序によって品質レイヤー単位でスキャンを行いつつエントロピー符号化を行う。エントロピー符号化部１９０は、スケーラブル機能を提供するためにエンベデッド符号化を行えるが、この時、ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）機能を提供するＭＰＥＧ−４オーディオコーデックで使用するＢＳＡＣ（Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）アルゴリズムを適用する。また、ＢＳＡＣアルゴリズムの圧縮効率を向上させるために、基本文脈（ｃｏｎｔｅｘｔ）を適応的に更新させる適応的算術符号化を適用できる。このように本発明に適用されたエントロピー符号化アルゴリズムを、文脈基盤適応的算術符号化アルゴリズムと称する。

図２は、木の葉に対してカラー量子化した結果を説明するためのものであり、（ａ）は、原映像、（ｂ）は、１０個のカラー数でカラー量子化した結果、（ｃ）は、３０個のカラー数でカラー量子化した結果、（ｄ）は、４１個のカラー数でカラー量子化した結果をそれぞれ表す。図３は、図２に図示された原映像と各カラー量子化した結果間のエラー映像とを説明するためのものであり、（ａ）は、原映像、（ｂ）は、原映像と１０個のカラー数でカラー量子化した映像間のエラー映像、（ｃ）は、原映像と３０個のカラー数でカラー量子化した映像間のエラー映像、（ｄ）は、原映像と４１個のカラー数でカラー量子化した映像間のエラー映像をそれぞれ表す。ここで、各エラー映像は、Ｒ、Ｇ、Ｂ各カラーに１２８のオフセットが加わった映像である。

許容ノイズ獲得部１３０の細部的な動作を説明するに先立って、カラー量子化アルゴリズムについて簡単に説明する。

一般的に多く使われる映像は、一つの画素がＲ、Ｇ、Ｂの３つの成分で構成され、それぞれ８ビットで表現される。この場合、映像を表現するカラーの総数は２^２４個であり、非常に多くの表現可能なカラー数を持つ。しかし、人間の認知能力はこれらすべてのカラーの数をそれぞれ区別できず、このような認知能力は、カラーの値自体だけでなく周囲画素のカラー分布によって多様に変わる。カラー量子化アルゴリズムの一例では、色に対してＬａｂ空間で色に対する人間の視感的な距離と数値的距離とが比較的一致するという特性とフィボナッチ格子（Ｆｉｂｏｎａｃｃｉ Ｌａｔｔｉｃｅ）とを利用したものがある（Ａｌｅｋｓａｎｄｒａ Ｍｏｊｓｉｌｏｖｉｃ及びＥｍｉｎａ Ｓｏｌｊａｎｉｎの論文、“Ｃｏｌｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｆｉｂｏｎａｃｃｉ Ｌａｔｔｉｃｅｓ”、ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１０，ｐｐ．１７１２−１７２５，Ｎｏｖ．２００１参照）。これによれば、５１２個または１０２４個内外の小さなカラー数を持って、原映像と区別し難い復元された映像を作ることができる。カラー量子化アルゴリズムの他の例では、画素の相関性、輝度でのノイズ及び明暗対応のノイズを利用して、新たな映像ノイズを定義している（Ｚｈｏｕ Ｗａｎｇ及びＡｌａｎ Ｃ．Ｂｏｖｉｋ、“Ｕｎｉｖｅｒｓａｌ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｉｎｄｅｘ”，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，ｖｏｌ．９，ｐｐ．８１−８４，Ｍａｒｃｈ ２００２参照）。カラー量子化アルゴリズムのさらに他の例では、人の認知能力を平坦性と分別性とでモデリングして、各映像での認知能力に対する敏感度を加重値で表現し、この加重値によって小さなカラー数でのみイメージを表現する努力があった（Ｋｕｋ−Ｊｉｎ Ｙｏｏｎ及びＩｎ−Ｓｏ Ｋｗｅｏｎの論文、“Ｈｕｍａｎ Ｐｅｒｃｅｐｔｉｏｎ Ｂａｓｅｄ Ｃｏｌｏｒ Ｉｍａｇｅ Ｑｕａｎｔｉｚａｔｉｏｎ”，１７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ａｕｇｕｓｔ，２００４）。このアルゴリズムの特徴は、視感的な特性を利用して抽出したイメージ値を利用してカラー量子化を行う過程で、漸進的なカラー量子化と定義したコスト関数とによって最適のカラー数ｎを決定する。したがって、この過程を通じて２個のカラーで構成された量子化映像から、ｎ個のカラーで構成された量子化映像を得ることができる。一方、映像符号化でのカラー量子化アルゴリズムは、カラーベクトル量子化の概念として使われる。すなわち、カラー量子化を行った後に、実際の画素値と量子化された値とをマッピングするマッピングテーブルと、量子化された画素からなるインデックス映像とを、エントロピーコーディングを通じて圧縮を行う（Ｚｈｕ Ｌｉ ａｎｄ Ａｇｇｅｌｏｓ Ｋ．Ｋａｔｓａｇｇｅｌｏｓ，“Ｃｏｌｏｒ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｅｒ”，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，ｐｐ．６７３−６７６，Ｏｃｔ．２００２参照）。

許容ノイズ獲得部１３０では、原映像に対してフレーム単位あるいは一定のブロック単位でカラー量子化を行った結果を利用して許容ノイズを獲得する。これをさらに細部的に説明すれば、原映像を

（外６）

と略す）と、ｋ個のカラー数でカラー量子化された映像を

（外７）

と略す）と表し、この時、

（外８）

とは、視覚的に同一であると仮定する。ここで、

（外９）

と任意の整数ｋに対するに

（外１０）

とに対して、次の式（１）で表現できる。

ここで、

（外１１）

は、原映像

（外１２）

とｋ個のカラー数でカラー量子化された映像

（外１３）

とに対するエラー映像である。

この時、次の式（２）を満足する整数ｈを探すことができる。

前記式（２）で整数ｈを探す方法はいろいろありえる。一例として、前記式（２）を満足できる適宜なコスト関数を定義し、カラー数を２からｎまで漸進的に増加させていきつつ、カラー量子化を行った映像と原映像とのエラー映像がコスト関数を満足させうる最小のカラー数を決定する。

一方、任意の整数ｋ（≧ｈ）に対しては、エラー映像

（外１４）

を、次の式（３）を満足する任意のノイズｅに入れ替えて映像γを作っても、依然として

（外１５）

の関係が成立する。

ここで、エラー映像

（外１６）

を許容ノイズと定義し、許容ノイズ以下のノイズが入る場合には、原映像と量子化された映像とが同一である。すなわち、二つの映像間に主観的な損失がないということを意味する。許容ノイズは、決定されたエラー映像

（外１７）

に存在する各画素値あるいは各画素値の絶対値を一定のブロック、例えば、コーディングブロック単位に区分して求める。

図４は、図１の許容ノイズ獲得部１３０において、原映像に対して各画素単位で得られた許容ノイズを説明するものであり、ここでは、エラー映像

（外１８）

で画素値の絶対値を取って各コーディングブロック単位でグラフで示したものである。

図５は、図１において、量子化パラメータ決定部１５０の動作を説明するものであり、各コーディングブロック単位で一つの量子化パラメータが決定される。例えば、コーディングブロックＢ_０は量子化パラメータＱｐ_０を、コーディングブロックＢ_８は量子化パラメータＱｐ_８を、コーディングブロックＢ_１６は量子化パラメータＱｐ_１６を持つ。図５を参照して、許容ノイズを利用して許容ノイズ以下に量子化ノイズ、すなわち、符号化エラーが発生できるように最大量子化パラメータを決定する方法を説明する。

原映像

（外１９）

に対して量子化パラメータＱｐを利用して量子化した後、同じ量子化パラメータＱｐを利用して逆量子化して、復元した映像

（外２０）

は、次の式（４）のように表現できる。

ここで、

（外２１）

は、原映像

（外２２）

に対して量子化パラメータＱｐを利用して量子化した後、同じ量子化パラメータＱｐを利用して逆量子化する過程を表す関数である。ここで、量子化及び逆量子化は、多様なアルゴリズムを適用して行うことができ、一例としては、デッドゾーンを持つ均一量子化アルゴリズムを適用でき、この時、量子化過程及び逆量子化過程は、次の式（５）及び（６）のように表すことができる。次の式（５）及び（６）は、量子化パラメータを２倍した値を６等分して量子化を行うように設計されたものである。

一方、量子化ノイズは、次の式（７）のように表すことができる。

量子化パラメータＱｐは、符号化される情報であるので、あらゆる画素に対してそれぞれの量子化パラメータＱｐを符号化することは非常に非効率的である。したがって、原映像

（外２３）

に対して一定のサイズのブロック単位、例えば、コーディングブロック単位に分けて各コーディングブロック単位で量子化パラメータを決定する。任意のコーディングブロックを

（外２４）

とし、コーディングブロック

（外２５）

の量子化パラメータを

（外２６）

とする場合、式（４）及び式（５）は、次の式（８）及び（９）のように整理されうる。

前記式（９）を許容ノイズと結びつけて表せば、コーディングブロックの量子化パラメータは、次の式（１０）で表現できる。

ここで、

（外２７）

は、それぞれ全体エラー映像に存在するコーディングブロックの許容ノイズ及びコーディングブロック

（外２８）

の量子化ノイズをそれぞれ表し、これは、許容ノイズを獲得した後に分かる値であるため、定数

（外２９）

と設定する。

各コーディングブロックの量子化パラメータ

（外３０）

を決定するために、一定の変化幅で漸進的に小さな値から大きい値に増加させる方法を採択するが、必ずしもこれに限定されるものではない。コーディングブロックの量子化パラメータ

（外３１）

の初期値と変化幅とは、演算量と正確度のトレードオフ関係を持つ。図５に図示された許容ノイズグラフで、各コーディングブロックＢ_ｏ〜Ｂ_１７に対して表示された太いラインは、各コーディングブロックに対して設定した許容ノイズの限界値を表す。すなわち、各コーディングブロックに設定された許容ノイズ限界値を超える量子化ノイズが発生しないように、各コーディングブロックの量子化パラメータを決定するのである。

一方、許容ノイズを利用した映像符号化は、多様な形態の符号化器に適用できる。例えば、空間的重畳を除去するために、符号化に使われる変換及び逆変換過程をそれぞれ次の式（１１）及び（１２）のように定義する。

この時、式（１）を、変換概念を使用して次の式（１３）のように表現できる。

変換概念の線形性を利用すれば、式（１３）は、次の式（１４）のように表すことができる。

式（１４）は、ブロック概念を導入する場合、次の式（１５）のように表すことができる。

前記式（１４）及び（１５）から、全体映像単位の変換またはブロック単位の変換に許容ノイズの概念をいずれも使用できることが分かる。

再び図１に戻って、エントロピー符号化部１９０では、圧縮効率、スケーラブル機能、及び複雑度を考慮して、文脈基盤適応的算術符号化を利用したエンベデッド符号化によりエントロピー符号化を行う。この時、文脈基盤適応的算術符号化のために文脈を設定する。処理されたデータの文脈から現在シンボルの確率値を予測し、これを算術符号化に反映する。したがって、確率値がよく予測されるように文脈を説明する必要がある。文脈の選定のためには、現在のシンボルに対して相関度の高い文脈を選定する。一方、エンベデッド符号化のために原映像に対して複数個のレイヤー構造を形成するためには、変換部１１０で多重レイヤーウェーブレットフィルタリングを行うことが望ましい。各レイヤーは、上位レイヤーと共に他の解像度についての情報を提供するために、多重レイヤーウェーブレットフィルタリングは空間的スケーラビリティを提供できる。最上位レイヤーは、ＬＬ（Ｌｏｗ−Ｌｏｗ）バンドだけで構成され、残りの下位レイヤーは、それぞれＬＨ（Ｌｏｗ−Ｈｉｇｈ）、ＨＬ（Ｈｉｇｈ−Ｌｏｗ）、ＨＨ（Ｈｉｇｈ−Ｈｉｇｈ）バンドで構成される。各レイヤーを再生するために、上位レイヤーについての情報をいずれも提供する。したがって、エントロピー符号化のためのレイヤー順序は、最上位レイヤーから始まって下位レイヤーにつながる。

一方、各レイヤーを構成しているバンドに対するエントロピー符号化のためにコーディングブロックを定義する。コーディングブロックは、レイヤーによってブロックのサイズが変わり、符号化時に符号化パラメータで定義できる。コーディングブロックは、量子化パラメータ決定単位、量子化された係数値についてのＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）情報提供単位、レイジービット情報提供単位、ブロックスキャン単位として使われうる。エントロピー符号化部１９０では、ブロックスキャン単位、すなわち、コーディングブロック単位でビットプレイン符号化を行う。すなわち、ＭＳＢからＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）まで走査線順序に基づいて、画素のビットがスキャンされて符号化が行われる。

以下、エントロピー符号化部１９０に適用された文脈基盤適応的算術符号化をさらに具体的に説明する。

量子化された係数に対する最も小さなエントロピー符号化入力単位をシンボルという場合、ＢＳＡＣアルゴリズムは、量子化された係数に対するビットプレイン符号化であるために、シンボルは０または１のうちいずれか一つの値を持つ。したがって、本発明に適用されるＢＳＡＣアルゴリズムは、基本的に二進算術符号化である。各シンボルに対する文脈を選定するために考慮されねばならない要素としては、各シンボルに対する各文脈の相関度を挙げることができる。すなわち、各シンボルに対する文脈の相関度が高ければ、各シンボルに対する確率値をさらに正確に予測でき、正確な確率値によって算術符号化時に圧縮効率を高めることができる。文脈を選定するために相関度と共に考慮されねばならない要素としては、文脈の因果率（ｃａｕｓａｂｉｌｉｔｙ）を挙げることができる。すなわち、符号化器で使われる文脈は、復号化器で使われる文脈と同じ値で構成されねばならないので、文脈は既に処理されて符号化されたシンボルまたは付加情報で構成される。一方、文脈を選定するために相関度と共に考慮されねばならない他の要素としては、複雑度を挙げることができる。ＢＳＡＣアルゴリズムは、あらゆる量子化された係数のＭＳＢからＬＳＢまであらゆるビットをシンボルとするために、処理されねばならないシンボルの数が非常に多い。各シンボルに対する文脈の種類が過度に多ければ、圧縮効率は上昇させることができる一方、符号化器及び復号化器でメモリの容量及び処理速度面で負担になりうる。特に、適応的算術符号化の場合、過度に多様な文脈は、新たなビットパターンに対する適応速度を低下させて圧縮効率をかえって落とす恐れがある。

エントロピー符号化部１９０では、各シンボルに対する文脈を設定するために、隣接画素間の相関度が最も高いという映像の特性と複雑度を考慮して、一つのコーディングブロックで各シンボルの画素を中心とする、例えば、３×３ウィンドウを設定する。これによれば、一つのウィンドウ内に含まれる画素らに対して文脈を構成できる。図６は、図１のエントロピー符号化部１９０で文脈を設定するために、任意のコーディングブロックに対して適用した３×３ウィンドウを示す図である。

次いで、ビットプレイン符号化のために、次の式（１６）のように任意のビットプレインｊの確率値を予測して二進算術符号化を行う。

前記式（１６）において、ｊは、シンボルのビットプレイン番号、ｌは、レイヤー番号、ｂは、バンド番号をそれぞれ表す。Ｌは、レイジービット、ｖ_ｊは、ｊ＋１番目ビットプレインで１が出た数、ｗ_ｊは、ｊ番目ビットプレインで既に処理されたビットパターンを表す。

一方、レイジービットＬは、次の式（１７）のように決定される。

ここで、ｍは、コーディングブロックに含まれた画素の平均を表し、ＭＳＢ（ｘ）は、ｘを表現するビットプレインで１値を持つ最も上位ビット位置を表す。

図７は、図１のエントロピー符号化部１９０でビットプレイン符号化時に使われる文脈を説明する図である。図７を参照するに、例えば、ｊ番目ビットプレインに含まれたシンボル７１０の文脈計算は、直上位のｊ＋１番目ビットプレインのビット７２０と、ｊ番目ビットプレインで既に処理された４個のビットパターン７１０とを利用して決定する。一方、式（１６）のようにレイジービットＬより小さなビットプレイン、すなわち、レイジープレーンプレインでは確率値を１／２に固定する。レイジービットより小さなビットプレインにあるシンボルは、別途の文脈計算をしないために、これによる演算量の低減を図ることができる。相異なる量子化パラメータ値により多様な量子化された係数を持つ場合、レイジービットを使用すれば、相対的なビットプレイン値ｊ−Ｌを提供するので、符号化効率を大幅向上させることができる。

図８は、図１のスキャン順序決定部１８０の動作を説明するための図である。

エントロピー符号化部１９０では、上位ビットレートで主観的にノイズが最小化された復原映像を得ることができる。また、文脈基盤適応算術符号化を通じて空間及びＳＮＲスケーラビリティを提供するために、一度生成されたビット列は目的によって必要に応じて再生に使用できる。このように、ビット列の一部を使用する場合に発生する画質についての最適化問題を説明すれば、次の通りである。

一部ビット列から再生された映像に対する画質最適化のために、ビット列構成において重要な情報を前方に位置させることと、任意のサイズを持つビット列に対して主観的画質観点で最適化させることとを考慮することができる。すなわち、一部ビット列を切る時、全体ビット列の後側からから切るので、画質に影響を多く及ぼす重要な情報であるほど前方に配置させるのである。これは、いずれもエントロピーコーディングのためのスキャン順序と非常に密接に関連している。

エントロピー符号化部１９０で、最上位ビットレートでは、文脈基盤適応的算術符号化に基づいてコーディングブロック単位でスキャンされ、各コーディングブロックは、各ビットプレインに対して走査線方向にスキャンされる。サブビットレートでの最適化のために、コーディングブロックのスキャン順序、コーディングブロック内で画素のスキャン順序、及びビットプレインでのスキャン順序を考慮することができる。コーディングブロックのスキャン順序及びコーディングブロック内で画素のスキャン順序は、メモリ使用量や複雑度の側面と共に考慮されねばならない。また必要な場合、重要なコーディングブロックと重要な画素とを先ずスキャンできるように、スキャン順序を定めたテーブルを使用するか、適応的にスキャン順序を変えることができる。

文脈基盤適応的算術符号化では、一つのコーディングブロックであらゆるビットプレインがＭＳＢからＬＳＢまでスキャンされた後に、他のコーディングブロックをスキャンする。このようなスキャン方式は、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）の概念であり、各画素のビットプレインに対する重要度は、ＭＳＢに近いほど高いという仮定を基盤とする。したがって、最上位ビットレートでは、このような仮定を適用できるが、サブビットレートではその適用に限界がある。

これを解決するために、スキャン順序決定部１８０では、量子化された係数に対して品質レイヤーを決定する。品質レイヤーは、ＪＰＥＧ２０００に使われたＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）アルゴリズムで採用している方法である（Ｄａｖｉｄ Ｔａｕｂｍａｎの論文、“Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｃａｌａｂｌｅ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＥＢＣＯＴ”、ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．９，ｐｐ．１１５８−１１７０，Ｊｕｌｙ ２０００参照）。スキャン順序決定部１８０では、ビットプレイン符号化に対して任意数の品質レイヤーによって、各レイヤーに対して許容ノイズを利用して決定されたほどのビットプレインで一つの品質レイヤーを構成する。構成された品質レイヤーは、上位品質レイヤーからスキャンする。

以下、許容ノイズを利用して視感的ノイズ側面で、サブビットレートでの最適化がどのように行われるかについて説明する。

品質レイヤー数をｎとすれば、ｎ個の品質レイヤー（図９のＬ０、Ｌ１など）で構成されるビット列

（外３２）

で表すことができる。ここで、ビット列

（外３３）

を復号化する過程を

（外３４）

とすれば、スケーラブル機能によってｎ個の再生映像、すなわち、

（外３５）

を得ることができる。この時、各再生映像に対するエラー映像は、

（外３６）

で表すことができる。各工程で使用する許容ノイズ（図８で８３０、８５０）を求めるためには、先ず、原映像に対してカラー量子化された映像を求め、このカラー量子化された映像β_０，β_１，…，β_ｎ−１は、次の式（１８）のような性質を持つ。

ここで、

（外３７）

は、映像βにあるカラー数を表す。

それぞれのカラー量子化された映像に対して、許容ノイズτ_ｉを次の式（１９）のように求める。

式（１３）で、各工程のカラー量子化された映像β_ｉが、与えられたカラー数ｉに対して視感的に最適の映像を再現していると仮定して、式（１９）を満足すれば、各品質レイヤーに対して人間の視感特性を基盤とするＲ−Ｄ曲線上に、それぞれのサブビットレートで最適化されたと言える。すなわち、次の式（２０）が成立する。

図１０は、本発明の一実施形態による映像復号化装置の構成を示すブロック図であり、エントロピー復号化部１０１０、逆量子化部１０３０及び逆変換部１０５０を備えてなる。

図１０を参照するに、エントロピー復号化部１０１０は、入力されるビット列をエントロピー復号化して量子化された係数を生成する。エントロピー復号化過程は、図１に図示された映像符号化装置において、エントロピー符号化過程の逆過程に該当する。

逆量子化部１０３０では、エントロピー復号化部１０１０で提供される量子化された係数を逆量子化して変換係数を生成する。逆量子化過程は、図１に図示された映像符号化装置において量子化過程の逆過程に該当する。

逆変換部１０５０では、逆量子化部１０３０で提供された変換係数を逆変換して復元された映像を生成する。逆変換過程は、図１に図示された映像符号化装置において変換過程の逆過程に該当する。

次いで、本発明による映像符号化及び復号化アルゴリズムの性能を評価するための比較実験を実施した。テスト映像は、５１２×５１２サイズであり、カラーは、ＹＵＶ４４４フォーマットを使用した。ウェーブレット分解及び合成のために、Ｙ成分は９／７フィルターを、Ｕ及びＶ成分は５／３フィルターを使用し、使われたフィルター係数値はＪＰＥＧ２０００と同一である。一方、ウェーブレットフィルターは、いずれもリフティング構造で具現された。ウェーブレット分解は５ステップまで行って総６ステップの空間スケーラブル映像を復元でき、この時、コーディングブロックは次の表１のように設定した。

比較実験のために使われたＪＰＥＧ２０００ソフトウェアは、ＪＰＥＧ２０００ホームページで公開された参照用ソフトウェア（ｈｔｔｐ：／／ｗｗｗ．ｊｐｅｇ．ｏｒｇ／ｊｐｅｇ２０００／ｉｎｄｅｘ．ｈｔｍｌ）であり、Ｊａｓｐｅｒバージョン１．７０１．０である。この時、符号化器オプションは、デフォルトに設定して実験を実施した。

図１１の（ａ）ないし（ｄ）は、テスト映像の例であり、それぞれヒヒ、クリップ、オウム及び木の葉を表し、Ｒ、Ｇ、Ｂそれぞれ８ビットで構成される５１２×５１２サイズの映像である。

ところが、本発明による符号化及び復号化アルゴリズムを具現するに当っては、ＭＳＥ概念でのＲ−Ｄ最適化過程を行わない一方、ＪＰＥＧ２０００では、ＭＳＥ概念でのＲ−Ｄ最適化過程を行っている。このような状況で測定されたＰＳＮＲを説明すれば、テスト映像の種類と圧縮率によって、輝度成分の場合にＪＰＥＧ２０００により復号化された映像が約０．８ｄＢ高い値を示した。

次の表２は、本発明とＪＰＥＧ２０００によりそれぞれ復号化された映像に対するＰＳＮＲ値を比較したものであり、データ上ではＰＳＮＲにおいて差があることが分かる。

一方、図１２の（ａ）及び（ｃ）は、本発明を‘ヒヒ’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像、（ｂ）及び（ｄ）は、ＪＰＥＧ２０００を‘ヒヒ’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像を表す。図１３の（ａ）及び（ｃ）は、本発明を‘クリップ’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像、（ｂ）及び（ｄ）は、ＪＰＥＧ２０００を‘クリップ’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像を表す。図１４の（ａ）及び（ｃ）は、本発明を‘オウム’に適用した場合、それぞれ１００：１及び２００：１の圧縮率で符号化及び復号化により得られた映像、（ｂ）及び（ｄ）は、ＪＰＥＧ２０００を‘オウム’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像を表す。図１５の（ａ）及び（ｃ）は、本発明を‘木の葉’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像、（ｂ）及び（ｄ）は、ＪＰＥＧ２０００を‘木の葉’に適用した場合、それぞれ２０：１及び５０：１の圧縮率で符号化及び復号化により得られた映像を表す。

このように図１２の（ａ）ないし（ｄ）、図１３の（ａ）ないし（ｄ）、図１４の（ａ）ないし（ｄ）、図１５の（ａ）ないし（ｄ）を説明すれば、本発明及びＪＰＥＧ２０００により復号化された映像は、主観的には互いに同一あるいは類似した映像であることが確認できる。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記録装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーにより容易に推論できる。

本発明は、図面に図示された一実施形態を参考として説明したが、これは例示的なものに過ぎず、当業者ならばこれより多様な変形及び実施形態の変形が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって定められねばならない。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。 木の葉に対してカラー量子化した結果を説明するための図である。 図２に図示された原映像と各カラー量子化した映像間のエラー映像を説明するための図である。 図１の許容ノイズ獲得部において、原映像に対してコーディングブロック単位で得られた許容ノイズを説明する図である。 図１において量子化パラメータ決定部の動作を説明する図である。 図１のエントロピー符号化部で、文脈を設定するために使われる３×３ウィンドウを示す図である。 図１のエントロピー符号化部で、ビットプレイン符号化時に使われるレイジービットを説明する図である。 図１において、スキャン順序決定部の動作を説明する図である。 図８において、決定された品質レイヤーによるスキャン順序を説明する図である。 本発明の一実施形態による映像復号化装置の構成を示すブロック図である。 （ａ）ないし（ｄ）は、本発明による映像符号化及び復号化アルゴリズムの性能を評価するために使われたテスト映像の例を示す図である。 （ａ）ないし（ｄ）は、図１０の（ａ）のテスト映像に対して、本発明による映像符号化及び復号化アルゴリズムとＪＰＥＧ２０００とを比較した図である。 （ａ）ないし（ｄ）は、図１０の（ｂ）のテスト映像に対して、本発明による映像符号化及び復号化アルゴリズムとＪＰＥＧ２０００とを比較した図である。 （ａ）ないし（ｄ）は、図１０の（ｃ）のテスト映像に対して、本発明による映像符号化及び復号化アルゴリズムとＪＰＥＧ２０００とを比較した図である。 （ａ）ないし（ｄ）は、図１０の（ｄ）のテスト映像に対して、本発明による映像符号化及び復号化アルゴリズムとＪＰＥＧ２０００とを比較した図である。

Claims (14)

1. 入力される原映像を変換して空間的重畳を除去する変換部と、
   前記原映像から許容ノイズを獲得する許容ノイズ獲得部と、
   前記許容ノイズを利用して量子化パラメータを決定する量子化パラメータ決定部と、
   前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する量子化部と、
   前記量子化された係数をエントロピー符号化して統計的重畳を除去するエントロピー符号化部とを備え、
   前記許容ノイズ獲得部は、前記原映像と該原映像をカラー量子化した映像間のエラー映像が予め定まったコスト関数を満足できる最小カラー数を決定し、前記最小カラー数で得られるエラー映像に存在する各画素値あるいは各画素値の絶対値から前記許容ノイズを獲得することを特徴とする映像符号化装置。
2. 入力される原映像を変換して空間的重畳を除去する変換部と、
   前記原映像から許容ノイズを獲得する許容ノイズ獲得部と、
   前記許容ノイズを利用して量子化パラメータを決定する量子化パラメータ決定部と、
   前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する量子化部と、
   前記許容ノイズを利用して決定される品質レイヤーによってスキャン順序を決定するスキャン順序決定部と、
   前記量子化された係数を前記品質レイヤーによるスキャン順序にエントロピー符号化して、統計的重畳を除去するエントロピー符号化部とを備え、
   前記許容ノイズ獲得部は、前記原映像と該原映像をカラー量子化した映像間のエラー映像が予め定まったコスト関数を満足できる最小カラー数を決定し、前記最小カラー数で得られるエラー映像に存在する各画素値あるいは各画素値の絶対値から前記許容ノイズを獲得することを特徴とする映像符号化装置。
3. 入力される原映像を変換して空間的重畳を除去する工程と、
   前記原映像から許容ノイズを獲得する工程と、
   前記許容ノイズを利用して量子化パラメータを決定する工程と、
   前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する工程と、
   前記量子化された係数をエントロピー符号化して統計的重畳を除去する工程とを含み、
   前記許容ノイズ獲得工程は、前記原映像と該原映像をカラー量子化した映像間のエラー映像が予め定まったコスト関数を満足できる最小カラー数を決定し、前記最小カラー数で得られるエラー映像に存在する各画素値あるいは各画素値の絶対値から前記許容ノイズを獲得することを特徴とする映像符号化方法。
4. 入力される原映像を変換して空間的重畳を除去する工程と、
   前記原映像から許容ノイズを獲得する工程と、
   前記許容ノイズを利用して量子化パラメータを決定する工程と、
   前記量子化パラメータを利用して、前記変換部から提供される変換係数を量子化して、量子化された係数を生成する工程と、
   前記許容ノイズを利用して決定される品質レイヤーによってスキャン順序を決定する工程と、
   前記量子化された係数を、前記品質レイヤーによるスキャン順序にエントロピー符号化して、統計的重畳を除去する工程とを含み、
   前記許容ノイズ獲得工程は、前記原映像と該原映像をカラー量子化した映像間のエラー映像が予め定まったコスト関数を満足できる最小カラー数を決定し、前記最小カラー数で得られるエラー映像に存在する各画素値あるいは各画素値の絶対値から前記許容ノイズを獲得することを特徴とする映像符号化方法。
5. 請求項１あるいは２に記載の装置により生成されたビット列をエントロピー復号化して、量子化された係数を生成するエントロピー復号化部と、
   前記量子化された係数を逆量子化して変換係数を生成する逆量子化部と、
   前記変換係数を逆変換して復元された映像を生成する逆変換部とを備えることを特徴とする映像復号化装置。
6. 請求項３あるいは４に記載の方法により生成されたビット列をエントロピー復号化して、量子化された係数を生成する工程と、
   前記量子化された係数を逆量子化して変換係数を生成する工程と、
   前記変換係数を逆変換して復元された映像を生成する工程とを含むことを特徴とする映像復号化方法。
7. 前記量子化パラメータ決定部は、各コーディングブロックの量子化結果生成される量子化ノイズが前記許容ノイズ以下になるよう前記各コーディングブロックの量子化パラメータを決定することを特徴とする請求項１または２に記載の映像符号化装置。
8. 前記エントロピー符号化部は、スキャン順序で最上位ビットから最下位ビットに画素のビットをスキャンしてビットプレーン符号化を行うことを特徴とする請求項１または２に記載の映像符号化装置。
9. 前記エントロピー符号化部は、レイジービットを利用して前記ビットプレーン符号化を行うことを特徴とする請求項８に記載の映像符号化装置。
10. 前記各品質レイヤーは、前記許容ノイズを利用して決定されるビットプレーンからなることを特徴とする請求項２に記載の映像符号化装置。
11. 前記量子化パラメータ決定工程は、各コーディングブロックの量子化結果生成される量子化ノイズが前記許容ノイズ以下になるよう前記各コーディングブロックの量子化パラメータを決定することを特徴とする請求項３または４に記載の映像符号化方法。
12. 前記エントロピー符号化工程は、スキャン順序で最上位ビットから最下位ビットに画素のビットをスキャンしてビットプレーン符号化を行うことを特徴とする請求項３または４に記載の映像符号化方法。
13. 前記エントロピー符号化工程は、レイジービットを利用して前記ビットプレーン符号化を行うことを特徴とする請求項１２に記載の映像符号化方法。
14. 前記各品質レイヤーは、前記許容ノイズを利用して決定されるビットプレーンからなることを特徴とする請求項４に記載の映像符号化方法。

Images