JP6497100B2 - 映像符号化装置、方法及びプログラム - Google Patents

Description

本発明は、映像符号化装置、方法及びプログラムに関し、例えば、複数の異なるサイズの処理単位をツリー状に組み合わせて利用可能な映像符号化方式を用いる映像符号化装置、方法及びプログラムに適用し得るものである。

例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ。）やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」と呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。

図２は、従来の映像符号化装置の構成を示すブロック図である。図２において、例えばＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣのような符号化技術を用いる場合、入力映像が映像符号化装置１００に入力される。入力された符号化対象画像は、画面分割部１０１により処理単位領域ごとに画面分割されて差分処理部１１１に与えられる。処理単位領域ごとに分割された入力画像は、差分処理部１１１により、動き補償を伴うインター予測部１０９による予測画像、若しくは、イントラ予測部１１０による予測画像との差分である予測残差信号が求められる。そして、予測残差信号は、変換部１０２により、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）されて、得られた変換係数が量子化部１０３により量子化される。エントロピー符号化部１０４では、量子化された変換係数を、可変長符号や算出符号等のようなエントロピー符号化して符号化ストリームとして出力する。

量子化された変換係数は、逆量子化部１０５で逆量子化、逆変換部１０６で逆変換されて、加算部１１２で予測画像と加算することによって復号側で生成される復号画像を得る。

さらに、ＨＥＶＣ等の映像符号化方式の場合、復号画像は、ブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ１０７が適用され、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ１０８に保持される。

量子化を伴う符号化方式の場合、量子化処理により量子化雑音が発生し、復号側で再生される復号画像に歪が生じる。一方で、量子化することによって、符号化すべき情報量が削減され、高効率の圧縮が実現される。

このような歪とレート（符号量）のトレードオフを評価し、符号化モード選択等に利用する技術としてレート歪最適化技術がある。つまり、符号量を多くすることで画像の歪を軽減することができるが、符号量が多くなって圧縮率が低下するとともに符号化に係る演算処理の負荷が大きくなる。そのため、画像の歪と圧縮率に係る符号量との最適化を図るために、レート歪最適化技術がある。

レート歪最適化技術は、複数の符号化モード等の選択肢について、その選択肢を選択した場合に得られる復号画像の歪Ｄと、その選択肢で符号化するときに発生する符号量Ｒと、ラグランジュ乗数λとで表されるレート歪コストＪ＝Ｄ＋λ・Ｒを最小化するような選択をすることによって、レートと歪とのトレードオフが最適な符号化をする方法である。

非特許文献１には、このレート歪最適化技術を変換係数の量子化に利用するレート歪最適量子化(ＲＤＯＱ)の方法が開示されている。レート歪最適量子化は、個々の変換係数ごとに量子化レベル候補に量子化した場合の歪と、量子化レベル候補をエントロピー符号化するのに必要となる符号量（レート）とのトレードオフを評価し、レート歪コストが最適となる量子化レベルを選択することで、符号化効率が最適となるような量子化を行う方法である。ＨＥＶＣにおいても、符号化効率向上のための量子化技術としてレート歪最適量子化が用いられている。

ＨＥＶＣでは、図３に示すように、これまでのＡＶＣ等の映像符号化方式における符号化単位となる１６×１６画素単位のマクロブロックを拡張して、最大６４×６４画素の符号化ツリー単位（以下、「ＣＴＵ」とも呼ぶ。）を、８×８画素から６４×６４画素まで（すなわち、８×８、１６×１６、３２×３２、６４×６４の画素）の符号化単位であるコーディングユニット（以下、「ＣＵ」とも呼ぶ。）の４分木構造の「符号化ツリー」として、表現することが可能となっており、多様なブロックサイズでの符号化が可能となっている。

さらに、コーディングユニット（ＣＵ）は、４×４画素から３２×３２画素まで（すなわち、４×４、８×８、１６×１６、３２×３２画素）の変換単位である変換ユニット（以下、「ＴＵ」とも呼ぶ。）に、４分木構造の「残差ツリー」として分割可能であり、コーディングユニット（ＣＵ）の予測残差信号を様々なサイズの変換単位を組み合わせて変換・量子化して符号化することが可能となっている。図３において、実線部分がコーディングユニット（ＣＵ）を示し、破線部分が変換ユニット（ＴＵ）を示している。言い換えれば、実線部分は、符号化ツリーであり、破線部分は、残差ツリーとも言える。

また、コーディングユニット（ＣＵ）は、垂直／水平方向に分割した予測ユニット（以下、「ＰＵ」とも呼ぶ。）に分割可能である。例えば、動き補償予測等は、図４に示すように、コーディングユニット（ＣＵ）のサイズ２Ｎ×２Ｎに対して、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎや非対称な分割形状などに分割した領域単位（予測単位）での予測が可能となっている。

ＨＥＶＣを符号化方式として用いる場合、多様なコーディングユニット（ＣＵ）、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）の組み合わせが可能であるため、符号化ツリーや残差ツリー及び符号化モード（イントラモード、インターモード、スキップモード等）の組み合わせの中から最適な組み合わせを選択することが符号化効率に大きな影響を与える。

最適な組み合わせを選択するためには、非常に多くの組み合わせの符号化候補に対して、レート歪コストを評価する必要があり、この探索処理を効率的に行う技術が求められている。例えば、非特許文献２には、残差ツリーをさらに分割するかを量子化パラメータ依存の閾値から判断して、閾値以下の変換係数しか存在しない場合に、より小さな変換サイズに分割する探索処理を省略する方法が開示されている。

Ｍ．Ｋａｒｃｚｅｗｉｃｚ，ｅｔ ａｌ．"Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚｅｄ Ｑｕａｎｔｉｚａｔｉｏｎ"，ＪＶＴ−ＡＡ０２６．（ｈｔｔｐ：／／ｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｖｔ−ｓｉｔｅ／２００８＿０４＿Ｇｅｎｅｖａ／ＪＶＴ−ＡＡ０２６．ｚｉｐ） Ｍ．Ｓｉｅｋｍａｎｎ，ｅｔ ａｌ．"Ｆａｓｔ ｅｎｃｏｄｅｒ ｃｏｎｔｒｏｌ ｆｏｒ ＲＱＴ，"ＪＣＴＶＣ−Ｅ４２５（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｅ４２５−ｖ３．ｚｉｐ）

しかしながら、レート歪最適量子化処理は、演算処理量が多く、ＨＥＶＣの様に利用可能な変換単位の組み合わせや利用可能な符号化単位と符号化モードの組み合わせが膨大にある場合、最適な量子化結果を得るための処理量は膨大なものとなる。

そのため、符号化ツリー単位を符号化する際に、符号化ツリーや残差ツリーと符号化モードの組み合わせを探索するときの量子化処理にかかわる処理量を削減することができる映像符号化装置、方法及びプログラムが求められている。

第１の本発明は、入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化装置において、（１）利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化する仮量子化手段と、（２）上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価する符号化コスト判定手段と、（３）上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択する符号化候補選択手段と、（４）選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行う量子化手段とを有し、（５）上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、（６）上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行うことを特徴とする。

第２の本発明は、入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化方法において、（１）仮量子化手段が、利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化し、（２）符号化コスト判定手段が、上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価し、（３）符号化候補選択手段が、上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択し、（４）量子化手段が、選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行い、（５）上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、（６）上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行うことを特徴とする。

第３の本発明の映像符号化プログラムは、入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化装置に搭載されるコンピュータを、（１）利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化する仮量子化手段と、（２）上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価する符号化コスト判定手段と、（３）上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択する符号化候補選択手段と、（４）選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行う量子化手段として機能させ、（５）上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、（６）上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、（７）上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行うことを特徴とする。

本発明によれば、符号化ツリー単位を符号化する際に、符号化ツリーや残差ツリーと符号化モードの組み合わせを探索するときの量子化処理にかかわる処理量を削減することができる。

第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。 従来の映像符号化装置の構成を示すブロック図である。 ４分木構造による符号化単位への分割及び変換単位への分割を説明する説明図である。 符号化単位から予測単位への分割を説明する説明図である。 第１の実施形態に係る符号化ツリー単位（ＣＴＵ）毎の符号化処理を示すフローチャートである。 第１の実施形態に係るコーディングユニット（ＣＵ）毎の量子化処理を示すフローチャートである。 第１の実施形態に係る変換ユニット（ＴＵ）毎の量子化処理を示すフローチャートである。

（Ａ）第１の実施形態
以下では、本発明に係る映像符号化装置、方法及びプログラムの第１の実施形態を、図面を参照しながら詳細に説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る映像符号化装置の内部構成を示すブロック図である。第１の実施形態に係る映像符号化装置１は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。

図１において、第１の実施形態に係る映像符号化装置１は、画面分割部１０１、変換部１０２、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、ループ内フィルタ部１０７、参照画像バッファ１０８、インター予測部１０９、イントラ予測部１１０、差分処理部１１１、加算部１１２、切り替え部１１３、量子化部２０３、仮量子化部２２０及び符号化コスト判定部２２１を有する。

映像符号化装置１は、入力映像を所定の符号化方式で符号化して、符号化映像ストリームを出力するものである。

第１の実施形態では、符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣで規格化されている符号化方式である場合を例示する。しかし、符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されるものではなく、符号化単位であるコーディングユニット（ＣＵ）の予測残差信号を様々なサイズの変換単位に分割することができ、その変換単位の組み合わせにより量子化して符号化を行うことができるものであれば、様々な符号化方式を適用できる。符号化方式は、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣに限定されず、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの規格化技術やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣの規格化技術等を基調として拡張した符号化方式にも適用可能である。

画面分割部１０１は、符号化対象画像を所定の処理単位に分割するために、入力映像の符号化対象画像を、コーディングユニット等の所定の処理単位領域ごとに分割して、差分処理部１１１に与えるものである。

差分処理部１１１は、予測残差信号を求めるために、画面分割部１０１からの所定の処理単位領域に分割された入力画像と、インター予測部１０９若しくはイントラ予測部１１０からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として変換部１０２に与えるものである。

変換部１０２は、入力された予測残差信号を変換係数に変換するものである。変換部１０２は、利用することが可能な変換単位毎の変換係数を求めるものである。

利用することが可能な変換単位は映像符号化装置１における符号化単位（ＣＵのサイズ）によるが、例えば、符号化単位が６４×６４画素の場合、変換単位は４×４画素、８×８画素、１６×１６画素、３２×３２画素とすることができ、変換部１０２は、上記それぞれの変換単位の変換係数を求める。なお、変換部１０２による予測残差信号の変換手法は、既存の変換手法を広く適用することができ、例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散コサイン変換）等を適用できる。変換部１０２は、変換した変換係数を仮量子化部２２０及び量子化部２０３に与える。

仮量子化部２２０は、変換部１０２により変換された各変換単位の各変換係数を、演算処理の負荷が比較的少ない量子化処理で、量子化するものである。

第１の実施形態では、仮量子化部２２０が量子化オフセットを用いて、各変換単位の各変換係数を量子化するものとする。また、仮量子化部２２０は、量子化した各変換単位の各変換係数を符号化コスト判定部２２１に与えるものである。仮量子化部２２０による量子化処理の例については動作の項で詳細に説明する。

符号化コスト判定部２２１は、仮量子化部２２０による仮量子化結果（量子化した各変換単位の各変換係数）を用いて符号化コストを評価するものである。符号化コスト判定部２２１は、符号化コストの評価により最終的に最適な符号化コストと評価された符号化候補を選択するが、この処理の詳細については動作の項で説明する。

量子化部２０３は、符号化コスト判定部２２１により選択（抽出）された符号化候補に基づいて、その処理単位の組み合わせの各変換単位の変換係数を変換部１０２から取得し、その取得した変換係数に対してレート歪最適量子化処理を用いて量子化を行う。量子化部２０３は、得られた量子化された変換係数をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、量子化部２０３からの量子化された変換係数等をエントロピー符号化して、符号化映像ストリームを出力するものである。

逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、量子化部２０３からの量子化された変換係数を逆量子化するものである。

逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１１２に与えるものである。

加算部１１２は、逆変換部１０６からの復元された残差信号に、切り替え部１１３を介してインター予測部１０９又はイントラ予測部１１０からの予測画像を加算して、復号側で復号される復号画像を求めるものである。加算部１１２は、復号画像を、ループ内フィルタ部１０７及びイントラ予測部１１０に与えるものである。

ループ内フィルタ部１０７は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１１２からの復号画像をフィルタリングするものである。第１の実施形態はＨＥＶＣ等を適用する場合を例示しており、デブロッキングフィルタ等のループ内フィルタ部１０７を用いて符号化歪みを低減する。

参照画像バッファ１０８は、ループ内フィルタ部１０７から出力される画像を、参照画像として保持するものである。ループ内フィルタ部１０７からの出力画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。

インター予測部１０９は、参照画像バッファ１０８に保持されている画像を参照画像として取得して動き補償予測を行うものである。

イントラ予測部１１０は、加算部１１２から出力される画像（画面内の符号化済み画素等）を用いてイントラ予測を行うものである。

切り替え部１１３は、符号化モード（イントラモード又はインターモード）に応じて、インター予測部１０９又はイントラ予測部１１０の出力を切り替えるものである。

以下に、この実施形態における符号化処理の単位について説明する。

図３は、４分木構造による符号化単位への分割及び変換単位への分割を説明する説明図である。

図３（Ａ）は、最も大きい実線の四角形が符号化ツリー単位（ＣＴＵ）（例えば６４×６４画素サイズ）の画像の模式図であり、実線は符号化単位（ＣＵ）への分割領域を示しており、破線は符号化単位の変換単位（ＴＵ）への分割を示している。図３（Ｂ）は、図３（Ａ）の分割領域を４分木構造で表現したものである。図３（Ｂ）の頂点は６４×６４画素サイズとしており、頂点からの４個の分枝は、６４×６４画素サイズを４分割したときの各分割領域を示しており、左から順番に、左上領域、右上領域、左下領域、右下領域に対応している。なお、３２×３２サイズ以降の分枝も同様に各領域を示している。つまり、図３（Ｂ）は、符号化単位への分割と変換単位への分割を４分木構造で示しているため、ツリー構造の終端が各変換単位であることを意味する。

図４は、符号化単位（ＣＵ）から予測単位（ＰＵ）への分割を説明する説明図である。図４において、分割された各領域は、予測単位を示す。この実施形態では、符号化モードに応じてＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。インター予測におけるＰＵは、８種類であり、イントラ予測は２種類である。分割された各ＰＵについて先述のインター予測部１０９によるインター予測、イントラ予測部１１０によるイントラ予測が行われる。なお、残差信号を符号化しないスキップＣＵ（図４中の「Ｓｋｉｐ」）の予測単位は、ＣＵ全体である。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る映像符号化装置１における符号化処理を、図面を参照しながら詳細に説明する。

図１において、映像符号化装置１に入力した入力映像が画面分割部１０１に入力されると、符号化対象映像は、画面分割部１０１により符号化処理単位領域ごとに分割されて差分処理部１１１に与えられる。

インター予測部１０９では、参照画像バッファ１０８に保持されている画像を参照画像として動き補償を伴うインター予測画像が予測され、その動き補償を伴う予測画像が生成される。また、イントラ予測部１１０では、画面内の符号化済みの画素等に基づいてイントラ予測画像が生成される。

切り替え部１１３は、符号化モードに応じて、インター予測部１０９又はイントラ予測部１１０のいずれかに切り替え、インター予測画像又はイントラ予測画像のいずれを差分処理部１１１に与える。

差分処理部１１１では、符号化処理単位領域に対して、入力画像と予測画像との差分が求められ、その差分が予測残差信号として、変換部１０２に出力される。

予測残差信号は変換部１０２に入力され、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換係数に変換される。なお、変換係数は、後述する符号化候補に応じて出力される。

得られた変換係数は、仮量子化部２２０に入力され、演算処理の軽量な量子化オフセットを用いる量子化処理によって量子化される。

符号化コスト判定部２２１では、仮量子化結果の量子化された変換係数をもとに、量子化に伴う歪Ｄや量子化された変換係数をエントロピー符号化するのに必要となる符号量Ｒを計算して符号化コストを評価し、符号化ツリーや残差ツリーと符号化モードの組み合わせを選択する。選択された組み合わせ（符号化候補）は、量子化部２０３に出力される。

選択された符号化候補は、量子化部２０３でレート歪最適量子化技術を用いて量子化が行われる。

そして、量子化された変換係数は、符号化モード情報、動きベクトル情報、イントラ予測モード情報等とともにエントロピー符号化部１０４により、エントロピー符号化され、符号化ストリームとして出力される。

一方、逆量子化部１０５及び逆変換部１０６において、量子化部２０３で量子化された変換係数は、逆量子化・逆変換され（残差信号を復元）、加算部１１２により逆量子化・逆変換された信号が予測画像と加算されて、復号画像が復元される。復元された復号画像は、ループ内フィルタ部１０７及び画面内の後続のイントラ予測単位のイントラ予測のための隣接領域の参照画素としてイントラ予測部１１０に与えられる。

ループ内フィルタ部１０７において、復号画像はブロッキングフィルタ等のフィルタ処理が施されて、符号化歪みが軽減されて、参照画像バッファ１０８に保持される。

また、加算部１１２による復元された復号画像は、イントラ予測部１１０に与えられて、画面内の後続のイントラ予測単位のイントラ予測のための隣接領域の参照画素として利用される。

次に、第１の実施形態に係る仮量子化部２２０、符号化コスト判定部２２１及び量子化部２０３におけるより詳細な動作を、図５を参照しながら説明する。

図５は、第１の実施形態に係る符号化ツリー単位（ＣＴＵ）毎の符号化処理を示すフローチャートである。

本実施形態では、符号化候補はＣＴＵごとに選択される。そして、選択された符号化候補に対してレート歪最適量子化が行われる。

符号化候補の選択は、ＣＵの分割、ＣＵの符号化モード、ＰＵの分割、ＴＵの分割を各要素として、その各要素の組み合わせて定まる符号化候補について、変換単位毎に変換し仮量子化部２２０で量子化した仮量子化結果に基づき、符号化候補の符号化コストを評価することにより決定される（Ｓ１１）。なお、符号化候補の探索の戦略については、さまざまな探索方法を用いることができる。以下に、仮量子化部２２０と符号化コスト判定部２２１でのより詳細な動作を説明する。

仮量子化部２２０では、変換部１０２により変換された各変換単位の各変換係数に対して、演算処理の軽量な量子化オフセットを用いて量子化する。

ここで、仮量子化部２２０は、各変換単位の各変換係数ｄの絶対値に対して量子化ステップ幅ｑを除算するのではなく、除算を乗算とビットシフトで近似した式（１）に従って、各変換係数ｄの絶対値｜ｄ｜にスケール係数ａを乗算してｓビットの固定少数で近似した量子化オフセット値を加算することで、各変換係数ｄの絶対値｜ｄ｜に対する量子化された変換係数ｃの絶対値｜ｃ｜を求める。
｜ｃ｜＝（ａ×｜ｄ｜＋ｆ）＞＞ｓ …（１）

式（１）において、ｆは、量子化ステップ幅に対する量子化オフセット値である。仮量子化部２２０は、例えば量子化ステップ幅ｑに対する量子化オフセット値ｆを用いて量子化に係る演算処理量を軽減して、各変数係数を量子化する。

例えば、量子化ステップ幅ｑに関して、イントラ画像（イントラピクチャ）のときには量子化オフセットがｑ／３となるように量子化オフセット値ｆ＝２^ｓ／３とし、またインター画像（インターピクチャ）のときには量子化オフセットがｑ／６となるように量子化オフセット値ｆ＝２^ｓ／６等のようにする。仮量子化部２２０は、変換部１０２により変換された各変換単位の各変数係数の絶対値｜ｄ｜にスケール係数ａを乗算し、量子化オフセット値ｆを加算するという、演算処理量の少ない量子化オフセットを用いて量子化を行う。

なお、上記の例では、量子化ステップ幅ｑとする場合に、イントラ画像のときにはｆ＝２^ｓ／３とし、またインター画像のときにはｆ＝２^ｓ／６を用いる場合を例示したが、量子化オフセットの値は上記値に限定するものではない。

次に、仮量子化部２２０によって変換単位毎に量子化された各変換係数は、符号化コスト判定部２２１に与えられる。

符号化コスト判定部２２１では、仮量子化部２２１で量子化された変換係数に基づいて、符号化候補の量子化に伴う歪Ｄと量子化された変換係数をエントロピー符号化するのに必要となる符号量Ｒを計算して符号化コストＪ＝Ｄ＋λＲを評価する。ここで、λは量子化パラメータなどから求められるラグランジュ乗数である。歪Ｄの評価については、得られた仮量子化結果の変換係数を逆量子化・逆変換して予測画像に加算して得られる復号画像の入力画像に対する歪で評価する。なお、歪Ｄを求める方法としては逆変換を用いずに、量子化前の変換係数と仮量子化後の変換係数を逆量子化した係数との間の歪を用いて算出しても良い。

以上のステップＳ１１の処理で選択された符号化候補に対してのみ、量子化部２０３によるレート歪最適量子化技術を用いて量子化（再量子化）を行う（Ｓ１２）。

まず、ステップＳ１０２の処理は、選択された符号化候補（ＣＴＵ）について、その構成要素であるコーディングユニット（ＣＵ）毎に行われる。さらに、コーディングユニット（ＣＵ）が、変換ユニット（ＴＵ）で構成されていた場合には、変換ユニット（ＴＵ）毎に処理が行われる（この処理の詳細な説明は、後述する図７の説明において行う）。

図６は、第１の実施形態に係るコーディングユニット（ＣＵ）毎の量子化処理を示すフローチャートである。ＣＵは、ツリー状に再帰的に４分割可能なため、図６に示す処理は、ＣＵが分割されていた場合には再帰的に処理を行う。

まず、処理対象のＣＵが分割されているか否かを判定する（Ｓ２１）。

先述のステップＳ２１の処理において、処理対象のＣＵが分割されていたと判定された場合には、分割された４つのサブＣＵに対して、図６で示すＣＵ毎の量子化処理を再帰的に行う（Ｓ２２）。

先述のステップＳ２１の処理において、ＣＵが分割されていなかったと判定された場合には、処理対象ＣＵがスキップＣＵとして選択されていたかどうかを判定する（Ｓ２３）。なお、スキップＣＵとは動きベクトルも残差情報も符号化しない特別なインターＣＵモードであり、先述の仮量子化部２２１での量子化処理で残差なしと判断されたＣＵである。よって、スキップＣＵの場合には、以下の量子化処理は行わない（当該ＣＵについて、図６で示す処理を終了する）。

先述のステップＳ２３の処理において、スキップＣＵ以外のＣＵと判定されたＣＵについては、量子化部２０３による量子化処理を行う（Ｓ２４）。具体的には、処理対象のＴＵ（言い換えれば、残差ツリーのルートノードであるＣＵ）から、再帰的に図７で示すＴＵごとの量子化処理を行う。

図７は、第１の実施形態に係る変換ユニット（ＴＵ）毎の量子化処理を示すフローチャートである。ＴＵは、ツリー状に再帰的に４分割可能なため、図７に示す処理は、ＴＵが分割されていた場合は再帰的に処理を行う。

まず、処理対象のＴＵが、分割されている否かを判定する（Ｓ３１）。

先述のステップＳ３１の処理において、処理対象のＴＵが分割されていると判定された場合には、分割された４つのサブＴＵに対して、図７で示すＴＵごとの量子化処理を再帰的に行う（Ｓ３２）。

先述のステップＳ３１の処理において、処理対象のＴＵが分割されていないと判定された場合には、処理対象ＴＵを含むＣＵとしてイントラＣＵが選択されていたか否かを判定する（Ｓ３３）。

先述のステップＳ３３の処理において、処理対象ＴＵを含むＣＵがイントラＣＵであった場合には、イントラ予測により参照される隣接する領域の画素が、再量子化によって変化している可能性があるため、イントラ予測部１１０、差分処理部１１１及び変換部１０２を用いて変換係数を再生成する（Ｓ３４）。なお、処理対象ＴＵのイントラ予測時に参照する隣接参照画素が、仮量子化処理時から変化していないと判断できる場合には、ステップＳ３４の処理を省略しても良い。

先述のステップＳ３３の処理において、処理対象ＴＵを含むＣＵがイントラＣＵでなかった場合には、処理対象のＴＵが仮量子化部２２１での量子化処理で残差なしと判断されていたか否かを判定する（Ｓ３５）。残差なしと判断されていた場合には、処理対象のＴＵは、以下の量子化処理は行わない（当該ＴＵについて、図７で示す処理を終了する）。なお、ステップＳ３５（ステップＳ２３も同様）の処理結果により、後続の量子化処理を省略する処理は、ユーザ設定等により禁止しても良い。すなわち、仮量子化部２２１で残差なしと判断された処理対象についても、量子化部２０３で再度量子化を試みることも可能とするような構成としても良い。

最終的に、処理対象のＴＵは、量子化部２０３によりレート歪最適量子化技術を用いた量子化処理が行われる（Ｓ３６）。すなわち、量子化処理は、変換単位（ＴＵ）内の各変換係数に対して、個々の変換係数を量子化レベル候補に量子化した場合の歪みと量子化レベル候補をエントロピー符号化するのに必要となる符号量を評価し、レート歪コストが最適となる量子化レベルを選択することで行われる。量子化対象の変換係数は、ステップＳ１１の処理で選択された符号化候補について、変換部１０２から仮量子化部２２１に供給された変換係数を記憶しておいたもの、若しくはステップＳ３４の処理で再生成した変換係数である。

なお、この実施形態では、ステップＳ３３及びＳ３４の処理において、処理対象ＴＵを含むＣＵがイントラＣＵであった場合には、変換係数を再生成するものとしているが、当該ＣＵがインターＣＵ（インター予測を用いたＣＵ）であった場合も同様に、インター予測部１０９、差分処理部１１１、変換部１０２を用いて変換係数を再生成するようにしても良い。この場合、変換部１０２から仮量子化部２２１に供給された変換係数を記憶しない構成や、変換係数の代替えとして、予測画像もしくは予測残差信号を記憶しておき、変換係数を再生成する構成としても良い。

以上の処理によって生成された符号化ツリー単位（ＣＴＵ）の量子化された変換係数を、選択された符号化候補に関する符号化モード情報、動きベクトル情報、イントラ予測モード情報等とともにエントロピー符号化部１０４でエントロピー符号化して符号化ストリームとして出力する。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、以下のような効果を奏することができる。

符号化ツリー単位で符号化する場合であって、符号化ツリー、残差ツリー、符号化モードの組み合わせを探索する際に、量子化処理の処理量を削減することができ、また、従来技術のように符号化候補探索時にもレート歪最適量子化技術を用いるのと同等の符号化効率を得ることが可能となる。

（Ｂ）他の実施形態
上記実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）本発明は、上記実施形態に限定されず、その他のさまざまな符号化処理に利用可能である。すなわち、上述した各実施形態では符号化方式がＨＥＶＣの場合に例示したが、符号化方式はＨＥＶＣに限定されるものではなく、複数の異なるサイズの処理単位をツリー状に組み合わせて利用可能なその他のさまざまな符号化方式において、同様の処理を行うことで処理量を低減することができる。

（Ｂ−２）上記実施形態では、符号化候補の探索時の量子化処理には仮量子化しか用いない動作について説明したが、このような動作モードのほかに、符号化候補の探索時にもレート歪最適量子化を用いる等複数の動作モードを有し、設定により処理量や符号化効率の異なる動作モードを選択できるような構成としても良い。

１…映像符号化装置、１０１…画面分割部、１０２…変換部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…ループ内フィルタ部、１０８…参照画像バッファ、１０９…インター予測部、１１０…イントラ予測部、１１１…差分処理部、１１２…加算部、１１３…切り替え部、２０３…量子化部、２２０…仮量子化部、２２１…符号化コスト判定部。

Claims (8)

1. 入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化装置において、
   利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化する仮量子化手段と、
   上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価する符号化コスト判定手段と、
   上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択する符号化候補選択手段と、
   選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行う量子化手段とを有し、
   上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、
   上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、
   上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行う
   ことを特徴とする映像符号化装置。
2. 上記符号化コスト判定手段が、符号化コストが最適であると判断した上記変換単位に対する変換係数を記憶しておき、
   上記量子化手段が、上記記憶されている変換係数を用いて量子化処理を行う
   ことを特徴とする請求項１に記載の映像符号化装置。
3. 上記量子化手段は、上記イントラ予測に用いる隣接参照画素が上記仮量子化手段による仮量子化時に用いた画素から変化していない場合には、当該仮量子化時に用いた変換係数を用いることを特徴とする請求項１又は２に記載の映像符号化装置。
4. 上記符号化コスト判定手段が、符号化コストに用いる歪の算出時には、逆変換を用いずに変換係数領域で歪を評価することを特徴とする請求項１〜３のいずれかに記載の映像符号化装置。
5. 画像の符号化に用いる符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣであることを特徴とする請求項１〜４のいずれかに記載の映像符号化装置。
6. 画像の符号化に用いる符号化方式がＨ．２６４／ＭＰＥＧ−４ ＡＶＣであることを特徴とする請求項１〜４のいずれかに記載の映像符号化装置。
7. 入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化方法において、
   仮量子化手段が、利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化し、
   符号化コスト判定手段が、上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価し、
   符号化候補選択手段が、上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択し、
   量子化手段が、選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行い、
   上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、
   上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、
   上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行う
   ことを特徴とする映像符号化方法。
8. 入力画像の符号化ツリー単位を複数の異なるサイズの符号化単位に分割し、上記各符号化単位を、複数の異なるサイズの変換単位に分割する木構造で示した変換単位の組み合わせを利用して入力画像を符号化する映像符号化装置に搭載されるコンピュータを、
   利用可能な上記変換単位毎に、入力画像と予測画像との差分である予測残差を変換した変換係数を、量子化オフセットにより量子化する仮量子化手段と、
   上記仮量子化手段による仮量子化結果に基づいて、符号化コストを評価する符号化コスト判定手段と、
   上記各符号化単位、上記各符号化単位のモード、及び上記変換単位の組み合わせで構成される上記符号化ツリー単位の符号化候補の内、最適な符号化コストの当該符号化候補を選択する符号化候補選択手段と、
   選択された上記符号化候補に対する変換係数に対してレート歪最適量子化処理を行う量子化手段として機能させ、
   上記量子化手段は、上記符号化候補のルートノードから再帰的に、木構造の各ノードに対する量子化処理を行うが、一方、上記仮量子化結果に基づき、残差なしとする上記変換単位又は上記符号化単位に対しては、量子化処理を行わず、
   上記各符号化単位のモードは、上記各符号化単位がイントラ符号化単位又はインター符号化単位のいずれかを示すモードであり、
   上記量子化手段は、量子化対象の上記変換単位が上記イントラ符号化単位に含まれる場合には、入力画像と再度イントラ予測処理を行った予測画像との差分である予測残差を変換した変換係数に対して量子化処理を行う
   ことを特徴とする映像符号化プログラム。

Images