JP4037839B2 - 画像符号化方法及び装置 - Google Patents

Description

本発明は、動画像または静止画像のための画像符号化方法及び装置に関する。

ITU-T H.261, H.263, H.264, ISO/IEC MPEG-2, MPEG-4 Part 2といった動画像符号化標準方式では、マクロブロックと呼ばれる符号化単位で、予測モードを切替えて符号化を行う。この切替操作をどのように行うかは、符号化性能に大きく影響すると言われている。

予測モードの切替手法の一つは、例えばITU-T H.263のテストモデルであったTMN9(ITU-T, Study Group 16 : “Video Codec Test Model,Near-Term, Version 9 (TMN9),” Document :Q15-C-15）（非特許文献１）に開示されている。非特許文献１では、入力画像と動き補償により得られる予測画像との絶対値差分和、及び入力画像と入力画像のマクロブロック平均との絶対値差分和を用いて閾値処理を行うことで、８×８のブロックのフレーム間予測モードと１６×１６ブロックのフレーム間予測モード及びフレーム内予測モードの３つ予測モードの切り替えを行っている。

一方、Gary J. Sullivan and Thomas Wiegand, “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, Vol.15, No.6, pp. 74-90, Nov. 1998.（非特許文献２）には、ラグランジェの未定乗数法に基づいて各マクロブロックの予測モードを選択する方法が紹介されている。より詳しくは、実際に各予測モードで符号化を行って符号量（レート）と符号化歪を求めた上で、ラグランジェの未定乗数を量子化パラメータの関数と仮定して、同じ量子化パラメータに対する各予測モードのコストを計算し、コストが最小の予測モードを選択している。この手法により、TMN9と比較して大幅に符号化効率が向上することが紹介されている。
ITU-T, Study Group 16 : "Video Codec Test Model,Near-Term, Version 9 (TMN9)," Document :Q15-C-15 Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, Vol.15, No.6, pp.74-90, Nov. 1998.

非特許文献１に開示された予測モードの切替方法は簡易な手法であり、少ない計算量で予測モードの切り替えを行うことができる。しかし、トレードオフの関係にある実際の符号量（レート）と歪を考慮しているわけではないので、符号量と歪の関係で最適な予測モードの切り替えが行われているとはいえない。従って、符号化効率の大幅な改善は得られない。

文献２の手法では、同一の量子化パラメータに対して同じ傾きを持つ符号量−符号化歪関数を仮定しているため、量子化パラメータが異なる場合や符号量−符号化歪関数の形が仮定と異なる場合には、符号化コストの正しい比較評価ができず、適切な予測モードが選択されないという問題点がある。また、符号量制御と組み合わせた場合の量子化パラメータが異なる場合の符号化コストの比較もできない。従って、この手法によっても符号化効率の大幅な改善をは望めない。

本発明の目的は、符号化効率をより改善する予測モード及び量子化パラメータの選択を可能とする画像符号化方法及び装置を提供することにある。

上記課題を解決するために、本発明の一つの観点によると任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて量子化パラメータを制御しつつ画像の符号化を行う際、符号化単位毎に予測モードと量子化パラメータとの複数の組み合わせにそれぞれ対応する符号量と符号化歪との対を推定して第１の符号量−符号化歪対集合を得るステップと、第１の符号量−符号化歪対集合から凸包を形成する第２の符号量−符号化歪対集合を選択するステップと、第２の符号量−符号化歪対集合から符号化単位毎の最適な符号量と符号化歪との対を選択するステップと、最適な符号量と符号化歪との対から符号化に用いる予測モード及び量子化パラメータを決定するステップとを具備する画像符号化方法を提供する。

本発明の他の観点によると、符号化単位毎に予測モードと量子化パラメータとの複数の組み合わせにそれぞれ対応する符号量と符号化歪との対を推定して第１の符号量−符号化歪対集合を得るステップと、第１の符号量−符号化歪対集合から符号量と符号化歪とのトレードオフに基づいて（トレードオフを考慮して）第２の符号量−符号化歪対集合を選択するステップと、第２の符号量−符号化歪対集合から符号化単位毎の最適な符号量と符号化歪との対を選択するステップと、最適な符号量と符号化歪との対から符号化に用いる予測モード及び量子化パラメータを決定するステップとを具備する画像符号化方法を提供する。

このように第１の符号量−符号化歪対集合から凸包を形成する集合、すなわち符号化単位毎の符号量と符号化歪のトレードオフを考慮したより正確な符号量と符号化歪との関係の推定に基づく第２の符号量−符号化歪対集合が求まる。従って、第２の符号量−符号化歪対集合から符号化単位毎の最適な符号量と符号化歪との対を選択して、符号化に用いる予測モード及び量子化パラメータを決定することにより、正確な符号量と符号化歪との関係を予測モード及び量子化パラメータに反映させることができる。また、量子化パラメータが異なる場合や符号量−符号化歪関数の形が仮定と異なる場合、あるいは符号量制御と組み合わせたときの量子化パラメータが異なる場合の符号化コストの正しい比較評価を予測モード及び量子化パラメータに反映させることも可能である。従って、本発明によると従来技術に比較して符号化効率の改善が期待できる。

さらに、第２の符号量−符号化歪対集合を該第２の符号量−符号化歪対集合に含まれる符号量−符号化歪対を含む不等式で表現し、該不等式を用いた線形計画問題を解くことで符号化単位毎の符号量と符号化歪のトレードオフを最適な複数の推定値から線形計画法で予測モード及び量子化パラメータを決定すれば、予測モード及び量子化パラメータのより最適化が可能となるため、さらなる符号化効率の向上が期待できる。

本発明によれば、適切な予測モード及び量子化パラメータを決定することにより、効率の高い画像符号化を行うことができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１に、本発明の一実施形態に係る動画像符号化のための画像符号化装置を示す。画像符号化装置には、画像信号１００として例えばフレーム単位で動画像信号が入力される。減算器１０１により入力画像信号１００と予測画像信号１０２との差分がとられ、予測誤差信号１０３が生成される。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換、例えば離散コサイン変換（ＤＣＴ）が施される。直交変換器１０４では直交変換係数情報１０５、例えばＤＣＴ係数情報が得られる。直交変換係数情報１０５は量子化器１０６により量子化された後、二分岐される。二分岐された量子化直交変換係数情報１０７の一方は、エントロピー符号化器１０８に導かれる。

二分岐された量子化直交変換係数情報１０７の他方は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器１１０で予測画像信号１０２と加算されることにより、局部復号画像信号１１２が生成される。局部復号画像信号１１２は、フレームメモリ／予測画像生成器１０８に入力される。

フレームメモリ／予測画像生成器１１３は、入力画像信号１００及び局部復号画像信号１１２から予測画像信号を生成する。フレームメモリ／予測画像生成器１１３の詳細については、後述する。エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１４がエントロピー符号化され、これによって生成された各符号が多重化器１１６で多重化された後、出力バッファ１１７により平滑化される。こうして出力バッファ１１７から出力される符号化データ１１８は、図示しない伝送系または蓄積系へ送出される。

モード選択器１２１は、直接的にはフレームメモリ／予測画像作成器１１３内の切替器を制御することにより予測モードを選択する共に、量子化パラメータを制御する。モード選択器１２１の詳細については、後述する。符号化制御器１１５は、減算器１０１からフレームメモリ／予測画像作成器１１３までの要素を含む符号化部１１５の制御を行う。本実施形態においては、バッファ１１７のバッファ量を考慮しつつ、符号化単位毎の符号量割り当てを行う。符号化単位は、本実施形態では例えばマクロブロック単位とするが、これに限られるものではない。

（フレームメモリ／予測画像生成器１１３について）
図２に、入力画像信号１００及び局部復号画像信号１１２から予測画像信号１０２を生成するフレームメモリ／予測画像生成器１１３の具体例を示す。図１中の加算器１１１からの局部復号画像信号１１２は、フレームメモリ２００に一旦蓄えられる。動きベクトル検出器２０１は、フレーム内のブロック毎に入力画像信号１００とフレームメモリ２００に蓄えられた局部復号画像信号との間のマッチング（ブロックマッチング）をとり、動きベクトルを検出する。

フレーム間予測器２０２は、動きベクトル検出器２０１で検出された動きベクトルに基づいてフレームメモリ２００内の局部復号画像信号に対して動き補償を施し、フレーム間予測に基づく予測画像信号を作成する。一方、フレーム内予測器２０３は、入力画像信号１００とフレームメモリ２００内のフレーム内で既に符号化された領域の局部復号画像信号からフレーム内予測に基づく予測画像信号を作成する。

フレーム間予測器２０２はＫ個（Ｋは複数）のフレーム間予測モードを有し、フレーム内予測器２０３はＬ個（Ｌは複数）のフレーム内予測モードを有する。フレーム間予測器２０２及びフレーム内予測器２０３の出力に、切替器２０４が接続される。切替器２０４はモード選択器１２１によって制御され、Ｋ個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいはＬ個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号を出力する。

動きベクトル情報／予測モード１１４、すなわち動きベクトル検出器２０１から出力される動きベクトル情報とモード選択器１２１によって切替器２０４で選択された予測モードを示す予測モード情報は、エントロピー符号化器１０８に送られる。動きベクトル情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器２０１から出力される。

（符号化制御器１１９及びモード選択器１２１について）
図３には、図１における符号化制御器１１９及びモード選択器１２１の動作の流れを示す。まず、符号化制御器１１９は符号化部１１５を制御し、符号化部１１５に複数の予測モード（Ｋ個のフレーム間予測モード及びＬ個のフレーム内予測モード）で順次符号化を行わせ、かつ量子化パラメータ（量子化幅あるいは量子化ステップサイズともいう）を各予測モード内で切り替える。

これに伴い、モード選択器１２１はマクロブロック毎に、予測コード毎かつ量子化パラメータ毎の符号量Ｒと符号化歪Ｄとの対（Ｒ−Ｄポイント）を推定して、第１の符号量−符号化歪対集合（以下、１次Ｒ−Ｄポイント集合という）を取得する（ステップＳ３０１）。

次に、ステップＳ３０１で取得された１次Ｒ−Ｄポイント集合から、マクロブロック毎に符号量Ｒと符号化歪Ｄとのトレードオフを考慮したより好ましい符号量Ｒと符号化歪Ｄとの対の集合である第２の符号量−符号化歪対集合（以下、２次Ｒ−Ｄポイント集合という）を選択する（ステップＳ３０２）。

次に、２次Ｒ−Ｄポイント集合と符号量制御器１１９から与えられるフレーム単位での目標符号量情報１２０に基づいて、２次Ｒ−Ｄポイント集合の中からマクロブロック毎に最適な符号化量Ｒと符号化歪Ｄの対（以下、最適Ｒ−Ｄポイントという）を決定する（ステップＳ３０３）。

最後に、ステップＳ３０３で決定された最適Ｒ−Ｄポイントに基づいて、実際に符号化時に用いる予測モード及び量子化パラメータを決定する（ステップＳ３０４）。１次Ｒ−Ｄポイント集合に含まれる各Ｒ−Ｄポイントに対して、予測モード及び量子化パラメータの一つの組み合わせが対応しているので、ステップＳ３０４では最適Ｒ−Ｄポイントに対応する組み合わせの予測モード及び量子化パラメータを選択すればよい。

次に、図３の各ステップＳ３０１〜Ｓ３０４の処理の具体例を示す。ここで、符号量Ｒと符号化歪Ｄとの間には、量子化パラメータをＱとして数式（１）（２）のような関係が成り立つものと仮定する。ａ，ｂ，ｃ，ｄは係数である。

［ステップＳ３０１］ステップＳ３０１では、同一の入力画像信号１００に対して一つの予測モード毎に例えば２つの量子化パラメータＱ₁, Ｑ2 で実際に符号化を行い、各々の符号化時の符号量R₁, R₂ 及び符号化歪Ｄ₁, Ｄ₂ を求める。符号化歪Ｄ₁, Ｄ₂ には、例えば入力画像信号１００と局部復号画像信号１１２の平均２乗誤差が用いられる。このような処理を入力画像信号１００の各符号化単位であるマクロブロック毎に行うことによって、１次Ｒ−Ｄ集合を求める。

［ステップＳ３０２］ステップＳ３０２では、ステップＳ３０１で求められる１次Ｒ−Ｄ集合に含まれる符号量R₁, R₂ 及び符号化歪Ｄ₁, Ｄ₂ を用いて、数式（１）（２）で仮定した係数ａ，ｂ，ｃ，ｄを数式（３）〜（６）により推定する。

これらの４つの係数ａ，ｂ，ｃ，ｄから、ステップＳ３０１で用いた予測モードにおける量子化パラメータ毎の符号量Ｒと符号化歪Ｄを数式（７）（８）に従って推定する。

図４に、符号量と符号化歪の実測値と数式（７）（８）により推定される推定値の例を示す。

本実施形態では、数式（１）（２）のような量子化パラメータＱ毎の符号量Ｒと符号化歪Ｄとの関係の仮定を行い、２回の符号化を行うことでＲ−Ｄポイントの推定を行ったが、量子化パラメータＱ毎のＲ−Ｄポイントを推定することができるのであれば、上述以外の方法でもかまわない。このようにして、例えば図５に示すような１次Ｒ−Ｄポイント集合が得られる。図５は予測モードが３種類の例であり、Ｒ−Ｄポイントは予測モード毎に異なる記号で示されている。

［ステップＳ３０２］ステップＳ３０２では、ステップＳ３０１で得られた１次Ｒ−Ｄポイント集合から、図５の実線及び破線で示すような凸包(convex hull)を形成し、その中の実線で示す左下に凸な集合を選択する。ここで凸包とは、Ｒ−Ｄポイント集合を含む最小の凸多角形のことを指す。図５中に示す左下に凸な凸包を形成する２次Ｒ−Ｄポイント集合（実線上に存在するＲ−Ｄポイントの集合）は、当該マクロブロックにおける符号量Ｒと符号化歪Ｄのトレードオフを考慮したより好ましいＲ−Ｄポイントの集合である。

次に、図６及び図７を用いて図５のように左下からの凸包を見出す手法について延べる。まず、１次Ｒ−Ｄポイント集合を例えば符号化歪Ｄの値を基準として昇順または降順に並べ替える。実際には、各予測モードの符号化歪Ｄは量子化パラメータＱが大きくなるほど大きくなるので、並べ替えは不要であり、１次Ｒ−Ｄポイント集合を昇順または降順になるようにマージすればよい。図６は、図５の１次Ｒ−Ｄポイントを符号化歪Ｄの値を基準に順序づけした例であり、破線で接続された１次Ｒ−Ｄポイントの順に符号化歪Ｄが大きくなっている。

次に、図７で示されるように符号化歪Ｄの昇順または降順に１次Ｒ−Ｄポイント集合の各ポイントに次の１ポイントを順次加えていき、最近の３ポイントを接続する折れ線の形状を調べる。ここで、図７（ａ）のように折れ線の形状が左下から見て凸ならば、それら３つのポイントを２次Ｒ−Ｄポイント集合のポイントとして残し、次のポイントを追加してゆく。一方、図７（ｂ）のように折れ線の形状が左下から見て凹になったら、当該３ポイントの真ん中のポイントを削除する。

このような処理を１次Ｒ―Ｄポイント集合の全てのポイントについて行い、それが終了した時点で残ったＲ−Ｄポイントが２次Ｒ−Ｄポイント集合となる。１次Ｒ―Ｄポイント集合の全てのポイントについての処理が終了したか否かは、上記折れ線形状を全ポイント数分だけチェックしたことをもって判断できる。

このようにして符号量Ｒと符号化歪Ｄのトレードオフを考慮したより好ましい２次Ｒ−Ｄポイント集合を求めることによって、量子化パラメータの値に依存しない最適な予測モードの選択が可能となる。

［ステップＳ３０３］ステップＳ３０３では、まずステップＳ３０２で得られた２次Ｒ−Ｄポイント集合について、図８に示すように隣接２ポイントを通過する直線を引くことにより、２次Ｒ−Ｄポイント集合を数式（９）のような符号量Ｒと符号化歪Ｄを含む不等式の集合として表現する。ここで、ｉはマクロブロックのアドレス、ｍ_i は注目マクロブロックの２次Ｒ−Ｄポイント集合のポイント数−1、ｓは隣接２ポイント通過する直線の傾き、ｔは切片である。

数式（９）に示される不等式は、図８中に示す各直線が凸包上の２次Ｒ−Ｄポイント集合上の隣接２ポイントを通過する直線であることを示している。

次に、フレーム内の全てのマクロブロックについての数式（９）に示されるような不等式を集めて、各マクロブロックの符号化歪Ｄ_i の合計Ｄ_F を最小とする、数式（１０）で示される線形計画問題を作り、線形計画法により各マクロブロックの最適な符号量Ｒ_ｉと符号化歪Ｄ_i の対を決定する。すなわち、フレーム内の総マクロブロック数をｎとし、フレーム全体の目標符号量Ｒ_F として、フレーム内の全てのマクロブロックの符号化歪の合計（総符号化歪）Ｄ_F を最小とし、かつフレーム内の全てのマクロブロックの符号量の合計（総符号量）を目標符号量Ｒ_F 以下とするように問題設定する。

この線形計画問題を解くことによって、各マクロブロックの最適な符号量Ｒ_ｉと符号化歪Ｄ_i の対を決定することができる。

［ステップＳ３０４］ステップＳ３０４では、ステップＳ３０３で決定された最適な符号量Ｒ_ｉと符号化歪Ｄ_i の対に対応する予測モードと量子化パラメータを決定する。

本実施形態ではフレーム単位で目標符号量を設定し、その目標符号量に従って各マクロブロックの最適な符号量Ｒと符号化歪Ｄの割当を行ったが、目標符号量を設定する単位はフィールドやスライス、ピクチャあるいはＧＯＰ（グループオブピクチャ）などの単位であっても構わない。

また、本実施形態においては符号化単位をマクロブロックとし、マクロブロック毎に予測モード及び量子化パラメータの対を決定する例について記述したが、符号化単位はスライス、フィールド、フレーム、ピクチャ、あるいはＧＯＰなど他の単位でも構わない。

さらに、本実施形態においては動画像符号化を例にとり説明したが、静止画像符号化にも本発明を適用することができる。

本発明の一実施形態に従う画像符号化装置の構成を示すブロック図 図１中のフレームメモリ／予測画像作成器の構成を示すブロック図 図１中の符号化制御器及びモード選択器の処理手順を示す流れ図 符号量と符号化歪を実測値から推定する過程を説明する図 １次Ｒ−Ｄポイント集合及び１次Ｒ−Ｄポイント集合から符号量と符号化歪のトレードオフを考慮して選択される凸包上の２次Ｒ−Ｄポイント集合を示す図 ２次Ｒ−Ｄポイント集合を求めるために凸包を見出す手法の具体例を説明する図 ２次Ｒ−Ｄポイント集合を求めるために凸包を見出す手法の具体例を説明する図 ２次Ｒ−Ｄポイント集合から不等式を求める過程を説明する図

符号の説明

１００…入力動画像信号；
１０１…減算器；
１０２…予測画像信号；
１０３…予測残差信号；
１０４…直交変換器；
１０５…直交変換係数情報；
１０６…量子化器；
１０７…量子化直交変換係数情報；
１０８…エントロピー符号化器；
１０９…逆量子化器；
１１０…逆直交変換器；
１１１…加算器；
１１２…局部復号画像信号；
１１３…フレームメモリ／予測画像作成器；
１１４…動きベクトル情報、予測モード情報；
１１５…符号化部；
１１６…多重化器；
１１７…出力バッファ；
１１８…符号化データ；
１１９…符号化制御器；
１２０…目標符号量情報；
１２１…モード選択器；
２００…フレームメモリ；
２０１…動きベクトル検出器；
２０２…フレーム間予測器；
２０３…フレーム内予測器；
２０４…切替器

Claims (4)

1. 任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて量子化パラメータを制御しつつ画像の符号化を行う画像符号化方法において、
   前記符号化単位毎に前記予測モードと前記量子化パラメータとの複数の組み合わせにそれぞれ対応する符号量と符号化歪との対を推定して第１の符号量−符号化歪対集合を得るステップと、
   前記第１の符号量−符号化歪対集合から凸包を形成する第２の符号量−符号化歪対集合を選択するステップと、
   前記第２の符号量−符号化歪対集合から前記符号化単位毎の最適な符号量と符号化歪との対を決定するステップと、
   前記最適な符号量と符号化歪との対から前記符号化に用いる予測モード及び量子化パラメータを決定するステップとを具備する画像符号化方法。
2. 前記最適な符号量と符号化歪との対を決定するステップは、前記第２の符号量−符号化歪対集合を
   

   

   
   
   （ここで、ｉは前記符号化単位のアドレス、ｍ_i は注目符号化単位の前記第２の符号量−符号化歪対集合のポイント数−1、ｓは隣接する２つの対を通過する直線の傾き、ｔは切片）に示される符号量Ｒ_i と符号化歪Ｄ_i を含む不等式の集合として表現し、前記符号化単位の全てについての前記不等式を集めて前記符号化単位の全ての符号化歪の合計を最小とする
   

   

   
   
   （ここで、ｎは前記符号化単位の数、Ｒ_Fは目標符号量、Ｄ_Fは前記符号化単位の全ての符号化歪の合計）で表される線形計画問題を解くことにより前記最適な符号量と符号化歪との対を決定する請求項１記載の画像符号化方法。
3. 前記線形計画問題は、前記画像信号のフレーム内の全ての符号化単位の符号化歪の合計を最小とするように設定される請求項２記載の画像符号化方法。
4. 任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて量子化パラメータを制御しつつ画像の符号化を行う画像符号化装置において、
   前記符号化単位毎に前記予測モードと前記量子化パラメータとの複数の組み合わせにそれぞれ対応する符号量と符号化歪との対を推定して第１の符号量−符号化歪対集合を得る手段と、
   前記第１の符号量−符号化歪対集合から凸包を形成する第２の符号量−符号化歪対集合を選択する手段と、
   前記第２の符号量−符号化歪対集合から前記符号化単位毎の最適な符号量と符号化歪との対を決定する手段と、
   前記最適な符号量と符号化歪との対から前記符号化に用いる予測モード及び量子化パラメータを決定する手段とを具備する画像符号化装置。

Images