JP4927207B2 - 符号化方法、復号化方法及び装置 - Google Patents

Description

本発明は、動画像符号化/復号化方法及び装置に関し、より詳細には、非可逆モードと可逆モードとの間の効率的な切り替え可能な動画像符号化/復号化方法及び装置に関する。

Ｈ.２６４/ＡＶＣは、ＩＴＵ−Ｔのビデオコーディングの専門家グループ(ＶＣＥＧ、Video Coding Experts Group)とＩＳＯ/ＩＥＣの動画像専門家グループ(ＭＰＥＧ、Moving Picture Experts Group)との共同作業で作られた動画像符号化/復号化の標準であって、非常に高いデータ圧縮率を有するデジタルビデオコーデックの標準である。

Ｈ.２６４/ＡＶＣは、非可逆/可逆の動画像符号化/復号化のいずれも支援しており、非可逆モードと可逆モードを一つのスライス内で共存するように符号化/復号化することが可能である。すなわち、Ｈ.２６４/ＡＶＣ標準は、一つのスライス内で各マクロブロックが独立的に非可逆モードと可逆モードで符号化/復号化されることを許容する。

図１は、非可逆モード領域と可逆モード領域とが共存する画面を示すための例示図である。図１を参照すれば、符号化の対象となる画面１０のうち、使用者又はコンテンツの提供者が関心を持ったり、情報の非可逆があってはならない重要領域１２に対しては、可逆モードで符号化/復号化し、その他の領域１４に対しては、非可逆モードで符号化/復号化することが可能である。

既存のＨ.２６４では、非可逆モードと可逆モードの切り替え時にバイパスフラグ(qpprime_y_zero_transform_bypass_flag)と量子化係数(ＱＰ)を使用した。バイパスフラグが１にセットされ、ＱＰ値が０の場合、可逆モードで符号化/復号化が行われ、その他の場合、すなわち、ＱＰ値が０でないか、ＱＰ値が０であっても、バイパスフラグが１にセットされていない場合は、非可逆モードで符号化/復号化が行われる。

図２は、Ｈ.２６４での可逆モード符号化装置の構成を示すブロック図である。図２を参照すれば、可逆モード符号化装置は、予測部２２と、変換/量子化部２４と、エントロピーコーディング部２６と、を含む。ここで、可逆モード符号化装置は、情報の非可逆を回避するために、変換(Transform）と量子化(Quantization)の過程を行う変換/量子化部２２を飛び越える。
すなわち、予測部２２でのイントラ予測(Intra Prediction)あるいは動き推定(Motion Estimation)以後に生成される残差信号(residual signal)に対して変換と量子化過程を省略し、直ちにエントロピーコーディングを適用する方法により可逆符号化を行う。

非可逆モード符号化では、ＱＰ値に比例してビット率と画質が決められる。Ｈ.２６４では、０〜５１値の５２段階ＱＰ範囲を使用している。相対的にＱＰ値が小さければ、高ビット率/高画質の符号化と復号化が可能であり、一方、ＱＰ値が大きければ、低ビット率/低画質の符号化と復号化が行われる。

Ｈ.２６４での可逆符号化と超高画質(near-lossless)に該当するＱＰ０〜３での非可逆符号化の圧縮率の比較のための実験を行うための実験条件と実験結果を説明する。

先ず、実験条件は、以下の表１の通りである。

表１に記載されているように、ＹＵＶ４:２:０、ＱＣＩＦから４ＣＩＦまで多様な解像度の映像を実験しており、その実験結果は、表２に纏められている。

表２から分かるように、ＱＰ０〜３に該当する非可逆符号化は、可逆符号化に比べて圧縮率が落ちることが分かる。

可逆符号化に比べて圧縮率が落ちる非可逆圧縮を行うよりは、可逆符号化を行った方が、圧縮率だけではなく、画質を考慮した符号化効率という面で効果的である。

したがって、より効率的な符号化効率を得るためには、非可逆符号化時に、ＱＰが４以上で符号化が行われることが望ましい。言い換えれば、図１に示しているように、一つの画面内に非可逆モード領域と可逆モード領域とが共存している場合、非可逆モードから可逆モードへの切り替えは、ＱＰ４以上からＱＰ０にその値が変更される必要がある。

ＱＰ値の差が大きければ、これを表すmb_qp_delta値を符号化するためのビット量が相対的に多く必要とされるので、既存のＨ.２６４での非可逆モードと可逆モードとの切り替え方法が非効率的であることが分かる。すなわち、既存には、圧縮効率面で非効率的なＱＰ範囲を使用しており、動画像符号化時に非可逆モードと可逆モードとの間の切り替え方法が非効率的であるという問題点がある。

前述した背景技術は、発明者が、本発明を導き出すために保有しているか、本発明の導出過程で習得した技術情報であって、必ずしも、本発明の出願前に一般公衆に公開された公知技術とは限らない。

本発明の目的は、可逆モードの量子化係数範囲を指定して、非可逆モードと可逆モードとの間の切り替えに要するビット量を減らすことができ、新たな量子化係数範囲を使用することのできる動画像符号化/復号化方法及び装置を提供することにある。

また、本発明の他の目的は、画面内でコンテンツ提供者あるいは使用者が関心を持っているか、情報の損失があってはならない一部の重要領域に対しては、可逆モードで、その他の領域は、非可逆モードで符号化又は/及び復号化することによって、使用者に視覚的満足度と所望の情報との両方を提供しながらも、圧縮率面で効率的な動画像符号化又は/及び復号化を可能にする動画像符号化/復号化方法及び装置を提供することにある。

本発明の以外の目的らは、下記の説明に基づいて容易に理解されるであろう。

本発明の一側面によれば、入力映像の各マクロブロックに対して時間的予測及び空間的予測のいずれか一つ以上を通じて獲得した予測値と、前記入力映像との差分である残差信号(residual signal)を生成する予測部と;モード情報に従って前記残差信号に対して変換及び量子化を行うか省略する変換/量子化部と;前記変換/量子化部を経た残差信号をエントロピーコーディング(entropy coding)してビットストリームを生成するエントロピーコーディング部と;前記エントロピーコーディング部で生成されたビット量と量子化係数(ＱＰ)値を用いて可逆モードＱＰ範囲を決定する可逆モードＱＰ範囲決定部と;現在のＱＰ値と前記決定された可逆モードＱＰ範囲とを比較して、非可逆モードあるいは可逆モードを決定し、決定されたモードに対する前記モード情報を変換/量子化部に伝達するモード決定部と、を含む符号化装置が提供される。

前記エントロピーコーディング部は、前記可逆モードＱＰ範囲決定部で決定された可逆モードＱＰ範囲に対する情報をエントロピーコーディングして、ビットストリームを生成することができる。

前記可逆モードＱＰ範囲決定部は、符号化過程において、各ＱＰ別に非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを比較して、可逆モードの符号化時に要する平均ビット量を超える非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することができる。前記可逆モードＱＰ範囲決定部は、ビット率-歪み最適化(Rate-Distortion Optimization)概念を用いて、ビット率-歪み費用が可逆モードよりも大きい非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することができる。

又は、前記可逆モードＱＰ範囲決定部は、前記マクロブロックが属するスライスあるいはフレームに対して、可逆モード及び一つ以上のＱＰ値による非可逆モードで符号化を行った後、ビット量を比較して前記可逆モードＱＰ範囲を決定することができる。前記モード決定部は、前記可逆モードＱＰ範囲を用いて前記マクロブロックに対するモードを決定し、前記変換/量子化部は、前記マクロブロックに対して、前記モード決定部により決定されたモードに従って前記変換及び量子化を行うか、省略することができる。

前記モード決定部は、前記可逆モードＱＰ範囲を除去することによって、ＱＰテーブルを新たに再定義し、前記再定義されたＱＰテーブルに基づいてモードを決定することができる。前記モード決定部は、前記再定義されたＱＰテーブルに対して非可逆モードのＱＰ範囲を再整列し、前記再整列されたＱＰテーブルに基づいてモードを決定することができる。

前記入力映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であってもよい。

一方、本発明の他の側面によれば、可逆モードＱＰ範囲情報及び残差信号を含むビットストリームを入力されてエントロピーデコーディング(entropy decoding)するエントロピーデコーディング部と;前記エントロピーデコーディングされた可逆モードＱＰ範囲情報を用いて可逆モードＱＰ範囲を決定する可逆モードＱＰ範囲決定部と;前記可逆モードＱＰ範囲決定部により決定された可逆モードＱＰ範囲と前記ビットストリームのＱＰ値を比較して、非可逆モードあるいは可逆モードを決定するモード決定部と;前記モード決定部により決定されたモードに従って、前記エントロピーデコーディングされた残差信号に対して逆変換及び逆量子化を行うか省略する逆変換/逆量子化部と;前記逆変換/逆量子化部を経た残差信号に空間的補償及び時間的補償のいずれか一つ以上を行った予測値を加えて復元映像を生成する補償部と、を含む復号化装置が提供される。

前記復元映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であってもよい。

一方、本発明のもう一つの側面によれば、入力映像を符号化してビットストリームを生成する符号化装置での符号化方法及びこれを行うためのプログラムが記録された記録媒体が提供される。

一実施形態に係る符号化方法は、前記入力映像の各マクロブロックに対して時間的予測及び空間的予測のいずれか一つ以上を通じて獲得した予測値と、前記入力映像との差分である残差信号を生成する段階と;モード情報に従って前記残差信号に対して変換及び量子化を行うか省略する段階と;前記変換/量子化段階を経た残差信号をエントロピーコーディングしてビットストリームを生成する段階と、を含み、前記ビットストリーム生成段階で生成されたビット量と量子化係数(ＱＰ)値を用いて、可逆モードＱＰ範囲を決定する段階と;現在のＱＰ値と前記決定された可逆モードＱＰ範囲とを比較して、非可逆モードあるいは可逆モードを決定し、決定されたモードに対する前記モード情報を伝達する段階と、を更に含むことができる。前記可逆モードＱＰ範囲に対する情報をエントロピーコーディングしてビットストリームを生成する段階を更に含むことができる。

前記可逆モードＱＰ範囲決定段階は、符号化過程において、各ＱＰ別に非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを比較して、可逆モードの符号化時に要する平均ビット量を超える非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することができる。前記可逆モードＱＰ範囲決定段階は、ビット率-歪み最適化概念を用いて、ビット率-歪み費用が可逆モードよりも大きい非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することができる。

又は、前記可逆モードＱＰ範囲決定段階は、前記マクロブロックが属するスライスあるいはフレームに対して可逆モード及び一つ以上のＱＰ値による非可逆モードで符号化を行った後、ビット量を比較して前記可逆モードＱＰ範囲を決定することができる。前記モード決定段階は、前記可逆モードＱＰ範囲を用いて前記マクロブロックに対するモードを決定し、前記マクロブロックに対して、前記変換/量子化段階及び前記エントロピーコーディング段階を最終に行うことができる。

前記モード決定段階は、前記可逆モードＱＰ範囲を除去することによって、ＱＰテーブルを新たに再定義し、前記再定義されたＱＰテーブルに基づいてモードを決定することができる。前記モード決定部は、前記再定義されたＱＰテーブルに対して非可逆モードのＱＰ範囲を再整列し、前記再整列されたＱＰテーブルに基づいてモードを決定することができる。

前記入力映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であってもよい。

一方、本発明のもう一つの側面によれば、可逆モードＱＰ範囲情報及び残差信号を含むビットストリームを入力されて復号化を行い、復元映像を生成する復号化装置での復号化方法及びこれを行うためのプログラムが記録された記録媒体が提供される。

一実施形態に係る復号化方法は、前記ビットストリームをエントロピーデコーディングする段階と;前記エントロピーデコーディングされた可逆モードＱＰ範囲情報を用いて可逆モードＱＰ範囲を決定する段階と;前記決定された可逆モードＱＰ範囲と前記ビットストリームのＱＰ値とを比較して、非可逆モードあるいは可逆モードを決定する段階と;前記決定されたモードに従って、前記エントロピーデコーディングされた残差信号に対して逆変換及び逆量子化を行うか省略する段階と;前記逆変換/逆量子化段階を経た残差信号に空間的補償及び時間的補償のいずれか一つ以上を行った予測値を加えて復元映像を生成する段階と、を含むことができる。前記復元映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であってもよい。

前述以外の他の側面、特徴、利点が、以下の図面、特許請求範囲及び発明の詳細な説明から明らかになろう。

本発明の実施形態によれば、可逆モードの量子化係数範囲を指定して、非可逆モードと可逆モードとの間の切り替えに要するビット量を減らすことができ、新たな量子化係数範囲を使用することができる。

また、画面内でコンテンツ提供者あるいは使用者が関心を持っているか、情報の損失があってはならない一部の重要領域に対しては、可逆モードで、その他の領域は、非可逆モードで符号化又は/及び復号化することによって、使用者に視覚的満足度と所望の情報の両方を提供しながらも、圧縮率面で効率的な動画像符号化又は/及び復号化を可能にするという効果がある。

非可逆モード領域と可逆モード領域とが共存する画面を示すための例示図である。 Ｈ.２６４での可逆モード符号化装置の構成を示すブロック図である。 本発明の一実施形態に係る符号化装置の構成を示すブロック図である。 本発明の一実施形態に係る可逆モードＱＰ範囲決定方法を説明するための図である。 本発明の他の実施形態に係る可逆モードＱＰ範囲決定方法の順序図である。 本発明の一実施形態に係るＱＰ範囲の再整列を説明するための例示図である。 本発明の一実施形態に係る復号化装置の構成を示すブロック図である。 本発明の一実施形態に係る符号化方法の順序図である。 本発明の一実施形態に係る復号化方法の順序図である。

本発明は、種々の変更を加えることができ、複数の実施形態を持つことができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解すべきである。本発明を説明するに際して、関連する公知の技術に関する具体的な説明が、本発明の要旨を不明にすると判断される場合、それに関する詳細な説明を省略することにする。

第１、第２などの用語は、種々の構成要素を説明するのに使用されることはできるが、前記構成要素らは、前記用語らにより限定されてはならない。前記用語らは、一つの構成要素を他の構成要素から区別する目的にのみ使用される。

本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に意味が違わない限り、複数の表現を含む。本願において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものが存在していることを指定しようとするものであり、１つ又はその以上の他の特徴や数字、段階、動作、構成要素、部品、又は、これらを組み合わせたものの存在又は付加可能性を予め排除するものではないと理解すべきである。

また、明細書に記載された“…部”などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェア、あるいは、ハードウェアとソフトウェアとの組み合わせて具現されることができる。

また、添付の図面を参照して説明するに際して、図面符号に関係なく、同じ構成要素には同じ参照符号を付し、これに対する重複する説明は省略することにする。本発明を説明するに際して、関連する公知技術に関する具体的な説明が、本発明の要旨を不要に不明にすると判断される場合、それに関する詳細な説明を省略する。

以下、本発明の実施形態について、関連図面を参照して詳細に説明することにする。

図３は、本発明の一実施形態に係る符号化装置の構成を示すブロック図であり、図４は、本発明の一実施形態に係る可逆モードＱＰ範囲決定方法を説明するための図であり、図５は、本発明の他の実施形態に係る可逆モードＱＰ範囲決定方法の順序図であり、図６は、本発明の一実施形態に係るＱＰ範囲の再整列を説明するための例示図である。

図３を参照すれば、本発明の一実施形態に係る符号化装置１００は、予測部１１０と、変換/量子化部１２０と、エントロピーコーディング部１３０と、可逆モードＱＰ範囲決定部１５０と、モード決定部１４０と、を含む。

本発明の一実施形態に係る符号化装置１００は、入力映像に対して符号化を行うに際して、実際の残差信号を符号化するマクロブロックよりも上位階層(例えば、スライス階層)で可逆モードで符号化すべきＱＰ範囲を指定して、マクロブロック階層でＱＰ値が指定されたＱＰ範囲内に属する場合は、可逆モードで符号化し、ＱＰ値が指定されたＱＰ範囲内に属しない場合は、非可逆モードで符号化してビットストリームを生成、出力する。したがって、非可逆モードと可逆モードとの切り替え時にＱＰ差を相対的に小さく与えて、これに該当するビット量を減らしてくれることができる。

予測部１１０は、各マクロブロックに対して入力映像の画面内の重複性を除去するための空間的予測、例えば、イントラ予測(Intra Prediction)を行うか、フレーム間の重複性を除去するための時間的予測、例えば、動き推定(Motion Estimation)を行い、入力映像と予測値との差分である残差信号を生成する。

イントラ予測は、空間的予測方式であり、同じ映像内において現在のブロック内の画素に対して周辺ブロックの画素を用いて空間的重複性を除去する。空間領域の方向性を用いた多数の予測モードを使用することによって、実際の符号化対象の残差信号を最小化して、圧縮性能を向上させることができる。例えば、多様な予測ブロックと元のブロックとの間のＳＡＤ(Sum of Absolute Difference)、又は、ＳＡＴＤ(Sum of Absolute Transform Difference)を計算して、最も小さな値を持つモードを最適の予測モードとして選択することができる。

動き推定は、一般的に、動映像ビデオにおいて、各客体或いは処理単位ブロックが、時間上、前後フレームでどの位置に動いたかを推定(Estimation)することを言う。例えば、マクロブロック単位で現在圧縮しようとするマクロブロックと、前後の複数枚のフレームの周辺マクロブロックとの各ピクセル間の明度(Luminance)差を最小にするブロックを検索して、動きベクロル(Motion Vector)を決定することになる。

変換/量子化部１２０は、後述するモード決定部１４０から出力される信号に応じて、残差信号に変換及び量子化を遂行するか、あるいは、その遂行を省略する。

エントロピーコーディング部１３０は、変換/量子化部１２０の出力信号をエントロピーコーディングしてビットストリームを生成し、生成されたビット量を可逆モードＱＰ範囲決定部１５０に伝達する。そして、可逆モードＱＰ範囲決定部１５０から伝達された可逆モードＱＰ範囲情報をエントロピーコーディングしてビットストリームを生成する。

可逆モードＱＰ範囲決定部１５０は、エントロピーコーディング部１３０から伝達されたビット量とＱＰ値を考慮して可逆モードＱＰ範囲を決定し、モード決定部１４０に伝達する。また、決定された可逆モードＱＰ範囲情報をエントロピーコーディング部１３０にも伝達する。

可逆モードＱＰ範囲を決定するためには、以下のような方法が効率的に用いられる。

このような方法によれば、符号化過程において、マクロブロックを各ＱＰ別に非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを考慮して、可逆モードのビット量を超える非可逆モードのＱＰの全てを可逆モードＱＰ範囲に指定する。例えば、図４を参照すれば、可逆モードにおける平均ビット量が１００である。したがって、平均ビット量が１００を超える非可逆モードのＱＰ、ＱＰ０〜３は、可逆モードＱＰ範囲に指定できる。

他の方法によれば、ビット率-歪み最適化(ＲＤＯ、Rate-Distortion Optimization)概念を用いることができる。非可逆モードのビット量は、可逆モードのビット量より小さいが、非可逆圧縮では、元の映像と復元映像との間の歪み(Distortion)が存在するので、ビット率-歪み費用(ＲＤｃｏｓｔ)が可逆モードよりも大きいＱＰに対して、可逆モードＱＰ範囲に指定できる。例えば、図４を参照すれば、ＱＰ４の場合、ビット量は、９８と可逆モードのビット量１００より小さいが、可逆モードの場合、歪みが全くなく、ＱＰ４の場合、歪みが存在するので、歪みを考慮したＱＰ４のＲＤｃｏｓｔは、可逆モードのＲＤｃｏｓｔよりも大きいこともありえる。この場合、ＱＰ４に対しても可逆モードのＱＰ範囲に指定できるはずである。

図４に示しているような各ＱＰ別のビット量と可逆モードのビット量とは、先に符号化した情報を格納していってもよい。又は、現在のスライスの符号化時に一つのマクロブロックが符号化される度に、該当マクロブロックが符号化されたＱＰ値に該当する平均ビット量を持続的に更新して格納することができる。該当マクロブロックが可逆モードで符号化された場合は、可逆モードのビット量を更新して格納することができる。

もう一つの方法によれば、現在フレームあるいはスライスに対して、多様なモードで符号化してみて、その中で最適の符号化方法を見出すことができる。

図５を参照すれば、現在のスライスに対して可逆モードで符号化を行い(段階Ｓ１)、ＱＰ０からＱＰＮまで一つ以上の非可逆モードで符号化を行う(段階Ｓ２からＳ４)。各ＱＰ別のビット量と可逆モードのビット量とを求めて比較した後、可逆モードＱＰ範囲を決定し(段階Ｓ５)、最終的に、現在のスライスを可逆領域と非可逆領域に対して、可逆モードと非可逆モードとに分けて符号化することができる(段階Ｓ６)。

可逆モードＱＰ範囲決定部１５０は、上述したような方法のいずれか一つ以上を用いて、可逆モードＱＰ範囲を決定できるようになる。

可逆モードＱＰ範囲決定部１５０で決定された可逆モードＱＰ範囲は、現在のスライス、又は、フレーム、あるいは、後順のスライス、又は、フレームで使用すべき可逆モードＱＰ範囲に該当する。例えば、図５に示しているような可逆モードＱＰ範囲決定方法によれば、現在のスライス、又は、フレームに対して、可逆モード及び一つ以上のＱＰに対する非可逆モードで多重で符号化してみる場合、現在のスライス、又は、フレームの最終的な符号化(図５の段階Ｓ６に示した非可逆/可逆領域による符号化)時に考慮すべき可逆モードＱＰ範囲決定に影響を及ぼすようになる。

モード決定部１４０は、可逆モードＱＰ範囲決定部１５０から伝達された可逆モードＱＰ範囲と現在のＱＰ値とを比較して、現在ＱＰが可逆モードＱＰ範囲に属する場合は、可逆モードに、そうでない場合は、非可逆モードに決定し、これを変換/量子化部１２０に伝達する。

既存のＨ.２６４で使用する非可逆モードと可逆モードとの切り替えは、バイパスフラグが１にセットされ、ＱＰ値が０の場合のみに可逆モードに、その他の場合は、非可逆モードに決定される方法であった。しかしながら、この場合、可逆モードより圧縮率が落ちるＱＰ領域で非可逆モードで符号化されることを回避するために、非可逆モードと可逆モードとの切り替え時にＱＰ差を大きく与えなければならないので、これに該当するビット量が多く必要とされるという短所があった。本発明の一実施形態によれば、可逆モードＱＰ範囲を、実際の残差信号が符号化されるマクロブロックより上位階層で決定し、決定された範囲のＱＰに対しては、可逆モードで符号化することによって、非可逆モードと可逆モードとの切り替え時にＱＰ差を相対的に小さく与えて、これに該当するビット量を減らしてくれることができる。

すなわち、本発明の一実施形態に係る符号化装置１００において、例えば、可逆モードＱＰ範囲を０〜nと指定した場合を仮定すれば、既存のＨ.２６４で採択する方法では、ＱＰ(n+１)で非可逆モード符号化を進行しながら、可逆モードへの切り替え時にＱＰ値０を与えるべきであるので、ＱＰ値の差は、n+１になるが、本発明によれば、ＱＰ値nを与えればよいので、これに該当するＱＰ値の差は、１になって、モード切り替え時に必要とされるビット量を減らすことができるという効果がある。

また、モード決定部１４０は、可逆モードＱＰ範囲決定部１５０に伝達された可逆モードＱＰ範囲情報を用いて、ＱＰテーブルを新たに再定義できる。

例えば、可逆モードＱＰ範囲を０〜３と指定した場合に、後順のスライス或いはフレームに対しては、ＱＰ値が０〜３に該当する場合は、変換及び量子化が行われなくなる。したがって、ＱＰテーブルで可逆モードＱＰ範囲に属するＱＰ値は除去して、ＱＰ範囲の段階を縮められるようになる。すなわち、０〜５１の値を持つ既存のＨ.２６４でのＱＰ範囲の代わりに、４〜５１を持つＱＰ範囲を使用することによって、計算量やビット量を減らせるようになる。

また、元のＱＰ値(Original value)４〜５１は、図６に示しているように、０〜４７と再整列して、再整列された値(Rearrangement value)として使用できるはずである。

図７は、本発明の一実施形態に係る復号化装置の構成を示すブロック図である。図７を参照すれば、本発明の一実施形態に係る復号化装置２００は、エントロピーデコーディング部２１０と、逆変換/逆量子化部２２０と、補償部２３０と、可逆モードＱＰ範囲決定部２４０と、モード決定部２５０と、を含む。

本発明の一実施形態に係る復号化装置２００は、入力されたビットストリームに対して復号化を行うに際して、実際の残差信号を復号化するマクロブロックより上位階層(例えば、スライス階層)から入力されたビットストリーム内に含まれている可逆モードＱＰ範囲情報を用いて可逆モードＱＰ範囲を決定し、マクロブロック階層で、ＱＰ値が定められているＱＰ範囲内に属する場合は、可逆モードで復号化し、ＱＰ値が指定されたＱＰ範囲内に属しない場合は、非可逆モードで復号化して、復元映像を生成、出力する。したがって、非可逆モードと可逆モードとの切り替え時にＱＰ差を相対的に小さく与えて、これに該当するビット量を減らしてくれることができる。

エントロピーデコーディング部２１０は、入力されたビットストリームをエントロピーデコーディング(entropy decoding)して、逆変換/逆量子化部２２０には、残差信号を伝達し、可逆モードＱＰ範囲決定部２４０には、可逆モードＱＰ範囲情報を伝達する。

可逆モードＱＰ範囲決定部２４０は、エントロピーデコーディング部２１０から伝達された可逆モードＱＰ範囲情報を用いて可逆モードのＱＰ範囲を決定する。

モード決定部２５０は、可逆モードＱＰ範囲決定部２４０により決定された可逆モードＱＰ範囲と現在のＱＰ値とを比較して、非可逆モード又は可逆モードを決定し、これを逆変換/逆量子化部２２０に伝達する。

符号化装置１００の可逆モードＱＰ範囲決定部２４０は、ＱＰ別のビット量と可逆モードのビット量とを考慮して可逆モードＱＰ範囲を決定するが、復号化装置２００の可逆モードＱＰ範囲決定部２４０は、単に符号化装置１００から伝達された情報(可逆モードＱＰ範囲に該当するビット)を復号化して、可逆モードのＱＰ範囲を決定する。

逆変換/逆量子化部２２０は、モード決定部２５０から伝達された信号に応じてエントロピーデコーディング部２１０から伝達された残差信号に逆変換及び逆量子化を遂行するか、その遂行を省略する。

補償部２３０は、逆変換/逆量子化部２２０を経た残差信号に空間的補償又は/及び時間的補償に係る予測値を加えて復元映像を生成、出力する。

図８は、本発明の一実施形態に係る符号化方法の順序図である。以下で説明される各々の段階は、符号化装置の各々の内部構成要素により行えるが、理解と説明の便宜を図るために、符号化装置と総称して説明することにする。

符号化装置は、入力された入力映像に対して空間的又は/及び時間的予測を通じて算出された予測値と入力映像との差分である残差信号を生成して出力する(段階Ｓ３１０)。

残差信号に対して、ＱＰ値によって決定されたモード(非可逆モードあるいは可逆モード)に相応するモード情報に従って変換及び量子化を遂行するか、その遂行を省略する(段階Ｓ３２０)。非可逆モードである場合、変換及び量子化を遂行し、可逆モードである場合、その遂行を省略できるはずである。

変換/量子化部を経た残差信号をエントロピーコーディングしてビットストリームを生成する(段階Ｓ３３０)。

段階Ｓ３３０で残差信号をエントロピーコーディングする場合、生成されたビット量とＱＰ値とを用いて、可逆モードＱＰ範囲を決定する(段階Ｓ３４０)。

段階Ｓ３４０aでは、非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを考慮して、可逆モードのビット量を超える非可逆モードのＱＰの全てを可逆モードＱＰ範囲に指定できる。

段階Ｓ３４０bでは、ビット率-歪み最適化概念を用いて、非可逆モードの符号化時に要する平均ビット量が、可逆モードの符号化時に要する平均ビット量を越えなくても、ビット率-歪み費用ＲＤｃｏｓｔが可逆モードよりも大きいＱＰに対して可逆モードＱＰ範囲に指定できる。

段階Ｓ３４０cでは、現在のフレーム又はスライスに対して可逆モードで符号化を行った結果と、一つ以上のＱＰ値による非可逆モードで符号化を行った結果とを比較して、可逆モードＱＰ範囲を決定できる。

段階Ｓ３４０を介して可逆モードＱＰ範囲が決定された場合、符号化対象になるスライス又はフレームに対するＱＰ値が可逆モードＱＰ範囲に属するのか否かに基づいて、非可逆モードあるいは可逆モードに決定する(段階Ｓ３５０)。ＱＰ値が可逆モードＱＰ範囲に属する場合は、可逆モードに、属しない場合は、非可逆モードに決定するようになる。

ここで、後順のスライス又はフレームが符号化対象になるか、あるいは、段階Ｓ３１０からＳ３３０を経た現在のスライス又はフレームが符号化対象になり得る。

モード決定時に可逆モードＱＰ範囲を除去することによって、ＱＰテーブルを新たに再定義し、再定義されたＱＰテーブルに基づいてモードを決定できる(段階Ｓ３５２)。また、再定義されたＱＰテーブルに対して非可逆モードのＱＰ範囲を再整列することもできる。

現在のスライス又はフレームが符号化対象になる場合は、段階Ｓ３５０で決定されたモードに従って段階Ｓ３２０から段階Ｓ３３０を再び行って、最終的なビットストリームを生成して出力できる。

また、段階Ｓ３４０で決定された可逆モードＱＰ範囲に該当する情報は、エントロピーコーディングを通じてビットストリームを生成して出力する(段階Ｓ３６０)。

図９は、本発明の一実施形態に係る復号化方法の順序図である。以下で説明される各々の段階は、復号化装置の各々の内部構成要素により行えるが、理解と説明の便宜を図るために、復号化装置と総称して説明する。

復号化装置は、入力されたビットストリームをエントロピーデコーディングして、残差信号と可逆モードＱＰ範囲情報とに分離する(段階Ｓ４１０)。

可逆モードＱＰ情報を用いて可逆モードのＱＰ範囲を決定し(段階Ｓ４２０)、決定された可逆モードＱＰ範囲と現在のＱＰ値とを比較して、モード非可逆モードあるいは可逆モードを決定する(段階Ｓ４３０)。

決定されたモードに従って残差信号に対する逆変換及び逆量子化を遂行するか、その遂行を省略する(段階Ｓ４４０)。

逆変換/逆量子化部を経た残差信号に対して、空間的又は/及び時間的補償を通じた予測値を加えて復元映像を生成、出力する(段階Ｓ４５０)。

上述した符号化方法又は/及び復号化方法は、各々符号化装置又は/及び復号化装置に内蔵されたソフトウェアプログラムなどにより、時系列的手順による自動化された手続きで行えることも当然である。前記プログラムを構成するコード及びコードセグメントは、当該分野のコンピュータプログラマによって容易に推論できる。また、前記プログラムは、デジタル処理装置が読み取り可能な情報格納媒体(computer readable media)に格納され、デジタル処理装置によって読み取られて実行されることによって、前記方法が具現される。前記情報格納媒体は、磁気記録媒体、光記録媒体及びキャリアウェーブ媒体を含む。

上記では、本発明の実施形態を参照して説明したが、該当技術分野で通常の知識を有する者であれば、本願の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内において本発明を多様に修正及び変更できることを理解できるはずである。

１１０ 予測部
１２０ 変換/量子化部
１３０ エントロピーコーディング部
１５０ ＱＰ範囲決定部
２００ 復号化装置
２１０ エントロピーデコーディング部
２２０ 逆変換/逆量子化部
２３０ 補償部
２４０ 可逆モードＱＰ範囲決定部
２５０ モード決定部

Claims (24)

1. 入力映像の各マクロブロックに対して時間的予測及び空間的予測のいずれか一つ以上を通じて獲得した予測値と、前記入力映像との差分である残差信号(residual signal)を生成する予測部と;
   モード情報に従って前記残差信号に対して変換及び量子化を行うか省略する変換/量子化部と;
   前記変換/量子化部を経た残差信号をエントロピーコーディング(entropy coding)してビットストリームを生成するエントロピーコーディング部と;
   前記エントロピーコーディング部で生成されたビット量と量子化係数(ＱＰ)値を用いて可逆モードＱＰ範囲を決定する可逆モードＱＰ範囲決定部と;
   現在のＱＰ値と前記決定された可逆モードＱＰ範囲とを比較して、非可逆モードあるいは可逆モードを決定し、決定されたモードに対する前記モード情報を変換/量子化部に伝達するモード決定部と、
   を含む符号化装置。
2. 前記エントロピーコーディング部は、前記可逆モードＱＰ範囲決定部で決定された可逆モードＱＰ範囲に対する情報をエントロピーコーディングして、ビットストリームを生成することを特徴とする請求項１に記載の符号化装置。
3. 前記可逆モードＱＰ範囲決定部は、符号化過程において、各ＱＰ別に非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを比較して、可逆モードの符号化時に要する平均ビット量を超える非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することを特徴とする請求項１に記載の符号化装置。
4. 前記可逆モードＱＰ範囲決定部は、ビット率-歪み最適化(Rate-Distortion Optimization)概念を用いて、ビット率-歪み費用が可逆モードよりも大きい非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することを特徴とする請求項２に記載の符号化装置。
5. 前記可逆モードＱＰ範囲決定部は、前記マクロブロックが属するスライスあるいはフレームに対して、可逆モード及び一つ以上のＱＰ値による非可逆モードで符号化を行った後、ビット量を比較して前記可逆モードＱＰ範囲を決定することを特徴とする請求項１に記載の符号化装置。
6. 前記モード決定部は、前記可逆モードＱＰ範囲を用いて前記マクロブロックに対するモードを決定し、
   前記変換/量子化部は、前記マクロブロックに対して、前記モード決定部により決定されたモードに従って前記変換及び量子化を行うか省略することを特徴とする請求項５に記載の符号化装置。
7. 前記モード決定部は、前記可逆モードＱＰ範囲を除去することによって、ＱＰテーブルを新たに再定義し、前記再定義されたＱＰテーブルに基づいてモードを決定することを特徴とする請求項１に記載の符号化装置。
8. 前記モード決定部は、前記再定義されたＱＰテーブルに対して非可逆モードのＱＰ範囲を再整列し、前記再整列されたＱＰテーブルに基づいてモードを決定することを特徴とする請求項７に記載の符号化装置。
9. 前記入力映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であることを特徴とする請求項１に記載の符号化装置。
10. 可逆モードＱＰ範囲情報及び残差信号を含むビットストリームを入力されてエントロピーデコーディング(entropy decoding)するエントロピーデコーディング部と;
    前記エントロピーデコーディングされた可逆モードＱＰ範囲情報を用いて可逆モードＱＰ範囲を決定する可逆モードＱＰ範囲決定部と;
    前記可逆モードＱＰ範囲決定部により決定された可逆モードＱＰ範囲と前記ビットストリームのＱＰ値とを比較して、非可逆モードあるいは可逆モードを決定するモード決定部と;
    前記モード決定部により決定されたモードに従って、前記エントロピーデコーディングされた残差信号に対して逆変換及び逆量子化を行うか省略する逆変換/逆量子化部と;
    前記逆変換/逆量子化部を経た残差信号に空間的補償及び時間的補償のいずれか一つ以上を行った予測値を加えて復元映像を生成する補償部と、
    を含む復号化装置。
11. 前記復元映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であることを特徴とする 請求項１０に記載の復号化装置。
12. 入力映像を符号化してビットストリームを生成する符号化装置での符号化方法において、
    前記入力映像の各マクロブロックに対して時間的予測及び空間的予測のいずれか一つ以上を通じて獲得した予測値と、前記入力映像との差分である残差信号(residual signal)を生成する段階と;
    モード情報に従って前記残差信号に対して変換及び量子化を行うか省略する段階と;
    前記変換/量子化段階を経た残差信号をエントロピコーディング(entropy coding)してビットストリームを生成する段階と、を含み、
    前記ビットストリーム生成段階で生成されたビット量と量子化係数(ＱＰ)値を用いて、可逆モードＱＰ範囲を決定する段階と;
    現在のＱＰ値と前記決定された可逆モードＱＰ範囲とを比較して、非可逆モードあるいは可逆モードを決定し、決定されたモードに対する前記モード情報を伝達する段階と、
    を更に含む符号化方法。
13. 前記可逆モードＱＰ範囲に対する情報をエントロピーコーディングしてビットストリームを生成する段階を更に含む請求項１２に記載の符号化方法。
14. 前記可逆モードＱＰ範囲決定段階は、符号化過程において、各ＱＰ別に非可逆モードの符号化時に要する平均ビット量と可逆モードの符号化時に要する平均ビット量とを比較して、可逆モードの符号化時に要する平均ビット量を超える非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することを特徴とする請求項１２に記載の符号化方法。
15. 前記可逆モードＱＰ範囲決定段階は、ビット率-歪み最適化(Rate-Distortion Optimization)概念を用いて、ビット率-歪み費用が可逆モードよりも大きい非可逆モードの一つ以上のＱＰが、可逆モードＱＰ範囲に含まれるように決定することを特徴とする請求項１４に記載の符号化方法。
16. 前記可逆モードＱＰ範囲決定段階は、前記マクロブロックが属するスライスあるいはフレームに対して可逆モード及び一つ以上のＱＰ値による非可逆モードで符号化を行った後、ビット量を比較して前記可逆モードＱＰ範囲を決定することを特徴とする請求項１２に記載の符号化方法。
17. 前記モード決定段階は、前記可逆モードＱＰ範囲を用いて前記マクロブロックに対するモードを決定し、
    前記マクロブロックに対して、前記変換/量子化段階及び前記エントロピーコーディング段階を最終に行うことを特徴とする請求項１６に記載の符号化方法。
18. 前記モード決定段階は、前記可逆モードＱＰ範囲を除去することによって、ＱＰテーブルを新たに再定義し、前記再定義されたＱＰテーブルに基づいてモードを決定することを特徴とする請求項１２に記載の符号化方法。
19. 前記モード決定部は、前記再定義されたＱＰテーブルに対して非可逆モードのＱＰ範囲を再整列し、前記再整列されたＱＰテーブルに基づいてモードを決定することを特徴とする請求項１８に記載の符号化方法。
20. 前記入力映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であることを特徴とする請求項１２に記載の符号化方法。
21. 請求項１２から請求項２０のいずれか一つに記載された符号化方法を行うために、デジタル処理装置により実行可能な命令語らのプログラムが有形的に具現されており、前記デジタル処理装置により読取可能なプログラムが記録されている記録媒体。
22. 可逆モードＱＰ範囲情報及び残差信号を含むビットストリームを入力されて復号化を行い、復元映像を生成する復号化装置での復号化方法において、
    前記ビットストリームをエントロピーデコーディング(entropy decoding)する段階と;
    前記エントロピーデコーディングされた可逆モードＱＰ範囲情報を用いて可逆モードＱＰ範囲を決定する段階と;
    前記決定された可逆モードＱＰ範囲と前記ビットストリームのＱＰ値とを比較して、非可逆モードあるいは可逆モードを決定する段階と;
    前記決定されたモードに従って、前記エントロピーデコーディングされた残差信号に対して逆変換及び逆量子化を行うか省略する段階と;
    前記逆変換/逆量子化段階を経た残差信号に空間的補償及び時間的補償のいずれか一つ以上を行った予測値を加えて復元映像を生成する段階と、
    を含む復号化方法。
23. 前記復元映像は、非可逆モード領域と可逆モード領域とが共存するＨ.２６４/ＡＶＣ映像であることを特徴とする請求項２２に記載の復号化方法。
24. 請求項２２から請求項２３のいずれか一つに記載された復号化方法を行うために、デジタル処理装置により実行可能な命令語らのプログラムが有形的に具現されており、前記デジタル処理装置により読取可能なプログラムが記録されている記録媒体。

Images