JP7034101B2 - 簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置 - Google Patents

Description

本原理は、一般にビデオ圧縮及び圧縮解除システムに関し、特にそれらのシステムにおける重要度フラグ予測に関する。

デジタルビデオ圧縮システムは、一般に、送信の前に圧縮するために、より小さなサイズの画素ユニットへとデジタル画像を分割する。幾つかの圧縮標準において、それらのより小さなサイズのユニットは、マクロブロック及びブロックである。ブロックは、画素値を表す輝度値及びクロミナンス値のアレイである。

ビデオ符号化システムはまた、イントラ／インターフレーム相関における冗長性を活用し、高圧縮効率を達成するために、予測変換及びブロックベースの変換を用いる。時間冗長性は、前のフレームにおける画素値から現フレームにおける画素値を予測することによって、ビデオシーケンスから除去される。空間冗長性は、前に符号化された空間的に近傍のブロックにおける画素値から現ブロックにおける画素値を予測することによって、デジタルビデオ画像から除去される。予測から生じる残差値を変換した後で、変換係数のエネルギは、一般に、周波数領域において、より低い数の係数を取る。これらの変換係数は、それらが、幾つかの圧縮システムでエントロピー符号化され得るようにする順序で、量子化され走査される。エントロピー符号化は、符号化されたビットストリームにそのエントロピー境界を実現させ、符号化効率を更に改善する。

ビデオ符号化システムにおけるエントロピー符号化の重要な使用法は、ブロックの量子化された変換係数の符号化であり、このブロックは、イントラ／インター予測、ブロック変換、及び量子化の後の残差データブロックである。かかるデータ用に、ハフマン符号化などの可変長符号化から算術符号化に及ぶエントロピー符号化ツールが開発されている。ハフマン符号は、コンポーネントシンボル用にコードを用いるが、しかし算術符号化は、全メッセージ用にコードを用いることができる。

ＨＥＶＣ／Ｈ．２６５ビデオ圧縮標準において、算術符号化に基づく、２進データを符号化するための新しいツール、即ちコンテキスト適応型２値算術符号化（又はＣＡＢＡＣ）が提案された。ＣＡＢＡＣは、２値シンボルを符号化する。２値シンボルｓは、値０又は１を取るが、符号化され、１である確率ｐ及び０である１－ｐが後に続く。この確率は、コンテキストから推定され、且つ各シンボル符号化後に、より優れた確率のモデル化を可能にするように適応される。

ＣＡＢＡＣはまた、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画像符号化専門家会合－４（ＭＰＥＧ－４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合、電気通信セクタ（ＩＴＵ－Ｔ）Ｈ．２６４推奨（以下では「ＭＰＥＧ－４ ＡＶＣ標準」と呼ぶ）における量子化された変換係数ブロックのためのエントロピー符号化方法である。ＣＡＢＡＣは、高い符号化効率を達成するが、しかしＣＡＢＡＣ符号化手順の非系統的な実施は、２つの走査パスが、ＡＶＣ用のデータブロックを符号化するために実行されることに帰着する。第１のパスにおいて、ＣＡＢＡＣは、前方ジグザグ走査順に従ってブロックの重要度マップを符号化する。第２のパスにおいて、ＣＡＢＡＣは、逆ジグザグ走査順に非ゼロ値を符号化する。

図１を見ると、ＣＡＢＡＣ符号化の例が、概ね参照符号１００によって表されている。重要度マップ符号化パス、即ち第１のパスにおいて、ＣＡＢＡＣは、非ゼロ係数の位置を表すために、ｓｉｇ＿ｆｌａｇ及びｌａｓｔ＿ｆｌａｇを用いる。

非ゼロ値の逆ジグザグ符号化において、２つのサブ符号化プロセスが用いられる。第１のサブ符号化プロセスにおいて、Ｂｉｎ＿１（即ち第１のビン）と呼ばれるシンタックスが、非ゼロ係数が１の絶対値を有するかどうかを表すために用いられる。非ゼロ係数が、１の絶対値を有する場合に、Ｂｉｎ＿１＝１であり、非ゼロ係数の正負符号が送出される。そうでなければ、Ｂｉｎ＿１＝０であり、符号化は、第２のサブ符号化プロセスに移行する。第２のサブ符号化プロセスにおいて、ＣＡＢＡＣは、Ｂｉｎ＿１＝０に対応する、１より大きい絶対値を有する係数を符号化し、次に、それらの係数のそれぞれの正負符号を送出する。

加えて、ＣＡＢＡＣの設計は、主としてより小さなブロックサイズ（例えば４×４及び８×８）用である。ＣＡＢＡＣは、より大きなブロック（例えば１６×１６、３２×３２、及び６４×６４）用にはそれほど効率的でないことが分かる。

ＨＥＶＣ用に、（離散正弦変換（ＤＳＴ）又は離散コサイン変換（ＤＣＴ）などの）変換を用いて、画素領域から周波数領域に変換ユニット（ＴＵ）を変換した後で、変換された係数は、以下の方式を用いて一つずつ符号化される。
・係数が非ゼロであるかどうかを知らせる重要度フラグ
・重要度フラグが真である場合に、符号ビット
・重要度フラグが真である場合に、係数の大きさが１より厳密に高いかどうかを知らせる「１より大」（ｇｒｅａｔｅｒ１）フラグ
・ｇｒｅａｔｅｒ１フラグが真である場合に、係数の大きさが２より厳密に高いかどうかを知らせる「２より大」（ｇｒｅａｔｅｒ２）フラグ
・ｇｒｅａｔｅｒ２フラグが真である場合に、係数の大きさの残りは、ｅｘｐＧｏｌｏｍｂコードを用いて符号化される

重要度フラグ、ｇｒｅａｔｅｒ１フラグ、及びｇｒｅａｔｅｒ２フラグは、専用コンテキストを備えたＣＡＢＡＣを用いて符号化される。以下の実施形態は、ＣＡＢＡＣのコンテキスト情報を改善することによって、重要度フラグの符号化効率を向上させることに焦点を合わせる。

先行技術のこれら及び他の欠点及び不都合は、本原理によって取り組まれるが、本原理は、簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置に関する。

２つの実施形態において、画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを符号化又は復号することと、を含む方法が提供される。

別の実施形態において、装置は、画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、画像の一部のためのビデオを符号化又は復号する際に、修正された重要度フラグコンテキストを用いる符号器又は復号器と、を設けられる。

１つの特定の実施形態において、画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグを表すベクトルを用いて重要度フラグ予測子を決定することを含む方法が提供される。方法は、重要度フラグ予測子を用いて、重要度フラグコンテキストに関連する確率値を更新することを更に含み、且つ重要度フラグコンテキストに関連する更新された確率値を用いて後続の重要度フラグを符号化することを更に含む。

別の特定の実施形態において、画像の一部のための第１の重要度フラグを符号化する際に用いられる重要度フラグコンテキストの第１のセットを選択することを含む、且つ画像の一部の走査順に対応する最後のＮ個の重要度フラグに基づいて、重要度フラグコンテキストの第１のセット又は重要度フラグコンテキストの第２のセットのいずれかを用いて、画像の一部における各後続の重要度フラグを符号化することを更に含む第２の方法が提供される。

別の実施形態において、画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグを表すベクトルを用いて重要度フラグ予測子を決定することを含む第３の方法が提供される。方法は、重要度フラグ予測子を用いて、重要度フラグコンテキストに関連する確率値を更新することと、重要度フラグコンテキストに関連する更新された確率値を用いて後続の重要度フラグを復号することと、を更に含む。

更に別の実施形態において、画像の一部のための第１の重要度フラグを符号化する際に用いられる重要度フラグコンテキストの第１のセットを選択することと、画像の一部の走査順に対応する最後のＮ個の重要度フラグに基づいて、重要度フラグコンテキストの第１のセット又は重要度フラグコンテキストの第２のセットのいずれかを用いて、画像の一部における各後続の重要度フラグを復号することと、を含む第４の方法が提供される。

別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように構成されたプロセッサと、次の重要度フラグを符号化するために、格納された重要度フラグに基づいて、複数の重要度フラグコンテキストセットのどの１つのセットを用いるべきかを決定する回路類、及び選択された重要度フラグコンテキストセットが、符号器に送信され得るようにするスイッチと、画像の一部のためのビデオを符号化する際に、選択された重要度フラグコンテキストセットを用いる符号器と、を含む装置が提供される。

別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように、且つ重要度フラグコンテキストに関連する確率を更新するために、格納された重要度フラグに基づいて予測子を生成するように構成されたプロセッサと、画像の一部のためのビデオを符号化する際に更新された確率を用いる符号器と、を含む第２の装置が提供される。

別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように構成されたプロセッサと、次の重要度フラグを符号化するために、格納された重要度フラグに基づいて、複数の重要度フラグコンテキストセットのどの１つのセットを用いるべきかを決定する回路類、及び選択された重要度フラグコンテキストセットが、符号器に送信され得るようにするスイッチと、画像の一部のためのビデオを復号する際に、選択された重要度フラグコンテキストセットを用いる復号器と、を含む第３の装置が提供される。

別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように、且つ重要度フラグコンテキストに関連する確率を更新するために、格納された重要度フラグに基づいて予測子を生成するように構成されたプロセッサと、画像の一部のためのビデオを復号する際に更新された確率を用いる復号器と、を含む第４の装置が提供される。

別の実施形態において、実行された場合に上記の方法のいずれか１つによる方法を実施するための、ビデオ符号化又は復号のための命令を自らに格納した非一時的なコンピュータ可読記憶媒体が提供される。

別の実施形態において、前述の符号化実施形態のいずれか１つに従って生成されたビットストリームを自らに格納した非一時的なコンピュータ可読記憶媒体が提供される。

別の実施形態において、ビデオ符号化方法に従って生成されたビットストリームが提供される。

本原理を用いるＣＡＢＡＣ符号化の例の一実施形態を示す。 符号化される現在の重要度フラグのコンテキストを適応させる先行方法において用いられる重要度フラグの近傍を示す。 ８ビット値として現れるコンテキスト値の例を示す。 コンテキスト値の更新のためのプロセスの例を示す。 １６のブロックに分割される１６×１６変換ユニットを示す。 重要度係数を包含するサブブロックのそれぞれにおけるサブセットを示す変換ユニットの例を示す。 サブブロックの例を示し、係数は、所与の走査順に従って走査される。 輝度変換ブロック用の２７の重要度フラグコンテキスト及び彩度変換ブロック用の１５の重要度フラグコンテキストを示す。 カラーチャネルにかかわらず、変換ユニットのユニークなサブブロックにおける係数の位置のみに依存するコンテキストインデックスを備えたその４×４搬送ブロックを示す。 底部及び右サブブロック符号化フラグ、並びに現在のサブブロック内の係数の位置を示す。 本原理を用いて重要度フラグを符号化する方法の一実施形態を示す。 本原理を用いて重要度フラグを符号化する装置の実施形態を示す。 本原理を用いて重要度フラグを符号化する装置の実施形態を示す。 本原理を用いて重要度フラグを復号する方法の一実施形態を示す。 本原理を用いて重要度フラグを復号する装置の実施形態を示す。 本原理を用いて重要度フラグを復号する装置の実施形態を示す。 本原理を用いて重要度フラグを符号化する方法の一実施形態を示す。 本原理を用いて重要度フラグを符号化する装置の実施形態を示す。 本原理を用いて重要度フラグを符号化する装置の実施形態を示す。 本原理を用いて重要度フラグを復号する方法の一実施形態を示す。 本原理を用いて重要度フラグを復号する装置の実施形態を示す。 本原理を用いて重要度フラグを復号する装置の実施形態を示す。

過去においてＨＥＶＣ標準化プロセス中に、且つ今やＨＥＶＣ標準の後継の開発中に、より効率的な符号化性能が、近傍の重要度フラグの値にコンテキスト依存性を加えることによって、達成されることが確認された。これは、ＨＥＶＣ標準には受け入れられなかった。何故なら、それが、近傍のフラグを見つけて、関連する予測子を計算する際に、コンテキストの数を増加させて、追加の計算及びメモリ帯域幅消費を加えるからである。しかしながら、これは、次世代コーデック用に再び検討されている。重要度フラグ符号化に用いられる試験済みの近傍の例が、図２に提示されている。図２は、先行方法において用いられる、符号化される現在の重要度フラグ（Ｘ）のコンテキストを適応させるために用いられる重要度フラグの近傍（Ａ～Ｋにハッシュされている）を示す。

提案される解決法は、重要度フラグ用の新しい予測子である。この予測子は、符号化される現在の重要度フラグの空間的近傍に依存しないが、その代わりに例えば走査順において最後の符号化された重要度フラグなどの基準に依存する。

先行技術と比較して、下記の利点を有する特定の実装形態が提供される。その実装形態は、先行する符号化された重要度フラグへの追加のメモリアクセスを必要としない。計算コストは無視でき、それは、符号化グループ間の重要度フラグの空間的独立に否定的な影響を与えない。

新しい予測子を用いる２つの主な実施形態が提供される。最初に、新しい予測子は、重要度フラグに関連する複写されたコンテキスト間のスイッチとして用いられる。第２に、新しい予測子は、現在の重要度フラグコンテキストから決定された確率の変調として用いられる。

第１の実施形態は、より多くの符号化利得を示すが、一方でそれは、より多くのコンテキストを必要とする。第２の実施形態は、第１の方法より少ないけれども、ＨＥＶＣと比較すると、やはり利得を示すが、しかしそれは、複雑さをＨＥＶＣに事実上加えない。

ＨＥＶＣにおいて、コンテキスト値は、図３におけるように８ビット値である。先頭ビットは、優勢確率シンボル（又はＭＰＳ）を表現し、次の７ビットは、確率ｐ’（又は状態）を表現し、その確率ｐ’（又は状態）から確率ｐが推定される。コンテキスト値の更新は、符号化されたシンボルが、ＭＰＳと等しいかどうかに依存して、図４に示されているプロセスに続いて行われる。展開は、２つの表、即ち、符号化されたシンボルがＭＰＳである場合のｔｒａｎｓｌｄｘＭＰＳ、及び符号化されたシンボルがＭＰＳでない場合のｔｒａｎｓｌｄｘＬＰＳ（即ちそれは、劣勢確率シンボル（ＬＰＳ）である）を通して行われる。これらの表は、ｐＳｔａｔｅｌｄｘとも呼ばれるエントリｐ’用の表１に提供される。

ＭＰＳであるシンボルｓの確率ｐ_ＭＰＳは、８ビットを用いて０～１２７に線形的に量子化される。それは、
ｐ_ＭＰＳ＝（ｐ’＋６４）／１２７＝（ｐＳｔａｔｅｌｄｘ＋６４）／１２７
によってコンテキスト値から推定され、１であるシンボルｓの確率ｐは、ＭＰＳの値に依存してｐ_ＭＰＳから明らかに推定される。
ＭＰＳ＝１の場合、ｐ＝ｐ_ＭＰＳ
ＭＰＳ＝０の場合、ｐ＝１－ｐ_ＭＰＳ

コンテキスト適応符号化は、シンボルが属するチャネルの統計に動的に続くことを可能にする強力なツールである。また、各チャネルは、統計の混合及びプロセスの利益の喪失を回避するために、それ自体のコンテキストを有するべきである。これは多くのチャネルをモデル化するために、数百までの、ＨＥＶＣ／Ｈ．２６５における多くのコンテキストの広範囲な使用につながった。

ＨＥＶＣにおいて、変換ユニット（ＴＵ）は、例えば、ブロック間の弱い相互作用で符号化される４×４ブロック（図５において符号化グループ用にＣＧとラベル付けされる）に分割される。弱い相互作用は、２つのブロック間の係数符号化が、直接には相互作用しないことを意味する。例えば、１６×１６変換ユニットは、図５に示されているような１６ブロックに分割される。

変換された変換ユニットは、特定の順序で走査することができる。この順序に依存して、最後の重要度（非ゼロ）係数の位置が、ビットストリームにおいて決定され符号化される。従って、サブブロックのそれぞれにおけるサブセットだけが、図６に示されているように、重要度係数を包含し得る。

（図５においてＣＧとラベル付けされた）各サブブロックに付けられるのは、サブブロックに重要度フラグが存在するかどうかを知らせる符号化フラッグである。図６において、「？」を備えたサブブロックだけが、ビットストリームにおいて符号化される、符号化されるフラグを有し、一方で自らのブロックにおいて明示的な「１」又は「２」を備えたサブブロックは、次の規則によって推測されるそれらの符号化フラグを有する。
・もちろん、最後の重要度係数を含むサブブロックの符号化フラグは、１である。
・また、最後の重要度係数を包含するサブブロックの後に来るサブブロックの符号化フラグは、ゼロである。
・重要度係数が、低周波位置にあることが非常にありそうなので、第１の（左上）サブブロックの符号化フラグは、１に自動的に推測される。この推測は、めったに間違うことがなく、従ってゼロへの１６の重要度フラグの符号化につながり得る。

サブブロックの内部で、係数は、例えば、図７に示されているように、所与の走査順に従って走査される。関連する重要度フラグは、この順序で符号化される。

ＨＥＶＣ用に、重要度フラグは、スライスタイプ（Ｉ、Ｐ又はＢ）、輝度又は彩度チャネル、変換ブロックサイズ、近傍のサブブロック符号化フラグ、変換ブロックにおけるサブブロックの位置、及びサブブロックにおける係数の位置などのものに依存する多くのコンテキストを備えたＣＡＢＡＣを用いて符号化される。

ＨＥＶＣ標準文書に規定されているように、各スライスタイプ用に４２のコンテキスト、従って合計３＊４２＝１２６のコンテキストが存在する。関連する表が、表２に示されている。

図８は、輝度変換ブロック用の２７の重要度フラグコンテキスト及び彩度変換ブロック用の１５の重要度フラグコンテキストが存在することを示す。ＤＣ係数は、それ自体のコンテキスト、輝度用のインデックス０、及び彩度用のインデックス２７を有する。これらのコンテキストは、変換ブロックサイズ（４×４、８×８、又は１６×１６及びより大）に依存する。８×８以上の輝度変換ブロック用に、コンテキストインデックスはまた、変換ブロックにおけるサブブロック（左上又は別）の位置に依存する。コンテキストの構造は、以下で説明されるように、変換ブロックサイズが４×４かどうかに依存して異なる。

４×４搬送ブロック用に、カラーチャネルにかかわらず、コンテキストインデックスは、変換ユニットのユニークなサブブロックにおける係数の位置にのみ依存する。これは、輝度４×４変換ブロック用に図９に示され、これは、インデックスに２７値を加えることによって彩度４×４変換ブロック用についても同様である。

８×８以上の変換ブロックサイズ用に、３つのコンテキスト間で１つのコンテキストが選択されることに図８から気付く。変換ブロックサイズ、サブブロック位置、及びカラーチャネルに依存して干渉シフトを適用すると、曖昧さなしに、これらのインデックス０、１及び２にラベルを付けることが可能である。

図１０は、このラベルが、底部及び右サブブロック符号化フラグの値、及び現在のサブブロック内の係数の位置に依存することを表す。

ここで提示される実施形態は、コンテキストインデックスを決定するために用いられる上記の方法を変更しない。代わりに、これらの実施形態は、コンテキストに付けられた確率を洗練するために、又は複数の重要度フラグコンテキストセット間で選択するために用いられる新しい予測子を介して、追加の情報を提供する。前述の確率は、真である現在の重要度フラグの確率を表現する。いずれの場合にも、確率を更新するための、又は重要度フラグコンテキストのどちらのセットを用いるべきかに関する決定のための予測子は、過去の重要度フラグに基づいて、且つ特に走査順に従って過去の重要度フラグを用いて決定される。

今、幾つかの例が、新しい予測子を構成する方法を例示するために示される。２つの実施形態が、この予測子の使用を説明する。復号器を符号器と同期させるために、本明細書で提案される予測子は、符号器及び復号器の両方において生成される。

提案される予測子は、最後のＮの符号化又は復号された重要度フラグのＮ値を格納するサイズＮの循環バッファＢである。循環バッファは、以下のように満たされる。
１．初期状態は、全てゼロに設定されるＮエントリである
２．最後の係数から開始し、逆の走査順に従ってＤＣ係数に行き、以下のように重要度フラグの符号化又は復号を進める
ａ．現在の重要度フラグの走査位置ｐｏｓを取得する
ｂ．予測子として循環バッファを用いて、現在の重要度フラグｆを符号化又は復号する
ｃ．Ｂ［ｐｏｓ ｍｏｄ Ｎ］＝ｆによって循環バッファを更新する
好ましい変形において、バッファのサイズは、（Ｉ ｍｏｄ Ｎ）が、２値マスクを用いて簡単に計算され、且つバッファが、Ｂ［ｐｏｓ＆３］＝ｆによって更新されるように、Ｎ＝４である。

ＨＥＶＣにおいて、予測子状態を決定する計算コストが、事実上ゼロであるように、循環バッファの更新だけが、符号化又は復号プロセスに加えられなければならない。「モジュロ」が、複雑な演算であるが、しかし２の累乗であるＮの値を用いることによって、マスクを用いてモジュロ演算を実施できるようになり、演算を事実上費用のかからないものにすることに留意されたい。

第１の実施形態において、重要度フラグコンテキストの複数のセットの１つが、重要度フラグバッファの内容に基づいて選択され、重要度フラグバッファは、走査順における最後のＮ個の重要度フラグを格納する。例えば、ＨＥＶＣにおいて、４２の重要度フラグコンテキストは、４２コンテキストの２つのセットを得るために複写される。複写されたセットの１つは、「ノーマル」領域用であり、別のセットは、重要度フラグのほとんどが１である「フル」領域用である。２つのセット間のスイッチは、前に説明したような４要素循環バッファ予測子によって駆動される。手順は、各サブブロック用に、「ノーマル」セットが、サブブロックにおける第１の重要度フラグの符号化用に選択されるということである。次に、続く重要度フラグ用に、循環バッファにおける「１」（真）の数が、３以上である場合に、「フル」セットが選択される。循環バッファにおける「１」（真）の数が、１以下である場合に、「ノーマル」セットが選択される。循環バッファにおける「１」（真）の数が、２に等しい場合に、先行する重要度フラグ用に使用されたのと同じセットが選択される。

この例示的な実施形態は、４の循環バッファ長を用い、且つ循環バッファにおける１の数に基づいて、どのコンテキストセットを用いるかを決定する。これらの値は、ここでは単に例として用いられ、この概念の範囲を制限しない。この実施形態のための一般化された規則は、Ｍの相異なるコンテキストセット間のスイッチが、Ｎ長さバッファにおける１の数に依存するということである。Ｍセット間の切り替え用に必要とされる１の正確な数は、この例とは異なることができるか、又は決定は、バッファの内容の或る機能、例えば、重みでバッファにおける相異なる位置を重み付けすることとすることができる。

図１１は、本原理を用いて重要度フラグを符号化する方法１１００の一実施形態を示す。方法は、ブロック１１０１で開始し、且つ符号化ブロック又はサブブロックにおける第１の重要度フラグを符号化するために用いられる初期重要度フラグコンテキストセットを選択するブロック１１１０に進む。方法は、ブロック１１１０からブロック１１２０に進み、ブロック１１２０において、後続の重要度フラグは、走査順における最後のＮ個の重要度フラグを用いて複数の重要度フラグコンテキスト間から選ばれる選択された重要度フラグコンテキストセットを用いて符号化される。決定は、走査順における最後のＮ個の重要度フラグの１の数か、又はそれらの重要度フラグの或る他の機能に基づくことができる。

図１２は、本原理を用いて重要度フラグを符号化する装置の２つの実施形態を示す。図１２ａの装置１２００において、バッファ１２１０は、走査順におけるサブブロック用の重要度フラグを符号器１２５０から自らの入力部で受信する。バッファ１２１０は、走査順からの最後のＮ個の重要度フラグを格納する。バッファ１２１０の出力部は、コンテキスト決定回路１２２０の入力部と信号接続し、コンテキスト決定回路１２２０は、複数の重要度フラグコンテキストセットのどれが、次の重要度フラグを符号化するために用いられるべきであるかを決定するために用いられる制御信号を、バッファ１２１０に格納された重要度フラグから決定する。制御信号は、走査順における最後のＮ個の重要度フラグにおける１の数に、又はそれらの重要度フラグの或る他の機能に基づくことができる。

制御信号は、回路１２２０からスイッチ１２４０の第１の入力部に出力される。スイッチ１２４０はまた、その入力ポートにおいて、重要度フラグコンテキストセット１～Ｎ１２３０を表現するＮ入力を受信する。回路１２２０からの制御信号は、重要度フラグコンテキストのＮセットの１つを選択し、且つ出力ポートにおいて、選択された重要度フラグコンテキストを符号器１２５０に出力する。次に、符号器１２５０は、追加のサブブロック用に後続の重要度フラグを符号化するために、選択された重要度フラグコンテキストセットを用いる。

図１２ｂは、プロセッサを使用する本原理を用いて重要度フラグを符号化する装置１２５５の実施形態を示す。プロセッサ１２６０は、その入力部において、走査順におけるサブブロック用の重要度フラグを符号器１２７０から受信する。プロセッサ１２６０は、多数の格納された重要度フラグコンテキストセットのどれを将来のサブブロック用の追加の重要度フラグの後続の符号化用に符号器１２７０の入力部へと出力ポートにおいて出力するかを決定する。プロセッサ１２６０は、走査順における最後のＮ個の重要度フラグにおける１の数に、又はそれらの重要度フラグの或る他の機能に、この決定を基づかせることができる。

図１３は、本原理を用いて重要度フラグを復号する方法１３００の一実施形態を示す。方法は、ブロック１１０１で開始し、且つ符号化ブロック又はサブブロックにおける第１の重要度フラグを復号するために用いる初期重要度フラグコンテキストセットを選択するブロック１１１０に進む。方法は、ブロック１１１０からブロック１１２０に進み、ブロック１１２０において、後続の重要度フラグは、走査順における最後のＮ個の重要度フラグを用いて複数の重要度フラグコンテキストセットの間から選ばれる、選択された重要度フラグコンテキストセットを用いて復号される。決定は、最後のＮ個の重要度フラグの１の数に、又はそれらの重要度フラグの或る他の機能に基づくことができる。

図１４は、本原理を用いて重要度フラグを復号する装置の２つの実施形態を示す。図１４ａの装置１４００において、バッファ１４１０は、その入力部において、走査順におけるサブブロック用の重要度フラグを復号器１４５０から受信する。バッファ１４１０は、走査順からの最後のＮ個の重要度フラグを格納する。バッファ１４１０の出力部は、複数の重要度フラグコンテキストセットのどれが、次の重要度フラグを復号するために用いられるべきかを決定するために用いられる制御信号を、バッファ１４１０に格納された重要度フラグから決定するコンテキスト決定回路１４２０の入力部と信号接続する。制御信号は、走査順における最後のＮ個の重要度フラグにおける１の数、又はそれらの重要度フラグの或る他の機能に基づくことができる。制御信号は、回路１４２０からスイッチ１４４０の第１の入力部に出力される。スイッチ１４４０はまた、その入力ポートにおいて、重要度フラグコンテキストセット１～Ｎ１４３０を表現するＮ入力を受信する。回路１４２０からの制御信号は、重要度フラグコンテキストのＮセットの１つを選択し、且つ選択された重要度フラグコンテキストを出力ポートにおいて復号器１４５０に出力する。次に、復号器１４５０は、追加のサブブロック用の後続の重要度フラグを復号するために、選択された重要度フラグコンテキストセットを用いる。

図１４ｂは、プロセッサを使用する本原理を用いて重要度フラグを復号する装置１４５５の実施形態を示す。プロセッサ１４６０は、その入力部において、走査順におけるサブブロック用の重要度フラグを復号器１４７０から受信する。プロセッサ１４６０は、多数の格納された重要度フラグコンテキストセットのどれを将来のサブブロック用の追加の重要度フラグの後続の符号化用に符号器１４７０の入力部へと出力ポートにおいて出力するかを決定する。プロセッサ１４６０は、走査順における最後のＮ個の重要度フラグにおける１の数に、又はそれらの重要度フラグの或る他の機能に、この決定を基づかせることができる。

第２の実施形態は、コンテキスト確率を変調するための提案される予測子の適用である。この実施形態は、「ビデオ符号化のための適応確率を備えたコンテキスト（Context with Adaptive Probability for Video Coding）」なる欧州特許出願第１６３０５５５４．４における以前に開示された概念の特定の変形である。その出願は、コンテキストが付けられるチャネルを、この共通コンテキストを共有するサブチャネルに細分する或る情報によって、コンテキストに付けられる確率を変調する概念を開示する。

ここで、第２の実施形態において、重要度フラグが、重要度フラグコンテキストの１である確率ｐは、次のように予測子に依存してｐ_ｍに修正される。
ｐ_ｍ＝ｐ＋Δ
式中、Δは、予測子状態に依存する変調値である。

この第２の実施形態の変形において、変調値Δは、次のプロセスによって計算される。各サブブロック用に、初期値Δ＝０が、第１の重要度フラグの符号化用に選択される。それから、次の重要度フラグ用に、循環バッファにおける「１」の数が、３以上である場合に、値Δ＝Δ_ｐが選択される。循環バッファにおける「１」の数が、１以下である場合に、値Δ＝Δ_ｎが選択される。循環バッファ「１」の数が、２に等しい場合に、値Δ＝０が選択される。値Δ_ｐ及びΔ_ｎは、それぞれ正及び負である２つのパラメータである。第２の実施形態のこの変形は、変調値が、循環バッファにおける「１」の数によって決定されると言明することによって容易に一般化される。

別の変形において、変調値は、循環バッファエントリの加重和である。

式中、ｗ_ｋは、走査位置に依存し得る重みである。

図１５は、本原理を用いて重要度フラグを符号化する方法１５００の一実施形態を示す。方法は、ブロック１５０１で開始し、且つ走査順における前の重要度フラグから重要度フラグ予測子を決定するブロック１５１０に進む。予測子は、走査順における最後のＮ個の重要度フラグにおける１の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて決定することができる。制御は、ブロック１５１０からブロック１５２０、即ち、ブロック１５１０からの決定された予測子に基づいて、重要度フラグコンテキストに関連する確率を更新するブロック１５２０に進む。その確率は、例えば、現在の予測子、即ちデフォルト値又は用いられる最後の予測子値のいずれかに予測子を加えることによって更新することができる。例えば、符号化順で最後の４つの重要度フラグを格納する４要素バッファを用いると、次の重要度フラグコンテキスト確率用の予測子は、その時のバッファにおける１の数が３以上である場合に、正の予測子を選択することと、その時のバッファにおける１の数が１以下である場合に、負の予測子を選択することと、バッファにおける１の数が２である場合に、重要度フラグコンテキスト確率にどのような予測子も加えないことと、によって決定することができる。次に、制御は、ブロック１５２０からブロック１５３０、即ち、ブロック１５２０において計算された更新された確率を用いて、次の重要度フラグを符号化するブロック１５３０に進む。

図１６は、本原理を用いて重要度フラグを符号化する装置の２つの実施形態を示す。図１６ａは、符号器１６４０によって符号化されている走査順にサブブロック用の重要度フラグを格納する長さＮのバッファを含む装置１６００を示す。重要度フラグは、バッファ１６１０の入力ポートに入力され、且つバッファ１６１０の出力ポートから予測子生成回路１６２０の入力部に送信され、予測子生成回路１６２０は、バッファ１６１０と信号接続し、且つ予測子生成回路１６２０の入力ポートにおいて重要度フラグを受信する。予測子生成回路１６２０は、走査順における最後のＮ個の重要度フラグにおける１の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて、確率予測を形成することができる。確率予測は、予測子生成器１６２０の出力ポートにおいて、加算器１６３０の第１の入力ポートに出力され、加算器１６３０は、加算器１６３０への第２の入力ポートにおいて、確率の前バージョンに確率予測を加える。加算器１６３０の出力部は、符号器１６４０の入力ポートと信号接続し、符号器１６４０は、符号器１６４０から出力される次の符号化される重要度フラグに用いられる重要度フラグコンテキストに関連する更新された確率を用いる。

図１６ｂは、図１６ａにおけるのと同様の実施形態を示すが、しかし装置１６５０は、図１６ｂにおけるバッファ１６１０、予測子生成回路１６２０、及び加算器１６３０の機能を実行するプロセッサ１６６０を含む。次に、符号器１６７０は、プロセッサ１６６０から出力された、且つ符号器１６７０から出力される次の符号化される重要度フラグ用に用いられる重要度フラグコンテキストに関連する更新された確率を用いる。

図１７は、本原理を用いて重要度フラグを復号する方法１７００の一実施形態を示す。方法は、ブロック１７０１で開始し、且つ走査順における前の重要度フラグからの重要度フラグ予測子を決定するブロック１７１０に進む。予測子は、走査順における最後のＮ個の重要度フラグにおける１の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて決定することができる。制御は、ブロック１７１０から、ブロック１７１０からの決定された予測子に基づいて、重要度フラグコンテキストに関連する確率を更新するブロック１７２０に進む。その確率は、例えば、現在の予測子、即ちデフォルト値又は用いられる最後の予測子値のいずれかに予測子を加えることによって更新することができる。例えば、符号化順で最後の４つの重要度フラグを格納する４要素バッファを用いると、次の重要度フラグコンテキスト確率用の予測子は、その時のバッファにおける１の数が３以上である場合に、正の予測子を選択することと、その時のバッファにおける１の数が１以下である場合に、負の予測子を選択することと、バッファにおける１の数が２である場合に、重要度フラグコンテキスト確率にどのような予測子も加えないことと、によって決定することができる。次に、制御は、ブロック１７２０から１７３０に、即ち、ブロック１７２０において計算された更新された確率を用いて、次の重要度フラグを復号するブロック１７３０に進む。

図１８は、本原理を用いて重要度フラグを復号する装置の２つの実施形態を示す。図１８ａは、復号器１８４０によって復号されている走査順にサブブロック用の重要度フラグを格納する長さＮのバッファを含む装置１８００を示す。重要度フラグは、バッファ１８１０の入力ポートに入力され、且つバッファ１８１０の出力ポートから予測子生成回路１８２０の入力部に送信され、予測子生成回路１８２０は、バッファ１８１０と信号接続し、且つ予測子生成回路１８２０の入力ポートにおいて重要度フラグを受信する。予測子生成回路１８２０は、走査順における最後のＮ個の重要度フラグにおける１の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて、確率予測を形成することができる。確率予測は、予測子生成器１８２０の出力ポートにおいて、加算器１８３０の第１の入力ポートに出力され、加算器１８３０は、加算器１８３０への第２の入力ポートにおいて、確率予測を確率の前バージョンに加える。加算器１８３０の出力部は、復号器１８４０の入力ポートと信号接続し、復号器１８４０は、復号器１６４０から出力される次の符号化される重要度フラグに用いられる重要度フラグコンテキストに関連する更新された確率を用いる。

図１８ｂは、図１８ａにおけるのと同様の実施形態を示すが、しかし装置１８５０は、図１８ｂにおけるバッファ１８１０、予測子生成回路１８２０、及び加算器１８３０の機能を実行するプロセッサ１８６０を含む。次に、符号器１８７０は、プロセッサ１８６０から出力された、且つ符号器１８７０から出力される次の符号化された重要度フラグ用に用いられる重要度フラグコンテキストに関連する更新された確率を用いる。

これらの２つの実施形態及びそれらの変形において、現在の重要度フラグを予測するために用いられる幾つかの数の先行する重要度フラグは、空間的な近傍ではなく、最後のＮの符号化された重要度フラグである。最後に、それは、係数の走査順に関係すると理解される。Ｎ循環バッファを備えた変形は、２の累乗であるＮの値のための複雑さが、非常に低い。

これらの実施形態の特定の利点は、それらが、符号器又は復号器のいずれかに著しい複雑さを加えずに、ＨＥＶＣ後継などのビデオ圧縮技術の圧縮効率を改善するということである。

前述の実施形態は、セットトップボックス（ＳＴＢ）、モデム、ゲートウェイ、又はビデオ符号化若しくは復号を実行する他のデバイスにおいて実施することができる。

図に示されている様々な要素の機能は、専用ハードウエアと同様に、適切なソフトウエアと共同してソフトウエアを実行できるハードウエアの使用を通して提供することができる。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによってか、単一の共有プロセッサによってか、又は複数の個別のプロセッサ（それらの幾つかが共有されてもよい）によって提供されてもよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウエアを実行できるハードウエアを排他的に指すように解釈されるべきではなく、限定するわけではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウエア、ソフトウエアを格納するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗に含み得る。

また、従来的な及び／又はカスタムの他のハードウエアが含まれてもよい。同様に、図に示されたどのスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作を介して、専用論理を介して、プログラム制御及び専用論理の相互作用を介して、又は手動でさえ実行されてもよく、特定の技術は、コンテキストからより具体的に理解されるように、実施者によって選択可能である。

本説明は、本発明の原理を例示する。従って、本明細書において明示的に説明又は図示されていなくとも、当業者が、本原理を具体化する、且つ本原理の範囲に含まれる様々な構成を考案できることが認識されよう。

本明細書で挙げられた全ての例及び条件付きの文言は、読者が本原理、及び技術を発展させるために発明者によって寄与された概念を理解するのを助けるための教示目的のために意図されており、且つかかる特に挙げられた例及び条件への限定がないように解釈されるべきである。

更に、原理、態様、及び本原理の実施形態を挙げる本明細書の全ての言明と同様に、それらの特定の例は、その構造的及び機能的な均等物の双方を包含するように意図されている。加えて、かかる均等物が、現在周知の均等物と同様に、将来において開発される均等物の両方、即ち構造にかかわらず同一の機能を実行する開発される全ての要素を含むことが意図されている。

従って、例えば、本明細書で提示されたブロック図が、本発明の原理を具体化する回路を例示する概念図を表現することが、当業者によって認識されよう。同様に、いずれのフローチャート、フロー図、状態遷移図、擬似コード等も、様々なプロセスを表現し、これらのプロセスが、コンピュータ可読媒体において実質的に表現され得、且つコンピュータ又はプロセッサが明示的に示されているかどうかによらず、かかるコンピュータ又はプロセッサによってそのように実行され得ることが認識されよう。

本出願の特許請求の範囲において、特定の機能を実行するための手段として表現されたいずれの要素も、その機能を実行する任意の手法、即ち、例えばａ）その機能を実行する回路要素の組み合わせ、又はｂ）任意の形態のソフトウエアであって、従って、機能を実行するそのソフトウエアを実行するための適切な回路と組み合わされたファームウエア、マイクロコード等を含むソフトウエアを含む任意の手法を包含するように意図されている。かかる請求項によって定義される本発明の原理は、様々な列挙された手段によって提供される機能が、請求項が求める手法で組み合わされてまとめられるという事実に存在する。従って、それらの機能を提供できるどのような手段も、本明細書で示されているものと均等であると見なされる。

明細書において、本原理の「一実施形態」又は「実施形態」と同様に、それらの他のバリエーションへの言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に現れる語句「一実施形態において」又は「実施形態において」と同様に、任意の他のバリエーションの出現は、必ずしも、全て同一の実施形態を指すのではない。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ビデオ符号化の方法であって、
画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、
前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを符号化することと、を含む方法。
（付記２）
ビデオ復号の方法であって、
画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、
前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを復号することと、を含む方法。
（付記３）
ビデオ符号化の装置であって、
画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、
画像の一部のためのビデオを符号化する際に、前記修正された重要度フラグコンテキストを用いる符号器と、を含む装置。
（付記４）
ビデオ復号の装置
画像の一部の走査順に対応する複数の最後のＮ個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、
画像の一部のためのビデオを復号する際に、前記修正された重要度フラグコンテキストを用いる復号器と、を含む装置。
（付記５）
前記重要度フラグコンテキストが、前記重要度フラグコンテキストに関連する確率値を更新することによって修正される、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記６）
前記重要度フラグコンテキストが、後続の重要度フラグを符号化するために用いる重要度フラグコンテキストの代替セットを選択することによって修正される、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記７）
前記重要度フラグコンテキストが、前記ベクトルの要素の機能に基づいて修正される、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記８）
前記重要度フラグコンテキストが、真である前記ベクトルの複数の要素に基づいて修正される、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記９）
前記走査順が、ジグザグ走査である、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記１０）
Ｎの値が４である、付記１若しくは２に記載の方法又は付記３若しくは４に記載の装置。
（付記１１）
実行された場合に付記１、２又は５～１０のいずれか一項に記載の方法を実施するための、ビデオ符号化又は復号のための命令を格納した非一時的なコンピュータ可読記憶媒体。
（付記１２）
付記１又は５～１０のいずれか一項に従って生成されたビットストリームを格納した非一時的なコンピュータ可読記憶媒体。
（付記１３）
付記１の方法に従って生成されたビットストリーム。

Claims (14)

1. ビデオ符号化の方法であって、
   複数の重要度フラグコンテキストセットから、画像の部分の係数の重要度フラグについての重要度フラグコンテキストセットを選択することであって、前記重要度フラグは、前記重要度フラグが１に等しいときに、前記係数が非ゼロであることを信号伝達する、ことと、
   前記選択された重要度フラグコンテキストセットを用いて、前記重要度フラグを符号化することであって、前記選択することは、最後のＮ個の符号化された重要度フラグにおける１に等しい前記重要度フラグの数に基づいて、前記重要度フラグコンテキストセットを選択するために、走査順における最後のＮ個の符号化された重要度フラグを用いる、ことと、
   を含む方法。
2. ビデオ復号の方法であって、
   複数の重要度フラグコンテキストセットから、画像の部分の係数の重要度フラグについての重要度フラグコンテキストセットを選択することであって、前記重要度フラグは、前記重要度フラグが１に等しいときに、前記係数が非ゼロであることを信号伝達する、ことと、
   前記選択された重要度フラグコンテキストセットを用いて、前記重要度フラグを復号化することであって、前記選択することは、最後のＮ個の復号化された重要度フラグにおける１に等しい前記重要度フラグの数に基づいて、前記重要度フラグコンテキストセットを選択するために、走査順における最後のＮ個の復号化された重要度フラグを用いる、ことと、
   を含む方法。
3. ビデオ符号化の装置であって、
   複数の重要度フラグコンテキストセットから、画像の部分の係数の重要度フラグについての重要度フラグコンテキストセットを選択するように構成されたプロセッサであって、前記重要度フラグは、前記重要度フラグが１に等しいときに、前記係数が非ゼロであることを信号伝達する、プロセッサと、
   前記重要度フラグを符号化する際に、前記選択された重要度フラグコンテキストセットを用いる符号化器であって、前記選択することは、最後のＮ個の符号化された重要度フラグにおける１に等しい前記重要度フラグの数に基づいて、前記重要度フラグコンテキストセットを選択するために、走査順における最後のＮ個の符号化された重要度フラグを用いる、符号化器と、
   を備える装置。
4. ビデオ復号の装置であって、
   複数の重要度フラグコンテキストセットから、画像の部分の係数の重要度フラグについての重要度フラグコンテキストセットを選択するように構成されたプロセッサであって、前記重要度フラグは、前記重要度フラグが１に等しいときに、前記係数が非ゼロであることを信号伝達する、プロセッサと、
   前記重要度フラグを復号化する際に、前記選択された重要度フラグコンテキストセットを用いる復号器であって、前記選択することは、最後のＮ個の復号化された重要度フラグにおける１に等しい前記重要度フラグの数に基づいて、前記重要度フラグコンテキストセットを選択するために、走査順における最後のＮ個の復号化された重要度フラグを用いる、復号器と、
   を備える装置。
5. 請求項１に記載の方法であって、前記走査順は、ジグザグ走査順である、方法。
6. 請求項２に記載の方法であって、前記走査順は、ジグザグ走査順である、方法。
7. 請求項３に記載の装置であって、前記走査順は、ジグザグ走査順である、装置。
8. 請求項４に記載の装置であって、前記走査順は、ジグザグ走査順である、装置。
9. 請求項１に記載の方法であって、Ｎの値は４である、方法。
10. 請求項２に記載の方法であって、Ｎの値は４である、方法。
11. 請求項３に記載の装置であって、Ｎの値は４である、装置。
12. 請求項４に記載の装置であって、Ｎの値は４である、装置。
13. 実行された場合に請求項１，５，９の何れか一項に記載の方法を実施するための、ビデオ符号化のための命令を格納した非一時的なコンピュータ可読記憶媒体。
14. 実行された場合に請求項２，６，１０の何れか一項に記載の方法を実施するための、ビデオ復号化のための命令を格納した非一時的なコンピュータ可読記憶媒体。

Images