JP7525711B2

JP7525711B2 - 装置

Info

Publication number: JP7525711B2
Application number: JP2023145152A
Authority: JP
Inventors: ザオジー; エー．セガールクリストファー; ジェイ．ケロフスキールイス
Original assignee: ドルビー・インターナショナル・アーベー
Priority date: 2008-03-28
Filing date: 2023-09-07
Publication date: 2024-07-30
Anticipated expiration: 2029-03-25
Also published as: JP2016001895A; BR122020000327B1; JP2012257316A; JP2015195609A; US10284881B2; US9681143B2; US20100027680A1; US20200245001A1; US20160165250A1; RU2019107974A; US20190356932A1; CN104270645A; JP6068575B2; EP3764652A1; CN104270645B; US20140241438A1; RU2010142914A; US20170223385A1; US20090245349A1; JP6810204B2

Description

本発明の実施の形態は、一般に動画像符号化に関する。

Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ（Ｈ．２６４／ＡＶＣ）等の最新の動画像符号化方法および規格は、複雑度が増大することを代償として、旧来の方法および規格に比べて、より高い符号化効率を提供する。動画像符号化方法および規格において画質および解像度に関する要求が増していることも、複雑度を増大させる要因である。並列復号処理をサポートしているデコーダにおいては、復号速度が向上し、必要なメモリ量が削減される。加えて、マルチコアプロセッサの進歩は、並列復号処理をサポートしているエンコーダおよびデコーダを望ましいものにしている。

Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ（非特許文献１）は、動画像のコーデックについての仕様書（当該仕様書の全体が、本明細書に組み込まれるものとする）であり、当該仕様書においては、効率的な圧縮を行うため、動画像のシーケンスにおいて時間的および空間的な冗長性を削減するマクロブロック予測とそれに引き続く残差符号化が用いられている。

"H.264: Advanced video coding for generic audiovisual services," Joint Video Team of ITU-T VCEG and ISO/IEC MPEG, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG4 - Part 10), November 2007

しかしながら、Ｈ．２６４／ＡＶＣのデコーダおいて、エントロピー復号は、デコーダにおける全ての処理に先立って行う必要がある。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。

本発明は上記の問題に鑑みてなされたものであり、その主たる目的は、上記問題を解決することにある。

本発明の一つの態様は、装置であって、１以上のプロセッサによって実行されたとき、前記１以上のプロセッサに、動画像ビットストリームに対応する画像データを生成する動作を実行させる命令を格納した一時的でないコンピュータ読み取り可能な記録媒体を備え、前記画像データは、第１スライスおよび第２スライスを含む第１ピクチャを含む前記動画像ビットストリームにおける複数のピクチャと、前記第１ピクチャの前記第１スライスに関連付けられた第１スライスヘッダ、および前記第１ピクチャの前記第２スライスに関連付けられた第２スライスヘッダを含む複数のスライスヘッダと、を含み、前記第１スライスおよび前記第２スライスは、複数のエントロピー符号化されたサンプルの複数のブロックを含み、前記第２スライスヘッダは、前記第１スライスヘッダと異なり、前記第１スライスヘッダといくつかのスライス特性を共有し、前記第１スライスヘッダのフラグの値は、前記第１スライスヘッダに対応するスライスが、再構成スライスの始まりとなるエントロピースライスであることを示し、前記第２スライスヘッダのフラグの値は、前記第２スライスヘッダに対応するスライスが、再構成スライスの始まりとならないエントロピースライスであることを示し、前記第１スライスヘッダのフラグの値は０に設定され、前記第１スライスおよび前記第２スライスの前記画像データは、変換係数を含むものである。

本発明についての、上述した若しくは他の目的、特性、および利点は、本発明についての以下の詳細な説明を、添付された図面と共に考慮することにより、より容易に理解されるであろう。

Ｈ．２６４／ＡＶＣにおいて、エントロピー復号は、復号処理における潜在的なボトルネックとなっている。本発明の一実施例における構成は、画像を再構成するために必要なエントロピー復号処理を並列に行うことを可能にしている。したがって、本発明に係る方法によれば、上記問題を解決することができる。

Ｈ．２６４／ＡＶＣ動画像エンコーダ（従来技術）を示す図である。Ｈ．２６４／ＡＶＣ動画像デコーダ（従来技術）を示す図である。例示的なスライスの構造（従来技術）を示す図である。例示的なスライスグループの構造（従来技術）を示す図である。本発明の実施の形態における例示的なスライス分割を示すものであって、１枚のピクチャが少なくとも１枚の再構成スライスに分割され、１枚の再構成スライスが１より多くのエントロピースライスに分割されていることを示す図である。エントロピースライスを含む本発明の例示的な実施の形態を示すフローチャートである。スライスの再構成に引き続いて行われる複数のエントロピースライスの並列的なエントロピー復号を含む本発明の例示的な実施の形態を示すフローチャートである。エントロピースライスを構成するために行われるピクチャレベルでの予測データ／残差データの多重化を含む本発明の例示的な実施の形態を示すフローチャートである。エントロピースライスを構成するために行われるピクチャレベルでの色平面の多重化を含む本発明の例示的な実施の形態を示すフローチャートである。エントロピー復号、エントロピースライスの形成、および、エントロピー符号化により行われるビットストリームのトランスコードを含む本発明の例示的な実施の形態を示すフローチャートである。

本発明の実施の形態は、図面を参照することにより最もよく理解されるであろう。なお、図面においては、同様の部分には、同様の番号を付すことにする。また、上記の図面は、明示的に詳細な説明の一部に組み込まれる。

本明細書の図面において一般的に記述および説明がなされているように、本発明の各要素は、様々な構成においてアレンジおよび設計が可能であることが容易に理解されるであろう。従って、以下に述べる、本発明に係る方法、装置、および、システムの実施の形態についてのより詳細な記載は、本発明の範囲を限定するものではなく、単に、現段階における好ましい実施の形態を表現しているに過ぎない。

本発明の実施の形態における各要素は、ハードウエア、ファームウエア、および／または、ソフトウエアによって実現されてもよい。本明細書において例示的に開示される実施の形態は、これらの形態の一つを記述しているに過ぎず、当業者であれば、本発明の範囲内において、各要素を、これらの形態の何れにおいても実現することができることが理解されるものとする。

エントロピー符号化／復号を用いる任意のコーダ（coder）／デコーダ（decoder）（コーデック）は、本発明の実施の形態に含まれるが、本発明の例示的な実施の形態は、Ｈ．２６４／ＡＶＣのエンコーダ、および、Ｈ．２６４／ＡＶＣのデコーダとの関連において説明される。これは、本発明の説明のためであり、本発明を限定するものではない。

Ｈ．２６４／ＡＶＣ、および、その他多くの動画像符号化規格および方法は、ブロックに基づくハイブリッド動画像符号化のアプローチに基づいている。それらにおいて、情報源符号化（source-coding）アルゴリズムは、（ａ）画像間（inter-picture、フレーム間（inter-frame）ともいう）予測、（ｂ）画像内（intra-picture、フレーム内（intra-frame）ともいう）予測、および、（ｃ）予測残差（prediction-residual）の変換符号化（transform coding）、のハイブリッドである。フレーム間予測は、時間方向の冗長性を利用するものであり、フレーム内および予測残差の変換符号化は、空間方向の冗長性を利用するものである。

図１は、例示的なＨ．２６４／ＡＶＣ動画像エンコーダ２のブロック図である。入力フレームと捉えることもできる入力画像（input picture、入力ピクチャ）４が、符号化の対象として存在している。予測信号（predicted signal）６、および、残差信号（residual signal）８が生成される。ここで、予測信号６は、フレーム間予測（inter-frame prediction）１０またはフレーム内予測（intra-frame prediction）１２の何れかに基づくものである。フレーム間予測１０は、（１）蓄積された参照画像１６（参照フレームともいう）、および、（２）入力フレーム（入力画像）４と参照フレーム（参照画像）１６との間の動き検出１８の処理によって決定された動き情報１９、を用いる動き補償（部）１４によって決定される。フレーム内予測１２は、フレーム内予測（部）２０により復号信号２２を用いて決定される。残差信号８は、入力フレーム４から予測（予測画像）６を減算することによって決定される。残差信号８は変換・スケール・量子化２４され、これにより、量子化された変換係数２６が生成される。復号信号２２は、量子化された変換係数２６を逆変換、スケーリング、および、逆量子化３０することにより生成される信号２８に、予測信号６を加算することによって生成される。動き情報１９、および、量子化された変換係数２６は、エントロピー符号化３２され、圧縮された動画像のビットストリーム３４に書き込まれる。出力画像領域３８（例えば、参照フレームの一部）は、エンコーダ２において、再構成されたフィルタ前の信号（復号信号）２２に対してフィルタ３６を作用させることにより生成される。

図２は、例示的な２６４／ＡＶＣ動画像デコーダ５０のブロック図である。ビットストリームと捉えることもできる入力信号５２が、復号の対象として存在している。受信されたシンボルは、エントロピー復号５４され、これにより、（１）動き情報５６、および、（２）量子化およびスケーリングされた変換係数５８が生成される。動き情報５６は、動き補償６０により、フレームメモリ６４内の参照フレーム８４の一部と結合され、フレーム間予測６８が生成される。量子化およびスケーリングされた変換係数５８は、逆量子化、（逆）スケーリング、および、逆変換６２され、これにより、復号された残差信号７０が生成される。残差信号７０は、予測信号７８に加算される。ここで、予測信号７８は、フレーム間予測信号６８、または、フレーム内予測信号７６の何れかである。フレーム内予測信号７６は、現フレームにおいて既に復号された情報７２からフレーム内予測７４により予測される。加算された信号７２は、デブロッキングフィルタ８０によってフィルタされ、フィルタ済みの信号８２は、フレームメモリ６４に書き込まれる。

Ｈ．２６４／ＡＶＣにおいては、入力ピクチャは、固定サイズのマクロブロックに分割され、各マクロブロックは、輝度成分について１６×１６サンプル、および、２つの色差成分の各々について８×８サンプルの矩形状の画像領域をカバーする。Ｈ．２６４／ＡＶＣ規格における復号処理は、マクロブロックを単位として処理を行う仕様である。エントロピーデコーダ５４は、圧縮された動画像のビットストリーム５２のシンタックス要素を構文解析し、それらを逆多重化する。Ｈ．２６４／ＡＶＣは、エントロピー復号として、異なる２つの方法を用いる仕様である。その１つは、ＣＡＶＬＣと呼ばれる、コンテキストを適応的に切り替える可変長符号のセットを利用することに基づく複雑性の低い技術であり、もう１つは、ＣＡＢＡＣと呼ばれる、コンテキストに基づく適応的なバイナリー算術符号化を行う、より多くの計算量を要するアルゴリズムである。双方のエントロピー復号方法において、現シンボルの復号処理は、前に正しく復号されたシンボル、および、適応的にアップデートされるコンテキストモデルに依存する。加えて、例えば、予測データ情報、残差データ情報、および、異なる色平面（color planes）等の異なるデータ情報が共に多重化される。逆多重化は、各要素がエントロピー復号されるまで終了しない。

エントロピー復号の後、マクロブロックは、（１）逆量子化および逆変換を経た残差信号、および、（２）フレーム内予測信号およびフレーム間予測信号の何れかである予測信号、を得ることにより再構成される。ブロック歪みは、復号された各マクロブロックに対してデブロッキングフィルタを作用させることにより低減される。入力信号がエントロピー復号されるまでは、如何なる処理も始まることはない。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。

同様に、例えば、Ｈ．２６４／ＡＶＣにおけるレイヤ間予測、および、その他のスケーラブルなコーデックにおけるレイヤ間予測のような互いに異なる予測のメカニズムが許されるコーデックにおいて、エントロピー復号は、デコーダにおける全ての処理に先立って行う必要がある。したがって、エントロピー復号は、復号処理において、潜在的なボトルネックとなっている。

Ｈ．２６４／ＡＶＣにおいて、複数のマクロブロックを含む入力ピクチャは、１または複数のスライスに分割される。エンコーダおよびデコーダにて用いられる参照画像が同一であるとすると、１枚のスライスが示す画像の領域におけるサンプルの値は、他のスライスのデータを用いることなく正しく復号される。したがって、１枚のスライスに対するエントロピー復号、および、マクロブロックの再構成は、他のスライスに依存しない。特に、各スライスの開始において、エントロピー符号化の状態はリセットされる。他のスライスのデータは、エントロピー復号および再構成の双方に対して近傍の利用可能性を定義するときに、利用不可能とマークされる。Ｈ．２６４／ＡＶＣにおいて、スライスは、並列的にエントロピー復号および再構成される。スライス境界を跨ぐイントラ（画面内）予測および動きベクトル予測は、禁止されている。デブロッキングフィルタは、スライス境界を跨いだ情報を用いることができる。

図３は、例示的なビデオ画像（ビデオピクチャ）９０を示している。ビデオ画像９０は、水平方向に１１個、垂直方向に９個のマクロブロックを含んでいる（９個の例示的なマクロブロックに９１～９９の番号を付している）。図３には、３枚の例示的なスライス：
“スライス＃０”１００と示されている第１のスライス、“スライス＃１”１０１と示されている第２のスライス、および、“スライス＃２”１０２と示されている第３のスライス、が示されている。Ｈ．２６４／ＡＶＣデコーダは、３枚のスライス１００、１０１、１０２を並列的に復号および再構成することができる。各スライスの復号／再構成の処理の最初に、コンテキストモデルが初期化若しくはリセットされ、他のスライス内のマクロブロックは、エントロピー復号およびマクロブロックの再構成の双方に対して、利用不可能とマークされる。したがって、“スライス＃１”内のマクロブロック、例えば、９３の番号が付されたマクロブロック、に対して、“スライス＃０”内のマクロブロック（例えば、９１および９２の番号が付されたマクロブロック）は、コンテキストモデルの選択、および、再構成に用いられない。一方で、“スライス＃１”内のマクロブロック、例えば、９５の番号が付されたマクロブロックに対して、“スライス＃１”内の他のマクロブロック（例えば、９３および９４の番号が付されたマクロブロック）は、コンテキストモデルの選択、および、再構成に用いられる。従って、エントロピー復号、および、マクロブロックの再構成は、スライス内で、逐次的（serially）に行われる必要がある。スライスがフレキシブルなマクロブロック順序付け（flexible macroblock ordering(FMO)）を用いて定義されているものでない限り、スライス内のマクロブロックは、ラスタスキャン順に処理される。

フレキシブルなマクロブロック順序付けは、１枚のピクチャのスライスへの分割の態様を変更するスライスグループ（slice group）を定義する。スライスグループ内のマクロブロックは、マクロブロックからスライスグループへのマップ（macroblock-to-slice-group map）によって定義される。ここで、マクロブロックからスライスグループへのマップは、スライスヘッダにおけるピクチャパラメータセットおよび追加情報の内容によって示される。マクロブロックからスライスグループへのマップは、ピクチャ内の各マクロブロックについてのスライスグループ識別番号（slice-group identification number）により構成されている。スライスグループ識別番号は、各マクロブロックがどのスライスに属するものであるかを特定する。各スライスグループは、１または複数のスライスに分割が可能である。ここで、スライスは、あるスライスグループのマクロブロックのセットにおいてラスタスキャン順に処理される同じスライスグループ内の一連のマクロブロックよりなる。エントロピー復号、および、マクロブロックの再構成は、スライス内で、逐次的に行われる必要がある。

図４は、３つのスライスグループ：“スライスグループ＃０”１０３と示される第１のスライスグループ、“スライスグループ＃１”１０４と示される第２のスライスグループ、および、“スライスグループ＃２”１０５と示される第３のスライスグループ、への例示的なマクロブロックの配置を示している。これらのスライスグループ１０３、１０４、１０５は、それぞれ、ピクチャ９０における２つの前景領域（foreground regions）および、１つの背景領域（background region）に関連付けられている。

本発明のいくつかの実施の形態は、ピクチャを１または複数の再構成スライス（reconstruction slice）へ分割することを含んでいる。ここで、エンコーダおよびデコーダにて用いられる参照画像が同一であるとすると、再構成スライスは、該ピクチャ上の該再構成スライスによって表される領域におけるサンプルの値が他の再構成スライスからのデータを用いることなく正しく再構成されるという点で、自己完結的である。再構成スライスにおけるすべての再構成されたマクロブロックは、再構成のための近傍の定義付けにおいて、利用可能である。

本発明のいくつかの実施の形態は、再構成スライスを１より多くのエントロピースライス（entropy slice）に分割することを含んでいる。ここで、エントロピースライスは、該ピクチャ上の該エントロピースライスによって表される領域におけるシンボルの値が他のエントロピースライスからのデータを用いることなく正しくエントロピー復号されるという点で、自己完結的である。本発明のいくつかの実施の形態においては、各エントロピースライスの復号開始において、エントロピー符号化の状態はリセットされる。本発明のいくつかの実施の形態において、他のエントロピースライスのデータは、エントロピー復号のための近傍の利用可能性を定義するときに、利用不可能とマークされる。本発明のいくつかの実施の形態においては、他のエントロピースライスにおけるマクロブロックは、現ブロックのコンテキストモデルの選択において用いられることはない。本発明のいくつかの実施形態において、コンテキストモデルは、エントロピースライス内においてのみアップデートされる。本発明のこれらの実施の形態において、１枚のエントロピースライスに用いられる各エントロピーデコーダは、コンテキストモデルについての、自身のセットを保持する。

本発明のいくつかの実施の形態は、ＣＡＢＡＣ符号化／復号を含んでいる。ＣＡＢＡＣ符号化処理は、以下のステップを含んでいる。

・バイナリゼーション（binarization）：２進値でないシンボル（non-binary-valued symbol）（例えば、変換係数、動きベクトル、または、その他の符号化データ）は、ビンストリング（bin string）とも呼ばれる２進符号（binary code）に変換される。

２値化されたシンボルの、ビットと捉えることもできる各ビンについて、バイナリゼーションに引き続いて行われるのがコンテキストモデル選択である。

・コンテキストモデル選択：コンテキストモデルは、２値化されたシンボルの１またはそれ以上のビンに対しての確率モデルである。コンテキストモデルは、各ビンについて、該ビンが“１”および“０”の何れであるかの確率を含んでいる。モデルの選択は、直近に符号化されたデータシンボルの統計に依存して、通常、左隣および上隣のシンボルが利用可能であればそれらに基づいて、利用可能な複数のモデルの選択肢に対して行われる。

・２値算術符号化：算術コーダ（arithmetic coder）は、選択された確率モデルに従い、再帰的な区間の再分割に基づいて、各ビンを符号化する。

・確率のアップデート：選択されたコンテキストモデルは、実際の符号化された値に基づいてアップデートされる。

ＣＡＢＡＣ符号化／復号を含む本発明のいくつかの実施の形態においては、エントロピースライスの復号開始において、全てのコンテキストモデルは初期化されるか、または、所定のモデルにリセットされる。

本発明のいくつかの実施の形態は、図５との関係において理解される。図５は、例示的なビデオフレーム（video frame、動画像フレーム）１１０を示している。ビデオフレーム１１０は、水平方向に１１個、垂直方向に９個のマクロブロックを含んでいる（９個の例示的なマクロブロックに１１５～１２３の番号を付している）。図５には、３枚の例示的な再構成スライス：“Ｒ＿スライス＃０”１１１と示されている第１の再構成スライス、“Ｒ＿スライス＃１”１１２と示されている第２の再構成スライス、および、“Ｒ＿スライス＃２”１１３と示されている第３の再構成スライス、が示されている。図５には、さらに、第２の再構成スライス“Ｒ＿スライス＃１”１１２の、３枚のエントロピースライス：クロスハッチで表されており“Ｅ＿スライス＃０”と示されている第１のエントロピースライス１１２－１、垂直ハッチで表されており“Ｅ＿スライス＃１”と示されている第２のエントロピースライス１１２－２、および、斜めハッチで表されており“Ｅ＿スライス＃２”と示されている第３のエントロピースライス１１２－３、への分割が示されている。各エントロピースライス１１２－１、１１２－２、１１２－３は、並列的にエントロピー復号される。ここで、“Ｅ＿スライス＃０”と示されている第１のエントロピースライス、および、“Ｅ＿スライス＃１”と示されている第２のエントロピースライスは、ビットストリームの第１の部分および第２の部分とも呼ばれる。

本発明のいくつかの実施の形態においては、エントロピースライス内のマクロブロックからのデータのみが、該エントロピースライスのエントロピー復号を行っている間のコンテキストモデルの選択に対して利用可能である。他の全てのマクロブロックは、利用不可能とマークされる。この例示的な分割においては、１１７および１１８の番号が付されたマクロブロックは、１１９の番号が付されたマクロブロックの領域に対応するシンボルを復号するときには、コンテキストモデルの選択に利用不可能である。これは、１１７および１１８の番号が付されたマクロブロックは、マクロブロック１１９を含む該エントロピースライスの外に位置しているからである。しかしながら、これらのマクロブロック１１７、１１８は、マクロブロック１１９が再構成されるときには利用可能である。

本発明のいくつかの実施の形態においては、エンコーダは、再構成スライスをエントロピースライスに分割するか否かを決定し、その決定をシグナルとしてビットストリーム中に含める。本発明のいくつかの実施の形態においては、そのシグナルは、エントロピースライスフラグ（entropy-slice frag）（第１のエントロピースライスにおけるエントロピースライスフラグは第１のフラグとも呼ばれる）を含んでいる。本発明のいくつかの実施の形態においては、該エントロピースライスフラグは、“entropy_slice_frag”と表される。

本発明のいくつかのデコーダの実施の形態は、図６との関係において記述される。これらの実施の形態においては、エントロピースライスフラグが分析（examine）され（Ｓ１３０）、もし、該エントロピースライスフラグが、ピクチャまたは再構成スライスに関連付けられたエントロピースライスが存在しないことを示していれば（ステップＳ１３０でＮＯ）、ヘッダは、標準的スライスヘッダ（regular slice header）として構文解析（parse）される（Ｓ１３４）。エントロピーデコーダの状態はリセットされ（Ｓ１３６）、エントロピー復号および再構成のための近傍情報（neighbor information）が定義される（Ｓ１３８）。そして、スライスのデータがエントロピー復号され（Ｓ１４０）、スライスが再構成される（Ｓ１４２）。もし、該エントロピースライスフラグが、ピクチャに関連付けられたエントロピースライスが存在していることを示していれば（ステップＳ１３０でＹＥＳ）、ヘッダは、エントロピースライスヘッダ（entropy-slice header）として構文解析される（Ｓ１４８）。エントロピーデコーダの状態はリセットされ（Ｓ１５０）、エントロピー復号のための近傍情報が定義され（Ｓ１５２）、エントロピースライスのデータがエントロピー復号される（Ｓ１５４）。そして、再構成のための近傍情報が定義され（Ｓ１５６）、スライスが再構成される（Ｓ１４２）。ステップＳ１４２におけるスライスの再構成の後に、次のスライスまたはピクチャが分析される。

本発明の他のいくつかのデコーダの実施の形態は、図７との関係において記述される。これらの実施の形態においては、デコーダは、並列的な復号を行うことが可能であり、自身の並列度（degree of parallelism）を定義する。例えば、並列的にＮ枚のエントロピースライスを復号することが可能なデコーダを考える。該デコーダは、Ｎ枚のエントロピースライスを識別する（Ｓ１７０）。本発明のいくつかの実施の形態においては、現ピクチャ若しくは再構成スライスにおいて、Ｎ枚よりも少ないエントロピースライスが利用可能なとき、該デコーダは、次のピクチャ若しくは再構成スライスが利用可能であれば、それらからのエントロピースライスを復号する。他の実施の形態においては、デコーダは、次のピクチャ若しくは再構成スライスの一部を復号する前に、現ピクチャ若しくは再構成スライスが完全に処理されるまで待機する。ステップＳ１７０において、Ｎ枚までのエントロピースライスを識別した後、識別されたエントロピースライスの各々は、独立にエントロピー復号される。第１のエントロピースライスが復号される（Ｓ１７２～Ｓ１７６）。第１のエントロピースライスの復号は、該デコーダの状態をリセットすることを含んでいる（Ｓ１７２）。ＣＡＢＡＣエントロピー復号を含むいくつかの実施の形態においては、ＣＡＢＡＣの状態がリセットされる。第１のエントロピースライスのエントロピー復号のための近傍情報が定義され（Ｓ１７４）、第１のエントロピースライスのデータが復号される（Ｓ１７６）。Ｎ枚までのエントロピースライスの各々に対して、これらのステップが行われる（Ｎ番目のエントロピースライスに対してのＳ１７８～Ｓ１８２）。本発明のいくつかの実施の形態において、デコーダは、すべてのエントロピースライスがエントロピー復号されたときに、該エントロピースライスを再構成する（Ｓ１８４）。本発明の他の実施の形態においては、デコーダは、１またはそれ以上のエントロピースライスが復号された後に、ステップＳ１８４の再構成を開始する。

本発明のいくつかの実施の形態においては、Ｎ枚より多くのエントロピースライスが存在するときには、復号スレッド（decode thread）は、エントロピースライスのエントロピー復号が終了次第、次のエントロピースライスのエントロピー復号を開始する。従って、スレッドが複雑性の低いエントロピースライスのエントロピー復号を完了したとき、該スレッドは、他のスレッドが復号を完了するのを待つことなく、さらなるエントロピースライスの復号を開始する。

既存の規格若しくは方法を含む本発明のいくつかの実施の形態において、エントロピースライスは、そのような規格もしくは方法に従った標準的スライス（regular slice）のスライス特性（slice attributes）の多くを共有している。したがって、エントロピースライスは、小さなヘッダを必要とする。本発明のいくつかの実施の形態においては、エントロピースライスヘッダは、デコーダがエントロピースライスの始まりを識別し、エントロピー復号を開始することを許可する。いくつかの実施の形態においては、ピクチャ若しくは再構成スライスの始まりにおいて、エントロピースライスヘッダは、標準的ヘッダ（regular header）若しくは再構成スライスヘッダ（reconstruction slice header）である。

Ｈ．２６４／ＡＶＣコーデックを含む本発明のいくつかの実施の形態において、エントロピースライスは、既存のスライスヘッダに新たなビット“entropy_slice_flag”を追加することによってシグナル化される。表１は、本発明の実施の形態に従ったエントロピースライスヘッダのシンタックスのリストを示している。表１においては、Ｃは、カテゴリ（Category）を示しており、記述子（Descriptor）ｕ（１）、ｕｅ（ｖ）は、固定長（fixed length）または可変長（variable length）の復号方法を示している。

“first_mb_in_slice”は、エントロピースライスヘッダに関連付けられたエントロピースライスにおける最初のマクロブロックのアドレスを特定する。いくつかの実施形態においては、エントロピースライスは、一連のマクロブロックを含んでいる。

“cabac_init_idc”は、コンテキストモードの初期化処理に用いられる初期化テーブル（initialization table）を決定するためのインデックスを特定する。

表１：エントロピースライスヘッダのシンタックステーブル
本発明のいくつかの実施の形態においては、エントロピースライスのエントロピー復号は、複数のコンテキストモデルを初期化すること、および、該エントロピースライスのエントロピー復号を行っている間に該複数のコンテキストモデルのアップデートすること、を含んでいる。

本発明のいくつかの実施の形態においては、エントロピースライスには、標準的スライスとは異なるネットワーク抽象レイヤ（NAL:network abstraction layer）ユニットタイプが割り当てられる。これらの実施の形態においては、デコーダは、標準的スライスと、エントロピースライスとを、ＮＡＬユニットタイプに基づいて識別することができる。これらの実施の形態においては、ビットフィールド（bit field）“entropy_slice_flag”は必要とされない。

本発明のいくつかの実施の形態においては、エントロピースライスは、データ多重化を変更することによって構成される。本発明のいくつかの実施の形態においては、エントロピースライスに含まれる一群のシンボルはマクロブロックレベルで多重化される。本発明の別の実施の形態においては、エントロピースライスに含まれる一群のシンボルはピクチャレベルで多重化される。本発明の他の別の実施の形態においては、エントロピースライスに含まれる一群のシンボルはデータタイプにより多重化される。本発明の更なる別の実施の形態においては、エントロピースライスに含まれる一群のシンボルは上述したものの組み合わせによって多重化される。

本発明に係る方法のいくつかの実施の形態は、（１）ビデオシーケンス中のビデオフレームを符号化すること、（２）それによって、再構成スライスを生成すること、および、（３）該再構成スライスを複数のエントロピースライスに分割すること、を含んでいる。ここで、（１）ビデオシーケンス中のビデオフレームを符号化すること、には、ビデオシーケンス中のフレームを少なくとも１枚の再構成スライスに分割すること、が含まれる。

ピクチャレベルでの多重化に基づきエントロピースライスを構成することを含む本発明のいくつかの実施の形態は、図８および図９との関係において理解される。図８に示されている本発明のいくつかの実施の形態においては、予測データ（prediction data）１９０、および、残差データ（residual data）１９２は、予測エンコーダ（prediction encoder）１９４、および、残差エンコーダ（residual encoder）１９６によって個別にエントロピー符号化され、ピクチャレベルマルチプレクサ（picture-level multiplexer）１９８によって、ピクチャレベルで多重化される。本発明のいくつかの実施の形態においては、ピクチャについての予測データ１９０は、第１のエントロピースライスに関連付けられており、ピクチャについての残差データ１９２は、第２のエントロピースライスに関連付けられている。符号化された予測データ、および、符号化されたエントロピーデータは、並列的に復号される。本発明のいくつかの実施の形態においては、予測データまたは残差データを含む各パーティションは、並列的に復号される複数のエントロピースライスに分割される。

図９に示されている本発明のいくつかの実施の形態においては、各色平面の残差、例えば、輝度（luma（Y））残差２００、および、２つの色差（chroma（UおよびV））残差２０２、２０４は、Ｙエンコーダ２０６、Ｕエンコーダ２０８、および、Ｖエンコーダ２１０によって個別にエントロピー符号化され、ピクチャレベルマルチプレクサ２１２によって、ピクチャレベルで多重化される。本発明のいくつかの実施の形態においては、ピクチャ２００についての輝度残差は、第１のエントロピースライスに関連付けられており、ピクチャ２０２についての第１の色差（Ｕ）残差は、第２のエントロピースライスに関連付けられており、ピクチャ２０４についての第２の色差（Ｖ）残差は、第３のエントロピースライスに関連付けられている。３枚の色平面についての符号化された残差データは、並列的に復号される。本発明のいくつかの実施の形態においては、色平面残差データを含む各パーティションは、並列的に復号される複数のエントロピースライスに分割される。本発明のいくつかの実施の形態においては、輝度残差２００は、色差残差２０２、２０４に比べて、相対的に多くのエントロピースライスを有している。

本発明のいくつかの実施の形態においては、圧縮された動画像（compressed-video）のビットストリームは、エントロピースライスを含むようにトランスコード（transcode）され、それによって、上述した本発明の実施の形態に含まれる、並列的なエントロピー復号が行われる。本発明のいくつかの実施の形態は、図１０との関係において記述される。エントロピースライスを有しない入力ビットストリームは、図１０に従って、ピクチャ毎に処理される。本発明のこれらの実施の形態においては、該入力ビットストリームからのピクチャは、エントロピー復号される（Ｓ２２０）。符号化されたデータ、例えば、モードデータ、動き情報、残差情報、および、その他のデータが取得される。エントロピースライスが、該データから１枚ずつ構成される（Ｓ２２２）。エントロピースライスに対応するエントロピースライスヘッダが、新たなビットストリームに書き込まれる（Ｓ２２４）。エンコーダの状態がリセットされ、近傍情報が定義される（Ｓ２２６）。エントロピースライスがエントロピー符号化され（Ｓ２２８）、該新たなビットストリームに書き込まれる。構成されたエントロピースライスに取り込まれて（consumed）いないピクチャデータが存在する場合には（ステップＳ２３０でＮＯ）、他のエントロピースライスがステップＳ２２２にて構成され、構成されたエントロピースライスに全てのピクチャデータが取り込まれるまで、Ｓ２２４～Ｓ２３０の処理が続けられ（ステップＳ２３０でＹＥＳ）、その後、次のピクチャが処理される。

〔付記事項〕
本発明のいくつかの実施の形態には、スライスデータを、独立にエントロピー符号化および復号される複数のエントロピースライスに分割することによって、動画像ビットストリームを並列的にエントロピー符号化及び復号するための方法、装置、および、システムが含まれる。

本出願の１つの側面に従って、動画像ビットストリームを復号するための方法が与えられる。当該方法は、動画像ビットストリームの第１の部分であって、動画像フレームに関連付けられた第１の部分をエントロピー復号することによって、復号データの第１の部分を生成する第１のエントロピー復号工程と、上記第１の部分のエントロピー復号とは独立に、上記動画像ビットストリームの第２の部分であって、上記動画像フレームに関連付けられた第２の部分をエントロピー復号することによって、復号データの第２の部分を生成する第２のエントロピー復号工程と、復号データにおける上記第１の部分と、復号データにおける上記第２の部分とを用いて、上記動画像ビットストリームに関連付けられた上記動画像フレームの第１の部分を再構成する再構成工程と、を含んでいる。

本出願の他の側面に従って、動画像シーケンスにおける動画像フレームを復号する方法が与えられる。当該方法は、ビットストリームを受信する受信工程と、上記ビットストリームにおける再構成スライスを識別する再構成スライス識別工程と、上記ビットストリームにおける上記再構成スライスに関連付けられた複数のエントロピースライスを識別するエントロピースライス識別工程と、上記再構成スライスに関連付けられた上記複数のエントロピースライスの各々をエントロピー復号することによって、複数のエントロピー復号済エントロピースライスを生成するエントロピー復号工程と、上記複数のエントロピー復号済エントロピースライスを用いて、上記再構成スライスに関連付けられた動画像フレームの一部を再構成する再構成工程と、を含んでいる。

本出願の他の側面に従って、動画像シーケンスにおける動画像フレームを符号化する方法が与えられる。当該方法は、動画像シーケンスにおける第１のフレームを少なくとも１つの再構成スライスに分割することによって、第１の再構成スライスを生成する再構成スライス生成工程と、上記第１の再構成スライスを複数のエントロピースライスに分割する分割工程と、を含んでいる。

本出願の他の側面に従って、並列的な復号のための動画像ビットストリームを生成する方法が開示される。当該方法は、第１の動画像ビットストリームを受信する受信工程と、上記動画像ビットストリームにおける再構成スライスを識別する識別工程と、上記再構成スライスから複数のシンボルをエントロピー復号することによって、上記再構成スライスに関連付けられたエントロピー復号済データを生成するエントロピー復号工程と、上記再構成スライスに関連付けられた上記エントロピー復号済データを、上記再構成スライスに関連付けられた複数のエントロピースライスに分割する分割工程と、上記複数のエントロピースライスの各々についてのエントロピー復号済データを個別にエントロピー符号化することによって、複数のエントロピー符号化済エントロピースライスを生成するエントロピー符号化工程と、上記複数のエントロピー符号化済エントロピースライスを含む第２の動画像ビットストリームを生成するビットストリーム生成工程と、を含んでいる。

本発明のいくつかの実施の形態においては、入力圧縮動画像ビットストリーム（input compressed-video bitstream）の第１の部分および第２の部分は、個別にエントロピー復号される。上記入力圧縮動画像ビットストリームの上記第２の部分に関連付けられた動画像フレームのサンプルよりなるブロックは、上記第１の部分および上記第２の部分からの復号データを用いて再構成される。従って、再構成の際の近傍の定義とエントロピー復号の際の近傍の定義とは同じではない。

本発明のいくつかの実施の形態においては、エンコーダは、入力データを複数のエントロピースライスに分割する。エンコーダは、上記複数のエントロピースライスを個別にエントロピー符号化する。エンコーダは、複数のエントロピースライスヘッダを含むビットストリームを生成（形成）する。ここで、上記複数のエントロピースライスヘッダの各々は、エントロピースライスに関するデータの、上記ビットストリームにおける位置を示すものである。本発明のいくつかの実施の形態においては、デコーダは、受信したビットストリームであって、エントロピースライスヘッダについてのビットストリームを構文解析（parse）し、該デコーダは、デコーダにより定義される並列性のレベルに従って、複数のエントロピースライスをエントロピー復号する。

本発明のいくつかの実施の形態においては、エントロピースライスを生成（形成）するために、データはピクチャレベルで多重化される。いくつかの実施の形態においては、１または複数のエントロピースライスは予測データに対応し、１または複数のエントロピースライスは残差データに対応する。本発明の他の実施の形態においては、１または複数のエントロピースライスは、複数の色平面（color-planes）の各々に対応する。

本発明のいくつかの実施の形態においては、ビットストリームが、エントロピースライスを含むように、トランスコード（transcode）される。これらの実施の形態においては、受信したビットストリームがエントロピー復号され、複数のエントロピースライスが構成され、該複数のエントロピースライスの各々が個別に符号化され、対応するエントロピースライスヘッダと共に、トランスコードされたビットストリームに書き込まれる。

Ｈ．２６４／ＡＶＣにおいて、エントロピー復号は、復号処理における潜在的なボトルネックとなっている。本発明の一実施例における構成は、画像を再構成するために必要なエントロピー復号処理を並列に行うことを可能にしている。したがって、本発明に係る方法、装置、および、システムによれば、上記問題を解決することができる。

なお、本発明に係る復号方法は、動画像ビットストリームを復号する復号方法において、上記動画像ビットストリームをエントロピー復号することによって、復号データを生成するエントロピー復号工程と、上記復号データの構文解析を行って、動画像ビットストリームの第１の部分に関連づけられた第１の復号データと、第２の部分に関連づけられた第２の復号データとを識別する構文解析工程と、上記第１の復号データを用いて、上記動画像中の画像に係る第１の領域を再構成する第１の再構成工程と、上記第２の復号データを用いて、上記動画像中の画像に係る第２の領域を再構成する第２の再構成工程と、を含んでおり、上記第２の再構成工程は、上記第１の再構成工程において再構成された上記第１の領域をさらに用いて、上記第２の領域を再構成するものであってもよい。

また、本発明に係る符号化方法は、動画像をビットストリームに符号化する符号化方法において、上記動画像中の画像に係る第１の領域を表す第１の符号化データを、当該第１の領域に基づいて構成する第１の構成工程と、上記動画像の画像に係る第２の領域を表す第２の符号化データを、当該第２の領域と上記第１の領域とに基づいて構成する第２の構成工程と、上記第１の符号化データと上記第２の符号化データとを識別可能とする構文表現を加える構文付加工程と、上記構文付加工程を経た第１の符号化データおよび第２の符号化データを、エントロピー符号化することで上記動画像ビットストリームを生成するエントロピー符号化工程と、を含むものであってもよい。

上記復号方法は以下のようにも表現できる。上記の課題を解決するために、本発明に係る復号方法は、動画像シーケンスにおける動画像フレームを復号する復号方法であって、ａ）ビットストリームを受信する工程と、ｂ）上記ビットストリームにおける再構成スライスを識別する工程と、ｃ）上記ビットストリームにおけるスライスヘッダのフラグを分析する工程と、ｄ）上記再構成スライスにおける一の領域の分割で示される第１の分割されたスライス及び第２の分割されたスライスを識別する工程と、ｅ）上記第１の分割されたスライスをエントロピー復号し第１の復号データを生成する工程と、ｆ）上記第２の分割されたスライスをエントロピー復号し第２の復号データを生成する工程と、ｇ）上記再構成スライスを再構成する工程と、を含み、上記再構成スライスを再構成する工程は、ｉ）上記第１の復号データを用いて、上記第１の分割されたスライスに関連付けられた動画像フレームにおける第１の部分を再構成する工程と、ｉｉ）上記第２の復号データ及び上記第１の部分を用いて、上記第２の分割スライスに関連付けられた上記動画像フレームにおける第２の部分を再構成する工程と、を含んでおり、上記フラグが１の場合上記スライスヘッダは分割されたスライスのヘッダであり、上記フラグが０の場合上記スライスヘッダは標準的なスライスのヘッダであり、上記分割されたスライスのヘッダは上記標準的なスライスのヘッダのスライス特性を共有し、上記分割されたスライスのヘッダのサイズは上記標準的なスライスのヘッダのサイズよりも小さいことを特徴としている。

本発明に係る復号方法は、復号装置を用いた、動画像シーケンスの画像の復号方法であって、ビットストリームを受信するステップと、上記ビットストリームにおける上記画像の領域を示す再構成スライスを識別するステップと、上記ビットストリームにおける、２つの分割されたスライスの、ヘッダのフラグを解析するステップと、上記ヘッダにおける上記フラグに基づいて、上記再構成スライスの第１の分割されたスライスとして上記２つの分割されたスライスの一方を識別し、かつ、上記再構成スライスの第２の分割されたスライスとして上記２つの分割されたスライスの他方を識別するステップと第１の復号データを生成するために上記第１の分割されたスライスをエントロピー復号するステップと、第２の復号データを生成するために上記第２の分割されたスライスをエントロピー復号するステップとを含み、上記第１の分割されたスライスのエントロピー復号は、上記再構成スライスにおける他の何れの分割されたスライスに依存されず、さらに、上記方法は、上記再構成スライスよって示される上記画像の上記領域を、上記第１の復号データおよび上記第２の復号データを用いて再構成するステップを含むこととしてもよい。

また、本発明に係る符号化方法は、符号化装置を用いた、動画像シーケンスの画像の符号化方法であって、第１のエントロピー符号化データを生成するために第１の分割されたスライスをエントロピー符号化するステップと、第２のエントロピー符号化データを生成するために第２の分割されたスライスをエントロピー符号化するステップとを含み、上記画像の領域を示す再構成スライスが上記第１の分割されたスライスおよび上記第２の分割されたスライスを含んでおりさらに、上記方法は、上記第１の分割されたスライスのための第１の分割されたスライスヘッダを符号化するステップと、上記第２の分割されたスライスのための第２の分割されたスライスヘッダを符号化するステップとを含み、上記第１の分割されたスライスヘッダおよび上記第２の分割されたスライスヘッダの両方は、対応する分割されたスライスが上記第１の分割されたスライスであるか、あるいは、上記第１の分割されたスライスであるかを示すフラグを含んでおり、上記第２の分割されたスライスヘッダは、上記第１の分割されたスライスヘッダのスライス特性を共有しており、さらに、上記方法は、上記第１の分割されたスライス、上記第２の分割されたスライス、上記第１の分割されたスライスヘッダおよび上記第２の分割されたスライスヘッダを含んでいる上記再構成スライスを含むビットストリームを送信するステップとを含むこととしてもよい。

また、本発明に係る装置は、復号装置によってアクセス可能であり、コンピュータで読み取り可能にデータを一時的でなく記録するための記録媒体を備えている装置であって、上記コンピュータで読み取り可能な記録媒体は、画像における領域を示す再構成スライスを示すデータを含んでいるビットストリームデータを含んでおり、上記再構成スライスは、第１の分割されたスライスおよび第２の分割されたスライスを含んでおり、上記第１の分割されたスライスは第１の分割されたスライスヘッダを含み、かつ、上記第２の分割されたスライスは第２の分割されたスライスヘッダを含んでおり、上記第１の分割されたスライスヘッダおよび上記第２の分割されたスライスヘッダのそれぞれは、対応する上記分割されたスライスが上記第１の分割されたスライスであるか、あるいは、上記第２の分割されたスライスであるかを示すフラグを含む、こととしてもよい。

また、本発明に係る装置は、非一時的なコンピュータ読み取り可能な記録媒体を備えた装置であって、上記非一時的なコンピュータ読み取り可能な記録媒体には、１又は複数のプロセッサによって実行される場合に、当該１又は複数のプロセッサに、動画像フレームを表す符号化画像データにおける複数の再構成スライスを生成する処理を行わせるための指示が格納されており、それぞれの再構成スライスは、複数のエントロピースライスを有しており、それぞれのエントロピースライスは、複数のマクロブロックを有しており、１つの再構成スライスに含まれるマクロブロックは、２つの異なるエントロピースライスに含まれることはなく、第１の再構成スライスにおける第１のエントロピースライスは、当該第１の再構成スライスにおける残りのエントロピースライスとは独立にエントロピー符号化され、上記第１のエントロピースライスは、上記動画像フレームの第１の部分を表しており、上記第１の再構成スライスにおける第２のエントロピースライスは、上記動画像フレームの第２の部分を表しており、上記動画像フレームにおける上記第１の部分を用いて符号化され、それぞれのエントロピースライスは、それぞれヘッダを有しており、それぞれのヘッダは、それぞれフラグを有しており、上記ヘッダにおける上記フラグが０である場合、上記エントロピースライスは、上記再構成スライスの上記第１のエントロピースライスであり、上記ヘッダにおける上記フラグが１である場合、上記エントロピースライスは、上記再構成スライスの上記第１のエントロピースライスではなく、上記第２のエントロピースライスの上記ヘッダは、上記第１のエントロピースライスの上記ヘッダよりも小さいこととしてもよい。

上記明細書において用いられた用語および表現は、あくまで説明のための用語として用いられているものであり、限定のためのものとして用いられているものではない。また、それらの用語および表現は、上述した特性若しくはその一部の等価性を排除するために用いられているものではない。本発明の範囲は、請求項によって定義され、また、請求項によってのみ限定されるものである。

〔付記事項〕
また、本発明に係る装置は、非一時的なコンピュータ読み取り可能な記録媒体を備えた装置であって、上記非一時的なコンピュータ読み取り可能な記録媒体には、１又は複数のプロセッサによって実行される場合に、当該１又は複数のプロセッサに、動画像フレームを表す符号化画像データにおける複数の再構成スライスを生成する処理を行わせるための指示が格納されており、上記複数の再構成スライスのうち、ある再構成スライスは、複数のエントロピースライスを含んでおり、上記複数のエントロピースライスは、複数のマクロブロックを含んでおり、１つの再構成スライスに含まれるマクロブロックは、２つの異なるエントロピースライスに含まれることはなく、第１の再構成スライスにおける第１のエントロピースライスは、当該第１の再構成スライスにおける残りのエントロピースライスとは独立にエントロピー符号化され、上記第１のエントロピースライスは、上記動画像フレームの第１の部分を表しており、上記第１の再構成スライスにおける第２のエントロピースライスは、上記動画像フレームの第２の部分を表しており、上記動画像フレームにおける上記第１の部分を用いて符号化され、上記第１のエントロピースライスと、上記第２のエントロピースライスとは、それぞれヘッダを含んでおり、上記第１のエントロピースライスのヘッダと、上記第２のエントロピースライスのヘッダとは、それぞれフラグを含んでおり、上記ヘッダにおける上記フラグが第１の所定値である場合、上記それぞれのエントロピースライスは、上記第１の再構成スライスの上記第１のエントロピースライスであり、上記ヘッダにおける上記フラグが第２の所定値である場合、上記それぞれのエントロピースライスは、上記第１の再構成スライスの上記第１のエントロピースライスではなく、上記第２のエントロピースライスの上記ヘッダは、上記第１のエントロピースライスの上記ヘッダよりも小さく、上記複数のエントロピースライスは、残差データを含んでいることを特徴としている。

本発明は、一般に、動画像の符号化および動画像の復号に好適に適用することができる。

Claims

装置であって、
１以上のプロセッサによって実行されたとき、前記１以上のプロセッサに、動画像ビットストリームに対応する画像データを生成する動作を実行させる命令を格納した一時的でないコンピュータ読み取り可能な記録媒体を備え、
前記画像データは、
第１スライスおよび第２スライスを含む第１ピクチャを含む前記動画像ビットストリームにおける複数のピクチャと、
前記第１ピクチャの前記第１スライスに関連付けられた第１スライスヘッダ、および前記第１ピクチャの前記第２スライスに関連付けられた第２スライスヘッダを含む複数のスライスヘッダと、を含み、
前記第１スライスおよび前記第２スライスは、複数のエントロピー符号化されたサンプルの複数のブロックを含み、
前記第２スライスヘッダは、前記第１スライスヘッダと異なり、前記第１スライスヘッダといくつかのスライス特性を共有し、
前記第１スライスヘッダのフラグの値は、前記第１スライスヘッダに対応するスライスが、再構成スライスの始まりとなるエントロピースライスであることを示し、
前記第２スライスヘッダのフラグの値は、前記第２スライスヘッダに対応するスライスが、再構成スライスの始まりとならないエントロピースライスであることを示し、
前記第１スライスヘッダのフラグの値は０に設定され、
前記第１スライスおよび前記第２スライスの前記画像データは、変換係数を含む、装置。
前記第２スライスヘッダのフラグの値は１に設定される、請求項１に記載の装置。