JP6808341B2 - 並列処理を許容している符号化概念、トランスポートデマルチプレクサおよびビデオビットストリーム - Google Patents

Description

本発明は、例えば発展しているＨＥＶＣ（High Efficiency Video Coding）、トランスポートデマルチプレクサおよびビデオビットストリーム等において並列処理を許容する符号化概念に関する。

符号化器および復号化器の並列化は、ＨＥＶＣ規格により増加した処理要求のためのみならず、ビデオ解像度の予想される増加によっても非常に重要である。マルチコアアーキテクチャは、様々な現代の電子装置において利用できるようになっている。従って、複数のマルチコアアーキテクチャの利用を可能にする効率的な方法が、必要とされる。

ＬＣＵ（largest coding unit）（複数）の符号化または復号化は、ラスタースキャンで生じ、それにより、ＣＡＢＡＣ（Context based Adaptive Binary Arithmetic Coding）確率は各画像の特性に適合される。空間依存性が、隣接するＬＣＵ（複数）の間に存在する。異なる構成要素、たとえば動きベクトル、予測、イントラ予測およびその他のために、各ＬＣＵは、その左の、上の、左上のおよび右上の隣接するＬＣＵ（複数）に依存する。復号化の並列化を可能にするために、これらの依存性は、概して中断されることを必要とするか、あるいは最新のアプリケーションで中断される。

並列化、すなわち、エントロピースライス［３］を使用している波面処理、サブストリーム［２］［４］，〔１１〕を使用している波面並列処理（ＷＰＰ）動作、またはタイル［５］のいくつかの概念が、提案された。後者が、必ずしも復号化器または符号化器で並列化を許容するための波面処理と結合される必要があるわけではない。この観点から、タイルは、ＷＰＰサブストリームと類似している。エントロピースライス概念の更なる研究のための我々の最初の動機付けは、技術を実行することであり、それは符号化効率損失を低下させて、符号化器および復号化器の並列化方法のためのビットストリーム上の負担を軽減させる。

より良い理解を提供するために、特にＬＣＵ（複数）の使用の中で、Ｈ．２６４／ＡＶＣ［１］の構造に、最初に目を通すことができる。

Ｈ．２６４／ＡＶＣの符号化ビデオシーケンスは、ＮＡＬ（Network Abstruction Layer）ユニットストリームにおいて集められる一連のアクセスユニットから成り、それらは１つのシーケンスパラメータセットのみを使用する。各ビデオシーケンスは、独立に復号化されうる。符号化シーケンスは、一連の符号化画像から成る。符号化フレームは、全フレームまたは単一フィールドでありうる。各画像は、固定サイズのマクロブロックに分割される（ＨＥＶＣ［５］において：ＬＣＵ（複数）)。いくつかのマクロブロックまたはＬＣＵ（複数）は、一緒に１枚のスライスに併合されうる。１枚の画像は、従って、一つ以上のスライスの集まりである。このデータ分離の目的は、画像のエリアのサンプルの独立復号化を許容することであり、それは、他のスライスからのデータを使用せずに、スライスにより表される。

“エントロピースライス”［３］としばしば呼称される技術は、付加的なサブスライスへの従来のスライスの分割である。具体的には、それは、単一のスライスのエントロピー符号化データの分割を意味する。スライスにおけるエントロピースライスの配列は、異なる種類を有しうる。最も単純なものは、１枚のエントロピースライスとしてフレームにおけるＬＣＵ（複数）／マクロブロックの各行を使用することである。代わりに、列または別々の領域が、エントロピースライスとして利用されえて、それは各々により中断さえでき、互いに切り換えさえできる。例えば、図１のスライス１。

エントロピースライス概念の明らかな目的は、復号プロセス時間を改善するために、すなわちプロセスをスピードアップするために、並列ＣＰＵ／ＧＰＵおよびマルチコアアーキテクチャの利用を可能にすることである。現在のスライスは、他のスライスデータに関係なく、分析でき再構成されうるパーティションに分割されうる。いくつかの効果がエントロピースライス法により達成されうるにもかかわらず、これにより、いくつかの不利益が現れる。

〔２〕、〔１０〕、［１１］において提案され、部分的に〔５〕に組み込まれたように、エントロピースライス概念は、サブストリーム波面処理（ＷＰＰ）まで更に拡張された。ここで、サブストリームの反復スキームが、定義される。それは、エントロピースライスと比較して線ごとに改良されたエントロピー状態初期化を有する。

タイル概念は、画像情報の分離が符号化されるのを許容し、その一方で、各タイトルは、それ自身のラスタースキャン順序を有する。タイルは一般の構造により定義され、それはフレーム内で繰り返される。タイルは、ＬＣＵ（複数）またはＣＵ（複数）に関して特定の列幅および線高を有することもできる。タイトルは、独立に符号化されることもでき、復号器スレッドは、アクセスユニットのタイルを完全に、または、少なくとも独立した方法、すなわちエントロピー符号化および変換符号化、におけるいくらかの符号化動作ステップのために処理しうるように、タイトルが他のタイルとの共同処理を必要としない方法に符号化されることもできる。

従って、タイルは、後者の場合、例えばＨＥＶＣコーデックのフィルタステージに対するｕでは、タイル符号化器および復号化器が完全に、または、部分的に独立して、並行して実行するのと同様に動作するのを大いに許容する。

キャプチャ、符号化、伝送、復号化、および一連のビデオ通信システムのプレゼンテーションチェーン、あるいは類似のシステムにおける並列化技術の完全な使用を行うために、通信参加者間の転送およびアクセスは、全部のエンドツーエンドの遅延注入のために重要かつ時間を要するステップである。これは、並列化技術、例えばタイル、サブストリームまたはエントロピースライス等、を使用する場合に、特に問題である。

ＷＰＰサブストリームのデータアプローチは、パーティションの符号化データが処理される場合、データ局所性を持たない、すなわちアクセスユニットを復号化している単一スレッドは、次のＷＰＰサブストリームラインのデータにアクセスするために潜在的に大きいメモリ部分を飛び越える必要があることを意味する。完全に並列化された方法で動作するために、マルチスレッド復号化システムは、特定のデータ、すなわちＷＰＰサブストリームの伝送を待つ必要があり、波面処理を利用する。

ビデオストリーミングにおいて、より高い解像度（フルＨＤ、クアッドＨＤ等）を可能にすることは、伝送されるべきデータがより大きな量となることにつながる。時間感受性シナリオのために、いわゆる低遅延使用の場合、例えばテレビ会議（＜１４５ｍｓ）、またはゲームアプリケーション（＜４０ｍｓ）の非常に低いエンドツーエンドの遅延が、必要とされる。従って、伝送時間は、重要な要素になる。テレビ会議アプリケーションのためのＡＤＳＬのアップロードリンクを考慮されたい。ここで、ストリームのいわゆるランダムアクセスポイントは、通常、これらは、Ｉフレームを参照し、伝送中に、ボトルネックを生じる候補であろう。

ＨＥＶＣは、復号化器側と同様に符号化器で、タイル処理と同様にいわゆる波面処理を許容する。これは、エントロピースライス、ＷＰＰサブストリームまたはそれらの均一な組合せを用いて可能にされる。並列処理は、並列タイル符号化および復号化により許容されもする。

「非並列化ターゲッティング」の場合において、全スライスのデータが、一度に配信され、それ故、スライスの最後のＣＵは、それが送信された場合、復号化器によりアクセス可能である。単一スレッドの復号化器がある場合、これは問題ではない。

マルチスレッドのケースにおいて、複数のＣＰＵまたはコアが使用されうる場合、復号化プロセスは、しかしながら、符号化されたデータが波面復号化器またはタイル復号化器スレッドに到着すると、すぐに開始することを希望する。

このように、符号化効率において著しい減少の少ない並列処理環境の符号化遅延を減少可能にする概念を手元に有することは、好ましい。

〔１〕 Thomas

従って、並列処理環境において、より効果的な、低遅延符号化を可能にする符号化概念、伝送デマルチプロセッシング概念およびビデオビットストリームを提供することが、本発明の目的である。

この目的は、添付の独立クレームの主題により達成される。

本出願の第１の態様によれば、スライス、ＷＰＰサブストリームまたはタイルにおける１枚の画像を表現しているローバイトシーケンスペイロード、およびコンテキスト適応二進算術符号化を用いた符号化は、コンテキスト適応二値算術符号化確率適合を継続しながら切片境界全体にわたって切片に再分割されるか切断される。この測定により、スライス、ＷＰＰサブストリームまたはタイルの範囲内で付加的に導入された切片境界は、これらの要素のエントロピー符号化効率の減少をもたらさない。しかしながら、他方で、切片は、元のスライス、ＷＰＰサブストリームまたはタイルより小さく、そして、したがってそれらは、切断されていない元の実体、すなわちスライス、ＷＰＰサブストリームまたはタイルより早く、すなわちより少ない遅延により、伝送されうる。

第１の態様と結合可能である他の態様に従って、サブストリームマーカーＮＡＬユニットは、マルチスレッド復号化器に対応する複数のサブストリームまたは複数のタイルを並行して提供しうるために、トランスポートデマルチプレクサがビデオビットストリームのＮＡＬユニットの範囲内でスライスのデータを対応する複数のサブストリームまたは複数のタイルに割り当てることを可能にするために、ビデオビットストリームの一連のＮＡＬユニットの範囲内で用いられる。

有利な実施態様は、従属クレームの主題である。更に、本発明の好ましい実施例は、図について以下で更に詳細に説明される。

エントロピースライスの可能な合成物を例示している概略図を示す。 ３枚のスライスの上に広がる３つのタイルを例示している概略図を示す。 ４つの可変長切片サイクルインターリーブスキームの切片のインターリーブの例を示している概略図を示す。 エントロピースライスデータの符号化、セグメンテーション、インターリーブおよび復号化を示している概略図を示す。 常にマーカーコードを使用していて、複数のＮＡＬユニット上の実際のスライスデータの中で広がっているスキームを周期的にインターリーブする４つの可変長切片の切片のインターリーブ実施例を例示している概略図を示す。パーティションが存在しない場合であっても、マーカーコードが用いられる。これは、切片識別子を使用し、マーカーに追従し、切片数を示すことで、更に強化しうる。これは、周期的モードのために必要とされるように、これは常にマーカーを送信する必要性を減少させる。 ＮＡＬユニットシンタックスを例示している疑似コードの表を示す。 ＮＡＬユニットシンタックスを例示している疑似コードの表を示す。 シーケンスパラメータセットシンタックスを例示している疑似コードの表を示す。 低遅延スライス層ＲＢＳＰシンタックスを例示している疑似コードの表を示す。 スライスヘッダシンタックスを例示している疑似コードの表を示す。 サブストリームマーカーシンタックスを例示している疑似コードの表を示す。 エントロピースライスデータの単純なカプセル化のための実施例を例示している概略図を示す（ＡＦは、ＭＰＥＧ―２ ＴＳ アダプションフィールドである）。 エントロピースライスデータの単一のＥＳ（Elementary Stream）カプセル化のための他の実施例を例示している概略図を示す。 エントロピースライスデータのパックドマルチＥＳカプセル化のための他の実施例を例示している概略図を示す。 単一のＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。 マルチＥＳのためのトランスポートデマルチプレクサを示している概略ブロック図を示す。 符号化器を示している概略ブロック図を示す。 復号化器を示している概略ブロック図を示す。 復号化器により実行されるステップのフローチャートを示す。 ＲＴＰを使用しているマルチＥＳのための実施例を例示している概略図を示す。

時間を短縮するために、並列復号化器スレッドは、開始でき、フレームのそのデータを終了でき、下記の実施例は、データのセグメンテーション、並列化のための構造化、例えば一つ以上のタイルのデータまたは低遅延インターリーブアプローチによる小さい切片への一つ以上のＷＰＰサブストリームのデータ、を使用する。

従って、符号化器は、ＬＣＵ（複数）の特定セットまたはサブストリームの少なくともバイト配列部分またはタイルまたはそれらの部分に一致して、切片の形で符号化器から復号化器まで伝送パスを介して復号化器にデータを配信しうる。

切片が完全なＷＰＰサブストリームまたはタイルより小さくて、および／または伝送パスの実際の最大の転送ユニット（ＭＴＵ）に適しうるので、完全なアクセス装置のファイナライズの前に、符号化器および復号化器の間に転送ユニットにおいて配置されることができ、復号化器側の復号は、アクセスユニットの完全なＷＰＰサブストリームまたはタイルのシーケンシャル伝送を使用する場合よりも、非常に以前に始めうる。

これは、明らかに、復号化器における切片のより速い伝送および並列復号化プロセスのより早いスタートに結果的になる。その方法は、例えば波面法において、次のフレームの（複数の）スライスまたは（複数の）エントロピースライスが、次のフレームのエントロピースライスを復号化するための必要な情報がフレーム間参照の有効性による場合に基づいて、すでに復号化されうる場合、フレーム境界を通じても適用されうる。復号化順序における後続のそれらのすでに復号化可能なデータは、データパーツの依存性を先行する（複数の）フレーム、またはパラメータセット等の順序固定位置において信号伝送された使用された位置を示す固定参照方式、において示しているストリームにおける最大限許容された／信号伝送された動きベクトル長または付加的情報から導出しうる。

画像は、最大符号化ユニット（ＬＣＵ）−行（複数）につき１枚のエントロピースライスにより、またはＷＰＰサブストリームを用いて、または、分離されたエントロピースライスにおいてさらに含まれうる行につき１つのＷＰＰサブストリームとしての組合せさえも、符号化されうる。この種のデータ構造は、復号化器側でテクニックを処理している波面処理テクニックを利用するために必要である。または、タイルは、並列処理を許容するために使用しうる。

符号化プロセスの間、ＷＰＰストリームまたはタイルのデータを含む各スライスのビットストリームは、符号化器および復号化器の間で、最大転送ユニットサイズに合致するために、可変サイズの切片に分割しうる。そのとき、結果として生じた切片は、インターリーブされて、伝送のために通過でき、ＭＴＵサイズのパケットに入れられる。

復号化器側で処理を許容するために、各切片の前か後に、マーカーコードは、挿入されうる。ＨＥＶＣのための適切なマーカーコードは、“０ｘ００ ００ ０２”でありえて、それは、スタートコードエミュレーション防止さえ通過する。複数の切片を含むパケットを受信した後、レシーバまたは復号化器は、追加的な分析ステップを必要としないために、スタートコードエミュレーション防止プロセスの間、実際に含まれたビットストリームを分析しうる。例えば、切片識別のための２つのモードが、存在しうる。１に等しいｔｒａｎｃｈｅ＿ｉｄ（切片識別子）を有する切片から始まり、ｎに等しいｔｒａｎｃｈｅ＿ｉｄを有する切片まで、切片の周期的配列が、常に存在しうる。これは、第２の一般的な方法に安全にデータを信号伝送しうる。代替方式は、例えば８ビット値として、ｔｒａｎｃｈｅ＿ｉｄを示している、マーカーに続く、特定のヘッダでもよい。

インターリーブされた切片データをデインターリーブすることは、パケットにつき切片の数についての知識に基づいて適用可能で、それはＮＡＬユニットパケットでもよい。従って、ＷＰＰサブストリームまたはタイルの切片へのマッピングが、さらに存在しうる。このマッピングは、タイルの数／ＷＰＰサブストリームの数に暗に由来しうる、またはＳＰＳにおいて直接信号伝送されうる。マッピングは、デインターリーブプロセスにとって重要であり、その結果、特定のＷＰＰサブストリームまたはタイルのデータは、ＷＰＰサブストリームまたは問題のタイルを復号化することを担って波面または並列復号化器スレッドを確認されえて、役立ちうる。

低遅延カプセル化のためのインターリーブスキームの使用に関して、復号化器に知らせるために、ＮＡＬユニットヘッダにおいて低遅延フラグが、存在しうる。

他のモードは、トランスポート層上、すなわち、ＲＴＰ［８］［９］［１３］または ＭＰＥＧ−２ トランスポートストリーム［７］層の復号化プロセスの外側で、インターリーブおよびデインターリーブでもよい：

従って、ヘッダはパケットの前に置かれうる、そして、現在の切片につきサイズ情報をバイトに含んでいるフラグにより切片の存在を示す。トランスポート層が復号化プロセスから切り離されるので、トランスポート層の付加的情報が少なくとも復号化器にそれらのデータを通過する前に削除される必要があるという理由で、マーカーコードを集積する必要性があるとはできない。トランスポート層は、それからまた、復号化器にビットストリーム送出のためのデータを並べ換える。

可変長ヘッダが、余分な多重化層に使用されうる。この多重化層は、コーデックの一部でもよく、復号化器の実際のローバイトシーケンスデータ（ＲＢＳＰ）アクセスの前に導入されることもできる。１つのヘッダ方式は、図３で見出しうる。しかし、そのインジケータと同様に１つのヘッダが、直接、長さを示している各切片の前にも存在しうる。すでに上述したように、インジケータをビットストリーム構造にマップする必要性が依然として存在する。

切片サイズは、恒常的なサイズ、例えば切片につきｘバイトでもよい。これは、例えば図４に示される等、単純な多重化方式に結果としてなる。

セグメントの恒常的なサイズは、その可変長のためビットストリームの終りで課題をもたらしうる。

実行可能な２つの一般的な解答が、存在する。最初の１つは、周期的ｘ−バイトセグメント（通常、スライスのビットストリーム表現は、バイト整列される）の生成および各復号化器エンジンによる、各バイトの消費の制御、すなわち、復号化器は、エントロピースライスの、または、マーカーコードを含む完成を見出す。

図示されるように、ヘッダにおける切片が可変長である場合、第２の方法は、切片長を信号伝送する。

セグメントおよびインターリーブモードのサイズは、１つのＳＥＩ（Supplemental Enhancement Information）−メッセージにおいて、または、ＳＰＳ（Sequence Parameter Set）において信号伝送されうる。

伝送スキームは、図４に示される。

他の興味深い方法は、パケット、例えばＮＡＬまたはスライスパケット、の切片のセットの終りでファイナライズコードまたはマーカーコードを使用することである。この場合、可変長セグメントが可能であり、従って、ビットストリームの完全な分析が、必要とされる。メモリアクセスをここで制限するために、多重化のためのこの付加的な分析方法は、スタートコードエミュレーション防止分析と結合されうる、そして、ＮＡＬユニットに含まれるＲＢＳＰデータにアクセスする前の第１段階として必要である。この種のマーカー方式は、図５に示される。

ここにあるアイデアは、データを切片にインターリーブする間、例えば現実のスライス、エントロピースライスや類似のもの等、より高レベル構造を、例えばＷＰＰサブストリームやタイル等、その含まれたより低レベルのデータ構造に、インターリーブ方法において分割することにある。各々がより低レベルの構造、例えば特定のＷＰＰサブストリームまたはタイル、に属するこれらの切片は、低遅延パケットにおいてインターリーブされ、それは特定のＮＡＬユニットであり、低遅延インターリーブフラグにより付加的に信号伝送されるＮＡＬユニット、またはスライスでさえ、または図において“ＮＡＬユニット♯１”として示されるように、フラグまたはスライスタイプにより低遅延インターリーブアプローチを示す軽量スライスヘッダでありうる、それ故、復号化器は、“シングル”スレッド復号化器に対し、整理機能を適用することを通知し、それは、復号化器における元の／デインターリーブされた順序における切片の順次処理を使用する。低遅延特性を得るために複数パケット上にインターリーブされた切片として現実のスライスを分割するために、トランスポート層は、最大ＭＴＵ（Maximum Transmission Unit）サイズのネットワークパケットへの低遅延インターリーブされたデータを含む前記ＮＡＬユニットを断片化しうる。複数のＮＡＬユニットへの現実のスライスデータの断片化は、符号化層によっても直接適用されうる、それ故、図５において“ＮＡＬユニット♯２”に示されるように、スライスの継続を含むＮＡＬユニットのその種のタイプを信号伝送する必要がある。複数のパケットにおいて、インターリーブされたデータのファイナライズを検出するために、図において“ＮＡＬユニット♯２”にも示されるように、特定のファイナライズコード、またはスライスまたはＮＡＬヘッダにおける完了を示すフラグの必要性が存在しうる。

ＮＡＬパケットが消失した場合、消失を検出する必要性も存在しうる。これは、ヘッダ、例えば軽量スライスヘッダ、例えば含まれた切片の第１のＭＢ等、または特定の切片＃１のみにおける追加情報に適用されうる。例えばＷＰＰサブストリームまたは切片の現実のサイズのためのオフセット等の情報を持った後、ファイナライズコードおよび先行ＮＡＬユニットとともにＮＡＬユニットを受信した後、サニティチェックを行うために、誰もがこれらのサイズ値（特定のＷＰＰサブストリームまたはタイルのオフセット値）を使用しうる。

即ち、記載されているように、切片は、各パケット３００が、ＷＰＰサブストリームまたはタイルの間で定義された順序で配列された画像の各ＷＰＰサブストリームまたはタイルの１つの切片Ｔ♯または画像の複数のＷＰＰサブストリームまたは複数のタイルの１つのサブセットから構成される方法で（その理由は、例えば、ある特定のＷＰＰサブストリームまたはタイルは、先行するパケットにより既に完全に運ばれているからである）パケット３００にパケット化されえ、各パケット３００は、画像の各ＷＰＰサブストリームまたはタイルの１つの切片Ｔ＃または画像（例えば、特定のＷＰＰサブストリームまたはタイルが前のパケットを経由してすでに完全に運ばれたので）各パケットは、それぞれのパケット３００にパックされた切片Ｔ♯の位置、および／または、長さを示す情報を有するヘッダ３０２、あるいはそれぞれのパケット３００内で切片Ｔ♯を互いに分離するマーカー３０４、を有し、復号化器は、ローバイトシーケンスペイロードを受信し、パケット内の切片にアクセスするためにヘッダ３０２またはマーカー３０４により構成された情報を使用するように構成されうる。画像のＷＰＰサブストリームまたはタイルの第１の−ＷＰＰサブストリームまたはタイルの間で定義された次数に従って−切片を有するパケット３００ａは、低遅延特性インジケータ３０６を有しうる。かつ、画像のＷＰＰサブストリームまたはタイルの第２またはそれ以降の−ＷＰＰサブストリームまたはタイルの間で定義された次数に従って−切片Ｔ♯、を有するパケット３００ｂは、連続性インジケータ３０８を有しうる。パケット３００は、ＮＡＬユニットまたはスライスでありうる。

以下に、切片への低遅延インターリーブのためのシンタックスおよびセマンティックスを信号伝送するための実施例が、提供されている。

それにもかかわらず、上述したように、切片データ、例えばＷＰＰサブストリームまたはタイルのデータ等、を分割することは、スライスレベルまたは下記にも適用されうる。

現在、１つの方法が示され、そして、それは付加的な処理ステップを減少するためにスタートコードエミュレーション防止のための分析と結合されうる。従って、インターリーブは、ＨＥＶＣコーデックのＲＢＳＰレベルで適用される。

一つの切片は、低遅延データアクセスのためにＮＡＬユニットペイロード部において分割ＲＢＳＰデータをインターリーブされるべきセクションに分割するとみなされうる。一つの切片のファイナライズは、コード０ｘ０００００２により示されうる、かつ、８ビットの切片識別子ｔｒａｎｃｈｅ＿ｉｄが続きうる。前記切片は、周期的態様でインターリーブされうる、その結果、前記切片エンドコードは、暗に導出されるｔｒａｎｃｈｅ＿ｉｄにより後続されない。単一切片におけるＲｂｓｐデータは、タイルのデータ、サブストリームのデータ、スライスのデータかエントロピースライスのデータに対応する。

ＮＡＬユニットシンタックスにおいて、“ｌｏｗ ｄｅｌａｙ ｅｎｃａｐｓｕｌａｔｉｏｎ＿ｆｌａｇ”により示された低遅延インターリーブのための２つのモードが許容されうる。それは、切片の周期的配置であり、また、ＮＡＬユニットヘッダにおける例えば“ｌｏｗ ｄｅｌａｙ ｃｙｃｌｉｃ＿ｆｌａｇ”等のフラグによるマーカーコーダに続く付加的な識別子“ｔｒａｎｃｈｅ＿ｉｄ”による切片の指示でもある。これら２つのフラグは、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ ＳｅｔｓまたはＡＰＳにさえも存在しうる。周期的切片配置のために、分析の間、例えばＳＰＳにおいて“ｎｕｍ＿ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅｓ”として設けられたように、切片の数を知っている必要が依然存在しうる。

ＮＡＬユニットにおいて、インターリーブされた“ＬＤ＿ｒｂｓｐ＿ｂｙｔｅ”（複数）は、ＮＡＬシンタックスにおける最後のforループにおける現実の逐次ＲＢＳＰ順序への並べ換えが、パーサにより読まれる：

for ( i= 0, i++, i < num＿low＿delay＿tranches)[
for ( j= 0, j++, j < NumBytesInRBSP[i] )[
rbsp＿byte[NumBytesInRBSP++] = LD＿rbsp＿byte[j][i]
]

“ｌｏｗ＿ｄｅｌａｙ＿ｔｒａｎｃｈｅ＿ｌｅｎｇｈｔ＿ｍｉｎｕｓ１”に示されたように、循環的に配置された切片の固定サイズのためにＳＰＳまたはＡＰＳにおける明確な信号伝送も存在しうる。後者は、ＮＡＬユニットシンタックスの実施例において使用されていないが、図４に示されるように、パケット化を念頭においた場合、容易である。図６のＮＡＬユニットシンタックスにおいて、図５に示すようなパケット化および上述の議論は、基本的であった。

複数のパケット、例えばスライスおよび／またはＮＡＬユニット等の上の切片のこのインターリーブ特性を可能にするために、グローバルバッファ、例えば切片のためのＬＤ＿ｒｂｓｐ＿ｂｙｔｅのアレイ、のための要求が、既に受信されたＮＡＬユニットのＲＢＳＰデータに繰り返しアクセスするために、存在しうる。

ファイナライズコードを受信した後に、誤り回復力を可能にするために、あるいは、切片のための受信バイト数の合計が、前記含有された切片データに記述された通りのオフセット値から、例えばそれぞれの問題になっている切片が一部であるＷＰＰサブストリームまたはタイルに関するデータから、導出されうる切片サイズに等しい場合に。

インターリーブされた低遅延切片に配置されたＷＰＰサブストリームのための重要な要求は、切片ｎ＋１により切片ｎからのデータのみがアクセスされ、それは、既に切片ｎ内に与えられ、既に蓄積されるか復号化器で利用可能である。

スライスレベル上の再順序化／デインターリーブのための低遅延スライス層ＲＢＳＰシンタックスは、次のように設計されうる。特に、前記シンタックスは、その場合にＮＡＬユニット層上のように同じ振る舞いを有するべきであるが、前記並べ換えは、前記スライスレベル上で定義されねばならない。図８は、低遅延スライス層ＲＢＳＰシンタックスを示す。

インターリーブされた切片をパケット化するためにスライスヘッダを使用する場合、新たなスライスを受信した場合、ＣＡＢＡＣ状態をリセットするのではなく、例えばＷＰＰサブストリームの切片のエントロピー符号化が割り込まれるべきではないので、コーデックレベルを示す必要が存在しうる。スライスのＣＡＢＡＣをリセットしないことは、スライスヘッダにおいて“ｎｏ＿ｃａｂａｃ＿ｒｅｓｅｔ＿ｆｌａｇ”として示される。示されるスライスヘッダは、低遅延スライスに適しており、従って、ｅｎｔｒｏｐｙ＿ｓｌｉｃｅの特徴は、存在しなければならない。対応するスライスヘッダシンタックスは、図９に示される。

前記トランスポート層は、符号化層におけるサブストリーム／タイル／切片（トランスポート層上で、我々は、サブストリーム、またはタイル、またはサブストリームまたはタイルの一部、またはビットストリームの一部により表されうる抽象的存在を仮定し、それは類似の機能、即ち、並列復号化または漸進的な復号化器のリフレッシュを可能にする）が互いに独立に処理されうる場合その事実に基づいて、復号化器ユニットに転送されるデータのスケジューリングの最適化を可能にする。１つの可能性は、いくつかの復号化装置に並行して切片を最小遅延で送り始めることである。前記ビットストリームは、トランスポート層上で独立に取り扱うことが可能な最小の項目である一連のＮＡＬユニットからなる。それ故、トランスポート層上で取り扱う次の方法は、セパレートスライスまたはエントロピースライスＮＡＬユニットに含まれるサブストリーム／タイル／切片に基づく。

トランスポート層は、符号化層が漸次復号化器リフレッシュを使用する場合その事実に基づき復号化器性能および誤り回復力も最適化すべきである。１つの選択肢は、ビットストリームの前の部分が例えば伝送エラーにより正しく受信されない場合、あるいは例えば伝送チャンネル間のスイッチにより全く受信されなかった場合、ビットストリームの無関係の部分を捨てることである。

この種の開発／最適化を許可するために、異なる情報が、トランスポート層に信号伝送される。

一般的なサイド情報は、記述子を用いて信号伝送される。
−サブストリーム／タイルの個数、そこでは“１”は、全てのビデオフレームを含 む唯一のストリーム／タイルが存在することを意味する
−全てのサブストリーム／タイルに共通する情報、例えば、全てのサブストリーム ／タイルが同じサイズか、あるいは、バッファ要求が同じか
−各サブストリーム／タイルに関する独立した情報、例えば、サブストリーム／タ イルが異なるサイズか、あるいはそのバッファ要求が異なるか
−逐次復号化器リフレッシュステップの個数、そこでは“１”は、逐次復号化器リ フレッシュ要求が使用されないことを意味する
−これらのサブストリーム／タイルが、低遅延並列処理が可能かを示す１つのフラ グ

サブストリーム／タイルの個数が＞１の場合、各シンタックス要素は、ストリーム内のあるサブストリーム／タイルを含む各データブロックの前に挿入される。これらのシンタックス要素は、ＮＡＬユニットシンタックスに続くが、符号化層（例えばｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１９またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝０ｘ１Ｆ）により使用されない一意的なＮＡＬユニットタイプを使用し、次にサブストリームマーカーと呼ばれる。

これらシンタックス要素は、マーカーとして使用され、少なくともサブストリーム／タイルと同一視されるデータフィールドに続くデータブロックに関してキャリー情報として使用される。

漸次復号化器リフレッシュステップの個数＞１の場合、これらシンタックス要素もサブストリーム／タイルがイントラ符号化された（逐次復号化器リフレッシュを可能にする）旨を示すフラグを掲げる。

対応するシンタックスは、図１０に示される。以下の拘束が適用されうる。

ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、０に等しい。
ｎａｌ＿ｒｅｆ＿ｆｌａｇは、０に等しい。
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、０ｘ１９に等しい。
ｓｕｂｓｔｒｅａｍ＿ＩＤ：画像に属する第１のスライスのための０から始まるカウンタ値、同じ画像に属する各更なるスライスまたはエントロピースライスにより増加する。
ｉｓ＿ｉｎｔｒａ：‘１’である場合、以下のＮＡＬユニットは、イントラ符号化スライスまたはイントラ符号化エントロピースライスを含む。

トランスポートマルチプレックスにおけるビデオストリームのカプセル化のための方法は、図１１に示され、そこでは、各スライスまたはエントロピースライスがトランスポートストリームパケットの整数個において別に伝送される。ペイロードのサイズが固定サイズのＴＳパケットの利用できるバイトに正確に一致しない場合、最後のＴＳパケットは、適応フィールドを含む。

ＭＰＥＧ−２トランスポートストリームのエレメンタリーストリームの類似のビヘイビアが、図１９にて示したように、ＲＴＰセッションまたはリアルタイム転送プロトコルのＲＴＰストリームにより設けられうる点に留意すべきである。ＲＴＰ［８］において、ＲＴＰストリーム（ＳＤＰ［１２］に示すように、メディアタイプおよびペイロードタイプにより確認される）は、それ自身のＲＴＰセッションに含まれうる、そこにおいて、ＲＴＰセッションは、（ＩＰ）ネットワークアドレス、（ＵＤＰ）ポート、その上にソース識別子（ＳＳＲＣ）により確認される。ＳＰＤにおいて示されたメディアセッションは、複数のＲＴＰセッションを含みうる、そして、各々が異なるメディアタイプを含む。しかし、異なるＲＴＰストリームの同じメディアストリーム（例えばビデオ）を転送することも、可能であり、そこにおいて、ＲＴＰストリームは、同じＲＴＰセッション（下の１に類似している）に含まれうるか、またはそれらのＲＴＰセッション（下の２に類似している）に含まれうる。図１９は、ケース２を例示する。

ＲＴＰペイロードフォーマット［９］［１３］は、復号化順序番号（ＤＯＮ）を有し、それらは、［９］［１３］にて説明されたように、エラー回復力目的のために復号化順序から故意に外れて送信される場合に、レシーバでＮＡＬユニットの復号化順序を回復するのを可能にする。追加マーカーＭＫＲは、従って、必要でない。ＷＰＰサブストリームまたはタイルの切片を転送する場合に、それらが符号化プロセスから利用可能になるときの順で、前記ＤＯＮは、それらを単一の復号化器に提供する前に、切片の復号化順序を回復するために用いることもできる。しかし、この場合において、追加の遅延は、復号化プロセスの前に別々のデインターリーブプロセスのために、復号化器で導入される。本明細書に記載されているシステムは、データがレシーバに到達する間に、符号化された切片を直接、異なるＷＰＰサブストリームまたはタイルの復号化プロセスに提供しうる。ＲＴＰヘッダにおけるＲＴＰシーケンス番号により示されるように、ＷＰＰサブストリームまたはタイルに関連した切片の識別は、スライスセグメントのスライスセグメントヘッダおよびパケットの伝送順序のスライスアドレスにより導出されうる。このシナリオにおいて、ＤＯＮが、下位互換性、すなわち、復号化器が、到着したとき復号化順序外で送信されたＷＰＰサブストリームまたはタイルの切片を復号化する改良された能力を備えない、用途のみに使われる。復号化順序外の切片データの送信は、ＷＰＰサブストリームおよびタイルのレベルに関してちょうど適用される、すなわち伝送データにおいて、単一のＷＰＰサブストリームまたはタイルの切片は、復号化順序において伝送され、異なるＷＰＰサブストリームまたはタイルのデータがインターリーブされる。

２つの考えられるオプションが、存在する：
１．すべてのスライスおよびエントロピースライスは、同じ基本ストリーム、す なわち同じＰＩＤが、そのビデオストリームのすべてのＴＳパケットに割り当てら れる、に含まれる；
以下のテキストで、この方法は、一回のＥＳカプセル化に言及される。
２．異なるＰＩＤは、同じビデオビットストリームのスライスおよびエントロピ ースライスに割り当てられる；以下のテキストで、この方法は、マルチＥＳカプセ ル化に言及される。

第１のオプションが、同じＰＩＤをすべてのＥＳに設定することでより一般の構造の特例として扱われる場合、図１１は両方のオプションに有効である。

単一のＥＳのカプセル化のためのより効率的な方法は、図１２に示される。ここで、画像につき多くとも１つの適応分野が、必要である。

複数のＥＳのカプセル化のためのより効率的な方法は、図１３に示される。ここで、適応分野は、他のスライス、例えば次の画像の同一箇所に配置されたタイルの代わりに回避され、適応分野は、同じトランスポートストリームパケットにおいて、すぐに開始する。

マルチスレッドの復号化器を目標としている１つの単一の基本ストリーム（ＥＳ）を有するカプセル化のためのトランスポートデマルチプレクサの考えられる構造は、図１４に示される。図のエントロピースライスは、特定のＷＰＰサブストリームまたはタイルのデータを含みうる。

トランスポートバッファ（ＴＢ）は、トランスポートパケットに属するデータを集めて、マルチプレックスバッファ（ＭＢ）に、それを転送する。ＭＢの出力で、ＮＡＬユニットヘッダは評価され、サブストリームマーカーは、低下される。その一方で、サブストリームマーカーにおいて運ばれるデータは、格納される。各スライスまたはエントロピースライスのデータは、一旦復号化器スレッドが利用できるならば、それがマルチスレッド復号化器により取り出されるところから、別々のスライスバッファ（ＳＢ）に格納される。

マルチスレッド復号化器をターゲットとしている複数の基本ストリームを有するカプセル化のためのトランスポートデマルチプレクサの考えうる構造は、図１５に示される。

上記の概説された概念は、換言すれば再び以下で記載される。下記の説明は、従って、個々に前記説明の付加的な詳細により、結合可能である。

図１６は、本出願の実施例による符号化器の一般的な構造を示す。符号化器１０は、マルチスレッド法、あるいはそうでない、すなわち単にシングルスレッドで作動が可能であるように実装しうる。すなわち、符号化器１０は、例えば、複数のＣＰＵカーネルを使用して実装しうる。換言すれば、符号化器１０は並列処理をサポートしうるが、そうしなければならないことはない。本出願の符号化概念は、並列処理符号化器が、しかしながら、能率的に、圧縮効率を低下させることのない並列処理を適用しうる。並列処理能力に関して、類似の記載は復号化器に当てはまり、それは図１７に関して後ほど記載されている。

符号化器１０はビデオ符号化器であるが、一般に、符号化器１０は画像符号化器でもよい。ビデオ１４の画像１２は、入力１６で符号化器１０に入力するとして示される。

符号化器１０は、ハイブリッド符号化器、すなわち、画像１２が予測器１８で予測され、残差決定器２２、例えば減算器等、により得られた予測残差２０が、変換／量子化モジュール２４において、変換、例えばＤＣＴのようなスペクトル分解、および量子化を受ける。こうして得られた量子化残差２６は、エントロピー符号化器２８においてエントロピー符号化、すなわちコンテキスト適応二値算術符号化を受ける。復号化器が利用できる残差の再構成的なバージョン、すなわち、逆量子化および再変換残差信号３０は、再変換および再量子化モジュール３１により回復され、合成器３３により予測器１８の予測信号３２と合成され、それにより画像１２の再構成３４が得られる。しかしながら、符号化器１０は、ブロックベースで動作する。従って、再構成された信号３４は、ブロック境界で不連続性が生じ、従って、フィルタ３６は、どの予測器１８が後に符号化画像に基づき参照画像３８を生じるために、再構成された信号３４に適用されうる。図１６の破線により示されたように、予測器１８は、しかしながら、再構成された信号３４もフィルタ３６または中間バージョンなしで直接利用する。画像を符号化する場合において、フィルタ３６は、放置しうる。

予測器１８は、画像１２のあるブロックを予測するために、異なる予測モードの間から選択しうる。以前に符号化された画像に基づきどのブロックが予測されたかに応じた一時的予測モード、どのブロックが同じ画像の以前に符号化されたブロックに基づき予測されたかに応じた空間予測モード、より上位層、例えばより上位の空間分解能でまたはさらなるビューポイントから、場面を示す画像のどのブロックが、より下位層、例えばより下位の空間分解能でまたは他のビューポイントから、この場面を示す対応画像に基づき予測されたかに基づく層間予測モードが存在しうる。

あるシンタックスが、量子化残差データ２６、すなわち、変換係数レベルおよび他の残差データ、のみならず例えば予測器１８により決定された画像１２の個々のブロックのための予測モードおよび予測パラメータを含んでいる符号化モードデータをコンパイルするために使用され、かつ、これらのシンタックス要素は、エントロピー符号化器２８によるエントロピー符号化に依存する。従って、エントロピー符号化器２８により出力された、得られたデータストリームは、ローバイトシーケンスペイロード４０と呼ばれる。

図１６の符号化器１０の要素は、図１６に示されるように相互接続される。

図１７は、図１６の符号化器に適合する復号化器を示し、すなわち、ローバイトシーケンスペイロードを復号しうる。図１７の復号化器は、一般に参照符号５０により示され、エントロピー復号化器５２、再変換／逆量子化モジュール５４、合成器５６、フィルタ５８および予測器６０からなる。エントロピー復号化器４２は、ローバイトシーケンスペイロード４０を受信し、残差信号６２および符号化パラメータ６４を回復するために、コンテキスト適応二値算術復号化を用いてエントロピー復号化を行う。前記再変換／逆量子化モジュール５４は、残差信号６２の逆量子化および再変換を行い、こうして得られた残差信号を合成器５６に転送する。合成器５６は、合成器５６により予測信号６６および残差信号６５を合成することで再構成された信号６８に基づき符号化パラメータ６４を用いて前記予測信号６６を順に形成する予測器６０から予測信号６６も受信する。図１６に関し、既に上記で説明したように、予測器６０は、再構成された信号６８のフィルタリングされたバージョンまたはそのいくつかの中間バージョンを、代わりにまたは付加的に使用しうる。最終的に再生され復号化器５０の出力７０から出力されるべき画像は、合成信号６８のフィルタされないバージョンまたはいくつかのフィルタされたバージョンの上で、同様に決定されうる。

タイルの概念に従って、画像１２は、タイルに再分割され、かつこれらタイル内の少なくともブロックの予測は、空間予測の基礎として、単に同じタイルに関するデータの使用を制限される。この測定により、少なくとも予測は、個々のタイルに対し並列に実行しうる。例証目的のみで、図１６は、９つのタイルに再分割されたものとして画像１２を示す。図１６に示すように、各タイルの９つのブロックへの再分割も、単に実施例としての機能を果たす。さらに、完全性のために、タイルを別々に符号化する方法は、空間予測（イントラ予測）に制限されえない点に留意すべきである。むしろ、タイルの境界にわたってそれぞれのタイルの符号化パラメータの任意の予測およびそれぞれのタイルの境界にわたってそれぞれのタイルのエントロピー符号化におけるコンテキストセレクションの任意の依存性は、同じタイルのデータのみに依存するように制限されるために、禁じられうる。従って、前記復号化器は、ちょうど述べた操作を並列に、すなわち、タイルを単位にして、実行しうる。

いくつかの伝送チャネルにより伝送するために、シンタックス要素は、エントロピー符号化器２８によりスライス方向にエントロピー符号化されなければならない。この目的を達成するため、エントロピー符号化器２８は、タイルのブロックを、第１のタイルのブロックを最初に横断してスキャンし、その後、タイル順その他に次のタイルのブロックに進める。ラスタースキャン順は、例えば、タイル内でタイルごとにブロックをスキャンするために用いうる。スライスは、その後、伝送の最小単位であるＮＡＬユニットにパックされる。スライスをエントロピー符号化する前に、エントロピー符号器２８は、そのＣＡＢＡＣ確率、すなわち、そのスライスのシンタックス要素を算術符号化するのに使用される確率、を初期化する。前記エントロピー復号化器５２は、同じこと、すなわち、スライス開始での確率を初期化する。確率は、様々なコンテキストの現実のシンボル確率統計値に連続的に適合され、従ってＣＡＢＡＣ確率のリセットは、適合状態からの偏差を示すので、各初期化は、しかしながら、エントロピー符号化効率に悪影響を与える。当業者に知られているように、確率が現実のシンボル確率統計値に適合する場合のみに、エントロピー符号化は、最適圧縮につながる。

従って、復号化器は、本出願の実施例に一致して、図１８に示されるように動作する。前記復号化器は、ステップ８０において、タイルにおける切片内にタイル８２における画像１２を描くローバイトシーケンスペイロードを受信する。図１８において、タイル順８４における前記第１のタイル８２は、切頂されあるいは２つの切片８６ａおよび８６ｂに分割されるように、模範的に示され、各々はタイル内のブロックのシーケンスのサブシーケンスを模範的に覆う。そのとき、ステップ８２において、切片８６ａおよび８６ｂは、エントロピー復号化される。しかしながら、切片８６ａおよび８６ｂのエントロピー復号化において、ＣＡＢＡＣ確率適応は、切片境界にわたって連続している。すなわち、切片８６ａを復号化している間、ＣＡＢＡＣ確率は、連続的に現実のシンボル統計に適合され、かつエントロピー復号化切片８６ａの終りの状態は、エントロピー復号化切片８６ｂの開始に適合される。ステップ９０において、ローバイトシーケンスペイロード、従ってエントロピー復号化、は、画像１２を得るために復号化される。

タイル８２の内部に位置する切片境界９２を横断してＣＡＢＡＣ確率適合を継続することにより、これら切片境界は、画像１２の再分割を越えてタイル８２へのエントロピー符号化効率に悪影響を与えない。他方では、タイル並列処理は、依然可能である。そのうえ、切片を個々に送信することは、可能であり、かつ、切片は、完璧なタイル８２より小さいので、それぞれのタイルの第１の切片が受信されエントロピー復号化されるとすぐに、ステップ９０における各タイルの復号化が、開始できる。

図１６から１８の記述は、第１に、タイルの使用に関係する。上述したように、タイルは、画像の空間分割から生じる。タイルと同様に、スライスも画像を空間的に再分割する。スライスは、従って、並列符号化／復号化の手段でもある。タイルと同様、スライスが個々に復号化可能なように、予測等は、禁止される。従って、図１６から１８も、スライスを切片に分割するのに有効である。

ＷＰＰサブストリームを使用する際、同上があてはまる。ＷＰＰサブストリームも、画像１２の空間分割、即ちＷＰＰサブストリームへの分割を表す。タイルおよびスライスと対照的に、ＷＰＰサブストリームは、予測上に制限を課さず、ＷＰＰサブストリームを越えてセレクションに接触しない。ＷＰＰサブストリームは、図４に示すように、例えばＬＣＵ行のようなブロック行に沿って伸長する、そして、並列処理を可能にするために、単に１つの妥協が、ＷＰＰサブストリーム（図４参照）９２間に定義されたようにかつ第１のＷＰＰサブストリームを除く各ＷＰＰサブストリーム９２に対しＣＡＢＡＣエントロピー符号化に関して順になされ、ＣＡＢＡＣ確率は、完全にリセットされないが、導入され、あるいは、等しく設定され、ＣＡＢＡＣ確率は、各ＷＰＰサブストリームに対し、画像１２の同じ側、図４に示されたように、例えば左側などで、ＬＣＵ順序が開始するとともに、第２のＬＣＵ９４まですぐ先行するＷＰＰサブストリームをエントロピー復号化された後に生じる。従って、ＷＰＰサブストリームのシーケンスの間でのいくらかの符号化遅延に従い、これらＷＰＰサブストリーム９２は、画像１２が並列に、すなわち同時に復号化される部分が、左から右へ傾いた態様で画像を横断して動くある種の波面９６を形成するように、並列に復号化しうる。

すなわち、図１６から１８の記述をＷＰＰサブストリームへ送信する際に、任意のＷＰＰサブストリーム９２（図４）も、それぞれのＷＰＰサブストリーム９２の内部におけるこれら切片９８ａおよび９８ｂの間の境界１００におけるＣＡＢＡＣ確率適合の割り込みなしで切片９８ａおよび９８ｂに再分割され、それにより、両切片９８ａおよび９８ｂの個々の伝送能力によるエントロピー符号化効率に関するペナルティを避けるが波面並列処理の使用能力を維持し、切片は完全なＷＰＰサブストリーム９２より小さいためこの波面並列処理を早く開始できる。

図１ないし１５に関し、上述したように、ＮＡＬユニットに切片をパケット化して伝送するいくつかの可能性が存在する。参照が、図３になされ、その切片またはサブストリームのタイルまたはサブストリームまたはスライスが、各サブストリームまたはタイルの第ｎ切片に先行し、切片境界が局在するのを可能にする情報を示すヘッダとともに算術符号化領域において切片に分割される。他の実施例は、図９において示されるものである。そこで、タイルまたはＷＰＰサブストリームの切片への再分割が、スライス構造をわずかに変更することで実行される：スライスは、タイルまたはＷＰＰサブストリーム境界で開始される、すなわち、タイルまたはＷＰＰサブストリームの最初で開始される。no＿cabac＿reset＿flagがゼロにセットされ、それにより、通常のＣＡＢＡＣ確率は、初期化／リセットを引き起こす。しかしながら、タイルまたはＷＰＰサブストリームの内部で始まる切片を運ぶスライスは、１にセットされるno＿cabac＿reset＿flagを有し、それにより前述のＣＡＢＡＣ確率適応の継続を引き起こす。

デインターリーブに関する限り、それは、レセプションステップ８０において行われる、例えば、各切片に対し、どのＷＰＰサブストリームまたはタイルに関して、それぞれの切片が属するかが決定される。例えば、現在の画像のＷＰＰサブストリームまたはタイルの数を通した総当り循環など異なる可能性が、上述される。その代わりに、前記切片を運ぶためにスライスヘッダを使用する場合に、前記スライスヘッダは、現在の画像１２の範囲内でそれぞれのスライスの開始を見つけ出しうる指示からなる。

この点に関し、スライスの分解に留意すべきであり、切片へのＷＰＰサブストリームまたはタイルは、各スライス、ＷＰＰサブストリーム、またはタイル内で定義された復号化順序に沿って実行される：すなわち、各スライス内で、ＷＰＰサブストリームまたはタイル、それぞれのスライスにより空間的にカバーされた画像の部分、ＷＰＰサブストリームまたはタイルは、それぞれのスライスに符号化され／から復号化され、その復号化順序におけるＷＰＰサブストリームまたはタイル、およびそれぞれのスライスの各切片、ＷＰＰサブストリームまたはタイルは、その復号化順にそれぞれのスライス、ＷＰＰサブストリームまたはタイルの連続的な部分を覆う。この態様により、同じスライス、ＷＰＰサブストリーム、またはタイルに属する切片の間で、順序、すなわち、符号化／復号化の順序が定義され、そして、各切片は、その順序内でランクを持つ。ＷＰＰサブストリームまたはタイルへの画像の再分割は、復号化器に信号伝送されるので、前記復号化器は、再分割について承知している。従って、各切片をそれぞれのＷＰＰサブストリームまたはタイルに関連付けるために、例えば、各切片がタイル／ＷＰＰサブストリームの符号化／復号化順序を用いてそれぞれの切片が連続的に画像を覆う上から開始位置とみなす開始アドレスを有する場合、それぞれの切片が一部であることは、十分であろう。あるタイルあるいはＷＰＰサブストリームに属する切片間の順序でさえ、トランスポートデマルチプレクサでまたは開始位置を用いて復号化器により再構成しうる。しかしながら、再ソートのために、ＲＴＰ伝送に関し上述したように、低位ＯＳＩ（Open Systems Interconnection）層の転送パケットヘッダの情報は、例えば、復号化順序数、すなわちＤＯＮを使用しうる。今述べたタイプの転送デマルチプレクサは、等しいＷＰＰサブストリームの切片のデータまたは１つのスライスバッファにおけるタイルおよびＷＰＰサブストリームの切片のデータまたは異なるＷＰＰサブストリームに関連付けられたタイルまたは異なるスライスバッファにおけるタイルを蓄積するために上で議論した転送デマルチプレクサと同様に構成しうる。上述したように、スライス構造、すなわち、スライスヘッダは、切片を運ぶのに使用しうる。

次に、図１１から１５の実施例が、再度換言するために、参照される。これらの図面に記述されたように、スライスＳｉはＮＡＬユニットへパケット化され、各ＮＡＬユニット１１０（図１１参照）は、ＮＡＬユニットヘッダ１１２を有する。スライスＳｉはノーマルのスライスもしくは図９に従い切片を運ぶスライスでありうる点に留意すべきである。従って、これらスライスは、単に１つのＷＰＰサブストリームに関するデータまたは現在の画像のタイル、すなわち、第ｉのＷＰＰサブストリームまたはタイルをそれぞれ運ぶ。断片化のために、前記ＮＡＬユニット１１０は、トランスポートストリーム（ＴＳ）パケット１１４、すなわちそのペイロードセクション１１６により伝送される。そうするために、各ＮＡＬユニット１１０および前記対応するスライスＳｉは、ｉを示すそれぞれのサブストリームマーカーＭＫＲ、すなわち、ＮＡＬユニット１１０に直接後続する直接後続するスライスが属する前記ＷＰＰサブストリームまたはタイルにより先行される。

異なるＷＰＰサブストリームまたはタイルに属するスライスを運ぶＮＡＬユニット１１０は、図１１から１３に説明されたように、１つ以上の基本ストリームＥＳ上にまたは図１１から１３に説明された同じ基本ストリーム上に分配される。上述したように、“基本ストリーム”は、それ自身のＲＴＰセッション中の分離ＲＴＰストリームも特定しうる。

図１４および１５に関して説明したように、トランスポートデマルチプレクサは、マルチプレックスバッファＭＢ、スライスバッファＳＢおよび転送バッファＴＢを有する。スライスバッファＳＢは、ＷＰＰサブストリームまたはタイルの画像を並列復号化するマルチスレッド復号器ＭＴＤにより引き込まれる。転送バッファＴＢは、ビデオビットストリームのＴＳパケットに属するデータを集め、そのデータをマルチプレックスバッファＭＢに転送するように構成されている。転送デマルチプレクサは、マルチプレックスバッファＭＢの出力でＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価し、サブストリームマーカーＮＡＬユニット内に運ばれたサブストリームマーカーデータを蓄積するとともにサブストリームマーカーＮＡＬユニットＭＫＲを落とし、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のサブストリームのスライスまたはタイルのデータ、ひとつの、すなわち同じスライスバッファＳＢ内の等しいＷＰＰサブストリームまたはタイルとみなすデータフィールド、および、サブストリームマーカーＮＡＬユニットに続くＮＡＬユニット内のＷＰＰサブストリームまたはタイルのスライスのデータ、異なるスライスバッファＳＢにおける異なるＷＰＰサブストリームまたはタイルと見なすデータフィールド、を蓄積するように構成されている。図１５に示されるように、トランスポートデマルチプレクサは、図１５におけるＴＳ ｄｅｍｕｘと呼ばれるデマルチプレクサからなり、ビデオビットストリームを受信し、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分割、すなわち、ビデオビットストリームのＴＳパケットを異なる基本ストリームに分配する。前記デマルチプレクサは、この分割または分配を、各基本ストリームが他の基本ストリームのＴＳパケットのＰＡＤと異なるＴＳパケットからなるように、ＴＳパケットのＴＳヘッダに含まれる複数のＰＩＤ（図１５中ではＰＩＤｓと記す）に従って実行する。

すなわち、スライスが図９の実施例の意味で切片と対応する場合に、それぞれのＷＰＰサブストリームまたはタイルの対応するスライスバッファＳＢがそこに含まれるデータを有すると同時に、前記ＭＴＤ、すなわち、前記マルチスレッド復号化器が、現在の画像の１つ以上のＷＰＰサブストリームまたはタイルを処理開始しうる、その結果、遅延が減少する。

若干の態様が、装置に関連して記載されているが、これらの態様は、対応する方法の記載も表すことは明らかである。ここで、１ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップに関連して記載されている形態は、対応するブロックまたは項目または対応する装置の特徴の説明を表す。方法のステップのいくつかまたは全てが、例えば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置により（または使用して）実行されうる。若干の実施の形態において、最も重要な方法ステップの若干またはより多くは、そのような装置により実行されうる。

発明の符号化されたビットストリームは、デジタル記憶メディア上に記憶され、または、例えば無線伝送メディアまたはインターネットなどの有線伝送メディア上に伝送される。

この上記貢献は、それ故、例えばタイル、波面並列処理（ＷＰＰ）サブストリーム、スライスまたはエントロピースライスなどにおける構造化、とりわけ低遅延カプセル化および新たなＨＥＶＣ符号化規格により提供されるような構造化ビデオデータのための方法を記述する。技術は、とりわけエントロピースライス／スライス／タイル／サブストリームのインターリーブされた伝送を介した並列処理符号化器−トランスミッタ−レシーバ−復号化器環境における低遅延伝送を可能にするものを提供する。明細書の導入部で概説されたボトルネック問題を解決するために、および伝送遅延および復号化時間、すなわちエンドツーエンド遅延を最小化するために、並列伝送および処理のためのインターリーブされたエントロピースライススキームが、とりわけ提供される。

特定の実現要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて、実行されうる。その実施態様は、それぞれの方法が実行されるように、プログラミング可能なコンピュータシステムと協働するか（または、協働しうる）、そこに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリを使用して実行されうる。従って、デジタル記憶媒体は、コンピュータ読み込み可能でもよい。

本発明による若干の実施の形態は、本願明細書において記載される方法のうちの１つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。

通常、本発明の実施の形態は、プログラムコードを有するコンピュータプログラム製品として実施され、コンピュータプログラム製品がコンピュータ上で実行する場合、プログラムコードは、方法のうちの１つを実行するために作動される。プログラムコードは、機械可読キャリアに、例えば、格納されうる。

他の実施の形態は、機械可読キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。

換言すれば、従って、コンピュータプログラムがコンピュータ上で実行する場合、本発明の方法の実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

従って、本発明の方法の更なる実施の形態は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、一般的には、有形でありおよび／または、非過渡的である。

従って、本発明の方法の更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続、例えば、インターネットを介して転送されるように構成されうる。

更なる実施の形態は、本願明細書において記載される方法のうちの１つを実行するために構成され、または適応される処理手段、例えば、コンピュータ、またはプログラミング可能な論理回路を含む。

更なる実施の形態は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータプログラムを有するコンピュータを含む。

本発明による更なる実施の形態は、レシーバに本願明細書に記載される方法のうちの１つを実行するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）転送するために構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータプログラムを転送するためのファイルサーバを含む。

いくつかの実施の形態において、プログラミング可能な論理回路（例えば、フィールドプログラマブルゲートアレイ）が、本願明細書において記載されるいくつかのまたは全ての機能を実行するために使用されうる。いくつかの実施の形態において、フィールドプログラマブルゲートアレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働しうる。一般に、方法は、いくつかのハードウェア装置により、好ましくは実行される。

すなわち、本発明の第１の態様は、スライス、ＷＰＰサブストリームまたはタイルに画像を記述し、スライス、ＷＰＰサブストリームまたはタイルの切片において、符号化器からＣＡＢＡＣを使用して、符号化されたローバイトシーケンスペイロードを受信し、
切片境界全体のＣＡＢＡＣ確率適合を継続するとともに前記切片をエントロピー復号化し、
前記画像を得るために、前記ローバイトシーケンスペイロードを復号化する、
ように構成されている復号化器に関する。

また、本発明の第２の態様は、本発明の第１の態様における復号化器において、
前記ローバイトシーケンスは、前記画像をスライスに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、他のスライスのデータを使用せずに各スライスを別々に復号化するように構成されている復号化器に関する。

また、本発明の第３の態様は、本発明の第１または第２の態様における復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をタイルに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、エントロピー復号化を実行し、前記複数のタイルをそれぞれ互いに独立にトランスフォーム復号化するように構成されている復号化器に関する。

また、本発明の第４の態様は、本発明の先行する態様のいずれかの復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をＷＰＰサブストリームに記述し、かつ、前記復号化器は、前記ローバイトシーケンスペイロードを復号化する際に、前記ＷＰＰサブストリームの波面並列処理を使用するように構成されている復号化器に関する。

また、本発明の第５の態様は、本発明の先行する態様のいずれかの復号化器において、
前記切片は、スライスヘッダを使用してパケット化され、かつ、前記復号化器は、前記切片を受信する際に、新たなスライスを受信すると直ちに、ＣＡＢＡＣ確率をリセットすることにより前記ＣＡＢＡＣ確率適合を中断するか、または前記ＣＡＢＡＣ確率適合を続けるために、前記新たなスライスの前記スライスヘッダにおけるフラグ、または、前記新たなスライスのスライスタイプ、または、前記新たなスライスを含むＮＡＬユニットのＮＡＬユニットタイプに応答するように構成されている復号化器に関する。

また、本発明の第６の態様は、本発明の先行する態様のいずれかの復号化器において、
前記ローバイトシーケンスペイロードは、前記画像をＷＰＰサブストリームまたはタイルに記述し、それらは、更に切片に再分割される復号化器に関する。

また、本発明の第７の態様は、第６の態様における復号化器において、
前記復号化器は、前記切片を受信する際、各切片がどのＷＰＰサブストリームまたはタイルに属するかを確認することにより、前記切片をデインターリーブするように構成されている復号化器に関する。

また、本発明の第８の態様は、本発明の先行する態様のいずれかの復号化器において、
各パケットが、前記画像の各ＷＰＰサブストリームまたはタイルの切片または前記画像の前記複数のＷＰＰサブストリームまたは複数のタイルのサブセットから成るような方法で、前記切片は、パケットにパケット化され、ＷＰＰサブストリームまたはタイル間で定義された順序で配列され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内で前記切片を互いに分離するマーカーを有し、前記復号化器は、前記ローバイトシーケンスペイロードを受信する際に、前記パケット内の前記切片にアクセスするために前記ヘッダまたは前記マーカーを有する前記情報を使用するように構成されている復号化器に関する。

また、本発明の第９の態様は、本発明の第８の態様における復号化器において、
前記画像の前記ＷＰＰサブストリームまたはタイルの第１の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片は、低遅延特性インジケータからなり、前記画像の前記ＷＰＰサブストリームまたはタイルの第２のまたは後続の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片を有するパケットは、連続性インジケータからなる復号化器に関する。

また、本発明の第１０の態様は、本発明の第８または第９の態様における復号化器において、
前記パケットは、ＮＡＬユニットまたはスライスである復号化器に関する。

また、本発明の第１１の態様は、トランスポートデマルチプレクサにおいて、
マルチプレックスバッファと、
ＷＰＰサブストリームまたはタイル内で画像の並列復号化を可能にするマルチスレッド復号化器により引かれるためのスライスバッファと、
ビデオビットストリームの既定の基本ストリームのＴＳパケットに属するデータを集め、かつ、前記データを前記マルチプレックスバッファに転送するように構成されたトランスポートバッファとを備え、
前記トランスポートデマルチプレクサは、前記マルチプレックスバッファの出力において前記ＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価し、前記ＮＡＬユニットシーケンスに挿入されたサブストリームマーカーを、前記サブストリームマーカー内で運ばれた前記サブストリームマーカーデータを蓄積するとともに落とし、かつサブストリームマーカーに続くＮＡＬユニット内におけるサブストリームまたはタイルのスライスのデータ、１つのスライスバッファにおける同じＷＰＰサブストリームまたはタイルを特定するデータフィールド、およびサブストリームマーカーに続くＮＡＬユニット内におけるＷＰＰサブストリームまたはタイルのスライスのデータ、異なるスライスバッファにおける異なるＷＰＰサブストリームまたはタイルを特定するデータフィールドを蓄積するように構成されているトランスポートデマルチプレクサに関する。

また、本発明の第１２の態様は、本発明の第１１の態様におけるトランスポートデマルチプレクサにおいて、
前記サブストリームマーカーは、前記サブストリームかタイルの前記スライスの前記データがいずれの範囲内であるかというＮＡＬユニットと異なるＮＡＬユニットタイプを有するサブストリームマーカーＮＡＬユニットであるトランスポートデマルチプレクサに関する。

また、本発明の第１３の態様は、本発明の第１１または第１２の態様におけるトランスポートデプレクサにおいて、
前記ビデオビットストリームを受信して、各基本ストリームが他の基本ストリームのＴＳパケットのＰＩＤと異なるＰＩＤのＴＳパケットからなるように、ＴＳパケットのＴＳヘッダの範囲内で含まれたＰＩＤに従い前記ビデオビットストリームのＴＳパケットを異なる基本ストリームへ分割するように構成されるデマルチプレクサをさらに備えたトランスポートデマルチプレクサに関する。

また、本発明の第１４の態様は、スライスまたはＷＰＰサブストリームまたはタイルにおいて画像を記述しているローバイトシーケンスペイロードを有し、ＣＡＢＡＣを使用して符号化されたビデオビットストリームを受信し、切片境界にわたりＣＡＢＡＣ確率適合を継続するとともに、前記ビデオビットストリームは、前記スライスまたはＷＰＰサブストリームまたはタイルの切片に分解するように構成され、
各切片は、各切片に対しどのＷＰＰサブストリームまたはタイルが属するかに関し特定する情報を有し、前記情報を使用して前記切片を前記スライスまたはＷＰＰサブストリームまたはタイルに関連付けるトランスポートデマルチプレクサに関する。

また、本発明の第１５の態様は、本発明の第１４の態様におけるトランスポートデマルチプレクサにおいて、
各切片のために、各切片により構成された前記情報には、前記画像内の開始位置のアドレス、が具備されており、それぞれのどの切片から連続的に各切片が属する前記スライス、ＷＰＰサブストリームまたはタイルの一部のカバーを開始するトランスポートデマルチプレクサに関する。

また、本発明の第１６の態様は、本発明の第１４または第１５の態様におけるトランスポートデマルチプレクサにおいて、
前記デマルチプレクサは、各スライス、ＷＰＰサブストリーム、またはタイルをソートするように構成されており、
前記切片は、前記切片がパックされたパケットのパケットヘッダにおける復号順序数を用いるトランスポートデマルチプレクサに関する。

また、本発明の第１７の態様は、本発明の第１１ないし第１３のいずれかの態様におけるトランスポートデマルチプレクサと、マルチスレッド復号化器とを備え、
前記マルチスレッド復号化器は、本発明の第５の態様により実施されるシステムに関する。

また、本発明の第１８の態様は、
符号化器において、
画像を符号化することにより、画像をスライス、ＷＰＰサブストリームまたはタイルに記述するためにローバイトシーケンスペイロードを形成するとともにＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、
切片における前記ローバイトシーケンスを送信し、切片境界全体にわたってエントロピー符号化しているＣＡＢＡＣ確率適合を継続する符号化器に関する。

また、本発明の第１９の態様は、本発明の第１８の態様における符号化器において、
前記切片が最大転送ユニットサイズに合致するように、前記符号化器はローバイトシーケンスから構成される符号化器に関する。

また、本発明の第２０の態様は、
ＮＡＬユニットヘッダからなる一連のＮＡＬユニットを送信するビデオビットストリームにおいて、
前記一連のＮＡＬユニットは、サブストリームマーカーが挿入され、サブストリームまたはタイルの一つに等しいスライスのデータを運ぶＮＡＬユニットは、サブストリームマーカーが続き、データフィールドは、同一のサブストリームまたはタイルを確認し、
かつ異なるサブストリームまたはタイルのスライスのデータは、異なるサブストリームマーカーが続き、データフィールドは、異なるサブストリームまたはタイルを確認するビデオビットストリームに関する。

また、本発明の第２１の態様は、
画像をスライス，ＷＰＰサブストリームまたはタイルに記述しているローバイトシーケンスペイロードから成りＣＡＢＡＣを使用して符号化されたビデオビットストリームにおいて、前記ビデオビットストリームは、切片境界全体にわたってＣＡＢＡＣ確率適合を継続するとともに、前記スライス，ＷＰＰサブストリームまたはタイルの切片に分解され、各切片は、前記切片間にそのランクの明示的な表示を含み、前記各切片が属する前記スライス、ＷＰＰサブストリーム、またはタイルへ順次分解されるビデオビットストリームに関する。

また、本発明の第２２の態様は、
本発明の第２１の態様のビデオビットストリームにおいて、
前記切片は、各パケットが前記画像の各ＷＰＰサブストリームまたはタイルの１つの切片からなるように、または前記画像の前記ＷＰＰサブストリームまたはタイルのサブセットからなるようにパケット化され、前記ＷＰＰサブストリームまたはタイルの間で定義された順序で配列され、各パケットは、前記それぞれのパケットにパックされた前記切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内で前記切片を互いに分離するマーカーからなるビデオビットストリームに関する。

また、本発明の第２３の態様は、
本発明の第２１または第２２の態様におけるビデオビットストリームにおいて、
前記画像の前記ＷＰＰサブストリームまたはタイルの第１の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片からなるパケットは、低遅延特性インジケータからなり、前記画像の前記ＷＰＰサブストリームまたはタイルの第２のまたは後続の−前記ＷＰＰサブストリームまたはタイルの間で定義された順序に従って−切片からなるパケットは、連続性インジケータからなるビデオビットストリームに関する。

また、本発明の第２４の態様は、
本発明の第２１ないし第２３のいずれかの態様におけるビデオビットストリームにおいて、
前記パケットは、ＮＡＬユニットまたはスライスであるビデオビットストリームに関する。

また、本発明の第２５の態様は、決定するための方法であって、
スライス、ＷＰＰサブストリームまたはタイルにおいて画像を記述しており、前記スライス、ＷＰＰサブストリームまたはタイルの切片において符号化器からＣＡＢＡＣを使用して符号化されたローバイトシーケンスペイロードを受信し、
切片境界全体にわたって継続ＣＡＢＡＣ確率適合を伴い前記切片をエントロピー復号化し、
前記画像を得るために前記ローバイトシーケンスペイロードを復号化する決定方法に関する。

また、本発明の第２６の態様は、
マルチプレックスバッファを使用するトランスポートデマルチプレックス方法であって、
ＷＰＰサブストリームまたはタイルの画像の並列復号化を可能にするマルチスレッド復号化器により引かれるためのスライスバッファ、および、ビデオビットストリームの既定の基本ストリームのＴＳパケットに属するデータを集めるように構成されるトランスポートバッファを備え、前記マルチプレックスバッファに前記データを転送する方法であって、
前記マルチプレックスバッファの出力で前記ＴＳパケットにパケット化されたＮＡＬユニットシーケンスのＮＡＬユニットのＮＡＬユニットヘッダを評価すること、
サブストリームマーカーＮＡＬユニットの範囲内で運ばれたサブストリームマーカーデータを格納することに伴いサブストリームマーカーＮＡＬユニットを下げ、かつ、
サブストリームマーカーＮＡＬユニットに続くＮＡＬユニットの範囲内のサブストリームまたはタイルのスライスのデータを格納し、そのデータフィールドは、１つのスライスバッファにおける同一のＷＰＰサブストリームまたはタイルを確認し、ＮＡＬユニットの範囲内のＷＰＰサブストリームまたはタイルのスライスのデータは、サブストリームマーカーＮＡＬユニットに続き、そのデータフィールドは、異なるスライスバッファにおける異なるＷＰＰサブストリームまたはタイルを確認するトランスポートデマルチプレックス方法に関する。

また、本発明の第２７の態様は、
トランスポートデマルチプレックス方法において、
スライス、ＷＰＰサブストリームまたはタイルに画像を記述しており、ＣＡＢＡＣを用いて符号化されたローバイトシーケンスペイロードを有するビデオビットストリームを受信し、
前記ビデオビットストリームは、切片境界全体にわたってＣＡＢＡＣ確率適合を継続しつつ、前記スライス、ＷＰＰサブストリームまたはタイルの切片に分解され、前記各切片は、各切片に対し、それぞれの切片が、どのＷＰＰサブストリームまたはタイルに属するかを特定する情報を有し、前記情報を使用して前記切片を前記スライス、ＷＰＰサブストリームまたはタイルに関連付けるトランスポートデマルチプレックス方法に関する。

また、本発明の第２８の態様は、
画像を符号化することにより、前記画像をスライス、ＷＰＰサブストリームまたはタイルに記述するためにローバイトシーケンスを形成し、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、切片における前記ローバイトシーケンスペイロードを伝送すること、および切片境界全体にわたるエントロピー符号化におけるＣＡＢＡＣ確率適合を継続する符号化方法に関する。

また、本発明の第２９の態様は、
コンピュータ上で実行されるとき、本発明の第２５ないし第２８のいずれかの態様の方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

上述した実施の形態は、本発明の原則の例を表すだけである。本願明細書において記載される装置の修正および配置の変更および詳細は、他の当業者にとって明らかであるものと理解される。従って、既決の特許請求の範囲だけによりのみ制限され、ならびに、本願発明の記述および説明により表された明細書の詳細な記載によっては、制限されない。

文献
［１］Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, "Overvie w of the H.264/AVC Video Coding Standard", IEEE Trans. Circuits Syst. Vide o Technol., vol. 13, N7, July 2003.

［２］JCTVC-E196, "Wavefront Parallel Processing", 5th JCT-VC Meeting, Geneva 2011.

［３］JCTVC-D070, "Lightweight slicing for entropy coding", 4th Meeting, Daegu, 2011.

［４］JCTVC-D073, "Periodic initialization for wavefront coding functionality", 4th Meeting, Daegu, 2011.

［５］HEVC WD5: Working Draft 5 of High-Efficiency Video Coding JTCVC-G1103, 5th JCT-VC Meeting, Geneva Meeting November 2011.

［６］JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011.

［７］ISO/IEC 13818-1/2011, MPEG-2 Transport Stream including AMDs 1 − 6.
［８］IETF Real-time transport protocol, RTP RFC 3550.
［９］IETF RTP Payload Format, IETF RFC 6184.
［１０］JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism Without Transcoding, , Torino Meeting
［１１］JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decodin g, Torino Meeting** at end of description
［１２］IETF Session Description Protocol (SDP), RFC 4566
［１３］IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl- payload-h265

Claims (14)

1. 画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームとしてＷＰＰサブストリームに画像を記述し、ＣＡＢＡＣを用いて符号化されたローバイトシーケンスペイロードを、前記ＷＰＰサブストリームが分割され、そのことによってその中に切片境界が導入された切片で、符号化器から受信し、
   前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合を継続するとともに前記切片をエントロピー復号化し、
   前記ローバイトシーケンスペイロードを復号化して、前記画像を得るように構成される復号化器であって、
   前記切片は、各パケットが、前記ＷＰＰサブストリーム間で定義された順序で配列された、前記画像の各ＷＰＰサブストリームの切片を１つまたは前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、それぞれのパケットにパックされた前記切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含み、前記復号化器は、前記ローバイトシーケンスペイロードを受信する際に、前記ヘッダまたは前記マーカーが含む情報を使用して前記パケット内の前記切片にアクセスするように構成される、
   ことを特徴とする、復号化器。
2. 請求項１に記載の復号化器であって、
   前記切片はスライスヘッダを使用してパケット化され、かつ、前記復号化器は、前記切片を受信する際に、新たな切片を受信すると直ちに、前記新たな切片の前記スライスヘッダ内のフラグ、前記新たな切片のスライスタイプまたは前記新たな切片を含むＮＡＬユニットのＮＡＬユニットタイプに応答して、ＣＡＢＡＣ確率をリセットすることにより前記ＣＡＢＡＣ確率適合を中断するか、または前記ＣＡＢＡＣ確率適合を継続するように構成される、
   ことを特徴とする、復号化器。
3. 請求項１または２に記載の復号化器であって、
   前記復号化器は、前記切片を受信する際、それぞれの切片について、各切片がどのＷＰＰサブストリームに属するかを確認することによって、前記切片をデインターリーブするように構成される、
   ことを特徴とする、復号化器。
4. 請求項１に記載の復号化器であって、
   前記ＷＰＰサブストリーム間で定義された順序において、前記画像の前記ＷＰＰサブストリームの最初の切片を含むパケットは、低遅延特性インジケータを含み、前記ＷＰＰサブストリーム間で定義された順序において、前記画像の前記ＷＰＰサブストリームの２番目以下の切片を含むパケットは、連続性インジケータを含む、
   ことを特徴とする、復号化器。
5. 請求項１に記載の復号化器であって、
   前記パケットは、ＮＡＬユニットまたはスライスである、
   ことを特徴とする、復号化器。
6. 請求項１に記載の復号化器であって、
   前記ローバイトシーケンスペイロードは、場面を様々な視点に対応する層に符号化した、
   ことを特徴とする、復号化器。
7. 請求項１に記載の復号化器であって、
   前記ローバイトシーケンスペイロードは、レイヤ化した前記画像をその中に符号化した、
   ことを特徴とする、復号化器。
8. 画像を符号化することにより、ローバイトシーケンスペイロードを形成して、画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームとして前記画像をＷＰＰサブストリームで記述するとともに、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、
   前記ＷＰＰサブストリームが分割され、そのことによってその中に切片境界が導入された切片で前記ローバイトシーケンスを送信し、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合をエントロピー符号化において継続する符号化器であって、
   前記切片は、各パケットが、前記ＷＰＰサブストリーム間で定義された順序で配列された、前記画像の各ＷＰＰサブストリームの切片を１つまたは前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含み、前記ヘッダまたは前記マーカーが含む情報によって前記パケット内の前記切片へのアクセスが可能になるように構成されることを特徴とする、符号化器。
9. 画像を符号化することにより、ローバイトシーケンスペイロードを形成して、画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームとして前記画像をＷＰＰサブストリームで記述するとともに、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化し、
   前記ＷＰＰサブストリームが分割され、そのことによってその中に切片境界が導入された切片で前記ローバイトシーケンスを送信し、前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合をエントロピー符号化において継続するように構成される符号化器であって、
   前記符号化器は、前記切片が最大転送ユニットサイズに合致するように、前記ローバイトシーケンスを形成するように構成される、
   ことを特徴とする、符号化器。
10. 請求項８に記載の符号化器であって、
    前記ローバイトシーケンスペイロードは、場面を様々な視点に対応する層に符号化した、
    ことを特徴とする、符号化器。
11. 請求項８に記載の符号化器であって、
    前記ローバイトシーケンスペイロードは、レイヤ化した前記画像をその中に符号化した、
    ことを特徴とする、符号化器。
12. 画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームとして前記画像をＷＰＰサブストリームで記述し、ＣＡＢＡＣを用いて符号化されたローバイトシーケンスペイロードを、前記ＷＰＰサブストリームが分割され、そのことによって切片境界がその中に導入された前記ＷＰＰサブストリームの切片で符号化器から受信するステップ、
    前記切片をエントロピー復号化すると共に前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合を継続するステップ、および
    前記ローバイトシーケンスペイロードを復号化して画像を得るステップ、
    を含む、復号化のための方法であって、
    前記切片は、各パケットが、ＷＰＰサブストリーム間で定義された順序で配列された、前記画像の各ＷＰＰサブストリームの切片を１つまたは前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含み、前記ローバイトシーケンスを受信するステップは、前記ヘッダまたは前記マーカーに含まれる情報を使用して前記パケット内の前記切片にアクセスするように構成される、
    ことを特徴とする、復号化方法。
13. 画像を符号化することによってローバイトシーケンスペイロードを形成して、画像のＬＣＵ行１行あたり１つのＷＰＰサブストリームとして前記画像をＷＰＰサブストリームで記述すると共に、ＣＡＢＡＣを使用して前記ローバイトシーケンスをエントロピー符号化するステップと、前記ＷＰＰサブストリームが分割され、そのことによって切片境界がその中に導入された切片で前記ローバイトシーケンスを伝送するステップ、および前記ＷＰＰサブストリーム内に導入された前記切片境界を越えたＣＡＢＡＣ確率適合をエントロピー符号化において継続するステップ、
    を含む符号化のための方法であって、
    前記切片は、各パケットが、ＷＰＰサブストリーム間で定義された順序で配列された、前記画像の各ＷＰＰサブストリームの切片を１つまたは前記画像の前記ＷＰＰサブストリームのサブセットを含むように、パケットにパケット化され、各パケットは、それぞれのパケットにパックされた切片の位置および／または長さを示すヘッダまたは前記それぞれのパケット内の前記切片を互いに分離するマーカーを含み、前記ヘッダまたは前記マーカーに含まれる情報によって前記パケット内の前記切片へのアクセスが可能になるように構成されている、
    ことを特徴とする、符号化方法。
14. コンピュータ上で実行されるとき、請求項１２ないし１３のいずれかに記載の方法を実行するためのプログラムコードを有することを特徴とする、コンピュータプログラム。
    

Images