JP2024026283A - ストリームマージのためのコンフィギュラブルｎａｌ及びスライスコードポイント機構 - Google Patents

Abstract

【課題】ビデオデータストリームのビデオ符号化単位の必要な情報とビデオデータストリームの特性を導出するデコーダを提供する。【解決手段】ビデオデコーダは、復号化したビデオデータストリームのパラメータセット単位から代替的な符号化単位タイプを読み、所定の各ビデオ符号化単位に対して、ビデオ符号化単位の各々から符号化単位タイプ識別子を読み、符号化単位の識別子が１つ以上の符号化単位タイプの第１のサブセット又は符号化単位タイプの第２のサブセットからの符号化単位タイプを識別するか確認し、符号化単位の識別子が第１のサブセットから識別する場合、所定のビデオ符号化単位の各々を代替的な符号化単位タイプにし、符号化単位の識別子が第２のサブセットから識別する場合、所定のビデオ符号化単位の各々を符号化単位識別子によって識別される符号化単位タイプの第２のサブセットからの符号化単位タイプにする。【選択図】図９

Description

本願は、ビデオデータストリームのビデオ符号化単位の符号化単位タイプ及び特性を示すデータ構造に関する。

ピクチャタイプは、ピクチャのスライスを搬送するＮＡＬ単位のＮＡＬ単位ヘッダに示されることが知られている。それによって、ＮＡＬ単位ペイロードの本質的な特性は、アプリケーションによる使用のための非常に高いレベルで利用可能である。

ピクチャタイプは、以下を含む。
－ランダムアクセスポイント（ＲＡＰ）ピクチャ：そこにおいて、デコーダは符号化されたビデオシーケンスの復号化を開始しうる。これらは、Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｉｃｔｕｒｅ（ＩＲＡＰ）として参照される。３つのＩＲＡＰピクチャタイプ、すなわち、Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（ＩＤＲ）、Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ（ＣＲＡ）及びＢｒｏｋｅｎ Ｌｉｎｋ Ａｃｃｅｓｓ（ＢＬＡ）が存在する。符号化されたビデオシーケンスの復号化処理は、常にＩＲＡＰから開始される。
－リーディングピクチャ：それは、出力順においてランダムアクセスポイントピクチャに先行するが、符号化されたビデオシーケンスにおいてランダムアクセスポイントピクチャの後に符号化される。符号化順においてランダムアクセスポイントに先行するピクチャから独立したリーディングピクチャは、ランダムアクセス復号化可能先行（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ：ＲＡＤＬ）ピクチャと呼ばれる。予測のために符号化順でランダムアクセスポイントに先行するピクチャを使用するリーディングピクチャは、復号化が対応するＩＲＡＰにおいて開始される場合、破損する可能性がある。これらは、ランダムアクセススキップ先行（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ：ＲＡＳＬ）ピクチャと呼ばれる。
－トレイリング（ＴＲＡＩＬ）ピクチャ：それは、ＩＲＡＰピクチャチとリーディングピクチャとに出力順と表示順の双方で後続する。
－符号化されたビデオシーケンスの時間解像度がデコーダによって切り替えられうるピクチャ：時間サブレイヤアクセス（Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ）及びステップ単位時間サブレイヤアクセス（ＳＴＳＡ）

従って、ＮＡＬ単位のデータ構造は、ストリームマージの重要なファクタである。

本願の主題の課題は、代替的な符号化単位タイプを示す識別子を読むことによって、ビデオデータストリームのビデオ符号化単位の必要な情報を導出するデコーダと、ビデオデータストリームの特性を導出するデコーダとを提供することである。

本願の主題の更なる課題は、識別子を利用することによってビデオ符号化単位の代替的な符号化単位タイプを示すエンコーダと、ビデオデータストリームの特性を示すエンコーダとを提供することである。

本課題は、本願の請求項の主題によって達成される。

本願の実施例によると、ビデオデータストリームからの複数のピクチャを含むビデオを、前記ピクチャの各々に関連する前記ビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位からの各ピクチャを復号化することによって、復号化し、前記ビデオデータストリームのパラメータセット単位から代替的な符号化単位タイプを読み、所定の各ビデオ符号化単位に対して、前記ビデオ符号化単位の各々から、ｎａｌ単位ヘッダに含まれるシンタックス要素などの符号化単位タイプ識別子（１００）を読み、前記符号化単位の識別子が、例えば、ｎａｌ単位がマッピング可能なＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）単位タイプであるか否かを示すなど、１つ以上の符号化単位タイプの第１のサブセット（１０２）であるか、又は、例えば、ｎａｌ単位タイプを示すなど、符号化単位タイプの第２のサブセット（１０４）からの符号化単位タイプを識別するか確認し、前記符号化単位の識別子が前記１つ以上の符号化単位タイプの第１のサブセットからの符号化単位タイプを識別する場合、前記所定のビデオ符号化単位の各々を前記代替的な符号化単位タイプにし、前記符号化単位の識別子が前記符号化単位タイプの第２のサブセットからの符号化単位タイプを識別する場合、前記所定のビデオ符号化単位の各々を前記符号化単位識別子によって識別される符号化単位タイプの第２のサブセットからの前記符号化単位タイプにする、よう構成されるビデオデコーダ。すなわち、ｎａｌ単位タイプの各々は、識別子、第１の符号化単位タイプのサブセット及び第２の符号化単位タイプのサブセットによって示され、すなわち、ｎａｌ単位タイプは、第１及び第２の符号化単位タイプの通知に従って書き換えられる。従って、マージ効率を向上させることができる。

本開示の実施例によると、各ビデオ符号化単位から、ビデオ符号化単位の各々に付された符号化単位タイプに依存した方法でビデオ符号化単位の各々に関連する領域を符号化するよう構成されるビデオデコーダ。ビデオデコーダは、代替的な符号化単位タイプがビデオ符号化タイプの第２のサブセットからとなるように構成されてもよい。ビデオデコーダは、代替的な符号化単位タイプが、ビデオ符号化タイプの第２のサブセットによって含まれない少なくとも１つのビデオ符号化タイプを含む、非ＶＣＬ単位タイプなどのビデオ符号化タイプの第３のサブセットからとなるように構成されてもよい。

本開示の実施例によると、所定のビデオ符号化単位は、ピクチャブロックパーティショニングデータ、ブロック関連予測パラメータ及び予測残差データを搬送する。ピクチャが、例えば、第１のサブセットの符号化単位タイプを有するスライスと、第２のサブセットの符号化単位タイプを有するスライスなど、１つ以上のビデオ符号化ユニットの双方を含むとき、後者のビデオ符号化単位は、代替的な符号化単位タイプに等しい符号化単位タイプを有する。代替的な符号化単位タイプは、ランダムアクセスポイント（ＲＡＰ）符号化タイプである。代替的な符号化単位タイプは、ランダムアクセスポイント（ＲＡＰ）符号化タイプ以外の符号化タイプである。すなわち、代替符号化単位型が特定され、同一の代替的な符号化単位タイプを有するビデオ符号化単位がマージされ、従って、マージ効率が適切に向上する。

本出願の実施例によると、所定のビデオ符号化単位の各々は、所定のビデオ符号化単位の各々が内部に存在するアクセス単位が関連付されるピクチャの異なる領域に関連付けられる。ビデオデータストリームのパラメータセット単位は、ピクチャのシーケンス、１つのピクチャ又は１つのピクチャからのスライスのセットをカバーする範囲を有する。パラメータセット単位は、ビデオデータストリームのプロファイルに固有の方法で、代替的な符号化単位タイプを示す。すなわち、スライスを効率的にマージすることができ、従って、符号化効率を向上させることができる。

本出願の実施例によると、ビデオデータストリームのパラメータセット単位は、ピクチャの順序をカバーする範囲を有するパラメータセット単位、又は、アクセス単位に関連する１つ以上のピクチャをカバーする範囲を有するアクセス単位デリミッタの何れかである。すなわち、ピクチャの順序が適切に示され、従って、レンダリングが必要とされるピクチャを効率的に復号化することができる。

本出願の実施例によると、パラメータセット単位は、ビデオデータストリームにおける代替的な符号化単位タイプを示し、所定のビデオ符号化単位が、ビデオを復号化するためのリフレッシュされたビデオシーケンスの開始点、例えば、ＲＡＰタイプとして使用されるか、すなわち、即時的復号化リフレッシュ（ＩＤＲ）を含むか、又は、ビデオを復号化するためのビデオシーケンスの連続的開始点、例えば、非ＲＡＰタイプとして使用されるか、すなわち、ＩＤＲを含まないかを示す。すなわち、パラメータセット単位を用いることによって、符号化単位がビデオシーケンスの最初のピクチャであるか否かを示すことができる。

本出願の実施例によると、ビデオデータストリームからの複数のピクチャを含むビデオを、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位からの各ピクチャを復号化することによって、復号化するように構成されるビデオデコーダであって、各ビデオ符号化単位は、ピクチャブロックパーティショニングデータ、ブロック関連予測パラメータ及び予測残差データを搬送し、所定のビデオ符号化単位の各々が内部に存在するアクセス単位が関連するピクチャの異なる領域に関連付けされ、所定のビデオ符号化単位の各々から、１つ以上のシンタックス要素のｎ項セット、例えば、各々が２項であり、ペアが４項である２つのフラグなどから、マップ（２００）を読み、例えば、当該マッピングはデフォルトで固定されてもよく、あるいは、それは、１つ以上のシンタックス要素のｎ項セットを、３つのバイナリ特性などの値域を１つ以上の特性のｍ項セットに分割することによって、データストリームにおいて通知され、従って、各々はトリプレットが８項になるように２項であり、各特性は所定のビデオ符号化単位における対応するデータと重複する方法で記述し、すなわち、特性は、所定のビデオ符号化単位が内部に存在するアクセス単位が関連付けされるピクチャに関してビデオデータストリームにビデオがどのように符号化されるかに関して、より深い符号化データを調べることから推定されてもよく（ｍ＞ｎ）、あるいは、所定のビデオ符号化単位の各々から、各々が２項であるＮ＝２のフラグ（Ｎ＞０）などのＮ個のシンタックス要素（２１０）を読み、ビデオデータストリームから関連情報を読み、関連情報に応じて関連する特性の変数としてそれらを扱うなど、Ｎ個のシンタックス要素の各々をＭ個の特性の１つに関する情報と関連付けし、例えば、Ｍ＝３個のバイナリ特性の各々は２項→であり、関連情報は、３個、すなわち、

個の特性から２個と２つのフラグとを関連付ける３つの可能性を有し、各特性は、所定のビデオ符号化単位が内部に存在するアクセス単位が関連付けされるピクチャに関してビデオがどのようにビデオデータストリームに符号化されるかに関して所定のビデオ符号化単位における対応するデータと重複した方法で記述する（Ｍ＞Ｎ）。すなわち、例えば、ビデオデータストリーム状態、すなわち、ビデオがアクセス単位におけるピクチャに関してビデオデータストリームにどのように符号化されるかが、マップ及びフラグによって示され、更なる情報を効率的に提供することができる。

本出願の実施例によると、マップは、パラメータセット単位に含まれ、マッピングされた特性の位置を示す。マップは、データストリームにおいて通知され、マッピングされた特性の位置を示す。Ｎ個のシンタックス要素が、特性の有無を示す。すなわち、フラグとマッピングとを組み合わせて、パラメータセットにおいてフラグを示すフレキシビリティがある。

本出願の実施形態によると、ビデオエンコーダは、各ピクチャを、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位に各ピクチャを符号化することによって、複数のピクチャを有するビデオをビデオデータストリームに符号化し、ビデオデータストリームのパラメータセット単位における代替的な符号化単位タイプを示し、所定の各ビデオ符号化単位について、各ビデオ符号化単位の符号化単位タイプ識別子（１００）をビデオデータストリームに符号化するよう構成され、符号化単位識別子は、１つ以上の符号化単位タイプの第１のサブセット（１０２）から、又は符号化単位タイプの第２のサブセット（１０４）から符号化単位タイプを識別し、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、代替的な符号化単位タイプに帰属されるべきであり、符号化単位識別子が、符号化単位タイプの第２のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、符号化単位識別子によって識別される符号化単位タイプの第２のサブセットのうちの符号化単位タイプに帰属されるべきであり、代替的な符号化単位タイプは、ＲＡＰタイプであり、ビデオエンコーダは、ＲＡＰピクチャのビデオ符号化単位を所定のビデオ符号化単位として識別し、例えば、ＲＡＰタイプを識別する非ＲＡＰピクチャの純粋にイントラ符号化されたビデオ符号化単位のための符号化単位タイプ識別子を直接符号化するよう構成される。すなわち、符号化単位タイプは、ビデオデータストリームのパラメータセット単位において示され、従って、符号化効率を向上させることができ、すなわち、各セグメントをＩＤＲピクチャによって符号化する必要はない。

本出願の実施例によると、ビデオコンポーザは、複数のピクチャを含むビデオが符号化されたビデオデータストリームを構成し、各ピクチャは、ピクチャが分割される各タイルに対して１つ以上のビデオ符号化単位が各ピクチャに関連付けされるビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位内にあり、非ＲＡＰタイプを示すようＲＡＰタイプを示すことから、ビデオデータストリームのパラメータセット単位における代替的な符号化単位タイプを変更し、ビデオデータストリームに符号化される識別子（１００）である符号化単位タイプがＲＡＰピクチャを識別する排他的に符号化されたビデオ符号化単位をビデオデータストリームのピクチャにおいて識別し、ビデオデータストリームの所定の各ビデオ符号化ユニットについて、符号化単位タイプであるビデオデータストリームに符号化される各ビデオ符号化単位の識別子（１００）は、１つ以上の符号化単位タイプの第１のサブセット（１０２）から、又は符号化単位タイプの第２のサブセット（１０４）から符号化単位タイプを識別し、ここで、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、代替的な符号化単位タイプに帰属されるべきであり、符号化単位識別子が、符号化単位タイプの第２のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、符号化単位識別子によって識別される符号化単位タイプの第２のサブセット（１０４）からの符号化単位タイプに帰属されるべきである。ビデオ符号化単位のタイプは、識別子を利用することによって識別され、符号化単位タイプの第１及び第２のサブセット、及び、例えば、複数のタイルによって構成されるビデオのピクチャが効率的に構成される。

本出願の実施例によると、ビデオエンコーダは、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位に各ピクチャを符号化することによって、複数のピクチャを含むビデオをビデオデータストリームに符号化し、各ビデオ符号化単位は、ピクチャブロックパーティショニングデータ、ブロック関連予測パラメータ、及び予測残差データを搬送し、アクセス単位が関連し、所定の各ビデオ符号化単位が内部に存在するピクチャの異なる領域に関連付けされ、所定のビデオ符号化単位の各々に、１つ以上のシンタックス要素のｎ項セット、例えば、各々が２項である２つのフラグを示し、その結果、ペアは４項マップ（２００）であり、マッピングは、デフォルトで固定されてもよいし、あるいは、それはデータストリームにおいて通知されるか、あるいは、値の範囲を分割することによって双方が通知され、１つ以上のシンタックス要素のｎ項セットが、１つ以上の特性のｍ項セットに分割され、例えば、３つのバイナリ特性の各々は、２項であり、この結果、トリプレットは８項であり、各特性は、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、すなわち、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、特性はより深い符号化データの検査から推定されてもよく、ここで、ｍ＞ｎであるか、又は、所定のビデオ符号化単位の各々においてＮ個のシンタックス要素（２１０）を示し、例えば、Ｎ＝２のフラグの各々が２項であり（Ｎ＞０）、ビデオデータストリームへの関連付け情報を示し、すなわち、関連付け情報に応じて、関連付けられた特性の変数としてそれらを関連付け、すなわち、扱い、Ｎ個のシンタックス要素の各々が、Ｍ個の特性のうちの１つに関する情報、例えば、Ｍ＝３個のバイナリ特性のうちの１つに関する情報を有し、従って、各々が２項であり、２つのフラグを３つから２つに関連付けるための３つの可能性を有し、すなわち、

個の特性の各々は、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、Ｍ＞Ｎである。すなわち、例えば、符号化されたビデオシーケンスの各ビデオ符号化単位の特性は、フラグを利用することによって示され、従って、追加的な情報を効率的に提供することができる。

本出願の実施例によると、方法は、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位から各ピクチャを復号化することによって、ビデオデータストリームから複数のピクチャを含むビデオ復号化することと、ビデオデータストリームのパラメータセット単位から代替的な符号化単位タイプを読み出すことと、所定の各ビデオ符号化単位に対して、各符号化単位から符号化単位タイプ識別子を読み出すことと、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから又は符号化単位タイプの第２のサブセットから符号化単位タイプを識別するか否かを確認することと、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから符号化単位タイプを識別する場合、各ビデオ符号化単位を代替的な符号化単位タイプに帰属させることと、符号化単位識別子が、符号化単位識別子によって識別される符号化単位タイプの第２のサブセットから符号化単位タイプの第２のサブセットからの符号化ユニットタイプに帰属されることと、を含む。

本出願の実施例によると、方法は、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位から各ピクチャを復号化することによって、ビデオデータストリームから複数のピクチャを含むビデオを復号化することを含み、各ビデオ符号化単位は、ピクチャブロックパーティショニングデータ、ブロック関連予測パラメータ、及び予測残差データを搬送し、アクセス単位が関連し、所定の各ビデオ符号化単位が内部に存在するピクチャの異なる領域に関連付けられ、所定の各ビデオ符号化単位から、１つ以上のシンタックス要素のｎ項セットを読み、例えば、２つのフラグの各々は２項であり、従って、ペアは４項であり、マッピングは、デフォルトで固定されてもよいし、あるいは、それはデータストリームにおいて通知されるか、あるいは、値の範囲を分割することによって双方が通知され、１つ以上のシンタックス要素のｎ項セットが、１つ以上の特性のｍ項セットに分割され、例えば、３つのバイナリ特性の各々は、２項であり、この結果、トリプレットは８項であり、各特性は、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、すなわち、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、特性はより深い符号化データの検査から推定されてもよく、ここで、ｍ＞ｎであるか、又は、所定のビデオ符号化単位の各々からＮ個のシンタックス要素（２１０）を読み、例えば、Ｎ＝２のフラグの各々が２項であり（Ｎ＞０）、ビデオデータストリームへの関連付け情報を示し、すなわち、関連付け情報に応じて、関連付けられた特性の変数としてそれらを関連付け、すなわち、扱い、Ｎ個のシンタックス要素の各々が、Ｍ個の特性のうちの１つに関する情報、例えば、Ｍ＝３個のバイナリ特性のうちの１つに関する情報を有し、従って、各々が２項であり、２つのフラグを３つから２つに関連付けるための３つの可能性を有し、すなわち、

個の特性の各々は、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、Ｍ＞Ｎである。

本出願の実施例によると、方法は、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位に各ピクチャを符号化することによって、複数のピクチャを含むビデオをビデオデータストリームに符号化することと、ビデオデータストリームのパラメータセット単位内の代替的な符号化単位タイプを示すことと、所定の各ビデオ符号化単位に対して、各符号化単位タイプ識別子（１００）を定義することと、を含み、符号化単位識別子は、１つ以上の符号化単位タイプの第１のサブセット（１０２）から、又は、符号化単位タイプの第２のサブセット（１０４）から符号化単位タイプを識別し、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから符号化単位タイプを識別する場合、各ビデオ符号化単位を符号化単位タイプに帰属させ、符号化単位識別子が、符号化単位タイプの第２のサブセットから符号化単位タイプを識別する場合、符号化ユニット識別子によって識別される符号化単位タイプの第２のサブセットからの符号化単位タイプに各ビデオ符号化単位を帰属させる。

本願の実施例によると、方法は、複数のピクチャを含むビデオが符号化されたビデオデータストリームを構成し、各ピクチャは、ピクチャが分割される各タイルに対して１つ以上の符号化単位が各ピクチャに関連付けされるビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位にあり、非ＲＡＰタイプを示すためＲＡＰタイプを示すことから、ビデオデータストリームのパラメータセット単位における代替的な符号化単位タイプを変更し、ビデオデータストリームに符号化される識別子（１００）である符号化単位タイプがＲＡＰピクチャを識別する排他的に符号化されたビデオ符号化単位をビデオデータストリームのピクチャにおいて識別し、ビデオデータストリームの所定の各ビデオ符号化単位について、ビデオデータストリームに符号化された各ビデオ符号化単位の識別子（１００）は、１つ以上の符号化単位タイプの第１のサブセット（１０２）から、又は、符号化単位タイプの第２のサブセット（１０４）から符号化単位タイプを識別し、符号化単位識別子が、１つ以上の符号化単位タイプの第１のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、代替的な符号化単位タイプに帰属されるべきであり、符号化単位識別子が、符号化単位タイプの第２のサブセットから符号化単位タイプを識別する場合、所定の各ビデオ符号化単位は、符号化単位識別子によって識別される符号化単位タイプの第２のサブセットからの符号化単位タイプに帰属されるべきである。

本出願の実施例によると、方法は、各ピクチャに関連するビデオデータストリームのアクセス単位内の１つ以上のビデオ符号化単位に各ピクチャを符号化することによって、複数のピクチャを含むビデオをビデオデータストリームに符号化することを含み、各ビデオ符号化単位は、ピクチャブロックパーティショニングデータ、ブロック関連予測パラメータ、及び予測残差データを搬送し、アクセス単位が関連し、所定の各ビデオ符号化単位が内部に存在するピクチャの異なる領域に関連付けられ、所定の各ビデオ符号化単位に１つ以上のシンタックス要素のｎ項セットを示し、例えば、２つのフラグの各々は２項であり、従って、ペアは４項であり、マッピング（２００）は、デフォルトで固定されてもよいし、あるいは、それはデータストリームにおいて通知されるか、あるいは、値の範囲を分割することによって双方が通知され、１つ以上のシンタックス要素のｎ項セットが、１つ以上の特性のｍ項セット（２０）に分割され、例えば、３つのバイナリ特性の各々は、２項であり、この結果、トリプレットは８項であり、各特性は、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、すなわち、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、特性はより深い符号化データの検査から推定されてもよく、ここで、ｍ＞ｎであるか、又は、所定のビデオ符号化単位の各々からＮ個のシンタックス要素（２１０）を読み、例えば、Ｎ＝２のフラグの各々が２項であり（Ｎ＞０）、ビデオデータストリームへの関連付け情報を示し、すなわち、関連付け情報に応じて、関連付けられた特性の変数としてそれらを関連付け、すなわち、扱い、Ｎ個のシンタックス要素の各々が、Ｍ個の特性のうちの１つに関する情報、例えば、Ｍ＝３個のバイナリ特性のうちの１つに関する情報を有し、従って、各々が２項であり、２つのフラグを３つから２つに関連付けるための３つの可能性を有し、すなわち、

個の特性の各々は、アクセス単位が関連付けされ、所定のビデオ符号化単位が内部に存在するピクチャに関してビデオがビデオデータストリームにどのように符号化されるかに関して、所定のビデオ符号化単位における対応するデータと冗長な方法で記述し、Ｍ＞Ｎである。

本出願の好適な実施例が、図面に関連して以下で説明される。

以下の図に与えられる実施例が効果的に利用されうる具体例として仮想現実アプリケーションのためのクライアントおよびサーバのシステムを示す概略図を示す。 図１のシステムに適合されうる６×４のタイルにタイリングされる２つの解像度のキューブマッププロジェクションにおける３６０度のビデオの具体例を示す概略図を示す。 図２に示されるような３６０度のビデオストリーミングのためのユーザ視点及びタイル選択の具体例を示す概略図を示す。 マージング処理後のジョイントビットストリームにおける図３に示される取得されるタイルの配置（パッキング）の具体例を示す概略図を示す。 ３６０度のビデオストリーミングのための単一のタイルとしての低解像度フォールバックによるタイリングの具体例を示す概略図を示す。 タイルベースストリーミングにおけるタイル選択の具体例を示す概略図を示す。 タイル毎の不均一なＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）期間によるタイルベースストリーミングにおけるタイル選択の他の具体例を示す概略図を示す。 本出願の実施例によるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｄａｐｔｉｖｅ Ｌａｙｅｒ）ユニットヘッダの具体例を示す概略図を示す。 本出願の実施例によるＮＡＬ単位に含まれるＲＢＳＰ（Ｒｏｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）データ構造のタイプを示すテーブルの具体例を示す。 本出願の実施例によるＮＡＬ単位タイプがマッピングされることを示すシーケンスパラメータセットの具体例を示す概略図を示す。 スライスヘッダに示されるスライスの特性の具体例を示す概略図を示す。 本出願の実施例によるシーケンスパラメータセットにおけるスライスの特性を示すマップの具体例を示す概略図を示す。 本出願の実施例による図１２のシーケンスパラメータセットにおいてマップによって示される特性の具体例を示す概略図を示す。 本出願の実施例によるシンタックス構造を利用することによって示される関連付け情報の具体例を示す概略図を示す。 本出願の実施例によるシーケンスパラメータセットにおけるスライスの特性を示すマップの他の具体例を示す概略図を示す。 本出願の実施例による図１５のパラメータセットにおいてマップによって示される特性の他の具体例を示す概略図を示す。 本出願の実施例によるスライスセグメントヘッダにおけるスライスの特性を示すマップの更なる具体例を示す概略図を示す。 本出願の実施例による図１７のスライスセグメントヘッダにおいてマップによって示される特性の更なる具体例を示す概略図を示す。

以下の説明では、等しい又は等価な機能を有する等しい又は等価な要素は、等しい又は等価な参照番号によって示される。

以下の説明において、本出願の実施例のより完全な説明を提供するため、複数の詳細が記載される。しかしながら、本出願の実施例は、これらの具体的な詳細なしに実施されうることは、当業者に明らかであろう。他の例では、周知の構造及びデバイスは、本出願の実施例を曖昧にすることを避けるため、詳細にではなくブロック図形式により示される。また、以下に示す実施例の特徴は、特に断らない限り、互いに組み合わされてもよい。

序論
以下において、ここに説明される個別の態様は、個別に又は組み合わせて使用されうることに留意されたい。従って、詳細は、当該態様の他の１つに詳細を追加することなく、個別の態様の各々に追加することができる。

本開示は、ビデオデコーダ（符号化された表現に基づいてビデオ信号の復号化された表現を提供するための装置）において使用可能な特徴を明示的又は暗黙的に説明することにまた留意されたい。従って、ここに説明される特徴の何れもビデオデコーダのコンテクストにおいて利用可能である。

さらに、方法に関連してここで開示される特徴及び機能はまた、（そのような機能を実行するように構成された）装置において利用可能である。さらに、装置に関してここに開示される何れかの特徴及び機能はまた、対応する方法において利用可能である。言い換えれば、ここに開示される方法は、装置に関して説明される特徴及び機能の何れかによって補足されうる。

本出願の各種態様に関する本出願の実施例の説明の理解を容易にするため、図１は、本出願の後述される実施例が適用され、効果的に利用されうる環境の一例を示す。特に、図１は、適応ストリーミングを介してやりとりするクライアント１０及びサーバ２０から構成されるシステムを示す。例えば、クライアント１０とサーバ２０との間の通信２２に対してＨＴＴＰを介したダイナミックアダプティブストリーミング（ＤＡＳＨ）が、利用されてもよい。しかしながら、以降において概説される実施例は、ＤＡＳＨの使用に限定されるものとして解釈されるべきではなく、同様に、メディアプレゼンテーション記述（ＭＰＤ）のような用語が、ＤＡＳＨとは異なって定義されるマニフェストファイルも含むよう広義であると理解されるべきである。

図１は、仮想現実アプリケーションを実現するよう構成されるシステムを示す。すなわち、システムは、ヘッドアップディスプレイ２４を装着したユーザに、すなわち、ヘッドアップディスプレイ２４の内部ディスプレイ２６を介し、ヘッドアップディスプレイ２４の慣性センサのような内部の方位センサ３２によって例示的に測定されるヘッドアップディスプレイ２４の向きに対応する部分２８である時間的に変化する空間シーン３０からのビュー部分２８を提示するよう構成される。すなわち、ユーザに提示される部分２８は、ヘッドアップディスプレイ２４の向きに対応する空間位置の空間シーン３０の部分を形成する。図１のケースでは、時間的に変化する空間シーン３０は、全方向性ビデオ又は球面ビデオとして描かれているが、図１の説明及び後述する実施例は、フェースアクセス又はアイアクセスと仮想又は現実のプロジェクタウォールなどとの交点によって決定される部分２８の空間位置を有するビデオからの部分を提示するなど、他の例にも容易に移行可能である。さらに、センサ３２及びディスプレイ２６は、例えば、それぞれ、リモコン及び対応するテレビジョンなどの異なるデバイスによって構成されてもよく、又は、それらは、タブレット又は携帯電話機などのモバイルデバイスなどの携帯デバイスの一部であってもよい。最後に、後述する実施例の一部は、ユーザに提示される領域２８が時間的に変化する空間シーンを提示する際に、例えば、空間シーンにわたる質の不均等な分布に関連する不均一性を伴って、時間的に変化する空間シーン３０全体を常にカバーするシナリオにも適用されうることに留意されたい。

サーバ２０、クライアント１０及びサーバ２０において空間コンテンツ３０が提供される方法に関する更なる詳細が、図１に示され、以下に説明される。しかしながら、これらの詳細はまた、後述する実施例を限定するものとして扱われるべきではなく、むしろ、後述する実施例の何れかを実施する方法の具体例として役立つべきである。

特に、図１に示すように、サーバ２０は、適切にプログラムされたコンピュータ、特定用途向け集積回路などのコントローラ３６などのストレージ３４及びコントローラ３６を備えてもよい。ストレージ３４は、時間的に変化する空間シーン３０を表すメディア部分が記憶される。具体例は、図１の図に関して以下により詳細に概説される。コントローラ３６は、クライアント１０が要求したメディア部分にメディアプレゼンテーション記述を再送信することによってクライアント１０によって送信されたリクエストに応答し、クライアント１０にそれ自体の更なる情報を送信してもよい。この点に関する詳細が以下に説明される。コントローラ３６は、要求されたメディア部分をストレージ３４からフェッチしてもよい。このストレージ内において、メディアプレゼンテーション記述又はその一部などの他の情報が、サーバ２０からクライアント１０に送られる他の信号に格納されてもよい。

図１に示されるように、サーバ２０は、後者からの要求に応答してサーバ２０からクライアント１０に送られるメディア部分を修正するストリーム修正装置３８を任意選択的に更に含んでもよく、これにより、例えば、クライアント１０によってこのように検索されたメディア部分が、実際にはいくつかのメディアストリームから集約されるが、１つの関連するデコーダによって復号化可能な１つの単一のメディアストリームを形成するメディアデータストリームをクライアント１０において生じさせる。しかしながら、このようなストリーム修正装置３８の存在は任意である。

図１のクライアント１０は、クライアントデバイス又はコントローラ４０又はより多くのデコーダ４２及びリプロジェクタ４４を含むものとして例示的に示される。クライアントデバイス４０は、適切にプログラムされたコンピュータ、マイクロプロセッサ、ＦＰＧＡなどのプログラムされたハードウエアデバイス、又はアプリケーション特有集積回路などであってもよい。クライアントデバイス４０は、サーバ２０において提供される複数の４６のメディア部分のうちサーバ２０から抽出される部分を選択するための責任を想定する。このため、クライアントデバイス４０は、最初にサーバ２０からマニフェスト又はメディアプレゼンテーション説明を抽出する。同じものから、クライアントデバイス４０は、空間シーン３０の特定の必要とされる空間部分に対応する複数のメディア部分４６からメディア部分のアドレスを計算するための計算ルールを取得する。このようにして選択されたメディア部分は、各リクエストをサーバ２０に送ることによって、クライアントデバイス４０によってサーバ２０から抽出される。これらのリクエストは、計算されたアドレスを含む。

このようにしてクライエントデバイス４０によって抽出されたメディア部分は、復号化のため後者によって１つ以上のデコーダ４２に転送される。図１の例では、このように抽出及び復号化されたメディア部分は、時間的な各時間単位に対して、時間的に変化する空間シーン３０からの空間部分４８のみを表すが、既に上述したように、これは、例えば、提示されるビュー部分２８がシーン全体を常にカバーする他の態様に従って異なってもよい。リプロジェクタ４４は、任意選択的には、選択、抽出及び復号化されたメディア部分の抽出及び復号化されたシーンコンテンツから、ユーザに表示されるビュー部分２８を再投影及び切り出してもよい。このため、図１に示すように、クライアントデバイス４０は、例えば、センサ３２からのユーザ方位データに応答してビュー部分２８の空間位置を連続的に追跡及び更新し、例えば、シーン部分２８の当該現在の空間位置と、ビュー部分２８を形成する領域にマッピングされるように、抽出及び復号化されたメディアコンテンツに適用される再投影マッピングとをリプロジェクタ４４に通知してもよい。これに応じて、リプロジェクタ４４は、例えば、ディスプレイ２６上に表示されるように、正規のピクセルグリッド上へのマッピング及び補間を適用してもよい。

図１は、空間シーン３０をタイル５０上にマッピングするため立方体マッピングが使用されたケースを示す。従って、タイルは、球体の形式を有するシーン３０が投影された立方体の矩形のサブ領域として描かれる。リプロジェクタ４４は、この投影を逆にする。しかしながら、他の例も同様に適用されうる。例えば、立方投影の代わりに、トランケートされたピラミッド又はトランケーションなしのピラミッドへの投影が、利用されてもよい。さらに、図１のタイルは、空間シーン３０のカバレッジに関してオーバラップしないものとして示されるが、タイルへの分割は、相互的なタイルオーバラップを含みうる。また、以下でより詳細に概説するように、後述される１つの表現を形成する各タイルによるシーン３０のタイル５０への空間的な分割はまた、必須ではない。

従って、図１に描かれるように、空間シーン３０全体は、タイル５０に空間的に細分化される。図１の例では、立方体の６つの面の各々が、４つのタイルに細分される。例示の目的のため、タイルが列挙されている。各タイル５０に対して、サーバ２０は、図１に示すようなビデオ５２を提供する。より正確には、サーバ２０は、タイル５０毎に複数のビデオ５２を提供し、これらのビデオは品質Ｑ＃が異なる。さらに、ビデオ５２は、時間セグメント５４に時間的に細分される。全てのタイルＴ＃の全てのビデオ５２の時間セグメント５４は、サーバ２０のストレージ３４に記憶された複数のメディア部分４６の１つを形成するか、又はそれぞれ符号化される。

図１に示されるタイルベースのストリーミングの具体例でさえ、多くの変形例が可能な具体例を単に形成することが再び強調される。例えば、図１は、より高品質のシーン３０の表現に関連するメディア部分が、品質Ｑ１によりシーン３０が符号化されるメディア部分が属するタイルに一致するタイルに関連することを示唆しているように思われるが、この一致は必ずしも必要ではなく、異なる品質のタイルがシーン３０の異なるプロジェクションのタイルに対応することもある。さらに、これまで論じられていないが、図１に描かれた異なる品質レベルに対応するメディア部分は、空間分解能、信号対雑音比及び／又は時間分解能などにおいて異なってもよい。

最後に、サーバ２０からデバイス４０によって個々に抽出されうるメディア部分が、シーン３０が空間的に細分されるタイル５０に関連するタイルベースのストリーミングコンセプトとは異なって、サーバ２０において提供されるメディア部分は、あるいは、例えば、それぞれが空間的に変化するサンプリング解像度によって空間的に完全な方法でそこに符号化されたシーン３０を有するが、シーン３０における異なる空間位置での最大限のサンプリング解像度を有することもある。例えば、これは、サーバ２０においてトランケートされたピラミッド上へのシーン３０の投影に関連するセグメント５４のシーケンスを提供することによって達成することができ、トランケートされたピラミッドの先端は、相互に異なる方向に向けられ、それによって、異なる方向に向けられた解像度ピークにつながる。

さらに、任意選択的に現在のストリーム修正装置３８に関して、クライアント１０とサーバ２０がここに記載された信号をやり取りするネットワークデバイス内において、同じものがクライアント１０の一部とすることもできるし、同じものがその間に配置されてもよいことに留意されたい。

複数の符号化されたビデオビットストリームがジョイント復号化される、すなわち、ジョイントビットストリームにマージされ、以下のように単一のデコーダに供給される特定のビデオベースのアプリケーションが存在する。
・マルチパーティカンファレンス：複数の参加者からの符号化されたビデオストリームが単一のエンドポイント上で処理される。
・又は、タイルベースストリーミング：例えば、ＶＲアプリケーションにおける３６０度のタイル化されたビデオ再生

後者では、３６０度のビデオが空間的にセグメント化され、各空間部分が、図２に示すように、様々な空間解像度の複数の表現でストリーミングクライアントに提供される。図２（ａ）は高解像度タイルを示し、図２（ｂ）は低解像度タイルを示す。図２、すなわち、図２（ａ）及び（ｂ）は、２つの解像度で６×４の空間部分に分割された３６０度のビデオを投影したキューブマップを示す。簡単化のため、これらの独立した復号化可能な空間部分は、本明細書ではタイルと呼ばれる。

ユーザは、典型的には、図３（ａ）に示すように、最新技術のヘッドマウントディスプレイを使用するとき、９０×９０度の視野を表すソリッドビューポート境界８０を介し３６０度のビデオ全体を構成するタイルのサブセットのみを見る。対応するタイルは、図３（ｂ）の参照番号８２によって示され、最高解像度でダウンロードされる。

しかしながら、クライアントアプリケーションはまた、ユーザの突然の向きの変更に対処するため、図３（ｃ）の参照番号８４によって示される現在のビューポートの外側の他のタイルの表現をダウンロード及び復号化しなければならない。従って、このようなアプリケーションのクライアントは、図３（ｃ）に示すように、最高解像度の現在のビューポートをカバーするタイルと、比較的低解像度の現在のビューポートの外側のタイルとをダウンロードする一方、タイル解像度の選択はユーザの向きに常に適応される。クライアントサイドでのダウンロードの後、ダウンロードされたタイルを単一のデコーダによって処理される単一のビットストリームにマージすることは、限られた計算及び電力リソースを有する典型的なモバイルデバイスの制約に対処する手段である。図４は、上記の例のためのジョイントビットストリームにおける可能なタイル配置を示す。ジョイントビットストリームを生成するためのマージ処理は、圧縮領域処理、すなわち、符号変換によるピクセル領域上の処理を回避することによって実行される必要がある。

図４からの例は、全てのタイル（高解像度及び低解像度）が３６０度空間全体をカバーし、何れのタイルも同じ領域を繰り返しカバーしないケースを示しているが、図５に示すように、別のタイルグループ化もまた利用可能である。それは、図５（ｂ）に示すように、ビデオの低解像度部分全体を“低解像度フォールバック”レイヤとして定義し、これは、３６０度ビデオのサブセットをカバーする図５（ａ）の高解像度タイルとマージすることができる。低解像度フォールバックビデオ全体は、図５（ｃ）に示すように単一のタイルとして符号化することができ、一方、高解像度タイルは、レンダリング処理の最終段階におけるビデオの低解像度部分のオーバレイとしてレンダリングされる。

クライアントは、図６に示すように、所望される全てのタイルトラックをダウンロードすることによって、ユーザのタイル選択に従ってストリーミングセッションを開始し、ここで、クライアントは、図６（ａ）の参照番号９０によって示されるタイル０と、参照番号９２によって示されるタイル１とのセッションを開始する。ビューポートの変更がおこなわれる（すなわち、ユーザが頭を回転させて他の方向を見る）ときはいつでも、タイル選択は、次に行われる時間部分、すなわち、図６（ａ）の参照番号９４によって示されるタイル０及びタイル２において変更され、次に利用可能なセグメントにおいて、クライアントは、図６（ｂ）に示されるように、タイル２の位置を変更し、タイル０をタイル１に置き換える。全てのセグメントは、ＩＤＲ(Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャ、すなわち、予測チェーンリセットピクチャから開始される必要があり、新たなタイル選択及びタイルの位置変化について、そうでなければ、予測ミスマッチ、アーチファクト及びドリフトを引き起こすことに留意することが重要である。

各部分をＩＤＲピクチャによって符号化することは、ビットレートの点でコストがかかる。部分は、潜在的に、例えば、向き変更に迅速に反応するため、持続時間が非常に短い可能性があり、これは、図７に示されるように、変化するＩＤＲ（又はＲＡＰ：ランダムアクセスポイント）期間を用いて複数の変形例を符号化することが望ましい理由である。例えば、図７（ｂ）に示すように、時刻ｔ_１では、タイル０はすでに時刻ｔ_０のためにダウンロードされており、サーバで入手可能なＲＡＰから始まらない部分をクライアントが選択できるのと同じ位置に配置されているため、タイル０の予測チェーンを破る理由はない。

しかしながら、残りの１つの問題は、符号化されたピクチャ内のスライス（タイル）が特定の制約に従うことである。そのうちの１つは、ピクチャが、ＲＡＰ及び非ＲＡＰ ＮＡＬ単位タイプのＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔ Ｌａｙｅｒ）単位を同時に含まないかもしれないことである。従って、アプリケーションでは、上記の問題に対処するために、あまり望ましくない２つのオプションしか存在しない。第１に、クライアントは、非ＲＡＰ ＮＡＬ単位とピクチャにマージされる際、ＲＡＰピクチャのＮＡＬ単位タイプを書き換えることができる。第２に、サーバは、最初から非ＲＡＰを使用することによって、これらのピクチャのＲＡＰ特性を不明瞭にすることができる。しかしながら、これは、例えば、ファイルフォーマットパッケージングのため、これら符号化されたビデオを処理すべきシステムにおけるＲＡＰ特性の検出を妨げる。

本発明は、容易に書き換え可能なシンタックス構造を介して１つのＮＡＬ単位タイプを別のＮＡＬ単位タイプにマッピングすることを可能にするＮＡＬ単位タイプのマッピングである。

本発明の一実施例では、ＮＡＬ単位タイプは、マッピング可能として指定され、マッピングされたタイプは、例えば、ハイライトされた編集を伴うＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）仕様のドラフト６ Ｖ１４に基づいて、以下のように、パラメータセットにおいて指定される。

図８は、ＮＡＬ単位ヘッダシンタックスを示す。シンタックスｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、すなわち、識別子１００は、ＮＡＬ単位タイプ、すなわち、図９に示されるテーブルに指定されるようなＮＡＬ単位に含まれるＲＢＳＰ（Ｒｏｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）データ構造のタイプを指定する。

変数ＮａｌＵｎｉｔＴｙｐｅは、以下のように定義される。

仕様におけるシンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの全ての参照は、以下の制約と同様に、変数ＮａｌＵｎｉｔＴｙｐｅの参照と置換される。

ＮａｌＵｎｉｔＴｙｐｅの値は、ピクチャの全ての符号化されたスライスＮＡＬ単位について同じである。ピクチャ又はレイヤアクセス単位は、ピクチャ又はレイヤアクセス単位の符号化されたスライスＮＡＬ単位と同じＮＡＬ単位タイプを有するものとして参照される。すなわち、図９に示されるように、符号化単位タイプ１０２の第１のサブセットは、“ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ”１２、すなわち、“ＭＡＰ＿ＮＵＴ”及び“ＶＣＬ”をＮＡＬ単位タイプクラスとして示す。従って、符号化単位タイプの第２のサブセット１０４は、ＮＡＬ単位タイプクラスとして“ＶＣＬ”を示し、すなわち、識別子１００の数０～１５によって示されるピクチャの全ての符号化スライスＮＡＬ単位は、符号化単位タイプの第１のサブセット１０２、すなわち、ＶＣＬの符号化単位タイプの同じＮＡＬ単位タイプクラスを有する。

図１０は、参照符号１０６によって示されるようなｍａｐｐｅｄ＿ｎｕｔを含むシーケンスパラメータセットＲＢＳＰシンタックスを示し、これは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＭＡＰ＿ＮＵＴに等しいＮＡＬユニットのＮａｌＵｎｉｔＴｙｐｅを示す。

他の実施例では、ｍａｐｐｅｄ＿ｎｕｔシンタックス要素は、アクセス単位デリミタＡＵＤにおいて搬送される。

他の実施例では、ｍａｐｐｅｄ＿ｎｕｔの値はＶＣＬ ＮＡＬ単位タイプでなければならないことは、ビットストリーム適合性の要件である。

他の実施例では、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＭＡＰ＿ＮＵＴに等しいＮＡＬ単位のＮａｌＵｎｉｔＴｙｐｅのマッピングは、プロファイリング情報によって実行される。このようなメカニズムは、単一のＭＡＰ＿ＮＵＴを有する代わりにマッピング可能なＮＡＬ単位タイプ以上を有することを可能にし、シンプルなプロファイリングメカニズム又は単一のシンタックス要素ｍａｐｐｅｄ＿ｎｕｔ＿ｓｐａｃｅ＿ｉｄｃ内においてマッピング可能なＮＡＬ単位のＮＡＬＵｎｉｔＴｙｐｅｓの必要とされる解釈を示すことができる。

他の実施例では、マッピングメカニズムは、現在３２に制限されているＮＡＬ単位タイプの値域を拡張するため使用される（例えば、図１０に示されるように、それはｕ（５）であるため）。マッピングメカニズムは、必要とされるＮＡＬ単位タイプの数が、マッピング可能なＮＡＬ単位のために予約された値の数を超えない限り、何れか制限のない値を示すことができる。

一実施例では、ピクチャが代替的な符号化単位タイプのスライスと、通常の符号化単位タイプのスライス（例えば、ＶＣＬカテゴリの既存のＮＡＬ単位）とを同時に含むとき、マッピングは、効果的に同じ符号化単位タイプ特性を有するピクチャの全てのスライスを生じさせるように実行され、すなわち、代替的な符号化単位タイプは、通常の符号化タイプの非代替的なスライスの符号化単位タイプに等しい。さらに、上記の実施例は、ランダムアクセス性質を有するピクチャ、又はランダムアクセス性質を有さないピクチャにのみ成り立つ。

マージシナリオにおけるＮＡＬ単位タイプ及びＮＡＬ単位タイプの拡張性及び対応する解決策に関する説明された問題に加えて、ｏｎ－ｔｈｅ－ｆｌｙ－適応化など、ビデオに関連する情報及びビデオがどのように符号化されたかが、システム統合及び送信又は操作のために必要とされる、いくつかのビデオアプリケーションが存在する。

産業において広く利用され、明確に指定される直近数年以内に確定されたいくつかの共通の情報があり、特定のビット値がそのような目的のために利用される。その具体例は、
・ＮＡＬ単位ヘッダにおける一時的なＩＤ
・ＩＤＲ、ＣＲＡ、ＴＲＡＩＬ、・・・又はＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などを含むＮＡＬ単位タイプ
である。

しかしながら、追加的な情報が役に立ちうるいくつかのシナリオがある。広く使用されていないが、いくつかのケースでは、例えば、ＢＬＡ、サブピクチャ用の部分ＲＡＰ ＮＡＬ単位、サブレイヤ非参照ＮＡＬ単位など、いくつかの有用性が見出されている。上述の拡張性メカニズムが使用される場合、これらのＮＡＬ単位タイプのいくつかが実現可能である。しかしながら、別の方法として、スライスヘッダ内の一部のフィールドを使用することもできる。

従来、追加的な情報が、スライスの特定の特性の通知のために利用されるスライスヘッダにおいて確保されている。
・破棄可能なフラグ：符号化されたピクチャがインター予測のためのリファレンスピクチャとして利用され、レイヤ間予測のためのソースピクチャとして利用されないことを示す。
・ｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇ：階層化符号化のための出力ピクチャの導出に影響を及ぼし、上位レイヤにおいてＲＡＰに先行するピクチャが出力されない可能性がある。

近い将来のビデオコーデック規格に対して、同様のメカニズムが想定される可能性がある。しかしながら、これらのメカニズムの１つの制約は、定義されたフラグがスライスヘッダ内の特定の位置を占有することである。以下において、ＨＥＶＣにおけるこれらのフラグの利用が図１１に示される。

上述したように、このような解決策の問題は、余分なスライスヘッダビットの位置が段階的に割り当てられ、より稀な情報を利用するアプリケーションに対して、おそらくフラグが後の位置に来て、余分なビット（例えば、ＨＥＶＣの場合、“ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ”と“ｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇ”）で送信される必要があるビット数が増えるだろう。

あるいは、ＮＡＬ単位タイプのために説明された同様のメカニズムに従って、スライスヘッダの余分なスライスヘッダビットにおけるフラグのマッピングが、パラメータセットにおいて定義することができる。一例が図１２として示される。

図１２は、“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔｓ＿ｍａｐｐｉｎｇ＿ｓｐａｃｅ＿ｉｄｃ”を利用する関連付け情報を示すマップ、すなわち、スライスヘッダの余分なビットのためのマッピング空間を示す参照符号２００によって示されるマップを含むシーケンスパラメータセットの一例を示す。

図１３は、図１２の“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔｓ＿ｍａｐｐｉｎｇ＿ｓｐａｃｅ＿ｉｄｃ”２００によって示されるフラグに対するビットのマッピングを示す。図１３に示すように、バイナリ特性２０２は、所定のビデオ符号化単位における対応するデータと冗長で記述する。図１３において、３つのバイナリ特性２０２、すなわち、“０”、“１”及び“２”が示される。バイナリ特性の数は、フラグの数に応じて可変である。

他の実施例では、当該マッピングは、（例えば、図１１に示されるように）スライスヘッダにおける余分なビット内のシンタックス要素の有無を示すシンタックス構造（例えば、図１４に示される）において実行される。すなわち、例えば、図１１に示されるように、存在フラグ上の条件は、スライスヘッダ内の追加ビットにおけるシンタックス要素、すなわち、“ｎｕｍ＿ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔｓ＞ｉ”及びおよび“ｉ＜ｎｕｍ＿ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔｓ ｉ＋＋”の存在を制御する。図１１において、上述したように、追加ビット内の各シンタックス要素がスライスヘッダ内の特定の位置に配置されるが、本実施例では、シンタックス要素、例えば、“ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ”、“ｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇ”又は“ｓｌｉｃｅ＿ｒｅｓｅｒｖｅｄ＿ｆｌａｇ［ｉ］”が特定の位置を占有することは不要である。代わりに、特定の存在フラグ（例えば、図１４における“ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ”）の値に関する条件をチェックする際、第１のシンタックス要素（例えば、図１１における“ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇ”）が存在しないことが示されるとき、以下の第２のシンタックス要素は、存在するとき、スライスヘッダにおける第１のシンタックス要素の位置を取る。また、追加ビットにおけるシンタックス要素は、フラグを示すことによって、例えば、“ｓｐｓ＿ｅｘｔｒａ＿ｐｈ＿ｂｉｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］”を示すことによって、ピクチャヘッダに存在しうる。また、シンタックス構造、例えば、複数のシンタックス要素、すなわち、提示されたフラグの数は、特定の特性の存在／有無、又は追加ビットにおける提示されたシンタックス要素の数を示す。すなわち、追加ビットにおける提示された特定の特性又はシンタックス要素の数は、提示されたシンタックス要素（フラグ）の数を数えることによって示される。図１４において、各シンタックス要素の存在がフラグ２１０によって示される。すなわち、２１０における各フラグは、所定のビデオ符号化単位の特定の特性に対するスライスヘッダ指示の存在を示す。さらに、図１４に示され、図１１のスライスヘッダにおける“ｓｌｉｃｅ＿ｒｅｓｅｒｖｅｄ＿ｆｌａｇ［ｉ］”シンタックス要素に対応する更なるシンタックス“［．．．］／／追加フラグ”が、追加ビット内のシンタックス要素の存在／有無を示すプレースホルダとして使用されるか、又は追加フラグの存在／有無の指示として使用される。

他の実施例では、フラグタイプマッピングは、例えば、図１５に示すように、パラメータセットにおけるエキストラスライスヘッダビット毎に通知される。図１５に示すように、シンタックス“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔ＿ｍａｐｐｉｎｇ＿ｉｄｃ”、すなわち、マップ２００は、シーケンスパラメータセットにおいて通知され、マッピングされた特性の位置を示す。

図１６は、図１５の“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔｓ＿ｍａｐｐｉｎｇ＿ｓｐａｃｅ＿ｉｄｃ”によって示されるフラグに対するビットのマッピングを示す。すなわち、図１５に示すマップ２００に対応するバイナリ特性２０２が、図１６に示される。

他の実施例では、スライスヘッダ拡張ビットは、例えば、図１７に示すように、特定のフラグ値の組み合せを表すｉｄｃシグナリングによって置き換えられる。図１７に示されるように、マップ２００、すなわち、“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔ＿ｉｄｃ”は、スライスセグメントヘッダに示され、すなわち、マップ２００は、図１８に示されるような特性の存在を示す。

図１８は、“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔ＿ｉｄｃ”の特定の値によって表されるフラグ値、すなわち、バイナリ特性２０２が、パラメータセットにおいて通知されるか、あるいは、仕様（事前に知られる）において予め規定されるかのいずれかであることを示す。

一実施例では、“ｅｘｔｒａ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｂｉｔ＿ｉｄｃ”の値の空間、すなわち、マップ２００の値の空間は、２つの範囲に分割される。１つの範囲は、事前に知られているフラグ値の組み合わせを表し、１つの範囲は、パラメータセットにおいて通知されるフラグ値の組み合わせを表す。

いくつかの態様が装置のコンテクストにおいて説明されたが、これらの態様は、対応する方法の説明もまた表し、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップのコンテクストにおいて説明される態様は、対応する装置の対応するブロック、アイテム又は特徴の説明もまた表す。方法ステップの一部又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ又は電子回路などのハードウェア装置によって（又は使用して）実行されてもよい。いくつかの実施例では、最も重要な方法ステップの１つ以上が、そのような装置によって実行されてもよい。

本発明のデータストリームは、デジタル記憶媒体に記憶されてもよいし、あるいは、無線伝送媒体又はインターネットのような有線伝送媒体などの伝送媒体上で伝送することができる。

特定の実装要求に応じて、本出願の実施例は、ハードウェア又はソフトウェアにより実現可能である。当該実現は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（又は協働することができる）電子的に読み取り可能な制御信号が記憶された、例えば、フロッピーディスク（登録商標）、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリなどのデジタル記憶媒体を利用して実行可能である。従って、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。

本発明によるいくつかの実施例は、ここに説明される方法の１つが実行されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。

一般に、本出願の実施例は、プログラムコードを有するコンピュータプログラムプロダクトとして実現可能であり、プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で実行されるときに方法の１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリア上に記憶されてもよい。

他の実施例は、機械可読キャリアに記憶された、ここに記載された方法の１つを実行するためのコンピュータプログラムを含む。

言い換えれば、本発明の方法の実施例は、従って、コンピュータプログラムがコンピュータ上で実行されるときに、ここに説明される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

従って、本発明の方法の更なる実施例は、ここに説明される方法の１つを実行するためのコンピュータプログラムをその上に記録して備えるデータキャリア（又はデジタル記憶媒体又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体又は記録された媒体は、典型的には、有形及び／又は非一時的である。

従って、本発明の方法の更なる実施例は、ここに記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号系列である。データストリーム又は信号系列は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

更なる実施例は、ここに記載された方法の１つを実行するように構成又は適応された、例えば、コンピュータ又はプログラマブル論理デバイスなどの処理手段を備える。

更なる実施例は、ここに記載された方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明のよる更なる実施例は、ここに記載された方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）伝達するよう構成された装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。

いくつかの実施例では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が、ここに説明される方法の機能の一部又は全てを実行するため利用されてもよい。いくつかの実施例では、フィールドプログラマブルゲートアレイは、ここに説明される方法の１つを実行するため、マイクロプロセッサと連携してもよい。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。

ここに説明される装置は、ハードウェア装置を使用して、コンピュータを使用して、又はハードウェア装置とコンピュータとの組み合せを使用して実現されてもよい。

ここに説明される装置又はここに説明される装置の何れかのコンポーネントは、ハードウェア及び／又はソフトウェアで少なくとも部分的に実現されてもよい。

Claims (16)

1. マイクロプロセッサと、
   メモリと、
   を有する復号化装置であって、
   前記メモリは、前記マイクロプロセッサによって実行されると、
   ビデオデータストリームからシーケンスパラメータセット（ＳＰＳ）を受信することであって、前記ＳＰＳは複数のビットを含むＳＰＳエクストラスライスヘッダビットマップを含み、前記ＳＰＳエクストラスライスヘッダビットマップに含まれる前記複数のビットの各ビットは対応するシンタックス要素存在フラグの値を示し、各値はスライスヘッダにおける前記対応するシンタックス要素の有無を示す、受信することと、
   前記ＳＰＳからの前記ＳＰＳエクストラスライスヘッダビットマップにおける各ビットを構文解析することであって、前記ＳＰＳエクストラスライスヘッダビットマップにおける第１のビットは第１のシンタックス要素に対応し、前記第１のビットは前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第２のビットは第２のシンタックス要素に対応し、前記第２のビットは前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第２のビットは前記ＳＰＳエクストラスライスヘッダビットマップにおける前記第１のビットに続く、構文解析することと、
   前記ビデオデータストリームから前記スライスヘッダを受信することと、
   を前記復号化装置に実行させるコンピュータプログラムを有する、復号化装置。
2. 前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示す前記第１のビットと、前記スライスヘッダにおける前記第２のシンタックス要素の存在を示す前記第２のビットとに基づいて、前記第１のエクストラスライスヘッダビットを前記第２のシンタックス要素に適用することを更に含む、請求項１に記載の復号化装置。
3. 前記コンピュータプログラムは更に、前記復号化装置に前記ＳＰＳエクストラスライスヘッダビットマップに含まれるビットの数を決定させる、請求項１に記載の復号化装置。
4. 前記コンピュータプログラムは更に、前記復号化装置に前記ＳＰＳエクストラスライスヘッダビットマップに基づいて前記スライスヘッダに含まれるエクストラスライスヘッダビットの数を決定させる、請求項１に記載の復号化装置。
5. 前記コンピュータプログラムは更に、前記復号化装置に前記スライスヘッダが従属スライスに対するものでないことを決定させ、
   前記スライスヘッダから第１のエクストラスライスヘッダビットを構文解析することは、前記スライスヘッダが従属スライスに対するものでないという判定に応答して実行される、請求項１に記載の復号化装置。
6. ビデオデータストリームからシーケンスパラメータセット（ＳＰＳ）を受信することであって、前記ＳＰＳは複数のビットを含むＳＰＳエクストラスライスヘッダビットマップを含み、前記ＳＰＳエクストラスライスヘッダビットマップに含まれる前記複数のビットの各ビットは対応するシンタックス要素存在フラグの値を示し、各値はスライスヘッダにおける前記対応するシンタックス要素の有無を示す、受信することと、
   前記ＳＰＳからの前記ＳＰＳエクストラスライスヘッダビットマップにおける各ビットを構文解析することであって、前記ＳＰＳエクストラスライスヘッダビットマップにおける第１のビットは第１のシンタックス要素に対応し、前記第１のビットは前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第２のビットは第２のシンタックス要素に対応し、前記第２のビットは前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第２のビットは前記ＳＰＳエクストラスライスヘッダビットマップにおける前記第１のビットに続く、構文解析することと、
   前記ビデオデータストリームから前記スライスヘッダを受信することと、
   を有する、復号化方法。
7. 前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示す前記第１のビットと、前記スライスヘッダにおける前記第２のシンタックス要素の存在を示す前記第２のビットとに基づいて、前記第１のエクストラスライスヘッダビットを前記第２のシンタックス要素に適用することを更に含む、請求項６に記載の復号化方法。
8. 前記ＳＰＳエクストラスライスヘッダビットマップに含まれるビットの数を決定することを更に有する、請求項６に記載の復号化方法。
9. 前記ＳＰＳエクストラスライスヘッダビットマップに基づいて前記スライスヘッダに含まれるエクストラスライスヘッダビットの数を決定することを更に有する、請求項６に記載の復号化方法。
10. 前記スライスヘッダが従属スライスに対するものでないことを決定することを更に有し、
    前記スライスヘッダから第１のエクストラスライスヘッダビットを構文解析することは、前記スライスヘッダが従属スライスに対するものでないという判定に応答して実行される、請求項６に記載の復号化方法。
11. マイクロプロセッサと、
    メモリと、
    を有する符号化装置であって、
    前記メモリは、前記マイクロプロセッサによって実行されると、
    シーケンスパラメータセット（ＳＰＳ）をビデオデータストリームに符号化することであって、前記ＳＰＳは複数のビットを含むＳＰＳエクストラスライスヘッダビットマップを含み、前記ＳＰＳエクストラスライスヘッダビットマップに含まれる前記複数のビットの各ビットは対応するシンタックス要素存在フラグの値を示し、各値はスライスヘッダにおける前記対応するシンタックス要素の有無を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第１のビットは第１のシンタックス要素に対応し、前記第１のビットは前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第２のビットは第２のシンタックス要素に対応し、前記第２のビットは前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第２のビットは前記ＳＰＳエクストラスライスヘッダビットマップにおける前記第１のビットに続く、符号化することと、
    １つ以上のエクストラスライスヘッダビットのセットを含み、前記１つ以上のエクストラスライスヘッダビットのセットにおける第１であるポジションにおける第１のエクストラスライスヘッダビットを含む前記スライスヘッダを符号化することと、
    を前記符号化装置に実行させるコンピュータプログラムを有する、符号化装置。
12. 前記第１のビットは、前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記第２のビットは、前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第１のエクストラスライスヘッダビットが前記第２のシンタックス要素に適用されることを一緒に示す、請求項１１に記載の符号化装置。
13. 前記スライスヘッダは、従属スライスに対するものでなく、前記第１のエクストラスライスヘッダビットは、前記スライスヘッダが従属スライスに対するものでないことに基づいて前記スライスヘッダに含まれる、請求項１１に記載の符号化装置。
14. シーケンスパラメータセット（ＳＰＳ）をビデオデータストリームに符号化することであって、前記ＳＰＳは複数のビットを含むＳＰＳエクストラスライスヘッダビットマップを含み、前記ＳＰＳエクストラスライスヘッダビットマップに含まれる前記複数のビットの各ビットは対応するシンタックス要素存在フラグの値を示し、各値はスライスヘッダにおける前記対応するシンタックス要素の有無を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第１のビットは第１のシンタックス要素に対応し、前記第１のビットは前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記ＳＰＳエクストラスライスヘッダビットマップにおける第２のビットは第２のシンタックス要素に対応し、前記第２のビットは前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第２のビットは前記ＳＰＳエクストラスライスヘッダビットマップにおける前記第１のビットに続く、符号化することと、
    １つ以上のエクストラスライスヘッダビットのセットを含み、前記１つ以上のエクストラスライスヘッダビットのセットにおける第１であるポジションにおける第１のエクストラスライスヘッダビットを含む前記スライスヘッダを符号化することと、
    を有する、符号化方法。
15. 前記第１のビットは、前記スライスヘッダにおける前記第１のシンタックス要素の非存在を示し、前記第２のビットは、前記スライスヘッダにおける前記第２のシンタックス要素の存在を示し、前記第１のエクストラスライスヘッダビットが前記第２のシンタックス要素に適用されることを一緒に示す、請求項１４に記載の符号化方法。
16. 前記スライスヘッダは、従属スライスに対するものでなく、前記第１のエクストラスライスヘッダビットは、前記スライスヘッダが従属スライスに対するものでないことに基づいて前記スライスヘッダに含まれる、請求項１４に記載の符号化方法。
    

Images