[0017]概して、本開示は、高効率ビデオコーディング(HEVC)、アドバンストビデオコーディング(AVC)など、アドバンストビデオコーデックのコンテキストにおいて、適合ウィンドウ情報に基づいてピクチャをコーディングすることに関する。
[0018]適合ウィンドウは、概して、コーディングプロセスから出力されたコード化ビデオシーケンス中のピクチャのサンプルのウィンドウを指す。ビットストリームは、コード化ピクチャの出力領域を示すための適合ウィンドウクロッピングパラメータを与え得る。たとえば、ウィンドウは、シグナリングされたピクチャ座標を使用して指定された矩形領域であり得る。ピクチャ座標は、参照レイヤに対してシグナリングされ得る。
[0019]参照レイヤに対して指定された得られた出力領域は、再サンプリングプロセスを含む様々なプロセスのための入力として使用され得る。たとえば、再サンプリングプロセスは、出力ピクチャを計算するために、(参照レイヤに対してシグナリングされた)上、下、左、および右オフセットを含んでいる適合ウィンドウを利用し得る。
[0020](SVCとして知られる)AVCのスケーラブル拡張および(SHVCとして知られる)HEVCのスケーラブル拡張では、ビデオ情報は複数のレイヤ中で与えられ得る。最下位レベルにあるレイヤはベースレイヤとして働くことができ、最上位レベルにあるレイヤはエンハンスメントレイヤとして働くことができる。「エンハンスメントレイヤ」は「エンハンストレイヤ」と呼ばれることがあり、これらの用語は互換的に使用される。ベースレイヤは「参照レイヤ」と呼ばれることがあり、これらの用語も互換的に使用され得る。最上レイヤと最下レイヤとの間のすべてのレイヤは、エンハンスメントレイヤとベースレイヤの両方として働き得る。たとえば、中間にあるレイヤは、それの下のレイヤのためのエンハンスメントレイヤであり、同時にそれの上のレイヤのためのベースレイヤであり得る。
[0021]マルチレイヤビットストリームでは、レイヤは、異なるコーディングスキームを使用してコーディングされ得る。これは、たとえば、マルチレイヤビットストリームを形成するためにシングルレイヤがスケーリングされたときに行われ得る。たとえば、SHVCでコーディングされたエンハンスメントレイヤが、マルチレイヤビットストリームを形成するために、HEVCでコーディングされたベースレイヤと組み合わせられ得る。SHVCはHEVCのスケーラブル拡張であるので、SHVCおよびHEVCは「関連する」コーディングスキームと呼ばれることがある。しかしながら、いくつかの事例では、マルチレイヤビットストリーム中の個々のレイヤは、関連しない異なるコーディングスキームを使用してコーディングされ得る。たとえば、AVCを使用してコーディングされたベースレイヤが、SVC(AVCのスケーラブル拡張)ではなく、SHVCを使用してコーディングされたエンハンスメントレイヤと組み合わせられ得る。そのような事例では、ベースレイヤの適合ウィンドウ情報が、再サンプリングプロセスなど、様々な目的で使用するために利用可能でないことがある。したがって、参照レイヤを受信するコーデックのコーディングスキームに関連しないコーディングスキームを使用してコーディングされたベースレイヤからの適合ウィンドウ情報を送信および/または受信するためのシステムおよび方法が望まれる。そのような参照レイヤのための適合ウィンドウ情報を与えるいくつかの技術について以下で説明する。
[0022]本開示の実施形態は、マルチレイヤビットストリームのベースレイヤを使用して適合ウィンドウ情報を送信するためのシステムおよび方法を提供する。スケーラブル拡張コーディングスキームを使用するコーデックが、スケーラブル拡張コーディングスキームに対応しないベースラインコーディングスキームを使用してコーディングされたベースレイヤを受信したとき、そのコーデックにおいてベースレイヤ適合ウィンドウフラグが設定され得る。フラグは、再サンプリングされたピクチャのための配置情報を与えるベースレイヤ位置オフセットが後続することを示し得る。ビデオコーデックは、次いで、再サンプリングプロセスなどの様々なプロセスにおいて、または適合ウィンドウ情報の使用を伴う他のプロセスにおいて、そのような情報を利用し得る。
[0023]いくつかの実施形態について、HEVCおよび/またはH.264規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステムおよび方法が任意の好適なビデオコーディング規格に適用可能であり得ることを、当業者は諒解されよう。たとえば、本明細書で開示する実施形態は、以下の規格、すなわち、国際電気通信連合(ITU)電気通信標準化部門(ITU−T)H.261、国際標準化機構/国際電気標準会議(ISO/IEC)MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびスケーラブル拡張とマルチビュー拡張とを含む(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264のうちの1つまたは複数に適用可能であり得る。また、本開示で説明する技法は、将来において開発される規格の一部になり得る。言い換えれば、本開示で説明する技法は、前に開発されたビデオコーディング規格、現在開発中のビデオコーディング規格、および次のビデオコーディング規格に適用可能であり得る。
[0024]HEVCは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。HEVCにおける予測のユニットは、いくつかの前のビデオコーディング規格における予測のユニット(たとえば、マクロブロック)とは異なる。事実上、いくつかの前のビデオコーディング規格において理解されているようなマクロブロックの概念は、HEVCでは存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを与え得る、4分木スキームに基づく階層構造と置き換えられる。たとえば、HEVCスキーム内で、3つのタイプのブロック、CU、PU、および変換ユニット(TU:transform unit)が定義される。CUは領域分割の基本ユニットを指すことがある。CUはマクロブロックの概念に類似すると見なされ得るが、HEVCは、CUの最大サイズを制限せず、コンテンツ適応性を改善するために4つの等しいサイズのCUへの再帰的分割を可能にし得る。PUはインター/イントラ予測の基本ユニットと見なされ得、単一のPUは、不規則な画像パターンを効果的にコーディングするために、複数の任意の形状区分を含んでいることがある。TUは変換の基本ユニットと見なされ得る。TUは、PUとは無関係に定義され得るが、TUのサイズは、TUが属するCUのサイズに制限され得る。3つの異なる概念へのブロック構造のこの分離は、各ユニットがユニットのそれぞれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。
[0025]単に説明の目的で、本明細書で開示するいくつかの実施形態について、ビデオデータのただ2つのレイヤ(たとえば、ベースレイヤなどの下位レイヤ、およびエンハンスメントレイヤなどの上位レイヤ)を含む例を用いて説明する。ビデオデータの「レイヤ」は、概して、ビュー、フレームレート、解像度などの少なくとも1つの共通の特性を有するピクチャのシーケンスを指すことがある。たとえば、レイヤは、マルチビュービデオデータの特定のビュー(たとえば、パースペクティブ)に関連付けられたビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤに関連付けられたビデオデータを含み得る。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指すことがある。すなわち、ビデオデータのビューはビデオデータのレイヤと呼ばれることがあり、ビデオデータのレイヤはビデオデータのビューと呼ばれることがある。さらに、(マルチレイヤビデオコーダまたはマルチレイヤ符号化器復号器とも呼ばれる)マルチレイヤコーデックは、マルチビューコーデックまたはスケーラブルコーデック(たとえば、HEVCのマルチビュー拡張(MV−HEVC)、HEVCの3次元拡張(3D−HEVC)、SHVC、または別のマルチレイヤコーディング技法を使用してビデオデータを符号化および/または復号するように構成されたコーデック)を一緒に指すことがある。ビデオ符号化およびビデオ復号は両方とも、一般にビデオコーディングと呼ばれることがある。そのような例は、複数のベースレイヤおよび/またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する技法は、ブロック(たとえば、CU、PU、TU、マクロブロックなど)、スライス、フレームなど、任意の好適なビデオユニットとともに使用され得る。
ビデオコーディング規格
[0026]ビデオ画像、TV画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像符号化器から画像復号器に搬送されるべき情報の甚だしい量は、リアルタイム画像送信を不可能にするであろう。送信されるべき情報の量を低減するために、JPEG、MPEGおよびH.263規格など、いくつかの異なる圧縮方法が開発された。
[0027]ビデオコーディング規格は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびスケーラブル拡張とマルチビュー拡張とを含むITU−T H.264を含む。
[0028]さらに、ビデオコーディング規格、すなわち、HEVCが、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IEC MPEGとのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって開発された。HEVCドラフト10についての完全引用は、文書JCTVC−L1003、Brossら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ITU−T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントコラボレーティブチームオンビデオコーディング(JCT−VC:Joint Collaborative Team on Video Coding)、第12回会合:ジュネーブ、スイス、2013年1月14日〜2013年1月23日である。HEVCのマルチビュー拡張すなわちMV−HEVC、およびSHVCと称されるHEVCのスケーラブル拡張も、それぞれJCT−3V(ITU−T/ISO/IECジョイントコラボレーティブチームオン3Dビデオコーディング拡張開発)およびJCT−VCによって開発されている。
ビデオコーディングシステム
[0029]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者は諒解されたい。たとえば、本明細書に記載する態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0030]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
[0031]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語(たとえば、「第1の」、「第2の」、「第3の」など)で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの異なる要素を指すために使用されるにすぎない。
[0032]図1Aは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム10を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオ符号化器とビデオ復号器の両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。ビデオ符号化器およびビデオ復号器に加えて、本出願で説明する態様は、トランスコーダ(たとえば、ビットストリームを復号し、別のビットストリームを再符号化することができるデバイス)およびミドルボックス(たとえば、ビットストリームを変更、変換、および/または場合によっては操作することができるデバイス)など、他の関係するデバイスに拡張され得る。
[0033]図1Aに示されているように、ビデオコーディングシステム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを生成するソースデバイス12を含む。図1Aの例では、ソースデバイス12および宛先デバイス14は、別個のデバイスを構成する。ただし、ソースデバイス12および宛先デバイス14は、図1Bの例に示されているように、同じデバイス上にあるかまたはそれの一部であり得ることに留意されたい。
[0034]もう一度図1Aを参照すると、ソースデバイス12および宛先デバイス14は、それぞれ、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。様々な実施形態では、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0035]宛先デバイス14は、復号されるべき符号化ビデオデータを、リンク16を介して受信し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。図1Aの例では、リンク16は、ソースデバイス12が符号化ビデオデータをリアルタイムで宛先デバイス14に送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0036]代替的に、符号化データは出力インターフェース22から(オプションとして存在する)ストレージデバイス31に出力され得る。同様に、符号化データは、たとえば、宛先デバイス14の入力インターフェース28によってストレージデバイス31からアクセスされ得る。ストレージデバイス31は、ハードドライブ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス31は、ソースデバイス12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介してストレージデバイス31から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することができる任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、ファイル転送プロトコル(FTP)サーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、ワイヤレスローカルエリアネットワーク(WLAN)接続)、ワイヤード接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、またはその両方の組合せを含み得る。ストレージデバイス31からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。
[0037]本開示の技法はワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信(たとえば、ハイパーテキスト転送プロトコル(HTTP)上での動的適応ストリーミングなど)、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0038]図1Aの例では、ソースデバイス12は、ビデオソース18と、ビデオ符号化器20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、図1Bの例に示されているように、いわゆる「カメラフォン」または「ビデオフォン」を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0039]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオ符号化器20によって符号化され得る。符号化ビデオデータは、ソースデバイス12の出力インターフェース22を介して宛先デバイス14に送信され得る。符号化ビデオデータは、さらに(または代替として)、復号および/または再生のための宛先デバイス14または他のデバイスによる後のアクセスのためにストレージデバイス31上に記憶され得る。図1Aおよび図1Bに示されているビデオ符号化器20は、図2Aに示されているビデオ符号化器20、図2Bに示されているビデオ符号化器23、または本明細書で説明する他のビデオ符号化器を備え得る。
[0040]図1Aの例では、宛先デバイス14は、入力インターフェース28と、ビデオ復号器30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース28は、リンク16を介しておよび/またはストレージデバイス31から符号化ビデオデータを受信し得る。リンク16を介して通信された、またはストレージデバイス31上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオ復号器30などのビデオ復号器が使用するための、ビデオ符号化器20によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信された、記憶媒体上に記憶された、またはファイルサーバに記憶された符号化ビデオデータに含まれ得る。図1Aおよび図1Bに示されているビデオ復号器30は、図3Aに示されているビデオ復号器30、図3Bに示されているビデオ復号器33、または本明細書で説明する他のビデオ復号器を備え得る。
[0041]ディスプレイデバイス32は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0042]関係する態様では、図1Bは例示的なビデオコーディングシステム10’を示し、ここにおいて、ソースデバイス12および宛先デバイス14はデバイス11上にあるかまたはそれの一部である。デバイス11は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス11は、ソースデバイス12および宛先デバイス14と動作可能に通信している(オプションとして存在する)コントローラ/プロセッサデバイス13を含み得る。図1Bのビデオコーディングシステム10’およびそれの構成要素は、場合によっては図1Aのビデオコーディングシステム10およびそれの構成要素と同様である。
[0043]ビデオ符号化器20およびビデオ復号器30は、HEVCなどのビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオ符号化器20およびビデオ復号器30は、代替的にMPEG−4,Part10,AVCと呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、またはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはMPEG−2およびITU−T H.263がある。
[0044]図1Aおよび図1Bの例には示されていないが、ビデオ符号化器20およびビデオ復号器30は、それぞれオーディオ符号化器および復号器と統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0045]ビデオ符号化器20およびビデオ復号器30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適な符号化器回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオ符号化器20およびビデオ復号器30の各々は1つまたは複数の符号化器または復号器中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合符号化器/復号器の一部として統合され得る。
ビデオコーディングプロセス
[0046]上記で手短に述べたように、ビデオ符号化器20はビデオデータを符号化する。ビデオデータは1つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオ符号化器20がビデオデータを符号化するとき、ビデオ符号化器20はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと関連データとを含み得る。コード化ピクチャとは、ピクチャのコード化表現である。
[0047]ビットストリームを生成するために、ビデオ符号化器20は、ビデオデータ中の各ピクチャに対して符号化演算を実施し得る。ビデオ符号化器20がピクチャに対して符号化演算を実施するとき、ビデオ符号化器20は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット(VPS)と、シーケンスパラメータセット(SPS:sequence parameter set)と、ピクチャパラメータセット(PPS:picture parameter set)と、適応パラメータセット(APS:adaptation parameter set)と、他のシンタックス構造とを含み得る。SPSは、ピクチャの0個以上のシーケンスに適用可能なパラメータを含んでいることがある。PPSは、0個以上のピクチャに適用可能なパラメータを含んでいることがある。APSは、0個以上のピクチャに適用可能なパラメータを含んでいることがある。APS中のパラメータは、PPS中のパラメータよりも変化する可能性が高いパラメータであり得る。
[0048]コード化ピクチャを生成するために、ビデオ符号化器20は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの2次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット(LCU:largest coding unit)と呼ばれることがある。HEVCのツリーブロックは、H.264/AVCなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、1つまたは複数のコーディングユニット(CU)を含み得る。ビデオ符号化器20は、4分木区分(quadtree partitioning)を使用して、ツリーブロックのビデオブロックを、CUに関連付けられたビデオブロックに区分し得、したがって「ツリーブロック」という名前がある。
[0049]いくつかの例では、ビデオ符号化器20はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のCUを含み得る。いくつかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。
[0050]ピクチャに対して符号化演算を実施することの一部として、ビデオ符号化器20は、ピクチャの各スライスに対して符号化演算を実施し得る。ビデオ符号化器20がスライスに対して符号化演算を実施するとき、ビデオ符号化器20は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。
[0051]コード化スライスを生成するために、ビデオ符号化器20は、スライス中の各ツリーブロックに対して符号化演算を実施し得る。ビデオ符号化器20がツリーブロックに対して符号化演算を実施するとき、ビデオ符号化器20はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。
[0052]ビデオ符号化器20がコード化スライスを生成するとき、ビデオ符号化器20は、ラスタスキャン順序に従って、スライス中のツリーブロックに対して符号化演算を実施し得る(たとえば、そのツリーブロックを符号化し得る)。たとえば、ビデオ符号化器20は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオ符号化器20がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。
[0053]ラスタスキャン順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオ符号化器20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器20は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。
[0054]コード化ツリーブロックを生成するために、ビデオ符号化器20は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して4分木区分を再帰的に実施し得る。より小さいビデオブロックの各々は、異なるCUに関連付けられ得る。たとえば、ビデオ符号化器20は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し、サブブロックのうちの1つまたは複数を、4つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたCUは、それのビデオブロックが、他のCUに関連付けられたビデオブロックに区分された、CUであり得る。区分されていないCUは、それのビデオブロックが、他のCUに関連付けられたビデオブロックに区分されていない、CUであり得る。
[0055]ビットストリーム中の1つまたは複数のシンタックス要素は、ビデオ符号化器20がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。CUのビデオブロックは形状が正方形であり得る。CUのビデオブロックのサイズ(たとえば、CUのサイズ)は、8×8ピクセルから、最大64×64以上のピクセルをもつツリーブロックのビデオブロックのサイズ(たとえば、ツリーブロックのサイズ)までに及び得る。
[0056]ビデオ符号化器20は、zスキャン順序に従って、ツリーブロックの各CUに対して符号化演算を実施し得る(たとえば、各CUを符号化し得る)。言い換えれば、ビデオ符号化器20は、左上のCUと、右上のCUと、左下のCUと、次いで右下のCUとを、その順序で符号化し得る。ビデオ符号化器20が、区分されたCUに対して符号化演算を実施するとき、ビデオ符号化器20は、zスキャン順序に従って、区分されたCUのビデオブロックのサブブロックに関連付けられたCUを符号化し得る。言い換えれば、ビデオ符号化器20は、左上のサブブロックに関連付けられたCUと、右上のサブブロックに関連付けられたCUと、左下のサブブロックに関連付けられたCUと、次いで右下のサブブロックに関連付けられたCUとを、その順序で符号化し得る。
[0057]zスキャン順序に従ってツリーブロックのCUを符号化した結果として、所与のCUの上、左上、右上、左、および左下のCUは符号化されていることがある。所与のCUの下および右のCUはまだ符号化されていない。したがって、ビデオ符号化器20は、所与のCUを符号化するとき、所与のCUに隣接するいくつかのCUを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器20は、所与のCUを符号化するとき、所与のCUに隣接する他のCUを符号化することによって生成された情報にアクセスすることができないことがある。
[0058]ビデオ符号化器20が、区分されていないCUを符号化するとき、ビデオ符号化器20は、CUのために1つまたは複数の予測ユニット(PU:prediction unit)を生成し得る。CUのPUの各々は、CUのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオ符号化器20は、CUの各PUについて予測ビデオブロックを生成し得る。PUの予測ビデオブロックはサンプルのブロックであり得る。ビデオ符号化器20は、PUのための予測ビデオブロックを生成するために、イントラ予測またはインター予測を使用し得る。
[0059]ビデオ符号化器20が、PUの予測ビデオブロックを生成するためにイントラ予測を使用するとき、ビデオ符号化器20は、PUに関連付けられたピクチャの復号サンプルに基づいてPUの予測ビデオブロックを生成し得る。ビデオ符号化器20が、CUのPUの予測ビデオブロックを生成するためにイントラ予測を使用する場合、CUはイントラ予測されたCUである。ビデオ符号化器20が、PUの予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオ符号化器20は、PUに関連付けられたピクチャ以外の1つまたは複数のピクチャの復号サンプルに基づいて、PUの予測ビデオブロックを生成し得る。ビデオ符号化器20が、CUのPUの予測ビデオブロックを生成するためにインター予測を使用する場合、CUはインター予測されたCUである。
[0060]さらに、ビデオ符号化器20が、PUのための予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオ符号化器20はPUのための動き情報を生成し得る。PUのための動き情報は、PUの1つまたは複数の参照ブロックを示し得る。PUの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはPUに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、PUの参照ブロックはPUの「参照サンプル」と呼ばれることもある。ビデオ符号化器20は、PUの参照ブロックに基づいて、PUのための予測ビデオブロックを生成し得る。
[0061]ビデオ符号化器20がCUの1つまたは複数のPUのための予測ビデオブロックを生成した後、ビデオ符号化器20は、CUのPUのための予測ビデオブロックに基づいて、CUのための残差データを生成し得る。CUのための残差データは、CUのPUのための予測ビデオブロック中のサンプルと、CUの元のビデオブロック中のサンプルとの間の差を示し得る。
[0062]さらに、区分されていないCUに対して符号化演算を実施することの一部として、ビデオ符号化器20は、CUの残差データを、CUの変換ユニット(TU)に関連付けられた残差データの1つまたは複数のブロック(たとえば、残差ビデオブロック)に区分するために、CUの残差データに対して再帰的な4分木区分を実施し得る。CUの各TUは異なる残差ビデオブロックに関連付けられ得る。
[0063]ビデオ符号化器20は、TUに関連付けられた変換係数ブロック(たとえば、変換係数のブロック)を生成するために、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の2次元(2D)行列であり得る。
[0064]変換係数ブロックを生成した後、ビデオ符号化器20は、変換係数ブロックに対して量子化プロセスを実施し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にnビットの変換係数がmビットの変換係数に切り捨てられることがあり、ここで、nはmよりも大きい。
[0065]ビデオ符号化器20は、各CUを量子化パラメータ(QP:quantization parameter)値に関連付け得る。CUに関連付けられたQP値は、ビデオ符号化器20が、CUに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオ符号化器20は、CUに関連付けられたQP値を調整することによって、CUに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。
[0066]ビデオ符号化器20が変換係数ブロックを量子化した後、ビデオ符号化器20は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオ符号化器20は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング(CABAC:Context Adaptive Binary Arithmetic Coding)演算などのエントロピー符号化演算を適用し得る。コンテキスト適応型可変長コーディング(CAVLC:context-adaptive variable-length coding)、確率間隔区分エントロピー(PIPE:probability interval partitioning entropy)コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。
[0067]ビデオ符号化器20によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ(NAL:Network Abstraction Layer)ユニットを含み得る。NALユニットの各々は、NALユニット中のデータのタイプの指示と、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。たとえば、NALユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足エンハンスメント情報(SEI:supplemental enhancement information)、アクセスユニット区切り文字、フィラーデータ、または別のタイプのデータを表すデータを含んでいることがある。NALユニット中のデータは様々なシンタックス構造を含み得る。
[0068]ビデオ復号器30は、ビデオ符号化器20によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオ符号化器20によって符号化されたビデオデータのコード化表現を含み得る。ビデオ復号器30がビットストリームを受信するとき、ビデオ復号器30は、ビットストリームに対してパース演算を実施し得る。ビデオ復号器30がパース演算を実施するとき、ビデオ復号器30は、ビットストリームからシンタックス要素を抽出し得る。ビデオ復号器30は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオ符号化器20によって実施されるプロセスとは逆であり得る。
[0069]ビデオ復号器30がCUに関連付けられたシンタックス要素を抽出した後、ビデオ復号器30は、シンタックス要素に基づいて、CUのPUのための予測ビデオブロックを生成し得る。さらに、ビデオ復号器30は、CUのTUに関連付けられた変換係数ブロックを逆量子化し得る。ビデオ復号器30は、CUのTUに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実施し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオ復号器30は、予測ビデオブロックと残差ビデオブロックとに基づいて、CUのビデオブロックを再構成し得る。このようにして、ビデオ復号器30は、ビットストリーム中のシンタックス要素に基づいて、CUのビデオブロックを再構成し得る。
ビデオ符号化器
[0070]図2Aは、本開示で説明する態様による技法を実装し得るビデオ符号化器20の一例を示すブロック図である。ビデオ符号化器20は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ符号化器20は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオ符号化器20の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。
[0071]説明の目的で、本開示では、HEVCコーディングのコンテキストにおいてビデオ符号化器20について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図2Aに示された例はシングルレイヤコーデックのためのものである。しかしながら、図2Bに関してさらに説明するように、ビデオ符号化器20の一部または全部はマルチレイヤコーデックの処理のために複製され得る。
[0072]ビデオ符号化器20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実施し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオ中の時間冗長性を低減または削除するために、時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指すことがある。
[0073]図2Aの例では、ビデオ符号化器20は複数の機能構成要素を含む。ビデオ符号化器20の機能構成要素は、予測処理ユニット100と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換ユニット110と、再構成ユニット112と、フィルタユニット113と、復号ピクチャバッファ114と、エントロピー符号化ユニット116とを含む。予測処理ユニット100は、インター予測ユニット121と、動き推定ユニット122と、動き補償ユニット124と、イントラ予測ユニット126と、レイヤ間予測ユニット128とを含む。他の例では、ビデオ符号化器20は、より多数の、より少数の、または異なる機能構成要素を含み得る。さらに、動き推定ユニット122と動き補償ユニット124とは、高度に統合され得るが、図2Aの例では、説明の目的で別々に表されている。
[0074]ビデオ符号化器20はビデオデータを受信し得る。ビデオ符号化器20は、様々なソースからビデオデータを受信し得る。たとえば、ビデオ符号化器20は、(たとえば、図1Aまたは図1Bに示された)ビデオソース18、または別のソースからビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオ符号化器20は、ピクチャの各々に対して符号化演算を実施し得る。ピクチャに対して符号化演算を実施することの一部として、ビデオ符号化器20は、ピクチャの各スライスに対して符号化演算を実施し得る。スライスに対して符号化演算を実施することの一部として、ビデオ符号化器20は、スライス中のツリーブロックに対して符号化演算を実施し得る。
[0075]ツリーブロックに対して符号化演算を実施することの一部として、予測処理ユニット100は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して4分木区分を実施し得る。より小さいビデオブロックの各々は、異なるCUに関連付けられ得る。たとえば、予測処理ユニット100は、ツリーブロックのビデオブロックを4つの等しいサイズのサブブロックに区分し、サブブロックの1つまたは複数を、4つの等しいサイズのサブサブブロックに区分し得、以下同様である。
[0076]CUに関連付けられたビデオブロックのサイズは、8×8サンプルから、最大64×64以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「N×N(NxN)」および「N×N(N by N)」は、垂直寸法および水平寸法に関するビデオブロックのサンプル寸法、たとえば、16×16(16x16)サンプルまたは16×16(16 by 16)サンプルを指すために互換的に使用され得る。概して、16×16ビデオブロックは、垂直方向に16個のサンプルを有し(y=16)、水平方向に16個のサンプルを有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN個のサンプルを有し、水平方向にN個のサンプルを有し、ここで、Nは非負整数値を表す。
[0077]さらに、ツリーブロックに対して符号化演算を実施することの一部として、予測処理ユニット100は、ツリーブロックのための階層的な4分木データ構造を生成し得る。たとえば、ツリーブロックは、4分木データ構造のルートノードに対応し得る。予測処理ユニット100が、ツリーブロックのビデオブロックを4つのサブブロックに区分する場合、ルートノードは、4分木データ構造中に4つの子ノードを有する。子ノードの各々は、サブブロックのうちの1つに関連付けられたCUに対応する。予測処理ユニット100が、サブブロックのうちの1つを4つのサブサブブロックに区分する場合、サブブロックに関連付けられたCUに対応するノードは、サブサブブロックのうちの1つに関連付けられたCUに各々が対応する、4つの子ノードを有し得る。
[0078]4分木データ構造の各ノードは、対応するツリーブロックまたはCUのシンタックスデータ(たとえば、シンタックス要素)を含み得る。たとえば、4分木の中のノードは、そのノードに対応するCUのビデオブロックが4つのサブブロックに区分される(たとえば、分割される)かどうかを示す分割フラグを含み得る。CUのためのシンタックス要素は、再帰的に定義され得、CUのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないCUは、4分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロックのための4分木データ構造に基づくデータを含み得る。
[0079]ビデオ符号化器20は、ツリーブロックの区分されていない各CUに対して符号化演算を実施し得る。ビデオ符号化器20が、区分されていないCUに対して符号化演算を実施するとき、ビデオ符号化器20は、区分されていないCUの符号化表現を表すデータを生成する。
[0080]CUに対して符号化演算を実施することの一部として、予測処理ユニット100は、CUの1つまたは複数のPUの中で、CUのビデオブロックを区分し得る。ビデオ符号化器20およびビデオ復号器30は、様々なPUサイズをサポートし得る。特定のCUのサイズが2N×2Nであると仮定すると、ビデオ符号化器20およびビデオ復号器30は、2N×2NまたはN×NのPUサイズと、2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N、または同様の対称PUサイズでのインター予測とをサポートし得る。ビデオ符号化器20およびビデオ復号器30は、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズに対する非対称区分をもサポートし得る。いくつかの例では、予測処理ユニット100は、CUのビデオブロックの辺に直角に接触しない境界に沿って、CUのPUの間でCUのビデオブロックを区分するように、幾何学的な区分を実施し得る。
[0081]インター予測ユニット121はCUの各PUに対してインター予測を実施し得る。インター予測は時間圧縮を実現し得る。PUに対してインター予測を実施するために、動き推定ユニット122はPUのための動き情報を生成し得る。動き補償ユニット124は、動き情報と、CUに関連付けられたピクチャ以外のピクチャ(たとえば、参照ピクチャ)の復号サンプルとに基づくPUのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット124によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。
[0082]スライスは、Iスライス、Pスライス、またはBスライスであり得る。動き推定ユニット122および動き補償ユニット124は、PUがIスライス中にあるか、Pスライス中にあるか、Bスライス中にあるかに応じて、CUのPUに対して異なる演算を実施し得る。Iスライス中では、すべてのPUがイントラ予測される。したがって、PUがIスライス中にある場合、動き推定ユニット122および動き補償ユニット124は、PUに対してインター予測を実施しない。
[0083]PUがPスライス中にある場合、PUを含んでいるピクチャは、「リスト0」と呼ばれる参照ピクチャのリストに関連付けられる。リスト0中の参照ピクチャの各々は、他のピクチャのインター予測に使用され得るサンプルを含んでいる。動き推定ユニット122が、Pスライス中のPUに関して動き推定演算を実施するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得る。PUの参照ブロックは、PUのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット122は、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリクスを使用し得る。たとえば、動き推定ユニット122は、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にPUのビデオブロック中のサンプルに対応するかを決定し得る。
[0084]Pスライス中のPUの参照ブロックを識別した後、動き推定ユニット122は、参照ブロックを含んでいる、リスト0中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット122は動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット122は、1/4サンプル精度、1/8サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって識別された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0085]PUがBスライス中にある場合、PUを含んでいるピクチャは、「リスト0」および「リスト1」と呼ばれる参照ピクチャの2つのリストに関連付けられ得る。いくつかの例では、Bスライスを含んでいるピクチャは、リスト0とリスト1の組合せである、リストの組合せに関連付けられ得る。
[0086]さらに、PUがBスライス中にある場合、動き推定ユニット122は、PUについての単方向予測または双方向予測を実施し得る。動き推定ユニット122が、PUについての単方向予測を実施するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0またはリスト1の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含んでいる、リスト0またはリスト1中の参照ピクチャを示す参照インデックスと、PUと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト0中の参照ピクチャを示すのか、リスト1中の参照ピクチャを示すのかを示し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0087]動き推定ユニット122が、PUについての双方向予測を実施するとき、動き推定ユニット122は、PUのための参照ブロックについて、リスト0中の参照ピクチャを探索し得、また、PUのための別の参照ブロックについて、リスト1中の参照ピクチャを探索し得る。動き推定ユニット122は、次いで、参照ブロックを含んでいる、リスト0およびリスト1中の参照ピクチャを示す参照インデックスと、参照ブロックとPUとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット122は、PUの動き情報としてPUの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット124は、PUの動き情報によって示された参照ブロックに基づいて、PUの予測ビデオブロックを生成し得る。
[0088]いくつかの例では、動き推定ユニット122は、PUのための動き情報のフルセットをエントロピー符号化ユニット116に出力しない。そうではなく、動き推定ユニット122は、別のPUの動き情報を参照して、PUの動き情報をシグナリングし得る。たとえば、動き推定ユニット122は、PUの動き情報が、隣接PUの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、PUが隣接PUと同じ動き情報を有することをビデオ復号器30に示す値を示し得る。別の例では、動き推定ユニット122は、PUに関連付けられたシンタックス構造において、隣接PUと動きベクトル差分(MVD:motion vector difference)とを識別し得る。動きベクトル差分は、PUの動きベクトルと、示された隣接PUの動きベクトルとの間の差分を示す。ビデオ復号器30は、PUの動きベクトルを決定するために、示された隣接PUの動きベクトルと、動きベクトル差分とを使用し得る。第2のPUの動き情報をシグナリングするときに第1のPUの動き情報を参照することによって、ビデオ符号化器20は、より少数のビットを使用して、第2のPUの動き情報をシグナリングすることが可能であり得る。
[0089]CUに対して符号化演算を実施することの一部として、イントラ予測ユニット126は、CUのPUに対してイントラ予測を実施し得る。イントラ予測は空間圧縮を実現し得る。イントラ予測ユニット126がPUに対してイントラ予測を実施するとき、イントラ予測ユニット126は、同じピクチャ中の他のPUの復号サンプルに基づいて、PUのための予測データを生成し得る。PUのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット126は、Iスライス、Pスライス、およびBスライス中のPUに対してイントラ予測を実施し得る。
[0090]PUに対してイントラ予測を実施するために、イントラ予測ユニット126は、PUのための予測データの複数のセットを生成するために複数のイントラ予測モードを使用し得る。イントラ予測ユニット126が、PUのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット126は、イントラ予測モードに関連付けられた方向および/または勾配で、隣接PUのビデオブロックからPUのビデオブロックにわたって、サンプルを延ばし得る。隣接PUは、PU、CU、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、PUの上、右上、左上、または左にあり得る。イントラ予測ユニット126は、PUのサイズに応じて、様々な数のイントラ予測モード、たとえば、33個の方向性イントラ予測モードを使用し得る。
[0091]予測処理ユニット100は、PUについての、動き補償ユニット124によって生成された予測データ、またはPUについての、イントラ予測ユニット126によって生成された予測データの中から、PUのための予測データを選択し得る。いくつかの例では、予測処理ユニット100は、予測データのセットのレート/ひずみメトリックに基づいて、PUのための予測データを選択する。
[0092]予測処理ユニット100が、イントラ予測ユニット126によって生成された予測データを選択する場合、予測処理ユニット100は、PUのための予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット100は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接PUのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接PUのイントラ予測モードは現在PUに対して最確モードであり得る。したがって、予測処理ユニット100は、選択されたイントラ予測モードが隣接PUのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。
[0093]上記で説明したように、ビデオ符号化器20はレイヤ間予測ユニット128を含み得る。レイヤ間予測ユニット128は、SHVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して、現在ブロック(たとえば、EL中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット128は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。
[0094]予測処理ユニット100がCUのPUのための予測データを選択した後、残差生成ユニット102は、CUのビデオブロックからCUのPUの予測ビデオブロックを差し引くこと(たとえば、マイナス符号によって示される)によって、CUのための残差データを生成し得る。CUの残差データは、CUのビデオブロック中のサンプルの異なるサンプル成分に対応する、2D残差ビデオブロックを含み得る。たとえば、残差データは、CUのPUの予測ビデオブロック中のサンプルのルミナンス成分と、CUの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、CUの残差データは、CUのPUの予測ビデオブロック中のサンプルのクロミナンス成分と、CUの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。
[0095]予測処理ユニット100は、CUの残差ビデオブロックをサブブロックに区分するために、4分木区分を実施し得る。各分割されていない残差ビデオブロックは、CUの異なるTUに関連付けられ得る。CUのTUに関連付けられた残差ビデオブロックのサイズおよび位置は、CUのPUに関連付けられたビデオブロックのサイズおよび位置に基づくことも基づかないこともある。「残差4分木」(RQT:residual quad tree)として知られる4分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。CUのTUはRQTのリーフノードに対応し得る。
[0096]変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに1つまたは複数の変換を適用することによって、CUの各TUのための1つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は変換係数の2D行列であり得る。変換処理ユニット104は、TUに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット104は、離散コサイン変換(DCT)、方向性変換、または概念的に同様の変換を、TUに関連付けられた残差ビデオブロックに適用し得る。
[0097]変換処理ユニット104が、TUに関連付けられた変換係数ブロックを生成した後、量子化ユニット106は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット106は、CUに関連付けられたQP値に基づいて、CUのTUに関連付けられた変換係数ブロックを量子化し得る。
[0098]ビデオ符号化器20は、様々な方法でQP値をCUに関連付け得る。たとえば、ビデオ符号化器20は、CUに関連付けられたツリーブロックに対してレートひずみ分析を実施し得る。レートひずみ分析では、ビデオ符号化器20は、ツリーブロックに対して符号化演算を複数回実施することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオ符号化器20がツリーブロックの異なる符号化表現を生成するとき、ビデオ符号化器20は、異なるQP値をCUに関連付け得る。ビデオ符号化器20は、最小のビットレートおよびひずみメトリックを有するツリーブロックのコード化表現で所与のQP値がCUに関連付けられるとき、所与のQP値がCUに関連付けられることをシグナリングし得る。
[0099]逆量子化ユニット108および逆変換ユニット110は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、変換係数ブロックに逆量子化および逆変換を適用し得る。再構成ユニット112は、TUに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット100によって生成された1つまたは複数の予測ビデオブロックからの対応するサンプルに加算し得る。このようにCUの各TUのためのビデオブロックを再構成することによって、ビデオ符号化器20は、CUのビデオブロックを再構成し得る。
[0100]再構成ユニット112がCUのビデオブロックを再構成した後、フィルタユニット113は、CUに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するためにデブロッキング演算を実施し得る。1つまたは複数のデブロッキング演算を実施した後、フィルタユニット113は、CUの再構成されたビデオブロックを復号ピクチャバッファ114に記憶し得る。動き推定ユニット122および動き補償ユニット124は、後続ピクチャのPUに対してインター予測を実施するために、再構成されたビデオブロックを含んでいる参照ピクチャを使用し得る。さらに、イントラ予測ユニット126は、CUと同じピクチャの中の他のPUに対してイントラ予測を実施するために、復号ピクチャバッファ114中の再構成されたビデオブロックを使用し得る。
[0101]エントロピー符号化ユニット116は、ビデオ符号化器20の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット116は、量子化ユニット106から変換係数ブロックを受信し得、予測処理ユニット100からシンタックス要素を受信し得る。エントロピー符号化ユニット116がデータを受信するとき、エントロピー符号化ユニット116は、エントロピー符号化されたデータを生成するために、1つまたは複数のエントロピー符号化演算を実施し得る。たとえば、ビデオ符号化器20は、CAVLC演算、CABAC演算、変数間(V2V:variable-to-variable)レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)演算、確率間隔区分エントロピー(PIPE)コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実施し得る。エントロピー符号化ユニット116は、エントロピー符号化されたデータを含むビットストリームを出力し得る。
[0102]データに対してエントロピー符号化演算を実施することの一部として、エントロピー符号化ユニット116はコンテキストモデルを選択し得る。エントロピー符号化ユニット116がCABAC演算を実施している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。CABACのコンテキストでは、「ビン」という用語は、シンタックス要素の2値化されたバージョンのビットを指すために使用される。
マルチレイヤビデオ符号化器
[0103]図2Bは、本開示で説明する態様による技法を実装し得る(単にビデオ符号化器23とも呼ばれる)マルチレイヤビデオ符号化器23の別の例を示すブロック図である。ビデオ符号化器23は、SHVCおよびMV−HEVCの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ符号化器23は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。
[0104]ビデオ符号化器23はビデオ符号化器20Aとビデオ符号化器20Bとを含み、それらの各々はビデオ符号化器20として構成され得、ビデオ符号化器20に関して上記で説明した機能を実施し得る。さらに、参照番号の再利用によって示されるように、ビデオ符号化器20Aおよび20Bは、ビデオ符号化器20としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオ符号化器23は、2つのビデオ符号化器20Aおよび20Bを含むものとして示されているが、ビデオ符号化器23は、そのようなものとして限定されず、任意の数のビデオ符号化器20レイヤを含み得る。いくつかの実施形態では、ビデオ符号化器23はアクセスユニット中の各ピクチャまたはフレームについてビデオ符号化器20を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つの符号化器レイヤを含むビデオ符号化器によって処理または符号化され得る。いくつかの実施形態では、ビデオ符号化器23は、アクセスユニット中のフレームよりも多くの符号化器レイヤを含み得る。いくつかのそのような場合では、ビデオ符号化器レイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[0105]ビデオ符号化器20Aおよび20Bに加えて、ビデオ符号化器23は再サンプリングユニット90を含み得る。再サンプリングユニット90は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。再サンプリングユニット90は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。たとえば、再サンプリングユニット90は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、再サンプリングユニット90は、受信されたビデオを処理しないことがあるか、および/またはオプションであり得る。たとえば、場合によっては、予測処理ユニット100がアップサンプリングを実施し得る。いくつかの実施形態では、再サンプリングユニット90は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタスキャンルールのセットに準拠するために1つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、再サンプリングユニット90はレイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。
[0106]再サンプリングユニット90は、下位レイヤ符号化器(たとえば、ビデオ符号化器20A)の復号ピクチャバッファ114からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ符号化器と同じアクセスユニット中のピクチャを符号化するように構成された上位レイヤ符号化器(たとえば、ビデオ符号化器20B)の予測処理ユニット100に与えられ得る。場合によっては、上位レイヤ符号化器は、下位レイヤ符号化器から削除された1つのレイヤである。他の場合には、図2Bのレイヤ0ビデオ符号化器とレイヤ1符号化器との間に1つまたは複数の上位レイヤ符号化器があり得る。
[0107]場合によっては、再サンプリングユニット90は省略またはバイパスされ得る。そのような場合、ビデオ符号化器20Aの復号ピクチャバッファ114からのピクチャは、直接、または少なくとも再サンプリングユニット90に与えられることなしに、ビデオ符号化器20Bの予測処理ユニット100に与えられ得る。たとえば、ビデオ符号化器20Bに与えられたビデオデータと、ビデオ符号化器20Aの復号ピクチャバッファ114からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、再サンプリングなしにビデオ符号化器20Bに与えられ得る。
[0108]いくつかの実施形態では、ビデオ符号化器23は、ビデオ符号化器20Aにビデオデータを与える前に、ダウンサンプリングユニット94を使用して下位レイヤ符号化器に与えられるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット94は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能な再サンプリングユニット90であり得る。また他の実施形態では、ダウンサンプリングユニット94は省略され得る。
[0109]図2Bに示されているように、ビデオ符号化器23は、マルチプレクサ(またはmux)98をさらに含み得る。mux98は、ビデオ符号化器23から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオ符号化器20Aおよび20Bの各々からビットストリームを取り、所与の時間において出力されるビットストリームを交互に配置することによって作成され得る。場合によっては、2つの(または、3つ以上のビデオ符号化器レイヤの場合には、より多くの)ビットストリームからのビットが一度に1ビットずつ交互に配置され得るが、多くの場合、ビットストリームは別様に合成され得る。たとえば、出力ビットストリームは、選択されたビットストリームを一度に1ブロックずつ交互に配置することによって作成され得る。別の例では、出力ビットストリームは、ビデオ符号化器20Aおよび20Bの各々からブロックの非1:1比を出力することによって作成され得る。たとえば、ビデオ符号化器20Aから出力された各ブロックについて、2つのブロックがビデオ符号化器20Bから出力され得る。いくつかの実施形態では、mux98からの出力ストリームはプリプログラムされ得る。他の実施形態では、mux98は、ソースデバイス12を含むソースデバイス上のプロセッサからなど、ビデオ符号化器23の外部のシステムから受信された制御信号に基づいて、ビデオ符号化器20A、20Bからのビットストリームを合成し得る。制御信号は、ビデオソース18からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオ符号化器23から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。
ビデオ復号器
[0110]図3Aは、本開示で説明する態様による技法を実装し得るビデオ復号器30の一例を示すブロック図である。ビデオ復号器30は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ復号器30は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。いくつかの例では、本開示で説明する技法は、ビデオ復号器30の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。
[0111]説明の目的で、本開示では、HEVCコーディングのコンテキストにおいてビデオ復号器30について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図3Aに示された例はシングルレイヤコーデックのためのものである。しかしながら、図3Bに関してさらに説明するように、ビデオ復号器30の一部または全部はマルチレイヤコーデックの処理のために複製され得る。
[0112]図3Aの例では、ビデオ復号器30は複数の機能構成要素を含む。ビデオ復号器30の機能構成要素は、エントロピー復号ユニット150と、予測処理ユニット152と、逆量子化ユニット154と、逆変換ユニット156と、再構成ユニット158と、フィルタユニット159と、復号ピクチャバッファ160とを含む。予測処理ユニット152は、動き補償ユニット162と、イントラ予測ユニット164と、レイヤ間予測ユニット166とを含む。いくつかの例では、ビデオ復号器30は、図2Aのビデオ符号化器20に関して説明された符号化経路とは全般に逆の復号経路を実施し得る。他の例では、ビデオ復号器30は、より多数の、より少数の、または異なる機能構成要素を含み得る。
[0113]ビデオ復号器30は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオ復号器30がビットストリームを受信したとき、エントロピー復号ユニット150は、ビットストリームに対してパース演算を実施し得る。ビットストリームに対してパース演算を実施した結果として、エントロピー復号ユニット150は、ビットストリームからシンタックス要素を抽出し得る。パース演算を実施することの一部として、エントロピー復号ユニット150は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット152、逆量子化ユニット154、逆変換ユニット156、再構成ユニット158、およびフィルタユニット159は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実施し得る。
[0114]上記で説明したように、ビットストリームは、一連のNALユニットを備え得る。ビットストリームのNALユニットは、ビデオパラメータセットNALユニット、シーケンスパラメータセットNALユニット、ピクチャパラメータセットNALユニット、SEI NALユニットなどを含み得る。ビットストリームに対してパース演算を実施することの一部として、エントロピー復号ユニット150は、シーケンスパラメータセットNALユニットからのシーケンスパラメータセット、ピクチャパラメータセットNALユニットからのピクチャパラメータセット、SEI NALユニットからのSEIデータなどを抽出し、エントロピー復号する、パース演算を実施し得る。
[0115]さらに、ビットストリームのNALユニットはコード化スライスNALユニットを含み得る。ビットストリームに対してパース演算を実施することの一部として、エントロピー復号ユニット150は、コード化スライスNALユニットからコード化スライスを抽出し、エントロピー復号する、パース演算を実施し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット150は、スライスヘッダを再構成するために、コード化されたスライスヘッダ中のシンタックス要素に対して、CABAC復号演算などのエントロピー復号演算を実施し得る。
[0116]コード化スライスのNALユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット150は、スライスデータ中のコード化CUからシンタックス要素を抽出するパース演算を実施し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット150は、次いで、シンタックス要素のうちのいくつかに対してCABAC復号演算を実施し得る。
[0117]エントロピー復号ユニット150が区分されていないCUに対してパース演算を実施した後、ビデオ復号器30は、区分されていないCUに対して再構成演算を実施し得る。区分されていないCUに対して再構成演算を実施するために、ビデオ復号器30はCUの各TUに対して再構成演算を実施し得る。CUの各TUについて再構成演算を実施することによって、ビデオ復号器30は、CUに関連付けられた残差ビデオブロックを再構成し得る。
[0118]TUに対して再構成演算を実施することの一部として、逆量子化ユニット154は、TUに関連付けられた変換係数ブロックを逆量子化(inverse quantize)、たとえば、逆量子化(de-quantize)し得る。逆量子化ユニット154は、HEVCのために提案された、またはH.264復号規格によって定義された逆量子化プロセスと同様の方式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット154は、量子化の程度を決定し、同様に、逆量子化ユニット154が適用すべき逆量子化の程度を決定するために、変換係数ブロックのCUのためにビデオ符号化器20によって計算される量子化パラメータQPを使用し得る。
[0119]逆量子化ユニット154が変換係数ブロックを逆量子化した後、逆変換ユニット156は、変換係数ブロックに関連付けられたTUのための残差ビデオブロックを生成し得る。逆変換ユニット156は、TUのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット156は、変換係数ブロックに、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT:Karhunen-Loeve transform)、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット156は、ビデオ符号化器20からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット156は、変換係数ブロックに関連付けられたツリーブロックの4分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット156は、ブロックサイズ、コーディングモードなど、1つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換ユニット156はカスケード逆変換を適用し得る。
[0120]いくつかの例では、動き補償ユニット162は、補間フィルタに基づく補間を実施することによって、PUの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット162は、参照ブロックのサブ整数サンプルについての補間値を計算するために、PUの予測ビデオブロックの生成中にビデオ符号化器20によって使用された同じ補間フィルタを使用し得る。動き補償ユニット162は、受信されたシンタックス情報に従って、ビデオ符号化器20によって使用された補間フィルタを決定し、予測ビデオブロックを生成するために、その補間フィルタを使用し得る。
[0121]PUが、イントラ予測を使用して符号化される場合、イントラ予測ユニット164は、PUのための予測ビデオブロックを生成するためにイントラ予測を実施し得る。たとえば、イントラ予測ユニット164は、ビットストリーム中のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定し得る。ビットストリームは、PUのイントラ予測モードを決定するためにイントラ予測ユニット164が使用し得るシンタックス要素を含み得る。
[0122]いくつかの事例では、シンタックス要素は、イントラ予測ユニット164が、現在PUのイントラ予測モードを決定するために、別のPUのイントラ予測モードを使用すべきであることを示し得る。たとえば、現在PUのイントラ予測モードは隣接PUのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接PUのイントラ予測モードは現在PUに対して最確モードであり得る。したがって、この例では、ビットストリームは、PUのイントラ予測モードが隣接PUのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット164は、次いで、空間的に隣接するPUのビデオブロックに基づいてPUの予測データ(たとえば、予測サンプル)を生成するために、イントラ予測モードを使用し得る。
[0123]上記で説明したように、ビデオ復号器30もレイヤ間予測ユニット166を含み得る。レイヤ間予測ユニット166は、SHVCにおいて利用可能である1つまたは複数の異なるレイヤ(たとえば、ベースレイヤまたは参照レイヤ)を使用して、現在ブロック(たとえば、エンハンスメントレイヤ中の現在ブロック)を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット166は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測スキームの各々について、以下でより詳細に説明する。
[0124]再構成ユニット158は、CUのビデオブロックを再構成するために、適用可能なとき、CUのTUに関連付けられた残差ビデオブロックと、CUのPUの予測ビデオブロック、たとえば、イントラ予測データまたはインター予測データのいずれかとを使用し得る。したがって、ビデオ復号器30は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。
[0125]再構成ユニット158がCUのビデオブロックを再構成した後、フィルタユニット159は、CUに関連付けられたブロッキングアーティファクトを低減するために、デブロッキング演算を実施し得る。フィルタユニット159が、CUに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実施した後、ビデオ復号器30はCUのビデオブロックを復号ピクチャバッファ160に記憶し得る。復号ピクチャバッファ160は、後続の動き補償、イントラ予測、および図1Aまたは図1Bのディスプレイデバイス32などのディスプレイデバイス上での提示のために、参照ピクチャを与え得る。たとえば、ビデオ復号器30は、復号ピクチャバッファ160中のビデオブロックに基づいて、他のCUのPUに対してイントラ予測演算またはインター予測演算を実施し得る。
マルチレイヤ復号器
[0126]図3Bは、本開示で説明する態様による技法を実装し得る(単にビデオ復号器33とも呼ばれる)マルチレイヤビデオ復号器33の別の例を示すブロック図である。ビデオ復号器33は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ復号器33は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。
[0127]ビデオ復号器33はビデオ復号器30Aとビデオ復号器30Bとを含み、それらの各々はビデオ復号器30として構成され得、ビデオ復号器30に関して上記で説明した機能を実施し得る。さらに、参照番号の再利用によって示されるように、ビデオ復号器30Aおよび30Bは、ビデオ復号器30としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオ復号器33は、2つのビデオ復号器30Aおよび30Bを含むものとして示されているが、ビデオ復号器33は、そのようなものとして限定されず、任意の数のビデオ復号器30レイヤを含み得る。いくつかの実施形態では、ビデオ復号器33はアクセスユニット中の各ピクチャまたはフレームについてビデオ復号器30を含み得る。たとえば、5つのピクチャを含むアクセスユニットは、5つの復号器レイヤを含むビデオ復号器によって処理または復号され得る。いくつかの実施形態では、ビデオ復号器33は、アクセスユニット中のフレームよりも多くの復号器レイヤを含み得る。いくつかのそのような場合では、ビデオ復号器レイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。
[0128]ビデオ復号器30Aおよび30Bに加えて、ビデオ復号器33はアップサンプリングユニット92を含み得る。いくつかの実施形態では、アップサンプリングユニット92は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは復号ピクチャバッファ160に記憶され得る。いくつかの実施形態では、アップサンプリングユニット92は、図2Aの再サンプリングユニット90に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット92は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタスキャンルールのセットに準拠するために1つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。場合によっては、アップサンプリングユニット92は、受信されたビデオフレームのレイヤをアップサンプリングおよび/またはダウンサンプリングするように構成された再サンプリングユニットであり得る。
[0129]アップサンプリングユニット92は、下位レイヤ復号器(たとえば、ビデオ復号器30A)の復号ピクチャバッファ160からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ復号器と同じアクセスユニット中のピクチャを復号するように構成された上位レイヤ復号器(たとえば、ビデオ復号器30B)の予測処理ユニット152に与えられ得る。場合によっては、上位レイヤ復号器は、下位レイヤ復号器から削除された1つのレイヤである。他の場合には、図3Bのレイヤ0復号器とレイヤ1復号器との間に1つまたは複数の上位レイヤ復号器があり得る。
[0130]場合によっては、アップサンプリングユニット92は省略またはバイパスされ得る。そのような場合、ビデオ復号器30Aの復号ピクチャバッファ160からのピクチャは、直接、または少なくともアップサンプリングユニット92に与えられることなしに、ビデオ復号器30Bの予測処理ユニット152に与えられ得る。たとえば、ビデオ復号器30Bに与えられたビデオデータと、ビデオ復号器30Aの復号ピクチャバッファ160からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングなしにビデオ復号器30Bに与えられ得る。さらに、いくつかの実施形態では、アップサンプリングユニット92は、ビデオ復号器30Aの復号ピクチャバッファ160から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成された再サンプリングユニット90であり得る。
[0131]図3Bに示されているように、ビデオ復号器33は、デマルチプレクサ(またはdemux)99をさらに含み得る。demux99は符号化ビデオビットストリームを複数のビットストリームに分割することができ、demux99によって出力された各ビットストリームは異なるビデオ復号器30Aおよび30Bに与えられる。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオ復号器30Aおよび30Bの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、demux99において受信されるビットストリームからのビットは、ビデオ復号器の各々(たとえば、図3Bの例ではビデオ復号器30Aおよび30B)の間で一度に1ビットずつ交互に配置され得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に1ブロックずつビットストリームを受信するビデオ復号器を交互に配置することによって分割され得る。別の例では、ビットストリームは、ブロックの非1:1比によって、ビデオ復号器30Aおよび30Bの各々に分割され得る。たとえば、2つのブロックは、ビデオ復号器30Aに与えられる各ブロックについてビデオ復号器30Bに与えられ得る。いくつかの実施形態では、demux99によるビットストリームの分割はプリプログラムされ得る。他の実施形態では、demux99は、宛先モジュール14を含む宛先デバイス上のプロセッサからなど、ビデオ復号器33の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース28からのビデオの解像度またはビットレートに基づいて、リンク16の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション(たとえば、有料サブスクリプション対無料サブスクリプション)に基づいて、またはビデオ復号器33によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。
イントラランダムアクセスポイント(IRAP)ピクチャ
[0132]いくつかのビデオコーディングスキームは、ビットストリームが、ビットストリーム中で様々なランダムアクセスポイントに先行するいかなるピクチャも復号する必要なしに、それらのランダムアクセスポイントのいずれかから始めて復号され得るように、ビットストリーム全体にわたってそれらのランダムアクセスポイントを与え得る。そのようなビデオコーディングスキームでは、ランダムアクセススキップリーディング(RASL:random access skipped leading)ピクチャを除いて、復号順序においてランダムアクセスポイントに後続するすべてのピクチャは、ランダムアクセスポイントに先行するいかなるピクチャも使用することなしに正確に復号され得る。たとえば、ビットストリームの一部分が送信の間または復号の間に失われても、復号器は、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、たとえば、動的なストリーミングサービス、シーク動作、チャネル切替えなどを可能にし得る。
[0133]いくつかのコーディングスキームでは、そのようなランダムアクセスポイントは、イントラランダムアクセスポイント(IRAP)ピクチャと呼ばれるピクチャによって与えられ得る。たとえば、アクセスユニット(「auA」)中に含まれているエンハンスメントレイヤ(「layerA」)中のエンハンスメントレイヤIRAPピクチャに関連付けられたランダムアクセスポイントは、各参照レイヤ(「layerB」)中にあり、復号順序においてauAに先行するアクセスユニット(「auB」)中に含まれているピクチャに関連付けられたランダムアクセスポイント(または、auA中に含まれているランダムアクセスポイント)を有するlayerAのlayerB(たとえば、layerAを予測するために使用されるレイヤである参照レイヤ)に関して復号順序においてauAに後続する(auA中に位置するピクチャを含む)layerA中のピクチャが、auAに先行するlayerA中のいかなるピクチャも復号する必要なしに正確に復号可能であるように、レイヤ特有のランダムアクセスを与え得る。
[0134]IRAPピクチャは、イントラ予測を使用してコーディングされ(たとえば、他のピクチャを参照することなしにコーディングされ)、および/またはレイヤ間予測を使用してコーディングされ得、たとえば、瞬時復号器リフレッシュ(IDR:instantaneous decoder refresh)ピクチャと、クリーンランダムアクセス(CRA:clean random access)ピクチャと、切断リンクアクセス(BLA:broken link access)ピクチャとを含み得る。ビットストリーム中にIDRピクチャがあるとき、復号順序においてIDRピクチャに先行するすべてのピクチャは、IDRピクチャに後続するピクチャによる予測のために使用されない。ビットストリーム中にCRAピクチャがあるとき、CRAピクチャに後続するピクチャは、復号順序においてCRAピクチャに先行するピクチャを予測のために使用することも、使用しないこともある。復号順序においてCRAピクチャに後続するが、復号順序においてCRAピクチャに先行するピクチャを使用するピクチャは、RASLピクチャと呼ばれることがある。復号順序においてIRAPピクチャに後続し、出力順序においてIRAPピクチャに先行することができる別のタイプのピクチャは、復号順序においてIRAPピクチャに先行するいかなるピクチャへの参照も含んでいないことがあるランダムアクセス復号可能リーディング(RADL:random access decodable leading)ピクチャである。CRAピクチャに先行するピクチャが利用可能でない場合、RASLピクチャは復号器によって廃棄され得る。BLAピクチャは、(たとえば、2つのビットストリームが互いにスプライスされ、BLAピクチャが復号順序において第2のビットストリームの最初のピクチャであるので)BLAピクチャに先行するピクチャが復号器にとって利用可能でないことがあることを、復号器に示す。IRAPピクチャである(たとえば、0のレイヤID値を有する)ベースレイヤピクチャを含んでいるアクセスユニット(たとえば、複数のレイヤにわたって同じ出力時間に関連付けられたすべてのコード化ピクチャからなるピクチャのグループ)は、IRAPアクセスユニットと呼ばれることがある。
SHVCにおける再サンプリングプロセス
[0135]再サンプリングプロセスでは、ピクチャのサンプルの数がアップサンプリング(増加)またはダウンサンプリング(減少)され得る。参照レイヤピクチャ再サンプリングの1つの設計では、出力参照レイヤピクチャが再サンプリングプロセスのための入力として使用される。
[0136]SHVCでは、参照レイヤ(またはベースレイヤ)ピクチャサイズがエンハンスメントレイヤピクチャサイズとは異なる場合、レイヤ間予測のためのエンハンスメントレイヤピクチャのサイズを一致させるために、再サンプリング(またはアップサンプリング)プロセスが参照レイヤピクチャに適用され得る。参照レイヤピクチャを再サンプリングするために、Nタップ再サンプリングフィルタが色成分ごとに適用され得る。
[0137]フィルタ処理プロセスでは、参照レイヤピクチャのサンプル(またはピクセル)絶対値が、フィルタ処理されたサンプル(またはピクセル)を導出するために、フィルタ係数を乗算され、合計され得る。参照レイヤピクチャのサイズとエンハンスメントレイヤピクチャのサイズとが異なるので、フィルタ処理プロセスに関与する参照レイヤサンプルの座標が定義され得る。たとえば、現在エンハンスメントレイヤピクチャのサンプルロケーションに対応する参照レイヤピクチャのサンプルロケーションは、参照レイヤピクチャのサンプルロケーションによって示される(1つまたは複数の)サンプルが再サンプリングプロセスにおいて使用され得るように決定され得る。
ベースレイヤのための適合ウィンドウ
[0138]上述のように、適合ウィンドウ情報は、参照レイヤ中に含まれ得、再サンプリングプロセスを含む様々な目的で使用され得る。コード化ピクチャの出力領域を示すための適合ウィンドウクロッピングパラメータが使用される。
[0139]図4に、適合ウィンドウ情報を利用するための技法を示す例示的な概略図を示す。SPSとPPSとVPSとを含むコード化データがコード化ピクチャバッファ(CPB:Coded Picture Buffer)405に記憶される。SPSは、プロファイル、ティア、およびレベル指示など、コード化シーケンスの特性を記述するためのパラメータを含み得る。従来のシステムでは、適合ウィンドウクロッピングパラメータもSPS中に含まれ得る。この情報は復号プロセス410に与えられ、復号されたピクチャが、出力のために復号ピクチャバッファ(DPB:Decoded Picture Buffer)415に記憶され、参照ピクチャとして使用される。復号されたピクチャは、次いで、出力クロッピング段420に受け渡され、そこで、SPS中で指定された適合ウィンドウパラメータに従って出力ピクチャに出力クロッピングが適用される。
[0140]以下の表1に、HEVCにおいて適合ウィンドウをシグナリングするための従来のシステムを示す。以下で表1に示されているように、適合ウィンドウは、上、下、左、および/または右オフセットを含み得る。これらのオフセットは、ピクチャ中のどのサンプルが再サンプリングのために使用されるべきかを示すために使用され得る。
[0141]シングルレイヤビットストリームの場合、適合ウィンドウはSPS中でシグナリングされ得る。しかしながら、マルチレイヤビットストリームの場合、VPSはマルチレイヤビットストリームのレイヤのすべてに適用されるので、VPS中でベースレイヤをシグナリングすることが有利であり得る。
[0142]マルチレイヤビットストリームでは、個々のレイヤは、HEVC、SHVC、MV−HEVC、3D−HEVC、AVC、SVCなど、異なるコーディングスキームを使用してコーディングされ得る。これらのコーディングスキームのいくつかは他のコーディングスキームに関連し得る。たとえば、HEVCのスケーラブル拡張としてのSHVCはHEVCに関連し得る。ただし、SHVCおよび/またはHEVCは他のコーディングスキームに関連し得る。コーデックが、そのコーデックがそれに関連しないコーディングスキームを使用してコーディングされた参照レイヤを有するビットストリームを受信したとき、コーデックは、レイヤのための適合ウィンドウ情報を決定することに適さないことがある。一例では、上記の表1に示されたHEVCにおける適合ウィンドウフラグは、SHVCを使用するコーデックによる使用に好適であるが、SVCを使用するコーデックによる使用に好適ではないことがある。その上、本例では、上記の表1に示されたHEVCにおける適合ウィンドウフラグは、適合ウィンドウ情報をSVCコーデックに搬送するのに好適ではないことがある。シングルレイヤコーディングスキームを使用してコーディングされたベースレイヤのための適合ウィンドウ情報は、シグナリングされないことがあり、したがって、シングルレイヤコーディングスキームに関連しない拡張コーディングスキームを使用するコーデックの場合に利用可能でないことがある。
[0143]SHVCでは、2つの再サンプリングプロセス、(1)サンプルまたはピクセル情報再サンプリング、および(2)動き(すなわち、動きフィールド)または非ピクセル情報再サンプリングがある。本開示の実施形態は、これらの再サンプリングプロセスのうちの1つに適用可能であるか、両方に適用可能であるか、またはいずれにも適用可能でないことがある。
[0144]本開示のいくつかの態様では、適合ウィンドウ情報は、スケーラビリティアスペクト比またはスケーリングファクタを計算するために適用され得る。たとえば、再サンプリングプロセスは、計算されたアスペクト比を用いて復号参照レイヤピクチャに適用され得る。本開示の他の態様では、再サンプリングプロセスは、再サンプリングプロセスのための入力として出力参照レイヤピクチャを使用し得る。本開示の実施形態は、これらの態様のうちの1つに適用されるか、両方に適用されるか、またはいずれにも適用されないことがある。
[0145]本開示の実施形態は、ベースレイヤ中で適合ウィンドウ情報をシグナリングするためのフラグを提供する。ベースレイヤ適合ウィンドウは、たとえば、VPS、SPS、PPS、および/またはスライスヘッダ中でシグナリングされ得る。いくつかの実施形態では、ベースレイヤ適合ウィンドウは、受信コーデックに関連しないコーディングスキーム、および/または符号化器によって使用されるコーディングスキームを使用してベースレイヤが符号化されたことが示されるとき、シグナリングされ得る(たとえば、そのときのみシグナリングされ得る)。たとえば、ベースレイヤ適合ウィンドウは、ベースレイヤがSHVC対応復号器によって受信されたとき、ベースレイヤが、非HEVCコーディングスキーム(たとえば、SHVCに関連しないことがあるコーディングスキームであるAVC)を使用してコーディングされたという指示に基づいてシグナリングされ得る。ベースレイヤ適合ウィンドウをシグナリングするための例示的なシンタックスおよびセマンティクスを以下で表2に示す。
[0146]表2において、bl_conformance_window_flagは、ベースレイヤのオフセットパラメータが後続することを示すために1に設定され得る。そうではなく、0に設定されたbl_conformance_window_flagは、オフセットパラメータが存在しないことを示し得る。bl_conformance_window_flagが存在しない場合、それは0に設定されると推論され得る。いくつかの実施形態では、ビットストリーム制約要件が使用され得る。たとえば、bl_conformance_window_flagは、非HEVCコード化ベースレイヤの場合、1に設定され得る。別の例では、bl_conformance_window_flagは、ベースレイヤが、受信コーデックに関連しないコーディングスキームを使用してコーディングされた場合、1に設定され得る。
[0147]さらに、表2において、bl_conf_win_left_offset、bl_conf_win_right_offset、bl_conf_win_top_offset、およびbl_conf_win_bottom_offsetは、出力のためにピクチャ座標で指定された矩形領域に関して、ベースレイヤ復号プロセスから出力されるコード化ビデオシーケンス(CVS:Coded Video Sequence)中のベースレイヤピクチャのサンプルを指定し得る。bl_conformance_window_flagが0に等しいとき、bl_conf_win_left_offset、bl_conf_win_right_offset、bl_conf_win_top_offset、およびbl_conf_win_bottom_offsetの値も0に等しいと推論され得る。
[0148]一例では、シグナリングされたベースレイヤウィンドウオフセットは、出力ベースレイヤピクチャサイズと、場合によっては、再サンプリングプロセスにおいて使用されるべき復号ベースレイヤピクチャに対するロケーションとを計算するために、および、たとえば、それぞれ復号エンハンスメントレイヤ幅または高さに対する出力ベースレイヤ幅または高さの分数として、スケーラビリティアスペクト比またはスケーリングファクタを計算するために含められ得る。
[0149]図5は、本開示の(1つまたは複数の)態様による、ピクチャを符号化するためのプロセスの例示的な実施形態のフローチャートである。プロセス500はブロック505において開始する。
[0150]ブロック510において、プロセス500は、マルチレイヤビットストリームのレイヤを符号化することを伴い得る。いくつかの実施形態では、第1のビデオ符号化器は、マルチレイヤビットストリームのすべてのレイヤを符号化し得る。他の実施形態では、ビデオ符号化器は、マルチレイヤビットストリームのレイヤの一部分のみを符号化し得る。ビデオ符号化器は、コーディングスキームに従ってビットストリームのレイヤを符号化し得る。いくつかの態様では、ビットストリームは、第1のビデオ符号化器によって使用されるコーディングスキームとは異なる、および/またはそれに関連しない、コーディングスキームを使用してコーディングされたベースレイヤを含み得る。たとえば、ベースレイヤは、第1のビデオ符号化器とは異なる第2のビデオ符号化器によって符号化されていることがある。他の態様では、ビットストリームは、受信コーデックと同じ、および/またはそれに関連する、コーディングスキームを使用してコーディングされたベースレイヤを含み得る。たとえば、ベースレイヤは、第1のビデオ符号化器によって符号化されていることがある。
[0151]決定ブロック515において、プロセス500は、ベースレイヤが、第1のビデオ符号化器によって使用されるコーディングスキームに関連するコーディングスキームを使用して符号化されたかどうかを決定することを伴い得る。ベースレイヤが、第1のビデオ符号化器によって使用されるコーディングスキームに関連するコーディングスキームを使用して符号化された場合、プロセス500は、ブロック520に進むことを伴い得る。ベースレイヤが、第1のビデオ符号化器によって使用されるコーディングスキームに関連しないコーディングスキームを使用して符号化された場合、プロセス500は、決定ブロック535に進むことを伴い得る。
[0152]ブロック520において、プロセス500は、適合ウィンドウをシグナリングすることを伴い得る。一例では、適合ウィンドウをシグナリングすることは、再サンプリングされたピクチャのための配置情報を与える位置オフセットが後続することを示すための値(たとえば、1)に適合ウィンドウフラグを設定することを伴い得る。適合ウィンドウは、1つまたは複数のオフセット、たとえば、上、下、左、および右オフセットを含み得る(表1参照)。適合ウィンドウおよび/またはオフセットはSPS中でシグナリングされ得る。たとえば、適合ウィンドウはHEVCコード化レイヤ中でシグナリングされ得る。
[0153]ブロック525において、プロセス500は、適合ウィンドウ情報を使用してピクチャを符号化することを伴い得る。
[0154]ブロック530において、ベースレイヤが、第1のビデオ符号化器によって使用されるコーディングスキームに関連しないコーディングスキームを使用して符号化された場合、プロセス500は、ベースレイヤ適合ウィンドウをシグナリングすることを伴い得る。一例では、適合ウィンドウをシグナリングすることは、再サンプリングされたピクチャのための配置情報を与えるベースレイヤ位置オフセットが後続することを示すための値(たとえば、1)にベースレイヤ適合ウィンドウフラグを設定することを伴い得る。ベースレイヤ適合ウィンドウは、1つまたは複数のオフセット、たとえば、上、下、左、および右オフセットを含み得る(表2参照)。適合ウィンドウおよび/またはオフセットは、VPS、SPS、PPS、および/またはスライスヘッダ中でシグナリングされ得る。
[0155]ブロック535において、プロセス500は、ベースレイヤ適合ウィンドウを使用してピクチャをコーディングすることを伴い得る。プロセス500はブロック540において終了する。
[0156]図6は、本開示で説明する(1つまたは複数の)態様による、ピクチャを復号するためのプロセスの例示的な実施形態のフローチャートである。プロセス600はブロック605において開始する。
[0157]ブロック610において、プロセス600は、ビットストリームを受信することを伴い得る。いくつかの態様では、ビットストリームは、ビットストリームの他のレイヤを符号化するために使用されたコーディングスキームに関連しないコーディングスキームを使用してコーディングされたベースレイヤを含み得る。他の態様では、ビットストリームは、ビットストリームの他のレイヤを符号化するために使用されたコーディングスキームに関連するコーディングスキームを使用してコーディングされたベースレイヤを含み得る。
[0158]ブロック615において、プロセス600は、ビットストリームのベースレイヤ中で適合ウィンドウフラグと少なくとも1つの位置オフセットとを復号することを伴い得る。いくつかの実施形態では、適合ウィンドウフラグおよび/または少なくとも1つの位置オフセットは、ベースレイヤのVPS中でシグナリングされ得る。
[0159]ブロック620において、プロセス600は、ベースレイヤ適合ウィンドウを使用してピクチャを復号することを伴い得る。プロセス600はブロック625において終了する。
[0160]一態様では、ベースレイヤ出力ピクチャは、ベースレイヤピクチャを表示すること、および再サンプリングプロセスを実施することを含む、多数の目的で導出され得る。
[0161]別の態様では、適合ウィンドウのサイズは、幅および高さ情報を用いて明示的にシグナリングされ得、幅および高さ情報は、スケーラビリティアスペクト比を計算するために使用され得る。これは、復号ピクチャサイズまたは出力ベースレイヤピクチャの厳密な配置を決定することとともに行われるか、またはそれを決定することなしに行われ得る。したがって、適合ウィンドウは部分的にのみシグナリングされ得る。
[0162]さらなる態様では、受信されたベースレイヤが非HEVCコーディングされた場合、SHVCワーキングドラフトにおいて使用される、スケーリングされた基準オフセットのセマンティクスおよび再サンプリングプロセスは、適用されたスケーリングされた基準オフセットをもつ参照レイヤ復号ピクチャが再サンプリングプロセスおよび/またはスケーラビリティ比計算への入力として使用され得るように、変更され得る。たとえば、そのような態様では、スケーリングされた基準オフセットは、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、およびscaled_ref_layer_bottom_offsetを含み得る。
[0163]また別の態様では、SHVC復号器は、AVCベースレイヤの適合ウィンドウ情報が、SHVCエンハンスメントレイヤによって使用され得、追加のシグナリングなしに適合ウィンドウ情報を導出するために使用され得るように、AVC SPSシンタックス構造を使用し得る。
[0164]さらに別の態様では、ベースレイヤの適合ウィンドウパラメータの値は、SHVCビットストリーム中で関係するシンタックスをシグナリングする代わりに、外部手段によって(たとえば、システムレベルによって)与えられ得る。これは、ベースレイヤ自体、およびベースレイヤピクチャのための外部から与えられる他のパラメータの場合と同様の方法で行われ得る。
他の考慮事項
[0165]本明細書で開示する情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。
[0166]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
[0167]本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。デバイスまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの1つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および/または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[0168]プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価の集積回路またはディスクリート論理回路など、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明した技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した技法の実装に好適な他の構造または装置のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアもしくはハードウェア内に提供され得、または複合ビデオ符号化器/復号器(コーデック)に組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
[0169]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素またはユニットについて説明したが、それらの構成要素またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[0170]上記について様々な異なる実施形態に関して説明したが、一実施形態からの特徴または要素は、本開示の教示から逸脱することなく他の実施形態と組み合わせられ得る。たとえば、符号化器は、使用のために利用可能な説明した複数のハッシュ関数を有し得、いずれのハッシュ関数をビデオ情報の各ブロックのために使用すべきかを決定し得る。記憶されたハッシュインデックスは複数の値を備え得、ビデオ情報のブロックは、ブロックのための計算されたハッシュインデックスが、記憶されたハッシュインデックスの値のうちの1つまたは複数に一致する場合、記憶されたハッシュインデックスにマッピングされ得る。説明したハッシュフィルタは、代わりに、ハッシュテーブルへの現在ブロックの自動追加と組み合わせて適用され得、すなわち、ハッシュフィルタは、ビデオ情報のブロックを示す情報がハッシュテーブルに追加された後に適用され得る。たとえば、リンクリストがいっぱいになった場合、ハッシュフィルタはその時点において適用され得る。現在ブロックを示す情報がハッシュテーブル中のハッシュインデックスにマッピングされた後にその情報をハッシュテーブルに追加することを含む、特徴の同様の組合せも企図されるが、それぞれの実施形態間の特徴の組合せは、必ずしもそれに限定されるとは限らない。
[0171]本開示の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
マルチレイヤビットストリーム中のピクチャを符号化するための方法であって、
第1のコーディングスキームに従って前記マルチレイヤビットストリームの少なくとも1つのレイヤを符号化すること、前記マルチレイヤビットストリームは、ベースレイヤを備える、と、
前記ベースレイヤのビデオパラメータセット(VPS)中で前記ピクチャのための適合ウィンドウフラグと少なくとも1つの位置オフセットとを符号化すること、前記適合ウィンドウフラグは、前記VPSが前記少なくとも1つの位置オフセットを備えることを示す、と
を備える、方法。
[C2]
前記ベースレイヤが第2のコーディングスキームに従ってコーディングされた場合、前記適合ウィンドウフラグと前記少なくとも1つの位置オフセットとは、前記ベースレイヤの前記VPS中で符号化され、前記第2のコーディングスキームは、前記第1のコーディングスキームに関連しない、
C1に記載の方法。
[C3]
前記第1のコーディングスキームが前記第2のコーディングスキームと同等でない場合、前記第1のコーディングスキームが前記第2のコーディングスキームに関連しないと決定することをさらに備える、
C2に記載の方法。
[C4]
前記第1のコーディングスキームが前記第2のコーディングスキームのスケーラブル拡張でない場合、前記第1のコーディングスキームが前記第2のコーディングスキームに関連しないと決定することをさらに備える、
C2に記載の方法。
[C5]
前記少なくとも1つの位置オフセットは、左オフセット、右オフセット、上オフセット、および下オフセットのうちの少なくとも1つを備える、
C1に記載の方法。
[C6]
前記少なくとも1つの位置オフセットに基づいて前記ピクチャを符号化することをさらに備える、
C5に記載の方法。
[C7]
前記ベースレイヤは、出力ピクチャサイズをさらに備える、
C1に記載の方法。
[C8]
マルチレイヤビットストリーム中のピクチャを符号化するための装置であって、
メモリと、
前記メモリに動作可能に結合されたハードウェアプロセッサと
を備え、前記ハードウェアプロセッサは、
第1のコーディングスキームに従って前記マルチレイヤビットストリームの少なくとも1つのレイヤを符号化すること、前記マルチレイヤビットストリームは、ベースレイヤを備える、と、
前記ベースレイヤのビデオパラメータセット(VPS)中で適合ウィンドウフラグと少なくとも1つの位置オフセットとを符号化すること、ここにおいて、前記適合ウィンドウフラグは、前記VPSが前記少なくとも1つの位置オフセットを備えることを示す、と
を行うように構成される、装置。
[C9]
前記プロセッサは、前記ベースレイヤが第2のコーディングスキームに従ってコーディングされた場合、前記ベースレイヤの前記VPS中で前記適合ウィンドウフラグと前記少なくとも1つの位置オフセットとをコーディングするようにさらに構成され、前記第2のコーディングスキームは、前記第1のコーディングスキームとは異なる、
C8に記載の装置。
[C10]
前記プロセッサは、前記第1のコーディングスキームが前記第2のコーディングスキームと同等でない場合、前記第1のコーディングスキームが前記第2のコーディングスキームに関連しないと決定するようにさらに構成される、
C9に記載の装置。
[C11]
前記プロセッサは、前記第1のコーディングスキームが前記第2のコーディングスキームのスケーラブル拡張でない場合、前記第1のコーディングスキームが前記第2のコーディングスキームに関連しないと決定するようにさらに構成される、
C9に記載の装置。
[C12]
前記少なくとも1つの位置オフセットは、左オフセット、右オフセット、上オフセット、および下オフセットのうちの少なくとも1つを備える、
C8に記載の装置。
[C13]
前記プロセッサは、前記少なくとも1つの位置オフセットに基づいて前記ピクチャを符号化するようにさらに構成される、
C12に記載の装置。
[C14]
前記ベースレイヤは、出力ピクチャサイズをさらに備える、
C8に記載の装置。
[C15]
マルチレイヤビットストリーム中のピクチャを復号するための方法であって、
前記マルチレイヤビットストリームを受信すること、前記マルチレイヤビットストリームがベースレイヤを備える、と、
前記ベースレイヤのビデオパラメータセット(VPS)中で適合ウィンドウフラグと少なくとも1つの位置オフセットとを復号すること、前記適合ウィンドウフラグは、前記VPSが前記少なくとも1つの位置オフセットを備えることを示す、と
を備える、方法。
[C16]
前記少なくとも1つの位置オフセットは、左オフセット、右オフセット、上オフセット、および下オフセットのうちの少なくとも1つを備える、
C15に記載の方法。
[C17]
前記少なくとも1つの位置オフセットに基づいて前記ピクチャを復号することをさらに備える、
C16に記載の方法。
[C18]
前記ベースレイヤは、出力ピクチャサイズをさらに備える、
C15に記載の方法。
[C19]
マルチレイヤビットストリーム中のピクチャをコーディングするための装置であって、
メモリと、
前記メモリに動作可能に結合されたハードウェアプロセッサと
を備え、前記ハードウェアプロセッサは、
ビデオコーデックにおいて前記マルチレイヤビットストリームを受信すること、前記マルチレイヤビットストリームがベースレイヤを備える、と、
前記ベースレイヤのビデオパラメータセット(VPS)中で適合ウィンドウフラグと少なくとも1つの位置オフセットとをコーディングすること、ここにおいて、前記適合ウィンドウフラグは、前記VPSが前記少なくとも1つの位置オフセットを備えることを示す、と
を行うように構成される、装置。
[C20]
前記少なくとも1つの位置オフセットは、左オフセット、右オフセット、上オフセット、および下オフセットのうちの少なくとも1つを備える、
C19に記載の装置。
[C21]
前記プロセッサは、前記少なくとも1つの位置オフセットに基づいて前記ピクチャを復号するようにさらに構成される、
C20に記載の装置。
[C22]
前記ベースレイヤは、出力ピクチャサイズをさらに備える、
C19に記載の装置。