JP6453350B2 - スケーラブルビデオコーディングのための参照レイヤサンプル位置導出 - Google Patents

スケーラブルビデオコーディングのための参照レイヤサンプル位置導出 Download PDF

Info

Publication number
JP6453350B2
JP6453350B2 JP2016546755A JP2016546755A JP6453350B2 JP 6453350 B2 JP6453350 B2 JP 6453350B2 JP 2016546755 A JP2016546755 A JP 2016546755A JP 2016546755 A JP2016546755 A JP 2016546755A JP 6453350 B2 JP6453350 B2 JP 6453350B2
Authority
JP
Japan
Prior art keywords
chroma
luma
phase
sample
phase offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016546755A
Other languages
English (en)
Other versions
JP2017503433A5 (ja
JP2017503433A (ja
Inventor
チェン、ジャンレ
ラパカ、クリシュナカンス
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017503433A publication Critical patent/JP2017503433A/ja
Publication of JP2017503433A5 publication Critical patent/JP2017503433A5/ja
Application granted granted Critical
Publication of JP6453350B2 publication Critical patent/JP6453350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本開示は、ビデオコーディングおよび圧縮の分野に関する。詳細には、本開示は、アドバンストビデオコーディング(AVC:Advanced Video Coding)のためのスケーラブルビデオコーディング(SVC:scalable video coding)、ならびにスケーラブルHEVC(SHVC:Scalable HEVC)とも呼ばれる高効率ビデオコーディング(HEVC:High Efficiency Video Coding)のためのSVCを含むSVCに関する。
[0002]スケーラブルビデオコーディングは、各々が既存のビデオ符号化技法および圧縮技法と同様の複雑性および再構成の品質で復号され得る1つまたは複数のサブセットビットストリームを含んでいる高品質ビデオデータの符号化を可能にする。サブセットビットストリームは、より大きいビットストリームからいくつかのパケットをドロップすることによって、復元され得る。
[0003]たとえば、サブセットビットストリームは、より大きいビットストリームと比較して、より低い空間分解能(たとえば、より小さいスクリーンサイズ)、より低い時間分解能(たとえば、より低いフレームレート)、またはより低い信号品質(たとえば、より低い信号忠実度)を表し得る。これらのより低い品質アスペクト(またはビットストリーム)の各々のデータおよび復号されたサンプルは、ビットレートを低減してより高い品質をコーディングするために、より高い品質/ビットレートのデータまたはサンプルを予測するために使用され得る。したがって、以下で説明するように、分解能、ビットレート、および忠実度は、ビットレートを低減し、前方互換性を改善するために拡張され得る。
[0004]H.264/SVCでは、インターレースされたビデオシーケンスの高いコーディング効率を達成するために、高度な解決策が使用される。適応フレーム/フィールドコーディング方法は、ベースレイヤ(BL:base layer)とエンハンスメントレイヤ(EL:enhancement layer)の両方においてサポートされ得、ベースレイヤピクチャおよびエンハンスメントレイヤピクチャはプログレッシブフレーム、インターレースされたフレーム、トップフィールドピクチャまたはボトムフィールドピクチャであり得ることを意味する。そのような設計は非常に複雑化され、インターレースされたビットストリームのための複雑な解決策を提示し得る。スケーラブルビデオコーディングの設計は、インターレースされた ベースレイヤストリームを利用しながら簡略化され得る。
[0005]一般に、本開示では、スケーラブルビデオコーディング(SVC)に関する方法および技法について説明する。本開示のシステム、方法、およびデバイスは、いくつかの発明的態様をそれぞれ有し、それらの態様は、1つとして、本明細書で開示する望ましい属性を単独で担うものではない。
[0006]本開示の一態様は、スケーラブルな高効率ビデオ情報をコーディングするための装置を提供する。装置は、マルチレイヤピクチャのためのシンタックス要素を記憶するように構成されたメモリユニットを備え得る。プロセッサは、メモリユニットに動作可能に結合され、マルチレイヤピクチャ中の参照レイヤサンプル位置と対応するエンハンスメントレイヤサンプル位置との間の位相オフセット値を示すシンタックス要素を生成するように構成され得る。位相オフセット値は、参照レイヤサンプル位置からのルーマサンプル位置およびクロマサンプル位置の位相オフセットを表すことができる。ルーマサンプル位置およびクロマサンプル位置の各々は、マルチレイヤピクチャのためのエンハンスメントレイヤおよび対応する参照レイヤ中の水平成分と垂直成分とを有することができる。プロセッサはさらに、生成されたシンタックス要素中で符号化されたデータに基づいて、ブロックを符号化することができる。
[0007]本開示の別の態様は、スケーラブルな高効率ビデオ情報をコーディングするための方法を提供する。方法は、マルチレイヤピクチャのためのシンタックス要素を記憶することを備え得る。方法は、マルチレイヤピクチャ中の参照レイヤサンプル位置と対応するエンハンスメントレイヤサンプル位置との間の少なくとも1つの位相オフセット値を決定することをさらに備え得る。方法は、位相オフセット値を示すシンタックス要素を生成することをさらに備え得る。位相オフセット値は、参照レイヤ位置のルーマサンプル位置およびクロマサンプル位置の位相オフセットを表すことができる。ルーマサンプル位置およびクロマサンプル位置の各々は、マルチレイヤピクチャのためのエンハンスメントレイヤおよび対応する参照レイヤ中の水平成分と垂直成分とを有することができる。方法は、生成されたシンタックス要素中で符号化されたデータに基づいて、ブロックを符号化することをさらに備え得る。
[0008]本開示の別の態様は、スケーラブルな高効率ビデオ情報を復号するための装置を提供する。装置は、マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信するように構成された受信機を備え得る。装置は、マルチレイヤピクチャのためのシンタックス要素を記憶するように構成されたメモリユニットをさらに備え得る。プロセッサは、メモリユニットに動作可能に結合され、シンタックス要素からマルチレイヤピクチャに関連付けられた少なくとも1つの位相オフセット値を取得するように構成され得る。プロセッサは、少なくとも1つの位相オフセット値に基づいて、参照レイヤサンプル位置を導出するようにさらに構成され得る。少なくとも1つの位相オフセット値は、ピクチャのためのエンハンスメントレイヤと対応する参照レイヤのペアごとに取得され得る。位相オフセットは、参照レイヤサンプル位置のルーマサンプル位置およびクロマサンプル位置の位相オフセットを表すことができる。ルーマサンプル位置およびクロマサンプル位置の各々は、水平成分と垂直成分とを有することができる。プロセッサは、受信されたシンタックス要素に基づいて、ブロックを復号するようにさらに構成され得る。
[0009]本開示の別の態様は、スケーラブルな高効率ビデオ情報を復号するための方法を提供する。方法は、マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信することを備え得る。方法は、シンタックス要素からマルチレイヤピクチャに関連付けられた少なくとも1つの位相オフセット値を取得することをさらに備え得る。方法は、少なくとも1つの位相オフセット値に基づいて、参照レイヤサンプル位置を導出することをさらに備え得る。少なくとも1つの位相オフセット値は、ピクチャのためのエンハンスメントレイヤと対応する参照レイヤのペアごとに取得され得る。位相オフセット値は、参照レイヤのルーマサンプル位置およびクロマサンプル位置の位相オフセットを表すことができる。ルーマサンプル位置およびクロマサンプル位置の各々は、水平成分と垂直成分とを有することができる。方法は、受信されたシンタックス要素に基づいて、ブロックを復号することをさらに備え得る。
[0010] 本発明の他の特徴および利点は、例として、本発明の態様を示す以下の説明から明らかとなるはずである。
[0011]本発明の実施形態の詳細は、その構造と動作の両方について、部分的に添付の図面の検討によって収集され得、同様の参照番号は同様の部分を指す。
[0012]例示的なビデオコーディングシステムを示すブロック図。 [0013]異なる次元におけるスケーラビリティの一例を示す図。 [0014]SVCコーディング構造の一例を示す図。 [0015]ビットストリーム中の複数のアクセスユニット(AU)のグラフ表現。 [0016]マルチレイヤビデオエンコーダの機能ブロック図。 [0017]マルチレイヤビデオデコーダの機能ブロック図。 [0018]エンハンスメントレイヤルーマサンプルの対称的なダウンサンプリングのグラフ表現。 [0019]0位相ダウンサンプリングのグラフ表現。 [0020]0位相ダウンサンプリングにおけるアップサンプリングロケーションの一実装形態のグラフ表現。
[0021]添付の図面に関して以下に記載する詳細な説明は、様々な実施形態を説明するものであり、本発明が実施され得る唯一の実施形態を表すものではない。詳細な説明は、実施形態の完全な理解を与える目的で具体的な詳細を含む。ただし、本発明はこれらの具体的な詳細なしにことが当業者には明らかであろう。場合によっては、よく知られている構造および構成要素は、説明を簡潔にするために簡略化された形態で示されている。場合によっては、いくつかの方法およびそれらの方法を実装するシステムは、本明細書では技法と呼ばれることがある。
[0022]本開示で説明する実施形態は、一般に、スケーラブルビデオコーディング(SHVC、SVC)およびマルチビュー/3Dビデオコーディング(たとえば、マルチビューコーディングプラス深度、MVC+D)に関する。たとえば、実施形態は、高効率ビデオコーディング(HEVC)スケーラブルビデオコーディング(SHVCと呼ばれることがある、SVC)拡張に関し、それとともにまたはそれの中で使用され得る。SHVC、SVC拡張では、ビデオ情報の複数のレイヤがあり得る。最下位レベルにあるレイヤはベースレイヤ(BL)として働き得、最上位にあるレイヤ(または最上位レイヤ)はエンハンストレイヤ(EL:enhanced layer)として働き得る。「エンハンストレイヤ」は「エンハンスメントレイヤ」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤは「参照レイヤ」(RL:reference layer)と呼ばれることがあり、これらの用語も互換的に使用され得る。ベースレイヤとトップレイヤとの間にあるすべてのレイヤは、ELまたは参照レイヤ(RL)のいずれかまたは両方として働き得る。たとえば、中間にあるレイヤは、ベースレイヤまたは任意の介在するエンハンスメントレイヤなど、それの下のレイヤ用のELであり、同時にそれの上のエンハンスメントレイヤ用のRLとして働き得る。ベースレイヤとトップレイヤ(または最上位レイヤ)イズとの間にある各レイヤは、上位レイヤによってレイヤ間予測のための参照として使用され得、レイヤ間予測のための参照として下位レイヤを使用し得る。
[0023]簡単にするために、BLおよびELのただ2つのレイヤに関して例を提示するが、以下で説明する概念および実施形態が複数のレイヤを用いる場合にも適用可能であることをよく理解されたい。加えて、説明を簡単にするために、「フレーム」または「ブロック」という用語がしばしば使用される。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する実施形態は、限定はしないが、ピクセル、ブロック、スライス、フレーム、ピクチャなどを含む、様々なビデオユニットとともに使用され得る。
[0024]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む広範囲のデバイスに組み込まれ得る。これらのビデオデバイスは、本明細書で説明する実施形態を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶することができる。
[0025]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオフレームまたはビデオフレームの一部分)は、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0026]空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コード化ブロックと予測ブロックとの間の差分を示す。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に2次元アレイで構成される量子化された変換係数は、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
ビデオコーディング
[0027]ビデオコーディング規格は、ITU−T H.261と、ISO/IEC MPEG−1 Visualと、ITU−T H.262またはISO/IEC MPEG−2 Visualと、ITU−T H.263と、ISO/IEC MPEG−4 Visualと、それのスケーラブルビデオコーディング(SVC)拡張およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264とを含む。
[0028]加えて、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)が、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって開発されている。以下で「HEVC WD」と呼ばれる、最新のHEVCドラフト仕様は、http://phenix.int−evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC−O1003−v1.zipから入手可能である。HEVCのマルチビュー拡張、すなわち、MV−HEVCと、より高度な3Dビデオコーディングのための別のHEVC拡張(3D−HEVC)とは、JCT−3Vによって開発されており、一方、HEVCのスケーラブルビデオコーディング拡張、すなわち、SHVCは、JCT−VCによって開発されている。以下でMV−HEVC WD5と呼ばれる、MV−HEVCの最近のワーキングドラフト(WD)は、http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V−F1004−v6.zipから入手可能である。以下で3D−HEVC WD1と呼ばれる、3D−HEVCの最新のWDは、http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/6_Geneva /wg11/JCT3V−F1001−v3.zipから入手可能である。以下でSHVC WD3と呼ばれる、SHVCの最近のワーキングドラフト(WD)は、http://phenix.it−sudparis.eu/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC−O1008−v3.zipから入手可能である。
[0029]スケーラブルビデオコーディング(SVC)は、(信号対雑音(SNR)とも呼ばれる)品質スケーラビリティ、空間スケーラビリティ、および/または時間スケーラビリティを実現するために使用され得る。たとえば、一実施形態では、参照レイヤ(たとえば、ベースレイヤ)は、第1の品質レベルでビデオを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤは、参照レイヤと比べてさらなるビデオ情報を含み、その結果、参照レイヤおよびエンハンスメントレイヤは一緒に、第1のレベルよりも高い第2の品質レベル(たとえば、より少ない雑音、より高い分解能、より良いフレームレートなど)でビデオを表示するのに十分なビデオ情報を含む。エンハンストレイヤは、ベースレイヤとは異なる空間分解能を有し得る。たとえば、ELとBLとの間の空間アスペクト比は、垂直方向および水平方向において1.0、1.5、2.0または他の異なる比であり得る。言い換えれば、ELの空間アスペクトは、BLの空間アスペクトの1.0倍、1.5倍、または2.0倍に等しくなり得る。いくつかの例では、ELのスケーリングファクタは、BLよりも大きくなり得る。たとえば、EL中のピクチャのサイズは、BL中のピクチャのサイズよりも大きくなり得る。このようにして、限定ではないが、ELの空間分解能がBLの空間分解能よりも大きいことが考えられ得る。
[0030](上記で説明したように)H.264のためのSVC拡張またはH.265のためのSHVC拡張を指すSVCでは、現在ブロックの予測は、SVCに提供される異なるレイヤを使用して実行され得る。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにSVCにおいて利用され得る。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測があり得る。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートされたブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動きを予測するために、ベースレイヤの(動きベクトルを含む)動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。
概観
[0031]SHVCでは、参照レイヤピクチャサイズがエンハンスメントレイヤピクチャサイズとは異なる場合、レイヤ間予測のためのエンハンスメントレイヤピクチャのサイズを一致させるために、リサンプリング(またはアップサンプリング)プロセスが参照レイヤピクチャに適用され得る。参照レイヤピクチャをリサンプリングするために、Nタップリサンプリングフィルタが色成分ごとに適用され得る。フィルタ処理プロセスでは、参照レイヤピクチャのサンプル(またはピクセル)絶対値は、フィルタ係数で乗算され、合計され得る。参照レイヤピクチャのサイズとエンハンスメントレイヤピクチャのサイズが異なるので、フィルタ処理プロセスに関与する参照レイヤサンプルの座標が定義され得る。たとえば、現在エンハンスメントレイヤピクチャのサンプルロケーションに対応する参照レイヤピクチャのサンプルロケーションは、参照レイヤピクチャのサンプルロケーションによって示されるサンプルがリサンプリングプロセスにおいて使用され得るように決定され得る。
[0032]高レベルシンタックス専用(HLS(high level syntax)専用)スケーラブルビデオコーディングは、低レベルの変更をHEVCコーディング仕様に導入することなしに、参照レイヤからのビデオブロックを使用して現在レイヤ中のビデオブロックが予測されることを可能にする。たとえば、HLS専用SVCは、現在レイヤの同じアクセスユニットからの参照レイヤとともに既存のインターコーディング技法を使用することによって、そのようなコーディングを可能にする。いくつかの技法は、レイヤ間コーディングにおいて使用可能な複数の参照レイヤが識別されることを可能にし得る。
[0033]いくつかの実装形態では、SHVCは、H.264/AVCに基づいてコーディングされたフィールドピクチャを含んでいるベースレイヤを用いたスケーラブルビデオコーディングをサポートしないが、エンハンスメントレイヤは、SHVCに基づいてコーディングされたフレームピクチャを含む。しかしながら、H.264/AVC 1080iビットストリームが広く使用され得るので、たとえば、ブロードキャスティングにおいて、SHVCでは1080iから1080pへの移行が使用され得る。加えて、これは、ベースレイヤがYUV420フォーマットを有し、隣接するレイヤがYUV422またはYUV444色フォーマットを有するなど、異なるレイヤが別個の色フォーマットを有するときに有用でもある。それらの機能をサポートするために、SHVCのアップサンプリングプロセスが修正され得る。
ビデオコーディングシステム
[0034]図1は、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム10を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0035]図1に示すように、ビデオコーディングシステム10は、ソースデバイス12と宛先デバイス14とを含む。ソースデバイス12は、符号化ビデオデータを生成する。宛先デバイス14は、ソースデバイス12によって生成された符号化ビデオデータを復号し得る。ソースデバイス12は、コンピュータ可読記憶媒体または他の通信チャネルを含み得る通信チャネル16を介してビデオデータを宛先デバイス14に与えることができる。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォン、いわゆる「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータ、ビデオストリーミングデバイスなどを含む広範囲のデバイスを含み得る。ソースデバイス12および宛先デバイス14は、ワイヤレス通信に対応し得る。
[0036]宛先デバイス14は、通信チャネル16を介して、復号されるべき符号化ビデオデータを受信し得る。通信チャネル16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能なタイプの媒体またはデバイスを備え得る。たとえば、通信チャネル16は、ソースデバイス12が符号化ビデオデータを宛先デバイス14にリアルタイムで直接送信することを可能にする通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などのワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするために有用であり得る他の機器を含み得る。
[0037]いくつかの実施形態では、符号化データは、出力インターフェース22からストレージデバイスに出力され得る。そのような例では、チャネル16は、ソースデバイス12によって生成された符号化ビデオデータを記憶するストレージデバイスまたはコンピュータ可読記憶媒体に対応し得る。たとえば、宛先デバイス14は、ディスクアクセスまたはカードアクセスを介してコンピュータ可読記憶媒体にアクセスし得る。同様に、符号化データは、入力インターフェース28によってコンピュータ可読記憶媒体からアクセスされ得る。コンピュータ可読記憶媒体は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、またはビデオデータを記憶するための他のデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。コンピュータ可読記憶媒体は、ソースデバイス12によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、コンピュータ可読記憶媒体から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む標準のデータ接続を介して、符号化ビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。コンピュータ可読記憶媒体からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。
[0038]本開示の実施形態は、ワイヤレス適用例または設定に加えて適用例または設定を適用することができる。実施形態は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のaをサポートするビデオコーディングに適用され得る。いくつかの実施形態では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向ビデオ送信をサポートするように構成され得る。
[0039]図1では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。ソースデバイス12のビデオエンコーダ20は、複数の規格または規格拡張に準拠するビデオデータを含むビットストリームをコーディングするための技法を適用するように構成され得る。他の実施形態では、ソースデバイス12および宛先14デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部ビデオソース18からビデオデータを受信し得る。同様に、宛先デバイス14は、集積ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0040]ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。ビデオソース18は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成し得る。いくつかの実施形態では、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオ情報は、上記で説明したように、出力インターフェース22によって、コンピュータ可読記憶媒体を含み得る通信チャネル16に出力され得る。
[0041]コンピュータ可読記憶媒体は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(たとえば、非一時的記憶媒体)を含み得る。ネットワークサーバ(図示せず)は、ソースデバイス12から符号化ビデオデータを受信し、(たとえば、ネットワーク送信を介して)符号化ビデオデータを宛先デバイス14に与え得る。ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。したがって、通信チャネル16は、様々な形態の1つまたは複数のコンピュータ可読記憶媒体を含むものと理解され得る。
[0042]宛先デバイス14の入力インターフェース28は、通信チャネル16から情報を受信することができる。通信チャネル16の情報は、ビデオエンコーダ20によって定義され、ビデオデコーダ30によって使用され得る、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ(GOP)の特性および/または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス32は、ユーザに復号ビデオデータを表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを含み得る。
[0043]エンコーダ20およびビデオデコーダ30は、高効率ビデオコーディング(HEVC)規格などのビデオコーディング規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG4、Part10、アドバンストビデオコーディング(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格もしくは業界規格、またはそのような規格の拡張に従って動作し得る。ただし、本開示の実施形態は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、MPEG−2およびITU−T H.263がある。図1Aには示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0044]図1はビデオコーディング/復号システムの一例であり、本開示の実施形態は、符号化デバイスと復号デバイスとの間の任意のデータ通信を必ずしも含むとは限らないビデオコーディング設定(たとえば、ビデオ符号化またはビデオ復号)に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化デバイスはデータを符号化してメモリに記憶し得、および/または、復号デバイスはメモリからデータを取り出して復号し得る。多くの例では、符号化および復号は、互いに通信しないが、単にメモリにデータを符号化するおよび/またはメモリからデータを取り出して復号するデバイスによって実行される。
[0045]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のプロセッサまたはマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、あるいはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を非一時的コンピュータ可読媒体に記憶し、本開示の実施形態を実行するために1つまたは複数のプロセッサを使用してハードウェアでそれらの命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダに含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
スケーラブルビデオコーディング(SVC)のコーディング構造
[0046]図2は、異なる次元におけるスケーラビリティの一例を示す図である。スケーラビリティは、上記で説明したように、符号化された、またはエンコーダ21からデコーダ31に転送されたデータに適用され得る。図示のように、スケーラビリティは、3次元、すなわち、時間、空間、および品質または信号対雑音比(SNR)において有効化される。一実装形態では、水平(x)軸に沿った時間次元によって示される時間スケーラビリティ(T)は、図示のように、様々なフレームレート、たとえば、7.5Hz、15Hzまたは30Hzをサポートし得る。垂直(y)軸は、空間スケーラビリティ(S)、たとえば、スクリーンサイズを示す。一実装形態では、空間スケーラビリティは、たとえば、共通中間フォーマット(CIF:Common Intermediate Format)、1/4共通中間フォーマット(QCIF:Quarter Common Intermediate Format)、および4×1/4共通中間フォーマット(4CIF:Four Quarter Common Intermediate Format)などの異なる分解能をサポートする。特定の空間分解能およびフレームレートごとに、ピクチャ品質を改善するためにSNR(Q)レイヤが追加され得る。図示のように、SNRはz軸に沿って表される。
[0047]SVCは、1つまたは複数のサブセットビットストリームも含んでいる高品質ビデオビットストリームの符号化を規格化する。サブセットビデオビットストリームは、サブセットビットストリームに必要とされる帯域幅を低減するために、より大きいビデオビットストリームからパケットをドロップすることによって、導出され得る。サブセットビットストリームは、より低い空間分解能(より小さいスクリーン)、より低い時間分解能(より低いフレームレート)、またはより低い品質のビデオ信号を表すことができる。ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、たとえば、クライアントまたは送信チャネルに依存し得るアプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、デコーダにおける抽出器ツールが使用され得る。非限定的な例として、これは、モバイルデバイス上での超高分解能の送信から抽出されたビデオのより低い分解能バージョンをユーザが閲覧することを可能にし得る。
[0048]図2に示す例では、複数の立方体105が示されており、T値、S値、およびQ値に基づいて分散されている。図示のように、図面の明確さを保つために、立方体105aおよび105bのみが標示されている。
[0049]立方体105の各々は、同じフレームレート(たとえば、時間レベル)と、空間分解能と、SNRレイヤとを有するピクチャまたはビデオを表す。符号化レイヤに応じてT、S、およびQの値(たとえば、0,0,0)を有する立方体105の各々が示されている。たとえば、立方体105aは、3つのスケーラビリティの各々についてシングルレイヤ(たとえば、ベースレイヤ、またはレイヤ0)を示すT0,S0,Q0を有する。別の非限定的な例として、Tにおける第2のレイヤと、Sにおける第3のレイヤと、Qにおけるベースレイヤとを示す、「T1,S2,Q0」として注釈が付けられた立方体105b。
[0050]立方体105によって記述されるコード化画像またはビデオのより良い表現は、3つの例示的な次元のうちのいずれかにおいてさらなる立方体105(ピクチャ)を追加することによって達成され得る。2つ、(図示のように)3つまたはさらに多くのスケーラビリティが実装されるとき、複合スケーラビリティがサポートされ得る。
[0051]一般に、最も低い空間レイヤと品質レイヤとを有するピクチャは、シングルレイヤのビデオコーデックと互換性があり、立方体105aなどの最も低い時間レベルにあるピクチャは、より高い時間レベルにあるピクチャで拡張され得る時間ベースレイヤを形成する。ベースレイヤに加えて、さらなる空間スケーラビリティおよび/または品質スケーラビリティを実現するために、いくつかの空間および/またはSNRエンハンスメントレイヤ(EL)が追加され得る。上述のように、SNRスケーラビリティは品質(Q)スケーラビリティと呼ばれることもある。各空間エンハンスメントレイヤまたはSNRエンハンスメントレイヤは、ベースレイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。1つの空間エンハンスメントレイヤまたはSNRエンハンスメントレイヤの場合、それが依存する下位レイヤは、その特定の空間エンハンスメントレイヤまたはSNRエンハンスメントレイヤのベースレイヤ(BL)とも呼ばれる。
[0052]図3は、SVCコーディング構造の一例を示す。そのようなコーディング構造は、本明細書で開示するようなエンコーダ21またはデコーダ31によって実装され得る。図示のように、ベースレイヤ302は、最も低い空間レイヤと品質レイヤと(たとえば、QCIF分解能と、7.5Hzのフレームレートと、64Kbpsのビットレートとを有する、図2のレイヤ0およびレイヤ1中のピクチャを有し得る。少なくとも1つの実装形態では、QCIF画像またはビデオは、幅176ピクセルおよび高さ144ピクセル(176×144ピクセル)である。1/4CIFという名称はQCIFと書かれ、分解能はCIF分解能のサイズ(352×288ピクセル)の4分の1である。QCIFはCIF、QVGA、およびVGAよりも小さい。
[0053]最も低い時間レベルのそれらのピクチャは、図3のレイヤ0に示すように、時間ベースレイヤ302を形成する。ベースレイヤ302(および以下で説明する後続のエンハンスメントレイヤ)は、圧縮プロトコルに応じて、複数のコード化スライスまたはフレームを含み得る。レイヤ0 302は、iフレーム「I0」で始まる一連のフレームを含み得る。フレームI0は、本明細書ではフレーム320aと呼ばれることもある。図示のように、フレーム320aは、たとえば、Iフレーム、またはイントラコード化ピクチャである。したがって、後続のフレーム320b〜320fは、画像データを符号化するために、B(双予測ピクチャ)フレームまたはPフレーム(予測ピクチャ)を含み得る。
[0054]時間ベースレイヤ302(レイヤ0)は、レイヤ1 304(第2のレイヤ)などのより高い時間レベルのピクチャで拡張され、フレームレートを15Hzに、ビットレートを96Kbpsに増加し得る。ベースレイヤ302に加えて、空間スケーラビリティおよび/または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび/またはSNRエンハンスメントレイヤが追加され得る。たとえば、256Kbpsの増加したビットレートを有するとともにレイヤ1 304の場合と同じ空間分解能(CIF)を維持するエンハンスメントレイヤ2 306が追加され得る。
[0055]いくつかの実装形態では、レイヤ2 304と同じ分解能を有する画像データのCIF表現として、レイヤ2 308(第3のレイヤ)がさらに追加され得る。図3の例では、レイヤ3 308はSNRエンハンスメントレイヤであり得る。この例に示すように、各空間エンハンスメントレイヤまたはSNRエンハンスメントレイヤ306、308は、ベースレイヤ302と同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。
[0056]いくつかの実装形態では、エンハンスメントレイヤは、空間分解能とフレームレートの両方を向上させることができる。図示のように、レイヤ3 310(第4のレイヤ)は、4CIFエンハンスメントレイヤを与えることができ、4CIFエンハンスメントレイヤは、フレームレートを15Hzから30Hzにさらに増加し、たとえば、送信されるスライスまたはフレームの数を倍増する。4CIFは、一般に、CIFのサイズの4倍、すなわち、704×576ピクセルであるものとして定義され得る。
[0057]図4はビットストリーム中の複数のアクセスユニット(AU)のグラフ表現。図示のように、複数のAU405は、図3に関して説明したコード化スライス320から形成され得る。同じ時間インスタンス中のコード化スライス320の各々は、ビットストリームの順序で連続しており、SVCのコンテキストにおける1つのアクセスユニット405を形成する。次いで、それらのSVCアクセスユニット405は、表示順序とは異なり得る復号順序に従う。復号順序はさらに、たとえば、AU405内のスライス320間の時間予測の関係によって決定され得る。
HEVC SVC拡張−高レベルシンタックス専用SHVC
[0058]高レベルシンタックス専用SHVCなどのいくつかの実装形態では、HEVCシングルレイヤコーディングと比較されると、新しいブロックレベルのコーディングツールは存在しない。図5Aおよび図5Bの2レイヤSHVCエンコーダにおいて以下に示すものなどの本手法では、スライスおよび上位レベルシンタックスの変更ならびにピクチャフィルタ処理またはアップサンプリングなどのピクチャレベルの動作が望ましい。
[0059]パラメータセット、参照ピクチャ管理シンタックス、および補足エンハンスメント情報(SEI)メッセージなど、ビットストリームの構造を記述するか、または複数のピクチャもしくはピクチャ内の複数のコード化ブロック領域に適用される情報を提供するシンタックス要素は、HEVCの「高レベルシンタックス」部分として知られている。
[0060]高レベルシンタックスは、さらなる処理のためにコード化ビデオのカプセル化を実現する。高レベルシンタックスは、ビットストリームの構造ならびにビットストリームのピクチャの1つまたは複数のスライス全体に適用される高レベル情報のシグナリングを含む。いくつかの実装形態では、高レベルシンタックスは、コーディングツールが利用され得るビデオの空間分解能を示し、ビットストリームのいくつかのランダムアクセス機能を記述する。シンタックス要素のシグナリングに加えて、シンタックス要素に関連付けられた高レベルツール復号プロセスはまた、高レベルシンタックスに含まれると見なされる。たとえば、高レベルシンタックス復号プロセスは、参照ピクチャ管理と、復号ピクチャの出力とを含み得る。
[0061]レイヤ間の冗長性を低減するために、アップサンプリングされコロケートされた参照レイヤピクチャ(たとえば、レイヤ間参照(ILR)ピクチャ)は、レイヤ間予測が同じレイヤ中のフレーム間予測と同じ方法で達成されるように、エンハンスメントレイヤの参照バッファ(たとえば、以下で説明する参照フレームメモリ)などのメモリまたはメモリユニットに入れられ得る。いくつかの実装形態では、ILRピクチャは、長期参照ピクチャとしてマークされ得る。レイヤ間参照の動きベクトル差分は、0に制約され得る。
[0062]図5Aは、マルチレイヤビデオエンコーダの機能ブロック図である。図示のように、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ(「ビデオエンコーダ」または「エンコーダ」)21。ビデオエンコーダ21は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ21は、本開示の実施形態のいずれかまたはすべてを実行するように構成され得る。
[0063]ビデオエンコーダ21はビデオエンコーダ20aとビデオエンコーダ20bとを含み、それらの各々は図1Aのビデオエンコーダ20として構成され、また参照番号の再利用によって示され得る。ビデオエンコーダ21は、2つのビデオエンコーダ20Aおよび20Bを含むものとして示されているが、ビデオエンコーダ21は、任意の数のビデオエンコーダ20レイヤを含み得る。いくつかの実施形態では、ビデオエンコーダ21は、アクセスユニット405(図4)中のピクチャまたはフレームごとにビデオエンコーダ20を含み得る。たとえば、4つのピクチャを含むアクセスユニット405は、4つのエンコーダレイヤ20を含むビデオエンコーダによって処理または符号化され得る。いくつかの実施形態では、ビデオエンコーダ21は、アクセスユニット(たとえば、アクセスユニット405)中のフレームよりも多くのエンコーダレイヤを含み得る。いくつかのそのような場合では、ビデオエンコーダレイヤのいくつかは、いくつかのアクセスユニット405を処理するときに非アクティブであり得る。
[0064]図5Aのエンコーダ20a、20b(総称して、「ビデオエンコーダ20」)はそれぞれ、コーデックのシングルレイヤを示す。ただし、ビデオエンコーダ20のいくつかまたはすべては、マルチレイヤコーデックによる処理のために複製され得る。
[0065]ビデオエンコーダ20は、ビデオスライス内のビデオブロックの(イントラコーディング、インターコーディングまたはレイヤ間コーディングとも呼ばれる)イントラレイヤ予測とレイヤ間予測とを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間予測に依拠する。レイヤ間コーディングは、同じビデオコーディングシーケンス内の異なるレイヤ内のビデオに基づく予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測(Pモード)または双予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
[0066]図5Aに示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図示の実装形態では、ビデオエンコーダ20は、モード選択ユニット40と、参照フレームメモリ(「RFM」)64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。モード選択ユニット40は、動き補償ユニットと、動き推定ユニットと、イントラ予測ユニットと、レイヤ間予測ユニットと、区分ユニットとを含み得る。簡潔にするために個々の構成要素は図示されていないが、それらの個々の機能について、モード選択ユニット40に関して説明する。
[0067]RFM64は、復号ピクチャバッファ(「DPB」)を含み得る。DPBは、それの通常の意味を有する広義の用語であり、いくつかの実施形態では、参照フレームのビデオコーデック管理型データ構造を指す。RFM64は、破線で標示されたILRピクチャ65を記憶するようにさらに構成され得る。ILRピクチャ65は、レイヤ間予測の参照をもたらし得る。
[0068]ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換ユニット60と、加算器62とを含み得る。いくつかの実装形態では、再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するためのデブロッキングフィルタ(図5Aに図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは加算器62の出力をフィルタ処理し得る。デブロッキングフィルタに加えて、追加のフィルタ(ループ内またはループ後)も使用され得る。簡潔にするために、そのようなフィルタは示されていないが、実装された場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
[0069]符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスなど、いくつかのビデオデータ23を受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。モード選択ユニット40の機能としての動き推定ユニットおよび動き補償ユニットは、時間予測を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行し得る。イントラ予測ユニットは、代替的に、空間予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ20a、20bは、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
[0070]加えて、モード選択ユニット40内の区分ユニットも、前のコーディングパスの前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。
[0071]ビデオエンコーダ20aおよび20bに加えて、ビデオエンコーダ21はリサンプリングユニット90を含み得る。リサンプリングユニット90は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット90は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット90は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット90は受信されたビデオを処理しないことがある、および/または随意であり得る。たとえば、場合によっては、モード選択ユニット40がアップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット90は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタ走査ルールのセットに準拠するように1つまたは複数のスライスを再編成、再定義、修正、または調整することとを行うように構成される。アクセスユニット405(図4)中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット90はレイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。リサンプリングユニット90は、クロッピング操作および/またはパディング操作も実行するようにさらに構成され得る。
[0072]リサンプリングユニット90は、下位レイヤエンコーダ20aのRFM64からピクチャ(たとえば、ILRピクチャ65)またはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。いくつかの実施形態では、受信されたピクチャは、RFM64内に記憶されたレイヤ間参照ピクチャである。次いで、アップサンプリングされたピクチャは、下位レイヤエンコーダと同じアクセスユニット中のピクチャを符号化するように構成された上位レイヤエンコーダ20bのモード選択ユニット40に与えられ得る。場合によっては、上位レイヤエンコーダ20bは、下位レイヤエンコーダ20aから除去された1つのレイヤである。他の場合には、図5Aのレイヤ0ビデオエンコーダ20sとレイヤ1エンコーダ20bとの間に1つまたは複数の上位レイヤエンコーダ20bがあり得る。
[0073]場合によっては、リサンプリングユニット90は省略またはパイパスされ得る。そのような場合、ビデオエンコーダ20aのRFM64a(たとえば、ILRピクチャ65a)からのピクチャは、直接、または少なくともリサンプリングユニット90に与えられることなしに、ビデオエンコーダ20bのモード選択ユニット40bに与えられ得る。たとえば、ビデオエンコーダ20bに与えられたビデオデータおよびビデオエンコーダ20aの復号ピクチャバッファ64aからの参照ピクチャが同じサイズまたは分解能である場合、参照ピクチャは、いかなるリサンプリングも伴わずにビデオエンコーダ20bに与えられ得る。
[0074]いくつかの実施形態では、ビデオエンコーダ21は、ビデオデータをビデオエンコーダ20aに与える前に、ダウンサンプリングユニット94を使用して下位レイヤエンコーダに与えられるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット94は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット90であり得る。また他の実施形態では、ダウンサンプリングユニット94は省略され得る。
[0075]図5Aに示すように、ビデオエンコーダ21は、マルチプレクサ(「mux」)98をさらに含み得る。mux98は、ビデオエンコーダ21から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ20aおよび20bの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって作成され得る。場合によっては、2つの(または、3つ以上のビデオエンコーダレイヤの場合には、より多くの)ビットストリームからのビットが一度に1ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成される。
[0076]図5Bは、マルチレイヤビデオデコーダの機能ブロック図である。図示のように、マルチレイヤデコーダ(「デコーダ」または「ビデオデコーダ」)31は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ31は、本開示の実施形態のいずれかまたはすべてを実行するように構成され得る。
[0077]いくつかの実装形態では、ビデオデコーダ31は、ビデオデコーダ30aとビデオデコーダ30bとを含み、それらの各々は図1Aのビデオデコーダ30として構成され得る。さらに、参照番号の再利用によって示すように、ビデオデコーダ30aおよび30bは、ビデオデコーダ30としてのシステムおよびサブシステムのうちの少なくともいくつかを含み得る。ビデオデコーダ31は、2つのビデオデコーダ30aおよび30bを含むものとして示されているが、ビデオデコーダ31は、任意の数のビデオデコーダ30レイヤを含み得る。いくつかの実施形態では、ビデオデコーダ31は、アクセスユニット405(図4)中のピクチャまたはフレームごとにビデオデコーダ30を含み得る。たとえば、4つのピクチャを含むアクセスユニット405は、4つのデコーダレイヤを含むビデオデコーダによって処理または復号され得る。いくつかの実施形態では、ビデオデコーダ31は、アクセスユニット405中のフレームよりも多くのデコーダレイヤを含み得る。いくつかのそのような場合では、ビデオデコーダレイヤのいくつかは、いくつかのアクセスユニット、たとえば、アクセスユニット405d、405eを処理するときに非アクティブであり得る。
[0078]ビデオデコーダ31は、アップサンプリングユニット92をさらに含み得る。いくつかの実施形態では、アップサンプリングユニット92は、フレームまたはアクセスユニット405のための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは、参照フレームメモリ(「RFM」)82に(たとえば、それの復号ピクチャバッファなどに)記憶され得る。いくつかの実施形態では、アップサンプリングユニット92は、図5Aのリサンプリングユニット90に関して説明した実施形態のいくつかまたはすべてを含むことができる。いくつかの実施形態では、アップサンプリングユニット92は、レイヤをアップサンプリングすることと、スライス境界ルールおよび/またはラスタ走査ルールのセットに準拠するように1つまたは複数のスライスを再編成、再定義、修正、または調整することとを行うように構成される。場合によっては、アップサンプリングユニット92は、受信されたビデオフレームのレイヤをアップサンプリングおよび/またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。RFM82は、ILRピクチャ65と同様のILRピクチャ83を記憶するようにさらに構成され得る。ILRピクチャ83は、RFM82内のそれのストレージを示す破線で示されている。ILRピクチャ83は、上記で説明したようにレイヤ間予測においてさらに利用され得る。
[0079]アップサンプリングユニット92は、下位レイヤデコーダ(たとえば、ビデオデコーダ30a)のRFM82からピクチャまたはフレーム(またはピクチャに関連付けられたピクチャ情報)を受信し、ピクチャ(または受信されたピクチャ情報)をアップサンプリングするように構成され得る。次いで、このアップサンプリングされたピクチャ(たとえば、ILRピクチャ83a)は、下位レイヤデコーダと同じアクセスユニット405中のピクチャを復号するように構成された上位レイヤデコーダ(たとえば、ビデオデコーダ30b)のモード選択ユニット71bに与えられ得る。場合によっては、上位レイヤデコーダ30bは、下位レイヤデコーダ30aから除去された1つのレイヤである。他の場合には、レイヤ0デコーダ30aとレイヤ1デコーダ30bとの間に1つまたは複数の上位レイヤデコーダがあり得る。
[0080]場合によっては、アップサンプリングユニット92は省略またはパイパスされ得る。そのような場合、ビデオデコーダ30aのRFM82aからのピクチャ(たとえば、ILRピクチャ83a)は、直接、または少なくともアップサンプリングユニット92に与えられることなしに、ビデオデコーダ30bのモード選択ユニット71bに与えられ得る。たとえば、ビデオデコーダ30bに与えられたビデオデータおよびビデオデコーダ30aのRFM82からの参照ピクチャが同じサイズまたは分解能である場合、参照ピクチャは、アップサンプリングを伴わずにビデオデコーダ30bに与えられ得る。さらに、いくつかの実施形態では、アップサンプリングユニット92は、ビデオデコーダ30aのRFM82から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット90であり得る。
[0081]ビデオデコーダ31は、デマルチプレクサ(「demux」)99をさらに含み得る。demux99は、多重化または符号化ビデオビットストリームを複数のビットストリームに分割することができ、demux99によって出力された各ビットストリームは、異なるビデオデコーダ30aおよび30bに与えられる。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ30aおよび30bの各々は、所与の時間においてビットストリームの一部分を受信する。
SHVCにおけるリサンプリングプロセス
[0082]空間スケーラビリティのいくつかの実装形態では、ベースレイヤピクチャおよびエンハンスメントレイヤピクチャは異なるサイズまたは分解能を有し得る。たとえば、2X(2倍)空間スケーラビリティでは、ベースレイヤピクチャの幅はエンハンスメントレイヤピクチャの幅の半分であり、ベースレイヤピクチャの高さはエンハンスメントレイヤピクチャの高さの半分である。一例では、ベースレイヤシーケンスは、元のシーケンスのダウンサンプリングを適用することによって生成され得る。そのような一実装形態では、エンハンスメントレイヤシーケンスは元のシーケンスであり得る。レイヤ間テクスチャ予測を実行するために、アップサンプリングが再構成されたベースレイヤピクチャに適用され得る。そのようなプロセスまたは方法は、たとえば、ILRピクチャ65(図5A)またはILRピクチャ83(図5B)のうちの1つに適用され得る。
[0083]リサンプリングフィルタは、異なるサンプリングロケーションにおいてダウンサンプリングし得る。ルーマダウンサンプリングについて、以下の図6および図7に2つのサンプリングロケーションが示されている。一般に図6、図7、および図8において参照するように、図はベースレイヤピクチャおよびエンハンスメントレイターピクチャの例示的なピクセルロケーションを示している。別段に説明しない限り、エンハンスメントレイヤピクセルは白の方形によって示されるが、ベースレイヤピクセルは黒の円によって示される。
[0084]図6は、エンハンスメントレイヤルーマサンプルの対称的なダウンサンプリングのグラフ表現である。図示のように、アレイ600は、ピクセルの対応するセットからより低い空間分解能にダウンサンプリングされた複数のエンハンスメントレイヤルーマサンプル602を含む。例示的なアレイ600は、エンハンスメントレイヤルーマサンプル602の4×4アレイを含む。その場合、ダウンサンプリングされたエンハンスメントレイヤルーマサンプル602の分解能は、複数のベースレイヤルーマサンプル610によって示されるように、名目上、分解能の4分の1(たとえば、垂直分解能の半分および水平分解能の半分)である。ベースレイヤルーマサンプル610は、2×2アレイ605で示されている。アレイ605は、破線矢印とベースレイヤルーマサンプル610を含む点線ボックスとによって示されている。
[0085]図6では、エンハンスメントレイヤルーマサンプル602の4×4アレイ600は、エンハンスメントレイヤから、たとえば、エンハンスメントレイヤ306、308、310(図3)のうちの1つから導出され得る。図示の実装形態では、エンハンスメントレイヤルーマサンプル602の4×4アレイは、ベースレイヤ中の2×2アレイ605にダウンサンプリングされる。
[0086]いくつかの実装形態では、2つのアレイ600、605は、同じ中心位置620を有し得る。その結果、ダウンサンプリングされた2×2アレイ605は、エンハンスメントレイヤルーマサンプル602からのある一定の位相オフセット650を個々に有し得るベースレイヤルーマサンプル610を含み得る。図示のように、位相オフセット650は、水平成分650aと、垂直成分650bとを有し得る。水平成分650aおよび垂直成分650bは、本明細書ではまとめて「位相」、「オフセット」、または「位相オフセット」と呼ばれることがある。「位相」または「位相オフセット」について、他の例におけるルーマ参照およびクロマ参照を参照しながら以下で説明する。
[0087]図6に示す4分の1分解能ダウンサンプリングでは、ベースレイヤルーマサンプル610は、4つの周囲のエンハンスメントレイヤルーマサンプル602の中間に配置され得る。たとえば、ダウンサンプリングされたルーマサンプル610aは、エンハンスメントレイヤルーマサンプル602a、602b、602e、602fによって囲まれている。したがって、この場合、位相オフセット650は、たとえば、エンハンスメントレイヤルーマサンプル602aから参照される、隣接するピクセル間の距離の半分であり得る。したがって、ベースレイヤルーマサンプル610は、4つの周囲のエンハンスメントレイヤピクセル602a、602b、602e、602fの平均または中間の値または位置を有し得る。
[0088]図7は、0位相ダウンサンプリングのグラフ表現である。図示のように、複数のエンハンスメントレイヤルーマサンプル602はやはり、4×4アレイ700中に示されている。ただし、図7では、エンハンスメントレイヤ中の左上ルーマサンプル602aと左上ベースレイヤルーマサンプル710aとの間の空間距離、または位相(たとえば、位相オフセット650)は0(0)である。「位相」という用語は一般に、エンハンスメントレイヤ中の左上サンプルとベースレイヤ中の左上サンプルとの間の空間距離を指し、したがって、「0位相」という用語である。図7によって説明される実装形態は2Xダウンサンプリングであるので、ベースレイヤルーマサンプル710bも、エンハンスメントレイヤルーマサンプル602cと一致する。したがって、中心位置(たとえば、図6の中心位置620)は中心位置750に移動し、中心位置750はまた、エンハンスメントレイヤルーマサンプル602fとコロケートされる。
[0089]上記の図6および図7ならびに以下の図8に関して説明する実装形態などのいくつかの実装形態では、正方形は、エンハンスメントレイヤピクセルから取られたルーマサンプル602、702のロケーションを示すが、円形は、最終的にベースレイヤピクチャを形成し得るダウンサンプリングされたピクセルのロケーションを示す。
[0090]図8は、0位相ダウンサンプリングにおけるアップサンプリングロケーションの一実装形態のグラフ表現である。図示のように、複数のピクセル802を含む4×4アレイ800は、ルーマサンプル602(図6)およびルーマサンプル702(図7)と同様の方法で示されている。
[0091]いくつかの実装形態では、送信されているイメージ画像を正確に再作成するために、復号およびアップサンプリングプロセスにおいてピクセルごとのダウンサンプリングロケーションおよび位相情報が必要とされる。たとえば、図7に示す0位相ダウンサンプリングでは、エンハンスメントレイヤピクセル802a、802bも、ベースレイヤピクセル710(たとえば、図7においてダウンサンプリングされたピクセル)からアップサンプリングされる必要があり得る。ピクセル802aおよびピクセル710aがコロケートされているので、ピクセル802aを生成するためのアップサンプリングフィルタの位相は0(0)である。しかしながら、位相650と同様に、ピクセル802bはピクセル710aとピクセル710bの中間点にあるので、ピクセル802bを生成するためのアップサンプリングフィルタにおいて、距離の半分の位相850が適用されなければならない。
[0092]したがって、いくつかの実装形態では、0位相ダウンサンプリングフィルタを用いた2X空間スケーラビリティは、アップサンプリングフィルタのいくつかのピクセル802aの0位相と、ピクセル802bの1/2位相850とをもたらす。以下で説明するように、各ピクセルの位相850、ルーマサンプル、および/またはクロマサンプルが必要とされ得る。
[0093]再び図6を手短に参照すると、図8の説明と同様の方法が対称的なダウンサンプリングに適用され得る。たとえば、対称的なダウンサンプリングにおける2X空間スケーラビリティは、ルーマサンプル610のアレイをアップサンプリングするために、異なる位相オフセット(たとえば、位相650、850)をビー必要とし得る。特に、ベースレイヤルーマサンプル610から生じたピクセルロケーションを考慮すると、エンハンスメントレイヤピクセル(たとえば、エンハンスメントレイヤルーマサンプル602a)にアップサンプリングするために、垂直方向と水平方向の両方における4分の1および4分の3の位相オフセットがそれぞれ、必要とされ得る。たとえば、ルーマサンプル602bは、ルーマサンプル610aとルーマサンプル610bとの間の距離の4分の1である。同様に、ルーマサンプル602cは、ルーマサンプル610aからルーマサンプル610bまでの距離の4分の3である。同じ測定が垂直位相と水平位相とに適用され、対称位相ダウンサンプリングされたピクセルからのアップサンプリングを可能にし得る。
[0094]上述のように、SHVCでは、参照レイヤピクチャサイズがエンハンスメントレイヤピクチャサイズとは異なる場合、レイヤ間予測のためのエンハンスメントレイヤピクチャのサイズを一致させるために、リサンプリング(またはアップサンプリング)プロセスが参照レイヤピクチャに適用され得る。参照レイヤピクチャをリサンプリングするために、Nタップリサンプリングフィルタが色成分ごとに適用され得る。「N」は一般に、送信されたビデオに適用されるコーデック内のレイヤの数を指し得る。たとえば、8つ(8)のタップフィルタは、それぞれのコーデック中に8つのエンコーダ/デコーダレイヤを有し得る。これは表1において以下でより詳細に説明される以下のセクションでは、所与のリサンプリングプロセスのためのいくつかのシンタックスおよび復号プロセスについて説明する。いくつかの実装形態では、SHVCにおけるリサンプリングプロセスのためのシンタックスおよび復号プロセスは、次のとおりであり得る。(たとえば、ワーキングドラフトhttp://phenix.it−sudparis.eu/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC−O1008−v3.zipを参照されたい)。
ビデオパラメータセット拡張シンタックス
[0095]以下の説明は、アップサンプリングビデオデータおよびダウンサンプリングビデオデータ(たとえば、SHVCデータ)に関するプロセス中に実装されるクロスレイヤ位相整合フラグ、たとえば、シンタックス要素「cross_layer_phase_alignment_flag」に関する。いくつかの実施形態では、cross_layer_phase_alignment_flagは、バイナリ値、たとえば、0(0)または1(1)を有するように制限され得る。
ビデオパラメータセット拡張セマンティクス
[0096]いくつかの実施形態では、1に等しいcross_layer_phase_alignment_flagは、図6に示すように、すべてのレイヤのルーマサンプルグリッドのロケーションがピクチャの中心サンプル位置において整合されることを指定し得る。他の実施形態では、0に等しいcross_layer_phase_alignment_flagは、図7に示すように、すべてのレイヤのルーマサンプルグリッドのロケーションがピクチャの左上サンプル位置において整合されることを指定し得る。したがって、位相または位相オフセット650、850は中心位置620または750に従って変化し得る。したがって、関係するシンタックス要素が変化し得る。
リサンプリングにおいて使用される参照レイヤサンプルロケーションのための導出プロセス
[0097]リサンプリングプロセスは、参照点からの位相または位相オフセット(たとえば、xオフセットおよびyオフセット)を含むいくつかの入力を必要とし得る。これは、ビデオビットストリームのルーマサンプルとクロマサンプルの両方について行われ得る。このプロセスへの入力は、色成分インデックスを指定する変数cIdx、およびcIdxによって指定された現在ピクチャの色成分の左上サンプル(たとえば、図7のサンプル602a)に対するサンプルロケーション(xP,yP)である。
[0098]いくつかの実施形態では、このプロセスの出力は、参照レイヤピクチャの左上サンプルに対する、16分の1サンプルの単位での参照レイヤサンプルロケーションを指定するサンプルロケーション(xRef16,yRef16)である。たとえば、左上サンプルは、図6、図7、および図8のエンハンスメントレイヤルーマサンプル602aと同様であり得る。したがって、16分の1サンプルはまた、2つの隣接するピクセル、または、たとえば、エンハンスメントレイヤルーマサンプル602aと602bとの間の距離の16分の1に対応し得る。
[0099]変数offsetXおよびoffsetYは、次のように導出される。
[00100]変数phaseX、phaseY、addXおよびaddYは、次のように導出され得る。
[00101]変数xRef16およびyRef16は、次のように導出され得る。
ルーマサンプル補間プロセス
[00102]ルーマサンプル補間プロセスは、ルーマ参照サンプルアレイ(たとえば、図7のアレイ700)rlPicSampleLと、現在ピクチャの左上ルーマサンプルに対するルーマサンプルロケーション(xP,yP)とを必要とし得る。
[00103]いくつかの実施形態では、このプロセスの出力は、補間されるルーマサンプル値intLumaSampleである。ルーマサンプル値intLumaSampleは、ピクセル802b(図8)のロケーションに対応し得る。
[00104]ルーマリサンプリングプロセスに使用される、p=0...15およびx=0...7である、考えられる8タップフィルタ係数fL[ p, x ]を示す表H−1が以下で与えられる。
[00105]いくつかの実施形態では、補間されるルーマサンプルの値IntLumaSampleは、以下の順序のステップを適用することによって導出される。
1. 下位条項H.6.2において指定された、リサンプリングにおいて使用される参照レイヤサンプルロケーションのための導出プロセスは、0に等しいcIdxと、入力として与えられるルーマサンプルロケーション(xP,yP)と、出力としての16分の1サンプルの単位での(xRef16,yRef16)とによって呼び出される。
2. 変数xRefおよびxPhaseは、次のように導出され得る。
3. 変数yRefおよびyPhaseは、次のように導出され得る。
4. 変数shift1、shift2およびoffsetは、次のように導出され得る。
5. n=0...7であるサンプル値tempArray[ n ]は、次のように導出され得る。
6. 補間されるルーマサンプル値intLumaSampleは、次のように導出され得る。
クロマサンプル補間プロセス
[00106]上記で説明し、図6、図7、および図8において参照したルーマ補間と同様の方法で、クロマ補間は、クロマ参照サンプルアレイrlPicSampleCと、現在ピクチャの左上クロマサンプルに対するクロマサンプルロケーション(xPC,yPC)とを必要とし得る。クロマ補間は、ルーマ補間と同様のプロセスに従い得る。このプロセスの出力は、補間されるクロマサンプル値「intChromaSample」である。
[00107]表2は、クロマリサンプリングプロセスに使用される、p=0...15およびx=0...3である、4タップフィルタ係数fC[ p, x ]を指定する。
[00108]補間されるクロマサンプル値intChromaSampleの値は、以下の順序のステップを適用することによって導出される。
1. リサンプリングにおける参照レイヤサンプルロケーションのための導出プロセスは、cIdxと、入力として与えられるクロマサンプルロケーション(xPC,yPC)と、出力としての16分の1サンプルの単位での(xRef16,yRef16)とによって呼び出される。
2. 変数xRefおよびxPhaseは、次のように導出される。
3. 変数yRefおよびyPhaseは、次のように導出される。
4. 変数shift1、shift2およびoffsetは、次のように導出される。
5. n=0...3であるサンプル値tempArray[ n ]は、次のように導出される。
6. 補間されるクロマサンプル値intChromaSampleは、次のように導出される。
[00109]いくつかの実装形態では、SHVCは、H.264/AVCに基づいてコーディングされたフィールドピクチャを含むベースレイヤを用いたSVCをサポートしないが、エンハンスメントレイヤは、HEVCに基づいてコーディングされたフレームピクチャを含む。しかしながら、ブロードキャスティングのためにH.264/AVC 1080iビットストリームを頻繁に使用するので、SHVCでは1080i(インターレースされたビデオ)から1080p(プログレッシブビデオ)に移行することが有利であり得る。
[00110]H.264/SVCでは、インターレースされたビデオシーケンス(たとえば、1080i分解能)の高いコーディング効率のための1つの手法は、ベースレイヤ(たとえば、図3のレイヤ0 302)ピクチャおよびエンハンスメントレイヤピクチャ(または複数のピクチャ)がプログレッシブフレーム、インターレースされたフレーム、トップフィールドピクチャ、またはボトムフィールドピクチャであり得るように、ベースレイヤとエンハンスメントレイヤの両方において適応フレーム/フィールドコーディングをサポートすることを伴う。インターレースされたベースレイヤストリームとともにシステムを利用しながらスケーラブルビデオコーデックの設計を簡略化するために、SHVCにおいてインターレースされたベースレイヤをサポートする軽量で効率的な方式が実装されるべきである。
[00111]SHVCにおいてインターレースされたベースレイヤをサポートするための既存の手法を用いて問題を克服するために、本開示では、いくつかの改善について以下で説明する。説明するように、提示する方法および手法は、単独でまたは任意の組合せで使用され得る。
[00112]いくつかの実施形態では、たとえば、1080iのフィールドピクチャから1080pのフレームピクチャまでのレイヤ間予測をサポートするために、1つまたは複数のフラグがシグナリングされ得る。少なくとも1つの実施形態では、レイヤ間参照ピクチャを生成するリサンプリングプロセス方法を指定するために、フラグ「bottom_field_to_frame_resampling_flag」がシグナリングされる。そのようなフラグが1に設定されるか、または1に等しい場合、これは、現在ピクチャのためのレイヤ間参照ピクチャを生成するために呼び出されるリサンプリングプロセスの入力がボトムフィールドピクチャであり、出力がフレームピクチャであるという指示であり得る。このフラグが0に設定されるか、または0に等しい場合、これは、上記で説明した制限が適用されないという指示であり得る。少なくとも1つの例では、このフラグは、スライスセグメントヘッダ、または任意の他の高レベルシンタックス部分においてシグナリングされ得る。別の例では、このフラグの値は、外部の手法を介して割り当てられ得る。たとえば、フラグはシステムレベルのアプリケーションによって与えられる。
[00113]別の実施形態では、bottom_field_to_frame_resampling_flagの存在を制御するために、フラグ「field_to_frame_resampling_present_flag」がシグナリングされ得る。たとえば、field_to_frame_resampling_present_flagは、ピクチャパラメータセット(PPS)、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、または任意の他の高レベルシンタックス部分においてシグナリングされ得る。別の例では、このフラグの値は、外部の手法を介して割り当てられ得る。
[00114]別の実施形態では、フィールドピクチャ(たとえば、1080i)からフレームピクチャ(たとえば、1080p)までのレイヤ間予測をサポートするために、以下のフラグがシグナリングされ得る。ベースレイヤピクチャ(たとえば、図3のレイヤ0 302)がフィールドピクチャであるかどうかを指定するために、フラグ「base_layer_field_picture_flag」がシグナリングされ得る。一例では、このフラグは、VPS、SPS、または任意の他の高レベルシンタックス部分においてシグナリングされ得る。別の例では、このフラグの値は、外部の手法を介して割り当てられ得る。
[00115]別の実施形態では、現在AU(たとえば、図4のAU405)のベースレイヤピクチャがボトムフィールドピクチャであるかどうかを指定するために、フラグ「base_layer_bot_field_flag」がシグナリングされ得る。一例では、このフラグは、スライスセグメントヘッダ、または任意の他の高レベルシンタックス部分においてシグナリングされ得る。別の例では、このフラグの値は、外部の手法を介して割り当てられ得る。
[00116]また別の実施形態では、変数「botFieldtoFrameResamplingFlag」は、シグナリングされたフラグに基づいて導出され、接続図6、図7、および図8において上記で説明した方法と同様の参照レイヤサンプルロケーションを計算するために使用され得る。
[00117]関係する態様では、bottom_field_to_frame_resampling_flag(またはbase_layer_bot_field_flag)が1に等しいとき、cross_layer_phase_alignment_flagは0に等しいものとするように、ビットストリーム適合制限が実装され得る。
[00118]さらなる関係する態様では、bottom_field_to_frame_resampling_flagが1に等しい(またはbase_layer_bot_field_flagが1に等しく、ベースレイヤピクチャが現在ピクチャの参照レイヤピクチャである)とき、現在ピクチャのピクチャ幅は参照(ベース)レイヤピクチャのピクチャ幅に等しいものとし、現在ピクチャのピクチャ高さは参照(ベース)レイヤピクチャのピクチャ高さの2倍であるものとするように、ビットストリーム適合制限が実装され得る。
[00119]図3および図4の例などの複数の符号化レイヤの場合、ビットストリームがフィールドピクチャとフレームピクチャの混合である、考えられるシナリオが存在する。異なるレイヤが異なる色フォーマットを有する、いくつかのシナリオも存在する。たとえば、第2のレイヤが第1のレイヤの第1の色フォーマットとは異なる第2の色フォーマットを有する、第1のレイヤ(たとえば、レイヤ0 302)および第2のレイヤ(たとえば、レイヤ1 306)。そのような例では、ベースレイヤ(レイヤ0 302)はYUV420フォーマットであり得るが、別のレイヤはYUV422またはYUV444色フォーマットであり得る。
[00120]本明細書で説明する実施形態の1つまたは複数の態様によれば、本明細書で説明するシナリオなどの多重レイヤシナリオにおいて位相オフセット(たとえば、図8の位相850)を処理する技法が提供される。一実施形態では、デコーダ(たとえば、図5Bのデコーダ31)側の少数のシグナリングされたフラグによって位相オフセット変数phaseXおよびphaseYの値を導出する代わりに、エンコーダ(たとえば、図5Aのエンコーダ21)が位相オフセット850値をシグナリングすることができる。転送された変数値は、参照レイヤサンプルロケーションを導出するために直接使用され得る。たとえば、たとえば、「phase_offset_X_luma」、「phase_offset_X_chroma」、「phase_offset_Y_luma」、および「phase_offset_Y_chroma」などの4つの変数が現在レイヤとその参照レイヤのペアごとにシグナリングされ得る。これらの変数は、参照レイヤルーマサンプルの水平位置と、参照レイヤクロマサンプルの水平位置と、参照レイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とを導出するための位相オフセット850を表し得る。たとえば、所与の変数の値は、包括的に0(0)から4(4)の範囲内とすることができる。別の実施形態では、値は、たとえば、両端値を含む0〜15、または両端値を含む0〜31の範囲内とすることができる。関係するシンタックスが存在しないとき、関係するシンタックスは0に等しいと推定され得る。関係する態様では、参照レイヤサンプルロケーションは、以下の手法に従って導出され得る。
[00121]1つの手法では、変数xRef16およびyRef16は、次のように導出され得る。
別の手法では、変数xRef16およびyRef16は、次のように導出され得る。
[00122]別の実施形態では、変数xRef16およびyRef16は、次のように導出され得る。
[00123]上記の例では、参照レイヤにおける位相オフセット(たとえば、位相オフセット850)は、シグナリングされたエンハンスメントレイヤオフセット850にマージされた。シンタックス要素がシグナリングされないとき、適切なデフォルト値が設定される必要があり得る。phase_offset_X_chromaおよびphase_offset_Y_chromaのデフォルト値は、ルーマサンプル位置とクロマサンプル位置との間の相対位置と、現在レイヤおよび参照レイヤのスケーリングファクタ(または現在ピクチャおよび参照レイヤピクチャのピクチャサイズ)とに依存する。さらなる例として、デフォルト値は、YUV420フォーマットでは、クロマサンプルが水平方向においてルーマサンプルに対して同じ位置に配置され、クロマサンプルが水平方向においてルーマサンプルに対してハーフピクセル(「pel」)位置に配置されると想定することによって計算される。
[00124]このケースの場合、オフセットのデフォルト値は、次のように設定され得る。
phase_offset_X_luma、phase_offset_X_chroma、およびphase_offset_Y_lumaのデフォルト値が0に等しく、phase_offset_Y_chromaのデフォルト値が4−((1<<18)+ScaleFactorY/2)/ScaleFactorYに等しい。
ここで、垂直方向ScaleFactorYにおけるスケーリングファクタは、次のように定義される。
ここで、currLayerPicHeightおよびrefLayerPicHeightは、垂直スケーリングファクタを計算するために使用される、現在ピクチャの高さと参照レイヤピクチャの高さとを表す。
代替的に、phase_offset_Y_chromaのデフォルト値は、ピクチャサイズを直接使用することによって次のように設定され得る。
[00125]別の実施形態では、水平位相オフセット(たとえば、位相オフセット850b)および垂直位相オフセット(たとえば、位相オフセット850a)のシンタックスタイプは、異なり得る。垂直位相オフセットシンタックスは、すぐ上で説明した実施形態におけるシンタックスと同じであり得る。すなわち、参照レイヤルーマサンプルの垂直位置と参照レイヤクロマサンプルの垂直位置とを導出するための位相オフセットを表し得るphase_offset_Y_lumaとphase_offset_Y_chromaとを含む2つの変数は、現在レイヤとその参照レイヤのペアごとにシグナリングされ得る。たとえば、2つの変数の値は、上記の参照サンプル間の16分の1の測定値に対応する、包含的に0から15の範囲内とすることができる。関係するシンタックスが存在しないとき、関係するシンタックスは0に等しいと推定され得る。水平位相オフセットの場合、フラグ(たとえば、horizontal_phase_alignment_flag)は全体のビットストリーム中のすべてのレイヤに対してシグナリングされ得る。代替的に、horizontal_phase_alignment_flagは、現在レイヤとその参照レイヤのペアごとにシグナリングされ得る。horizontal_phase_alignment_flagは、水平方向において、現在レイヤおよびその参照レイヤのルーマサンプルグリッドのロケーションがピクチャの中心サンプル位置において整合されることを指定し得る。horizontal_phase_alignment_flagが0に等しいとき、これは、水平方向において、現在レイヤおよびその参照レイヤのルーマサンプルグリッドのロケーションがピクチャの左上サンプル位置において整合されることを指定する。horizontal_phase_alignment_flagがビットストリーム中に存在しないとき、その値は0に等しいと推定され得る。関係する態様では、参照レイヤサンプルロケーションは、以下の手法に従って導出され得る。
[00126]1つの手法では、変数xRef16およびyRef16は、次のように導出され得る。
[00127]色フォーマットYUV422およびYUV444も考慮されるとき、phaseXは次のように導出され得る。
[00128]別の手法では、変数xRef16およびyRef16は、次のように導出され得る。
[00129]また別の実施形態では、エンコーダ(たとえば、図5Aのエンコーダ21)は、位相オフセット850の値をシグナリングし得、転送された変数値は、参照レイヤサンプルロケーションを導出するために直接使用され得る。位相オフセット850は、参照レイヤロケーションがデフォルト位相に基づいて導出された後、参照レイヤサンプルロケーションを調整するために使用され得る。たとえば、たとえば、phase_offset_X_lumaと、phase_offset_X_chromaと、phase_offset_Y_lumaと、phase_offset_Y_chromaとを含む4つの変数が現在レイヤとその参照レイヤのペアごとにシグナリングされ得る。これらの変数は、参照レイヤルーマサンプルの水平位置と、参照レイヤクロマサンプルの水平位置と、参照レイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とを導出するための位相オフセット850を表し得る。たとえば、所与の変数の値は、包括的に0から15の範囲内とすることができる。関係するシンタックスが存在しないとき、関係するシンタックスは0に等しいと推定され得る。関係する態様では、参照レイヤサンプルロケーションは、以下の手法に従って導出され得る。
[00130]変数xRef16およびyRef16は、次のように導出され得る。
[00131]いくつかの実施形態では、シンタックス要素がシグナリングされないとき、値は次のように設定され得る。phase_offset_X_luma、phase_offset_X_chromaおよびphase_offset_Y_lumaのデフォルト値は、0に等しい。いくつかの実施形態では、phase_offset_Y_chromaのデフォルト値は、((1<<16)−ScaleFactorX)>>14に等しい;
[00132]代替的に、phase_offset_Y_chromaのデフォルト値は等しい(4−(4*ScaleFactorX>>14)、ここで、垂直方向ScaleFactorYにおけるスケーリングファクタは、次のように定義される。
[00133]ここで、currLayerPicHeightキャンrefLayerPicHeightは、垂直スケーリングファクタを計算するために使用される、現在ピクチャの高さと参照レイヤピクチャの高さとを表す。
[00134]代替的に、phase_offset_Y_chromaのデフォルト値は、ピクチャサイズを直接使用することによって次のように設定され得る。
[00135]そのような実施形態では、phase_offset_X_chromaおよびphase_offset_Y_chromaのデフォルト値は、したがって、ルーマサンプル位置とクロマサンプル位置との間の相対位置と、現在レイヤおよび参照レイヤのスケーリングファクタとに依存する。一例として、デフォルト値は、YUV420クロマフォーマットでは、クロマサンプルは水平方向においてルーマサンプルに対して同じ位置に配置され、クロマサンプルは垂直方向においてルーマサンプルに対してハーフピクセル位置に配置されると想定することによって計算され得る。
[00136]さらに別の実施形態では、水平位相オフセット850bおよび垂直位相オフセット850aのシンタックスタイプは、異なり得る。垂直位相オフセット850bシンタックスは、すぐ上で説明した実施形態におけるシンタックスと同じであり得る。すなわち、たとえば、参照レイヤルーマサンプルの垂直位置と参照レイヤクロマサンプルの垂直位置とを導出するための位相オフセット850を表す「phase_offset_Y_luma」と「phase_offset_Y_chroma」とを含む2つの変数は、現在レイヤおよびその参照レイヤのペアごとにシグナリングされ得る。たとえば、2つの変数の値は、包括的に0から15の範囲内とすることができる。関係するシンタックスが存在しないとき、関係するシンタックスは0に等しいと推定され得る。水平位相オフセット(たとえば、位相オフセット850a)の場合、フラグ(たとえば、horizontal_phase_alignment_flag)は全体のビットストリーム中のすべてのレイヤに対してシグナリングされ得る。
[00137]いくつかの他の実施形態では、horizontal_phase_alignment_flagは、現在レイヤおよびその参照レイヤのペアごとにシグナリングされ得る。horizontal_phase_alignment_flagは、水平方向において、現在レイヤおよびその参照レイヤのルーマサンプルグリッドのロケーションがピクチャの中心サンプル位置において整合されることを指定し得る。たとえば、horizontal_phase_alignment_flagが0に等しいとき、これは、水平方向において、現在レイヤおよびその参照レイヤのルーマサンプルグリッドのロケーションがピクチャの左上サンプル位置において整合されることを指定し得る。horizontal_phase_alignment_flagがビットストリーム中に存在しないとき、その値は0に等しいと推定され得る。
[00138]関係する態様では、参照レイヤサンプルロケーションは、以下の手法に従って導出され得る。
1つの手法では、変数xRef16およびyRef16は、次のように導出され得る。
[00139]色フォーマットYUV422およびYUV444も考慮されるとき、phaseXは次のように導出され得る。
[00140]別の手法では、変数xRef16およびyRef16は、次のように導出され得る。
[00141]上述のシンタックスのいずれかは、VPS、SPS、PPSもしくはスライスセグメントヘッダ、または任意の他のシンタックステーブルにおいてシグナリングされ得ることに留意されたい。
[00142]いくつかの実施形態では、参照レイヤがトップフィールドまたはボトムフィールドであり得る場合に対処するために、位相オフセットシンタックス要素の最大2つのセットが参照レイヤごとにシグナリングされ得る。たとえば、位相オフセットの2つのセットが参照レイヤに対してシグナリングされるとき、フラグはピクチャレベルで、たとえば、位相オフセット850のどのセットが参照ピクチャのリサンプリングに使用されるかを示すために、スライスヘッダにおいてシグナリングされ得る。
[00143]いくつかの実施形態では、以下のビットストリーム適合制限が実装され得、そのような制限は、スケーリングファクタが1であるとき、位相オフセットの値を0に制限するために使用される。適合制限は、2つの方法、すなわち、直接コピーと、0位相フィルタ係数を用いたアップサンプリングプロセスを使用することとによって、同一の結果を達成することを容易にする。
[00144]いくつかの関係する態様では、ScaleFactorXが1に等しいとき、phase_offset_X_lumaおよびphase_offset_X_chromaの値は0に等しいものとし、代替的に、ScaleFactorXが1に等しいとき、phase_offset_X_lumaおよびphase_offset_X_chromaのシンタックス要素はビットストリーム中に存在せず、0に等しいと推定されるものとする。
[00145]いくつかの実施形態では、ScaleFactorYが1に等しいとき、phase_offset_Y_lumaおよびphase_offset_Y_chromaの値は0に等しいものとし、代替的に、ScaleFactorYが1に等しいとき、phase_offset_Y_lumaおよびphase_offset_Y_chromaのシンタックス要素はビットストリーム中に存在せず、0に等しいと推定されるものとするように、ビットストリーム適合制限が実装され得る。
[00146]上記によるシグナリング機構のいくつかの例が以下に記載される。
例1
[00147]いくつかの実施形態では、エンコーダ21(図5A)は、VPS中のあらゆるレイヤについての位相オフセット値の値をデコーダにシグナリングすることができる。加えて、これは、レイヤの直接依存性、たとえば、現在レイヤと参照レイヤの依存性の関連付けに基づいてシグナリングされ得る。
[00148]エンコーダは、SPS、PPSもしくはスライスヘッダまたはVPSシンタックス要素に基づいて調整されたその拡張において位相オフセットの更新をさらにシグナリングすることができる。
[00149]たとえば、VPSにおけるシグナリングは、以下のとおりとすることができる。
[00150]上記のチャートに関して、以下の定義が適用される。
いくつかの実施形態では、「hor_phase_luma」は、参照レイヤnuh_layer_idがlayer_id_in_nuh[ j ]に等しいときに水平方向における参照レイヤルーマサンプルロケーション導出に使用される位相オフセットを指定する。加えて、現在レイヤnuh_layer_idはlayer_id_in_nuh[ i ]に等しい。存在しないとき、hor_phase_luma[i][j]の値は0に等しいと推定される。
[00151]いくつかの実施形態では、「ver_phase_luma」は、layer_id_in_nuh[ j ]に等しい参照レイヤnuh_layer_id、現在レイヤnuh_layer_idイコールlayer_id_in_nuh[ i ]のときに垂直方向における参照レイヤルーマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、ver_phase_luma [i][j]の値は0に等しいと推定される。
[00152]「hor_phase_chroma」という用語は、layer_id_in_nuh[ j ]に等しい参照レイヤnuh_layer_id、現在レイヤnuh_layer_idイコールlayer_id_in_nuh[ i ]のときに水平方向における参照レイヤクロマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、hor_phase_chroma [i][j]の値は0に等しいと推定される。
[00153]「ver_phase_chroma」という用語は、layer_id_in_nuh[ j ]に等しい参照レイヤnuh_layer_id、現在レイヤnuh_layer_idイコールlayer_id_in_nuh[ i ]のときに垂直方向における参照レイヤクロマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、ver_phase_chroma[i][j]の値は
に等しいと推定される。
例2
[00154]いくつかの実施形態では、エンコーダ21は、あらゆるレイヤについての位相オフセット850値の値をデコーダにシグナリングすることができる。代替的に、これは、VPS、SPS、PPSまたはそれの拡張においてシグナリングされ得る。以下は、ピクチャレベル(PPS)シグナリングを使用する一例を含む。
[00155]上記のチャートに関して、以下の定義が適用される。
[00156]「hor_phase_luma」という用語は、水平方向における参照レイヤルーマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、hor_phase_lumaの値は0に等しいと推定される。
[00157]「ver_phase_luma」という用語は、垂直方向における参照レイヤルーマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、ver_phase_lumaの値は0に等しいと推定される。
[00158]「hor_phase_chroma」という用語は、水平方向における参照レイヤクロマサンプルロケーション導出に使用される位相オフセットを指定する。存在しないとき、hor_phase_chromaの値は0に等しいと推定される。
[00159]「ver_phase_chroma」という用語は、垂直方向における位相オフセットユーズド参照レイヤクロマサンプルロケーション導出を指定する。存在しないとき、ver_phase_chromaの値は
に等しいと推定される。
[00160]上記の例、シグナリングのシステムおよび方法の場合、位相オフセットのいくつかのセットは、VPSもしくはSPSもしくはPPSまたはそれの拡張においてシグナリングされ得、シンタックス要素アンドは、使用されるであろうセットのインデックスをコーディングするSPSもしくはPPSもしくはスライスヘッダまたはそれの拡張においてコーディングされ得る。シンタックス要素は、存在するセットの数を指定するためにシグナリングされ得る。
[00161]本明細書で開示する情報および信号は、様々な異なる技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。
[00162]本明細書で開示する実施形態に関して説明する様々な例示的な論理ブロック、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
[00163]本明細書で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。構成要素として説明する任意の特徴は、集積論理デバイス内で一緒に、または個別であるが相互動作可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、技法は、実行されると、上記で説明した方法のうちの1つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、FLASHメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および/または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
[00164]プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価の集積回路もしくはディスクリート論理回路など、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明する技法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のソフトウェアまたはハードウェア内に提供され得るか、または複合ビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。
[00165]本発明の実施形態は、特定の実施形態について上記で説明されているが、本発明の多くの変形形態が可能である。加えて、様々な実施形態の特徴は、上記で説明した組合せとは異なる組合せで組み合わされ得る。
[00166]当業者は、本明細書で開示する実施形態に関して説明する様々な例示的なブロックが様々な形態で実装され得ることを諒解されよう。いくつかのブロックについて、上記では概してそれらの機能に関して説明した。そのような機能がどのように実装されるかは、全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。加えて、ブロックまたはステップ内での機能のグルーピングは、説明を簡単にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるブロックから移動され得るか、またはブロックにまたがって分散され得る。
[00167]開示した実施形態の上記の説明は、いかなる当業者も本発明を作成または使用できるようにするために与えられる。これらの実施形態に対する様々な修正は当業者には容易に明らかであり、本明細書で説明する一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本明細書で提示する説明および図面は、本発明の現在好ましい実装形態を表し、したがって、本発明によって広く企図される主題を表すことを理解されたい。本発明の範囲は当業者に明らかになり得る他の実施形態を完全に包含することと、したがって、本発明の範囲は添付の特許請求の範囲以外の何物によっても限定されないこととをさらに理解されたい。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
スケーラブルな高効率ビデオ情報を符号化するための装置であって、
マルチレイヤピクチャのためのシンタックス要素を記憶するように構成されたメモリユニットと、
前記メモリユニットに動作可能に結合され、
前記マルチレイヤピクチャ中の参照レイヤサンプル位置と対応するエンハンスメントレイヤサンプル位置との間の位相オフセット値を示す前記シンタックス要素を生成し、前記位相オフセット値は、参照レイヤからのルーマサンプル位置およびクロマサンプル位置の位相オフセットを表し、前記ルーマサンプル位置および前記クロマサンプル位置の各々は、前記マルチレイヤピクチャのためのエンハンスメントレイヤおよび対応する参照レイヤ中の水平成分と垂直成分とを有し、
前記生成されたシンタックス要素中で符号化されたデータに基づいて、ブロックを符号化する
ように構成されたプロセッサと
を備える装置。
[C2]
前記シンタックス要素が、エンハンスメントレイヤピクチャと対応する参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、前記位相オフセット値を0に等しくなるように制限するビットストリーム適合制限をデコーダに示す、C1に記載の装置。
[C3]
前記プロセッサが、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置との間の前記位相オフセット値と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の前記位相オフセット値と、前記位相オフセット値参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の前記位相オフセット値とを表す前記シンタックス要素を生成するようにさらに構成される、C1に記載の装置。
[C4]
前記プロセッサが、水平ルーマサンプル位相オフセットと、水平クロマサンプル位相オフセットと、垂直ルーマサンプル位相オフセットと、垂直クロマサンプル位相オフセットとを表す前記位相オフセット値(phase_offset_X_luma、phase_offset_X_chroma、phase_offset_Y_luma、phase_offset_Y_chroma)のための前記シンタックス要素を生成するようにさらに構成され、コロケートされた参照レイヤサンプルロケーションが、式
を使用し、
ここにおいて、ScaleFactorXおよびScaleFactorYは、水平方向および垂直報方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプル位置または前記クロマサンプル位置を指し、
ここにおいて、xRef16、yRef16は、16分の1サンプルの単位でのコロケートされた参照レイヤサンプル位置を指す、
C1に記載の装置。
[C5]
前記プロセッサが、前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに応じて、存在しない位相オフセット値を決定するようにさらに構成される、C1に記載の装置。
[C6]
前記プロセッサが、YUV420クロマフォーマットを使用するとき、前記クロマサンプル位置が前記水平方向において前記ルーマサンプル位置とコロケートされ、前記クロマサンプル位置が前記垂直方向において前記ルーマサンプル位置から1/2ピクセル配置されるという仮定に基づいて、前記存在しない位相オフセット値を決定するようにさらに構成される、C5に記載の装置。
[C7]
前記プロセッサが、前記存在しない位相オフセットを次のように決定するようにさらに構成され、
水平ルーマ位相オフセット(phase_offset_X_luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、
垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
に等しく、
ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
C5に記載の装置。
[C8]
前記プロセッサが、ピクチャパラメータセット(PPS)、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびスライスセグメントヘッダのうちの1つにおいて前記シンタックス要素を生成するようにさらに構成される、C1に記載の装置。
[C9]
スケーラブルな高効率ビデオ情報を符号化するための方法であって、
マルチレイヤピクチャのためのシンタックス要素を記憶することと、
前記マルチレイヤピクチャ中の参照レイヤサンプル位置と対応するエンハンスメントレイヤサンプル位置との間の位相オフセット値を決定することと、
前記位相オフセット値を示すシンタックス要素を生成することと、前記位相オフセット値は、参照レイヤ位置のルーマサンプル位置およびクロマサンプル位置の位相オフセットを表し、前記ルーマサンプル位置および前記クロマサンプル位置の各々は、前記マルチレイヤピクチャのためのエンハンスメントレイヤおよび対応する参照レイヤ中の水平成分と垂直成分とを有し、
前記生成されたシンタックス要素中で符号化されたデータに基づいて、ブロックを符号化することと
を備える方法。
[C10]
前記シンタックス要素がさらに、エンハンスメントレイヤピクチャと対応する参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、前記位相オフセット値を0に等しくなるように制限するビットストリーム適合制限に示す、C9に記載の方法。
[C11]
前記シンタックス要素が、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置との間の前記位相オフセット値と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の前記位相オフセット値と、前記位相オフセット値参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の前記位相オフセット値とを表す、C9に記載の方法。
[C12]
水平ルーマサンプル位相オフセットと、水平クロマサンプル位相オフセットと、垂直ルーマサンプル位相オフセットと、垂直クロマサンプル位相オフセットとを表す前記位相オフセット値(phase_offset_X_luma、phase_offset_X_chroma phase_offset_Y_luma、phase_offset_Y_chroma)のための前記シンタックス要素を生成することをさらに備え、コロケートされた参照レイヤサンプルロケーションが、式
を使用し、
ここにおいて、ScaleFactorXおよびScaleFactorYは、水平方向および垂直報方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプル位置または前記クロマサンプル位置を指し、
ここにおいて、xRef16、yRef16は、前記参照レイヤサンプル位置を指す、
C9に記載の方法。
[C13]
前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに応じて、存在しない位相オフセット値を決定することをさらに備える、C9に記載の方法。
[C14]
前記存在しない位相オフセットが次のように決定されるを決定することをさらに備え、
水平ルーマ位相オフセット(phase_offset_X luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、
垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
に等しく、
ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
C13に記載の方法。
[C15]
スケーラブルな高効率ビデオ情報を復号するための装置であって、
マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信するように構成された受信機と、
前記受信機に動作可能に結合され、前記シンタックス要素を記憶するように構成されたメモリユニットと、
前記メモリユニットに動作可能に結合され、
前記シンタックス要素から前記マルチレイヤピクチャに関連付けられた少なくとも1つの位相オフセット値を取得し、
前記少なくとも1つの位相オフセット値に基づいて、参照レイヤサンプル位置を導出し、前記少なくとも1つの位相オフセット値は、ピクチャのためのエンハンスメントレイヤと対応する参照レイヤのペアごとに取得され、前記位相オフセット値は、参照レイヤのルーマサンプル位置およびクロマサンプル位置の位相オフセットを表し、前記ルーマサンプル位置および前記クロマサンプル位置の各々は、水平成分と垂直成分とを有し、
前記受信されたシンタックス要素に基づいて、ブロックを復号する
ように構成されたプロセッサと
を備える装置。
[C16]
前記プロセッサが、前記ビットストリームから前記シンタックス要素を復号し、前記復号されたシンタックス要素から前記位相オフセット値を取得するようにさらに構成される、C15に記載の装置。
[C17]
前記プロセッサが、前記位相オフセット値を使用したアップサンプリングプロセスの実行のための補間フィルタを選択するようにさらに構成される、C15に記載の装置。
[C18]
前記プロセッサが、エンハンスメントレイヤピクチャとその参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、ビットストリーム適合制限に基づいて、前記少なくとも1つの位相オフセット値を制限するようにさらに構成される、C15に記載の装置。
[C19]
前記プロセッサが、前記シンタックス要素から、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の前記位相オフセット値と、参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置の前記位相オフセット値と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の前記位相オフセット値とを導出するようにさらに構成される、C15に記載の装置。
[C20]
前記プロセッサが、色成分インデックス(cIdx)と、位相オフセット値(phase_offset_X_luma、phase_offset_X_chroma、phase_offset_Y_luma、phase_offset_Y_chroma)と、スケーリングファクタ(ScaleFactorX,ScaleFactorY)とを用いて、式
を使用して前記参照レイヤサンプル位置(xRef16,yRef16)を導出するようにさらに構成され、
ここにおいて、ScaleFactorXおよびScaleFactorYは、水平方向および垂直方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプル位置または前記クロマサンプル位置を指し、
ここにおいて、xRef16およびyRef16は、16分の1サンプルの単位でのコロケートされた参照レイヤサンプル位置を指す、
C15に記載の装置。
[C21]
前記プロセッサが、前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに基づいて、存在しないシンタックス要素のためのデフォルト位相オフセット値を決定するようにさらに構成される、C15に記載の装置。
[C22]
前記クロマサンプル位置(xPc,yPc)が水平方向において同じであり、前記クロマサンプル位置が垂直方向においてルーマサンプルに対して1/2ピクセル位置に配置され、
ここにおいて、水平ルーマ位相オフセット(phase_offset_X luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、
ここにおいて、垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
に等しく、
ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
C21に記載の装置。
[C23]
前記プロセッサが、前記参照レイヤ中の左上サンプルに対してサンプルの16分の1の単位で前記参照レイヤサンプル位置を導出するようにさらに構成される、C15に記載の装置。
[C24]
前記シンタックス要素が、ピクチャパラメータセット(PPS)、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびスライスセグメントヘッダのうちの1つから導出される、C15に記載の装置。
[C25]
スケーラブルな高効率ビデオ情報を復号するための方法であって、
マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信することと、
前記シンタックス要素から前記マルチレイヤピクチャに関連付けられた少なくとも1つの位相オフセット値を取得することと、
前記少なくとも1つの位相オフセット値に基づいて、参照レイヤサンプル位置を導出することと、前記少なくとも1つの位相オフセット値は、ピクチャのためのエンハンスメントレイヤと対応する参照レイヤのペアごとに取得され、前記位相オフセット値は、参照レイヤのルーマサンプル位置およびクロマサンプル位置の位相オフセットを表し、前記ルーマサンプル位置および前記クロマサンプル位置の各々は、水平成分と垂直成分とを有し、
前記受信されたシンタックス要素に基づいて、ブロックを復号することと
を備える方法。
[C26]
エンハンスメントレイヤピクチャとその参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、ビットストリーム適合制限に基づいて、前記少なくとも1つの位相オフセット値を制限することをさらに備える、C25に記載の方法。
[C27]
前記シンタックス要素が、参照レイヤルーマサンプルの水平位置と、参照レイヤクロマサンプルの水平位置と、参照レイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とを導出するために使用される前記位相オフセット値を表す、C25に記載の方法。
[C28]
色成分インデックス(cIdx)および、水平ルーマサンプル位相オフセットと、水平クロマサンプル位相オフセットと、垂直ルーマサンプル位相オフセットと、垂直クロマサンプル位相オフセットとを表す位相オフセット値(phase_offset_X_luma、phase_offset_X_chroma、phase_offset_Y_luma、phase_offset_Y_chroma)を使用して、式
を使用して、コロケートされた参照レイヤサンプル位置を導出することをさらに備え、
ScaleFactorXおよびScaleFactorYは、水平方向および垂直方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプルポジショノア前記クロマサンプル位置を指し、
ここにおいて、xRef16、yRef16は、16分の1サンプルの単位で前記参照レイヤサンプル位置を指す、
C25に記載の方法。
[C29]
前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに基づいて、存在しないシンタックス要素のためのデフォルト位相オフセット値を決定することをさらに備える、C25に記載の方法。
[C30]
前記存在しない位相オフセットが次のように生成され、
水平ルーマ位相オフセット(phase_offset_X luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、
垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
に等しく、
ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
C29に記載の方法。

Claims (30)

  1. スケーラブルな高効率ビデオ情報を符号化するための装置であって、
    マルチレイヤピクチャのためのシンタックス要素を記憶するように構成されたメモリユニットと、
    前記メモリユニットに動作可能に結合され、
    参照レイヤ中の水平成分と垂直成分とを有するルーマサンプル位置と、エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するルーマサンプル位置との間のルーマ位相オフセット値を決定し、前記ルーマ位相オフセット値が、エンハンスメントレイヤルーマサンプルの16分の1の単位で決定され、
    前記参照レイヤ中の水平成分と垂直成分とを有するクロマサンプル位置と、前記エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するクロマサンプル位置との間のクロマ位相オフセット値を決定し、前記クロマ位相オフセット値が、エンハンスメントレイヤクロマサンプルの16分の1の単位で決定され、
    前記ルーマ位相オフセット値および前記クロマ位相オフセット値を表す位相オフセットを示す前記シンタックス要素を生成し、
    前記シンタックス要素に基づいて、ブロックを符号化する
    ように構成されたプロセッサと
    を備える装置。
  2. 前記シンタックス要素が、エンハンスメントレイヤピクチャと、対応する参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、前記位相オフセット値を0に等しくなるように制限するビットストリーム適合制限をデコーダに示す、請求項1に記載の装置。
  3. 前記プロセッサが、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置との間の位相オフセット値と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の位相オフセット値と、参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置との間の位相オフセット値と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の位相オフセット値とを表す前記シンタックス要素を生成するようにさらに構成される、請求項1に記載の装置。
  4. 前記プロセッサが、YUV420、YUV422、およびYUV444色フォーマットのいずれにおいても動作するようにさらに構成される、請求項1に記載の装置。
  5. 前記プロセッサが、前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに応じて、存在しない位相オフセット値を決定するようにさらに構成される、請求項1に記載の装置。
  6. 前記プロセッサが、YUV420クロマフォーマットを使用するとき、前記クロマサンプル位置が水平方向において前記ルーマサンプル位置とコロケートされ、前記クロマサンプル位置が垂直方向において前記ルーマサンプル位置から1/2ピクセル配置されるという仮定に基づいて、前記存在しない位相オフセット値を決定するようにさらに構成される、請求項5に記載の装置。
  7. 前記プロセッサが、前記存在しない位相オフセット値を次のように決定するようにさらに構成され、
    水平ルーマ位相オフセット(phase_offset_X_luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、 垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
    に等しく、
    ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
    請求項5に記載の装置。
  8. 前記プロセッサが、ピクチャパラメータセット(PPS)、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびスライスセグメントヘッダのうちの1つにおいて前記シンタックス要素を生成するようにさらに構成される、請求項1に記載の装置。
  9. スケーラブルな高効率ビデオ情報を符号化するための方法であって、
    参照レイヤ中の水平成分と垂直成分とを有するルーマサンプル位置と、エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するルーマサンプル位置との間のルーマ位相オフセット値を決定することと、前記ルーマ位相オフセット値が、エンハンスメントレイヤルーマサンプルの16分の1の単位で決定され、
    前記参照レイヤ中の水平成分と垂直成分とを有するクロマサンプル位置と、前記エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するクロマサンプル位置との間のクロマ位相オフセット値を決定することと、前記クロマ位相オフセット値が、エンハンスメントレイヤクロマサンプルの16分の1の単位で決定され、
    前記ルーマ位相オフセット値および前記クロマ位相オフセット値を表す前記位相オフセットを示すシンタックス要素を生成することと、
    前記シンタックス要素に基づいて、ブロックを符号化することと
    を備える方法。
  10. 前記シンタックス要素がさらに、エンハンスメントレイヤピクチャと、対応する参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、前記位相オフセットを0に等しくなるように制限するビットストリーム適合制限に示す、請求項9に記載の方法。
  11. 前記シンタックス要素が、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置との間の位相オフセット値と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の位相オフセット値と、参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置との間の位相オフセット値と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の位相オフセット値とを表す、請求項9に記載の方法。
  12. YUV420、YUV422、およびYUV444色フォーマットのいずれにおいても動作することをさらに備える、請求項9に記載の方法。
  13. 前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに応じて、存在しない位相オフセット値を決定することをさらに備える、請求項9に記載の方法。
  14. 前記存在しない位相オフセットを次のように決定することをさらに備え、
    水平ルーマ位相オフセット(phase_offset_X_luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、 垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
    に等しく、
    ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
    請求項13に記載の方法。
  15. スケーラブルな高効率ビデオ情報を復号するための装置であって、
    マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信するように構成された受信機と、前記シンタックス要素は、ルーマ位相オフセット値およびクロマ位相オフセット値を表す位相オフセットを有し、
    前記受信機に動作可能に結合され、前記シンタックス要素を記憶するように構成されたメモリユニットと、
    前記メモリユニットに動作可能に結合され、
    参照レイヤ中の水平成分と垂直成分とを有するルーマサンプル位置と、エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するルーマサンプル位置との間の前記ルーマ位相オフセット値を取得し、前記ルーマ位相オフセット値が、エンハンスメントレイヤルーマサンプルの16分の1の単位で決定され、
    前記参照レイヤ中の水平成分と垂直成分とを有するクロマサンプル位置と、前記エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するクロマサンプル位置との間の前記クロマ位相オフセット値を取得し、前記クロマ位相オフセット値が、エンハンスメントレイヤクロマサンプルの16分の1の単位で決定され、
    前記ルーマ位相オフセット値および前記クロマ位相オフセット値に基づいて、参照レイヤサンプル位置を導出し、
    前記受信されたシンタックス要素および前記位相オフセットに基づいて、ブロックを復号する
    ように構成されたプロセッサと
    を備える装置。
  16. 前記プロセッサが、前記ビットストリームから前記シンタックス要素を復号し、前記復号されたシンタックス要素から前記位相オフセットを取得するようにさらに構成される、請求項15に記載の装置。
  17. 前記プロセッサが、前記位相オフセットを使用したアップサンプリングプロセスの実行のための補間フィルタを選択するようにさらに構成される、請求項15に記載の装置。
  18. 前記プロセッサが、エンハンスメントレイヤピクチャとその参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、ビットストリーム適合制限に基づいて、前記位相オフセットを制限するようにさらに構成される、請求項15に記載の装置。
  19. 前記プロセッサが、前記シンタックス要素から、参照レイヤルーマサンプルの水平位置とエンハンスメントレイヤルーマサンプルの水平位置との間の位相オフセット値と、参照レイヤクロマサンプルの水平位置とエンハンスメントレイヤクロマサンプルの水平位置との間の位相オフセット値と、参照レイヤルーマサンプルの垂直位置とエンハンスメントレイヤルーマサンプルの垂直位置との間の位相オフセット値と、参照レイヤクロマサンプルの垂直位置とエンハンスメントレイヤクロマサンプルの垂直位置との間の位相オフセット値とを導出するようにさらに構成される、請求項15に記載の装置。
  20. 前記プロセッサが、色成分インデックス(cIdx)と、前記位相オフセット(phase_offset_X_luma、phase_offset_X_chroma、phase_offset_Y_luma、phase_offset_Y_chroma)と、スケーリングファクタ(ScaleFactorX,ScaleFactorY)とを用いて、式
    を使用して前記参照レイヤサンプル位置(xRef16,yRef16)を導出するようにさらに構成され、
    ここにおいて、ScaleFactorXおよびScaleFactorYは、水平方向および垂直方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
    ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプル位置または前記クロマサンプル位置を指し、
    ここにおいて、xRef16およびyRef16は、16分の1サンプルの単位でのコロケートされた参照レイヤサンプル位置を指す、
    請求項15に記載の装置。
  21. 前記プロセッサが、前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに基づいて、存在しないシンタックス要素のためのデフォルト位相オフセット値を決定するようにさらに構成される、請求項15に記載の装置。
  22. 前記クロマサンプル位置(xPc,yPc)が水平方向において同じであり、前記クロマサンプル位置が垂直方向においてルーマサンプルに対して1/2ピクセル位置に配置され、
    ここにおいて、水平ルーマ位相オフセット(phase_offset_X_luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、
    ここにおいて、垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
    に等しく、
    ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
    請求項21に記載の装置。
  23. 前記プロセッサが、前記参照レイヤ中の左上サンプルに対してサンプルの16分の1の単位で前記参照レイヤサンプル位置を導出するようにさらに構成される、請求項15に記載の装置。
  24. 前記シンタックス要素が、ピクチャパラメータセット(PPS)、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびスライスセグメントヘッダのうちの1つから導出される、請求項15に記載の装置。
  25. スケーラブルな高効率ビデオ情報を復号するための方法であって、
    マルチレイヤピクチャのためのシンタックス要素を有するビットストリームを受信することと、前記シンタックス要素は、ルーマ位相オフセット値およびクロマ位相オフセット値を表す位相オフセットを有し、
    参照レイヤ中の水平成分と垂直成分とを有するルーマサンプル位置と、エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するルーマサンプル位置との間の前記ルーマ位相オフセット値を取得することと、前記ルーマ位相オフセット値が、エンハンスメントレイヤルーマサンプルの16分の1の単位で決定され、
    前記参照レイヤ中の水平成分と垂直成分とを有するクロマサンプル位置と、前記エンハンスメントレイヤ中の水平成分と垂直成分とを有する対応するクロマサンプル位置との間の前記クロマ位相オフセット値を取得することと、前記クロマ位相オフセット値が、エンハンスメントレイヤクロマサンプルの16分の1の単位で決定され、
    前記ルーマ位相オフセット値および前記クロマ位相オフセット値に基づいて、参照レイヤサンプル位置を導出することと、
    前記受信されたシンタックス要素および前記位相オフセットに基づいて、ブロックを復号することと
    を備える方法。
  26. エンハンスメントレイヤピクチャとその参照レイヤピクチャとの間のスケーリングファクタが1に等しいとき、ビットストリーム適合制限に基づいて、前記位相オフセットを制限することをさらに備える、請求項25に記載の方法。
  27. 前記シンタックス要素が、参照レイヤルーマサンプルの水平位置と、参照レイヤクロマサンプルの水平位置と、参照レイヤルーマサンプルの垂直位置と、参照レイヤクロマサンプルの垂直位置とを導出するために使用される前記位相オフセットを表す、請求項25に記載の方法。
  28. 色成分インデックス(cIdx)および、前記位相オフセット(phase_offset_X_luma、phase_offset_X_chroma、phase_offset_Y_luma、phase_offset_Y_chroma)と、スケーリングファクタ(ScaleFactorX,ScaleFactorY)とを使用して、式
    を使用して、コロケートされた参照レイヤサンプル位置(xRef16,yRef16)を導出することをさらに備え、
    ここにおいて、ScaleFactorXおよびScaleFactorYは、水平方向および垂直方向における前記エンハンスメントレイヤと前記参照レイヤとの間の空間スケーリング比を指し、
    ここにおいて、xP、yPは、エンハンスメントレイヤピクチャにおける前記ルーマサンプル位置または前記クロマサンプル位置を指し、
    ここにおいて、xRef16、yRef16は、16分の1サンプルの単位で前記参照レイヤサンプル位置を指す、
    請求項25に記載の方法。
  29. 前記ルーマサンプル位置と前記クロマサンプル位置との間の相対位置と、現在レイヤと前記参照レイヤとの間のスケーリングファクタとに基づいて、存在しないシンタックス要素のためのデフォルト位相オフセット値を決定することをさらに備える、請求項25に記載の方法。
  30. 前記デフォルト位相オフセットが次のように生成され、
    水平ルーマ位相オフセット(phase_offset_X_luma)、水平クロマ位相オフセット(phase_offset_X_chroma)、および垂直ルーマ位相オフセット(phase_offset_Y_luma)のデフォルト値は0であり、 垂直クロマ位相オフセット(phase_offset_Y_chroma)のデフォルト値は
    に等しく、
    ここにおいて、currLayerPicHeightは現在エンハンスメントレイヤピクチャの高さであり、refLayerPicHeightは参照レイヤピクチャの高さである、
    請求項29に記載の方法。
JP2016546755A 2014-01-16 2015-01-16 スケーラブルビデオコーディングのための参照レイヤサンプル位置導出 Active JP6453350B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201461928358P 2014-01-16 2014-01-16
US61/928,358 2014-01-16
US201461954525P 2014-03-17 2014-03-17
US61/954,525 2014-03-17
US201461974794P 2014-04-03 2014-04-03
US61/974,794 2014-04-03
US201462002622P 2014-05-23 2014-05-23
US62/002,622 2014-05-23
US201462014019P 2014-06-18 2014-06-18
US62/014,019 2014-06-18
US14/598,117 US9906804B2 (en) 2014-01-16 2015-01-15 Reference layer sample position derivation for scalable video coding
US14/598,117 2015-01-15
PCT/US2015/011828 WO2015109238A1 (en) 2014-01-16 2015-01-16 Reference layer sample position derivation for scalable video coding

Publications (3)

Publication Number Publication Date
JP2017503433A JP2017503433A (ja) 2017-01-26
JP2017503433A5 JP2017503433A5 (ja) 2018-05-10
JP6453350B2 true JP6453350B2 (ja) 2019-01-16

Family

ID=53522484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016546755A Active JP6453350B2 (ja) 2014-01-16 2015-01-16 スケーラブルビデオコーディングのための参照レイヤサンプル位置導出

Country Status (7)

Country Link
US (1) US9906804B2 (ja)
EP (1) EP3095241B1 (ja)
JP (1) JP6453350B2 (ja)
KR (1) KR102357816B1 (ja)
CN (1) CN105900431B (ja)
CA (1) CA2933206C (ja)
WO (1) WO2015109238A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140321560A1 (en) * 2013-04-08 2014-10-30 Nokia Corporation Method and technical equipment for video encoding and decoding
US10469853B2 (en) * 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US9338464B2 (en) * 2014-02-04 2016-05-10 Cable Television Laboratories, Inc. Adaptive field and frame identification
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
CN104751779A (zh) * 2014-11-25 2015-07-01 上海和辉光电有限公司 显示装置、oled像素驱动电路及其驱动方法
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
KR20230010060A (ko) * 2016-10-04 2023-01-17 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
EP4447452A2 (en) 2016-10-04 2024-10-16 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN113873260B (zh) * 2016-10-04 2023-02-24 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
EP3474549A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Omnidirectional video slice segmentation
BR112020008896A2 (pt) * 2017-11-07 2020-10-20 Huawei Technologies Co., Ltd. filtro de interpolação para um aparelho e método de interpredição para codificação de vídeo
WO2020050884A1 (en) * 2018-09-04 2020-03-12 Google Llc Temporal prediction shifting for scalable video coding
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
US11019360B2 (en) * 2019-03-21 2021-05-25 Qualcomm Incorporated Generalized reference sample derivation methods for intra prediction in video coding
WO2020256615A1 (en) * 2019-06-21 2020-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Video coding layer up-switching indication
WO2020262286A1 (en) * 2019-06-23 2020-12-30 Sharp Kabushiki Kaisha Systems and methods for performing an adaptive resolution change in video coding
MX2022001593A (es) * 2019-08-06 2022-03-11 Op Solutions Llc Método de gestión de resolución adaptativa para señalización.
EP4011084A4 (en) 2019-08-06 2023-08-09 OP Solutions PRESCALE ADAPTIVE RESOLUTION MANAGEMENT
CN114503581A (zh) 2019-08-06 2022-05-13 Op方案有限责任公司 基于块的自适应分辨率管理
KR20220088680A (ko) 2019-08-06 2022-06-28 오피 솔루션즈, 엘엘씨 프레임 타입에 기반한 적응적 해상도 관리의 묵시적 시그널링
US11303909B2 (en) * 2019-09-18 2022-04-12 Qualcomm Incorporated Scaling ratio and output full resolution picture in video coding
MX2022002916A (es) * 2019-09-19 2022-04-06 Beijing Bytedance Network Tech Co Ltd Derivacion de posiciones de muestra de referencia en codificacion de video.
US12114008B2 (en) 2019-09-30 2024-10-08 Hyundai Motor Company Method and apparatus for inter-prediction of pictures with different resolutions
KR20220070437A (ko) 2019-10-05 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴의 레벨 기반 시그널링
CN114556918A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
MX2022004200A (es) 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
WO2021141372A1 (ko) * 2020-01-06 2021-07-15 현대자동차주식회사 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화
US20240187651A1 (en) * 2022-10-22 2024-06-06 Sharp Kabushikik Kaisha Systems and methods for signaling downsampling offset information in video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827336A (en) * 1987-12-18 1989-05-02 General Electric Company Symbol code generation processing from interframe DPCM of TDM'd spatial-frequency analyses of video signals
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
CN101176348B (zh) * 2005-04-01 2011-01-19 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
WO2009000110A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN102388611B (zh) * 2009-02-11 2015-08-19 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
JP6110410B2 (ja) * 2012-01-31 2017-04-05 ヴィド スケール インコーポレイテッド スケーラブルな高効率ビデオコーディング(hevc)のための参照ピクチャセット(rps)シグナリング
US9503733B2 (en) * 2013-04-10 2016-11-22 ARRIS Enterprises, LLC Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding

Also Published As

Publication number Publication date
CN105900431B (zh) 2019-03-12
WO2015109238A1 (en) 2015-07-23
US9906804B2 (en) 2018-02-27
KR20160108430A (ko) 2016-09-19
BR112016016438A2 (pt) 2017-08-08
EP3095241B1 (en) 2022-11-09
CN105900431A (zh) 2016-08-24
KR102357816B1 (ko) 2022-01-28
CA2933206C (en) 2022-07-19
CA2933206A1 (en) 2015-07-23
EP3095241A1 (en) 2016-11-23
JP2017503433A (ja) 2017-01-26
US20150201204A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
JP6453350B2 (ja) スケーラブルビデオコーディングのための参照レイヤサンプル位置導出
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
TWI618398B (zh) 用於視訊寫碼之跨層平行處理與偏移延遲參數
JP6231128B2 (ja) ビデオ情報のスケーラブル及びマルチビュー/3dコード化のための機器及び方法
JP6321139B2 (ja) Shvcにおいて再サンプリングプロセスを条件付きで呼び出すこと
JP6285020B2 (ja) コンポーネント間フィルタ処理
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
KR102140361B1 (ko) 멀티 계층 코딩에서의 컨포먼스 윈도우 정보
JP6342402B2 (ja) スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
JP2019176483A (ja) マルチレイヤビデオコーディングにおける3次元ルックアップテーブルベースの色域スケーラビリティ
KR101810312B1 (ko) 스케일링 팩터를 사용하는 리샘플링
JP6573879B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP6363190B2 (ja) Vps内のビットレート情報およびピクチャレート情報のシグナリング
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
TW201709743A (zh) 可縮放視訊寫碼中色域縮放性參數及表之推導
JP2017507542A (ja) ビデオコーディングにおけるNoOutputOfPriorPicsFlagの改善された推論
JP6367309B2 (ja) 映像情報のスケーラブルコーディングのためのデバイス及び方法
JP2016539545A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
JP2017508336A (ja) マルチレイヤビデオコーディングにおける異なるコーデックのベースレイヤのサポート
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
JP2017518704A (ja) マルチレイヤコーデックのためのフルピクチャ順序カウントリセット
JP2017515383A (ja) 色域スケーラビリティのための3d色予測のためにビット深度値を信号伝達すること
JP2016528802A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
BR112016016438B1 (pt) Derivação de posição de amostra de camada de referência para codificação de vídeo escalonável

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180626

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181212

R150 Certificate of patent or registration of utility model

Ref document number: 6453350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250