JP5926856B2 - 階層化されたビデオ符号化のためのレベル信号伝達 - Google Patents

階層化されたビデオ符号化のためのレベル信号伝達 Download PDF

Info

Publication number
JP5926856B2
JP5926856B2 JP2015504615A JP2015504615A JP5926856B2 JP 5926856 B2 JP5926856 B2 JP 5926856B2 JP 2015504615 A JP2015504615 A JP 2015504615A JP 2015504615 A JP2015504615 A JP 2015504615A JP 5926856 B2 JP5926856 B2 JP 5926856B2
Authority
JP
Japan
Prior art keywords
layer
level
decoding
bitstream
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015504615A
Other languages
English (en)
Other versions
JP2015515825A (ja
Inventor
ジル・ボイス
ダニー・ホン
ジャン・ウォンカップ
ステファン・ヴェンガー
Original Assignee
ヴィディオ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィディオ・インコーポレーテッド filed Critical ヴィディオ・インコーポレーテッド
Publication of JP2015515825A publication Critical patent/JP2015515825A/ja
Application granted granted Critical
Publication of JP5926856B2 publication Critical patent/JP5926856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本出願は、2012年4月6日に出願した「Level signaling for layered video coding」という名称の米国仮出願第61/621,093号の優先権を主張するものであり、その開示の全体が参照により本明細書に組み込まれる。
開示される主題は、ビデオ符号化に関し、より詳細には、階層化されたビットストリームにおいて必要な復号器能力のレベルまたは他の表示の信号伝達に関連する情報の表現に関する。
ビデオ符号化は、一連の非圧縮画像が、圧縮されたビデオビットストリームに変換される技法を指す。ビデオ復号化は、逆のプロセスを指す。国際電気通信連合(「ITU」)、Place de Nations、CH-1211 Geneva 20、Switzerland、もしくはhttp://www.itu.int/rec/T-REC-H.264から入手可能な、参照によって全体が本明細書に組み込まれている、ITU-T勧告H.264「Advanced video coding for generic audiovisual services」、2010年3月、または、高能率ビデオ符号化(High Efficiency Video Coding)(HEVC)(http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zipから入手可能な、以後「WD9」と称される、参照によって全体が本明細書に組み込まれている、B. Brossら、「High Efficiency Video Coding (HEVC) text specification draft 9」、2012年12月)など、画像およびビデオの復号動作のための技法を規定する多くの規格が存在する。
スケーラブルビデオ符号化としても知られている階層化されたビデオ符号化は、ビデオビットストリームが、層と称される2つ以上のサブビットストリームに分離され得るビデオ符号化技法を指すものである。層は層の階層を形成することができ、それによって基準層が独立して復号化され得、また、拡張層が基準層および/または下位の拡張層とともに復号化され得る。
H.264またはHEVCなどのいくつかのビデオ復号化の規格は、ビットストリームを復号化するのに復号器が有する必要のある能力をビットストリームで信号伝達するのに、プロファイル/レベルシステムを利用する。プロファイルは、一般にビデオ符号化の規格で規定された符号化技術(「ツール」として知られている)の選択を指すものであり、レベルは、一般に1秒につき一定数のピクセル、ブロック、マクロブロック、ツリーブロック、コーディングユニット、または類似の単位を復号化する要件を指すものである。したがって、レベルは、所与の(符号化されていない)画像サイズまでのビットストリームを特定のフレームレートで復号化するための復号器の能力を表すことができる。プロファイルおよびレベルは、アプリケーションの規格において、H.264またはHEVCなどのビデオ符号化規格で規定することができるか、または規格プロセス外の専門業者によって合意され得る。
H.264は、スケーラブルビデオ符号化(Scalable Video Coding)すなわちSVCとして知られている、階層化された符号化に対応するための拡張機能Annex Gを含む。Annex Hは、マルチビュービデオ符号化、すなわち以後MVCと称される、マルチビュー拡張機能を含む。Annex GまたはAnnex Hが有効でないH.264は、AVCと称される。
SVCでは、複数の空間層、品質層、または時間層が符号化されてよく、層は別の層に依存して符号化されてよい。基準層は他の層と無関係であり、AVCと下位互換性がある。SVCは、インター符号化マクロブロックに対して単一ループ復号化を用いることができ、イントラ符号化マクロブロックに対して多重ループ復号化を用いることができる。
MVCでは、マルチビューが符号化されてよく、ビューは別のビューに依存して符号化されてよい。基準ビューは他のビューと無関係であり、AVCと下位互換性がある。MVCは多重ループ復号化を用い、ビューAはビューBに対する基準であり、ビューBを出力するために、ビューAとビューBのどちらも復号化されなければならない。
H.264はシーケンスパラメータの組を含み、シーケンスパラメータの組は、ビデオシーケンスの中に、符号化された画像のすべてに関連した情報を含んでいる。シーケンスパラメータの組の内部に、プロファイルおよびレベルの指標に関するシンタックス要素がある。同様に、SVCおよびMVCでは、サブセットのシーケンスパラメータの組は、プロファイルおよびレベルの指標に関するシンタックス要素を有する。非基準層または非基準ビューではサブセットのシーケンスパラメータの組が用いられ、基準層または基準ビューではシーケンスパラメータの組が用いられる。
SVCおよびMVCの拡張機能によって、ターゲット層表現またはビュー表現のサブビットストリーム抽出のためのメカニズムがもたらされ、この抽出の出力は、有効な符号化されたビデオビットストリームであり、ターゲット層表現自体に関連したNAL単位、ならびにターゲットのdependency_id、quality_id、temporal_id、およびpriority_idの値以下の値を有するすべての層を含む。
H.264では、それぞれの符号化されたスライスヘッダに、画像パラメータの組のidのシンタックス要素があり、これは画像パラメータの組(PPS)を参照するものである。PPSには、符号化された画像のすべてに関して一定であるが、2つの画像の間で変化する可能性があるパラメータが含まれる。PPSの1つのシンタックス要素が、シーケンスパラメータの組のidに対するインデックスであり、これはシーケンスパラメータの組(SPS)を参照する。SVCの同一の層またはMVCの同一のビューのすべての符号化されたスライスは、符号化されたビデオシーケンスの全体にわたって、同一のSPSまたはサブセットのシーケンスパラメータの組を参照する。
シーケンスパラメータの組は、画像解像度、ビデオの有用性情報など、ならびにプロファイルおよびレベルの指標に関する情報を含むことができる。MVCの複数のビューが同一のシーケンスパラメータの組を参照することが許容される。同様に、複数のSVC層が、同一のシーケンスパラメータの組を参照することが許容される。
H.264は、そのプロファイルおよびレベルの指標によって、準拠する符号化されたビットストリームに対して様々な制限を設ける。プロファイルおよびレベルの指標は適合ポイントを規定することができ、ビットストリームにプロファイルおよびレベルの情報が存在することにより、復号器またはメディアアウェアネットワーク要素(Media Aware Network Element) (MANE)は、特定のビットストリームを復号化する能力か、そうでなければ処理する能力があるかどうか判断することができるようになる。プロファイルは、一般に対応されている符号化ツールの組を規定し、レベルは、一般に計算上の要求に影響を与える制約を規定する。
レベルに関して、H.264は、最大の画像サイズ、ビットレート、およびマクロブロックスループットなどのパラメータの制限に対するそれぞれの許されるlevel_id値をマッピングする表をもたらす。具体的には、マクロブロックスループット制限は、1秒当りのマクロブロックの最大数すなわちMaxMBPSを制限する。マクロブロックのサイズが16×16サンプルであるので、MaxMBPSの計算が、それぞれの符号化された画像が整数個のマクロブロックを含まなければならず、したがって垂直解像度および水平解像度は最も近いマクロブロックサイズに切り上げなければならないと見なす点を除いて、MaxMBPSは1秒当りのピクセルレートに密接に関連する。
SVC基準層またはMVC基準ビューとして用いられるものを含む(単一の層/ビューの)AVCプロファイルについては、固定フレームレートFrameRateを想定すると、最大のMBのスループットは、レベル制限MaxMBPS≧PicSizeInMbs*FrameRateに制限される。規格文書におけるレベル制限の制約の説明が、固定フレームレートを想定しておらず、フレーム間の最小出力時間に対する制限として表されていることに留意されたい。上記の式は、(可変フレームレートを許容する)H.264の記述の(固定フレームレートを想定した)簡素化である。
複数のスケーラブル層またはスケーラブルビューが復号化されるSVCおよびMVCに関連したプロファイルについては、1秒当りの最大のMBのスループットの解釈は、以下で説明されるように、層またはビューの数に基づいて変更される。
SVC拡張機能では、非基準層用のサブセットのシーケンスパラメータの組では、レベル制限は、最大のMBスループットの制約MaxMBPS≧svcPicSizeInMbs*FrameRateを表し、svcPicSizeInMbsの値は、やはり固定フレームレートを想定して、層数ならびに活性層およびその参照層の画像サイズに基づくものである。
図1を参照すると、基準層(101)と、基準層(101)をその参照層として用いる2つの空間層またはSNR拡張層(102)および(103)と、基準層(101)および拡張層(102)をその参照層として用いる第3の空間層またはSNR拡張層(104)とを有する層の階層が示されている。H.264に従う層(101)〜(104)のそれぞれには、(それぞれ105〜108の)レベルがあり、シーケンスパラメータの組のlevel_idフィールドとして符号化して関連付けられている。基準層(101)と関連したレベル(105)は、基準層の計算上の要求を分離して示すことができ、H.264で規定されたレベル表を参照することによって表現される。具体的には、H.264によれば、基準層(101)向けに符号化されたlevel_idは、符号器によって、(最大の画像サイズ、マクロブロックの1秒当りのスループットなどの)レベルに関連したすべての符号化パラメータが、そのレベルに従ってビットストリームを復号化するための要求以上になるように選択され得る。
拡張層(102〜104)用のレベル(106〜108)は、H.264によれば、符号化されたレベルに関連した計算要件が、対象となっている拡張層(102〜104)およびそのすべての参照層の組合せを復号化するための計算要件を上回るように符号化され得る。たとえば、拡張層(104)用のレベル指標(108)は、レベル指標(108)によって示されたすべての計算要件に関して、それぞれの計算上の複雑さが、すべての層(104)と、その参照層(102)および(101)の組合せを復号化するのに必要な計算上の複雑さを上回るように選択される。図1では、これは、層(101)、(102)および(104)を囲む破線(110)によって示されている。同様に、拡張層(103)のシーケンスパラメータの組の中に符号化されたレベル指標(107)は、拡張層(103)と基準層(101)の組合せを復号化するための計算上の要求が、レベル指標(107)で示されたものを下回るように選択され得る。これは、層(101)および層(103)のまわりの強調された線(111)によって示されている。
MVC拡張機能では、非基準ビュー用のサブセットのシーケンスパラメータの組において、レベル制限は、最大のMBスループットの制約を、MaxMBPS≧(NumViews/2)*PicSizeInMbs* FrameRateと表現し、NumViewsは、固定フレームレートをもう一度想定して、ターゲット出力ビューを復号化するのに必要なビューの数を指す。
MVCでは、MBスループット制限がビューの数に基づくものであるため、そうでなければそのSPSパラメータ値がたとえば同一の画像解像度およびVUIデータを伴って同一である複数のビュー層が、それらのレベル指標値において異なり得る。その場合、H.264では、それぞれのSPSが単一のレベル指標のみを含むことができるので、複数のビュー層が別々のSPS idを参照することができる。すべてのビューを復号化するのに(たとえば基準ビューのみを復号化する場合でも)十分な計算上のリソースを示すのに十分に高いレベル指標を有する同一のSPSを参照して、この代替形態には問題がある可能性がある。たとえば、基準ビューにとって必要なものよりも高いレベル指標を符号化する場合、レベル指標が、(複数のビューに適応するために)単一のビューを復号化するのに必要なレベルより高いレベルを示すので、十分な計算上のリソースを有するデバイスで基準ビュー(非マルチビューを復号化するのに適切な、完全に適合することができるAVCビットストリームでもあり得る)を復号化できない可能性がある。
SVCとMVCの両方に関して、いくつかの理由で、それぞれの層またはビューにつき1つのSPSというのは非能率的である可能性がある。それらの理由を説明するために、パラメータの組を参照するH.264のメカニズムを概説する。図2を参照して、スライスヘッダPPSとSPSの間の関係が示されている。スライスヘッダ(201)は、用いられるPPS(203)を示す可変長(ext-Golomb)の符号化されたフィールド(202)を含むことができる。ID 0を有するPPS(203)については、そのフィールド(202)の長さは1ビットである。値1または2については、フィールドの長さは3ビットである。3以上の値については、フィールドの長さは少なくとも5ビットである。PPSの内部に、SPS(205)を示す表示(204)が存在し得る。SPS(205)の内部に、(SPSの伝送中にSPSを識別するのに用いることができる)自己参照(206)が存在し得る。ビデオストリームは多くのSPSおよびPPSを含むことができ、符号器は、画像単位で、またはビデオシーケンス単位で、スライスヘッダ(201)の適切なPPS ID(202)を符号化することにより、それらを切り換え得ることに留意されたい。
第1の理由については、H.264では、レベル指標(208)によってのみ異なり得るビットストリームに複数のSPS(207)を含む(またはそれらを帯域外から送信する)必要があり得る。しかしながら、SPSの他の多くのシンタックス要素も、この規格に準拠する必要があり得る。これによって、別々の層またはビューに対して別々のレベルでの信号伝達を可能にするためには、多くのSPSシンタックス要素の伝送が冗長になる可能性があり、符号化の効率に対する影響を伴う。第2の理由については、SPSは、スライスヘッダ(または他の符号化された画像の高レベルのシンタックス要素)から直接参照されるのではなく、1レベルのインダイレクションによって参照され、スライスヘッダはPPSを参照し、PPSはSPSを参照する。適切なSPSを参照するために、それぞれのSPSに対する参照を含んでいる少なくとも1つのPPSが存在する必要がある。そのPPSも、前述のように、異なるSPSが異なるレベルで信号伝達する必要があるために異なるものであり得るPPS IDによってのみ他のPPS(209)から異なるものであり得る。結果として、前述のように多くの冗長な値を含んでいる可能性のある複数のSPSが必要になるばかりでなく、やはり多くの冗長なパラメータを有する多くのPPSも必要になり得る。第3の理由については、スライスヘッダの別々のPPSを信号伝達するために、より多くの別々のPPS IDを信号伝達する必要があるとき、PPS ID(202)を信号伝達するのに用いられるコードワードの平均長さ(可変長)がより長くなる可能性がある。第4の理由については、SPS(204)を参照するPPSのコードワードも可変長で符号化され、多くのSPSが必要なときには長くなり得る。第5の理由については、それぞれSPS(205)およびPPS(203)の内部の自己参照(206)、(210)にも同じことが当てはまる。
SVCは、スケーラビリティ情報のSEIメッセージ(SSEIメッセージ)を含む。SEIメッセージに対する復号化および作用がないと、ユーザ経験に悪影響が及ぶ可能性があるが、H.264またはHEVCによれば、復号器は、SSEIメッセージを含む実質的にすべてのSEIメッセージに対して復号化したり作用したりする必要はない。しかしながら、復号器は、リソース管理などのメカニズム用のビットストリームで見つかったSSEIメッセージで入手可能な情報を用いてよく、SEIメッセージに含まれている値が正しいものと信頼することができる。SSEIメッセージは、とりわけ、符号化されたビデオシーケンスに存在する層数に関する情報をもたらす。それらの層のそれぞれに関して、SSEIメッセージは、優先順位id値、従属性id値、品質id値および時間id値に対する層id値(これらは、組み合わせて、層の階層における層の位置、ならびに各層を説明する他の多くのパラメータを説明することができる)のマッピングを直接的または間接的にもたらすことができる。この付加的なパラメータのうちいくつかはSEIメッセージ内でさえ任意選択であり、プロファイルおよびレベルの情報ならびに平均ビットレートを含む。SSEIメッセージにおけるプロファイルおよびレベルの情報は、層id値によって識別されるターゲット層表現と関連したサブビットストリームに対する復号化能力を示すことができる。レベル制限は、あたかも同一のレベル指標値がシーケンスパラメータの組に含まれているかのように、同じやり方で解釈され得る。一方、SSEIは、このように用いられるとき、復号器がそれぞれのスケーラブル層に関するプロファイルおよびレベルの情報を取得することを可能にするための十分な情報を含んでおり、復号器がH.264に適合するために、前述のともすれば冗長なPPSおよびSPSのコピーが必要とされることがある(符号化の効率に悪影響がある)。
同様に、MVCでは、ビュースケーラビリティ情報のSEIメッセージは、符号化されたビデオシーケンスにおけるビューの数に関する情報をもたらし、また、任意選択で、ターゲットビュー表現と関連したサブビットストリームに関するプロファイルおよびレベルの情報をもたらす。
HEVCは、H.264に似て、シーケンスパラメータの組のプロファイルおよびレベルの指標のシンタックス要素を有する。レベル制限は、(H.264のMBのレートとは対照的に)ピクセルレートに直接基づくものであるが、他の点では機能は同等である。Table 1(表1)は、HEVCに従って、各レベルに関する最大のピクセルレートおよび画像サイズを示すものである。再び固定フレームレートを想定して、ピクセルスループットに対して、レベル制限ピクセルスループット(level limit pixel throughput)MaxLumaPR≧PicSizeLuma*FrameRateという制限があり、PicSizeLumaは、ピクセルの画像のluma構成要素のサイズを指す。
HEVCにおけるスケーラブル拡張機能およびマルチビュー拡張機能については、参照によって全体が本明細書に組み込まれている、http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=4691から入手可能な、J. Boyceら、「High level syntax hooks for future extensions」、2012年1月、JCTVC-H0388が、スケーラブル層とマルチビューのビューを同様に、すなわち層として扱うことを開示している。層はそのlayer_id値によって識別され得る。所与の層に属するスライスのスライスヘッダは、画像パラメータの組のidを参照するためのシンタックス要素を含むことができる。画像パラメータの組には、シーケンスパラメータの組に対する参照として働くシンタックス要素が含まれている。
http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2209から入手可能な、参照によって全体が本明細書に組み込まれている、J. Boyceら、「Extensible High Layer Syntax for Scalability」、JCTVC-E279、2011年3月では、シーケンスパラメータの組は、符号化されたビデオシーケンスのすべての層に対して適用可能な従属層パラメータの組を含むことができ、これは、それぞれの層に関するさらなる情報を含むことができる。そのような情報は、特定の層を復号化するのに必要な参照層の表示を含むことができる。時間層は、前述の意味の(完全な)層ではなく副層であると考えられる。ターゲット層に対するサブビットストリーム抽出の結果は、層の組と称されるサブビットストリームであり得て、復号化に必要なすべての参照層のNAL単位ならびに特定の(ターゲット)層と関連したNAL単位を含むことができる。抽出された層の組自体が、準拠したビットストリームである。サブビットストリーム抽出は、ターゲット層とターゲットの時間idの両方を考慮に入れることができ、副層の組をもたらし、副層の組自体も準拠したビットストリームである。
前述の提案をHEVCに単純に統合することは、MVCの文脈で言及されたものに類似の欠点をもたらす可能性がある。具体的には、SPSのレベル指標の符号化は、互いにわずかしか異ならない(たとえばレベルIDのシンタックス要素だけが異なる)多くのSPSを必要とするために符号化が非効率的になる可能性があり、そのことにより、多くのPPS、それらの複数のPPSを参照するためのスライスヘッダの不必要な長い可変コードワードが必要となり得、符号化が非効率的になり得る。
したがって、階層化された符号化におけるレベル信号伝達のための改善された技法が必要とされている。
開示される主題は、一実施形態では、階層化されたビットストリームのレベルidを求めるための技法を提供するものであり、この技法により、ビットストリームのすべての層に関して、すべてのレベルidを同一にすることが可能になり、その結果として、すべての層に対して同一のシーケンスパラメータの組の用いることができるようになる。
特定の実施形態では、SPSのレベルidよりも下位にあり得る階層化されたビットストリームのサブビットストリーム向けに1つのレベルを信号伝達することができる。
同一の実施形態または別の実施形態では、サブビットストリーム向けにプロファイルを信号伝達することができる。
同一の実施形態または別の実施形態では、プロファイルまたはレベルの信号伝達がSEIメッセージにあり得る。
開示される主題のさらなる特徴、性質および様々な利点が、以下の詳細な説明および添付図面から、より明らかになるであろう。
層の階層を示す図である。 スライスヘッダ、PPS、およびSPSの間の関係を示す図である。 開示された主題の例示的実施形態による層の階層を示す図である。 開示された主題の例示的実施形態によるビデオ伝送システムを示す図である。 開示された主題の例示的実施形態によるシンタックスの図である。 開示された主題の例示的実施形態を実施するのに適切なコンピュータシステムの図である。
これらの図は、組み込まれて本開示の一部分を構成する。これらの図を通じて、同一の参照数字および文字は、別様に明示されなければ、示された実施形態の類似の特徴、要素、構成要素または一部分を示すのに用いられる。さらに、開示された主題が、次に、図を参照しながら、例示的実施形態と関連して詳細に説明されることになる。
ビデオ復号化のためのシステムおよび方法、ならびに階層化されたビットストリームのレベルを信号伝達するための対応する技法が説明される。
開示された主題の一態様は、スケーラブルコーデックおよび/またはマルチビューコーデックに適用可能であり、基準層および1つまたは複数の非基準層(以下、拡張層)は付加的なスケーラブル層またはスケーラブルビューを表す。それぞれの層に関するスライスヘッダは、SPSを直接的または間接的に参照するシンタックス要素を含むことができる。シンタックス要素は、たとえばスライスヘッダにおけるSPS idのシンタックス要素といった直接参照であり得、あるいは、たとえば、PPSを参照する、スライスヘッダにおける画像パラメータの組のid値といった間接参照であって、SPSを参照するSPS idのシンタックス要素を含んでいる間接参照であり得る。
開示された主題の一態様では、同一の空間分解能を有する複数の層は、ターゲット層と関連した複数の別々のサブビットストリームを復号化するための別々のピクセルスループットの要求を有するにもかかわらず、同一のシーケンスパラメータの組を参照してよい。
一実施形態では、すべての層のSPSのレベル指標によって規定されたピクセルスループット制限の制約は、個々の層のSPSパラメータにのみ依存するように定義される。前述のように、H.264では、所与の層向けに示されるレベルは、そのターゲット層およびそのターゲット層が依存するすべての層の復号化の計算上の複雑さを許容するように選択される。
図3を参照すると、図1のものと類似の階層化構造が示されている。1の基準層(301)にはそれと関連するレベル(305)があり、3つの拡張層(302〜304)が、それぞれの関連するレベル指標(306〜308)を有する。同じ実施形態または別の実施形態によれば、拡張層(それぞれ302〜304)向けに示されるレベル指標(306〜308)によって示されるレベルは、レベル指標(306〜308)によって示される計算要件が、(あったとしても)参照層の復号化に関する計算上の要求をカウントせずに、その拡張層を分離して復号化するのに必要な計算上の複雑さを上回るように選択される。たとえば、拡張層(304)に関連してレベル指標(308)によって示されるものは、参照層(301)および参照層(302)が既に復号化されているという仮定の下で、その拡張層(304)を復号化するのに必要な計算上のリソースのみを反映するように選択され得る。
各層において、その層の復号化を求めるレベルのみを符号化すると、同一の空間分解能を有する複数のビューまたは複数のスケーラブル層は、既に説明されたような不必要に高いレベルを規定される必要性もなく、同一のシーケンスパラメータの組を参照することが可能になり得る。そのようにすることは、従属層または従属ビューのスループットの要求を考慮して計算される、SVCおよびMVCに関するマクロブロックのスループットに対するレベル制限の制約とは異なる。本明細書で説明されたようなレベル指標の別々のセマンティクスを明確にするために、そのような新規のレベル指標を、たとえば「層レベルの指標」と称することによって、標準的なテキストにおいてマークを付けることができる。
上記で説明された斬新なレベル指標は、SPS、PPSの数、ならびに搬送する必要のあるスライスヘッダにおけるPPS IDおよびPPSにおけるSPS IDの平均サイズを低減することにより、以前に用いられたようなレベル指標の使用法と比較して、符号化の効率を改善することができる。しかしながら、復号器が、スループットの要求に基づいて、復号化することができるはずのビットストリームを拒絶する可能性がある。これは、すべての層がレベルidで示された利用可能なスループットリソースをすべて行使して、復号器はそのようなスループットを扱うことができない、といった最悪のケースを想定して復号器が動作する必要があり得るためである。
たとえば、基準層がスループットの要求tpbを有し、拡張層がより高いスループットの要求tpeを有する場合、(単一)SPSは、tpeを許容するレベルを信号伝達する必要があることになる。2つの層(基準層および拡張層)があるので、信号伝達されるスループットの要求はtpeの2倍になるはずである。しかしながら、事実上のスループットの要求はtpb+tpeでしかなく、tpeの2倍を下回る可能性がある。復号器に、tpb+tpeを上回るものの2*tpeを下回るスループットの要求を有するビットストリームを復号化する能力があるとすれば、復号器は、このビットストリームを復号化することができるということを、入手可能な情報に基づいて知ることにならず、したがって、復号化することができたとしても、ビットストリームを拒絶する可能性がある。
この状況を軽減するために、同じ実施形態または別の実施形態では、サブビットストリームの復号化の複雑さのさらなる制約を信号伝達することができるサブビットストリームのレベル指標が、ビットストリームに含まれ得る。サブビットストリームのレベル指標は、同じ実施形態または別の実施形態によれば、たとえばサブビットストリーム情報のSEIメッセージといった高レベルのシンタックス構造の形で符号化することができる。類似情報を搬送することができる他の高レベルのシンタックス構造には、ビデオパラメータの組、シーケンスパラメータの組、画像パラメータの組、適合パラメータの組、またはスライスヘッダが含まれる。これ以降、関連情報が搬送され得る多くのシンタックス構造のうちの1つとして、SEIメッセージのフォーマットが説明される。
各レベルid値をピクセルスループット制限に対応付ける、層レベルとサブビットストリームレベルの両方に対して適用可能な表は、コーデック仕様で定義され得る。シーケンスパラメータの組の層レベル指標によって、準拠するビットストリームに与えられるピクセルスループットのレベル制限の制約の解釈は、一実施形態によれば、特定の個々の層の処理に基づくものであり得る。制約は、ピクセルスループットの層レベルの制限が、基準層または基準ビューと、すべての非基準層および非基準ビューとの両方に対して、MaxLumaPR≧PicSizeLuma*FrameRateということであり、PicSizeLumaは、シーケンスパラメータの組における画像の水平および垂直のサイズのシンタックス要素から計算される。
図4を参照すると、たとえば符号器、復号器(402)、メディアアウェアネットワーク要素(MANE)(403)といったビットストリームソース(401)を備えたビデオ伝送システムが示されている。ビットストリームソース(401)、復号器(402)およびMANE(403)は、たとえばインターネットなどのIPネットワークといったネットワーク(図示せず)を通じて接続することができる。
復号器(402)またはMANE(403)は、それぞれの層に関するレベル制限の制約を考慮に入れることによって、スケーラブルまたはマルチビューのビットストリームを処理するためのそれ自体の能力をチェックすることができる。たとえば復号器またはMANEが一定のレベルに対応することができる、すなわち(とりわけ)1秒当り一定数の符号化されたピクセルを処理する能力があると想定し、次いで、復号器またはMANEは、最下位の層(基準層)から始めて、計算された計算要件の合計がそれ自体の能力を超過するポイントまで、それぞれの層のレベルによって示された計算要件を加算することができる。その能力を上回る層は、復号器またはMANEが対処することができない計算上の要求をもたらす可能性があり、たとえば破棄され得る。層を破棄する別の理由には、MANE(403)と復号器(402)の間のリンクが拡張層を伝送する能力を有し得ないということがあり得る。
いくつかのシナリオでは、たとえばターゲット層が既知であるために、復号器またはMANEに、すべての層を復号化する必要があるわけではないことが知れている可能性がある。たとえば、最上位の拡張層より低いスクリーン解像度を有するデバイス上の空間的にスケーラブルのビットストリームを復号化するときが当てはまる。そのようなシナリオでは、たとえばユーザインターフェースまたはコール制御プロトコルを通じて復号器またはMANEに知られ得るターゲット層までしか復号しないのが望ましいと言える。そのような事例では、他のすべての層がアプリケーションの要求のためにいずれにしても復号化されないので、拡張層のレベル指標によって示された計算上の要求を加算するステップは、ターゲット層で停止し得る。
従属層の数が、たとえば依存パラメータの組といったより高位の層のパラメータの組で入手可能な情報から知られ得るか、または導出され得るので、加算演算の複雑さをさらに制限することができる。
図5を参照すると、同じ実施形態または別の実施形態では、サブビットストリーム情報のSEIメッセージは、許容ターゲット層(図示せず)のそれぞれのレベルid値を含むことができる。
同じ実施形態または別の実施形態では、SEIメッセージは、ターゲット層とターゲット層の時間的な副層のそれぞれとの組合せに関するレベルid値(501)をさらに含むことができる。このレベルid値は、ターゲット層と関連した層の組の全体を含んでいるサブビットストリームに対して総体として適用される制約を信号伝達するのに用いることができる。SEIメッセージのレベル指標は、SPSのレベル指標とは異なって解釈され得て、したがって、前述のサブビットストリームのレベル指標とは対照的に、別の指示として用いられ得る。
同じ実施形態または別の実施形態では、SEIメッセージは、サブビットストリームのプロファイル情報(502)も含むことができる。
同じ実施形態または別の実施形態では、SEIメッセージは、それぞれのサブビットストリーム(503)に関する拡張機能メカニズムを含むことができる。
同じ実施形態または別の実施形態では、レベル情報(501)、プロファイル情報(502)、および拡張機能メカニズム(503)は、2つのネスト化ループ(504)、(505)に符号化され得、外側ループは、すべての非時間層または非時間ビュー(504)を対象にすることができ、内側ループはすべての時間層(505)を対象にすることができる。
同じ実施形態または別の実施形態では、プロファイル情報およびレベル情報の存在は、それぞれフラグ(506)、(507)によって、またはプロファイルおよびレベルに対してそれぞれ別々のフラグを用いて、サブビットストリーム(ターゲットの非時間層およびターゲットの時間層によって定義される)ごとに示すことができる。たとえばサブビットストリームがビットストリームの一部分ではない非時間層または時間層を含むので、フラグによって、ビットストリームの一部分でないサブビットストリームに対する「スキッピング」が許容され得る。
同じ実施形態または別の実施形態では、プロファイル情報およびレベル情報の存在は、プロファイルおよびレベルに対して2つの個別のフラグをそれぞれ用いるか、またはプロファイル信号伝達の存在を示す単一のフラグを用い、レベル信号伝達はデフォルトで行なって、サブビットストリーム(ターゲットの非時間層およびターゲットの時間層によって定義される)ごとにそれぞれ示すことができる。別々のターゲット時間層を有する同一の符号化されたビットストリームの別々のサブビットストリームは、それらが同一のプロファイルを有するとしても、別々のレベルを必要とする可能性がある。プロファイルの信号伝達なしでレベルの信号伝達が可能になると、符号化効率の利点がもたらされる。同様に、プロファイル存在フラグは、空間層または品質層と関連したプロファイルおよびレベルのサブビットストリーム向けに信号伝達され得、レベルが、プロファイルも送信する必要性はなく、層向けに信号伝達され得る。空間層または品質層とターゲットの時間層との両方に関連したサブビットストリームに関するプロファイル存在フラグは、別々のサブビットストリームに関してプロファイルは不変であるがレベルが異なるとき、プロファイルの信号伝達を回避することにより、符号化効率の利点をもたらすことができる。
既に説明されたフラグベースのメカニズムに優って、サブビットストリームのレベル情報および/またはプロファイル情報が存在しないことを表す他のやり方がある。たとえば、存在フラグに含まれる情報は、結合して可変長コードワードで符号化することができる。または、プロファイル情報およびレベル情報は符号化された可変長であり得て、レベルidまたはプロファイルidの非存在を示すのに、短いコードワードを選択することができる。あるいは、シンタックスは、(規格によって許容された非時間層または時間層の最大数にわたってループを実行するのではなく)2つのループの早期終了に関する情報を含むことができる。そのような代替形態は開示された主題の範囲内にある。
この手法は、プロファイルとレベルの両方の存在を信号伝達するための単一のフラグを含んでいるSVCスケーラビリティ情報のSEIメッセージにおけるプロファイル指標およびレベル指標とは異なるものである。
ターゲット層id iおよびターゲットの時間id jに関するサブビットストリームのレベル指標によって参照されるサブビットストリームに対するピクセルスループット上の制約は式(1)によって表すことができ、
kは、層i、LS[i]と関連した層の組に含まれる層のすべてを通ってループし、FrameRate[k][j]は、k番目の層のj番目の時間副層に関するフレーム率であり、それぞれの層のそれぞれの時間副層についてフレーム率が一定であると想定している。この制約は、可変フレームレートについても表現することができる。
サブビットストリームのSEIメッセージのサブビットストリームプロファイルおよびレベル指標は、たとえばサブビットストリームが基準層を含んでいるときといった、特定のサブビットストリームおよび層が同一の符号化されたビットストリームデータを含んでいるときでさえ、必ずしもシーケンスパラメータの組における層レベル指標と一致する必要はない。むしろ、符号化されたビットストリームは、シーケンスパラメータの組の層プロファイルとレベル指標の両方によって示された制約、および、存在するときにはサブビットストリームのプロファイルおよびSEIメッセージのレベル制約によって示された制約に従うべきである。
層ごとのシーケンスパラメータの組によって前もって送信され得るSEIメッセージの中に有効なサブビットストリームのプロファイル情報およびレベル情報があると、復号器またはMANEが、SEIメッセージを受信すると直ちに、符号化されたビットストリームのどの層および時間副層を処理するべきか、その能力を判断するのに有利であり得る。
Table 2(表2)は、3つの時間副層を有する3ビューのマルチビュービットストリームに関する本発明の使用法の説明に役立つ実例を提供するものである。
この例では、各層が1920×1080の解像度を有する。すべての3つの層に関して、時間層0は15fpsであり、時間層1は30fpsであり、時間層2は60fpsである。それぞれの個々の層についてのピクセルレートが、表において計算されている。Table 1(表1)のHEVC制約を考慮して、各層に関するレベル制限が計算されており、これは、それらが同一の解像度で、同一のレベルを有するためであり、このことはシーケンスパラメータの組で信号伝達される。層1および層2は同一のシーケンスパラメータの組を参照してよい。追加の列は、それぞれの可能なターゲットlayer_idおよびtemporal_idと関連したサブビットストリームに関するピクセルレートを示す。各サブビットストリームに関するレベルは、Table 1(表1)のHEVC制約を用いて計算されている。これらのサブビットストリームのレベル制約は、サブビットストリームのSEIメッセージで信号伝達することができる。
この例に関するサブビットストリーム情報のSEIメッセージのシンタックスを考えると、2であるmax_layers_minus1および2であるmax_temporal_layers_minus1は、より高いレベルのパラメータの組で送信される。層の時間副層についてはプロファイルが変化しないので、sub_bitstream_profile_info_present_flag[i][j]は、iおよびjのすべての値に対して0である。sub_bitstream_level_info_present_flag[i][j]は、iおよびjのすべての値に対して1であり、Table 2(表2)の右端の列に示されたレベルに関連したレベル指標が送信される。
コンピュータシステム
前述の、層、副層または階層化されたビットストリームの復号化の可能性を求めるための方法は、コンピュータ可読媒体に物理的に記憶されたコンピュータ可読命令を用いてコンピュータソフトウェアとして実施することができる。コンピュータソフトウェアは、任意の適切なコンピュータ言語を用いて符号化することができる。ソフトウェア命令は、様々なタイプのコンピュータ上で実行することができる。たとえば、図6は本開示の実施形態を実施するのに適切なコンピュータシステム600を示す。
図6に示されたコンピュータシステム600用のコンポーネントは、本来例示であり、本開示の実施形態を実施するコンピュータソフトウェアの用途または機能の範囲に関するいかなる制限も示唆するようには意図されていない。また、これらのコンポーネントの構成は、コンピュータシステムのこの例示的実施形態において示されたコンポーネントのいずれか1つまたは組合せに関連する何らかの依存関係または要件があるものと解釈されるべきではない。コンピュータシステム600は、集積回路、プリント回路基板、小さな携帯端末(携帯電話またはPDAなど)、パーソナルコンピュータまたはスーパーコンピュータを含む多くの物理的形態を有することができる。
コンピュータシステム600は、ディスプレイ632、1つまたは複数の入力デバイス633(たとえばキーパッド、キーボード、マウス、スタイラスなど)、1つまたは複数の出力デバイス634(たとえばスピーカ)、1つまたは複数の記憶デバイス635、様々なタイプの記憶媒体636を含む。
システムバス640は、多種多様なサブシステムを接続する。当業者によって理解されるように、「バス」は、共通機能を供給する複数のデジタル信号線を指す。システムバス640は、様々なバス方式のうちの任意のものを用いるメモリバス、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちの任意のものであり得る。例として、限定ではなく、そのようなアーキテクチャには、業界標準アーキテクチャ(ISA)バス、拡張ISA(EISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、ビデオエレクトロニクススタンダーズアソシエーションのローカル(VLB)バス、周辺装置相互接続(PCI)バス、PCI-Expressバス(PCI-X)、およびアクセラレイテッドグラフィックポート(AGP)バスが含まれる。
プロセッサ601(中央処理装置またはCPUとも称される)は、命令、データ、またはコンピュータアドレスの一時的局所記憶のためのキャッシュメモリユニット602を任意選択で含む。プロセッサ601は、メモリ603を含む記憶デバイスに結合されている。メモリ603は、ランダムアクセスメモリ(RAM)604および読取り専用メモリ(ROM)605を含む。当技術分野で周知であるように、ROM 605は、データおよび命令をプロセッサ601へ一方向で伝達するように働き、RAM 604は、一般的にはデータおよび命令を双方向のやり方で伝達するのに用いられる。これらのタイプのメモリは、どちらも、以下で説明されるコンピュータ可読媒体のうち任意の適切なものを含むことができる。
プロセッサ601には、固定記憶装置608も、任意選択で記憶制御ユニット607を介して双方向で結合される。固定記憶装置608は、さらなるデータ記憶容量をもたらし、以下で説明されるコンピュータ可読媒体のうちの任意のものも含むことができる。記憶装置608はオペレーティングシステム609、EXEC 610、アプリケーションプログラム612、データ611などを記憶するのに使用することができ、一般的には1次記憶装置より遅い補助記憶装置媒体(ハードディスクなど)である。記憶装置608の内部に保存された情報は、適切な事例では、標準的なやり方で、メモリ603の仮想メモリとして内蔵され得ることを理解されたい。
プロセッサ601は、グラフィックス制御621、ビデオインターフェース622、入力インターフェース623、出力インターフェース624、記憶装置インターフェース625などの様々なインターフェースにも結合され、これらのインターフェースは適切なデバイスに結合される。一般に、入出力装置は、ビデオディスプレイ、トラックボール、マウス、キーボード、マイクロフォン、タッチセンサ式ディスプレイ、トランスデューサカード読取り装置、磁気テープまたは紙テープの読取り装置、タブレット、スタイラス、音声または手書きの認識装置、生体認証読取り装置または他のコンピュータのうち任意のものであり得る。プロセッサ601は、ネットワークインターフェース620を用いて、別のコンピュータまたは通信ネットワークの630に結合され得る。そのようなネットワークインターフェース620を用いて、CPU 601は、前述の方法を遂行する過程で、ネットワーク630から情報を受信し得ること、またはネットワークに情報を出力し得ることが企図される。さらに、本開示の方法の実施形態は、CPU 601のみで実行することができ、あるいは、インターネットなどのネットワーク630上で、処理の一部分を分担する遠隔のCPU 601と協力して実行することができる。
様々な実施形態によれば、ネットワーク環境では、すなわちコンピュータシステム600がネットワーク630に接続されているとき、コンピュータシステム600は、ネットワーク630に接続されている他のデバイスと通信することができる。コンピュータシステム600は、ネットワークインターフェース620を介して通信をやりとりすることができる。たとえば、別のデバイスからの要求または応答などの、1つまたは複数のパケットの形で入って来る通信は、ネットワークインターフェース620でネットワーク630から受信され、処理のために、メモリ603の選択された部分に記憶され得る。要求または別のデバイスに対する応答などの、やはり1つまたは複数のパケットの形で出力される通信も、メモリ603の選択された部分に記憶され得て、ネットワークインターフェース620からネットワーク630に送出され得る。プロセッサ601は、処理のために、メモリ603に記憶された通信パケットにアクセスすることができる。
それに加えて、本開示の実施形態は、コンピュータで実施される様々な演算を遂行するためのコンピュータコードを有するコンピュータ可読媒体を有するコンピュータ記憶装置製品にさらに関する。媒体およびコンピュータコードは、本開示のために特に設計されて構築されたものであり得、または、コンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであり得る。コンピュータ可読媒体の例には、それだけではないが、ハードディスク、フロッピディスク、および磁気テープなどの磁気媒体と、CD-ROMおよびホログラフィックデバイスなどの光学媒体と、光ディスクなどの磁気光学媒体と、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、ROMデバイスおよびRAMデバイスなど、プログラムコードを記憶して実行するように特に構成されたハードウェアデバイスとがある。コンピュータコードの例には、コンパイラによって生成されるようなマシンコードが含まれ、ファイルには、コンピュータがインタープリタを用いて実行する高水準コードが含まれる。当業者には、現在開示された主題に関連して用いられた「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的な信号は包含しないことも理解されるはずである。
限定ではなく一例として、アーキテクチャ600を有するコンピュータシステムは、プロセッサ601が、メモリ603などの1つまたは複数の有形のコンピュータ可読媒体で実施されたソフトウェアを実行する結果としての機能をもたらすことができる。本開示の様々な実施形態を実施するソフトウェアは、メモリ603に記憶され、プロセッサ601によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスを含むことができる。メモリ603は、大容量記憶装置635などの1つまたは複数の他のコンピュータ可読媒体から、または通信インターフェースを介して1つまたは複数の他のソースから、ソフトウェアを読み取ることができる。ソフトウェアによって、プロセッサ601は、メモリ603に記憶されているデータ構造を定義するステップと、ソフトウェアによって定義されたプロセスによってそのようなデータ構造を変更するステップとを含む、本明細書で説明された特定のプロセスまたは特定のプロセスの特定の部分を実行することができる。それに加えて、またはその代わりに、コンピュータシステムは、配線された論理の結果としての機能か、そうでなければ回路で実施された機能をもたらすことができ、この機能は、ソフトウェアの代わりに、またはソフトウェアとともに動作することができ、本明細書で説明された特定のプロセスまたは特定のプロセスの特定の部分を実行する。適切であれば、ソフトウェアに対する言及はロジックを包含することができ、逆の場合も同様である。コンピュータ可読媒体への言及は、適切であれば、実行のためのソフトウェアを記憶する回路(集積回路(IC)など)、実行のための論理を具現する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含するものである。
本開示はいくつかの例示的実施形態を説明しているが、改変、置換、および様々な代替等価物があり、それらは本開示の範囲内に入る。したがって、本明細書で明示的に示されたり説明されたりはしていなくとも、本開示の原理を実施する、したがってその精神および範囲内に入る、多数のシステムおよび方法を当業者なら考案することができるはずであることが理解されよう。
401 符号器
402 復号器
403 MANE
600 コンピュータシステム
601 プロセッサ
602 キャッシュ
603 メモリ
604 RAM
605 ROM
606 BIOS
607 記憶制御ユニット
608 記憶装置
609 オペレーティングシステム
610 EXEC
611 データ
612 アプリケーションプログラム
620 ネットワークインターフェース
621 グラフィックス制御
622 ビデオインターフェース
623 入力インターフェース
624 出力インターフェース
625 記憶装置インターフェース
626 記憶装置
630 ネットワーク
632 ディスプレイ
633 入力デバイス
634 出力デバイス
635 記憶装置
636 記憶媒体
640 システムバス

Claims (7)

  1. 参照層と、前記参照層を参照する拡張層とを含むビデオを復号化する能力を求めるための方法であって、
    前記参照層の少なくとも1つのレベル指標を復号化するステップと、
    前記拡張層の少なくとも1つのレベル指標を復号化するステップと、
    前記参照層の前記少なくとも1つのレベル指標に関して、前記参照層を復号化するための少なくとも1つの計算要件を求めるステップと、
    前記拡張層の前記少なくとも1つのレベル指標に関して、前記拡張層を復号化するための少なくとも1つの計算要件を求めるステップと、
    前記参照層の前記復号化のための前記少なくとも1つの計算要件と前記拡張層の前記復号化のための前記少なくとも1つの計算要件とを組み合わせて、組合せを生成するステップと、
    前記組合せを所定の能力と比較するステップとを含み、
    前記組合せが前記所定の能力を下回る場合、前記ビデオを復号化することができ、
    前記組み合わせるステップが加算するステップを含み、前記組合せが合計を含む方法。
  2. 参照層と、前記参照層を参照する拡張層とを含むビデオを復号化する能力を求めるための方法であって、
    前記参照層の少なくとも1つのレベル指標を復号化するステップと、
    前記拡張層の少なくとも1つのレベル指標を復号化するステップと、
    前記参照層の前記少なくとも1つのレベル指標に関して、前記参照層を復号化するための少なくとも1つの計算要件を求めるステップと、
    前記拡張層の前記少なくとも1つのレベル指標に関して、前記拡張層を復号化するための少なくとも1つの計算要件を求めるステップと、
    前記参照層の前記復号化のための前記少なくとも1つの計算要件と前記拡張層の前記復号化のための前記少なくとも1つの計算要件とを組み合わせて、組合せを生成するステップと、
    前記組合せを所定の能力と比較するステップとを含み、
    前記組合せが前記所定の能力を下回る場合、前記ビデオを復号化することができ、
    前記計算要件が、1秒当りのピクセル数を含む方法。
  3. 前記もたらされた合計が前記所定の能力を上回ると判断した後に前記拡張層を破棄するステップをさらに含む請求項1に記載の方法。
  4. 少なくとも1つの層および1つの時間副層を含むビデオビットストリームの時間副層を復号化するための能力を求める方法であって、
    前記層と関連したプロファイルid、レベルid、および階層idのうち少なくとも1つを復号化するステップと、
    前記時間副層と関連したプロファイルid、レベルid、および階層idのうち少なくとも1つを復号化するステップと、
    前記時間副層と関連したプロファイルid、レベルid、および階層idのうちの前記少なくとも1つのうちの少なくとも1つが、前記層のプロファイルid、レベルid、または階層idによって示されたビットストリームの複雑さよりも前記時間副層のビットストリームの複雑さが小さいこと示す場合、前記時間副層を復号化することができると判断するステップとを含む方法。
  5. 副層のプロファイルid、レベルid、および階層idのうち少なくとも1つが補足の拡張情報(SEI)のメッセージの中に符号化される請求項4に記載の方法。
  6. 少なくとも1つの層および1つの時間副層を含むビデオビットストリームの時間副層を復号化する能力を求めるためのシステムであって、復号化デバイスを備え、
    前記復号化デバイスが、
    前記層と関連したプロファイルid、レベルid、および階層idのうち少なくとも1つを復号化し、
    前記時間副層と関連したプロファイルid、レベルid、および階層idのうち少なくとも1つを復号化し、
    前記時間副層と関連したプロファイルid、レベルid、および階層idのうちの前記少なくとも1つのうちの少なくとも1つが、前記層のプロファイルid、レベルid、または階層idによって示されたビットストリームの複雑さよりも前記時間副層のビットストリームの複雑さが低いこと示す場合、時間副層を復号化することができると判断するように構成されている、システム。
  7. 請求項1〜3または4〜5の一項に記載の方法を遂行するようにプロセッサに指示するための1組の実行可能命令を含む非一時的コンピュータ可読記憶媒体。
JP2015504615A 2012-04-06 2013-03-25 階層化されたビデオ符号化のためのレベル信号伝達 Active JP5926856B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261621093P 2012-04-06 2012-04-06
US61/621,093 2012-04-06
PCT/US2013/033646 WO2013151814A1 (en) 2012-04-06 2013-03-25 Level signaling for layered video coding

Publications (2)

Publication Number Publication Date
JP2015515825A JP2015515825A (ja) 2015-05-28
JP5926856B2 true JP5926856B2 (ja) 2016-05-25

Family

ID=49292283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015504615A Active JP5926856B2 (ja) 2012-04-06 2013-03-25 階層化されたビデオ符号化のためのレベル信号伝達

Country Status (7)

Country Link
US (1) US9787979B2 (ja)
EP (2) EP2834970B1 (ja)
JP (1) JP5926856B2 (ja)
CN (1) CN104205813B (ja)
AU (2) AU2013243822B2 (ja)
CA (1) CA2869132C (ja)
WO (1) WO2013151814A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379727B2 (en) * 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
US10609394B2 (en) * 2012-04-24 2020-03-31 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
JP6290088B2 (ja) * 2012-09-28 2018-03-07 シャープ株式会社 画像復号装置、画像復号方法、および記録媒体
US10237321B2 (en) * 2012-10-18 2019-03-19 Vid Scale, Inc Decoding complexity for mobile multimedia streaming
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10063868B2 (en) 2013-04-08 2018-08-28 Arris Enterprises Llc Signaling for addition or removal of layers in video coding
WO2015047162A1 (en) * 2013-09-26 2015-04-02 Telefonaktiebolaget L M Ericsson (Publ) Hybrid codec scalable video
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN105874804A (zh) * 2014-01-02 2016-08-17 Vid拓展公司 针对hevc扩展的子比特流提取过程
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
US9712837B2 (en) * 2014-03-17 2017-07-18 Qualcomm Incorporated Level definitions for multi-layer video codecs
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
EP3177025A4 (en) * 2014-07-31 2018-01-10 Sony Corporation Transmission apparatus, transmission method, reception apparatus and reception method
KR102366503B1 (ko) * 2014-08-07 2022-02-23 소니그룹주식회사 송신 장치, 송신 방법 및 수신 장치
US11165847B2 (en) * 2018-10-23 2021-11-02 Tencent America LLC Techniques for multiple conformance points in media coding
US11645030B2 (en) * 2020-06-10 2023-05-09 Rohde & Schwarz Gmbh & Co. Kg Scalable multiviewer system and method for distributing data
CN114079781B (zh) * 2020-08-18 2023-08-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3348339B2 (ja) * 1995-08-02 2002-11-20 ソニー株式会社 データ記録方法及び装置、データ再生方法及び装置
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
JP4039417B2 (ja) * 2004-10-15 2008-01-30 株式会社日立製作所 記録再生装置
EP2375749B1 (en) * 2005-10-11 2016-11-23 Nokia Technologies Oy System and method for efficient scalable stream adaptation
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
FR2899758A1 (fr) * 2006-04-07 2007-10-12 France Telecom Procede et dispositif de codage de donnees en un flux scalable
JP2008047962A (ja) * 2006-08-10 2008-02-28 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5264919B2 (ja) 2007-10-05 2013-08-14 トムソン ライセンシング マルチビュービデオ（ｍｖｃ）符号化システム内にビデオユーザビリティ情報（ｖｕｉ）を取り込む方法及び装置
KR101365441B1 (ko) * 2007-10-11 2014-02-19 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US20120183077A1 (en) * 2011-01-14 2012-07-19 Danny Hong NAL Unit Header

Also Published As

Publication number Publication date
AU2013243822B2 (en) 2016-06-23
AU2016203203B2 (en) 2016-10-27
EP2834970A1 (en) 2015-02-11
CA2869132A1 (en) 2013-10-10
WO2013151814A1 (en) 2013-10-10
CN104205813B (zh) 2018-05-08
US9787979B2 (en) 2017-10-10
EP2834970B1 (en) 2017-07-05
EP2991357A1 (en) 2016-03-02
US20130266077A1 (en) 2013-10-10
AU2013243822A1 (en) 2014-10-02
EP2834970A4 (en) 2016-02-10
CN104205813A (zh) 2014-12-10
AU2016203203A1 (en) 2016-06-09
JP2015515825A (ja) 2015-05-28
CA2869132C (en) 2017-08-22

Similar Documents

Publication Publication Date Title
JP5926856B2 (ja) 階層化されたビデオ符号化のためのレベル信号伝達
CN111989921B (zh) 一种用于视频解码的方法和相关装置
JP5752268B2 (ja) 時間スケーラビリティのための高いレイヤのシンタックス
US10602156B2 (en) Devices and methods for identifying a leading picture
AU2012225513B2 (en) Dependency parameter set for scalable video coding
JP6472442B2 (ja) 復号方法
US10284862B2 (en) Signaling indications and constraints
CN116320409A (zh) 一种帧内预测的方法、装置、设备和存储介质
CN113545037B (zh) 对已编码图片进行解码的方法、装置、可读存储介质和计算机设备
US20130195201A1 (en) Techniques for layered video encoding and decoding
US20170150160A1 (en) Bitstream partitions operation
US20170063958A1 (en) Systems and methods for constraining a bitstream
WO2015136945A1 (en) Systems and methods for constraining a bitstream

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160422

R150 Certificate of patent or registration of utility model

Ref document number: 5926856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250