JP5475855B2 - マルチビュー・ビデオ符号化のための仮想参照デコーダ - Google Patents

マルチビュー・ビデオ符号化のための仮想参照デコーダ Download PDF

Info

Publication number
JP5475855B2
JP5475855B2 JP2012251431A JP2012251431A JP5475855B2 JP 5475855 B2 JP5475855 B2 JP 5475855B2 JP 2012251431 A JP2012251431 A JP 2012251431A JP 2012251431 A JP2012251431 A JP 2012251431A JP 5475855 B2 JP5475855 B2 JP 5475855B2
Authority
JP
Japan
Prior art keywords
view
hrd
views
parameters
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012251431A
Other languages
English (en)
Other versions
JP2013070411A (ja
Inventor
ルオ,ジアンコン
ズー,リホア
イン,ペン
パンディット,パーヴィン,ビバス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013070411A publication Critical patent/JP2013070411A/ja
Application granted granted Critical
Publication of JP5475855B2 publication Critical patent/JP5475855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

関連出願への相互参照
本願は、2007年4月17日に出願された米国仮出願第60/923,800号の利益を主張するものである。同仮出願はここにその全体において参照によって組み込まれる。
技術分野
本願は、圧縮ビデオ・システムにおけるマルチビュー・ビデオ符号化のための仮想参照デコーダに関する。
仮想参照デコーダ(HRD: hypothetical reference decoder)は、標準への準拠について、エンコードされたビットストリームを検証する役割を果たすので、圧縮ビデオ・システムにおいて貴重である。H.264/AVCのような符号化規格では、同規格のマルチビュー・ビデオ符号化(MVC: Multiview Video Coding)内において多数の相互運用点(interoperability point)がある。MVCは、デコーダが一つまたは複数のビューを同時にデコードすることを許容し、一つのビューのデコードは他のビューからの情報を必要とすることがありうる。H.264/AVC規格はHRDを定義する規則(要件、制約条件または動作仕様とも称される)をもつ。HRD準拠はH.264/MPEG-4 AVC規格の規範的部分である。どんなAVCビットストリームも、前記規則に従って構築されたHRDに準拠していなければならない。現在のところ、MVC HRDについて定義された規則はない。以前のHRDは、AVC内のMVCビットストリームのようなビットストリームを検証できるようにする十分な規則をもたなかった。
多くの場合において、圧縮されたビットストリームのビットレート変動が、エンコーダおよびデコーダにおけるバッファリング機構を使ってならされる必要がある。物理的バッファのサイズは有限であり、よってエンコーダは、バッファ制限内に収まるようビットレート変動を制約する。ビデオ符号化規格は特定のエンコーダまたはデコーダ・バッファリング機構を必須としてはおらず、所与のバッファ・サイズの仮想参照デコーダ(HRD)(またはバーチャル・バッファ検証器(VBV: Virtual Buffer Verifier))がバッファ・オーバーフローやアンダーフローを被ることなくビデオ・ビットストリームをデコードするようビットレートゆらぎを制御することをエンコーダに要求する。
HRDは理想化されたデコーダ・モデルに基づいている。HRDの目的は、符号化されたストリーム内において時間的なビットレートの変動に対する基本的なバッファリング制約条件を課すことである。これらの制約条件が今度はより高いレイヤーがストリームを多重化することを可能にし、コスト効率のよいデコーダがそれをリアルタイムでデコードすることを可能にする。しかしながら、本発明は、他のビデオ符号化モデルまたは規格に拡張されることができる。
本発明は、マルチビュー・ビデオ符号化(MVC)のための仮想参照デコーダ(HRD)を定義するいくつかの方法を提案する。
現行のH.264/MPEG-4 AVCベースのMVC実装では、参照ソフトウェアは、マルチビュー予測を、各ビューを単一のエンコーダでエンコードし、ビュー横断参照を考慮に入れることによって達成する。各ビューはそのもとの解像度でエンコーダによって別個のビットストリームとして符号化され、のちにすべてのビットストリームが組み合わされて単一のビットストリームを形成する。デコーダでは、ユーザーは一つまたは複数のビューをそのアプリケーションに基づいてデコードできる。現在の仕様では、MVCについてはHRD規則は定義されていない。
MVCにおいて、全部でN個の符号化されたビューがあるとする。デコーダは任意のM(1≦M≦N)個のビューを同時にデコードする柔軟性をもつことができる。M個のビューの各組み合わせが相互運用点(IOP: interoperability point)を表す。最良の柔軟性を許容するため、このカテゴリーにおいては、本発明は、MVC HRDがHRD制約条件を各IOPについて定義することを提案する。この解決策の問題は、(2N−1)にも上るあまりに多くの組み合わせがあるということである。MについてM≦32という制限が加えられたとしても、組み合わせの総数はまだ巨大である。本発明は、マルチビュー・ビデオ符号化についての仮想参照デコーダについての規則であって、各相互運用点について指定される規則を提供する方法を記述する。
諸単独ビューのHRDパラメータによって導出される諸ビュー組み合わせのHRDパラメータを示す図である。 マルチビュー・ビデオ符号化エンコーダを示す図である。 マルチビュー・ビデオ符号化デコーダを示す図である。 カテゴリー1のMVCエンコード・プロセスについてビデオ使用可能性情報(Video Usability Information)を示す図である。 カテゴリー1のMVCデコード・プロセスについてビデオ使用可能性情報を示す図である。 カテゴリー1のマルチビュー・ネスティングSEIエンコード・プロセスを示す図である。 カテゴリー1のマルチビュー・ネスティングSEIデコード・プロセスを示す図である。 カテゴリー2のMVCエンコード・プロセスについてビデオ使用可能性情報を示す図である。 カテゴリー2のMVCデコード・プロセスについてビデオ使用可能性情報を示す図である。 カテゴリー2および3のマルチビュー・ネスティングSEIエンコード・プロセスを示す図である。 カテゴリー2および3のマルチビュー・ネスティングSEIデコード・プロセスを示す図である。 カテゴリー3のMVCエンコード・プロセスについてビデオ使用可能性情報を示す図である。 カテゴリー3のMVCデコード・プロセスについてビデオ使用可能性情報を示す図である。
現行のH.264/MPEG-4 AVC参照実装では、HRD関係のパラメータがシーケンス・パラメータ・セット(SPS: sequence parameter set)およびSEIメッセージ内に置かれる。
SPSは表1に示されるようなシンタックス構造、VUIパラメータを含む。
シンタックス要素num_units_in_tick、time_scale、fixed_frame_rate_flagおよびlow_delay_hrd_flagおよびシンタックス構造HRDパラメータが、表2に示すようなシンタックス構造VUIパラメータ内に置かれる。
シンタックス構造HRD_parametersは、バッファ・サイズおよびビットレート等を指定するシンタックスを含む。
バッファ周期SEI(buffer period SEI)およびピクチャー・タイミングSEI(picture timing SEI)は、ピクチャーをデコードする前の初期の符号化されたピクチャーのバッファ除去遅延と、各ピクチャーのタイミングを導出するための諸パラメータとを指定した。
現行のAVC実装、SPS内に置かれたHRD関係のパラメータに基づいて、バッファリング周期SEIおよびピクチャー・タイムSEI内に置かれる諸パラメータと組み合わせて、HRD関係制約条件のセットがH.264/MPEG-4 AVCについて定義される。
しかしながら、現行のAVC実装は、HRDパラメータの一つのセットをサポートするのみである。これはMVCビットストリームに含まれる複数IOPにフィットしない。
現行のH.264/MPEG-4 AVCベースのMVC実装では、参照ソフトウェアは、各ビューを単一のエンコーダを用いてエンコードし、ビュー横断参照を考慮に入れることによって、マルチビュー予測を達成する。各ビューはエンコーダによって、そのもとの解像度で別個のビットストリームとして符号化され、のちにすべてのビットストリームが組み合わされて単一のビットストリームを形成する。デコーダでは、ユーザーは一つまたは複数のビューをそのアプリケーションに基づいてデコードできる。MVCエンコーダおよびデコーダの図がそれぞれ図2および図3に示されている。
現行の仕様では、MVCについて定義されたHRD規則はない。
記述される実施形態の多くは、H.264/MPEG-4 AVCベースのMVC実装のフレームワークを使う。同様の発想は、他のビデオ符号化規格にも適用できる。たとえば、一つまたは複数の動作点(operating point)(相互運用点のような)について特定のパラメータを指定する機能は、H.264/MPEG-4 AVC規格以外の規格にも適用できる。
三つの別個のクラスの実装が記述される。
A.MVCにおける各相互運用可能点についてのHRD規則の規定
MVCにおいて、全部でN個の符号化されたビューがあるとする。デコーダは任意のM(1≦M≦N)個のビューを同時にデコードする柔軟性をもつことができる。M個のビューの各組み合わせは相互運用点(IOP: interoperability point)を表す。最良の柔軟性を許容するため、このカテゴリーにおいて、本発明は、MVC HRDがHRD制約条件を各IOPについて定義することを提案する。この解決策の問題は、(2N−1)にも上るあまりに多くの組み合わせがあるということである。MについてM≦32という制限が加えられたとしても、組み合わせの総数はまだ巨大である。
この解決策の実施形態を以下に呈示する。
ビューのすべての組み合わせは、AVC-HRD規則への次の修正において組み合わされる。表3はAVC規格から取られており、AVC-HRDに関係する。AVC規格の表への追加はイタリック体フォントを使って示されている。新しいSEIメッセージであるマルチビュー・ネスティングSEI(multiview nesting SEI)が表4で導入される。VUIエンコードおよびデコード過程のフローチャートがそれぞれ図4および図5に示される。マルチビュー・ネスティングSEIエンコードおよびデコード過程のフローチャートはそれぞれ図6および図7に示される。
1.VUIパラメータ:見て取れるように、表3は、AVC規格におけるVUIパラメータのシンタックスが変数「profile_idc」を試験する「if‐then」文を導入することによって修正されていることを示している。「profile_idc」が「MVC」に等しければ、一つまたは複数の点(すなわちIOP)を試験するためにループが一回または複数回実行される。「profile_idc」が「MVC」に等しくない場合、「AVC」が関連する規格であると想定され、(既存のAVC-HRD規則を使って)AVC準拠について一つの点を試験するために「else」が実行される。行30〜60は「profile_idc」がMVCである場合に実行され、そうでない場合には行63〜88が実行される。変数「num_view_combinations_minus1」〔ビュー組み合わせ数マイナス1〕(行30)はループ中のIOPの数を与える。メイン・ループ内において、各IOPについてのサブ・ループ(行33〜34)はそのIOPに関連付けられたview_idを与える。各サブ・ループについて、「num_views_minus1[i]」〔ビュー数マイナス1〕(行32)はi番目のIOPに関連付けられたビューの数を与え、「view_id[i][j]」(行34)はi番目のIOPのj番目のビューのview_idを与える。行35〜59はi番目のIOPについてのシンタックスを与える。あるMVCビットストリームについて、(2N−1)個までのIOPがあることができる。これは、AVCストリームについての単一の検査点(checking point)と比較される。
2.新しいSEIメッセージ、マルチビュー・ネスティングSEIが表4で定義される。マルチビュー・ネスティングSEIメッセージは、アクセス・ユニットに関する。マルチビュー・ネストSEIメッセージは、一つにして唯一のSEIメッセージを含んでいる。これはネストされたSEIメッセージと称される。ネストされたSEIメッセージが適用される範囲は、行2〜10からのシンタックスによって示される。
「num_view_combinations_minus1」、「num_views_minus1[i]」および「view_id[i][j]」はVUIパラメータにおけるものと同じ意味を共有する。
3.バッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージ(これらはAVCの一部である)は、マルチビュー・ネスティングSEIメッセージに埋め込まれたSEIメッセージ・ペイロードとして実装されることができる。バッファリング周期SEIおよびピクチャー・タイミングSEIのシンタックスは、AVCと同じままである。AVC互換ビューのためのバッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージは、マルチビュー・ネスティングSEIにおいてネストされてはならない。これは、AVC互換性を許容する。
num_view_combinations_minus1に1を足したものは、このhrd_parameters()を含むSPSにおける同じseq_parameter_set_idを参照するビットストリームによってサポートされるビュー組み合わせの数を示す。
num_views_minus1[i]は、i番目のIOPに関連付けられたビューの数を示す。
view_id[i][j]はi番目のIOPのj番目のビューのview_idを示す。
timing_info_present_flag[i]はi番目のIOPのtiming_info_present_flag値を指定する。
num_units_in_tick[i]はi番目のIOPのnum_units_in_tick値を指定する。
time_scale[i]はi番目のIOPのtime_scale値を指定する。
fixed_frame_rate_flag[i]はi番目のIOPのfixed_frame_rate_flag値を指定する。
nal_hrd_parameters_present_flag[i]はi番目のIOPのnal_hrd_parameters_present_flag値を指定する。
vcl_hrd_parameters_present_flag[i]はi番目のIOPのvcl_hrd_parameters_present_flag値を指定する。
low_delay_hrd_flag[i]はi番目のIOPのlow_delay_hrd_flag値を指定する。
pic_struct_present_flag[i]はi番目のIOPのpic_struct_present_flag値を指定する。
timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flagおよびpic_struct_present_flagはAVCにおけるのと同じ意味をもつ。
all_view_combinations_in_au_flagが1に等しいことは、ネストされたSEIメッセージがアクセス・ユニット(access unit)のすべてのビュー組み合わせに適用されることを示す。
all_view_combinations_in_au_flagが0に等しいことは、ネストされるSEIメッセージの適用可能な範囲がシンタックス要素num_view_combinations_minus1、num_views_minus1[i]およびview_id[i][j]によって伝達されることを示す。
num_view_combinations_minus1に1を足したものは、ビットストリームによってサポートされるビュー組み合わせの数を示す。
num_views_minus1[i]は、i番目のIOPに関連付けられたビューの数を示す。
view_id[i][j]はi番目のIOPのj番目のビューのview_idを示す。
B.IOPのあるセットについてのみのHRD規則の規定
このカテゴリーでは、IOPのあるセットについてMVC HRDを定義し、このセットからIOPの他の諸セットを導出することが提案される。一つの実施形態は、MVC HRDは可能な各単独ビューをデコードするためのHRD制約条件を定義するのみで、二つ以上のビューをデコードするためのHRDパラメータは関連する単独ビュー・パラメータから導出されるという提案である。このアプローチは、第一のアプローチよりも少数のパラメータを送ることを許容するが、導出のための一層の複雑さを追加する。
この解決策の実施形態を以下に呈示する。
HRDは各ビューについて定義される。送るHRDパラメータのセットの最大数はMである。ここで、M=1,…,Nである。よって、N個のビューがあれば、この実施形態はHRDパラメータのN個のセットを送ることになる。VUIエンコードおよびデコード過程のフローチャートがそれぞれ図8および図9に示されている。そして、マルチビュー・ネスティングSEIエンコードおよびデコード過程のフローチャートがそれぞれ図10および図11に示されている。
1.VUIパラメータ:見て取れるように、は、AVC規格におけるVUIパラメータのシンタックスが変数「profile_idc」を試験する「if‐then」文を導入することによって修正されていることを示している。「profile_idc」が「MVC」に等しければ、一つまたは複数の点を試験するためにループが一回または複数回実行される。「profile_idc」が「MVC」に等しくない場合、「AVC」が関連する規格であると想定され、(既存のAVC-HRD規則を使って)AVC準拠について一つの点を試験するために「else」が実行される。行30〜58は「profile_idc」がMVCである場合に実行され、そうでない場合には行61〜85が実行される。変数「num_view_ minus1」(行30)はループ中のビューの数を与える。「view_id[i]」(行32)はi番目のビューのview_idを与える。行33〜58はi番目のビューについてのシンタックスを与える。あるMVCビットストリームについて、M(M=1,…,N)個までのビューがあることができる。これは、AVCストリームについての単一の検査点(checking point)と比較される。
2.新しいSEIメッセージ、マルチビュー・ネスティングSEIが表6で定義される。マルチビュー・ネスティングSEIメッセージは、アクセス・ユニットに関する。マルチビュー・ネスティングSEIメッセージは、一つにして唯一のSEIメッセージを含んでいる。これはネストされたSEIメッセージと称される。ネストされたSEIメッセージが適用される範囲は、行2〜7からのシンタックスによって示される。
「num_views_minus1」および「view_id[i]」は、VUIパラメータにおけるものと同じ意味を共有する。
3.バッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージは、マルチビュー・ネスティングSEIメッセージに埋め込まれたSEIメッセージ・ペイロードとしてであることができる。バッファリング周期SEIおよびピクチャー・タイミングSEIのシンタックスは、AVCと同じままである。AVC互換ビューのためのバッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージは、マルチビュー・ネスティングSEIにおいてネストされてはならない。
各IOP(ビュー組み合わせ)のHRDパラメータは、そのIOPに関連付けられた諸ビューのHRDパラメータによって導出される。例が図1に与えられている。
num_views_minus1は、ビットストリーム中のビューの総数を示す。
view_id[i]はi番目のビューのview_idを示す。
timing_info_present_flag[i]はi番目のビューのtiming_info_present_flag値を指定する。
num_units_in_tick[i]はi番目のビューのnum_units_in_tick値を指定する。
time_scale[i]はi番目のIOPのtime_scale値を指定する。
fixed_frame_rate_flag[i]はi番目のビューのfixed_frame_rate_flag値を指定する。
nal_hrd_parameters_present_flag[i]はi番目のビューのnal_hrd_parameters_present_flag値を指定する。
vcl_hrd_parameters_present_flag[i]はi番目のビューのvcl_hrd_parameters_present_flag値を指定する。
low_delay_hrd_flag[i]はi番目のビューのlow_delay_hrd_flag値を指定する。
pic_struct_present_flag[i]はi番目のビューのpic_struct_present_flag値を指定する。
timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flagおよびpic_struct_present_flagはAVCにおけるのと同じ意味をもつ。
all_views_in_au_flagが1に等しいことは、ネストされたSEIメッセージがアクセス・ユニットのすべてのビューに適用されることを示す。all_views_ in_au_flagが0に等しいことは、ネストされるSEIメッセージの適用可能な範囲がシンタックス要素num_views _minus1およびview_id[i]によって伝達されることを示す。
num_views_minus1に1を足したものは、ビットストリームによってサポートされるビューの数を示す。
view_id[i]はi番目のビューのview_idを示す。
C.最悪ケースについてのHRD規則の規定
このカテゴリーでは、M(M=1,…,N)個のビューをデコードする最悪ケースについてのHRD制約条件のみを定義することが提案される。最悪ケースは、たとえば、最大バッファ・サイズ、最長遅延、最高ビットレート、任意のM個のビューを伝送することの最多ビット消費などを要求するケースである。よって、各MビューをデコードするためにHRDパラメータの一つのセットを定義することができるだけである。すなわち、最悪ケースの単独ビューについてHRDパラメータのセットと、最悪ケースの2ビュー組み合わせについてのHRDパラメータのセット等、最悪ケースのN−1ビュー組み合わせについてのHRDパラメータのセットまでと、(最悪ケースの)Nビュー組み合わせについてのHRDパラメータのセットを定義する。全部で、NセットのHRDパラメータを定義するだけであり、これらが1、2、…N個までのビューについてHRD準拠を試験するために使われる。このアプローチの不都合な点は、一つの特定の場合が必要としうるよりも高い制約条件を送ることを要求するということである。しかし、すべてのHRDパラメータを送るためのビットを節約することができ、パラメータの導出もない。
この解決策の実施形態を下記に呈示する。
送るHRDパラメータのセットの最大数はMである。ここで、M=1,…,Nである。VUIエンコードおよびデコード過程のフローチャートがそれぞれ図12および図13に示されている。
1.VUIパラメータ:見て取れるように、表7は、AVC規格におけるVUIパラメータのシンタックスが変数「profile_idc」を試験する「if‐then」文を導入することによって修正されていることを示している。「profile_idc」が「MVC」に等しければ、一つまたは複数の点を試験するためにループが一回または複数回実行される。「profile_idc」が「MVC」に等しくない場合、「AVC」が関連する規格であると想定され、(既存のAVC-HRD規則を使って)AVC準拠について一つの点を試験するために「else」が実行される。行30〜57は「profile_idc」がMVCである場合に実行され、そうでない場合には行60〜84が実行される。変数「num_view_ minus1」(行30)はビットストリーム中のビューの数を与える。行32〜56は、(num_views_minus1+1)個のビューのうちの任意のi個のビューをデコードすることの最高のHRD制約条件に関連付けられたHRD関係のパラメータについてのシンタックスを与える。
表7が表5と異なっていることに注意されたい。たとえば、表5の行32を参照すると、「view_id[i]」と記載している。
2.バッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージは、マルチビュー・ネスティングSEIメッセージに埋め込まれたSEIメッセージ・ペイロードとしてであることができる。マルチビュー・ネスティングSEIメッセージのシンタックスは、表6で定義されたものを共有できる。ネストするバッファリング周期およびピクチャー・タイミングSEIメッセージは、ビットストリーム中で送るビューの総数のうち任意の(num_views_minus1+1)個のビューをデコードすることの最高のHRD制約条件に関連付けられている。バッファリグ周期SEIおよびピクチャー・タイミングSEIのシンタックスは、AVCと同じままである。AVC互換ビューのためのバッファリング周期SEIメッセージおよびピクチャー・タイミングSEIメッセージは、マルチビュー・ネスティングSEIにおいてネストされてはならない。
num_views_minus1は、ビットストリーム中のビューの総数を示す。
timing_info_present_flag[i]はi個のビューをデコードするためのtiming_info_present_flag値を指定する。
num_units_in_tick[i]はi個のビューをデコードするためのnum_units_in_tick値を指定する。
time_scale[i]はi個のビューをデコードするためのtime_scale値を指定する。
fixed_frame_rate_flag[i]はi個のビューをデコードするためのfixed_frame_rate_flag値を指定する。
nal_hrd_parameters_present_flag[i]はi個のビューをデコードするためのnal_hrd_parameters_present_flag値を指定する。
vcl_hrd_parameters_present_flag[i]はi個のビューをデコードするためのvcl_hrd_parameters_present_flag値を指定する。
low_delay_hrd_flag[i]はi個のビューをデコードするためのlow_delay_hrd_flag値を指定する。
pic_struct_present_flag[i]はi個のビューをデコードするためのpic_struct_present_flag値を指定する。
パラメータtiming_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flagおよびpic_struct_present_flagはAVCにおけるのと同じ意味をもつ。
図4ないし図13は、同定される特定のシンタックスを書き込むまたは読み出すためのさまざまなフローチャートを示している。
本稿では、たとえばMVCのためのHRDの記述を書き込むおよび/または読み込むための規則を提供するいくつかの実装が記載されている。これはHRDがMVCにおいて定義され、使用されることを許容する。
しかしながら、記載された実装の諸特徴および諸側面は他の実装のためにも適応されてもよい。たとえば、上に示したように、他の規格のために上記の機能を使ってHRDが提供されてもよい。さらに、HRDは、上記の実施形態の変形を使ってMVCのために提供されてもよい。そのような変形は、たとえば、他の高レベル・シンタックスを使う、高レベルでないシンタックスを使う、他のIOPのためのHRDパラメータを提供する実装を含みうる。したがって、本稿に記載されている諸実装は、本稿に記載される三つの主要な実装の一つを実装するH.264のための高レベル・シンタックスのコンテキストで記載されているかもしれないが、そのような記述は決して本願の特徴および概念をそのような実装またはコンテキストに限定するものと解釈するべきではない。
本稿で記載された実装はたとえば、方法もしくはプロセス、装置またはソフトウェア・プログラムにおいて実装されうる。たとえ単一の形の実装のコンテキストでのみ論じられていたとしても(たとえば方法としてのみ論じられていたとしても)、論じられている実装または特徴は他の形(たとえば装置またはプログラム)においても実装されうる。装置は、たとえば、適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されうる。方法はたとえば、コンピュータまたは他の処理装置などのような装置において実装されてもよい。さらに、方法は、処理装置または他の装置によって実行される命令によって実装されてもよく、そのような命令は、たとえばDVDまたは他のコンピュータ可読記憶デバイスのようなコンピュータ可読媒体上、あるいは集積回路上に記憶されてもよい。
当業者には明白なはずであるが、実装はまた、たとえば記憶または伝送されうる情報を担持するようフォーマットされた信号を生成してもよい。該情報はたとえば、方法を実行するための命令、あるいは記載された実装の一つによって生成されるデータを含んでもよい。たとえば、信号は、記述された実施形態のシンタックスを書き込むまたは読み出すための規則をデータとして担持するよう、あるいは記載された実施形態によって書き込まれる実際のシンタックスをデータとして担持するようフォーマットされてもよい。
さらに、多くの実装が、エンコーダおよびデコーダの一方または両方において実装されうる。
さらに、本発明によって他の実装が考えられている。たとえば、開示されている実装のさまざまな特徴を組み合わせ、削除し、修正しまたは補足することによって、追加的な実装が作り出されてもよい。
以上の記述はさまざまな実装のいくつかを提供する。それは網羅的であることは意図されておらず、単に数多くの可能な実装のうちの少数の短い記述を提供するものである。

Claims (6)

  1. マルチビュー・ビデオを復号するための装置であって、
    ビットストリームから、相互運用点に関連付けられたビューのビュー情報を読み出し、
    前記ビットストリームから、前記相互運用点についてのHRDパラメータを決定するように構成されたプロセッサを含み、前記HRDパラメータが各相互運用点について指定される、前記装置
  2. マルチビュー・ビデオを復号するための装置であって、
    ビットストリームから、単独ビューのビュー情報を読み出し、
    前記ビットストリームから、前記単独ビューについてのHRDパラメータを決定し、
    前記単独ビューについての前記HRDパラメータに対応して、前記単独ビューおよび少なくとも1つの他のビューに対応する相互運用点についてのHRDパラメータを決定する、ように構成されたプロセッサを含む、前記装置。
  3. マルチビュー・ビデオを復号するための装置であって、
    ビットストリームから、相互運用点の1つのセットについて、当該相互運用点のセットのために要求される最大のバッファのサイズ、最長遅延、最高ビットレート、さらに、最多ビット消費のうちの少なくとも1つに対応する最悪ケースのHRDパラメータを決定するプロセッサを含み、前記相互運用点のセットは、同じ数のビューを有する、前記装置。
  4. マルチビュー・ビデオを復号するための方法であって、
    ビットストリームから、相互運用点に関連付けられたビューのビュー情報を読み出すステップと、
    前記ビットストリームから、前記相互運用点についてのHRDパラメータを決定するステップと、を含み、前記HRDパラメータは各相互運用点について指定される、前記方法。
  5. マルチビュー・ビデオを復号するための方法であって、
    ビットストリームから、単独ビューのビュー情報を読み出すステップと、
    前記ビットストリームから、前記単独ビューについてのHRDパラメータを決定するステップと、
    前記単独ビューについての前記HRDパラメータに対応して、前記単独ビューおよび少なくとも1つの他のビューに対応する相互運用点についてのHRDパラメータを決定するステップと、を含む、前記方法。
  6. マルチビュー・ビデオを復号するための方法であって、
    ビットストリームから、相互運用点の1つのセットについて、当該相互運用点のセットのために要求される最大のバッファのサイズ、最長遅延、最高ビットレート、さらに、最多ビット消費のうちの少なくとも1つに対応する最悪ケースのHRDパラメータを決定するステップを含み、前記相互運用点のセットは、同じ数のビューを有する、前記方法。
JP2012251431A 2007-04-17 2012-11-15 マルチビュー・ビデオ符号化のための仮想参照デコーダ Active JP5475855B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US92380007P 2007-04-17 2007-04-17
US60/923,800 2007-04-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010504061A Division JP5263901B2 (ja) 2007-04-17 2008-04-14 マルチビュー・ビデオ符号化のための仮想参照デコーダ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014019316A Division JP2014112922A (ja) 2007-04-17 2014-02-04 マルチビュー・ビデオ符号化のための仮想参照デコーダ

Publications (2)

Publication Number Publication Date
JP2013070411A JP2013070411A (ja) 2013-04-18
JP5475855B2 true JP5475855B2 (ja) 2014-04-16

Family

ID=39768494

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2010504061A Active JP5263901B2 (ja) 2007-04-17 2008-04-14 マルチビュー・ビデオ符号化のための仮想参照デコーダ
JP2012251431A Active JP5475855B2 (ja) 2007-04-17 2012-11-15 マルチビュー・ビデオ符号化のための仮想参照デコーダ
JP2014019316A Pending JP2014112922A (ja) 2007-04-17 2014-02-04 マルチビュー・ビデオ符号化のための仮想参照デコーダ
JP2016094379A Active JP6233984B2 (ja) 2007-04-17 2016-05-10 マルチビュー・ビデオ符号化のための仮想参照デコーダ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010504061A Active JP5263901B2 (ja) 2007-04-17 2008-04-14 マルチビュー・ビデオ符号化のための仮想参照デコーダ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2014019316A Pending JP2014112922A (ja) 2007-04-17 2014-02-04 マルチビュー・ビデオ符号化のための仮想参照デコーダ
JP2016094379A Active JP6233984B2 (ja) 2007-04-17 2016-05-10 マルチビュー・ビデオ符号化のための仮想参照デコーダ

Country Status (7)

Country Link
US (1) US8761265B2 (ja)
EP (1) EP2145483B1 (ja)
JP (4) JP5263901B2 (ja)
KR (3) KR101615967B1 (ja)
CN (1) CN101658040B (ja)
BR (1) BRPI0809585A2 (ja)
WO (1) WO2008130528A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014112922A (ja) * 2007-04-17 2014-06-19 Thomson Licensing マルチビュー・ビデオ符号化のための仮想参照デコーダ

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010125812A1 (ja) 2009-04-28 2010-11-04 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP2011119906A (ja) * 2009-12-02 2011-06-16 Sony Corp 画像処理装置および画像処理方法
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9241158B2 (en) 2012-09-24 2016-01-19 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
MX353121B (es) * 2012-12-26 2017-12-20 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9374581B2 (en) 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
US9930340B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for selectively performing a bitstream conformance check
JP6497874B2 (ja) * 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7569316B2 (ja) 2018-12-07 2024-10-17 インターデジタル ヴイシー ホールディングス, インコーポレイテッド コード化ツールの組み合わせおよび制限の管理

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
WO2006062377A1 (en) 2004-12-10 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for universal coding for multi-view video
CN101317459A (zh) 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
CN101292538B (zh) 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR101245251B1 (ko) 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
US8565319B2 (en) * 2006-03-30 2013-10-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
CN100438632C (zh) * 2006-06-23 2008-11-26 清华大学 一种交互式多视点视频的编码方法
CN100415002C (zh) * 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
WO2008130528A2 (en) * 2007-04-17 2008-10-30 Thomson Licensing Hypothetical reference decoder for multiview video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014112922A (ja) * 2007-04-17 2014-06-19 Thomson Licensing マルチビュー・ビデオ符号化のための仮想参照デコーダ

Also Published As

Publication number Publication date
WO2008130528A2 (en) 2008-10-30
JP2013070411A (ja) 2013-04-18
JP5263901B2 (ja) 2013-08-14
KR20100014574A (ko) 2010-02-10
CN101658040B (zh) 2013-09-11
JP6233984B2 (ja) 2017-11-22
WO2008130528A3 (en) 2009-08-20
CN101658040A (zh) 2010-02-24
EP2145483B1 (en) 2020-10-21
KR101741050B1 (ko) 2017-05-29
JP2010525662A (ja) 2010-07-22
KR101615967B1 (ko) 2016-04-28
BRPI0809585A2 (pt) 2014-09-23
KR20150086557A (ko) 2015-07-28
KR101633576B1 (ko) 2016-06-27
JP2016167867A (ja) 2016-09-15
US8761265B2 (en) 2014-06-24
KR20140127881A (ko) 2014-11-04
JP2014112922A (ja) 2014-06-19
US20100091882A1 (en) 2010-04-15
EP2145483A2 (en) 2010-01-20

Similar Documents

Publication Publication Date Title
JP6233984B2 (ja) マルチビュー・ビデオ符号化のための仮想参照デコーダ
KR101944565B1 (ko) 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법
CN102447906B (zh) 低延时视频解码
KR101204134B1 (ko) 트랜스포트 데이터 스트림내에서 참조하는 유연성 있는 서브스트림
TWI599228B (zh) 用於多畫面視訊編碼處理之裝置
CN113892260B (zh) 一种视频编解码方法和相关装置
US20140153653A1 (en) Hypothetical reference decoder
BR112016000920A2 (ja) An information processor and a method
WO2015194179A1 (en) Bitstream partitions operation
KR20160102490A (ko) 비트스트림의 생성과 처리 방법, 장치 및 시스템
US20180255342A1 (en) Method for decoding a video bitstream and decoder for decoding a video bitstream
CN114616801B (zh) 视频编码的方法、装置、设备以及存储介质
CN114514752B (zh) 用于视频流传输的方法和装置、计算机可读介质
CN114667738B (zh) 视频流传输方法和用于视频流传输的装置
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
KR20230086792A (ko) 미디어 스트리밍 및 재생 동안 프리롤 및 미드롤을 지원하기 위한 방법 및 장치
CN116016981A (zh) 视角增强视频的传输方法、装置以及介质
KR20230101907A (ko) 미디어 플레이백 동안 프리롤 및 미드롤 콘텐츠를 지원하기 위한 mpeg dash를 위한 방법 및 장치
KR20240136930A (ko) 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법
KR20240112312A (ko) 어드레싱가능한 자원 인덱스 트랙 및 이벤트를 이용한 cmaf 및 dash 클라이언트에 의한 대역폭 전환을 위한 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130926

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140206

R150 Certificate of patent or registration of utility model

Ref document number: 5475855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250