JP5264920B2 - マルチビュー・ビデオ(mvc)コーディング・システムにビデオ・ユーザビリティ情報(vui)を組み込むための方法と装置 - Google Patents

マルチビュー・ビデオ(mvc)コーディング・システムにビデオ・ユーザビリティ情報(vui)を組み込むための方法と装置 Download PDF

Info

Publication number
JP5264920B2
JP5264920B2 JP2010527939A JP2010527939A JP5264920B2 JP 5264920 B2 JP5264920 B2 JP 5264920B2 JP 2010527939 A JP2010527939 A JP 2010527939A JP 2010527939 A JP2010527939 A JP 2010527939A JP 5264920 B2 JP5264920 B2 JP 5264920B2
Authority
JP
Japan
Prior art keywords
view
max
function block
bitstream
syntax element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010527939A
Other languages
English (en)
Other versions
JP2010541471A5 (ja
JP2010541471A (ja
Inventor
ルオ,ジアンコング
イン,ペング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010541471A publication Critical patent/JP2010541471A/ja
Publication of JP2010541471A5 publication Critical patent/JP2010541471A5/ja
Application granted granted Critical
Publication of JP5264920B2 publication Critical patent/JP5264920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本原理は、概して、ビデオ符号化及びビデオ復号化に関し、より詳しくは、マルチビュー・ビデオ・コーディング(MVC)(多視点映像符号化)にビデオ・ユーザビリティ情報(VUI)(ビデオ表示情報)を組み込むための方法と装置に関する。
(関連出願の説明)本出願は、2007年10月5日に出願された米国仮出願第60/977709号の権利を主張するものである。該米国仮出願を本出願に引用してその全てを援用する。更に、本出願は、本出願と同時に出願され、本出願と同一の出願人による非仮出願と関連し、該非仮出願は、同じく、上記2007年10月5日に出願された米国仮出願第60/977709号の権利を主張しており、その代理人整理番号はPU080155であり、その発明の名称は「マルチビュー・ビデオ(MVC)コーディング・システムにビデオ・ユーザビリティ情報(VUI)を組み込むための方法と装置」である。該非仮出願も本出願に引用して援用する。
国際標準化機構/国際電気標準会議(ISO/IEC)のムービング・ピクチャー・エキスパーツ・グループ−4(MPEG−4)のPART10のアドバンスト・ビデオ・コーディング(AVC)規格/国際電気通信連合・電気通信標準化部門(ITU−T)のH.264の勧告(以後、「MPEG−4AVC規格」という)では、各シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報(VUI)パラメータのシンタックスとセマンティクスとを規定している。ビデオ・ユーザビリティ情報には、アスペクト比、オーバー・スキャン、ビデオ信号タイプ、クロマ・ロケーション、タイミング、ネットワーク・アブストラクション(抽象化)層(NAL)仮想参照デコーダ(HRD)パラメータ、ビデオ符号化層(VCL)仮想参照デコーダ・パラメータ、ビットストリーム制限等の情報が含まれている。ビデオ・ユーザビリティ情報は、より広いアプリケーションを可能にする対応ビットストリーム用の特別な情報をユーザに提供する。例えば、ビットストリーム制限の情報(ビットストリーム制限情報)に於いて、ビデオ・ユーザビリティ情報は、(1)動きがピクチャ境界を越えているか否か、(2)ピクチャ毎の最大バイト、(3)マクロブロック毎の最大ビット、(4)最大動きベクトル長(水平及び垂直)、(5)再配列フレーム数、及び、(6)最大復号化フレーム・バッファ・サイズを規定している。復号器は、「レベル」情報を用いてビットストリームが実際に必要とするものよりも一般的に高い復号化要件を設定する代わりに、当該ビデオ・ユーザビリティ情報を見て、より厳格な制限に基づいて自己の復号化動作をカスタマイズできる。
マルチビュー・ビデオ・コーディング(MVC)は、MPEG−4AVC規格の一拡張機能である。マルチビュー・ビデオ・コーディングに於いて、複数ビューについてのビデオ画像は、ビュー相互間の相関を利用することによって、符号化できる。全てのビューの中で、1つのビューが基準ビューであり、該基準ビューは、MPEG−4AVC規格に準拠しており、その他のビューからは予測できない。該その他のビューは、非基準ビューと呼ばれる。各非基準ビューは、基準ビュー、及び、その他の非基準ビューから予測符号化できる。ビューの各々は、時間的にサブ・サンプリングできる。ビューの時間的なサブ・セットは、「temporal_id」のシンタックス要素で識別できる。ビューの時間レベルは、ビデオ信号の1つの表現である。マルチビュー・ビデオ符号化ビットストリームでは、各ビューと各時間レベルとの組み合わせが異なることがあり得る。該組み合わせの各々は、オペレーション・ポイントと呼ばれる。各オペレーション・ポイントに対応するサブ・ビットストリームは、当該ビットストリームから抽出できる。
本原理は、従来技術の欠点及び不都合に取り組むものであり、マルチビュー・ビデオ・コーディング(MVC)にビデオ・ユーザビリティ情報(VUI)を組み込むための方法と装置に向けられたものである。
本原理の一形態に従えば、装置が提供される。この装置は、個別ビュー、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントのうち、少なくとも1つについて、ビデオ・ユーザビリティ情報を規定することによって、マルチビュー・ビデオ・コンテンツを符号化する符号器を含む。
本原理の別の一形態に従えば、方法が提供される。この方法は、個別ビュー、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントのうち、少なくとも1つについて、ビデオ・ユーザビリティ情報を規定することによって、マルチビュー・ビデオ・コンテンツを符号化することを含む。
本原理の更に別の一形態に従えば、装置が提供される。この装置は、個別ビュー、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントのうち、少なくとも1つについて、ビデオ・ユーザビリティ情報を規定することによって、マルチビュー・ビデオ・コンテンツを復号化する復号器を含む。
本原理の更に別の一形態に従えば、方法が提供される。この方法は、個別ビュー、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントのうち、少なくとも1つについて、ビデオ・ユーザビリティ情報を規定することによって、マルチビュー・ビデオ・コンテンツを復号化することを含む。
本原理の更に別の一形態に従えば、付記の装置が提供される。この装置は、各パラメータが少なくとも1つのハイレベル・シンタックス要素に於いて規定される。
本原理の更に別の一形態に従えば、付記の装置が提供される。この装置は、少なくとも1つのハイレベル・シンタックス要素には、mvc_vui_parameters_extension()のシンタックス要素、mvc_scalability_infoのサプリメンタル・エンハンスメント情報シンタックス・メッセージ、シーケンス・パラメータ・セットの少なくとも一部、ピクチャ・パラメータ・セット、及び、サプリメンタル・エンハンスメント情報のうち、少なくとも1つが含まれている。
本原理の更に別の一形態に従えば、付記の装置が提供される。この装置は、ビデオ・ユーザビリティ情報の少なくとも一部にはビットストリーム制限パラメータが含まれている。
本原理の更に別の一形態に従えば、付記の方法が提供される。この方法は、各パラメータが少なくとも1つのハイレベル・シンタックス要素に於いて規定される。
本原理の更に別の一形態に従えば、付記の方法が提供される。この方法は、少なくとも1つのハイレベル・シンタックス要素には、mvc_vui_parameters_extension()のシンタックス要素、mvc_scalability_infoのサプリメンタル・エンハンスメント情報シンタックス・メッセージ、シーケンス・パラメータ・セットの少なくとも一部、ピクチャ・パラメータ・セット、及び、サプリメンタル・エンハンスメント情報のうち、少なくとも1つが含まれている。
本原理の更に別の一形態に従えば、付記の方法が提供される。この方法は、ビデオ・ユーザビリティ情報の少なくとも一部にはビットストリーム制限パラメータが含まれている。
本原理の更に別の一形態に従えば、コンピュータ・プログラム可能記憶媒体が提供される。この媒体は、該媒体上で符号化されたビデオ信号データを有し、個別ビュー、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントから選択された少なくとも1つについてビデオ・ユーザビリティ情報を規定することによって符号化されたマルチビュー・ビデオ・コンテンツを含む。
本原理の更に別の一形態に従えば、付記の媒体が提供される。この媒体は、各パラメータが少なくとも1つのハイレベル・シンタックス要素に於いて規定される。
本原理の更に別の一形態に従えば、付記の媒体が提供される。この媒体は、少なくとも1つのハイレベル・シンタックス要素には、mvc_vui_parameters_extension()のシンタックス要素、mvc_scalability_infoのサプリメンタル・エンハンスメント情報シンタックス・メッセージ、シーケンス・パラメータ・セットの少なくとも一部、ピクチャ・パラメータ・セット、及び、サプリメンタル・エンハンスメント情報のうち、少なくとも1つが含まれている。
本原理の更に別の一形態に従えば、付記の媒体が提供される。この媒体は、ビデオ・ユーザビリティ情報の少なくとも一部にはビットストリーム制限パラメータが含まれている。
本原理のこれらの、及び、その他の形態、特徴、及び、利点は、添付図面を参照しつつ読まれるべき以下の各実施例の詳細な説明から明らかになるであろう。
本原理は、以下の例としての各図面を参照することにより、より良く理解できるであろう。
本原理が、本原理の一実施形態に従って適用可能なマルチビュー・ビデオ・コーディング(MVC)符号器の例についてのブロック図である。 本原理が、本原理の一実施形態に従って適用可能なマルチビュー・ビデオ・コーディング(MVC)復号器の例についてのブロック図である。 本原理の一実施形態に従って、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューについてビットストリーム制限パラメータを符号化する方法の例についての流れ図である。 本原理の一実施形態に従って、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューについてビットストリーム制限パラメータを復号化する方法の例についての流れ図である。 本原理の一実施形態に従って、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューに於ける各々の時間レベルについてビットストリーム制限パラメータを符号化する方法の例についての流れ図である。 本原理の一実施形態に従って、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューに於ける各々の時間レベルについてビットストリーム制限パラメータを復号化する方法の例についての流れ図である。 本原理の一実施形態に従って、view_scalability_parameters_extension()のシンタックス要素を用いて、各々のオペレーション・ポイントについてビットストリーム制限パラメータを符号化する方法の例についての流れ図である。 本原理の一実施形態に従って、view_scalability_parameters_extension()のシンタックス要素を用いて、各々のオペレーション・ポイントについてビットストリーム制限パラメータを復号化する方法の例についての流れ図である。
本原理は、マルチビュー・ビデオ・コーディング(MVC)にビデオ・ユーザビリティ情報(VUI)を組み込むための方法と装置に向けられたものである。
本明細書に於ける記載は、本原理を例示するものである。当業者であれば、ここに明示的に記載、或いは、図示されていないが、本原理を実施する、本原理の意図とその範囲内に含まれる様々な構成を考案できるであろう。
ここに記載の全ての例、及び、条件言語は、本発明の発明者が技術促進のために提供した本原理と概念とを読者が理解する助けとなる教授を目的とするものであって、本発明は、これらの具体的に記載された各例、及び、各条件に限定されるものではない。
更に、本発明の各原理、各特徴、及び、各実施形態、並びに、それらの具体例についての本明細書に於ける各記載は、全て、それらの構造的な等価物と機能的な等価物とを包含するものである。また、そのような等価物には、現時点で既知のもの、及び、将来開発されるもの(即ち、構成の如何に関係なく同じ機能を実施するように開発されたあらゆる要素)も含まれる。
従って、例えば、当業者であれば、本願に於いて示される各ブロック図が、本原理を実施する回路例の概念図を表していることが分かるであろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、擬似コード等が、コンピュータ読み取り可能媒体で実質的に表すことが出来、従って、明示的にコンピュータ又はプロセッサが示されているか否かに関らず、コンピュータ又はプロセッサによって実行され得ることが分かるであろう。
各図面に示された種々の要素の各機能は、専用ハードウェアを用いても、また、適切なソフトウェアと共にソフトウェア実行可能ハードウェアを用いても提供できる。これらの各機能は、プロセッサによって提供される場合、1つの専用プロセッサによって、或いは、1つの共用プロセッサによって、或いは、一部が共用可能な複数の個別プロセッサによって提供可能である。更に、「プロセッサ」或いは「コントローラ(制御器)」という用語の明示的な使用は、ソフトウェア実行可能ハードウェアのみを意味していると解釈されるべきではなく、暗示的に、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリード・オンリ・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、及び、不揮発性記憶装置が無制限に含まれ得る。
その他の従来型、及び/又は、特定用途向けのハードウェアも含まれ得る。同様に、各図面に示されるあらゆるスイッチも概念のみを表している。それらの機能は、プログラム論理の動作を介して、或いは、専用論理を介して、或いは、プログラム制御と専用論理との相互作用を介して、或いは、手動でも実施可能であり、本明細書から更に具体的に理解できるように、実施者が特定の技術を選択できる。
本願に於ける特許請求の範囲の各請求項に於いて、特定の機能を実施する手段として表現されたあらゆる要素は、例えば、a)当該機能を実施する各回路要素の組み合わせ、或いは、b)あらゆる形態のソフトウェア(当該ソフトウェアを実行して当該機能を実施する適切な回路と組み合わされるファームウェア、或いは、マイクロコード等も含む)を含む当該機能を実施するあらゆる形態を包含する。そのような各請求項によって規定される本原理は、各請求項に記載された種々の手段によって提供される各機能が、各請求項に記載された態様で組み合わされて統合されるということに在る。従って、当該機能を提供し得るあらゆる手段は、本明細書に示された手段と等価であると認められる。
本明細書に於いて、本原理の「一実施形態」或いは「実施形態」に言及すれば、それは、当該実施形態に関連して説明された特定の特徴、構造、及び、特性等が本原理の少なくとも一実施形態に含まれていることを意味する。従って、本明細書全体を通して様々な箇所に現れる「一実施形態」或いは「実施形態」という語句は、必ずしも全てが同一の実施形態を意味している訳ではない。
また、例えば「A及び/又はB」と「AとBの少なくとも一方」の場合に於ける用語「及び/又は」と「〜の少なくとも一方」の使用は、最初に述べた選択項目(A)のみの選択、或いは、次に述べた選択項目(B)のみの選択、或いは、両方の選択項目(A及びB)の選択を包含するものである。別の例として、「A、B及び/又はC」と「A、B及びCの少なくとも1つ」の場合、そのような語句は、1番目に述べた選択項目(A)のみの選択、或いは、2番目に述べた選択項目(B)のみの選択、或いは、3番目に述べた選択項目(C)のみの選択、或いは、1番目と2番目に述べた選択項目(A及びB)のみの選択、或いは、1番目と3番目に述べた選択項目(A及びC)のみの選択、或いは、2番目と3番目に述べた選択項目(B及びC)のみの選択、或いは、3つの選択項目全て(A、B及びC)の選択を包含するものである。このことが、多数の選択項目が挙げられた場合にも拡張できることは、当該技術分野及びその他の関連技術分野の当業者に明らかである。
マルチビュー・ビデオ・コーディング(MVC)は、各マルチビュー・シーケンスの符号化のための圧縮フレームワークである。1つのマルチビュー・ビデオ・コーディング(MVC)シーケンスは、別の視点から同一シーンを捕捉した2つ以上のビデオ・シーケンスの1集合(1セット)である。
「クロスビュー」と「インタービュー」は、本明細書に於いて互いに交換可能に使用される場合、共に、目下のビュー以外のビューに属するピクチャを意味する。
更に、「ハイレベル・シンタックス」は、本明細書に於いて使用される場合、マクロブロック層よりも階層的に上方に在るビットストリーム内のシンタックスを意味する。例えば、本明細書に於いて使用されるハイレベル・シンタックスは、スライス・ヘッダ・レベル、サプリメンタル・エンハンスメント情報(補助拡張情報)(SEI)レベル、ピクチャ・パラメータ・セット(PPS)レベル、シーケンス・パラメータ・セット(SPS)レベル、及び、ネットワーク・アブストラクション層(NAL)ユニット・ヘッダ・レベルに在るシンタックスを意味する場合がある(しかしながら、これらに限定されるものではない)。
また、本明細書に於いて、本原理の1つ以上の実施形態を、MPEG−4AVC規格のマルチビュー・ビデオ・コーディングの拡張機能について、例として説明するが、本原理は、この拡張機能、及び/又は、この規格のみに限定されるものではなく、従って、本原理の意図を維持しつつ、その他のビデオ・コーディング規格、勧告、及び、その拡張機能についても、利用できる。
また、本明細書に於いて、本原理の1つ以上の実施形態を、ビットストリーム制限情報について、例として説明するが、本原理は、このビットストリーム制限情報を一種類のビデオ・ユーザビリティ情報として使用することのみに限定されるものではなく、従って、本原理の意図を維持しつつ、マルチビュー・ビデオ・コーディングについての用途に拡張可能なその他の種類のビデオ・ユーザビリティ情報も、本原理に従って、使用できる。
図1には、マルチビュー・ビデオ・コーディング(MVC)の符号器の全体が、参照番号100を用いて、例示されている。符号器100には、結合器105が含まれており、その出力は変換器110の入力に信号伝達可能に接続されている。変換器110の出力は、量子化器115の入力に信号伝達可能に接続されている。量子化器115の出力は、エントロピー符号器120の入力と逆量子化器125の入力とに信号伝達可能に接続されている。逆量子化器125の出力は、逆変換器130の入力に信号伝達可能に接続されている。逆変換器130の出力は、結合器135の第1の非反転入力に信号伝達可能に接続されている。結合器135の出力は、イントラ予測器145の入力と非ブロック化フィルタ150の入力とに信号伝達可能に接続されている。非ブロック化フィルタ150の出力は、参照ピクチャ記憶装置155(ビューi用)の入力に信号伝達可能に接続されている。参照ピクチャ記憶装置155の出力は、動き補償器175の第1の入力と動き推定器180の第1の入力とに信号伝達可能に接続されている。動き推定器180の出力は、動き補償器175の第2の入力に信号伝達可能に接続されている。
参照ピクチャ記憶装置160(その他のビュー用)の出力が、差異/照度推定器170の第1の入力と差異/照度補償器165の第1の入力とに信号伝達可能に接続されている。差異/照度推定器170の出力は、差異/照度補償器165の第2の入力に信号伝達可能に接続されている。
エントロピー符号器120の出力は、符号器100の出力とされる。結合器105の非反転入力は、符号器100の入力とされ、また、差異/照度推定器170の第2の入力と動き推定器180の第2の入力とに信号伝達可能に接続されている。スイッチ185の出力が、結合器135の第2の非反転入力と結合器105の反転入力とに信号伝達可能に接続されている。スイッチ185には、動き補償器175の出力に信号伝達可能に接続された第1の入力と、差異/照度補償器165の出力に信号伝達可能に接続された第2の入力と、イントラ予測器145の出力に信号伝達可能に接続された第3の入力とが備えられている。
モード決定モジュール140の出力が、スイッチ185に接続されており、スイッチ185がどの入力を選択するかを制御する。
図2には、マルチビュー・ビデオ・コーディング(MVC)の復号器の全体が、参照番号200を用いて、例示されている。復号器200にはエントロピー復号器205が含まれており、その出力は、逆量子化器210の入力に信号伝達可能に接続されている。該逆量子化器の出力は、逆変換器215の入力に信号伝達可能に接続されている。逆変換器215の出力は、結合器220の第1の非反転入力に信号伝達可能に接続されている。結合器220の出力は、非ブロック化フィルタ225の入力とイントラ予測器230の入力とに信号伝達可能に接続されている。非ブロック化フィルタ225の出力は、参照ピクチャ記憶装置240(ビューi用)の入力に信号伝達可能に接続されている。参照ピクチャ記憶装置240の出力は、動き補償器235の第1の入力に信号伝達可能に接続されている。
参照ピクチャ記憶装置245(その他のビュー用)の出力が、差異/照度補償器250の第1の入力に信号伝達可能に接続されている。
エントロピー復号器205の入力は、復号器200の入力とされ、剰余ビットストリームを受信する。更に、モード・モジュール260の入力も、復号器200の入力とされ、スイッチ255がどの入力を選択するかを制御する制御シンタックスを受信する。また、動き補償器235の第2の入力も、復号器200の入力とされ、動きベクトルを受信する。更にまた、差異/照度補償器250の第2の入力も、復号器200の入力とされ、差異ベクトルと照度補償シンタックスとを受信する。
スイッチ255の出力は、結合器220の第2の非反転入力に信号伝達可能に接続されている。スイッチ255の第1の入力は、差異/照度補償器250の出力に信号伝達可能に接続されている。スイッチ255の第2の入力は、動き補償器235の出力に信号伝達可能に接続されている。スイッチ255の第3の入力は、イントラ予測器230の出力に信号伝達可能に接続されている。モード・モジュール260の出力が、スイッチ255に信号伝達可能に接続されており、スイッチ255がどの入力を選択するかを制御する。非ブロック化フィルタ225の出力が、当該復号器の出力とされる。
MPEG−4AVC規格に於いて、各シーケンス・パラメータ・セットのシンタックス・パラメータ及びセマンティクス・パラメータは、ビデオ・ユーザビリティ情報(VUI)について規定される。これは、多種多様な目的でビデオのユーザビリティを高めるためにビットストリームに挿入可能な補足情報を表している。ビデオ・ユーザビリティ情報には、アスペクト比、オーバー・スキャン、ビデオ信号タイプ、クロマ・ロケーション、タイミング、ネットワーク・アブストラクション層(NAL)仮想参照デコーダ(HRD)パラメータ、ビデオ符号化層(VCL)仮想参照デコーダ・パラメータ、ビットストリーム制限等の情報が含まれている。
本原理の1つ以上の実施形態に従えば、この現存するビデオ・ユーザビリティ情報の領域を従来技術とは異なる新たな目的で使用し、更に、その使用をマルチビュー・ビデオ・コーディング(MVC)にまで拡張する。本原理のマルチビュー・ビデオ・コーディング方式では、ビデオ・ユーザビリティ情報を拡張して、例えば、相異なるビュー相互間で、1つのビューに於ける相異なる時間レベル相互間で、或いは、相異なるオペレーション・ポイント相互間で異なるようにする。従って、一実施形態によれば、個別ビューについてのビデオ・ユーザビリティ情報の規定、1つのビューに於ける個別時間レベルについてのビデオ・ユーザビリティ情報の規定、及び、個別オペレーション・ポイントについてのビデオ・ユーザビリティ情報の規定のうちの(但し、これらに限定しない)1つ以上に従って、ビデオ・ユーザビリティ情報を規定する。
MPEG−4AVC規格では、ビデオ・ユーザビリティ情報(VUI)を含む集合を、シーケンス・パラメータ・セット(SPS)内に入れて送信できる。一実施形態に従えば、マルチビュー・ビデオ・コーディング(MVC)コンテキスト内で使用するビデオ・ユーザビリティ情報の概念が拡張される。利点として、これにより、相異なるビデオ・ユーザビリティ情報を、マルチビュー・ビデオ・コーディングに於いて、相異なるビューについて、或いは、1つのビューに於ける相異なる時間レベルについて、或いは、相異なるオペレーション・ポイントについて、規定することが出来る。一実施形態に於いて、マルチビュー・ビデオ・コーディングについてのビデオ・ユーザビリティ情報に於いて、ビットストリーム制限情報を選考、修正、及び、使用する際の新規な手法が提供される。
MPEG−4AVC規格に於けるビットストリーム制限情報は、sequence_parameter_set()の一部であるvui_parameters()のシンタックス要素で規定される。表1は、vui_parameters()のMPEG−4AVC規格シンタックスを例示している。
Figure 0005264920
ビットストリーム制限情報の各シンタックス要素のセマンティクスは、次の通りである。
bitstream_restriction_flag=1は、後続する符号化ビデオ・シーケンス・ビットストリーム制限パラメータが存在することを規定する。bitstream_restriction_flag=0は、後続する符号化ビデオ・シーケンス・ビットストリーム制限パラメータが存在しないことを規定する。
motion_vectors_over_pic_boundaries_flag=0は、ピクチャ範囲外のサンプルと、ピクチャ範囲外の1つ以上のサンプルを用いて値が導出される分数サンプル位置に於けるサンプルとが、サンプルのインター予測に使用されないことを規定する。motion_vectors_over_pic_boundaries_flag=1は、ピクチャ範囲外の1つ以上のサンプルがインター予測に使用され得ることを示す。motion_vectors_over_pic_boundaries_flagのシンタックス要素がない時は、motion_vectors_over_pic_boundaries_flagの値が1であると推断する。
max_bytes_per_pic_denomは、符号化ビデオ・シーケンス内の符号化ピクチャに対応するバーチャル・コーディング層(VCL)ネットワーク・アブストラクション層(NAL)ユニットのサイズの合計の最大バイト数を示す。
ネットワーク・アブストラクション層ユニット・ストリーム内の1枚のピクチャを表すバイト数は、この目的で、当該ピクチャについてのバーチャル・コーディング層ネットワーク・アブストラクション層ユニット・データの総バイト数(即ち、バーチャル・コーディング層ネットワーク・アブストラクション層ユニットについてのNumBytesInNALunitの変数の合計)として、規定される。max_bytes_per_pic_denomの値は、0から16までの範囲内(両端値含む)である。
max_bytes_per_pic_denomに従って、次の述べる事項が適用される。max_bytes_per_pic_denomが0である場合、制限は示されてない。その他の場合(max_bytes_per_pic_denomが0でない場合)、符号化ビデオ・シーケンスに於いて、符号化ピクチャを表す最大バイト数は、以下の通りである。
(PicSizeInMbs*RawMbBits)÷(8*max_bytes_per_pic_denom)
max_bytes_per_pic_denomのシンタックス要素がない時は、max_bytes_per_pic_denomの値を2であると推断する。変数PicSizeInMbsは、当該ピクチャ内のマクロブロック数である。変数RawMbBitsは、MPEG−4AVC規格の第7.4.2.1副節(sub−clause)に於けるように導出される。
max_bits_per_mb_denomは、符号化ビデオ・シーケンスの任意のピクチャ内の任意のマクロブロックについて、macroblock_layer( )データの符号化ビットの最大数を示す。max_bits_per_mb_denomの値は、0から16までの範囲内(両端値含む)である。
max_bits_per_mb_denomに従って、次の述べる事項が適用される。max_bits_per_mb_denomが0である場合、制限は規定されてない。その他の場合(max_bits_per_mb_denomが0でない場合)、ビットストリーム内に於いて、符号化macroblock_layer( )を表す最大ビット数は、以下の通りである。
(128+RawMbBits)÷max_bits_per_mb_denom
entropy_coding_mode_flagに従って、macroblock_layer( )データのビットは次の如く計数される。entropy_coding_mode_flagが0である場合、macroblock_layer( )データのビット数は、マクロブロックのmacroblock_layer( )シンタックス構造に於けるビット数によって与えられる。その他の場合(entropy_coding_mode_flagが1である場合)、macroblock_layer( )データのビット数は、当該マクロブロックに対応するmacroblock_layer( )を構文解析する際に、MPEG−4AVC規格の第9.3.3.2.2副節、及び、第9.3.3.2.3副節に於いてread_bits(1)が呼び出される回数によって与えられる。
max_bits_per_mb_denomがない時、max_bits_per_mb_denomの値を1であると推断する。
log2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalは、それぞれ、符号化ビデオ・シーケンス内の全てのピクチャについて、1/4ルマ・サンプル・ユニットに於ける復号化水平動きベクトル成分、及び、復号化垂直動きベクトル成分の最大絶対値を示す。nの値によって、1/4ルマ・サンプルずれのユニットに於いて、−2から2−1までの範囲(両端値含む)を超える動きベクトル成分の値がないことが仮定される。log2_max_mv_length_horizontalの値は、0から16までの範囲内(両端値含む)である。log2_max_mv_length_verticalの値は、0から16までの範囲内(両端値含む)である。log2_max_mv_length_horizontalがない時、log2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値は、16であると推断する。尚、復号化垂直動きベクトル成分、或いは、復号化水平動きベクトル成分の最大絶対値は、MPEG−4AVC規格の添付文書Aで規定されているプロファイル及びレベル制限によっても制約を受ける。
num_reorder_framesは、符号化ビデオ・シーケンス内に於いて、任意のフレーム、任意の相補フィールド・ペア、或いは、任意の非ペアのフィールドに対して、それぞれ、復号化順で先行し出力順で後続するフレーム、相補フィールド・ペア、或いは、非ペアのフィールドの最大数を示す。num_reorder_framesの値は、0からmax_dec_frame_bufferingまでの範囲内(両端値含む)である。num_reorder_framesのシンタックス要素がない時、num_reorder_framesの値は、次の如く推断する。profile_idcが44、100、110、122、或いは、244であり、constraint_set3_flagが1である場合、num_reorder_framesの値は、0であると推断する。その他の場合(profile_idcが44、100、110、122、或いは、244でなく、或いは、constraint_set3_flagが0である場合)、num_reorder_framesの値は、max_dec_frame_bufferingMaxDpbSizeであると推断する。
max_dec_frame_bufferingは、フレーム・バッファのユニットに於ける仮想参照デコーダ復号化ピクチャ・バッファ(DPB)の必要なサイズを規定する。符号化ビデオ・シーケンスは、ピクチャ・タイミング・サプリメンタル・エンハンスメント情報(SEI)メッセージのdpb_output_delayによって規定される出力時での各復号化ピクチャの出力を可能にするのに、Max(1, max_dec_frame_buffering)フレーム・バッファよりも大きなサイズの復号化ピクチャ・バッファを必要としない。max_dec_frame_bufferingの値は、num_ref_framesからMaxDpbSize(MPEG−4AVC規格の副節A.3.1又はA.3.2に於いて規定されている)までの範囲内(両端値含む)である。max_dec_frame_bufferingのシンタックス要素がない時、max_dec_frame_bufferingの値は、次の如く推断する。profile_idcが44、或いは、244であり、constraint_set3_flagが1である場合、max_dec_frame_bufferingの値は、0であると推断する。その他の場合(profile_idcが44、或いは、244でなく、或いは、constraint_set3_flagが0である場合)、max_dec_frame_bufferingの値は、MaxDpbSizeであると推断する。
マルチビュー・ビデオ・コーディングに於いて、ビットストリーム制限パラメータは、より厳格な制限に基づいてサブストリームの復号化動作をカスタマイズする。従って、ビットストリーム制限パラメータは、マルチビュー・ビデオ符号化ビットストリームの各々の抽出可能サブストリームについて、規定できる。一実施形態に従って、各々のビューについて、及び/又は、ビュー内の各々の時間レベルについて、及び/又は、各々のオペレーション・ポイントについてビットストリーム制限情報を規定することを提案する。
各々のビューについてビットストリーム制限パラメータを規定する
ビットストリーム制限パラメータは、各々のビューについて規定できる。ここで、subset_sequence_parameter_setの一部であるmvc_vui_parameters_extensionのシンタックスを提案する。表2は、mvc_vui_parameters_extensionのシンタックスを例示している。
mvc_vui_parameters_extension()は、このsubset_sequence_parameter_setに対応する全てのビューをループ(loop)する。ビュー毎のview_idとビュー毎のビットストリーム制限パラメータとは、当該ループ内で規定される。
Figure 0005264920
ビットストリーム制限シンタックス要素のセマンティクスは、次の通りである。
bitstream_restriction_flag[i]は、view_idがview_id[i]であるビューのbitstream_restriction_flagの値を規定する。
motion_vectors_over_pic_boundaries_flag[i]は、view_idがview_id[i]であるビューのmotion_vectors_over_pic_boundaries_flagの値を規定する。motion_vectors_over_pic_boundaries_flag[i]のシンタックス要素がない時、view_idがview_id[i]であるビューについてのmotion_vectors_over_pic_boundaries_flagの値は、1であると推断する。
max_bytes_per_pic_denom[i]は、view_idがview_id[i]であるビューのmax_bytes_per_pic_denomの値を規定する。max_bytes_per_pic_denom[i]のシンタックス要素がない時、view_idがview_id[i]であるビューのmax_bytes_per_pic_denomの値は、2であると推断する。
max_bits_per_mb_denom[i]は、view_idがview_id[i]であるビューのmax_bits_per_mb_denomの値を規定する。max_bits_per_mb_denom[i]がない時、view_idがview_id[i]であるビューのmax_bits_per_mb_denomの値は、1であると推断する。
log2_max_mv_length_horizontal[i]、及び、log2_max_mv_length_vertical[i]は、それぞれ、view_idがview_id[i]であるビューのlog2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値を規定する。log2_max_mv_length_horizontal[i]がない時、view_idがview_id[i]であるビューのlog2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値は、16であると推断する。
num_reorder_frames[i]は、view_idがview_id[i]であるビューのnum_reorder_framesの値を規定する。num_reorder_frames[i]の値は、0からmax_dec_frame_bufferingまでの範囲内(両端値含む)にある。num_reorder_frames[i]のシンタックス要素がない時、view_idがview_id[i]であるビューのnum_reorder_framesの値は、max_dec_frame_bufferingであると推断する。
max_dec_frame_buffering[i]は、view_idがview_id[i]であるビューのmax_dec_frame_bufferingの値を規定する。max_dec_frame_buffering[i]の値は、num_ref_frames[i]からMaxDpbSize(MPEG−4AVC規格の副節A.3.1或いはA.3.2に於いて規定されている)までの範囲内(両端値含む)にある。max_dec_frame_buffering[i]のシンタックス要素がない時、view_idがview_id[i]であるビューのmax_dec_frame_bufferingの値は、MaxDpbSizeであると推断する。
図3には、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューについてビットストリーム制限パラメータを符号化する方法の一例の全体が、参照番号300によって示されている。
方法300には開始ブロック305が含まれており、該開始ブロック305は、制御権を機能ブロック310に送る。機能ブロック310は、変数M=(ビュー数−1)を設定して、制御権を機能ブロック315に送る。機能ブロック315は、変数Mをビットストリームに書き込み、制御権を機能ブロック320に送る。機能ブロック320は、変数i=0を設定して、制御権を機能ブロック325に送る。機能ブロック325は、view_id[i]のシンタックス要素を書き込み、制御権を機能ブロック330に送る。機能ブロック330は、bitstream_restriction_flag[i]のシンタックス要素を書き込み、制御権を決定ブロック335に送る。決定ブロック335は、bitstream_restriction_flag[i]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック345に送られる。0でない場合、制御権は機能ブロック340に送られる。
機能ブロック340は、ビューiのビットストリーム制限パラメータを書き込み、制御権を決定ブロック345に送る。決定ブロック345は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック399に送られる。等しくない場合、制御権は機能ブロック350に送られる。
機能ブロック350は、変数i=i+1を設定し、制御権を機能ブロック325に戻す。
図4には、mvc_vui_parameters_extension()のシンタックス要素を用いて、各々のビューについてビットストリーム制限パラメータを復号化する方法の一例の全体が、参照番号400によって示されている。
方法400には開始ブロック405が含まれており、該開始ブロック405は、制御権を機能ブロック407に送る。機能ブロック407は、ビットストリームから変数Mを読み出し、制御権を機能ブロック410に送る。機能ブロック410は、ビュー数=変数M+1を設定し、制御権を機能ブロック420に送る。機能ブロック420は、変数i=0を設定し、制御権を機能ブロック425に送る。機能ブロック425は、view_id[i]のシンタックス要素を読み出し、制御権を機能ブロック430に送る。機能ブロック430は、bitstream_restriction_flag[i]のシンタックス要素を読み出し、制御権を決定ブロック435に送る。決定ブロック435は、bitstream_restriction_flag[i]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック445に送られる。0でない場合、制御権は機能ブロック440に送られる。
機能ブロック440は、ビューiのビットストリーム制限パラメータを読み出し、制御権を決定ブロック445に送る。決定ブロック445は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック499に送られる。等しくない場合、制御権は機能ブロック450に送られる。
機能ブロック450は、変数i=i+1を設定して、制御権を機能ブロック425に戻す。
各々のビューの各々の時間レベルについてビットストリーム制限パラメータを規定する
ビットストリーム制限パラメータは、各々のビューの各々の時間レベルについて規定できる。ここで、subset_sequence_parameter_setの一部であるmvc_vui_parameters_extensionのシンタックスを提案する。表3は、mvc_vui_parameters_extensionのシンタックスを例示している。
Figure 0005264920
ビットストリーム制限シンタックス要素のセマンティクスは、次の通りである。
bitstream_restriction_flag[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのbitstream_restriction_flagの値を規定する。
motion_vectors_over_pic_boundaries_flag[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmotion_vectors_over_pic_boundaries_flagの値を規定する。motion_vectors_over_pic_boundaries_flag[i] のシンタックス要素がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmotion_vectors_over_pic_boundaries_flagの値は、1であると推断する。
max_bytes_per_pic_denom[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_bytes_per_pic_denomの値を規定する。max_bytes_per_pic_denom[i]のシンタックス要素がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_bytes_per_pic_denomの値は、2であると推断する。
max_bits_per_mb_denom[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_bits_per_mb_denomの値を規定する。max_bits_per_mb_denom[i] がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_bits_per_mb_denomの値は、1であると推断する。
log2_max_mv_length_horizontal[i][j]、及び、log2_max_mv_length_vertical[i][j]は、それぞれ、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのlog2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値を規定する。log2_max_mv_length_horizontal[i]がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのlog2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値は、16であると推断する。
num_reorder_frames[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのnum_reorder_framesの値を規定する。num_reorder_frames[i]は、0からmax_dec_frame_bufferingまでの範囲内(両端値含む)にある。num_reorder_frames[i]のシンタックス要素がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのnum_reorder_framesの値は、max_dec_frame_bufferingであると推断する。
max_dec_frame_buffering[i][j]は、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_dec_frame_bufferingの値を規定する。max_dec_frame_buffering[i]の値は、num_ref_frames[i]からMaxDpbSize(MPEG−4AVC規格の副節A.3.1或いはA.3.2に於いて規定されている)までの範囲内(両端値含む)にある。max_dec_frame_buffering[i]のシンタックス要素がない時、view_idがview_id[i]であるビューに於いてtemporal_idがtemporal_id[i][j]である時間レベルのmax_dec_frame_bufferingの値は、MaxDpbSizeであると推断する。
mvc_vui_parameters_extension()に於いて、2つのループが実行される。外側ループは、subset_sequence_parameter_setに対応する全てのビューをループする。各々のビューの時間レベル数についてのview_idは、外側ループ内で規定される。内側ループは、ビューの全ての時間レベルをループする。ビットストリーム制限情報は、内側ループ内で規定される。
図5には、各々のビューに於ける各々の時間レベルについてビットストリーム制限パラメータを符号化する方法の一例の全体が、参照番号500によって示されている。
方法500には開始ブロック505が含まれており、該開始ブロック505は、制御権を機能ブロック510に送る。機能ブロック510は、変数M=(ビュー数−1)を設定して、制御権を機能ブロック515に送る。機能ブロック515は、変数Mをビットストリームに書き込み、制御権を機能ブロック520に送る。機能ブロック520は、変数i=0を設定して、制御権を機能ブロック525に送る。機能ブロック525は、view_id[i]のシンタックス要素を書き込み、制御権を機能ブロック530に送る。機能ブロック530は、変数N=(ビューiに於ける時間レベル数−1)を設定し、制御権を機能ブロック535に送る。機能ブロック535は、変数Nをビットストリームに書き込み、制御権を機能ブロック540に送る。機能ブロック540は、変数j=0を設定し、制御権を機能ブロック545に送る。機能ブロック545は、temporal_id[i][j]のシンタックス要素を書き込み、制御権を機能ブロック550に送る。機能ブロック550は、bitstream_restriction_flag[i][j]のシンタックス要素を書き込み、制御権を決定ブロック555に送る。決定ブロック555は、bitstream_restriction_flag[i][j]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック565に送られる。0でない場合、制御権は機能ブロック560に送られる。
機能ブロック560は、ビューiに於ける時間レベルjのビットストリーム制限パラメータを書き込み、制御権を決定ブロック565に送る。決定ブロック565は、変数jが変数Nに等しいか否かを判定する。等しい場合、制御権は決定ブロック570に送られる。等しくない場合、制御権は機能ブロック575に送られる。
決定ブロック570は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック599に送られる。等しくない場合、制御権は機能ブロック580に送られる。
機能ブロック580は、変数i=i+1を設定し、制御権を機能ブロック525に戻す。
機能ブロック575は、変数j=j+1を設定し、制御権を機能ブロック545に戻す。
図6には、各々のビューに於ける各々の時間レベルについてビットストリーム制限パラメータを復号化する方法の一例の全体が、参照番号600によって示されている。
方法600には開始ブロック605が含まれており、該開始ブロック605は、制御権を機能ブロック607に送る。機能ブロック607は、ビットストリームから変数Mを読み出し、制御権を機能ブロック610に送る。機能ブロック610は、ビュー数=M+1を設定し、制御権を機能ブロック620に送る。機能ブロック620は、変数i=0を設定し、制御権を機能ブロック625に送る。機能ブロック625は、view_id[i]のシンタックス要素を読み出し、制御権を機能ブロック627に送る。機能ブロック627は、ビットストリームから変数Nを読み出し、制御権を機能ブロック630に送る。機能ブロック630は、ビューiに於ける時間レベル数=N+1を設定し、制御権を機能ブロック640に送る。機能ブロック640は、変数j=0を設定し、制御権を機能ブロック645に送る。機能ブロック645は、temporal_id[i][j]のシンタックス要素を読み出し、制御権を機能ブロック650に送る。機能ブロック650は、bitstream_restriction_flag[i][j]のシンタックス要素を読み出し、制御権を決定ブロック655に送る。決定ブロック655は、bitstream_restriction_flag[i][j]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック665に送られる。0でない場合、制御権は機能ブロック660に送られる。
機能ブロック660は、ビューiに於ける時間レベルjのビットストリーム制限パラメータを読み出し、制御権を決定ブロック665に送る。決定ブロック665は、変数jが変数Nに等しいか否かを判定する。等しい場合、制御権は決定ブロック670に送られる。等しくない場合、制御権は機能ブロック675に送られる。
決定ブロック670は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック699に送られる。等しくない場合、制御権は機能ブロック680に送られる。
機能ブロック680は、変数i=i+1を設定して、制御権を機能ブロック625に戻す。
機能ブロック675は、変数j=j+1を設定して、制御権を機能ブロック645に戻す。
各々のオペレーション・ポイントについてビットストリーム制限情報を規定する
ビットストリーム制限パラメータは、各々のオペレーション・ポイントについて規定できる。ここで、ビュー・スケーラビリティ(拡張性)情報SEIメッセージに於ける各々のオペレーション・ポイントのビットストリーム制限パラメータの伝達を提案する。ビュー・スケーラビリティ情報SEIメッセージのシンタックスは、表4に於けるように修正変更できる。ビットストリーム制限情報のシンタックスは、全てのオペレーション・ポイントをループするループ内に挿入される。

Figure 0005264920

Figure 0005264920
ビットストリーム制限シンタックス要素のセマンティクスは、次の通りである。
bitstream_restriction_flag[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのbitstream_restriction_flagの値を規定する。
motion_vectors_over_pic_boundaries_flag[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmotion_vectors_over_pic_boundaries_flagの値を規定する。motion_vectors_over_pic_boundaries_flag[i]のシンタックス要素がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmotion_vectors_over_pic_boundaries_flagの値は、1であると推断する。
max_bytes_per_pic_denom[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_bytes_per_pic_denomの値を規定する。max_bytes_per_pic_denom [i] のシンタックス要素がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_bytes_per_pic_denomの値は、2であると推断する。
max_bits_per_mb_denom[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_bits_per_mb_denomの値を規定する。max_bits_per_mb_denom[i] がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_bits_per_mb_denomの値は、1であると推断する。
log2_max_mv_length_horizontal[i]、及び、log2_max_mv_length_vertical[i]は、それぞれ、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのlog2_max_mv_length_horizontalの値、及び、log2_max_mv_length_verticalの値を規定する。log2_max_mv_length_horizontal[i]がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのlog2_max_mv_length_horizontal、及び、log2_max_mv_length_verticalの各値は、16であると推断する。
num_reorder_frames[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのnum_reorder_framesの値を規定する。num_reorder_frames[i]の値は、0からmax_dec_frame_bufferingまでの範囲内(両端値含む)にある。num_reorder_frames[i]のシンタックス要素がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのnum_reorder_framesの値は、max_dec_frame_bufferingであると推断する。
max_dec_frame_buffering[i]は、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_dec_frame_bufferingの値を規定する。max_dec_frame_buffering[i]の値は、num_ref_frames[i]からMaxDpbSize(MPEG−4AVC規格の副節A.3.1或いはA.3.2に於いて規定されている)までの範囲内(両端値含む)にある。max_dec_frame_buffering[i]のシンタックス要素がない時、operation_point_idがoperation_point_id[i]であるオペレーション・ポイントのmax_dec_frame_bufferingの値は、MaxDpbSizeであると推断する。
図7には、view_scalability_parameters_extension()のシンタックス要素を用いて、各々のオペレーション・ポイントについてビットストリーム制限パラメータを符号化する方法の一例の全体が、参照番号700によって示されている。
方法700には開始ブロック705が含まれており、該開始ブロック705は、制御権を機能ブロック710に送る。機能ブロック710は、変数M=(オペレーション・ポイント数−1)を設定して、制御権を機能ブロック715に送る。機能ブロック715は、変数Mをビットストリームに書き込み、制御権を機能ブロック720に送る。機能ブロック720は、変数i=0を設定して、制御権を機能ブロック725に送る。機能ブロック725は、operation_point_id[i]のシンタックス要素を書き込み、制御権を機能ブロック730に送る。機能ブロック730は、bitstream_restriction_flag[i]のシンタックス要素を書き込み、制御権を決定ブロック735に送る。決定ブロック735は、bitstream_restriction_flag[i]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック745に送られる。0でない場合、制御権は機能ブロック740に送られる。
機能ブロック740は、オペレーション・ポイントiのビットストリーム制限パラメータを書き込み、制御権を決定ブロック745に送る。決定ブロック745は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック799に送られる。等しくない場合、制御権は機能ブロック750に送られる。
機能ブロック750は、変数i=i+1を設定し、制御権を機能ブロック725に戻す。
図8には、view_scalability_parameters_extension()のシンタックス要素を用いて、各々のオペレーション・ポイントについてビットストリーム制限パラメータを復号化する方法の一例の全体が、参照番号800によって示されている。
方法800には開始ブロック805が含まれており、該開始ブロック805は、制御権を機能ブロック807に送る。機能ブロック807は、ビットストリームから変数Mを読み出し、制御権を機能ブロック810に送る。機能ブロック810は、オペレーション・ポイント数=M+1を設定し、制御権を機能ブロック820に送る。機能ブロック820は、変数i=0を設定し、制御権を機能ブロック825に送る。機能ブロック825は、operation_point_id[i]のシンタックス要素を読み出し、制御権を機能ブロック830に送る。機能ブロック830は、bitstream_restriction_flag[i]のシンタックス要素を読み出し、制御権を決定ブロック835に送る。決定ブロック835は、bitstream_restriction_flag[i]のシンタックス要素が0であるか否かを判定する。0である場合、制御権は決定ブロック845に送られる。0でない場合、制御権は機能ブロック840に送られる。
機能ブロック840は、オペレーション・ポイントiのビットストリーム制限パラメータを読み出し、制御権を決定ブロック845に送る。決定ブロック845は、変数iが変数Mに等しいか否かを判定する。等しい場合、制御権は終了ブロック899に送られる。等しくない場合、制御権は機能ブロック850に送られる。
機能ブロック850は、変数i=i+1を設定して、制御権を機能ブロック825に戻す。
本発明に伴う多数の利点/特徴の一部は上述しているが、その他の本発明に伴う利点/特徴の一部を次に説明する。例えば、該利点/特徴の1つは、個別ビュー、及び、1つのビューに於ける個別時間レベル、及び、個別オペレーション・ポイントのうちの少なくとも1つについてビデオ・ユーザビリティ情報を規定することによって、マルチビュー・ビデオ・コンテンツを符号化する符号器を含む装置である。
上記利点/特徴の別の1つは、上述のような符号器を有する装置であって、各パラメータが、少なくとも1つのハイレベル・シンタックス要素に於いて規定される、装置である。
更に別の1つの利点/特徴は、上記の符号器を有する装置であって、上記少なくとも1つのハイレベル・シンタックス要素には、mvc_vui_parameters_extension()のシンタックス要素、mvc_scalability_infoのサプリメンタル・エンハンスメント情報シンタックス・メッセージ、シーケンス・パラメータ・セットの少なくとも一部、ピクチャ・パラメータ・セット、及び、サプリメンタル・エンハンスメント情報のうち、少なくとも1つが含まれている。
更に別の1つの利点/特徴は、上記の符号器を有する装置であって、上記ビデオ・ユーザビリティ情報の少なくとも一部にはビットストリーム制限パラメータが含まれている。
本原理のこれらの、及び、その他の特徴と利点は、当業者であれば、本明細書の各開示事項に基づいて容易に把握できるであろう。本原理の各開示事項は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、或いは、それらの組み合わせの様々な形態で実施できる。
本原理の各開示事項は、ハードウェアとソフトウェアとの組み合わせとして実施するのが最も望ましい。更に、該ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施できる。該アプリケーション・プログラムは、任意の適切なアーキテクチャから成るマシンにアップロードして、該マシンにより実行できる。該マシンは、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、及び、入力/出力(I/O)インタフェース等のハードウェアを有するコンピュータ・プラットフォームで実施するのが望ましい。該コンピュータ・プラットフォームには、オペレーティング・システムとマイクロインストラクション・コードが含まれていても良い。本明細書に記載された種々の処理と機能は、CPUによって実行され得るマイクロインストラクション・コードの一部、或いは、アプリケーション・プログラムの一部、或いは、それらの組み合わせであっても良い。更に、例えば、増設データ記憶装置、及び、印刷装置等の種々のその他の周辺装置をコンピュータ・プラットフォームに接続しても良い。
更に、添付図面に示された各構成システム・コンポーネント及び方法の一部はソフトウェアの形態で実施されることが望ましいため、システム・コンポーネント相互間、或いは、処理機能ブロック相互間の実際の接続は、本原理がプログラムされる態様に従って、異なることがある。本明細書に記載された各開示事項により、当業者であれば、本原理のそのような、及び、同様な実施形態、或いは、コンフィギュレーション(環境設定、機器構成等)を考案できるであろう。
本明細書では、添付図面を参照して各実施例を説明したが、本原理は、これらの各実施例そのものに限定されるものではなく、当業者であれば、本原理の範囲から、或いは、本原理の意図から逸脱することなく、種々の変更、及び、修正を行なうことが出来るであろう。そのような変更、及び、修正の全ては、本願の特許請求の範囲の各請求項に記載された本原理の範囲内に含まれるものである。

Claims (1)

  1. マルチビュー・ビデオ・コーディング(MVC)に於いて個別オペレーション・ポイントについてビットストリーム制限情報を規定することによってマルチビュー・ビデオ・コンテンツを符号化する符号器を含み、オペレーション・ポイントが1つ又は複数のビューと時間レベルとの組み合わせに相当する、符号化装置。
JP2010527939A 2007-10-05 2008-09-16 マルチビュー・ビデオ(mvc)コーディング・システムにビデオ・ユーザビリティ情報(vui)を組み込むための方法と装置 Active JP5264920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97770907P 2007-10-05 2007-10-05
US60/977,709 2007-10-05
PCT/US2008/010796 WO2009048503A2 (en) 2007-10-05 2008-09-16 Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system

Publications (3)

Publication Number Publication Date
JP2010541471A JP2010541471A (ja) 2010-12-24
JP2010541471A5 JP2010541471A5 (ja) 2012-09-20
JP5264920B2 true JP5264920B2 (ja) 2013-08-14

Family

ID=40404801

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010527939A Active JP5264920B2 (ja) 2007-10-05 2008-09-16 マルチビュー・ビデオ(mvc)コーディング・システムにビデオ・ユーザビリティ情報(vui)を組み込むための方法と装置
JP2010527938A Active JP5264919B2 (ja) 2007-10-05 2008-09-16 マルチビュービデオ(mvc)符号化システム内にビデオユーザビリティ情報(vui)を取り込む方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010527938A Active JP5264919B2 (ja) 2007-10-05 2008-09-16 マルチビュービデオ(mvc)符号化システム内にビデオユーザビリティ情報(vui)を取り込む方法及び装置

Country Status (8)

Country Link
US (2) US20110038424A1 (ja)
EP (2) EP2198619A2 (ja)
JP (2) JP5264920B2 (ja)
KR (3) KR101703019B1 (ja)
CN (4) CN105812826A (ja)
BR (10) BRPI0817508A2 (ja)
TW (6) TWI401966B (ja)
WO (2) WO2009048503A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
KR101682137B1 (ko) 2010-10-25 2016-12-05 삼성전자주식회사 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
NZ619406A (en) 2011-06-30 2016-01-29 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9473752B2 (en) * 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
EP2834970B1 (en) 2012-04-06 2017-07-05 Vidyo, Inc. Level signaling for layered video coding
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US20140003534A1 (en) 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9351005B2 (en) 2012-09-24 2016-05-24 Qualcomm Incorporated Bitstream conformance test in video coding
US9924189B2 (en) * 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
CN116708768A (zh) 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
CN104053008B (zh) * 2013-03-15 2018-10-30 乐金电子(中国)研究开发中心有限公司 基于合成图像预测的视频编解码方法及视频编解码器
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US9467700B2 (en) 2013-04-08 2016-10-11 Qualcomm Incorporated Non-entropy encoded representation format
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
JP6669617B2 (ja) * 2016-09-12 2020-03-18 ルネサスエレクトロニクス株式会社 動画像処理システム
CN106678778B (zh) * 2017-02-08 2018-08-10 安徽中企能源管理有限公司 一种高效旋风环保锅炉
CN108933768B (zh) * 2017-05-27 2021-06-08 成都鼎桥通信技术有限公司 视频帧的发送帧率的获取方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941641B1 (ko) * 2001-08-02 2010-02-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법
CN1830217B (zh) 2003-08-05 2010-06-09 皇家飞利浦电子股份有限公司 多视图图像产生
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
JP2008536420A (ja) * 2005-04-13 2008-09-04 ノキア コーポレイション スケーラビリティ情報の符号化、格納およびシグナリング
US8902989B2 (en) * 2005-04-27 2014-12-02 Broadcom Corporation Decoder system for decoding multi-standard encoded video
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
AU2007243935A1 (en) * 2006-03-29 2007-11-08 Thomson Licensing Multi view video coding method and device
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
WO2008023967A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US8428144B2 (en) * 2006-09-07 2013-04-23 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
KR101100413B1 (ko) * 2007-01-08 2011-12-30 노키아 코포레이션 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법
CN100471278C (zh) * 2007-04-06 2009-03-18 清华大学 一种基于分布式信源编码的多视点视频压缩编解码方法
WO2008130500A2 (en) * 2007-04-18 2008-10-30 Thomson Licensing Coding systems
CN100559877C (zh) * 2007-04-27 2009-11-11 北京大学 一种支持多视点视频合成的网络流媒体播放器及方法
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture

Also Published As

Publication number Publication date
TW201246935A (en) 2012-11-16
TW201244483A (en) 2012-11-01
TWI400957B (zh) 2013-07-01
TW201244495A (en) 2012-11-01
US20110038424A1 (en) 2011-02-17
TWI400958B (zh) 2013-07-01
KR20100061715A (ko) 2010-06-08
WO2009048502A2 (en) 2009-04-16
BR122012021801A2 (pt) 2015-08-04
TW201244496A (en) 2012-11-01
CN105812826A (zh) 2016-07-27
BR122012021797A2 (pt) 2015-08-04
TWI520616B (zh) 2016-02-01
TW200926831A (en) 2009-06-16
CN101889448B (zh) 2016-08-03
WO2009048503A3 (en) 2009-05-28
US20100208796A1 (en) 2010-08-19
BR122012021950A2 (pt) 2015-08-04
BR122012021799A2 (pt) 2015-08-04
TWI401966B (zh) 2013-07-11
CN105979270A (zh) 2016-09-28
CN101889448A (zh) 2010-11-17
TWI517718B (zh) 2016-01-11
WO2009048503A2 (en) 2009-04-16
KR101703019B1 (ko) 2017-02-06
BR122012021948A2 (pt) 2015-08-11
KR20150086553A (ko) 2015-07-28
EP2198620A2 (en) 2010-06-23
BRPI0817420A2 (pt) 2013-06-18
EP2198619A2 (en) 2010-06-23
JP2010541471A (ja) 2010-12-24
TWI530195B (zh) 2016-04-11
BR122012021796A2 (pt) 2015-08-04
JP2010541470A (ja) 2010-12-24
KR101682322B1 (ko) 2016-12-05
CN105979270B (zh) 2019-05-28
KR101558627B1 (ko) 2015-10-07
BR122012021947A2 (pt) 2015-08-04
TW200922332A (en) 2009-05-16
JP5264919B2 (ja) 2013-08-14
BRPI0817508A2 (pt) 2013-06-18
WO2009048502A3 (en) 2009-06-25
BR122012021949A2 (pt) 2015-08-11
CN101971630A (zh) 2011-02-09
KR20100085078A (ko) 2010-07-28

Similar Documents

Publication Publication Date Title
JP5264920B2 (ja) マルチビュー・ビデオ(mvc)コーディング・システムにビデオ・ユーザビリティ情報(vui)を組み込むための方法と装置
JP6681441B2 (ja) マルチビュー・ビデオ符号化においてビューのスケーラビリティを信号伝達する方法および装置
JP6202690B2 (ja) スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報(vui)用の方法及び装置
EP2984843B1 (en) Parameter set designs for video coding extensions
US20090279612A1 (en) Methods and apparatus for multi-view video encoding and decoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120806

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120820

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Ref document number: 5264920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250