JP5876083B2 - ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法 - Google Patents

ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法 Download PDF

Info

Publication number
JP5876083B2
JP5876083B2 JP2013557901A JP2013557901A JP5876083B2 JP 5876083 B2 JP5876083 B2 JP 5876083B2 JP 2013557901 A JP2013557901 A JP 2013557901A JP 2013557901 A JP2013557901 A JP 2013557901A JP 5876083 B2 JP5876083 B2 JP 5876083B2
Authority
JP
Japan
Prior art keywords
picture
random access
pictures
video
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013557901A
Other languages
English (en)
Other versions
JP2014513456A (ja
Inventor
チェン、イン
コバン、ムハンメド・ゼイド
チェン、ペイソン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014513456A publication Critical patent/JP2014513456A/ja
Application granted granted Critical
Publication of JP5876083B2 publication Critical patent/JP5876083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、ビデオコード化に関し、より詳細には、ランダムアクセスのためのビデオコード化技法に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、デジタルビデオ情報をより効率的に送信、受信及び記憶するための、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Part10,Advanced Video Coding（ＡＶＣ）によって定義された規格、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実施する。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含み得る。ブロックベースのビデオコード化の場合、ビデオスライスが、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロックにおける参照サンプルに関する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロックにおける参照サンプルに関する空間的予測、又は他の参照ピクチャ中の参照サンプルに関する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間的予測又は時間的予測は、コード化されるべきブロックのための予測ブロックを使用する。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換され得、次いで量子化され得る残差変換係数を生じる。最初は２次元アレイに構成される量子化された変換係数は、エントロピーコード化のための変換係数の１次元ベクトルを生成するために、特定の順序で走査され得る。
本出願は、その全体がともに参照により本明細書に組み込まれる、２０１１年３月１０日に出願された米国仮出願第６１／４５１，４５３号、及び２０１１年３月２０日に出願された米国仮出願第６１／４５４，５４８号の優先権を主張する。
概して、本開示では、ランダムアクセスのためのビデオデータをコード化するための技法について説明する。特に、本開示は、潜在的に不要なピクチャが、クリーン復号リフレッシュ（ＣＤＲ：clean decoding refresh）ピクチャへのランダムアクセス要求が生じた場合に正常に復号され得る従属ピクチャであるかどうかを示すシンタックス要素をコード化することを提案する。従属ピクチャは、表示順序でクリーン復号リフレッシュ（ＣＤＲ）ピクチャに後続するピクチャを復号するために使用されるピクチャである。
本開示の一例では、ビデオデータを符号化する方法が、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと、表示順序でＣＤＲピクチャに後続するピクチャによって必要とされ得る１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することと、ＣＤＲピクチャがランダムアクセスのために使用される場合に従属ピクチャが復号可能であるかどうかを決定することと、ＣＤＲピクチャがランダムアクセスのために使用される場合に従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達することとを備える。
本開示の別の例では、ビデオデータを復号する方法が、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、１つ以上の潜在的に不要なピクチャのいずれかが、ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信することとを備える。復号する本方法は、ＣＤＲピクチャへのランダムアクセスのための要求を受信することと、ランダムアクセスのための要求に応答してＣＤＲピクチャを復号することと、受信したシンタックス要素に対応する従属ピクチャを復号することと、受信したシンタックス要素によって従属ピクチャであると示されない１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップすることとをさらに備え得る。
上記で説明した符号化及び復号方法はまた、（例えば、ビデオエンコーダ又はビデオデコーダによって）装置として実施されるか、又はコンピュータ可読媒体に記憶された命令を通して実施され得る。
１つ以上の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、その説明及び図面、並びに特許請求の範囲から明らかになろう。
クリーン復号リフレッシュ（ＣＤＲ）ピクチャとイントラ予測された従属ピクチャとをもつピクチャグループの例示的な復号順序を示す概念図。 クリーン復号リフレッシュピクチャ（ＣＤＲ）とインター予測された従属ピクチャとをもつピクチャグループの例示的な復号順序を示す概念図。 本開示で説明する技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 本開示で説明する技法を実施し得る例示的なビデオエンコーダを示すブロック図。 本開示で説明する技法を実施し得る例示的なビデオデコーダを示すブロック図。 本開示の技法よるビデオ符号化方法の例示的なフローチャート。 本開示の技法によるビデオ復号方法の例示的なフローチャート。 例示的なＩＳＯベースメディアファイルフォーマットの概念図。
ビデオコード化におけるランダムアクセスは、ビデオデコーダが、前のビデオフレームを殆んど又は全く参照せずに特定の時間インスタンスにおいてビデオを復号することを可能にする。事実上、ビデオコード化は、ランダムアクセスポイントとして設計されたピクチャにおいて「再開」される。クリーン復号リフレッシュ（ＣＤＲ）ランダムアクセスポイントピクチャの一例を図１に示す。図１中のピクチャは表示順序で示されている。現在のピクチャグループ（ＧＯＰ）１は、ランダムアクセスポイントピクチャを含む、１４１から１５６までのピクチャオーダーカウント（ＰＯＣ：picture order count）をもつピクチャを含む。この例では、ランダムアクセスポイントピクチャはクリーン復号リフレッシュ（ＣＤＲ）ピクチャ１４８である。ＣＤＲピクチャは、他のピクチャと無関係に復号され得るピクチャである。例えば、ＣＤＲピクチャは、イントラ予測されたスライスのみを含んでいるピクチャであり得る。ＣＤＲピクチャは、別のタイプの「クリーン」ランダムアクセスピクチャである瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャとは異なる。ＩＤＲピクチャがランダムアクセスのために使用されるとき、復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）は直ちにリセットされる。ＣＤＲピクチャがランダムアクセスのために使用されるとき、ＤＰＢは直ちにリセットされない。これは、ＩＤＲピクチャランダムアクセスに対するコード化効率を改善する。
図１では、小文字「ｂ」（即ち、ピクチャ１３９、１４１、１４３、１４５、及び１４７）で標示されたピクチャは、矢印によって示されるように、２つの他のピクチャから双方向にインター予測されるピクチャである。矢印の終点のピクチャは、インター予測コード化プロセスにおける予測子（predictor）として矢印の始点のピクチャを使用する。小文字「ｂ」をもつピクチャは、他のピクチャを予測するために使用されない。大文字「Ｂ」（即ち、ピクチャ１４０、１４２、１４４、及び１５６）で標示されたピクチャも、２つの他のピクチャから双方向にインター予測されるピクチャである。「ｂ」ピクチャとは対照的に、大文字「Ｂ」で標示されたピクチャは、矢印によって示されるように、他のピクチャのための予測子として使用される。ピクチャＩ146は、イントラ予測されたピクチャである。即ち、ピクチャＩ146は、他のピクチャを参照して符号化されるのではなく、内部空間的予測を使用してそのピクチャをコード化する。但し、ピクチャＩ146は、他のピクチャ（例えば、図１に示すピクチャｂ147及びｂ145）を予測するために使用され得る。
前のＧＯＰ２からのピクチャがインター予測のために利用可能でないので、現在のＧＯＰ１（例えば、ＰＯＣ１４１〜１４７をもつピクチャ）中の幾つかのピクチャは、ランダムアクセスの後に復号がＣＤＲ148において開始される場合に正常に復号され得ない。即ち、復号がＣＤＲ148から開始される場合、前のＧＯＰからのピクチャは復号されていることも復号されていないこともある。従って、前のＧＯＰからのピクチャはインター予測のために利用可能でないことがある。ピクチャ１４１〜１４７は、出力順序でＣＤＲピクチャに後続するピクチャ（ＰＯＣ＞１４８をもつピクチャ）によってインター予測のために必要とされることも必要とされないこともある。表示順序でＣＤＲに先行するピクチャは、しばしば、「潜在的に不要なピクチャ」３（図１中のピクチャ１４１〜１４７）と呼ばれる。
図１の例では、ＣＤＲ148がランダムアクセスのために使用される場合でも、正常に復号され得る、１つの潜在的に不要なピクチャＩ146がある。Ｉ146は、復号されるべき他のピクチャに依拠しないイントラ予測されたピクチャであるので、依然として復号可能である。幾つかの状況では、ピクチャ（例えば、出力順序でＣＤＲ148に後続するＢ156）が、インター予測のために潜在的に不要なピクチャ（この場合、Ｉ146）を使用し得る。復号順序及び表示順序でＣＤＲの後のピクチャのためのインター予測のために使用される潜在的に不要なピクチャは、従属ピクチャ４と呼ばれる。図１の例では、Ｂ156は、復号順序と表示順序の両方でＣＤＲピクチャの後の第１のピクチャである。Ｉ146は、復号順序と出力順序の両方でＣＤＲ148の後のピクチャ（例えば、ピクチャＢ156）を復号するために必要とされるので、Ｉ146の復号が保証される場合、ＣＤＲ148は、依然としてランダムアクセスポイントとして使用され得る。従属ピクチャ４がイントラ予測されたピクチャである場合、デコーダは、そのようなピクチャが復号可能であると容易に決定し得る。
図２は、クリーン復号リフレッシュピクチャとインター予測された従属ピクチャとをもつピクチャグループの例示的な復号順序を示す概念図である。図２の例では、従属ピクチャ４はインター予測されたピクチャ（Ｐ246又はＢ246）である。高効率ビデオコード化（ＨＥＶＣ）規格におけるＣＤＲの現在の定義に基づいて、そのような状況は許されない。これは、従属Ｐ又はＢピクチャの復号が保証されないからである。ビデオ復号がランダムアクセスの後にＣＤＲピクチャにおいて開始される場合、従属ピクチャを含む潜在的に不要なピクチャが、前のＧＯＰ中のピクチャを含む予測チェーンからインター予測されるか、又は前のＧＯＰ中のピクチャに依拠する現在のＧＯＰ中のピクチャからインター予測され得るので、それらの潜在的に不要なピクチャが復号可能であるかどうかは未決定である。この場合も、ＣＤＲピクチャへのランダムアクセスの後に、前のＧＯＰ中のピクチャは利用不可能であり得る。
現在のビデオコーデック（エンコーダ／デコーダ）設計は従属ピクチャの復号をサポートしない。従って、現在のビデオコーデック設計は、従属ピクチャからのインター予測をもサポートせず、他の潜在的に不要なピクチャをも復号しない。ランダムアクセスの後に潜在的に不要なピクチャが正常に復号され得るか否かを決定することが極めて困難であるので、潜在的に不要なピクチャの復号は可能にされない。潜在的に不要なピクチャがＩピクチャである場合、Ｉピクチャが他のピクチャを使用せずに復号され得るので復号は可能である。但し、潜在的に不要なピクチャがＢ又はＰピクチャ（例えば、図２中のＰ246又はＢ246）である場合、ビデオデコーダは、最初に、潜在的に不要なピクチャが復号可能か否かを識別するために複雑な予測チェーンを決定しなければならない。例えば、ビデオデコーダは、最初に、それらの潜在的に不要なピクチャのいずれかが正常に復号され得るかどうかを決定するために、図２中のピクチャ２３９〜２４８の予測チェーンを決定しなければならない。また、現在のビデオコード化設計は、デコーダが、潜在的に不要なピクチャが復号順序でＣＤＲに後続するピクチャのためのインター予測において使用されるかどうかを決定すること（即ち、潜在的に不要なピクチャが従属ピクチャであるかどうかを決定すること）を可能にするための機構を与えない。
上記で説明した欠点に鑑みて、本開示は、潜在的に不要なピクチャが復号可能であり、復号順序でＣＤＲに後続するピクチャのためのインター予測のために使用され得るという指示としてピクチャレベルシンタックス及び／又はスライスヘッダシンタックス中に追加されるべきシンタックス要素（例えば、フラグ）の使用を提案する（即ち、フラグは、潜在的に不要なピクチャが復号可能である従属ピクチャであることを示す）。エンコーダが、潜在的に不要なピクチャのための予測チェーンがランダムアクセスの後に正常な復号を可能にするか否かを決定し、潜在的に不要なピクチャが復号順序でＣＤＲの後のピクチャのためのインター予測のために使用され得るか否かを決定し得るので、フラグは、符号化ビデオビットストリーム中でエンコーダによって信号伝達され得る。
エンコーダは、ピクチャが符号化される際に予測チェーンを追跡し、ピクチャがＣＤＲと同じＧＯＰ中にあるときに、それらのピクチャを潜在的に不要なピクチャであるとして識別し得る。次いで、特定の潜在的に不要なピクチャに、それらがＣＤＲへのランダムアクセスの後に復号可能であり、復号順序でＣＤＲの後のピクチャのためのインター予測のために使用され得ることを示すためにフラグ（例えば、従属ピクチャフラグ）が割り当てられ得る（即ち、フラグは、潜在的に不要なピクチャが従属ピクチャであることを示す）。一例では、追加の指示フラグ（例えば、従属指示フラグ）が、ＣＤＲピクチャを含む各ＧＯＰについて信号伝達され得る。１の値をもつ従属指示フラグは、例えば、ＧＯＰ中の潜在的に不要なピクチャのうちの少なくとも１つが従属ピクチャであることを示す。そうである場合、従属ピクチャフラグが各潜在的に不要なピクチャについて信号伝達される。従属ピクチャフラグは、特定の潜在的に不要なピクチャが従属ピクチャであるか否かを示す。従属指示フラグが０の値を有する場合、これは、潜在的に不要なピクチャがＧＯＰ中の従属ピクチャでないことを示す。従って、従属ピクチャフラグは、そのＧＯＰについて信号伝達される必要はない。別の例では、従属指示フラグは使用されない。代わりに、従属ピクチャフラグは、ＣＤＲピクチャを有するＧＯＰ中の全ての潜在的に不要なピクチャについて信号伝達される。
例として、従属指示フラグ及び従属ピクチャフラグは、ネットワーク抽象化レイヤ（ＮＡＬ: network abstraction layer）ユニットヘッダ、ピクチャレベル補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージ、スライスヘッダ、又は潜在的に不要なピクチャが従属ピクチャであることを示すための別のピクチャレベルシンタックス要素又はメッセージ中で信号伝達され得る（即ち、それは、復号可能であるとともに、ランダムアクセスの後にインター予測のために使用され得る）。ＮＡＬユニットは、スライスの一部分中に含まれている複数のピクチャのためのビデオデータを含んでいるビデオデータの個別パケットである。ピクチャレベルＳＥＩメッセージは、ピクチャの復号に適用し得る補足情報である。
現在のＧＯＰ中のＣＤＲが丁度ランダムアクセスのために選択された場合、デコーダは、現在のＧＯＰ中の潜在的に不要なピクチャが正常に復号可能であり得、復号順序及び出力順序でＣＤＲに後続するピクチャによってインター予測のために使用され得るかどうかを決定する（即ち、潜在的に不要なピクチャが従属ピクチャであると決定する）ために、このフラグを使用し得る。
本開示の別の例では、従属指示フラグ及び／又は従属ピクチャフラグは、ＨＴＴＰに基づくビデオストリーミングなどの適用シナリオにおける送信のためにファイルがカプセル化された場合に、従属ピクチャではないピクチャが復号される必要があり、及び／又はそれらが送信される必要がないように、ファイルフォーマット、例えば、ＩＳＯファイルフォーマットに追加され得る。
ＩＳＯベースメディアファイルフォーマットは、メディアの交換、管理、編集、及びプレゼンテーションを可能にする、フレキシブルで拡張可能なフォーマットにおけるプレゼンテーションのための時限メディア情報を含んでいるように設計される。ＩＳＯベースメディアファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２：２００４）は、時間ベースメディアファイルのための一般的な構造を定義するＭＰＥＧ−４ Ｐａｒｔ１２において規定されている。それは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣビデオ圧縮のサポートを定義した最新ビデオコード化（ＡＶＣ）ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）、３ＧＰＰファイルフォーマット、及びどちらもＡＶＣファイルフォーマットの拡張であるＳＶＣファイルフォーマット並びにＭＶＣファイルフォーマットなど、ファミリー中の他のファイルフォーマットに対する基準として使用される。ＩＳＯメディアファイルフォーマットはまた、概して、ＨＥＶＣなどの他のビデオコード化規格に拡張され得る。
ＩＳＯベースメディアファイルフォーマットは、オーディオビジュアルプレゼンテーションなどのメディアデータの時限シーケンスのためのタイミング、構造、及びメディア情報を含んでいることがある。ファイル構造はオブジェクト指向である。ファイルは、非常に簡単に基本オブジェクトに分解され得、オブジェクトの構造はそれらのタイプから暗示される。
プレゼンテーション（動きシーケンス）が、幾つかのファイル中に含まれていることがある。タイミング及びフレーミング（位置及びサイズ）情報はＩＳＯベースメディアファイル中にあり、補助ファイルは本質的に任意のフォーマットを使用し得る。このプレゼンテーションは、プレゼンテーションを含んでいるシステムに対して「ローカル」であり得るか、あるいはネットワーク又は他のストリーム配信機構を介して行われ得る。
ＩＳＯベースメディアファイルフォーマットに準拠するファイルは、「ボックス」と呼ばれる一連のオブジェクトとして形成される。一例では、全てのデータはボックス中に含まれており、ファイル内に他のデータはない。これは、特定のファイルフォーマットによって必要とされる初期特徴（initial signature）を含む。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロック（object-oriented building block）である。
ＩＳＯベースメディアファイルフォーマットに従う例示的なファイル構造を図８に示す。一般に、プレゼンテーションは１つのファイル３００中に含まれ、メディアプレゼンテーションは独立型（self-contained）である。ムービーコンテナ３０２（例えば、ムービーボックス）はメディアのメタデータを含んでおり、ビデオ及びオーディオフレームは、メディアデータコンテナ３５０中及び／又は他のファイル中に含まれている。
ムービーコンテナ３０２は、ビデオトラック３０４のためのメタデータを含んでいることがある。ムービーコンテナ３０２はまた、オーディオトラック（図示せず）などの他のトラックを含んでいることがある。ビデオトラック３０４中のメタデータはメディア情報コンテナ３０８に記憶され得る。メディア情報はサンプル記述３１０を含み得る。サンプル記述３１０は、厳密なメディアタイプ（例えば、ストリームを復号するために必要とされるデコーダのタイプ）の「名前」と、必要とされるそのデコーダのパラメータ表示を含んでいることがある。名前はまた、４文字コード、例えば、「ｍｏｏｖ」、又は「ｔｒａｋ」の形態をとり得る。ＭＰＥＧ−４メディアについてだけでなく、このファイルフォーマットファミリーを使用する他の編成によって使用されるメディアタイプについても、定義済みのサンプルエントリフォーマットがある。
メディアデータコンテナ３５０は、インターリーブされた時間順序ビデオサンプルとオーディオフレームとを含み得る。特に、メディアデータコンテナ３５０は、複数のビデオデータチャンク（塊）（例えば、ビデオデータチャンク３５２及び３６２）を含み得る。各ビデオデータチャンクは、複数のビデオサンプル（例えば、ビデオサンプル３５３ａ〜ｃ及び３６３ａ〜ｃ）を含み得る。
ファイルは、論理構造と時間構造と物理構造とを有する。これらの構造は結合される必要はない。ファイルの論理構造は、時間並列トラックのセットを含んでいるムービーである。ファイルの時間構造は、トラックが時間的なサンプルのシーケンスを含んでおり、それらのシーケンスは、随意のエディットリストによってムービー全体のタイムラインにマッピングされるものである。
ファイルの物理構造は、メディアデータサンプル自体から、論理、時間、及び構造的分解のために必要とされるデータを分離する。この構造的情報は、ムービーボックス中に集められ、場合によってはムービーフラグメントボックスによって時間的に拡張される。ムービーボックスは、サンプルの論理関係及びタイミング関係をドキュメント化し、また、サンプルが配置される場所へのポインタを含んでいる。それらのポインタは、ＵＲＬによって参照される同じファイル又は別のファイルへのものであり得る。
メタデータのサポートは２つの形態をとる。第１に、時限メタデータが、必要に応じて、それが表しているメディアデータ（例えば、メディアコンテナ３５０中のビデオデータチャンク）と同期される、適切なトラックに記憶され得る。第２に、ムービー又は個々のトラックにアタッチされた非時限メタデータの全般的サポートがある。構造的サポートは、全般的であり、メディアデータの場合のように、ファイル中の他の場所又は別のファイル中でのメタデータリソースの記憶を可能にする。さらに、これらのリソースは名前付きであり得、保護され得る。
ＩＳＯベースメディアファイルフォーマットでは、サンプルグルーピングは、１つのサンプルグループのメンバーであるべきトラック中のサンプルの各々の割当てである。サンプルグループ中のサンプルは連続する必要はない。例えば、ＡＶＣファイルフォーマットにおけるＨ．２６４／ＡＶＣを提示するとき、１つの時間レベルのビデオサンプルは、１つのサンプルグループにサンプリングされ得る。サンプルグループは、SampleToGroupホ゛ックス(sbdp)とSampleGroupDescriptionボックスとの２つのデータ構造によって表される。SampleToGroupボックスは、サンプルグループへのサンプルの割当てを表す。このグループのプロパティについて説明するために、各サンプルグループエントリのための第２のボックスの一例がある。
ＩＳＯベースメディアファイルフォーマットでは、ランダムアクセスポイント（ＲＡＰ）３１２サンプルグルーピングと呼ばれる第２のグループが定義される。ランダムアクセスポイント（例えば、ＣＤＲピクチャ）であるように同期サンプルが指定され、その後、復号順序での全てのサンプルが正しく復号され得る。しかしながら、「オープン」ランダムアクセスポイントを符号化することが可能であり得、その後、出力順序での全てのサンプルが正しく復号され得るが、復号順序でランダムアクセスポイントに後続し、出力順序でランダムアクセスポイントに先行する幾つかのサンプルは、正しく復号可能である必要はない。例えば、オープンピクチャグループを開始するイントラピクチャに、出力順序でイントラピクチャに先行する（双方向）予測ピクチャが復号順序で後続し得る。復号がイントラピクチャから開始し、従って、そのような（双方向）予測ピクチャが必要でない場合、それらは正しく復号され得ない可能性がある。
そのような「オープン」ランダムアクセスサンプルは、（図８中のＲＡＰ３１２からビデオチャンク３５２及び３６２中のビデオサンプルへの矢印によって示される）このグループのメンバーであることによってマークされ得る。このグループによってマークされたサンプルは、ランダムアクセスポイントであり、また、同期ポイントであり得る（即ち、同期サンプルテーブルによってマークされたサンプルが除外される必要はない）。
ＩＳＯベースファイルフォーマットのためのランダムアクセスシンタックスの一例を以下に示す。
１に等しいシンタックス要素num_leading_samples_knownは、同期ポイント（例えば、ＣＤＲピクチャ）の前の先行サンプルの数がこのグループ中の各サンプルについて知られていることを示し、その数はシンタックス要素num_leading_samplesによって指定される。先行サンプルは、「オープン」ランダムアクセスポイント（ＲＡＰ）に関連するサンプルである。それは、表示順序でＲＡＰ（例えば、ＣＤＲピクチャ）に先行し、復号順序でＲＡＰ又は別の先行サンプルに後続する。復号がＲＡＰから開始するとき、そのサンプルは正しく復号され得ない。シンタックス要素num_leading_samplesは、このグループ中の各サンプルのための先行サンプルの数を指定する。num_leading_samples_knownが０に等しいとき、このフィールドは無視されるべきである。従属フラグ（dependent_flag）の信号伝達をさらに可能にするために、以下のシンタックスを提案する。
上記の例では、先行ピクチャのdependent_indication_flag３１４値は、復号順序で信号伝達される。dependent_indication_flag３１４は、先行サンプル（例えば、潜在的に不要なピクチャ）のいずれかが、ＲＡＰ（例えば、ＣＤＲピクチャ）へのランダムアクセスに後続する、正しく復号可能である従属ピクチャであり、出力順序でＲＡＰに後続するピクチャを復号するために使用されるかどうかを示す。dependent_indication_flag３１４が真である（例えば、１の値を有する）場合、dependent_flag３１６は、特定のピクチャが従属であるか否かを示すために潜在的に不要なピクチャの各々について信号伝達される。dependent_indication_flag３１４が偽である（例えば、０の値を有する）場合、dependent_flag３１６は信号伝達される必要はない。
本開示の別の例では、dependent_indication_flag３１４は信号伝達されず、代わりに、dependent_flag３１６が、ＲＡＰ（例えば、ＣＤＲピクチャ）を有するグループ中の全ての潜在的に不要なピクチャについて信号伝達される。例えば、異なるボックスが各サンプルに関連し得、そのボックスは、そのようなdependent_flag３１６を含んでいることがある。dependent_flag３１６が真であり、従って、ランダムアクセスの後に現在のピクチャが従属ピクチャである場合、フラグは、最も近接したＣＤＲがランダムアクセスのために使用される場合、従属ピクチャが正常に復号可能であり、出力順序でＣＤＲに後続するピクチャによってインター予測のために使用され得ることを示す。dependent_flag３１６が偽である場合、そのピクチャは、出力順序でＣＤＲに後続するピクチャのためのインター予測のために必要でなく、さらに、ＣＤＲを使用してランダムアクセスが生じるときに必要とされない。
それに応じてＣＤＲ定義が修正される場合、全ての他の潜在的に不要なピクチャは、従属ピクチャ（例えば、図１及び図２中のピクチャＩ146／Ｐ246／Ｂ246）を除いて、ＣＤＲがランダムアクセスのために使用されるときに復号される必要はない。復号可能な従属ピクチャでないとしてフラグを付けられる潜在的に不要なピクチャは、復号を簡略化することができる、ランダムアクセスのためのＣＤＲピクチャを使用するときに復号される必要はない。
図３は、本開示で説明するランダムアクセスコード化技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。図３に示すように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを生成する発信源１２を含む。発信源１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォン、所謂「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。
宛先機器１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、発信源１２から宛先機器１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、リンク１６は、発信源１２が、符号化ビデオデータをリアルタイムで宛先機器１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線路など、任意のワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源１２から宛先機器１４への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
別の例では、符号化ビデオはまた、記憶媒体３４又はファイルサーバ３６に記憶され得、必要に応じて宛先機器１４によってアクセスされ得る。記憶媒体は、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化ビデオデータを記憶するための他の好適なデジタル記憶媒体など、様々なローカルにアクセスされたデータ記憶媒体のいずれかを含み得る。記憶媒体３４又はファイルサーバ３６は、発信源１２によって生成される符号化ビデオを保持し得、宛先機器１４が必要に応じてストリーミング又はダウンロードを介してアクセスし得る、任意の他の介在する記憶機器であり得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先機器１４に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）機器、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はその両方の組合せを含み得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はその両方の組合せであり得る。
本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、及び／又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
図３の例では、発信源１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）及び／又は送信機を含み得る。発信源１２において、ビデオ発信源１８は、例えばビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、及び／又は発信源ビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどの発信源、又はそのような発信源の組合せを含み得る。一例として、ビデオ発信源１８がビデオカメラである場合、発信源１２及び宛先機器１４は、所謂カメラフォン又はビデオフォンを形成し得る。但し、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び／又は有線適用例に適用され得る。
撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム２２によって変調され、送信機２４を介して宛先機器１４に送信され得る。モデム２２は、信号変調のために設計された様々なミキサ、フィルタ、増幅器又は他の構成要素を含み得る。送信機２４は、増幅器、フィルタ、及び１つ以上のアンテナを含む、データを送信するために設計された回路を含み得る。
図３の例では、宛先機器１４は、受信機２６と、モデム２８と、ビデオデコーダ３０と、表示装置３２とを含む。宛先機器１４の受信機２６はチャネル１６を介して情報を受信し、モデム２８はその情報を復調して、ビデオデコーダ３０のための復調されたビットストリームを生成する。チャネル１６を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ３０が使用する、ビデオエンコーダ２０によって生成された様々なシンタックス情報を含み得る。そのようなシンタックスはまた、記憶媒体３４又はファイルサーバ３６に記憶された符号化ビデオデータとともに含まれ得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、ビデオデータを符号化又は復号することが可能であるそれぞれのエンコーダデコーダ（コーデック）の一部を形成し得る。
表示装置３２は、宛先機器１４と一体化されるか又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。概して、表示装置３２は、復号されたビデオデータをユーザに対して表示し、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。ＨＥＶＣ規格の現在のドラフトバージョンは、JCTVC-H1003、2012年2月17日付けの、B.Bross、W.-J.Han、G.J.Sullivan、J.-R.Ohm、T.Wiegandによって編集された「High Efficiency Video Coding (HEVC) text specification draft 6」、バージョン２１中で提示されている。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にMPEG-4,Part 10,Advanced Video Coding（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格又は業界規格、あるいはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３がある。
図３には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ及び／又はデコーダ回路のいずれかを備える１つ以上のプロセッサ、若しくはそれらの任意の組合せとして実施され得る。本技法がソフトウェアで部分的に実施されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つ以上のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ以上のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
ビデオエンコーダ２０は本開示の技法のいずれか又は全てを実施し得る。同様に、ビデオデコーダ３０はこれらの技法のいずれか又は全てを実施し得る。一例として、ビデオエンコーダ２０は、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することと、ＣＤＲピクチャがランダムアクセスのために使用される場合に従属ピクチャが復号可能であるかどうかを決定することと、ＣＤＲピクチャがランダムアクセスのために使用される場合に従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達することとを行うように構成され得る。
別の例として、ビデオデコーダ３０は、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、１つ以上の潜在的に不要なピクチャのいずれかが、ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信することとを行うように構成され得る。ビデオデコーダ３０は、ＣＤＲピクチャへのランダムアクセスのための要求を受信することと、ランダムアクセスのための要求に応答してＣＤＲピクチャを復号することと、受信したシンタックス要素に対応する従属ピクチャを復号することとを行うようにさらに構成され得る。
本開示で説明するビデオコーダは、ビデオエンコーダ又はビデオデコーダを指し得る。同様に、ビデオエンコーダ及びビデオデコーダは、それぞれビデオ符号化ユニット及びビデオ復号ユニットと呼ばれることがある。同様に、ビデオコード化はビデオ符号化又はビデオ復号を指し得る。
Joint Collaborative Team on Video Coding（ＪＣＴ−ＶＣ）は、現在、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣの規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。現在のＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対するビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。
概して、ＨＭの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位（ＬＣＵ）に分割され得ることを記述する。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コード化順序での幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、１つ以上のスライスに区分され得る。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割され得る。例えば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コード化ノード、即ち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コード化ノードの最小サイズをも定義し得る。
ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、正方形である。ＣＵのサイズは、８×８画素から最大６４×６４以上の画素を有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つ以上のＰＵと、１つ以上のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ以上のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、若しくはインター予測モード符号化されるかによって異なり得る。ＰＵは非正方形に区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従ってＣＵを１つ以上のＴＵに区分することも記述し得る。ＴＵは、正方形又は非正方形であり得る。
一般に、ＰＵは、予測プロセスに関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述し得る。
一般に、ＴＵは、変換プロセスと量子化プロセスとに使用される。１つ以上のＰＵを有するＣＵは、１つ以上の変換単位（ＴＵ）をも含み得る。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算し得る。残差値は、ビデオデータの現在のブロックとビデオデータの予測ブロックとの間の画素差分値を備える。残差値は、エントロピーコード化のためのシリアル化変換係数（serialized transform coefficient）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得る。本開示は、一般に、ＣＵのコード化ノードを指すために「ビデオブロック」という用語を使用する。特定の場合において、本開示は、コード化ノード並びにＰＵ及びＴＵを含む、ツリーブロック、即ち、ＬＣＵ又はＣＵを指す「ビデオブロック」という用語も使用し得る。
ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。グループ・オブ・ピクチャ（ＧＯＰ）は、概して、一連の１つ以上のビデオフレームを備える。ＧＯＰは、ＧＯＰ内に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、１つ以上のピクチャのヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向が２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば「２Ｎ×ｎＵ」は、上部に２Ｎ×０．５Ｎ ＰＵと下部に２Ｎ×１．５Ｎ ＰＵとで水平方向に区分される２Ｎ×２Ｎ ＣＵを指す。
本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、Ｎは、非負整数値を表す。ブロック中の画素は行と列に構成され得る。さらに、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックは、Ｎ×Ｍ画素を備え得、Ｍは必ずしもＮに等しいとは限らない。
ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後に、ビデオエンコーダ２０は残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において画素データを備え得る。ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後の、変換領域中の係数を備え得る。残差データは、非符号化ピクチャ（unencoded picture）の画素と予測ビデオブロックとの間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵのための変換係数を生成し得る。
変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は変換係数の量子化を実行し得る。量子化は、概して、更なる圧縮を行う、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、ｎはｍよりも大きい。
幾つかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率区間区分エントロピーコード化（ＰＩＰＥ：probability interval partitioning entropy coding）又は別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用する、符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０か否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構築され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられるコンテキストに基づき得る。
図４は、本開示で説明する技法を実施し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指し得る。
図４の例では、ビデオエンコーダ２０は、予測モジュール４１と、参照ピクチャメモリ６４と、加算器５０と、変換モジュール５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測モジュール４１は、モード選択ユニット４０と、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測モジュール４６とを含む。その中に含まれているモード選択ユニット４０と、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測モジュール４６とを含む、予測モジュール４１は、ビデオエンコーダ回路全体の一部分と見なされ得る。ビデオエンコーダ２０について説明したモジュール又はユニットは、１つ以上のプログラマブルプロセッサとして、ハード論理、又はそれらの任意の組合せとして構造化され得る。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換モジュール６０と、加算器６２とを含む。再構成されたビデオからブロック歪み(blockiness artifacts)を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図４に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理するであろう。
図４に示すように、ビデオエンコーダ２０は、符号化されるべきビデオスライス内の現在のビデオブロックを受信する。スライスは複数のビデオブロックに分割され得る。モード選択ユニット４０は、誤差結果に基づいて現在のビデオブロックのためのコード化モード、イントラ又はインターのうちの１つを選択し得、予測モジュール４１は、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器６２に与え得る。
予測モジュール４１（又はビデオエンコーダ２０の別の構造ユニット）はまた、現在のＧＯＰが従属ピクチャを含んでいるかどうかを決定するように構成され得る。上記で説明したように、従属ピクチャは、コード化順序でＣＤＲピクチャに後続するピクチャであるが、コード化順序と表示順序の両方でＣＤＲに後続する別のピクチャのための予測ピクチャとしても使用される。予測モジュール４１は、ＣＤＲを含んでいるＧＯＰのための予測チェーンを追跡し得る。ピクチャが従属ピクチャであると決定された場合、予測モジュール４１は、さらに、ＣＤＲへのランダムアクセスが生じる場合に従属ピクチャが復号可能であるかどうかを決定し得る。従属ピクチャは、従属ピクチャのための予測チェーンが前のＧＯＰからのピクチャ（例えば、ＣＤＲからインター予測される、インター予測されたＢ又はＰピクチャあるいはＣＤＲへのランダムアクセスの場合の他の復号可能なピクチャ）に依存しない場合に、あるいは従属ピクチャがイントラ予測されたピクチャ（例えば、図１のピクチャＩ146）である場合に復号可能であると決定される。
予測モジュール４１は、特定の潜在的に不要なピクチャが、ＣＤＲピクチャへのランダムアクセスの場合に復号可能である従属ピクチャであるか否かを示すために、符号化ビデオビットストリーム中で従属ピクチャシンタックス要素６３（例えば、従属フラグ）を信号伝達し得る。従属ピクチャシンタックス要素６３は、符号化ビデオビットストリームに含めるためにエントロピーコード化ユニット５６によってエントロピーコード化され得る。上記で説明したように、従属ピクチャシンタックス要素は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダ、ピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージ、スライスヘッダ、又は別のピクチャレベルシンタックス要素又はメッセージ中で信号伝達され得る。従属ピクチャシンタックス要素６３はまた、上記で説明したようにファイルフォーマットに記憶され得る。
予測モジュール４１は、従属ピクチャシンタックス要素６３を生成し得るビデオエンコーダ２０の構造構成要素の一例にすぎないことを理解されたい。ビデオエンコーダ２０の他の構造ユニット又は機能ユニットは、単独又は組合せのいずれかで、上記で説明した技法を使用して従属ピクチャシンタックス要素を生成するように構成され得る。
予測モジュール４１内のイントラ予測モジュール４６は、空間圧縮を行うために、コード化されるべき現在のブロックと同じフレーム又はスライス中の１つ以上の隣接ブロックに対する現在のビデオブロックのイントラ予測コード化を実行し得る。予測モジュール４１内の動き推定ユニット４２及び動き補償ユニット４４は、時間圧縮を行うために、１つ以上の参照ピクチャ中の１つ以上の予測ブロックに対する現在のビデオブロックのインター予測コード化を実行する。
動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライス、Ｂスライス、又はＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。
予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を計算し得る。従って、動き推定ユニット４２は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵの動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択され得、その各々は、参照ピクチャメモリ６４に記憶された１つ以上の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを伴い得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つの中で動きベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって残差ビデオブロックを形成する。画素差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つ以上の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用する、ビデオブロック及びビデオスライスに関連するシンタックス要素を生成し得る。
動き補償ユニット４４が現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つ以上のＴＵ中に含まれ、変換モジュール５２に適用され得る。変換モジュール５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換モジュール５２は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換し得る。
変換モジュール５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
量子化の後に、エントロピー符号化ユニット５６は量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、又は別のエントロピー符号化技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するか又は取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コード化されている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
逆量子化ユニット５８及び逆変換モジュール６０は、それぞれ逆量子化及び逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、画素領域において残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ以上の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。
図５は、本開示で説明する技法を実施し得る例示的なビデオデコーダ３０を示すブロック図である。図５の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測モジュール８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、参照ピクチャメモリ９２とを含む。予測モジュール８１は、動き補償ユニット８２と、イントラ予測モジュール８４とを含む。予測モジュール８１は、ビデオデコーダ回路全体の一部分と見なされ得る。ビデオデコーダ３０について説明したモジュール又はユニットは、１つ以上のプログラマブルプロセッサとして、ハード論理、又はそれらの任意の組合せとして構造化され得る。ビデオデコーダ３０は、幾つかの例では、図４のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
復号プロセス中に、ビデオデコーダ３０は、符号化されたビデオスライスのビデオブロックと、ビデオエンコーダ（例えば、ビデオエンコーダ２０）によって生成された、従属ピクチャシンタックス要素６３を含む、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数、動きベクトル、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、予測モジュール８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオピクチャレベル、ビデオスライスレベル及び／又はビデオブロックレベルにおいてシンタックス要素を受信し得る。上記で説明したように、従属ピクチャシンタックス要素は、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダ、ピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージ、スライスヘッダ、あるいは別のピクチャレベルシンタックス要素又はメッセージ中で信号伝達され得る。従属ピクチャシンタックス要素６３はまた、上記で説明したようにファイルフォーマットに記憶され得る。
符号化ビデオビットストリーム中でビデオデコーダ３０によって受信された幾つかのピクチャグループは、ＣＤＲピクチャを含み得る。また、ＣＤＲピクチャをもつＧＯＰ中のピクチャは、潜在的に不要なピクチャのいずれかがＧＯＰ中の従属ピクチャであり、そのＧＯＰ中のＣＤＲへのランダムアクセスのための要求の場合に復号可能であるかどうかを示す、従属ピクチャシンタックス要素６３を含み得る。ランダムアクセス要求８３が、例えば、ビデオ再生を行うコンピュータ機器のユーザインターフェースを介してユーザから受信された場合、ビデオデコーダ３０は、ＧＯＰに関連するＣＤＲにおいて復号を開始し得、受信した従属ピクチャシンタックス要素６３に従って従属ピクチャを復号し得る。即ち、関連する潜在的に不要なピクチャが、ランダムアクセスの場合に復号可能である従属ピクチャであることを、従属ピクチャシンタックス要素６３が示す場合、その従属ピクチャは復号される。関連する潜在的に不要なピクチャが復号可能な従属ピクチャでないことを、従属ピクチャシンタックス要素６３が示す場合、その潜在的に不要なピクチャは、廃棄され、復号され得ない。この場合も、潜在的に不要なピクチャは、デコーダ３０によってＣＤＲと同じＧＯＰ中のピクチャとして識別され得るが、それは表示順序でＣＤＲに先行する。
ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、予測モジュール８１のイントラ予測モジュール８４は、信号伝達されたイントラ予測モードと、現在のフレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（即ち、Ｂ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、予測モジュール８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト０及びリスト１を構成し得る。
動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット８２は、受信したシンタックス要素の幾つかを使用して、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ予測又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスのための参照ピクチャリストの１つ以上のための構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インターコード化ビデオブロックのインター予測状況、及び現在のビデオスライス中のビデオブロックを復号するための他の情報を決定する。
動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。動き補償ユニット８２は、受信したシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換モジュール８８は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換モジュール８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ以上の構成要素を表す。また、所望される場合、ブロック歪みを除去するために、デブロッキングフィルタを適用して、復号ブロックをフィルタ処理し得る。次いで、所与のフレーム又はピクチャ中の復号されたビデオブロックは、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図３の表示装置３２などの表示装置上での後の提示のために、復号されたビデオを記憶する。
図６は、上記で説明した本開示の技法よるビデオ符号化方法の例示的なフローチャートである。図６の技法は、図４のビデオエンコーダ２０などのビデオエンコーダによって実施され得る。ビデオエンコーダ２０は、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化する（１１０）ように構成され得る。１つ以上の潜在的に不要なピクチャは、復号順序でＣＤＲピクチャに後続し、表示順序でＣＤＲピクチャに先行する。ビデオエンコーダ２０はまた、１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定する（１１２）。従属ピクチャは、復号順序と表示順序の両方でＣＤＲピクチャに後続するピクチャのインター予測のために使用される。
潜在的に不要なピクチャのいずれかが従属ピクチャである場合、ビデオエンコーダ２０は、さらに、図４を参照しながら上記で説明したように、ＣＤＲピクチャがランダムアクセスのために使用される場合に従属ピクチャが復号可能であるかどうかを決定する（１１４）。ビデオエンコーダ２０は、さらに、符号化ビデオデータビットストリーム中で、潜在的に不要なピクチャが、ＣＤＲピクチャがランダムアクセスのために使用される場合に復号可能であると決定される従属ピクチャであることを示すシンタックス要素を信号伝達する（１１６）。一例では、シンタックス要素は、ネットワーク抽象化レイヤ単位ヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの１つ以上の中で信号伝達され得る。別の例では、シンタックス要素は、上記で説明したようにファイルフォーマットで信号伝達される。
図７は、上記で説明した本開示の技法によるビデオ復号方法の例示的なフローチャートである。図７の技法は、図５のビデオデコーダ３０などのビデオデコーダによって実施され得る。ビデオデコーダ３０は、クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信する（１２０）ように構成され得る。ビデオデコーダ３０は、潜在的に不要なピクチャが、従属ピクチャであり、ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能であることを示すシンタックス要素を受信する（１２２）ようにさらに構成され得る。従属ピクチャは、復号順序と表示順序の両方でＣＤＲピクチャに後続するピクチャのインター予測のために使用される。
ビデオデコーダ３０は、ＣＤＲピクチャへのランダムアクセスのための要求を受信する（１２４）ようにさらに構成され得る。ランダムアクセス要求が受信された場合、ビデオデコーダ３０は、ランダムアクセスのための要求に応答してＣＤＲピクチャを復号し（１２６）、受信したシンタックス要素に対応する従属ピクチャを復号する（１２８）ようにさらに構成され得る。さらに、ビデオデコーダ３０はまた、シンタックス要素によって従属ピクチャでないとして示される１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップする（１３０）ように構成され得る。一例では、シンタックス要素は、ネットワーク抽象化レイヤ単位ヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの１つ以上の中で受信される。別の例では、シンタックス要素は、上記で説明したようにファイルフォーマットに記憶される。
１つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施され得る。ソフトウェアで実施した場合、機能は、１つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従ってある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体など、有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータあるいは１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気ストレージ機器、フラッシュメモリ、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）などの１つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明した技法の実施に好適な他の構造のいずれかを指し得る。さらに、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用ハードウェア及び／又はソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つ以上の回路又は論理要素において完全に実施され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実施され得る。本開示では、開示した技法を実行するように構成された機器の機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを符号化する方法であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達することと
を備える、方法。
［Ｃ２］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ１に記載の方法。
［Ｃ３］
前記従属ピクチャが、復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、Ｃ１に記載の方法。
［Ｃ４］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を信号伝達することをさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ１に記載の方法。
［Ｃ５］
前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
ビデオデータを復号する方法であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが、前記ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信することと
を備える、方法。
［Ｃ７］
前記ＣＤＲピクチャへのランダムアクセスのための要求を受信することと、
ランダムアクセスのための前記要求に応答して前記ＣＤＲピクチャを復号することと、
前記受信したシンタックス要素に対応する前記従属ピクチャを復号することと
をさらに備える、Ｃ６に記載の方法。
［Ｃ８］
前記受信したシンタックス要素によって従属ピクチャであると示されない前記１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップすること
をさらに備える、Ｃ７に記載の方法。
［Ｃ９］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ６に記載の方法。
［Ｃ１０］
復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用することをさらに備える、Ｃ６に記載の方法。
［Ｃ１１］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を受信することをさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ６に記載の方法。
［Ｃ１２］
前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、Ｃ６に記載の方法。
［Ｃ１３］
ビデオデータを符号化するように構成された装置であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達することと
を行うように構成されたビデオエンコーダ
を備える、装置。
［Ｃ１４］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ１３に記載の装置。
［Ｃ１５］
前記従属ピクチャが、復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、Ｃ１３に記載の装置。
［Ｃ１６］
前記ビデオエンコーダが、ネットワーク抽象化レイヤ単位中で前記シンタックス要素を信号伝達するようにさらに構成され、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ１３に記載の装置。
［Ｃ１７］
前記ビデオエンコーダが、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ１８］
ビデオデータを復号するように構成された装置であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが、前記ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信することと
を行うように構成されたビデオデコーダ
を備える、装置。
［Ｃ１９］
前記ビデオデコーダが、
前記ＣＤＲピクチャへのランダムアクセスのための要求を受信することと、
ランダムアクセスのための前記要求に応答して前記ＣＤＲピクチャを復号することと、
前記受信したシンタックス要素に対応する前記従属ピクチャを復号することと
を行うようにさらに構成された、Ｃ１８に記載の装置。
［Ｃ２０］
前記ビデオデコーダが、
前記受信したシンタックス要素によって従属ピクチャであると示されない前記１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップすること
を行うようにさらに構成された、Ｃ１９に記載の装置。
［Ｃ２１］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ１８に記載の装置。
［Ｃ２２］
前記ビデオデコーダが、復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用するようにさらに構成された、Ｃ１８に記載の装置。
［Ｃ２３］
前記ビデオデコーダが、ネットワーク抽象化レイヤ単位中で前記シンタックス要素を受信するようにさらに構成され、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ１８に記載の装置。
［Ｃ２４］
前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、Ｃ１８に記載の装置。
［Ｃ２５］
ビデオデータを符号化するように構成された装置であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化するための手段と、
前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定するための手段と、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であるかどうかを決定するための手段と、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達するための手段と
を備える、装置。
［Ｃ２６］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ２５に記載の装置。
［Ｃ２７］
前記従属ピクチャが、復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、Ｃ２５に記載の装置。
［Ｃ２８］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を信号伝達するための手段をさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ２５に記載の装置。
［Ｃ２９］
前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達するための手段
をさらに備える、Ｃ２５に記載の装置。
［Ｃ３０］
ビデオデータを復号するように構成された装置であって、
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信するための手段と、
前記１つ以上の潜在的に不要なピクチャのいずれかが、前記ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信するための手段と
を備える、装置。
［Ｃ３１］
前記ＣＤＲピクチャへのランダムアクセスのための要求を受信するための手段と、
ランダムアクセスのための前記要求に応答して前記ＣＤＲピクチャを復号するための手段と、
前記受信したシンタックス要素に対応する前記従属ピクチャを復号するための手段と
をさらに備える、Ｃ３０に記載の装置。
［Ｃ３２］
前記受信したシンタックス要素によって従属ピクチャであると示されない前記１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップするための手段をさらに備える、Ｃ３１に記載の装置。
［Ｃ３３］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ３０に記載の装置。
［Ｃ３４］
復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用するための手段をさらに備える、Ｃ３０に記載の装置。
［Ｃ３５］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を受信するための手段をさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ３０に記載の装置。
［Ｃ３６］
前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、Ｃ３０に記載の装置。
［Ｃ３７］
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であるかどうかを決定することと、
前記ＣＤＲピクチャがランダムアクセスのために使用される場合に前記従属ピクチャが復号可能であると決定されることを示すシンタックス要素を信号伝達することと
を、ビデオデータを符号化するように構成されたプロセッサに行わせるための命令を記憶するコンピュータ可読媒体。
［Ｃ３８］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ３７に記載のコンピュータ可読媒体。
［Ｃ３９］
前記従属ピクチャが、復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、Ｃ３７に記載のコンピュータ可読媒体。
［Ｃ４０］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を信号伝達することをプロセッサに行わせるための命令をさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ３７に記載のコンピュータ可読媒体。
［Ｃ４１］
前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達することをプロセッサに行わせるための命令をさらに備える、Ｃ３７に記載のコンピュータ可読媒体。
［Ｃ４２］
クリーン復号リフレッシュ（ＣＤＲ）ピクチャと１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
前記１つ以上の潜在的に不要なピクチャのいずれかが、前記ＣＤＲピクチャへのランダムアクセスのための要求が受信された場合に復号可能である従属ピクチャであるか否かを示すシンタックス要素を受信することと
を、ビデオデータを復号するように構成されたプロセッサに行わせるための命令を記憶するコンピュータ可読媒体。
［Ｃ４３］
前記命令が、
前記ＣＤＲピクチャへのランダムアクセスのための要求を受信することと、
ランダムアクセスのための前記要求に応答して前記ＣＤＲピクチャを復号することと、
受信した前記シンタックス要素に対応する前記従属ピクチャを復号することと
を前記プロセッサにさらに行わせる、Ｃ４２に記載のコンピュータ可読媒体。
［Ｃ４４］
前記命令が、
受信した前記シンタックス要素によって従属ピクチャであると示されない前記１つ以上の潜在的に不要なピクチャのいずれかのための復号をスキップすること
を前記プロセッサにさらに行わせる、Ｃ４３に記載のコンピュータ可読媒体。
［Ｃ４５］
前記１つ以上の潜在的に不要なピクチャが、復号順序で前記ＣＤＲピクチャに後続し、表示順序で前記ＣＤＲピクチャに先行する、Ｃ４２に記載のコンピュータ可読媒体。
［Ｃ４６］
復号順序と表示順序の両方で前記ＣＤＲピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用することをプロセッサに行わせるための命令をさらに備える、Ｃ４２に記載のコンピュータ可読媒体。
［Ｃ４７］
ネットワーク抽象化レイヤ単位中で前記シンタックス要素を受信することをプロセッサに行わせるための命令をさらに備え、前記ネットワーク抽象化レイヤ単位が、スライスヘッダとピクチャレベル補足エンハンスメント情報（ＳＥＩ）メッセージとのうちの少なくとも１つを含む、Ｃ４２に記載のコンピュータ可読媒体。
［Ｃ４８］
前記シンタックス要素がファイルフォーマットに記憶される、Ｃ４２に記載のコンピュータ可読媒体。

Claims (40)

  1. ビデオデータを符号化する方法であって、
    ビデオエンコーダが、ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
    前記ビデオエンコーダが、前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に、前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であるかどうかを決定することと、
    前記ビデオエンコーダが、前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に前記潜在的に不要なピクチャのうちの１つが復号可能であると決定されるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで信号伝達することと
    を備える、方法。
  2. 復号可能であると決定される前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを、前記ビデオエンコーダを用いて決定することをさらに備え、前記従属ピクチャが、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、請求項１に記載の方法。
  3. 前記ビデオエンコーダが、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達することをさらに備える、請求項１に記載の方法。
  4. ビデオデータを復号する方法であって、
    ビデオデコーダが、ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
    前記ビデオデコーダが、前記ランダムアクセスピクチャへのランダムアクセスのための要求が受信された場合に、前記潜在的に不要なピクチャのうちの１つが復号可能であるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで受信することと
    を備える、方法。
  5. 前記ビデオデコーダが、前記ランダムアクセスピクチャへのランダムアクセスのための要求を受信することと、
    前記ビデオデコーダが、ランダムアクセスのための前記要求に応答して前記ランダムアクセスピクチャを復号することと、
    前記ビデオデコーダが、前記受信したシンタックス要素に従って前記１つの潜在的に不要なピクチャを復号することと
    をさらに備える、請求項４に記載の方法。
  6. 前記ビデオデコーダが、前記受信したシンタックス要素によって前記１つの潜在的に不要なピクチャが復号可能であると示されない場合に、前記１つの潜在的に不要なピクチャのための復号をスキップすることをさらに備える、請求項５に記載の方法。
  7. 前記１つの潜在的に不要なピクチャが復号可能であり、かつ従属ピクチャであるかどうかを、前記ビデオデコーダを用いて決定することと、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用することと、をさらに備える、請求項４に記載の方法。
  8. 前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、請求項４に記載の方法。
  9. ビデオデータを符号化するように構成された装置であって、
    ビデオデータを記憶するように構成されたメモリと、
    ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に、前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であるかどうかを決定することと、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に前記潜在的に不要なピクチャのうちの１つが復号可能であると決定されるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで信号伝達することと
    を行うように構成されたビデオエンコーダと
    を備える、装置。
  10. 前記ビデオエンコーダが、復号可能であると決定される前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定するようにさらに構成され、前記従属ピクチャが、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、請求項９に記載の装置。
  11. 前記ビデオエンコーダが、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達するようにさらに構成された、請求項９に記載の装置。
  12. ビデオデータを復号するように構成された装置であって、
    ビデオデータを記憶するように構成されたメモリと、
    ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
    前記ランダムアクセスピクチャへのランダムアクセスのための要求が受信された場合に、前記潜在的に不要なピクチャのうちの１つが復号可能であるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで受信することと
    を行うように構成されたビデオデコーダと
    を備える、装置。
  13. 前記ビデオデコーダが、
    前記ランダムアクセスピクチャへのランダムアクセスのための要求を受信することと、
    ランダムアクセスのための前記要求に応答して前記ランダムアクセスピクチャを復号することと、
    受信した前記シンタックス要素にしたがって前記潜在的に不要なピクチャのうちの前記１つを復号することと
    を行うようにさらに構成された、請求項１２に記載の装置。
  14. 前記ビデオデコーダが、
    受信した前記シンタックス要素によって前記１つの潜在的に不要なピクチャが復号可能であると示されない場合に、前記１つの潜在的に不要なピクチャのための復号をスキップすること
    を行うようにさらに構成された、請求項１３に記載の装置。
  15. 前記ビデオデコーダが、前記１つの潜在的に不要なピクチャが復号可能であり、かつ従属ピクチャであるかどうかを決定し、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用するようにさらに構成された、請求項１２に記載の装置。
  16. 前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、請求項１２に記載の装置。
  17. ビデオデータを符号化するように構成された装置であって、
    ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化するための手段と、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に、前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であるかどうかを決定するための手段と、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に前記潜在的に不要なピクチャのうちの１つが復号可能であると決定されるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで信号伝達するための手段と
    を備える、装置。
  18. 復号可能であると決定される前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定するための手段をさらに備え、前記従属ピクチャが、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、請求項１７に記載の装置。
  19. 前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達するための手段をさらに備える、請求項１７に記載の装置。
  20. ビデオデータを復号するように構成された装置であって、
    ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信するための手段と、
    前記ランダムアクセスピクチャへのランダムアクセスのための要求が受信された場合に、前記潜在的に不要なピクチャのうちの１つが復号可能であるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダ中で受信するための手段と
    を備える、装置。
  21. 前記ランダムアクセスピクチャへのランダムアクセスのための要求を受信するための手段と、
    ランダムアクセスのための前記要求に応答して前記ランダムアクセスピクチャを復号するための手段と、
    前記受信したシンタックス要素にしたがって前記１つの潜在的に不要なピクチャを復号するための手段と
    をさらに備える、請求項２０に記載の装置。
  22. 前記受信したシンタックス要素によって前記１つの潜在的に不要なピクチャが復号可能であると示されない場合に、前記１つの潜在的に不要なピクチャのための復号をスキップするための手段をさらに備える、請求項２１に記載の装置。
  23. 前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であり、かつ従属ピクチャであるかどうかを決定するための手段と、
    復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用するための手段と
    をさらに備える、請求項２０に記載の装置。
  24. 前記シンタックス要素が、前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナに記憶される、請求項２０に記載の装置。
  25. ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを符号化することと、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に、前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であるかどうかを決定することと、
    前記ランダムアクセスピクチャがランダムアクセスのために使用される場合に前記潜在的に不要なピクチャのうちの１つが復号可能であると決定されるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダ中で信号伝達することと
    を、ビデオデータを符号化するように構成されたデバイスの１つ以上のプロセッサに行わせるための命令を記憶するコンピュータ可読媒体。
  26. 前記命令が、復号可能であると決定される前記１つ以上の潜在的に不要なピクチャのいずれかが従属ピクチャであるかどうかを決定することを、前記１つ以上のプロセッサにさらに行わせ、前記従属ピクチャが、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために使用される、請求項２５に記載のコンピュータ可読媒体。
  27. 前記１つ以上の潜在的に不要なピクチャのためのファイルフォーマットコンテナ中で前記シンタックス要素を信号伝達することを前記１つ以上のプロセッサに行わせるための命令をさらに備える、請求項２５に記載のコンピュータ可読媒体。
  28. ランダムアクセスピクチャと前記ランダムアクセスピクチャに表示順序で先行する１つ以上の潜在的に不要なピクチャとを含むピクチャグループを受信することと、
    前記ランダムアクセスピクチャへのランダムアクセスのための要求が受信された場合に前記潜在的に不要なピクチャのうちの１つが復号可能であるか否かを示すシンタックス要素をネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダで受信することと
    を、ビデオデータを復号するように構成されたデバイスの１つ以上のプロセッサに行わせるための命令を記憶するコンピュータ可読媒体。
  29. 前記命令が、
    前記ランダムアクセスピクチャへのランダムアクセスのための要求を受信することと、
    ランダムアクセスのための前記要求に応答して前記ランダムアクセスピクチャを復号することと、
    受信した前記シンタックス要素にしたがって前記１つの潜在的に不要なピクチャを復号することと
    を前記１つ以上のプロセッサにさらに行わせる、請求項２８に記載のコンピュータ可読媒体。
  30. 前記命令が、
    受信した前記シンタックス要素によって前記１つの潜在的に不要なピクチャが復号可能であると示されない場合に、前記１つの潜在的に不要なピクチャのための復号をスキップすること
    を前記１つ以上のプロセッサにさらに行わせる、請求項２９に記載のコンピュータ可読媒体。
  31. 前記１つ以上の潜在的に不要なピクチャのいずれかが復号可能であり、かつ従属ピクチャであるかどうかを決定し、復号順序と表示順序の両方で前記ランダムアクセスピクチャに後続する少なくとも１つのピクチャのインター予測のために前記従属ピクチャを使用することを前記１つ以上のプロセッサに行わせるための命令をさらに備える、請求項２８に記載のコンピュータ可読媒体。
  32. 前記シンタックス要素がファイルフォーマットに記憶される、請求項２８に記載のコンピュータ可読媒体。
  33. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項１に記載の方法。
  34. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項４に記載の方法。
  35. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項９に記載の装置。
  36. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項１２に記載の装置。
  37. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項１７に記載の装置。
  38. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項２０に記載の装置。
  39. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項２５に記載のコンピュータ可読媒体。
  40. 前記ランダムアクセスピクチャがクリーン復号リフレッシュ（ＣＤＲ）ピクチャである、請求項２８に記載のコンピュータ可読媒体。
JP2013557901A 2011-03-10 2012-03-09 ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法 Active JP5876083B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161451453P 2011-03-10 2011-03-10
US61/451,453 2011-03-10
US201161454548P 2011-03-20 2011-03-20
US61/454,548 2011-03-20
US13/415,453 US9706227B2 (en) 2011-03-10 2012-03-08 Video coding techniques for coding dependent pictures after random access
US13/415,453 2012-03-08
PCT/US2012/028490 WO2012122480A1 (en) 2011-03-10 2012-03-09 Video coding techniques for coding dependent pictures after random access

Publications (2)

Publication Number Publication Date
JP2014513456A JP2014513456A (ja) 2014-05-29
JP5876083B2 true JP5876083B2 (ja) 2016-03-02

Family

ID=46795585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013557901A Active JP5876083B2 (ja) 2011-03-10 2012-03-09 ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法

Country Status (15)

Country Link
US (1) US9706227B2 (ja)
EP (1) EP2684364A1 (ja)
JP (1) JP5876083B2 (ja)
KR (1) KR101617504B1 (ja)
CN (1) CN103430542B (ja)
AU (1) AU2012225307B2 (ja)
BR (1) BR112013023033A2 (ja)
CA (1) CA2828776C (ja)
IL (1) IL228061B (ja)
MY (1) MY167061A (ja)
RU (1) RU2566972C2 (ja)
SG (1) SG192898A1 (ja)
TW (1) TWI544782B (ja)
WO (1) WO2012122480A1 (ja)
ZA (1) ZA201307540B (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3439299A1 (en) * 2011-07-02 2019-02-06 Samsung Electronics Co., Ltd. Apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
JP6319083B2 (ja) 2012-07-10 2018-05-09 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
KR102185384B1 (ko) * 2012-07-11 2020-12-02 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014010894A1 (ko) 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
US9374583B2 (en) 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
SG11201500316PA (en) 2012-09-28 2015-02-27 Intel Corp Inter-layer intra mode prediction
KR101812615B1 (ko) * 2012-09-28 2017-12-27 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN103716607B (zh) * 2012-09-28 2017-02-08 中兴通讯股份有限公司 一种应用于HEVC‑based 3DVC的编码方法和装置
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
US20140307803A1 (en) * 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US10136152B2 (en) * 2014-03-24 2018-11-20 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
JP2017522767A (ja) * 2014-06-18 2017-08-10 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオビットストリームにおけるランダムアクセス
US10484711B2 (en) * 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
CN107005704B (zh) * 2014-10-16 2020-07-24 三星电子株式会社 处理编码视频数据的方法和装置及生成编码视频数据的方法和装置
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
US11418812B2 (en) * 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
CN108028948B (zh) * 2015-08-07 2021-05-07 联发科技股份有限公司 用于多媒体应用的比特流随机访问与同步的方法及装置
US11395007B2 (en) * 2019-12-12 2022-07-19 Tencent America LLC Method for signaling dependent and independent picture header

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US8300690B2 (en) 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
TWI249356B (en) 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
JP4324844B2 (ja) * 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
US8175154B2 (en) 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
RU2368095C1 (ru) 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP4885964B2 (ja) * 2005-09-27 2012-02-29 クゥアルコム・インコーポレイテッド チャネル交換フレーム
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
RU2406254C2 (ru) * 2006-03-29 2010-12-10 Квэлкомм Инкорпорейтед Видеообработка с масштабируемостью
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
CN101198052B (zh) 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
WO2008086423A2 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
EP2119187B1 (en) * 2007-02-23 2017-07-19 Nokia Technologies Oy Backward-compatible characterization of aggregated media data units
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
JP2010041354A (ja) 2008-08-05 2010-02-18 Victor Co Of Japan Ltd 動画像符号化方法、符号化装置及び符号化プログラム
TW201032597A (en) * 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data

Also Published As

Publication number Publication date
SG192898A1 (en) 2013-09-30
BR112013023033A2 (pt) 2016-12-13
CA2828776C (en) 2016-06-28
WO2012122480A1 (en) 2012-09-13
KR20130129468A (ko) 2013-11-28
CA2828776A1 (en) 2012-09-13
MY167061A (en) 2018-08-02
AU2012225307B2 (en) 2015-12-03
RU2566972C2 (ru) 2015-10-27
TWI544782B (zh) 2016-08-01
ZA201307540B (en) 2022-03-30
IL228061A0 (en) 2013-09-30
IL228061B (en) 2019-02-28
JP2014513456A (ja) 2014-05-29
US9706227B2 (en) 2017-07-11
CN103430542A (zh) 2013-12-04
KR101617504B1 (ko) 2016-05-02
US20120230433A1 (en) 2012-09-13
EP2684364A1 (en) 2014-01-15
CN103430542B (zh) 2016-11-23
TW201244494A (en) 2012-11-01
RU2013145305A (ru) 2015-04-20
AU2012225307A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
JP5876083B2 (ja) ランダムアクセスの後に従属ピクチャをコード化するためのビデオコード化技法
JP6495390B2 (ja) ビデオコーディングにおける関心領域および漸次復号リフレッシュのシグナリング
JP6235026B2 (ja) 誤り耐性のある復号単位関連付け
JP5859581B2 (ja) ビデオコーデックにおけるバッファ管理
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
JP6234997B2 (ja) ビデオシーケンスにおけるランダムアクセスポイントピクチャのための復号ピクチャバッファ処理
JP6174139B2 (ja) タイル及び波面並列処理
JP6169689B2 (ja) ビデオコーディングにおける長期参照ピクチャのランダムアクセスおよびシグナリング
JP6266605B2 (ja) 映像コーディングにおけるロスレスコーディングモード及びパルスコード変調（ｐｃｍ）モードのシグナリングの統一
JP6169723B2 (ja) ビデオコーディングにおけるランダムアクセスのためのビデオバッファリング動作
JP6585096B2 (ja) マルチレイヤビデオコーディング
JP6333949B2 (ja) 改善されたｒｔｐペイロードフォーマット設計
JP2017195607A (ja) パラメータセットコーディング
JP2015517278A5 (ja)
JP6345675B2 (ja) ビデオコーダの動作点のためのレイヤ識別子の向上したシグナリング
KR101870546B1 (ko) 서브-레이어 참조 예측 종속성에 기초한 인터-레이어 rps 도출을 위한 시스템들 및 방법들
JP2016506159A (ja) ビデオコード化における低遅延バッファリングモデル
JP2015526023A (ja) クリーンランダムアクセス（ｃｒａ）ピクチャに基づくストリーミング適合化

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160120

R150 Certificate of patent or registration of utility model

Ref document number: 5876083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250