JP6377603B2 - ビデオコード化における低遅延ビデオバッファリング - Google Patents

ビデオコード化における低遅延ビデオバッファリング Download PDF

Info

Publication number
JP6377603B2
JP6377603B2 JP2015504557A JP2015504557A JP6377603B2 JP 6377603 B2 JP6377603 B2 JP 6377603B2 JP 2015504557 A JP2015504557 A JP 2015504557A JP 2015504557 A JP2015504557 A JP 2015504557A JP 6377603 B2 JP6377603 B2 JP 6377603B2
Authority
JP
Japan
Prior art keywords
sub
picture
cpb
flag
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015504557A
Other languages
English (en)
Other versions
JP2015515823A5 (ja
JP2015515823A (ja
Inventor
ワン、イェ−クイ
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015515823A publication Critical patent/JP2015515823A/ja
Publication of JP2015515823A5 publication Critical patent/JP2015515823A5/ja
Application granted granted Critical
Publication of JP6377603B2 publication Critical patent/JP6377603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

[0001]本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１２年４月４日に出願された米国仮出願第６１／６２０，２６６号、及び２０１２年５月１日に出願された米国仮出願第６１／６４１，０６３号の利益を主張する。
[0002]本開示はビデオコード化に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。ビデオコード化規格には、ＩＴＵ−ＴＨ．２６１、ＩＳＯ／ＩＥＣＭＰＥＧ−１Ｖｉｓｕａｌ、ＩＴＵ−ＴＨ．２６２又はＩＳＯ／ＩＥＣＭＰＥＧ−２Ｖｉｓｕａｌ、ＩＴＵ−ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ−４Ｖｉｓｕａｌ、及び、そのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）の拡張を含む（ＩＳＯ／ＩＥＣＭＰＥＧ−４ＡＶＣとしても知られている）ＩＴＵ−ＴＨ．２６４が含まれる。更に、高効率ビデオコード化（ＨＥＶＣ）は、ＩＴＵ−ＴＶｉｄｅｏＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｏｎＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されているビデオコード化規格である。「ＨＥＶＣＷｏｒｋｉｎｇＤｒａｆｔ６」又は「ＷＤ６」と呼ばれる今度のＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｈ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈｅｆｆｉｃｉｅｎｃｙｖｉｄｅｏｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔｓｐｅｃｉｆｉｃａｔｉｏｎｄｒａｆｔ６」、ＩＴＵ−ＴＳＧ１６ＷＰ３及びＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第８回会議：米国、カリフォルニア州サンノゼ、２０１２年２月に記載されており、この文書は、２０１２年５月１日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ_ｅｎｄ_ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８_Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／ＪＣＴＶＣ−Ｈ１００３−ｖ２２．ｚｉｐからダウンロード可能である。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的予測及び／又は時間的予測を実行する。ブロックベースのビデオコード化では、ビデオフレーム又はスライスは、マクロブロックに区分され得る。各マクロブロックは、更に区分され得る。イントラコード化（Ｉ）フレーム又はスライス中のマクロブロックは、隣接マクロブロックに関する空間的予測を使用して符号化される。インターコード化（Ｐ又はＢ）フレーム又はスライス中のマクロブロックは、同じフレームもしくはスライス中の隣接マクロブロックに関する空間的予測、又は他の参照フレームに関する時間的予測を使用し得る。
[0005]概して、本開示では、相互運用可能な方法で低減されたコーデック遅延を達成するための様々な技法について説明する。一例では、これらの技法は、一般的なサブピクチャベースのコード化ピクチャバッファ（ＣＰＢ：codedpicturebuffer）挙動を通して達成され得る。
[0006]一例では、ビデオデータをコード化する方法が、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ又は複数の復号単位を記憶することを含む。本方法は、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することを更に含む。本方法は、復号単位の各々のための取得されたバッファ除去時間に従ってＣＰＢから復号単位を除去することを更に含む。本方法は、ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することを更に含む。本方法は、除去された復号単位に対応するビデオデータをコード化することを更に含む。ＣＰＢがアクセス単位レベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位をコード化することを備える。ＣＰＢがサブピクチャレベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位のサブセットをコード化することを備える。
[0007]別の例では、ビデオデータをコード化するための機器は、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ又は複数の復号単位を記憶するように構成される。本機器は、１つ又は複数の復号単位のためのそれぞれのバッファ除去時間を取得するように更に構成される。本機器は、復号単位の各々のための取得されたバッファ除去時間に従ってＣＰＢから復号単位を除去するように更に構成される。本機器は、ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定するように更に構成される。本機器は、除去された復号単位に対応するビデオデータをコード化するように更に構成される。ＣＰＢがアクセス単位レベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位をコード化することを備える。ＣＰＢがサブピクチャレベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位のサブセットをコード化することを備える。
[0008]別の例では、ビデオデータをコード化するための装置は、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ又は複数の復号単位を記憶するための手段を含む。本装置は、１つ又は複数の復号単位のための個別のバッファ除去時間を取得するための手段を更に含む。本装置は、復号単位の各々のための取得されたバッファ除去時間に従ってＣＰＢから復号単位を除去するための手段を更に含む。本装置は、ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定するための手段を更に含む。本装置は、除去された復号単位に対応するビデオデータをコード化するための手段を更に含む。ＣＰＢがアクセス単位レベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位をコード化することを備える。ＣＰＢがサブピクチャレベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位のサブセットをコード化することを備える。
[0009]別の例では、コンピュータ可読記憶媒体は、実行されたとき、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ又は複数の復号単位を記憶させることをプロセッサに行わせる命令を記憶する。本命令は、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することをプロセッサに更に行わせる。本命令は、復号単位の各々のための取得されたバッファ除去時間に従ってＣＰＢから復号単位を除去することをプロセッサに更に行わせる。本命令は、ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することをプロセッサに更に行わせる。本命令は、除去された復号単位に対応するビデオデータをコード化することをプロセッサに更に行わせる。ＣＰＢがアクセス単位レベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位をコード化することを備える。ＣＰＢがサブピクチャレベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位のサブセットをコード化することを備える。
[0010]１つ又は複数の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。
[0011]本開示の技法による、ビデオブロック間のエッジをデブロックするための技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0012]本開示の技法による、ビデオブロック間のエッジをデブロックするための技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0013]本開示の技法による、符号化ビデオシーケンスを復号するビデオデコーダの一例を示すブロック図。 [0014]本開示の技法のいずれか又は全てを実装し得る例示的な宛先機器を示すブロック図。 [0015]本開示の技法による、取得されたバッファ除去時間に従ってピクチャバッファからビデオデータの復号単位を除去することを含む例示的な方法を示すフローチャート。 [0016]本開示の技法による、取得されたバッファ除去時間に従ってピクチャバッファからビデオデータの復号単位を除去することを含む別の例示的な方法を示すフローチャート。 [0017]本開示の技法による、バンピングプロセスにおいてクロップピクチャを出力することを含むビデオデータを処理する別の例示的な方法を示すフローチャート。
[0018]ビデオアプリケーションには、ローカル再生アプリケーションと、ストリーミングアプリケーションと、ブロードキャスト／マルチキャストアプリケーションと、会話アプリケーションとが含まれ得る。会話アプリケーションには、ビデオ電話とビデオ会議アプリケーションとが含まれ得、低遅延アプリケーションとも呼ばれる。会話アプリケーションは、比較的低い、エンドツーエンド遅延、即ち、ビデオフレームが撮影されるときとビデオフレームが表示されるときとの間の遅延をシステム全体に要求する。一般に、会話アプリケーションのための許容エンドツーエンド遅延は４００ミリ秒（ｍｓ）未満であり得、約１５０ｍｓのエンドツーエンド遅延は非常に良好であると見なされ得る。各処理ステップは、全体的なエンドツーエンド遅延、例えば、撮影遅延、前処理遅延、符号化遅延、送信遅延、（デジッタリング(de-jittering)（ジッタ除去）のための）受信バッファリング遅延、復号遅延、復号ピクチャ出力遅延、後処理遅延、及び表示遅延の原因となり得る。従って、一般に、会話アプリケーションではコーデック遅延（符号化遅延、復号遅延及び復号ピクチャ出力遅延）を最小限に抑えなければならない。特に、コード化構造では、復号ピクチャ出力遅延が０に等しくなるように、ピクチャの復号順序と出力順序とが同一になるようにしなければならない。
[0019]ビデオコード化規格は、ビデオバッファリングモデルの仕様を含み得る。ＡＶＣ及びＨＥＶＣでは、バッファリングモデルは、コード化ピクチャバッファ（ＣＰＢ）と復号ピクチャバッファ（ＤＰＢ：decodedpicturebuffer）の両方のバッファリングモデルを含む仮定参照デコーダ（ＨＲＤ）と呼ばれ、ＣＰＢ挙動及びＤＰＢ挙動は数学的に指定される。ＨＲＤは、異なるタイミング、バッファサイズ及びビットレートに直接制約を課し、かつビットストリーム特性及び統計に間接的に制約を課す。ＨＲＤパラメータの完全セットには、初期ＣＰＢ除去遅延、ＣＰＢサイズ、ビットレート、初期ＤＰＢ出力遅延、及びＤＰＢサイズの５つの基本パラメータが含まれる。
[0020]ＡＶＣ及びＨＥＶＣでは、ビットストリーム適合及びデコーダ適合は、ＨＲＤ仕様の一部として指定される。デコーダのタイプとして称されるが、ＨＲＤは、一般に、ビットストリーム適合を保証するためにエンコーダ側で必要とされるが、一般に、デコーダ側では必要とされない。２つのタイプのビットストリーム又はＨＲＤ適合、即ち、タイプＩ及びタイプＩＩが指定される。また、出力タイミングデコーダ適合及び出力順序デコーダ適合の２つのタイプのデコーダ適合が指定される。
[0021]ＡＶＣ及びＨＥＶＣＨＲＤモデルでは、復号又はＣＰＢ除去はアクセス単位ベースのものであり、ピクチャ復号が瞬時に行われると仮定される。実際の適用例では、適合デコーダが、ピクチャタイミング補足エンハンスメント情報（ＳＥＩ）メッセージ中で信号伝達された復号時間に厳密に従って、アクセス単位の復号を開始する場合、特定の復号ピクチャを出力するのにできるだけ早い時間は、その特定のピクチャの復号時間にその特定のピクチャを復号するために必要とされる時間を加えたものに等しくなる。ＡＶＣ及びＨＥＶＣＨＲＤモデルとは異なり、現実の世界でピクチャを復号するために必要とされる時間は０に等しくならない。本開示全体を通して使用される「瞬時」及び「瞬時に」という用語は、これが、物理的又は文字通りの意味で「瞬時」とは異なるという了解の下で、１つ又は複数のコード化モデルにおいて若しくは１つ又は複数のコード化モデルの理想的な態様において瞬時であると仮定され得る任意の持続時間を指すことがある。例えば、本開示では、関数又はプロセスが、実行されるべき関数又はプロセスのための仮定的な若しくは理想的なできるだけ早い時間の実際のマージンで、又はそれの内で行われる場合、それは、名目上「瞬時」であると見なされ得る。本明細書で用いられるシンタックス名及び変数名は、幾つかの例では、ＨＥＶＣモデル内のそれらの意味に従って理解され得る。
[0022]サブピクチャベースのＣＰＢ挙動は、相互運用可能な方法で１つ未満のピクチャ期間のコード化遅延を達成するために、「Ｅｎｈａｎｃｅｍｅｎｔｏｎｏｐｅｒａｔｉｏｎｏｆｃｏｄｅｄｐｉｃｔｕｒｅｂｕｆｆｅｒ」、Ｋａｚｕｉら、ＩＴＵ−ＴＳＧ１６ＷＰ３及びＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第７回会議：ジュネーブ、スイス、２０１１年１１月２１日〜３０日、ＪＣＴＶＣ−Ｇ１８８（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ_ｅｎｄ_ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７_Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｇ１８８−ｖ２．ｚｉｐにおいて入手可能）に提案されている。ＪＣＴＶＣ−Ｇ１８８の方法は、ピクチャが、ツリーブロックのＭ個のグループに均等に分割され、即ち、ピクチャのツリーブロックラスタ走査における第１のＭ個のツリーブロックが、ツリーブロックの第１のグループに属し、ピクチャのツリーブロックラスタ走査における第２のＭ個のツリーブロックが、ツリーブロックの第２のグループに属し、以下同様であるように要約され得る。値Ｍは、バッファリング期間ＳＥＩメッセージ中で信号伝達され得る。この値は、ツリーブロックの各グループのＣＰＢ除去時間（即ち、復号時間）を導出するために使用され得る。この意味で、ＪＣＴＶＣ−Ｇ１８８ＣＰＢ挙動は、サブピクチャベースのものであり、各サブピクチャは、ツリーブロックのグループである。幾つかの例では、サブピクチャは、１つ又は複数のスライス、（ピクチャの波面区分のための）１つ又は複数の波、又は１つ又は複数のタイルに対応し得る。ＪＣＴＶＣ−Ｇ１８８のこの方法では、アクセス単位レベルＣＰＢ除去時間が（ピクチャタイミングＳＥＩメッセージを使用して）通常通り信号伝達されると仮定され、各アクセス単位内で、ツリーブロックグループのためのＣＰＢ除去時間は、前のアクセス単位のＣＰＢ除去時間から現在のアクセス単位のＣＰＢ除去時間までの間隔を線形的に又は一様に分割すると仮定される。
[0023]ＪＣＴＶＣ−Ｇ１８８のこの方法は、（１）各ピクチャ内で、各ツリーブロックグループは、（ＨＲＤモデルにおいてだけではなく現実世界のデコーダについても）同じ量の復号時間を必要とする方法で符号化され、第１のツリーブロックグループのコード化データは、同じアクセス単位中の、第１のＶＣＬＮＡＬ単位の前の全ての非ＶＣＬ（ＶｉｄｅｏＣｏｄｉｎｇＬａｙｅｒ）ＮＡＬ（ネットワークアブストラクションレイヤ：ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットを含むと見なされる、（２）各ピクチャ内で、各ツリーブロックグループのビット数は同一であり、第１のツリーブロックグループのコード化データは、同じアクセス単位中の、第１のＶＣＬＮＡＬ単位の前の全ての非ＶＣＬＮＡＬ単位を含むと見なされるという仮定又はビットストリーム要件を更に暗示している。
[0024]サブピクチャベースのＣＰＢ挙動を指定するための既存の方法は、少なくとも以下の問題に関連付けられる。（１）コード化ピクチャ中の各ツリーブロックグループのコード化データの量が同一であるという要件をバランスの取れたコード化性能とともに達成するのは困難である（ピクチャ中でテクスチャ又は動きアクティビティがより細かいエリアのためのツリーブロックグループはより多くのビットを使用し得る）。（２）スライス中に２つ以上のツリーブロックグループが含まれるとき、異なるツリーブロックグループに属するツリーブロックのコード化ビットを分割すること、エンコーダ側でそれらを別個に送ること、ＣＰＢからそれらを別個に除去すること（即ち、それらを別個に復号すること）を行う容易な方法がないことがある。
[0025]上記の問題に対処するために、本開示では、様々な代替を用いて、サブピクチャベースのＣＰＢ挙動のサポートのための一般的な設計について説明する。幾つかの例では、本開示のサブピクチャベースのＣＰＢ技法の特徴には以下の技法の態様が含まれ得る。（１）各サブピクチャは、復号順序で連続するコード化ピクチャの幾つかのコード化ブロックを含み得る。コード化ブロックは、ツリーブロック又はツリーブロックのサブセットと同じであり得る。（２）サブピクチャのコード化及びピクチャ中の異なるサブピクチャへのビットの割当ては、１つのピクチャ中の各サブピクチャ（即ち、ツリーブロックグループ）が同じビット量でコード化されることを仮定するか又はそのことを必要とすることなしに、通常通り実行され得る。従って、各サブピクチャのＣＰＢ除去時間は信号伝達されたピクチャレベルＣＰＢ除去時間に従って導出されるのではなく、ビットストリーム中で信号伝達され得る。（３）２つ以上のサブピクチャがスライス中に含まれるとき、バイトアラインメントは、例えば、ＨＥＶＣＷＤ６におけるタイルのためのバイトアラインメントとは対照的に、各サブピクチャの終わりに適用され得る。更に、各サブピクチャのエントリポイントが、コード化ピクチャ中の第１のサブピクチャを除いて、例えば、ＨＥＶＣＷＤ６におけるタイルのためのバイトアラインメントとは対照的に、信号伝達され得る。受信され、信号伝達された値は、例えば、スライス、タイル、又はフレームなど、ビデオデータのより大きいセット内のサブピクチャのうちの少なくとも１つのバイトアラインメントを示し得る。特徴（１）〜（３）の各々は、独立して、又は、他の１つと組み合わせて適用され得る。
[0026]一例では、サブピクチャベースのＣＰＢ挙動を含むＨＲＤ動作は、次のように要約され得る。例えば、１に等しいシンタックス要素ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇのシーケンスレベルの信号伝達を通してサブピクチャベースのＣＰＢ挙動が使用中であることを信号伝達が示すとき、ＣＰＢ除去又は復号は、アクセス単位又はアクセス単位のサブセットであり得るサブピクチャ又は等価的に復号単位に基づき得る。言い換えれば、アクセス単位であるか又はアクセス単位のサブセットであるかにかかわらず、復号単位が復号のためのＣＰＢから除去されるたびに、ＣＰＢからの復号単位の除去時間は、信号伝達された初期ＣＰＢ除去遅延及び復号単位のために信号伝達されたＣＰＢ除去遅延から導出され得る。ＣＰＢアンダーフローは、復号単位ｍの名目ＣＰＢ除去時間ｔr,n（ｍ）が、いかなる値のｍについても、復号単位ｍの最終ＣＰＢ除去時間ｔaf（ｍ）よりも小さいという条件として指定される。一例では、シンタックス要素ｌｏｗ_ｄｅｌａｙ_ｈｒｄ_ｆｌａｇが０に等しくなるとき、ＣＰＢが決してアンダーフローしないことが要求される。
[0027]一例では、ＤＰＢ出力及び削除プロセスは、依然として、ピクチャレベル又はアクセス単位レベルで、即ち、復号ピクチャ全体が出力されるか、又はＤＰＢから除去されるたびに動作し得る。ＤＰＢからの復号ピクチャの除去は、（現在のピクチャを含んでいる）アクセス単位ｎの第１の復号単位のＣＰＢ除去時間に瞬時に起こり得る。
[0028]図１は、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うための技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。
[0029]図１に示すように、システム１０は、通信チャネル１６を介して符号化ビデオを宛先機器１４に送信する発信源機器１２を含む。発信源機器１２及び宛先機器１４は、広範囲の機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレスハンドセット、所謂セルラー無線電話もしくは衛星無線電話などのワイヤレス通信機器を備えるか、又は、通信チャネル１６を介してビデオ情報を通信することができ、その場合、通信チャネル１６がワイヤレスである、任意のワイヤレス機器を備え得る。但し、本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。例えば、これらの技法は、無線テレビジョン放送(over-the-airtelevisionbroadcasts)、ケーブルテレビジョン送信、衛星テレビジョン送信、インターネットビデオ送信、記憶媒体上に符号化される符号化デジタルビデオ、又は他のシナリオに適用され得る。従って、通信チャネル１６は、符号化ビデオデータの送信又は記憶に好適なワイヤレス、ワイヤード、又は記憶媒体の任意の組合せを備え得る。
[0030]代替的に、符号化データは、送信機２４から記憶装置３４に出力され得る。同様に、符号化データは、受信機２６によって記憶装置３４からアクセスされ得る。記憶装置３４は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、又は符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散した又はローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置３４は、発信源機器１２によって生成された符号化ビデオを保持し得るファイルサーバ、仮想サーバ、データセンター、データセンターの冗長ネットワーク、又は別の中間記憶装置に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置３４から、記憶されたビデオデータにアクセスし得る。記憶装置３４又はそれの一部分のファイルサーバ実装形態は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、（例えば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）機器、又はローカルディスクドライブが含まれる。宛先機器１４は、インターネット接続を含むいずれかの標準データ接続を通して符号化ビデオデータにアクセスし得る。これは、リモート又は非ローカル記憶装置３４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶装置３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。
[0031]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、変調器／復調器（モデム）２２と、送信機２４とを含む。宛先機器１４は、受信機２６と、モデム２８と、ビデオデコーダ３０と、表示装置３２とを含む。本開示によれば、発信源機器１２のビデオエンコーダ２０は、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うための技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は、他の構成要素又は構成を含み得る。例えば、発信源機器１２は、外部カメラなど、内蔵ビデオ発信源１８ではなく外部ビデオ発信源からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置３２を含むのではなく、外部表示装置とインターフェースし得る。
[0032]図１の図示されたシステム１０は一例にすぎない。ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うための技法は任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。概して、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。更に、本開示の技法は、ビデオプリプロセッサによっても実行され得る。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器１２、１４は、機器１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオテレフォニーのためのビデオ機器１２とビデオ機器１４との間の一方向又は双方向のビデオ送信をサポートし得る。
[0033]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからのビデオフィードを含み得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラフォン又はビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、かつワイヤレス及び／又はワイヤードアプリケーションに適用され得る。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、通信規格に従ってモデム２２によって変調され、送信機２４を介して宛先機器１４に送信され得る。モデム２２は、信号変調のために設計された様々なミキサ、フィルタ、増幅器又は他の構成要素を含み得る。送信機２４は、増幅器、フィルタ、及び１つ又は複数のアンテナを含む、データを送信するために設計された回路を含み得る。
[0034]宛先機器１４の受信機２６はチャネル１６を介して情報を受信し、モデム２８はその情報を復調する。更に、ビデオ符号化プロセスは、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うために、本明細書で説明する技法のうちの１つ又は複数を実装し得る。チャネル１６を介して通信される情報は、マクロブロック、コード化ツリー単位、スライス、及び他のコード化単位、例えば、ピクチャのグループ（ＧＯＰ：groupofpictures）の特性及び／又は処理を記述するシンタックス要素を含む、ビデオデコーダ３０によっても使用され得る、ビデオエンコーダ２０によって定義されるシンタックス情報を含み得る。表示装置３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
[0035]図１の例では、通信チャネル１６は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路など、任意のワイヤレス若しくはワイヤード通信媒体、又はワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル１６は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信チャネル１６は、概して、ワイヤード媒体又はワイヤレス媒体の任意の好適な組合せを含む、ビデオデータを発信源機器１２から宛先機器１４に送信するのに好適な任意の通信媒体、又は様々な通信媒体の集合体を表す。通信チャネル１６は、発信源機器１２から宛先機器１４への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。他の例では、発信源機器１２は、データを送信するのではなく、符号化データを記憶装置３４中になど、記憶媒体に記憶し得る。同様に、宛先機器１４は、記憶装置３４又は別の記憶媒体若しくは機器から符号化データを取り出すように構成され得る。
[0036]ビデオエンコーダ２０及びビデオデコーダ３０は、本明細書で説明する規格などのビデオ圧縮規格に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵＨ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0037]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、エンコーダ又はデコーダなどのビデオコード化機器を含むワイヤレス通信機器、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも複合エンコーダ／デコーダ（コーデック）の一部としてそれぞれのカメラ、コンピュータ、モバイル機器、加入者機器、ブロードキャスト機器、セットトップボックス、サーバ、又は他の機器に統合され得る。
[0038]ビデオシーケンスは、一般に一連のビデオフレームを含む。ピクチャのグループ（ＧＯＰ）は、概して、一連の１つ又は複数のビデオフレームを備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのフレームを記述するシンタックスデータを、ＧＯＰのヘッダ中、ＧＯＰの１つ又は複数のフレームのヘッダ中、又は他の場所に含み得る。各フレームは、それぞれのフレームの符号化モードを記述するフレームシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために、個々のビデオフレーム内の、コード化単位（ＣＵ）とも呼ばれるビデオブロックに対して動作する。ビデオブロックは、最大コード化単位（ＬＣＵ：largestcodingunit）又はＬＣＵの区分に対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。各ビデオフレームは複数のスライスを含み得る。各スライスは複数のＬＣＵを含み得、それらのＬＣＵは、サブＣＵとも呼ばれる区分に構成され得る。ＬＣＵはコード化ツリー単位と呼ばれることもある。
[0039]一例として、ＩＴＵ−ＴＨ．２６４規格は、ルーマ成分については１６×１６、８×８、又は４×４、及びクロマ成分については８×８など、様々なブロックサイズのイントラ予測をサポートし、並びにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、並びにクロマ成分については対応する基準化されたサイズ(scaledsizes)など、様々なブロックサイズのインター予測をサポートする。本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（NbyN）」は、垂直寸法及び水平寸法に関するブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16by16）画素を指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、但し、Ｎは非負整数値を表す。ブロック中の画素は行と列に構成され得る。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックは、Ｎ×Ｍ画素を備え得、Ｍは必ずしもＮに等しくなるとは限らない。
[0040]ビデオブロックは、画素領域中の画素データのブロックを備え得、又は、例えば、コード化ビデオブロックと予測ビデオブロックとの間の画素差分を表す残差ビデオブロックデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換などの変換の適用後の、変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
[0041]小さいビデオブロックほど、より良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置(locations)のために使用され得る。概して、ブロック、及びサブブロックと呼ばれることがある様々な区分は、ビデオブロックと見なされ得る。更に、スライスは、ブロック及び／又はサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスは、ビデオフレームの単独で復号可能な単位であり得る。代替的に、フレーム自体が復号可能な単位であり得るか、又はフレームの他の部分が復号可能な単位として定義され得る。「コード化単位」という用語は、フレーム全体又はフレームのスライス、コード化ビデオシーケンスとも呼ばれるピクチャのグループ（ＧＯＰ）、又は適用可能なコード化技法に従って定義される別の単独で復号可能な単位など、ビデオフレームの任意の単独で復号可能な単位を指すことがある。
[0042]予測データと残差データとを生成するためのイントラ予測コード化又はインター予測コード化の後に、及び変換係数を生成するための（Ｈ．２６４／ＡＶＣにおいて使用される４×４又は８×８整数変換、若しくは離散コサイン変換ＤＣＴなどの）任意の変換の後に、変換係数の量子化が実行され得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、但し、ｎはｍよりも大きい。
[0043]ＨＥＶＣでは、ビデオデータのブロックをコード化単位（ＣＵ）と呼び、ＣＵは、１つ又は複数の予測単位（ＰＵ）及び／又は１つ又は複数の変換単位（ＴＵ）を含み得る。本開示ではまた、ＣＵ、ＰＵ、又はＴＵのいずれかを指すために「ブロック」という用語を使用し得る。ビットストリーム内のシンタックスデータは、画素の数に関して最大のコード化単位である最大コード化単位（ＬＣＵ）を定義し得る。概して、ＣＵは、ＣＵがサイズの差異を有しないことを除いて、Ｈ．２６４のマクロブロックと同様の目的を有する。従って、ＣＵはサブＣＵに分割され得る。概して、本開示におけるＣＵへの言及は、ピクチャの最大コード化単位又はＬＣＵのサブＣＵを指すことがある。ＬＣＵはサブＣＵに分割され得、各サブＣＵは更にサブＣＵに分割され得る。ビットストリームのシンタックスデータは、ＣＵ深さと呼ばれる、ＬＣＵが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ：smallestcodingunit）をも定義し得る。
[004544]ＬＣＵは４分木データ構造に関連付けられ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはＬＣＵに対応する。ＣＵが４つのサブＣＵに分割される場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵが更に分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しなくても、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。例えば、１６×１６サイズのＣＵが更に分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。
[0046]更に、リーフＣＵのＴＵもそれぞれの４分木データ構造に関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。本開示では、ＬＣＵがどのように区分されるかを示す４分木をＣＵ４分木と呼び、リーフＣＵがどのようにＴＵに区分されるかを示す４分木をＴＵ４分木と呼ぶ。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してＬＣＵに対応する。分割されないＴＵ４分木のＴＵはリーフＴＵと呼ばれることがある。
[0046]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部又は一部分を表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。例えば、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照フレーム、及び／又は動きベクトルの参照リスト（例えば、リスト０又はリスト１）を記述し得る。（１つ又は複数の）ＰＵを定義するリーフＣＵのデータはまた、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵがコード化されないか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかに応じて異なり得る。イントラコード化の場合、ＰＵは、以下で説明するリーフ変換単位と同じように扱われ得る。
[0047]リーフＣＵは、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上記で説明したように、ＴＵ４分木構造を使用して指定され得る。即ち、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は更に４つのサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、分割フラグは、リーフＴＵが正方形ＴＵに分割されることを示し得る。ＴＵが非正方形ＴＵに分割されることを示すために、他のシンタックスデータ、例えば、非正方形４分木変換（ＮＳＱＴ：non-squarequadtreetransform）に従ってＴＵが区分されるべきであることを示すシンタックスデータが含まれ得る。
[0048]概して、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応する予測値の一部と元のブロックとの間の差として計算し得る。残差値は変換され、量子化され、走査され得る。インターコード化の場合、ビデオエンコーダは、ＰＵレベルで予測を実行し得、各ＰＵの残差を計算し得る。リーフＣＵに対応する残差値は変換され、量子化され、走査され得る。インターコード化の場合、リーフＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、対応するリーフＴＵと同一位置に配置され得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズであり得る。
[0049]概して、本開示では、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。概して、本開示の技法は、ＣＵのデータを変換し、量子化し、走査し、エントロピー符号化することに関する。一例として、本開示の技法は、ブロックを予測するために使用されたイントラ予測モードに基づいてイントラ予測されたブロックの残差値を変換するために使用すべき変換を選択することを含む。本開示ではまた、イントラ予測モード方向に依存するそのような変換に言及するために「方向性変換（directionaltransform）」又は「設計変換（designedtransform）」という用語を使用する。即ち、ビデオエンコーダは、変換単位（ＴＵ）に適用すべき方向性変換を選択し得る。上記のように、イントラ予測は、あるピクチャの現在のＣＵのＴＵを、同じピクチャの前にコード化されたＣＵ及びＴＵから予測することを含む。より詳細には、ビデオエンコーダは、特定のイントラ予測モードを使用してあるピクチャの現在のＴＵをイントラ予測し得る。
[0050]量子化の後に、例えば、コンテンツ適応型可変長コード化（ＣＡＶＬＣ：contentadaptivevariablelengthcoding）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：contextadaptivebinaryarithmeticcoding）、確率間隔区分エントロピーコード化（ＰＩＰＥ：probabilityintervalpartitioningentropy）、又は別のエントロピーコード化方法に従って、量子化データのエントロピーコード化が実行され得る。エントロピーコード化用に構成された処理ユニット、又は別の処理ユニットは、量子化係数のゼロランレングスコード化、及び／又はコード化ブロックパターン（ＣＢＰ：codedblockpattern）値、マクロブロックタイプ、コード化モード、（フレーム、スライス、マクロブロック、又はシーケンスなどの）コード化単位の最大マクロブロックサイズ、又は他のシンタックス情報などのシンタックス情報の生成など、他の処理機能を実行し得る。
[0051]ビデオエンコーダ２０は、例えば、時間的に予測されるべき１つ又は複数の同じフレームにおいて、後続のブロックを予測するための参照として使用されるべき復号されたブロックを記憶するために、逆量子化及び逆変換を実行するように構成され得る。ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中の幾つかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。
[0052]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、適用可能なとき、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなど、様々な好適なエンコーダ又はデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む装置は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
[0053]本開示の技法によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成され得る。
[0054]以下の定義を、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成された例示的なビデオエンコーダ２０及び／又はビデオデコーダ３０に関して与える。
[0055]例の１つのセットについて説明するために、「復号単位」という用語は次のように定義され得る。
復号単位：アクセス単位又はアクセス単位のサブセット。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが０に等しくなる場合、復号単位はアクセス単位であり、そうでない場合、復号単位は、アクセス単位のサブセットである。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが１に等しくなるとき、アクセス単位中の第１の復号単位は、アクセス単位中の全ての非ＶＣＬＮＡＬ単位と、同じアクセス単位中の第１のＶＣＬＮＡＬ単位とを含み、アクセス単位中の各々の他の復号単位は、アクセス単位中の第１のコード化スライスＮＡＬ単位ではないコード化スライスＮＡＬ単位である。
[0056]例の第２のセットについて説明するために、「復号単位」という用語は、次のように定義され得、「サブピクチャ」という用語の追加の定義が、「復号単位」の対応する例示的な定義において使用される。
復号単位：アクセス単位又はアクセス単位のサブセット。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが０に等しくなる場合、復号単位はアクセス単位であり、そうでない場合、復号単位は、アクセス単位のサブセットである。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが１に等しくなるとき、アクセス単位中の第１の復号単位は、アクセス単位中の全ての非ＶＣＬＮＡＬ単位と、同じアクセス単位中のピクチャの第１のサブピクチャとを含み、アクセス単位中の各々の他の復号単位は、アクセス単位中の第１のサブピクチャではないサブピクチャである。
サブピクチャ：復号順序で連続するコード化ピクチャの幾つかのコード化ブロック。
[0057]上記で与えた第２のセットの例による定義では、２つ以上のサブピクチャがスライス中に含まれるとき、バイトアラインメントは、例えば、ＨＥＶＣＷＤ６におけるタイルのためのバイトアラインメントとは対照的に、各サブピクチャの終わりに適用され得る。更に、各サブピクチャのエントリポイントが、コード化ピクチャ中の第１のサブピクチャを除いて、信号伝達され得る。
[0058]幾つかの代替では、ビットストリームが複数のスケーラブルレイヤ又はビューを含んでいるとき、復号単位は、レイヤ表現又はビュー構成要素として定義され得る。レイヤ表現又はビュー構成要素の第１のＶＣＬＮＡＬ単位に先行する全ての非ＶＣＬユニットはまた、レイヤ表現又はビュー構成要素を含んでいる復号単位に属する。
[0059]例示的な仮定参照デコーダ（ＨＲＤ）動作、コード化ピクチャバッファの例示的な動作、ビットストリーム到着の例示的なタイミング、復号単位除去の例示的なタイミング、復号単位の例示的な復号、復号ピクチャバッファの例示的な動作、復号ピクチャバッファからのピクチャの例示的な除去、例示的なピクチャ出力、及び例示的な現在の復号ピクチャのマーキング並びに記憶の以下の説明を、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成され得るビデオエンコーダ２０及び／又はビデオデコーダ３０の例を示すために与える。動作は、他の例では、別様に、定義又は実行され得る。このようにして、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、以下で説明するＨＲＤ動作の様々な例に従って動作するように構成され得る。
[0060]一例として、ＨＲＤ動作は、要約すれば、次のように説明され得る。ＣＰＢサイズ（ビット数）はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］である。時間レイヤＸのためのＤＰＢサイズ（ピクチャ記憶バッファの数）は、両端値を含む０〜ｍａｘ_ｔｅｍｐｏｒａｌ_ｌａｙｅｒｓ_ｍｉｎｕｓ１の範囲内の各Ｘについてｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［Ｘ］＋１である。この例では、ＨＲＤは、次のように動作し得る。指定された到着スケジュールに従ってＣＰＢに流れるアクセス単位に関連するデータは、仮定ストリームスケジューラ（ＨＳＳ：hypotheticalstreamscheduler）、即ち、配信スケジューラによって配信され得る。各復号単位に関連するデータは、ＣＰＢ除去時間に瞬時復号プロセスによって瞬時に除去され復号され得る。各復号ピクチャは、ＤＰＢ中に配置され得る。復号ピクチャは、ＤＰＢ出力時又はインター予測参照のためにもはや必要とされなくなったときのうちの後の方でＤＰＢから除去され得る。
[0061]算術は、これらの例では、丸め誤差が伝搬しないように実数値を用いて行われ得る。例えば、復号単位の除去の直前の又はそれの直後のＣＰＢ中のビット数は必ずしも整数であるとは限らない。
[0062]変数ｔcは、次式のように導出され得、クロックティック(clocktick)と呼ばれることがある。
tc＝num_units_in_tick÷time_scale (C−1)
[0063]以下は、ＨＥＶＣへの例示的な付属書類修正における制約を表すために指定され得る。
アクセス単位ｎを、復号順序でｎ番目のアクセス単位とし、第１のアクセス単位がアクセス単位０である。
ピクチャｎを、コード化ピクチャ又はアクセス単位ｎの復号ピクチャとする。
復号単位ｍを、復号順序でｍ番目の復号単位とし、第１の復号単位が復号単位０である。
[0064]コード化ピクチャバッファ（ＣＰＢ）の動作のための幾つかの例示的な技法について、次のように説明する。幾つかのビデオコード化技法によれば、ＣＰＢ動作の様々な方法が実施され得る。ＨＥＶＣＷＤ６のセクションのＣＰＢ動作に関する仕様は、本開示によって変更され得、存在するＣＰＢパラメータの各セットに、及びタイプＩとタイプＩＩ適合ポイントの両方に独立して適用され得る。
[0065]ビットストリーム到着のタイミングに関与する幾つかの例について、次のように説明する。ＨＲＤは、バッファリング期間補足エンハンスメント情報（ＳＥＩ）メッセージのうちのいずれか１つで初期化され得る。初期化前に、ＣＰＢは空であり得る。初期化後、ＨＲＤは後続のバッファリング期間ＳＥＩメッセージによって再び初期化され得ない。
[0066]ＣＰＢを初期化するバッファリング期間ＳＥＩメッセージに関連するアクセス単位は、アクセス単位「０」と呼ばれることがある。各復号単位は復号単位ｍと呼ばれることがあり、数ｍは特定の復号単位を識別する。アクセス単位０中の復号順序で第１の復号単位は復号単位０と呼ばれることがある。ｍの値は、復号順序で後続の復号単位ごとに１だけ増分され得る。
[0067]復号単位ｍの第１のビットがＣＰＢに入り始める時間は、初期到着時間ｔai（ｍ）と呼ばれることがある。復号単位の初期到着時間は次のように導出され得る。
復号単位が復号単位０である場合、ｔai（０）＝０である。
そうでない場合（復号単位が復号単位ｍであり、ｍ＞０である）、以下が適用され得る。
ｃｂｒ_ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が１に等しくなる場合、復号単位ｍの初期到着時間が復号単位ｍ−１の（以下で導出される）最終到着時間に等しくなる。即ち、次式のようになる。
tai(m)＝taf(m−1) (C−2)
そうでない場合（ｃｂｒ_ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が０に等しくなる）、復号単位ｍのための初期到着時間は、次式によって導出される。
tai(m)＝Max(taf(m−1),tai,earliest(m)) (C−3)
上式で、ｔai,earliest（ｍ）は次のように導出される。
[0068]復号単位ｍが後続のバッファリング期間の第１の復号単位でない場合、ｔai,earliest（ｍ）は次式のように導出され得る。
tai,earliest(m)＝tr,n(m)−(initial_cpb_removal_delay[SchedSelIdx]＋initial_cpb_removal_delay_offset[SchedSelIdx])÷90000 (C−4)
ｔｒ，ｎ（ｍ）は、復号単位ｍの指定されたＣＰＢからの名目除去時間であり、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］及びｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、前のバッファリング期間ＳＥＩメッセージにおいて指定されている。
そうでない場合（復号単位ｍが後続のバッファリング期間の第１の復号単位である）、ｔａｉ，ｅａｒｌｉｅｓｔ（ｍ）は次式のように導出され得る。
tai,earliest(m)＝tr,n(m)−(initial_cpb_removal_delay[SchedSelIdx]÷90000) (C−5)
ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、復号単位ｍを含んでいるアクセス単位に関連するバッファリング期間ＳＥＩメッセージにおいて指定されている。
[0069]復号単位ｍの最終到着時間は次式によって導出され得る。
taf(m)＝tai(m)＋b(m)÷BitRate[SchedSelIdx] (C−6)
上式で、ｂ（ｍ）は、復号単位ｍのビットのサイズであり得、タイプＩ適合ポイントの場合には、ＶＣＬＮＡＬ単位及びフィラーデータＮＡＬ単位のビットをカウントし、又はタイプＩＩ適合ポイントの場合には、タイプＩＩビットストリームの全てのビットをカウントする。
[0070]幾つかの例では、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、及びＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値は、次のように制限され得る。
復号単位ｍを含んでいるアクセス単位のためのアクティブシーケンスパラメータセットのコンテンツと前のアクセス単位とが異なる場合、ＨＳＳは、復号単位ｍを含んでいるアクセス単位のためのアクティブシーケンスパラメータセット中に与えられたＳｃｈｅｄＳｅｌＩｄｘの値の中から、ＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ１を選択し、その場合、復号単位ｍを含んでいるアクセス単位のためにＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］を生じる。ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］の値は、前のアクセス単位のために使用されていたＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ０のためのＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］の値とは異なり得る。
そうでない場合、ＨＳＳは、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、及びＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の前の値で動作し続ける。
[0071]ＨＳＳが前のアクセス単位のＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値とは異なるＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値を選択すると、幾つかの例では以下が適用され得る。
変数ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は時間ｔａｉ（ｍ）に効力を発する。
変数ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は次のように効力を発する。
ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値が古いＣＰＢサイズを超えた場合、その値は時間ｔai（ｍ）に効力を発する。
そうでない場合、ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値は、復号単位ｍを含んでいるアクセス単位の最後の復号単位のＣＰＢ除去時間に効力を発する。
[0072]ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが１に等しくなるとき、アクセス単位ｎの初期ＣＰＢ到着時間ｔai（ｎ）がアクセス単位ｎ中の第１の復号単位の初期ＣＰＢ到着時間に設定され得、かつアクセス単位ｎの最終ＣＰＢ到着時間ｔaf（ｎ）がアクセス単位ｎ中の最後の復号単位の最終ＣＰＢ到着時間に設定され得る。
[0073]復号単位除去のタイミング及び復号単位の復号に関与する幾つかの例について、次のように説明する。復号単位ｍが、ｍが０に等しい復号単位（ＨＲＤを初期化するアクセス単位の第１の復号単位）であるとき、ＣＰＢからの復号単位の名目除去時間は次式によって指定され得る。
tr,n(0)＝initial_cpb_removal_delay[SchedSelIdx]÷90000 (C−7)
[0074]復号単位ｍが、ＨＲＤを初期化しないバッファリング期間の第１のアクセス単位の第１の復号単位であるとき、ＣＰＢからの復号単位の名目除去時間は次式によって指定され得る。
tr,n(m)＝tr,n(mb)＋tc＊cpb_removal_delay(m) (C−8)
上式で、ｔr,n（ｍb）は、前のバッファリング期間の第１の復号単位の名目除去時間であり、ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ（ｍ）は、復号単位ｍを含んでいるアクセス単位に関連するピクチャタイミングＳＥＩメッセージにおいて指定されている復号単位ｍのためのｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］の値である。
[0075]復号単位ｎがバッファリング期間の第１の復号単位であるとき、ｍbは、復号単位ｎの除去時間ｔr,n（ｍ）にｍに等しく設定され得る。バッファリング期間の第１の復号単位ではない復号単位ｍの名目除去時間ｔr,n（ｍ）は、次式によって与えられ得る。
tr,n(m)＝tr,n(mb)＋tc＊cpb_removal_delay(m) (C−9)
上式で、ｔr,n（ｍb）は、現在のバッファリング期間の第１の復号単位の名目除去時間であり、ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ（ｍ）は、復号単位ｍを含んでいるアクセス単位に関連するピクチャタイミングＳＥＩメッセージにおいて指定されている復号単位ｍのためのｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］の値である。
[0076]復号単位ｍの除去時間は次のように指定され得る。
ｌｏｗ_ｄｅｌａｙ_ｈｒｄ_ｆｌａｇが０に等しくなるか、又はｔｒ，ｎ（ｍ）≧ｔａｆ（ｍ）である場合、復号単位ｎの除去時間は次式によって指定され得る。
tr(m)＝tr,n(m) (C−10)
そうでない場合（ｌｏｗ_ｄｅｌａｙ_ｈｒｄ_ｆｌａｇが１に等しくなり、かつｔr,n（ｍ）＜ｔaf（ｍ）である）、復号単位ｍの除去時間は次式によって指定される。
tr(m)＝tr,n(m)＋tc＊Ceil((taf(m)−tr,n(m))÷tc) (C−11)
後者のケースは、復号単位ｍのサイズ、ｂ（ｍ）が非常に大きくて、名目除去時間における除去を阻むことを示している。
[0077]ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが１に等しくなるとき、アクセス単位ｎの名目ＣＰＢ除去時間ｔr,n（ｎ）がアクセス単位ｎ中の最後の復号単位の名目ＣＰＢ除去時間に設定され得、アクセス単位ｎのＣＰＢ除去時間ｔr（ｎ）がアクセス単位ｎ中の最後の復号単位のＣＰＢ除去時間に設定され得る。
[0078]幾つかの例では、復号単位ｍのＣＰＢ除去時間に、復号単位は、瞬時に復号され得る。
[0079]復号ピクチャバッファ（ＤＰＢ）の動作の幾つかの例について、次のように説明する。復号ピクチャバッファは、ピクチャ記憶バッファを含み得る。ピクチャ記憶バッファの各々は、「参照のために使用される」とマーキングされているか、又は将来の出力のために保持された復号ピクチャを含み得る。初期化の前に、ＤＰＢは空であり得る（ＤＰＢフルネスが０に設定される）。本開示の技法のこれらの例の後続のステップは、リストされたシーケンスで起こり得る。
[0080]復号ピクチャバッファ（ＤＰＢ）からのピクチャの除去の幾つかの例について、次のように説明する。幾つかの例では、現在のピクチャの復号の前の（但し、現在のピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの除去は、（現在のピクチャを含んでいる）アクセス単位ｎの第１の復号単位のＣＰＢ除去時間に瞬時に起こり得、次のように進み得る。
[0081]ＨＥＶＣＷＤ６の８．３．２項において指定されている参照ピクチャセットのための復号プロセスが呼び出され得る。現在のピクチャが瞬時デコーダリフレッシュ（ＩＤＲ：instantaneousdecoderrefresh）ピクチャである場合、以下が適用され得る。
１．ＩＤＲピクチャが復号された第１のＩＤＲピクチャでないとき（例えば、前のピクチャの出力なしフラグが１に等しくない値を有するとき）、かつアクティブシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ（例えば、ルーマサンプルにおけるピクチャ幅）又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値が、それぞれ、前のピクチャについてアクティブであったシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値とは異なるとき、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇは、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇの実際の値にかかわらず、１に等しいと推論されるか、又はＨＲＤによって１に等しくなるように設定され得る。デコーダ実装形態は、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓの変更に関して、ＨＲＤよりも適切にピクチャ又はＤＰＢサイズ変更を処理し得る。
２．ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが、１に等しくなるか、又は１に等しくなるように設定もしくは推論されるとき、ＤＰＢ中の全てのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされ得、ＤＰＢフルネスは０に設定され得る。
[0082]ピクチャｋが「参照のために使用されない」とマーキングされていると、ピクチャｋが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するか、又は次式の通り、それのＤＰＢ出力時間が、現在のピクチャｎの（復号単位ｍとして示される）第１の復号単位のＣＰＢ除去時間以下であるとの条件の全てが真である、ＤＰＢ中の全てのピクチャｋがＤＰＢから除去され得る。
to,dpb(k)<＝tr(m)
[0083]ピクチャがＤＰＢから除去されると、ＤＰＢフルネスは１だけ減分され得る。
[0084]ピクチャ出力の幾つかの例について、次のように説明する。以下は、（現在のピクチャを含んでいる）アクセス単位ｎの（復号単位ｍとして示される）最後の復号単位のＣＰＢ除去時間、ｔr（ｍ）に瞬時に起こり得る。ピクチャｎは、ピクチャの最後の復号単位が復号された後に復号されると見なされ得る。
[0085]（最大ピクチャ順序カウント（ＰＯＣ）のための）変数ｍａｘＰｉｃＯｒｄｅｒＣｎｔは、「短期参照のために使用される」と現在マーキングされているか、又はｔｒ（ｍ）よりも大きいＤＰＢ出力時間を有するＤＰＢ中の現在のピクチャ及び全てのピクチャの（ピクチャ順序カウント（ＰＯＣ）値のための）ＰｉｃＯｒｄｅｒＣｎｔＶａｌ値の最大値に等しく設定され得る。（最小ピクチャ順序カウント（ＰＯＣ）、即ち、最も小さいピクチャ順序カウント（ＰＯＣ）のための）変数ｍｉｎＰｉｃＯｒｄｅｒＣｎｔは、「短期参照のために使用される」と現在マーキングされているか、又はｔｒ（ｍ）よりも大きいＤＰＢ出力時間を有するＤＰＢ中の現在のピクチャ及び全てのピクチャのためのＰｉｃＯｒｄｅｒＣｎｔＶａｌの最小値に等しく設定され得る。ｍａｘＰｉｃＯｒｄｅｒＣｎｔ−ｍｉｎＰｉｃＯｒｄｅｒＣｎｔの値が、ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ／２よりも小さいことがビットストリーム適合の要件であり得る。
[0086]ピクチャｎが１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するとき、それのＤＰＢ出力時間ｔo,dpb（ｎ）は次式によって導出され得る。
to,dpb(n)＝tr(m)＋tc＊dpb_output_delay(n) (C−12)
上式で、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙ（ｎ）が、アクセス単位ｎに関連するピクチャタイミングＳＥＩメッセージにおいて指定されているｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙの値である。現在のピクチャの出力は次のように指定され得る。
ＰｉｃＯｕｔｐｕｔＦｌａｇが、１に等しくなり、ｔo,dpb（ｎ）＝ｔｒ（ｍ）である場合、現在のピクチャが出力される。
そうではなく、ＰｉｃＯｕｔｐｕｔＦｌａｇが０に等しくなる場合、現在のピクチャは、出力されないが、以下で更に指定されるようにＤＰＢに記憶され得る。
そうでない場合（ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しくなり、ｔo,dpb（ｎ）＞ｔｒ（ｍ）である）、現在のピクチャは、後で出力され、（以下で更に指定されるように）ＤＰＢに記憶されることになり、ｔo,dpb（ｎ）に先行する時間に１に等しいｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇの復号又は推論によって出力されるべきでないことが示されない限り、時間ｔo,dpb（ｎ）に出力される。
[0087]出力時に、現在の又は選択されたピクチャは、アクティブシーケンスパラメータセットにおいて指定されているクロッピング矩形を使用してクロップされ、それによって、選択されたピクチャ、即ち、現在のピクチャに基づいてクロップされたピクチャ(croppedpicture)を生成し得る。ピクチャｎが、出力されるピクチャであり、出力されるビットストリームの最後のピクチャではないとき、Δｔo,dpb（ｎ）の値は、次式のように定義される。
Δto,dpb(n)＝to,dpb(nn)−to,dpb(n) (C−13)
上式で、ｎnは、出力順でピクチャｎの後に続く、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを示す。バンピングプロセス及びクロッピングプロセスの更なる詳細について、更に以下で与える。
[0088]現在の復号ピクチャのマーキング及び記憶に関与する幾つかの例について、次のように説明する。以下は、（現在のピクチャを含んでいる）アクセス単位ｎの最後の復号単位のＣＰＢ除去時間、ｔr（ｍ）に瞬時に起こり得る。現在の復号ピクチャは空のピクチャ記憶バッファ中のＤＰＢに記憶され得、ＤＰＢフルネスは、１だけ増分され得る。現在のピクチャは、参照ピクチャである場合、「参照のために使用される」とマーキングされ得、そうでない場合は、「参照のために使用されない」とマーキングされ得る。
[0089]ＣＰＢ挙動モードの信号伝達についての以下の例示的なシンタックス及びセマンティクスを、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成された例示的なビデオエンコーダ２０及び／又はビデオデコーダ３０に関して与える。
[0090]ＣＰＢ挙動モードの信号伝達についてのシンタックス及びセマンティクスの幾つかの例について、次のように説明する。ビデオユーザビリティ情報（ＶＵＩ：videousabilityinformation）パラメータのシンタックスは、以下の表１に示すように、サブピクチャＣＰＢフラグ、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇ、を追加することによって変更され得る。
Figure 0006377603
[0091]この例では、表１には、従来のＨＥＶＣに関係する追加フラグ「ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇ」が含まれる。このサブピクチャＣＰＢフラグ、「ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇ」は、コード化ピクチャバッファ（ＣＰＢ）に与えられるビデオデータのセットがサブピクチャ復号のためのサブピクチャパラメータを含むか否かを信号伝達するために使用され得る。フラグ「ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇ」がその存在を信号伝達し得るそのようなサブピクチャパラメータは、１つ又は複数の復号単位の各々のための個別のバッファ除去時間（即ち、ＣＰＢ除去時間）を含む、バッファ除去時間を含み得る。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇのセマンティクスの一例は以下の通りである。０に等しいシンタックス要素ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇは、ＣＰＢがアクセス単位レベルで動作することを指定し得る。１に等しいシンタックス要素ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇは、ＣＰＢが、サブピクチャに対応し得る、アクセス単位の復号単位レベル又はアクセス単位のサブセットの復号単位レベルであり得る復号単位レベルで動作することを指定し得る。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが存在しないとき、それの値は、０に等しくなると設定又は推論され得、これは、ビデオデータがサブピクチャ復号のためのサブピクチャパラメータを含まないデフォルト状態を示し得る。
[0092]復号単位のＣＰＢ除去時間の信号伝達についてのシンタックス及びセマンティクスの幾つかの例について、次のように説明する。バッファリング期間ＳＥＩメッセージのシンタックスは、ＨＥＶＣＷＤ６に示すようにそのままであり得るが、シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］及びｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］のセマンティクスは次のように変更され得る。この例では、シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＨＲＤ初期化後の第１のバッファリング期間の間の、バッファリング期間ＳＥＩメッセージに関連するアクセス単位中の第１の復号単位に関連するコード化データの第１のビットのＣＰＢへの到着時間と、同じ復号単位に関連するコード化データのＣＰＢからの除去時間との間のＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢの遅延を指定し得る。このシンタックス要素は、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられるビットの長さを有し得る。これは９０ｋＨｚクロックの単位を指すことがある。この例では、このシンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は「０」に等しくなり得ず、９０ｋＨｚクロック単位でＣＰＢサイズに相当する時間である９００００×（ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］÷ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］）を超え得ない。
[0093]この例では、ＣＰＢへの復号単位の初期配信時間を指定するためにシンタックス要素ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙと組み合わせてＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢのためにシンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］が使用され得る。更に、シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は９０ｋＨｚクロックの単位であり得る。ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素は、ビットの長さがｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。このシンタックス要素は、デコーダによって使用され得ず、ＨＥＶＣＷＤ６の付属書類Ｃにおいて指定されている配信スケジューラ（ＨＳＳ）のためにのみ必要とされ得る。
[0094]幾つかの例では、ピクチャタイミングＳＥＩメッセージのシンタックス及びセマンティクスは、以下の表２に示すように変更され得る。
Figure 0006377603
[0095]表２の例では、例えば、上記の表１により、ＶＵＩパラメータのｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが真であるとき、ｐｉｃ_ｔｉｍｉｎｇＳＥＩメッセージは、追加されたｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１信号と、コード化ピクチャバッファから復号単位のそれぞれの除去遅延を信号伝達する、復号単位の数にわたるｆｏｒループとを含む。このようにして、ＣＰＢが復号単位レベルで動作することをＶＵＩパラメータが示すとき、ｐｉｃ_ｔｉｍｉｎｇＳＥＩメッセージは、コード化ピクチャバッファから複数の復号単位の各々を除去するまで待つべきクロックティック(clockticks)の数を示す情報を含み得る。復号単位の除去遅延は、ペイロード中の各復号単位又はデータの他の単位に対して同じ遅延であり得る。他の例では、異なる除去遅延が異なる復号単位に適用され得る。除去遅延は、適用可能なクロックのビット処理レートに関するビット数の暗黙的時間変換を用いてビット数に関して表され得る。
[0096]ピクチャタイミングＳＥＩメッセージのシンタックスは、ピクチャタイミングＳＥＩメッセージに関連するコード化ピクチャについてアクティブであるシーケンスパラメータセットのコンテンツに依存し得る。但し、瞬時復号リフレッシュ（ＩＤＲ）アクセス単位のピクチャタイミングＳＥＩメッセージが、同じアクセス単位内のバッファリング期間ＳＥＩメッセージによって先行されない限り、関連するシーケンスパラメータセットのアクティブ化（及び、ビットストリーム中の第１のピクチャでないＩＤＲピクチャの場合、コード化ピクチャがＩＤＲピクチャであるという決定）は、コード化ピクチャの第１のコード化スライスネットワークアブストラクションレイヤ（ＮＡＬ）単位の復号まで行われないことがある。コード化ピクチャのコード化スライスＮＡＬ単位がＮＡＬ単位順序でピクチャタイミングＳＥＩメッセージに続くので、デコーダが、コード化ピクチャについてアクティブになるであろうシーケンスパラメータセットのパラメータを決定するまで、ピクチャタイミングＳＥＩメッセージを含んでいるローバイトシーケンスペイロード（ＲＢＳＰ：rawbytesequencepayload）を記憶し、次いで、ピクチャタイミングＳＥＩメッセージの構文解析を実行する必要がある場合があり得る。デコーダは、ピクチャバッファ中に連続復号順序でビデオデータの１つ又は複数の復号単位を記憶し得る。
[0097]ビットストリーム中でのピクチャタイミングＳＥＩメッセージの存在は次のように一例では指定され得る。ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しくなる場合、１つのピクチャタイミングＳＥＩメッセージが、コード化ビデオシーケンスのあらゆるアクセス単位中に存在し得る。そうでない場合、ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇは０に等しくなり、ピクチャタイミングＳＥＩメッセージは、コード化ビデオシーケンスのどのアクセス単位中にも存在し得ない。
[0098]この例では、シンタックス要素ｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１＋１は、ピクチャタイミングＳＥＩメッセージが関連するアクセス単位中の復号単位の数を指定し得る。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが０に等しくなるとき、シンタックス要素ｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１は存在し得ず、値は、０に設定又は推論され得る。
[0099]この例では、シンタックス要素ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、前のアクセス単位中の直近のバッファリング期間ＳＥＩメッセージに関連するアクセス単位中の第１の復号単位のＣＰＢからの除去の後、ピクチャタイミングＳＥＩメッセージに関連するアクセス単位中のｉ番目の復号単位をＣＰＢから除去する前に、何個のクロックティックを待つべきかを指定し得る。この値は、ＨＳＳのためのＣＰＢへの復号単位データのできるだけ早い到着時間を計算するためにも使用され得る。そのシンタックス要素は、ビットの長さがｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、モジュロ２(cpb_removal_delay_length_minus1＋1)カウンタの剰余であり得る。
[0100]シンタックス要素ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］の（ビットでの）長さを決定するｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値は、ピクチャタイミングＳＥＩメッセージに関連するコード化ピクチャについてアクティブであるシーケンスパラメータセット中にコード化されるｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値であり得る。しかしながら、ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、異なるコード化ビデオシーケンスのアクセス単位であり得る、バッファリング期間ＳＥＩメッセージを含んでいる前のアクセス単位中の第１の復号単位の除去時間に関係するクロックティックの数を指定し得る。
[0101]この例では、シンタックス要素ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙは、ピクチャのＤＰＢ出力時間を計算するために使用され得る。シンタックス要素ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙは、アクセス単位中の最後の復号単位のＣＰＢからの除去の後、復号ピクチャがＤＰＢから出力される前に、何個のクロックティックを待つべきかを指定し得る。
[0102]ピクチャは、「短期参照のために使用される」又は「長期参照のために使用される」と依然としてマーキングされているとき、それの出力時間にＤＰＢから除去され得ない。復号ピクチャにただ１つのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙが指定され得る。シンタックス要素ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙの長さは、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によってビットで与えられ得る。ｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［ｍａｘ_ｔｅｍｐｏｒａｌ_ｌａｙｅｒｓ_ｍｉｎｕｓ１］が０に等しくなるとき、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙは０に等しくなり得る。
[0103]出力タイミング適合デコーダから出力される任意のピクチャのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間は、復号順序で任意の後続のコード化ビデオシーケンス中の全てのピクチャのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間に先行し得る。このシンタックス要素の値によって確立されるピクチャ出力順序は、ＰｉｃＯｒｄｅｒＣｎｔ（）の値によって確立される順序と同じ順序であり得る。１に等しいか、又は１に等しいと推論されるｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇをもつＩＤＲピクチャに復号順序で先行するので「バンピング」プロセスによって出力されないピクチャについて、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間は、同じコード化ビデオシーケンス内の全てのピクチャに関係するＰｉｃＯｒｄｅｒＣｎｔ（）の値の増加とともに増加し得る。代替例では、関連する復号単位のＣＰＢ除去遅延を搬送するために、復号単位タイミングＳＥＩメッセージと呼ばれることがある、それぞれ復号単位に関連する新しいＳＥＩメッセージが指定され得る。
[0104]このようにして、例示的な定義と、例示的なＨＲＤ動作と、コード化ピクチャバッファの例示的な動作と、ビットストリーム到着の例示的なタイミングと、復号単位除去の例示的なタイミングと、復号単位の例示的な復号と、復号ピクチャバッファの例示的な動作と、復号ピクチャバッファからのピクチャの例示的な除去と、例示的なピクチャ出力と、例示的な現在の復号ピクチャのマーキング及びストレージと、ＣＰＢ挙動モードの信号伝達についての例示的なシンタックス及びセマンティクスとの任意の組合せを実装することによって、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成され得る。
[0105]上記で説明した技法の代替として、復号単位は、次のように定義され得る。「アクセス単位又はアクセス単位のサブセット。ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなる場合、復号単位はアクセス単位である。そうでない場合、復号単位は、アクセス単位中に１つ又は複数のＶＣＬＮＡＬ単位と関連する非ＶＣＬＮＡＬ単位とを含む。アクセス単位中の第１のＶＣＬＮＡＬ単位について、関連する非ＶＣＬＮＡＬ単位は全て、アクセス単位中の非ＶＣＬＮＡＬ単位であり、もしあれば、第１の非ＶＣＬＮＡＬ単位の直後にくる第１のＶＣＬＮＡＬ単位及びフィラーデータＮＡＬ単位の前にある。アクセス単位中の第１のＶＣＬＮＡＬ単位でないＶＣＬＮＡＬ単位について、関連する非ＶＣＬＮＡＬ単位は、もしあれば、非ＶＣＬＮＡＬ単位の直後にくるフィラーデータＮＡＬ単位である。」
[0106]この例では、仮定参照デコーダ（ＨＲＤ）動作は、次のように要約され得る。ＣＰＢサイズ（ビット数）はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］である。時間レイヤＸのためのＤＰＢサイズ（ピクチャ記憶バッファの数）は、両端値を含む０〜ｍａｘ_ｔｅｍｐｏｒａｌ_ｌａｙｅｒｓ_ｍｉｎｕｓ１の範囲内の各Ｘについてｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［Ｘ］＋１であり得る。変数ＳｕｂＰｉｃＣｐｂＰｒｅｆｅｒｒｅｄＦｌａｇは、サブピクチャコード化ピクチャバッファ選好フラグとして使用され得、外部手段によって指定されるか、又は外部手段によって指定されないときは０に設定され得る。別個のサブピクチャコード化ピクチャパラメータ存在フラグ、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇは、１つ又は複数のアクセス単位のサブセットをコード化するために必要なパラメータが利用可能であるかどうかを信号伝達するために使用され得る。単一のサブピクチャコード化ピクチャバッファフラグ、ＳｕｂＰｉｃＣｐｂＦｌａｇは、サブピクチャコード化ピクチャバッファ選好フラグとサブピクチャコード化ピクチャパラメータ存在フラグの両方が正であるか、又は１に設定されるかどうかを示し得る。ビデオコーダは、ビデオデータがＣＰＢから除去されるとき、ビデオデータのアクセス単位をコード化すべきか、又はビデオデータのサブピクチャなどの１つ又は複数のアクセス単位のサブセットをコード化すべきかを決定するために、このサブピクチャコード化ピクチャバッファフラグ、ＳｕｂＰｉｃＣｐｂＦｌａｇ、を使用し得る。
[0107]変数ＳｕｂＰｉｃＣｐｂＦｌａｇは次のように導出され得る。
SubPicCpbFlag＝SubPicCpbPreferredFlag&&sub_pic_cpb_params_present_flag (C−1)
[0108]ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなる場合、ＣＰＢは、アクセス単位レベルで動作し得、各復号単位はアクセス単位であり得る。そうでない場合、ＣＰＢは、サブピクチャレベルで動作し得、各復号単位はアクセス単位のサブセットであり得る。
[0109]ビデオデコーダ３０／１０８は、サブピクチャコード化ピクチャバッファ選好フラグ（例えば、ＳｕｂＰｉｃＣｐｂＰｒｅｆｅｒｒｅｄＦｌａｇ）が０の値を有すると決定するか、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグ（例えば、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ）が０の値を有すると決定することによって、１つ又は複数の復号単位がアクセス単位を備えると決定し得る。
[0110]ＨＲＤ（例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０）は、次のように動作し得る。指定された到着スケジュールに従ってＣＰＢに流れる復号単位に関連するデータは、ＨＳＳによって配信され得る。一例では、各復号単位に関連するデータは、ＣＰＢ除去時間に瞬時復号プロセスによって瞬時に除去され復号され得る。各復号ピクチャは、ＤＰＢ中に配置され得る。復号ピクチャは、ＤＰＢ出力時又はインター予測参照のためにもはや必要とされなくなったときのうちの後の方でＤＰＢから除去され得る。
[0111]本開示で説明する算術演算は、丸め誤差が伝搬されないように実数値を用いて行われ得る。例えば、復号単位の除去の直前の又はそれの直後のＣＰＢ中のビット数は必ずしも整数であるとは限らないことがある。
[0112]変数ｔcは、次式のように導出され得、クロックティックと呼ばれる。
tc＝num_units_in_tick÷time_scale (C−1)
[0113]以下は、本開示の技法のこの例における制約を表すために指定され得る。
アクセス単位ｎを、復号順序でｎ番目のアクセス単位とし、第１のアクセス単位がアクセス単位０である。
ピクチャｎを、コード化ピクチャ又はアクセス単位ｎの復号ピクチャとする。
復号単位ｍを、復号順序でｍ番目の復号単位とし、第１の復号単位が復号単位０である。
[0114]コード化ピクチャバッファ（ＣＰＢ）の動作は、次のように定義され得る。この例での仕様は、存在するＣＰＢパラメータの各セットに、及びタイプＩとタイプＩＩ適合ポイントの両方に独立して適用され得る。
[0115]ビットストリーム到着のタイミングに関して、ＨＲＤは、バッファリング期間ＳＥＩメッセージのうちのいずれか１つで初期化され得る。初期化前に、ＣＰＢは空であり得る。初期化後、ＨＲＤは後続のバッファリング期間ＳＥＩメッセージによって再び初期化され得ない。
[0116]各アクセス単位はそれぞれアクセス単位ｎと呼ばれることがあり、数ｎは特定のアクセス単位を識別する。ＣＰＢを初期化するバッファリング期間ＳＥＩメッセージに関連するアクセス単位は、アクセス単位「０」と呼ばれることがある。ｎの値は、復号順序で後続のアクセス単位ごとに１だけ増分され得る。
[0117]各復号単位はそれぞれ復号単位ｍと呼ばれ、数ｍは特定の復号単位を識別する。アクセス単位０中の復号順序で第１の復号単位は復号単位０と呼ばれることがある。ｍの値は、復号順序で後続の復号単位ごとに１だけ増分され得る。
[0118]この例では、変数ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなる場合、変数ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、関連するバッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］に設定され得、かつＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、関連するバッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］に設定され得る。そうでない場合、変数ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、関連するバッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］に設定され得、かつＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、関連するバッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］に設定され得る。
[0119]復号単位ｎの第１のビットがＣＰＢに入り始める時間は、初期到着時間ｔai（ｍ）と呼ばれることがある。復号単位の初期到着時間は次のように導出され得る。
復号単位が復号単位０である場合、ｔai（０）＝０である。
そうでない場合（復号単位が復号単位ｍであり、ｍ＞０である）、以下が適用され得る。
ｃｂｒ_ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が１に等しくなる場合、復号単位ｍの初期到着時間がアクセス単位ｍ−１の（以下で導出される）最終到着時間に等しくなり得る。即ち、次式のようになる。
tai(m)＝taf(m−1) (C−2)
そうでない場合（ｃｂｒ_ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が０に等しくなる）、復号単位ｍのための初期到着時間は、次式によって導出され得る。
tai(m)＝Max(taf(m−1),tai,earliest(m)) (C−3)
上式で、ｔai,earliest（ｍ）は次のように導出され得る。
復号単位ｎが後続のバッファリング期間の第１の復号単位でない場合、ｔai,earliest（ｍ）は次式のように導出され得る。
tai,earliest(m)＝tr,n(m)−(InitCpbRemovalDelay[SchedSelIdx]＋
InitCpbRemovalDelayOffset[SchedSelIdx])÷90000 (C−4)
上式で、ｔr,n（ｍ）は、ＣＰＢからの復号単位ｍの名目除去時間である。
そうでない場合（復号単位ｍが後続のバッファリング期間の第１の復号単位である）、ｔai,earliest（ｍ）は次式のように導出され得る。
tai,earliest(m)＝tr,n(m)−(InitCpbRemovalDelay[SchedSelIdx]÷90000)
(C−5)
[0120]復号単位ｍの最終到着時間ｔafは次式によって導出され得る。
taf(m)＝tai(m)＋b(m)÷BitRate[SchedSelIdx]
(C−6)
上式で、ｂ（ｍ）は、復号単位ｍのビットのサイズであり、タイプＩ適合ポイントの場合には、ＶＣＬＮＡＬ単位及びフィラーデータＮＡＬ単位(fillerdataNALunits)のビットをカウントし、又はタイプＩＩ適合ポイントの場合には、タイプＩＩビットストリームの全てのビットをカウントする。
[0121]幾つかの例では、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、及びＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値は、次のように制限され得る。
復号単位ｍを含んでいるアクセス単位のためのアクティブシーケンスパラメータセットのコンテンツと前のアクセス単位とが異なる場合、ＨＳＳは、復号単位ｍを含んでいるアクセス単位のためのアクティブシーケンスパラメータセット中に与えられたＳｃｈｅｄＳｅｌＩｄｘの値の中から、ＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ１を選択し得、その場合、復号単位ｍを含んでいるアクセス単位のためにＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］を生じる。ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］の値は、前のアクセス単位のために使用されていたＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ０のためのＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］の値とは異なり得る。
そうでない場合、ＨＳＳは、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、及びＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の前の値で動作し続け得る。
[0122]ＨＳＳが前のアクセス単位のＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値とは異なるＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］又はＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値を選択すると、以下が適用され得る。
変数ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は時間ｔai（ｍ）に効力を発し得る。
変数ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は次のように効力を発し得る。
ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値が古いＣＰＢサイズを超えた場合、その値は時間ｔai（ｍ）に効力を発し得る。
そうでない場合、ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値は、復号単位ｍを含んでいるアクセス単位の最後の復号単位のＣＰＢ除去時間に効力を発し得る。
[0123]変数ＳｕｂＰｉｃＣｐｂＦｌａｇが１に等しくなるとき、アクセス単位ｎの初期ＣＰＢ到着時間ｔai（ｎ）がアクセス単位ｎ中の第１の復号単位の初期ＣＰＢ到着時間に設定され得、かつアクセス単位ｎの最終ＣＰＢ到着時間ｔaf（ｎ）がアクセス単位ｎ中の最後の復号単位の最終ＣＰＢ到着時間に設定され得る。ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなるとき、各復号単位はアクセス単位であり得、従って、アクセス単位ｎの初期及び最終ＣＰＢ到着時間は復号単位ｍの初期及び最終ＣＰＢ到着時間であり得る。
[0124]以下の説明は、復号単位除去及び復号単位の復号のタイミングについての例を与える。ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなる場合、変数ＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｍ）は、復号単位ｍであるアクセス単位に関連するピクチャタイミングＳＥＩメッセージにおいて指定されているｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙの値に設定され得る。そうでない場合、変数ＣｐｂＲｅｍｏｖａｌＤｅｌａｙ（ｍ）は、復号単位ｍを含んでいるアクセス単位に関連するピクチャタイミングＳＥＩメッセージにおいて指定されている復号単位ｍのｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］の値に設定され得る。
[0125]復号単位ｍが、ｍが０に等しい復号単位（ＨＲＤを初期化するアクセス単位の第１の復号単位）であるとき、ＣＰＢからの復号単位の名目除去時間は次式によって指定され得る。
tr,n(0)＝InitCpbRemovalDelay[SchedSelIdx]÷90000 (C−7)
[0126]復号単位ｍが、ＨＲＤを初期化しないバッファリング期間の第１のアクセス単位の第１の復号単位であるとき、ＣＰＢからの復号単位の名目除去時間は次式によって指定され得る。
tr,n(m)＝tr,n(mb)＋tc＊CpbRemovalDelay(m) (C−8)
上式で、ｔr,n（ｍb）は、前のバッファリング期間の第１の復号単位の名目除去時間である。
[0127]復号単位ｍがバッファリング期間の第１の復号単位であるとき、ｍbは、復号単位ｍの除去時間ｔr,n（ｍ）にｍに等しく設定され得る。
[0128]バッファリング期間の第１の復号単位ではない復号単位ｍの名目除去時間ｔr,n（ｍ）は、次式によって与えられ得る。
tr,n(m)＝tr,n(mb)＋tc＊CpbRemovalDelay(m) (C−9)
上式で、ｔr,n（ｍb）は、前のバッファリング期間の第１の復号単位の名目除去時間である。
[0129]復号単位ｍの除去時間は次のように指定され得る。
ｌｏｗ_ｄｅｌａｙ_ｈｒｄ_ｆｌａｇが０に等しくなるか、又はｔr,n（ｍ）≧ｔａｆ（ｍ）である場合、復号単位ｍの除去時間は次式によって指定され得る。
tr(m)＝tr,n(m) (C−10)
そうでない場合（ｌｏｗ_ｄｅｌａｙ_ｈｒｄ_ｆｌａｇが１に等しくり、ｔｒ，ｎ（ｍ）＜ｔａｆ（ｍ）である）、復号単位ｍの除去時間は次式によって指定され得る。
tr(m)＝tr,n(m)＋tc＊Ceil((taf(m)−tr,n(m))÷ tc) (C−11)
後者のケースは、この例では、復号単位ｍのサイズ、ｂ（ｍ）が非常に大きくて、名目除去時間における除去を阻むことを示している。
[0130]ＳｕｂＰｉｃＣｐｂＦｌａｇが１に等しくなるとき、アクセス単位ｎの名目ＣＰＢ除去時間ｔr,n（ｎ）がアクセス単位ｎ中の最後の復号単位の名目ＣＰＢ除去時間に設定され得、アクセス単位ｎのＣＰＢ除去時間ｔr（ｎ）がアクセス単位ｎ中の最後の復号単位のＣＰＢ除去時間に設定され得る。ＳｕｂＰｉｃＣｐｂＦｌａｇが０に等しくなるとき、この例では、各復号単位ｍはアクセス単位ｎであり、従って、公称ＣＰＢ除去時間及びアクセス単位ｎのＣＰＢ除去時間は、公称ＣＰＢ除去時間及び復号単位ｍのＣＰＢ除去時間である。復号単位ｍのＣＰＢ除去時間に、幾つかの例では、復号単位が瞬時に復号され得る。
[0131]この例では、復号ピクチャバッファ（ＤＰＢ）は次のように動作し得る。復号ピクチャバッファは、１つ又は複数のピクチャ記憶バッファを含み得る。ピクチャ記憶バッファの各々は、「参照のために使用される」とマーキングされているか、又は将来の出力のために保持された復号ピクチャを含み得る。初期化の前に、ＤＰＢは空であり得る（ＤＰＢフルネス変数が０に設定され得る）。この例の後続のステップは、リスト化されたシーケンスで起こり得る。
[0132]第１に、ピクチャは、ＤＰＢから除去され得る。現在のピクチャの復号の前の（但し、現在のピクチャの第１のスライスのスライスヘッダを構文解析した後の）ＤＰＢからのピクチャの除去は、（現在のピクチャを含んでいる）アクセス単位ｎの第１の復号単位のＣＰＢ除去時間に瞬時に起こり得、次のように進み得る。ＨＥＶＣＷＤ６の８．３．２項において指定されている参照ピクチャセットのための復号プロセスが呼び出され得る。現在のピクチャがＩＤＲピクチャである場合、以下が適用され得る。ＩＤＲピクチャが復号される最初のＩＤＲピクチャではなく、アクティブシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値が、それぞれ、前のピクチャについてアクティブであったシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値とは異なるとき、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇ（即ち、前のピクチャフラグの出力なし）は、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇの実際の値にかかわらず、ＨＲＤによって１に等しいと推論されるか、又はＨＲＤによってそれ自体の処理のために１に設定され得る。デコーダ実装形態は、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓの変更に関して、ＨＲＤよりも適切にピクチャ又はＤＰＢサイズ変更を処理しようと試み得る。
[0133]ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが、１に等しくなるか又は１に等しくなると推論されるとき、ＤＰＢ中の全てのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされ得、ＤＰＢフルネスは０に設定され得る。（ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが１に等しくない値を有する場合に実行され得る更なる処理については、以下で更に説明する。）以下の条件が真である、ＤＰＢ中の全てのピクチャｋがＤＰＢから除去され得る。
ピクチャｋが、「参照のために使用されない」とマーキングされている。
ピクチャｋが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するか、又はそれのＤＰＢ出力時間が、現在のピクチャｎの（復号単位ｍとして示される）第１の復号単位のＣＰＢ除去時間以下である、即ち、ｔo,dpb（ｋ）≦ｔr（ｍ）である。
[0134]ピクチャがＤＰＢから除去されると、ＤＰＢフルネスは１だけ減分され得る。ピクチャ出力について、アクセス単位ｎのＣＰＢ除去時間、ｔｒ（ｎ）に以下が瞬時に起こり得る。
[0135]ピクチャｎは、ピクチャの最後の復号単位が復号された後に復号されると見なされ得る。
[0136]ピクチャｎが１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するとき、それのＤＰＢ出力時間ｔｏ，ｄｐｂ（ｎ）は次式によって導出され得る。
to,dpb(n)＝tr(n)＋tc＊dpb_output_delay(n) (C−12)
上式で、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙ（ｎ）が、アクセス単位ｎに関連するピクチャタイミングＳＥＩメッセージにおいて指定されているｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙの値である。
[0137]現在のピクチャの出力は次のように指定され得る。
ＰｉｃＯｕｔｐｕｔＦｌａｇが、１に等しくなり、ｔｏ，ｄｐｂ（ｎ）＝ｔｒ（ｎ）である場合、現在のピクチャが出力され得る。
そうではなく、ＰｉｃＯｕｔｐｕｔＦｌａｇが０に等しくなる場合、現在のピクチャは、出力され得ず、ＤＰＢに記憶され得る。
そうでない場合（ＰｉｃＯｕｔｐｕｔＦｌａｇが１に等しくなり、ｔo,dpb（ｎ）＞ｔｒ（ｎ）である）、現在のピクチャは、後で出力され得、（本開示によって変更されたＨＥＶＣＷＤ６のＣ．３．３項において指定されているように）ＤＰＢに記憶され得、ｔo,dpb（ｎ）に先行する時間に１に等しいｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇの復号又は推論によって出力されるべきでないことが示されない限り、時間ｔo,dpb（ｎ）に出力され得る。言い換えれば、前のピクチャの出力なしフラグが１に等しくない場合、現在のピクチャは、ＤＰＢに記憶され得、後で、例えば、ｔo,dpb（ｎ）に出力され得る。
[0138]出力時に、ピクチャは、アクティブシーケンスパラメータセットにおいて指定されているクロッピング矩形を使用してクロップされ得る。
[0139]ピクチャｎが、出力されるピクチャであり、出力されるビットストリームの最後のピクチャではないとき、ＤＰＢ出力時間間隔の値Δｔｏ，ｄｐｂ（ｎ）の値は、次式のように定義され得る。
Δto,dpb(n)＝to,dpb(nn)−to,dpb(n) (C−13)
上式で、ｎnは、出力順序でピクチャｎの後に続く、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有するピクチャを示し、従って、ＤＰＢ出力時間間隔Δｔｏ，ｄｐｂ（ｎ）は、出力順序でピクチャｎの後の後続のピクチャのＤＰＢ出力時間とピクチャｎのＤＰＢ出力時間との間の差として定義され得る。
[0140]現在の復号ピクチャのマーキング及び記憶について、アクセス単位ｎのＣＰＢ除去時間、ｔｒ（ｎ）に以下が瞬時に実施され得る。現在の復号ピクチャが、空のピクチャ記憶バッファ中のＤＰＢに記憶され得、ＤＰＢフルネスが１だけ増分され得る。現在のピクチャは、参照ピクチャである場合、「参照のために使用される」とマーキングされ得、そうでない場合、「参照のために使用されない」とマーキングされ得る。
[0141]ＤＰＢの出力順序の動作について、復号ピクチャバッファは、１つ又は複数のピクチャ記憶バッファを含み得る。ピクチャ記憶バッファの各々は、「参照のために使用される」とマーキングされているか、又は将来の出力のために保持された復号ピクチャを含み得る。ＨＲＤの初期化前に、ＣＰＢは空であり得る。後続のステップは、リストされた順序で起こり得る。
[0142]ピクチャは、次のようにＤＰＢから除去され得る。現在のピクチャの復号の前の（但し、現在のピクチャの第１のスライスのスライスヘッダを構文解析した後の）ＤＰＢからのピクチャの除去は、現在のピクチャを含んでいるアクセス単位の第１の復号単位がＣＰＢから除去されるときに瞬時に実施され得、次のように進み得る。
[0143]本開示に従って変更された、ＨＥＶＣＷＤ６の８．３．４．３項において指定されているように参照ピクチャセットのための復号プロセスは（部分的に上記で説明したように、及び更に次のように説明するように）呼び出され得る。
[0144]現在のピクチャがＩＤＲピクチャである場合、以下が適用され得る。
ＩＤＲピクチャが復号される最初のＩＤＲピクチャではなく、アクティブシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値が、それぞれ、前のピクチャについてアクティブであったシーケンスパラメータセットから導出されたｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値とは異なるとき、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇは、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇの実際の値にかかわらず、ＨＲＤによって１に等しくなると設定又は推論され得る。デコーダ実装形態は、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ又はｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇの値の変更をＨＲＤよりも適切に処理しようと試み得る。
ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが、１に等しくなるか又は１に等しくなると推論されるとき、ＤＰＢ中の全てのピクチャ記憶バッファは、それらが含んでいるピクチャの出力なしに空にされ得る。
そうでない場合、「出力のために必要とされない」及び「参照のために使用されない」とマーキングされているピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされ得る。
[0145]以下の条件のいずれかが真であるとき、本開示によって変更されたＨＥＶＣＷＤ６のＣ．５．２．１項において指定されている「バンピング(bumping)」プロセスが、現在の復号ピクチャを記憶するために空のピクチャ記憶バッファがあるまで、繰り返し呼び出され得る。
「出力のために必要とされる」とマーキングされているＤＰＢ中のピクチャの数が、現在の時間レイヤにおける並べ替えピクチャの数、即ち、ｎｕｍ_ｒｅｏｒｄｅｒ_ｐｉｃｓ［ｔｅｍｐｏｒａｌ_ｉｄ］よりも大きい、又は
現在のピクチャの時間レイヤ識別子値、ｔｅｍｐｏｒａｌ_ｉｄ以下の時間レイヤ識別子値ｔｅｍｐｏｒａｌ_ｉｄをもつＤＰＢ中のピクチャの数が、現在の時間レイヤの最大ピクチャバッファリング値＋１、即ち、ｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［ｔｅｍｐｏｒａｌ_ｉｄ］＋１に等しくなる、又は
現在のピクチャは、前のピクチャの出力なしフラグ、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが１に等しくない値を有し、１に等しいと推論されないＩＤＲピクチャである。
[0146]以下のステップが実行され得る。「出力のために必要とされない」及び「参照のために使用されない」とマーキングされているピクチャを含んでいるピクチャ記憶バッファが（出力なしに）空にされ得、ＤＰＢ中の全ての空でないピクチャ記憶バッファが、以下で指定する「バンピング」プロセスを繰り返し呼び出すことによって空にされ得る。
[0147]従って、「バンピング」プロセスは、以下の場合のいずれかに呼び出され得る。
現在のピクチャが、ＩＤＲピクチャであり、ｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇが、本開示によって変更されたＨＥＶＣＷＤ６のＣ．５．２項において指定されているように、１に等しくなく、１に等しくなるように設定又は推論されない、又は
「出力のために必要とされる」とマーキングされているＤＰＢ中のピクチャの数が、本開示によって変更されたＨＥＶＣＷＤ６のＣ．５．２項において指定されているように、現在の時間レイヤにおける並べ替えピクチャの数、即ち、ｎｕｍ_ｒｅｏｒｄｅｒ_ｐｉｃｓ［ｔｅｍｐｏｒａｌ_ｉｄ］よりも大きい、又は
現在のピクチャの時間レイヤ識別子値、ｔｅｍｐｏｒａｌ_ｉｄ以下のｔｅｍｐｏｒａｌ_ｉｄをもつＤＰＢ中のピクチャの数が、本開示によって変更されたＨＥＶＣＷＤ６のＣ．５．２項において指定されているように、現在の時間レイヤの最大ピクチャバッファリング値＋１、即ち、ｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［ｔｅｍｐｏｒａｌ_ｉｄ］＋１に等しくなる。
[0148]「バンピング」プロセスは、以下の順序付きステップを含み得る。
１．最初に出力のためのピクチャが、「出力のために必要とされる」とマーキングされているＤＰＢ中の全てのピクチャのうちＰｉｃＯｒｄｅｒＣｎｔＶａｌの最小値を有するピクチャとして選択され得る。
２．ピクチャが、ピクチャのためのアクティブシーケンスパラメータセットにおいて指定されるクロッピング矩形を使用してクロップされ、クロップされたピクチャが出力され得、ピクチャが、「出力のために必要とされない」とマーキングされ得る。
３．クロップされ、出力されたピクチャを含んだピクチャ記憶バッファが「参照のために使用されない」とマーキングされているピクチャを含んでいる場合、ピクチャ記憶バッファは空にされ得る。
[0149]現在のピクチャを含んでいるアクセス単位ｎの最後の復号単位がＣＰＢから除去されると、ピクチャ復号、マーキング、及び記憶のために以下が瞬時に起こり得る。
[0150]現在のピクチャは、ピクチャの最後の復号単位が復号された後に復号されると見なされ得る。現在の復号ピクチャは、ＤＰＢ中の空のピクチャ記憶バッファに記憶され得、以下が適用され得る。
現在の復号ピクチャは、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する場合、「出力のために必要とされる」とマーキングされ得る。
そうでない場合（現在の復号ピクチャが０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）、現在の復号ピクチャは、「出力のために必要とされない」とマーキングされ得る。
[0151]現在の復号ピクチャは、参照ピクチャである場合、「参照のために使用される」とマーキングされ得、そうでない場合（現在の復号ピクチャが非参照ピクチャである）、「参照のために使用されない」とマーキングされ得る。
[0152]従って、バンピングプロセスは、ＤＰＢ中のピクチャのうち最も小さいピクチャ順序カウント（ＰＯＣ）値を有し、選択されたピクチャとして出力のために必要とされるとマーキングされているピクチャを選択することと、選択されたピクチャのためのアクティブシーケンスパラメータセットにおいて指定されているように選択されたピクチャをクロップし、それによって選択されたピクチャに基づいてクロップピクチャを生成することと、クロップピクチャを出力することと、選択されたピクチャを出力のために必要とされないとマーキングすることとを含み得る。
[0153]以下で定義するセマンティクスを使用して、ＣＰＢ挙動モードを信号伝達するためにシンタックス要素が使用され得る。ＶＵＩパラメータのシンタックス及びセマンティクスは、以下の表３に示すように変更され得る（既存のシンタックス要素のセマンティクスは、この例では、ＨＥＶＣＷＤ６に関係して変更されない）。
Figure 0006377603
Figure 0006377603
[0154]表３の例では、ＶＵＩパラメータは、従来のＨＥＶＣに関係する追加フラグｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇを含む。このフラグについてのセマンティクスは、次のように定義され得る。１に等しいｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇは、サブピクチャレベルＣＰＢ除去遅延パラメータが存在し、ＣＰＢがアクセス単位レベル又はサブピクチャレベルで動作し得ることを指定し得る。０に等しい変数ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇは、サブピクチャレベルＣＰＢ除去遅延パラメータが存在せず、ＣＰＢがアクセス単位レベルで動作しなければならないことを指定し得る。ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇが存在しないとき、それの値は、０に等しくなると設定又は推論され得る。
[0155]以下で説明するセマンティクスを使用して、復号単位のＣＰＢ除去時間を信号伝達するためにもシンタックス要素が使用され得る。この例では、シンタックス要素は、例えば、表４の例に従って、バッファリング期間ＳＥＩメッセージ中で信号伝達され得る。
Figure 0006377603
[0156]表４の例では、バッファリング期間ＳＥＩメッセージは、従来のＨＥＶＣに関係する追加条件文を含み、その追加条件文は、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇが真であるとき、ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］及びｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］の２つのシンタックス要素が追加されることを更に含む。この条件文及び追加シンタックス要素は、ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが真であるとき及び／又はＶｃｌＨａｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが真であるときの条件文のいずれか又は両方内に追加され得る。
[0157]表５に、サブピクチャレベルＣＰＢ動作のための初期ＣＰＢ除去遅延及び初期ＣＰＢ除去遅延オフセットを信号伝達するように異なるＳＥＩメッセージが定義される代替例を与える。
Figure 0006377603
[0158]上記の表４の例では、ＮａｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇ又はＶｃｌＨｒｄＢｐＰｒｅｓｅｎｔＦｌａｇが１に等しくなるとき、バッファリング期間ＳＥＩメッセージは、ビットストリーム中の任意のアクセス単位に関連付けられ得、バッファリング期間ＳＥＩメッセージは、各ＩＤＲアクセス単位、各ＣＲＡアクセス単位、及び回復点ＳＥＩメッセージに関連する各アクセス単位に関連付けられ得る。適用例によっては、バッファリング期間ＳＥＩメッセージの頻繁な存在が望ましいことがある。幾つかの例では、バッファリング期間は、復号順序でバッファリング期間ＳＥＩメッセージの２つのインスタンスの間にアクセス単位のセットとして指定され得る。
[0159]上記の表４及び表５の例では、変数ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、シーケンスＨＲＤ属性を含んでいるシーケンスパラメータセットを指定し得る。ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は、バッファリング期間ＳＥＩメッセージに関連する１次コード化ピクチャによって参照されるピクチャパラメータセット中のｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値に等しくなり得る。幾つかの例では、ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は、両端値を含む０〜３１の範囲内にあり得る。
[0160]上記の表４の例では、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＨＲＤ初期化後の第１のバッファリング期間の間の、バッファリング期間ＳＥＩメッセージに関連するアクセス単位に関連するコード化データの第１のビットのＣＰＢへの到着時間と、同じアクセス単位に関連するコード化データのＣＰＢからの除去時間との間のＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢの遅延を指定し得る。このシンタックス要素は、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられるビットの長さを有し得る。これは、この例では、９０ｋＨｚクロックの単位であり得る。シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、この例では、「０」に等しくなり得ず、この例では、９０ｋＨｚクロック単位でＣＰＢサイズに相当する時間である９００００×（ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］・ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］）を超え得ない。
[0161]上記の表４の例では、ＣＰＢへのコード化アクセス単位の初期配信時間を指定するためにｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙと組み合わせてＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢのためにシンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］が使用され得る。シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、この例では、９０ｋＨｚクロックの単位であり得る。ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素は、ビットの長さがｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。このシンタックス要素は、デコーダによって使用され得ず、ＨＥＶＣＷＤ６の付属書類Ｃにおいて指定されている配信スケジューラ（ＨＳＳ）のためにのみ必要とされ得る。コード化ビデオシーケンス全体にわたって、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］との和は、ＳｃｈｅｄＳｅｌＩｄｘの値ごとに一定であり得る。
[0162]上記の表４及び表５の例では、シンタックス要素ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＨＲＤ初期化後の第１のバッファリング期間の間の、バッファリング期間ＳＥＩメッセージに関連するアクセス単位中の第１の復号単位に関連するコード化データの第１のビットのＣＰＢへの到着時間と、同じ復号単位に関連するコード化データのＣＰＢからの除去時間との間のＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢの遅延を指定し得る。このシンタックス要素は、ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられるビットの長さを有し得る。このシンタックス要素は、この例では、９０ｋＨｚクロックの単位であり得る。この例では、シンタックス要素ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は「０」に等しくなり得ず、９０ｋＨｚクロック単位でＣＰＢサイズに相当する時間である９００００×（ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］÷ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］）を超え得ない。
[0163]上記の表４及び表５の例では、ＣＰＢへの復号単位の初期配信時間を指定するためにｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙと組み合わせてＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢのためにシンタックス要素ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］が使用され得る。シンタックス要素ｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、この例では、９０ｋＨｚクロックの単位であり得る。ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素は、ビットの長さがｉｎｉｔｉａｌ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。このシンタックス要素は、デコーダによって使用され得ず、この例では、ＨＥＶＣＷＤ６の付属書類Ｃにおいて指定されている配信スケジューラ（ＨＳＳ）のためにのみ必要とされ得る。
[0164]コード化ビデオシーケンス全体にわたって、ｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｉｎｉｔｉａｌ_ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］との和は、ＳｃｈｅｄＳｅｌＩｄｘの値ごとに一定であり得る。
[0165]以下の表６に、例示的なピクチャタイミングＳＥＩメッセージシンタックスを与える。
Figure 0006377603
[0166]この例では、ピクチャタイミングＳＥＩメッセージは、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｆｌａｇのための追加条件文を含み、その追加条件文は、真のとき、ｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１シンタックス要素と、復号単位の各々のために、対応するｎｕｍｂ_ｎａｌｕｓ_ｉｎ_ｄｕ_ｍｉｎｕｓ１とｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙとを信号伝達するｆｏｒループとを信号伝達する。代替的に、各復号単位へのＮＡＬ単位のマッピングは、他の手段を使用して、例えば、各ＶＣＬＮＡＬ単位のための復号単位ＩＤを、例えば、ＮＡＬ単位ヘッダ、スライスヘッダ、又は新しいＳＥＩメッセージ中に含めることによって信号伝達され得る。各非ＶＣＬＮＡＬ単位のための復号ＩＤは、関連するＶＣＬＮＡＬ単位と同じであり得る。
[0167]表６の例でのピクチャタイミングＳＥＩメッセージのシンタックスは、ピクチャタイミングＳＥＩメッセージに関連するコード化ピクチャについてアクティブであるシーケンスパラメータセットのコンテンツに依存し得る。但し、ＩＤＲアクセス単位のピクチャタイミングＳＥＩメッセージが、同じアクセス単位内のバッファリング期間ＳＥＩメッセージによって先行されない限り、関連するシーケンスパラメータセットのアクティブ化（及び、ビットストリーム中の第１のピクチャでないＩＤＲピクチャの場合、コード化ピクチャがＩＤＲピクチャであるという決定）は、コード化ピクチャの第１のコード化スライスＮＡＬ単位の復号まで行われないことがある。コード化ピクチャのコード化スライスＮＡＬ単位がＮＡＬ単位順序でピクチャタイミングＳＥＩメッセージに続き得るので、デコーダが、コード化ピクチャについてアクティブになるであろうシーケンスパラメータのパラメータを決定するまで、ピクチャタイミングＳＥＩメッセージを含んでいるＲＢＳＰを記憶し、次いで、ピクチャタイミングＳＥＩメッセージのパースを実行する場合があり得る。
[0168]ビットストリーム中の表６の例ごとのピクチャタイミングＳＥＩメッセージの存在は、次のように指定され得る。
ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが１に等しくなる場合、ピクチャタイミングＳＥＩメッセージは、コード化ビデオシーケンスのあらゆるアクセス単位中にも存在し得る。
そうでない場合（ＣｐｂＤｐｂＤｅｌａｙｓＰｒｅｓｅｎｔＦｌａｇが０に等しくなる）、ピクチャタイミングＳＥＩメッセージは、コード化ビデオシーケンスのどのアクセス単位中にも存在する必要はない。
[0169]変数ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙは、前のアクセス単位中の直近のバッファリング期間ＳＥＩメッセージに関連するアクセス単位のＣＰＢからの除去の後、ピクチャタイミングＳＥＩメッセージに関連するアクセス単位データをバッファから除去する前に、何個のクロックティック（ＨＥＶＣＷＤ６のＥ．２．１項を参照）を待つべきかを指定し得る。この値は、ＨＥＶＣＷＤ６の付属書類Ｃにおいて指定されているように、ＨＳＳのためのＣＰＢへのアクセス単位データのできるだけ早い到着時間を計算するためにも使用され得る。そのシンタックス要素は、ビットの長さがｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙは、モジュロ２（ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１）カウンタの剰余であり得る。シンタックス要素ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙの（ビットでの）長さを決定するｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値は、ピクチャタイミングＳＥＩメッセージに関連する１次コード化ピクチャについてアクティブであるシーケンスパラメータセット中にコード化されるｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値であり得る。しかしながら、ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙは、異なるコード化ビデオシーケンスのアクセス単位であり得る、バッファリング期間ＳＥＩメッセージを含んでいる前のアクセス単位の除去時間に関係するクロックティックの数を指定し得る。
[0170]変数ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙは、ピクチャのＤＰＢ出力時間を計算するために使用され得る。この変数は、ＣＰＢからのアクセス単位中の最後の復号単位の除去の後、復号ピクチャがＤＰＢから出力される前に、何個のクロックティックを待つべきかを指定し得る（ＨＥＶＣＷＤ６のＣ．２項を参照）。ピクチャは、この例では、「短期参照のために使用される」又は「長期参照のために使用される」と依然としてマーキングされているとき、それの出力時間にＤＰＢから除去され得ない。この例では、復号ピクチャにただ１つのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙ変数が指定され得る。
[0171]シンタックス要素ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙの長さは、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によってビットで与えられ得る。ｍａｘ_ｄｅｃ_ｐｉｃ_ｂｕｆｆｅｒｉｎｇ［ｍａｘ_ｔｅｍｐｏｒａｌ_ｌａｙｅｒｓ_ｍｉｎｕｓ１］が０に等しくなるとき、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙはまた０に等しくなり得る。
[0172]本開示によって変更されたＨＥＶＣＷＤ６のＣ．２項において指定されているように、出力タイミング適合デコーダから出力される任意のピクチャのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間は、復号順序で任意の後続のコード化ビデオシーケンス中の全てのピクチャのｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間に先行し得る。
[0173]このシンタックス要素の値によって確立されるピクチャ出力順序は、ＨＥＶＣＷＤ６のＣ．５項によって指定されるように、ＰｉｃＯｒｄｅｒＣｎｔ（）の値によって確立される順序と同じ順序であり得る。
[0174]１に等しいか、又は１に等しくなると設定もしくは推論されるｎｏ_ｏｕｔｐｕｔ_ｏｆ_ｐｒｉｏｒ_ｐｉｃｓ_ｆｌａｇをもつＩＤＲピクチャに復号順序で先行するので本開示によって変更されたＨＥＶＣＷＤ６のＣ．５項の「バンピング」プロセスによって出力されないピクチャについて、ｄｐｂ_ｏｕｔｐｕｔ_ｄｅｌａｙから導出される出力時間は、同じコード化ビデオシーケンス内の全てのピクチャに関係するＰｉｃＯｒｄｅｒＣｎｔ（）の値の増加とともに増加し得る。
[0175]変数ｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１＋１は、ピクチャタイミングＳＥＩメッセージが関連するアクセス単位中の復号単位の数を指定し得る。ｎｕｍ_ｄｅｃｏｄｉｎｇ_ｕｎｉｔｓ_ｍｉｎｕｓ１の値は、例えば、両端値を含む０〜Ｘの範囲内にあり得る。
[0176]変数ｎｕｍ_ｎａｌｕｓ_ｉｎ_ｄｕ_ｍｉｎｕｓ１［ｉ］＋１は、ピクチャタイミングＳＥＩメッセージが関連するアクセス単位のｉ番目の復号単位中のＮＡＬ単位の数を指定し得る。ｎｕｍ_ｎａｌｕｓ_ｉｎ_ｄｕ_ｍｉｎｕｓ１［ｉ］の値は、例えば、両端値を含む０〜Ｘの範囲内にあり得る。
[0177]アクセス単位の第１の復号単位は、アクセス単位中の復号順序で第１のｎｕｍ_ｎａｌｕｓ_ｉｎ_ｄｕ_ｍｉｎｕｓ１〔０〕＋１連続ＮＡＬ単位を含み得る。アクセス単位のｉ番目（ｉは０よりも大きい）の復号単位は、復号順序でアクセス単位の前の復号単位中の最後のＮＡＬ単位の直後にくるｎｕｍ_ｎａｌｕｓ_ｉｎ_ｄｕ_ｍｉｎｕｓ１［ｉ］＋１連続ＮＡＬ単位を含み得る。例えば、各復号単位中に少なくとも１つのＶＣＬＮＡＬ単位があり得る。
[0178]変数ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、前のアクセス単位中の直近のバッファリング期間ＳＥＩメッセージに関連するアクセス単位中の第１の復号単位のＣＰＢからの除去の後、ピクチャタイミングＳＥＩメッセージに関連するアクセス単位中のｉ番目の復号単位をＣＰＢから除去する前に、何個のクロックティック（ＨＥＶＣＷＤ６のＥ．２．１項を参照）を待つべきかを指定し得る。この値は、ＨＥＶＣＷＤ６の付属書類Ｃにおいて指定されているように、ＨＳＳのためのＣＰＢへの復号単位データのできるだけ早い到着時間を計算するためにも使用され得る。そのシンタックス要素は、ビットの長さがｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１によって与えられ得る固定長コードであり得る。ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、モジュロ２（ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１＋１）カウンタの剰余であり得る。シンタックス要素ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］の（ビットでの）長さを決定するｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値は、ピクチャタイミングＳＥＩメッセージに関連するコード化ピクチャについてアクティブであるシーケンスパラメータセット中にコード化されるｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ_ｌｅｎｇｔｈ_ｍｉｎｕｓ１の値であり得る。しかしながら、ｄｕ_ｃｐｂ_ｒｅｍｏｖａｌ_ｄｅｌａｙ［ｉ］は、異なるコード化ビデオシーケンスのアクセス単位であり得る、バッファリング期間ＳＥＩメッセージを含んでいる前のアクセス単位中の第１の復号単位の除去時間に関係するクロックティックの数を指定する。
[0179]図２は、本開示で説明するように、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとに関連する技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、コード化単位（ＣＵ）、又はＣＵのサブＣＵを含む、ビデオフレーム内のブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースの圧縮モードのいずれかを指すことがあり、単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指すことがある。図２にはインターモード符号化のための幾つかの構成要素が示されているが、ビデオエンコーダ２０はイントラ予測単位４６などのイントラモード符号化のための構成要素を更に含み得ることを理解されたい。簡潔及び明快のために、更に含まれ得る追加構成要素は図２に示していない。
[0180]図２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを含むビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、動き補償ユニット４４と、動き推定ユニット４２と、参照ピクチャメモリ６４と、加算器５０と、変換ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６と、バッファ９０と、コード化ピクチャバッファ９２とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換単位６０と、加算器６２とを含む。
[0181]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間圧縮を行うために、１つ又は複数の参照フレーム中の１つ又は複数のブロックに対して受信したビデオブロックのインター予測コード化を実行する。イントラ予測単位４６はまた、空間圧縮を行うために、コード化されるべきブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対して受信したビデオブロックのイントラ予測コード化を実行し得る。
[0182]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ又はインターのうちの１つを選択し得、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器５０に与え、かつ参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器６２に与え得る。
[0183]動き推定ユニット４２及び動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム（又は、他のコード化単位）内でコード化されている現在ブロックに対する予測参照フレーム（又は、他のコード化単位）内の予測ブロックの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sumofabsolutedifference）、２乗差分和（ＳＳＤ：sumofsquaredifference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。動きベクトルはまた、マクロブロックの区分の変位を示し得る。動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することを伴い得る。述べたように、幾つかの例では、動き推定ユニット４２及び動き補償ユニット４４は機能的に統合され得る。
[0184]インターコード化の場合、動き推定ユニット４２は、ビデオブロックを参照ピクチャメモリ６４中の参照フレームのビデオブロックと比較することによってインターコード化フレームのビデオブロックの動きベクトルを計算する。動き補償ユニット４４はまた、参照フレーム、例えば、Ｉフレーム又はＰフレームのサブ整数画素を補間し得る。一例として、動きベクトルは、符号化されている現在フレームよりも前の表示順序を有する参照フレームを含むリスト０、及び符号化されている現在フレームよりも後の表示順序を有する参照フレームを含むリスト１という、参照フレームの２つのリストから予測され得る。従って、参照ピクチャメモリ６４に記憶されたデータは、参照フレームのこれらの２つのリストに従って編成され得る。
[0185]動き推定ユニット４２は、参照ピクチャメモリ６４からの１つ又は複数の参照フレームのブロックを現在のフレーム、例えば、Ｐフレーム又はＢフレームの符号化されるべきブロックと比較する。参照ピクチャメモリ６４中の参照フレームがサブ整数画素の値を含むとき、動き推定ユニット４２によって計算される動きベクトルは参照フレームのサブ整数画素位置を参照し得る。動き推定ユニット４２及び／又は動き補償ユニット４４はまた、サブ整数画素位置の値が参照ピクチャメモリ６４に記憶されていない場合、参照ピクチャメモリ６４に記憶された参照フレームのサブ整数画素位置の値を計算するように構成され得る。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。動きベクトルによって識別される参照フレームブロックは予測ブロックと呼ばれることがある。
[0186]動き補償ユニット４４は、予測ブロックに基づいて予測データを計算し得る。ビデオエンコーダ２０は、コード化されている元のビデオブロックから、動き補償ユニット４４によって与えられた予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を表す。変換ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換ユニット５２は、概念的にＤＣＴと同様である、Ｈ．２６４規格によって定義される変換など、他の変換を実行し得る。他の例として、変換ユニット５２は、ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換を実行し得る。変換ユニット５２は、変換を残差ブロックに適用して、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。量子化ユニット５４は、ビットレートを更に低減するために残差変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。
[0187]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテンツ適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、確率間隔区分エントロピーコード化（ＰＩＰＥ）、又は別のエントロピーコード化技法を実行し得る。エントロピー符号化ユニット５６によるエントロピーコード化の後に、符号化ビデオデータは、多少の時間、コード化ピクチャバッファ９２にバッファ又は記憶され、別の機器に送信され、及び／又は後で送信するかもしくは取り出すためにアーカイブされ得る。コンテキスト適応型バイナリ算術コード化の場合、コンテキストは近傍マクロブロックに基づき得る。
[0188]場合によっては、エントロピー符号化ユニット５６又はビデオエンコーダ２０の別のユニットは、エントロピーコード化に加えて他のコード化機能を実行するように構成され得る。例えば、エントロピー符号化ユニット５６は、マクロブロック及び区分のコード化ブロックパターン（ＣＢＰ）値を決定するように構成され得る。また、場合によっては、エントロピー符号化ユニット５６は、最大コード化単位（ＬＣＵ）又はＬＣＵのサブＣＵ中の係数のランレングスコード化を実行し得る。特に、エントロピー符号化ユニット５６は、ＬＣＵ又は区分中の変換係数を走査するためにジグザグ走査又は他の走査パターンを適用し、更なる圧縮のためにゼロのランを符号化し得る。ビデオエンコーダ２０のエントロピー符号化ユニット５６及び／又は他の要素はまた、符号化ビデオデータから復号単位を形成し得る。復号単位は、例えば、一連のツリーブロック、１つ又は複数のスライス、１つ又は複数の波、及び／又は１つ又は複数のタイルなどのサブピクチャであり得る。ビデオエンコーダ２０のエントロピー符号化ユニット５６及び／又は他の要素はまた、バイトアラインメントを達成するために、サイズが異なるサブピクチャについてのパディングデータを追加し得る。エントロピー符号化ユニット５６はまた、符号化ビデオビットストリーム中での送信のために適切なシンタックス要素を用いてヘッダ情報を構成し得る。例えば、ヘッダ情報は、復号単位がアクセス単位であるのか、又はサブアクセス単位であるかを示す信号伝達データを含み得る。これは、ＨＲＤパラメータ中で信号伝達されるサブピクチャコード化ピクチャバッファ選好フラグの値を信号伝達することを含み得る。ビデオエンコーダ２０のエントロピー符号化ユニット５６及び／又は他の要素はまた、例えば、バッファリング期間ＳＥＩメッセージ、信号伝達ＶＵＩパラメータ、様々なサブピクチャのためのエントリポイントを示す信号伝達データ、及び／又は復号単位のためのバッファ除去時間などのシンタックス要素を追加し得る。
[0189]逆量子化ユニット５８及び逆変換単位６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するためのサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。
[0190]参照ピクチャメモリ６４は、バッファ９０を含み得る。バッファ９０は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、埋込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）など、データを記憶することが可能な任意のパーマネント又は揮発性メモリなどのデータ記憶装置であるか、又はそれを含むか、又はそれに含まれ得る。バッファ９０は、ピクチャバッファ及び／又は復号ピクチャバッファを含み得、本開示で説明する例示的なコード化ピクチャバッファ及び／又は復号ピクチャバッファ挙動の任意の組合せに従って動作し得る。例えば、ビデオエンコーダ２０は、本開示の技法に従って、バッファ９０を使用した復号ブロックパターン（ＤＰＢ）管理及び／又はコード化ピクチャバッファ９２のコード化ブロックパターン（ＣＰＢ）管理を実行し得る。
[0191]コード化ピクチャバッファ９２は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、埋込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）など、データを記憶することが可能な任意のパーマネント又は揮発性メモリなどのデータ記憶装置であるか、又はそれを含むか、又はそれに含まれ得る。ビデオエンコーダ２０の一部を形成するものとして示されているが、幾つかの例では、コード化ピクチャバッファ９２は、ビデオエンコーダ２０の外部の機器、ユニット、又はモジュールの一部を形成し得る。例えば、コード化ピクチャバッファ９２は、ビデオエンコーダ２０の外部のストリームスケジューラユニット（又は配信スケジューラ又は仮定ストリームスケジューラ（ＨＳＳ））の一部を形成し得る。ビデオエンコーダ２０は、符号化ビデオデータから復号単位を形成し、復号単位をストリームスケジューラユニットに与え得る。ビデオエンコーダ２０は、幾つかの例では、ビット数が変動するか、又はブロック数が変動する復号単位を形成し得る。ストリームスケジューラユニットは、取得された（例えば、信号伝達された）バッファ除去時間によって示され得る時間に復号するためのビデオデコーダに、一連のツリーブロック、１つ又は複数のスライス、１つ又は複数の波、及び／又は１つ又は複数のタイルなどのサブピクチャを含む復号単位を送るために本開示の技法を実装し得る。ビデオエンコーダ２０は、幾つかの例では、それぞれが復号順序で連続的に構成された幾つかのコード化ブロックを含むように復号単位を形成し得る。ストリームスケジューラユニットは、更に、復号単位を含む１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）単位を抽出するためにアクセス単位をカプセル化解除し得る。同様に、ストリームスケジューラユニットは、復号単位を抽出するためにＮＡＬ単位をカプセル化解除し得る。
[0192]ビデオエンコーダ２０は、本開示の技法によって変更される仮定参照デコーダ（ＨＲＤ）挙動に従ってコード化ピクチャバッファ９２にアクセス単位を記憶し、かつそれからアクセス単位を除去し得る。ビデオエンコーダ２０は、例えば、初期ＣＰＢ除去遅延、ＣＰＢサイズ、ビットレート、初期ＤＰＢ出力遅延、及びＤＰＢサイズならびに復号単位のためのバッファ除去時間、及びビデオデータの復号単位がアクセス単位であるのか、又はアクセス単位のサブセットであるのかを信号伝達するためのサブピクチャコード化ピクチャバッファ選好フラグの値を含むＨＲＤパラメータを適用し得る。ビデオエンコーダ２０は、バッファリング期間と復号単位のためのバッファ除去時間とを信号伝達するアクセス単位中のＳＥＩメッセージを形成し得る。例えば、ビデオエンコーダ２０は、上記の表１の例などで、サブピクチャＣＰＢフラグを含むシンタックスをもつビデオユーザビリティ情報（ＶＵＩ）パラメータを与え得る。
[0193]復号単位は、共通ピクチャのサブピクチャを含み得、ビデオエンコーダ２０は、アクセス単位のためのＳＥＩメッセージ中の共通ピクチャのサブピクチャの各々のためのバッファ除去時間を含み得る。異なるサブピクチャは、幾つかのサブピクチャを異なるビット数又はブロック数で符号化して、異なるデータの量で符号化され得、ビデオエンコーダ２０は、共通ピクチャのサブピクチャの各々のための対応する個別のバッファ除去時間を形成し得る。ビデオエンコーダ２０はまた、同じデータサイズのサブピクチャをもつ幾つかのピクチャを符号化し得る。他の構成要素はまた、ビデオエンコーダ２０に対して上記で説明した機能のうちの１つ又は複数を実行し得る。例えば、（図１の発信源機器１２などの）発信源機器のカプセル化ユニットはまた、上記のパラメータのいずれかを含むＳＥＩメッセージを形成し得る。
[0194]従って、ビデオエンコーダ２０は、各サブピクチャが、復号順序で連続するコード化ピクチャの幾つかのコード化ブロックを含み得ることを与え得、従って、コード化ブロックは、ツリーブロック又はツリーブロックのサブセットと同じであり得る。ビデオエンコーダ２０は、１つのピクチャ中の各サブピクチャ（即ち、ツリーブロックグループ）が同じビット量でコード化されることを必要とすることなしにサブピクチャのコード化及びピクチャ中の異なるサブピクチャへのビットの割当てが実行され得ることを与え得る。ビデオエンコーダ２０は、ＣＰＢ除去時間が、信号伝達されたピクチャレベルのＣＰＢ除去時間に従って導出されるのではなく、ビットストリーム中で各サブピクチャのＣＰＢ除去時間を信号伝達し得る。ビデオエンコーダ２０はまた、スライス中に２つ以上のサブピクチャを含み、各サブピクチャの終わりにバイトアラインメントを適用し得る。ビデオエンコーダ２０はまた、例えば、スライス、タイル、又はフレームなど、ビデオデータのより大きいセット内のサブピクチャのうちの少なくとも１つのバイトアラインメントを示す値をもつ各サブピクチャのエントリポイントを信号伝達し得る。ビデオエンコーダ２０は、本開示による異なる例でこれらの特徴のうちの任意の１つ又は複数を適用し得る。
[0195]図２中の参照ピクチャメモリ６４、バッファ９０、及びコード化ピクチャバッファ９２について示した位置は説明のためのものである。参照ピクチャメモリ６４、バッファ９０、及びコード化ピクチャバッファ９２は、単一の記憶装置中又は任意の数の別個の記憶装置中に位置し得る。記憶装置は、揮発性及び／又は不揮発性コンピュータ可読媒体の任意の組合せを含み得る。
[0196]このようにして、ビデオエンコーダ２０は、他の機能のなかでも、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成されたビデオコーダの一例を表すものである。
[0197]図３は、符号化ビデオシーケンスを復号するビデオデコーダ３０の一例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測単位７４と、逆量子化ユニット７６と、逆変換単位７８と、参照ピクチャメモリ８２と、加算器８０と、コード化ピクチャバッファ９４と、バッファ９６とを含む。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信した動きベクトルに基づいて予測データを生成し得る。
[0198]動き補償ユニット７２は、ビットストリーム中で受信した動きベクトルを使用して、参照ピクチャメモリ８２中の参照フレーム中の予測ブロックを識別し得る。イントラ予測単位７４は、ビットストリーム中で受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化ブロック係数を逆量子化（inversequantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、例えば、Ｈ．２６４復号規格によって定義された従来のプロセスを含み得る。逆量子化プロセスはまた、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、各マクロブロックについてエンコーダ２０によって計算される量子化パラメータＱＰYの使用を含み得る。
[0199]逆変換単位７８は、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用して、画素領域において残差ブロックを生成する。動き補償ユニット７２は動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行する。サブ画素精度をもつ動き推定に使用されるべき補間フィルタの識別子がシンタックス要素中に含まれ得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。動き補償ユニット７２は、受信したシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0200]動き補償ユニット７２は、シンタックス情報の一部を使用して、符号化ビデオシーケンスの（１つ又は複数の）フレームを符号化するために使用されるマクロブロックのサイズと、符号化ビデオシーケンスのフレームの各マクロブロックがどのように区分されるのかを記述する区分情報と、各区分がどのように符号化されるのかを示すモードと、各インター符号化マクロブロック又は区分のための１つ又は複数の参照フレーム（及び参照フレームリスト）と、符号化ビデオシーケンスを復号するための他の情報とを決定する。加算器８０は、残差ブロックを、動き補償ユニット７２又はイントラ予測単位によって生成される対応する予測ブロックと加算して、復号ブロックを形成する。
[0201]参照ピクチャメモリ８２は、バッファ９６を含み得る。バッファ９６は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、埋込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）など、データを記憶することが可能な任意のパーマネント又は揮発性メモリなどのデータ記憶装置であるか、又はそれを含み得る。バッファ９６は、１つ又は複数のピクチャバッファ及び／又は１つ又は複数の復号ピクチャバッファを含み得、本開示で説明する例示的なコード化ピクチャバッファ及び／又は復号ピクチャバッファ挙動の任意の組合せに従って動作し得る。例えば、ビデオデコーダ３０は、本開示の技法に従って、バッファ９６を使用したＤＰＢ管理及び／又はコード化ピクチャバッファ９４のＣＰＢ管理を実行し得る。
[0202]コード化ピクチャバッファ９４は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、埋込みダイナミックランダムアクセスメモリ（ｅＤＲＡＭ）、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）など、データを記憶することが可能な任意のパーマネント又は揮発性メモリなどのデータ記憶装置として実装され得る。コード化ピクチャバッファ９４は、本明細書で開示する例示的なコード化ピクチャバッファ挙動の任意の組合せに従って動作し得る。
[0203]ビデオデコーダ３０の一部を形成するものとして示されているが、幾つかの例では、コード化ピクチャバッファ９４は、ビデオデコーダ３０の外部の機器、ユニット、又はモジュールの一部を形成し得る。例えば、コード化ピクチャバッファ９４は、ビデオデコーダ３０の外部のストリームスケジューラユニットの一部を形成し得る。ストリームスケジューラユニットは、取得された（例えば、信号伝達された）バッファ除去時間によって示される時間に復号するためのビデオデコーダ３０に、一連のツリーブロック、１つ又は複数のスライス、１つ又は複数の波、及び／又は１つ又は複数のタイルなどのサブピクチャを含む復号単位を送るために本開示の技法を実装し得る。ストリームスケジューラユニットは、更に、復号単位を含む１つ又は複数のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを抽出するためにアクセス単位をカプセル化解除し得る。同様に、ストリームスケジューラユニットは、復号単位を抽出するためにＮＡＬ単位をカプセル化解除し得る。
[0204]ビデオデコーダ３０は、本開示の技法によって変更される仮定参照デコーダ（ＨＲＤ）挙動に従ってアクセス単位を受信し、コード化ピクチャバッファ９４にアクセス単位を記憶し、それからアクセス単位を除去し得る。ビデオデコーダ３０は、例えば、初期ＣＰＢ除去遅延、ＣＰＢサイズ、ビットレート、初期ＤＰＢ出力遅延、及びＤＰＢサイズならびに復号単位のためのバッファ除去時間、及びビデオデータの復号単位がアクセス単位であるのか、又はアクセス単位のサブセットであるのかを信号伝達するサブピクチャコード化ピクチャバッファ選好フラグの値を含むＨＲＤパラメータを復号し、取得し得る。ビデオデコーダ３０は、バッファリング期間と復号単位のためのバッファ除去時間とを信号伝達するアクセス単位中のＳＥＩメッセージを復号し、取得し得る。例えば、ビデオデコーダ３０は、上記の表１の例などで、サブピクチャＣＰＢフラグを含むシンタックスをもつビデオユーザビリティ情報（ＶＵＩ）パラメータを復号し、取得し得る。
[0205]復号単位は、共通ピクチャのサブピクチャを含み得、ビデオデコーダ３０は、アクセス単位のためのＳＥＩメッセージ中の共通ピクチャのサブピクチャの各々のためのバッファ除去時間を復号し、取得し得る。異なるサブピクチャは、幾つかのサブピクチャを異なるビット数又はブロック数で符号化して、異なるデータの量で符号化され得、ビデオデコーダ３０は、共通ピクチャのサブピクチャの各々のための対応する個別のバッファ除去時間を復号し、取得し得る。ビデオデコーダ３０はまた、同じデータサイズのサブピクチャをもつ幾つかのピクチャを復号し、取得し得る。
[0206]従って、ビデオデコーダ３０は、復号順序で連続するコード化ピクチャの幾つかのコード化ブロックを含み得るサブピクチャを復号し、取得し得、従って、コード化ブロックは、ツリーブロック又はツリーブロックのサブセットと同じであり得る。ビデオデコーダ３０は、幾つかの例では、信号伝達されたピクチャレベルのＣＰＢ除去時間に従ってＣＰＢ除去時間を導出するのではなく、ビットストリーム中で各サブピクチャのＣＰＢ除去時間を復号し、取得し得る。ビデオデコーダ３０はまた、スライス中の２つ以上のサブピクチャを復号し、取得し得、各復号単位がどこで開始するかを決定するために各復号単位の起点を示すバイトオフセット情報を受信し、各サブピクチャの終わりにバイトアラインメントを与える余分の非データ信号又はパディング信号に関する情報を復号し、取得し得る。ビデオデコーダ３０はまた、例えば、スライス、タイル、又はフレームなど、ビデオデータのより大きいセット内のサブピクチャのうちの少なくとも１つのバイトアラインメントを示す値をもつ各サブピクチャのエントリポイントを取得し得る。ビデオデコーダ３０は、本開示による異なる例でこれらの特徴のうちの任意の１つ又は複数を適用し得る。
[0207]図３中の参照ピクチャメモリ８２、バッファ９６、及びコード化ピクチャバッファ９４について示した位置は説明のためのものである。参照ピクチャメモリ８２、バッファ９６、及びコード化ピクチャバッファ９４は、単一の記憶装置中又は任意の数の別個の記憶装置中に位置し得る。記憶装置は、揮発性及び／又は不揮発性コンピュータ可読媒体の任意の組合せを含み得る。
[0208]このようにして、ビデオデコーダ３０は、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶することと、１つ又は複数の復号単位のための個別のバッファ除去時間を取得することと、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去することと、除去された復号単位に対応するビデオデータをコード化することとを行うように構成されたビデオコーダの一例を表すものである。
[0209]図４は、本開示の技法のいずれか又は全てを実装し得る例示的な宛先機器１００を示すブロック図である。この例では、宛先機器１００は、入力インターフェース１０２と、ストリームスケジューラ１０４と、コード化ピクチャバッファ１０６と、ビデオデコーダ１０８と、復号ピクチャバッファ１１０と、レンダリングユニット１１２と、出力インターフェース１１４とを含む。宛先機器１００は、宛先機器１４（図１）に実質的に対応し得る。入力インターフェース１０２は、ビデオデータのコード化ビットストリームを受信することが可能な任意の入力インターフェースを備え得る。例えば、入力インターフェース１０２は、図１の場合のような受信機２６及び／又はモデム２８、ワイヤード又はワイヤレスインターフェースなどのネットワークインターフェース、メモリもしくはメモリインターフェース、光ドライブインターフェース又は磁気媒体インターフェースなど、ディスクからデータを読み取るためのドライブ、又は他のインターフェース構成要素を備え得る。
[0210]入力インターフェース１０２は、ビデオデータを含むコード化ビットストリームを受信し、ストリームスケジューラ１０４にビットストリームを与え得る。本開示の技法によれば、ストリームスケジューラ１０４は、ビットストリームからアクセス単位及び／又は復号単位などのビデオデータのユニットを抽出し、コード化ピクチャバッファ１０６に抽出されたユニットを記憶する。このようにして、ストリームスケジューラ１０４は、上記の例で説明したようにＨＳＳの例示的な実装形態を表す。コード化ピクチャバッファ１０６は、図４に示すように、コード化ピクチャバッファ１０６がビデオデコーダ１０８とは別個のものであることを除いて、コード化ピクチャバッファ９４（図３）に実質的に一致し得る。コード化ピクチャバッファ１０６は、異なる例では、ビデオデコーダ１０８とは別個のものであることも、又はそれの一部として統合されることもある。
[0211]ビデオデコーダ１０８は、復号ピクチャバッファ１１０を含む。ビデオデコーダ１０８は、図１及び図３のビデオデコーダ３０に実質的に一致し得る。復号ピクチャバッファ１１０は、バッファ９６に実質的に一致し得る。従って、ビデオデコーダ１０８は、本開示の技法に従ってコード化ピクチャバッファ１０６の復号単位を復号し得る。
[0212]更に、ビデオデコーダ１０８は、上記で説明したように、本開示の技法に従って復号ピクチャバッファ１１０から復号ピクチャを出力し得る。ビデオデコーダ１０８は、レンダリングユニット１１２に出力ピクチャをパスし得る。レンダリングユニット１１２は、本開示の技法に従って上記で説明したようにピクチャをクロップし、次いで、出力インターフェース１１４にクロップピクチャをパスし得る。出力インターフェース１１４は、表示装置３２に実質的に一致し得る表示装置にクロップピクチャを与え得る。表示装置は、宛先機器１００の一部を形成し得、又は宛先機器１００に通信可能に結合され得る。例えば、表示装置は、宛先機器１００と統合されたスクリーン、タッチスクリーン、プロジェクタ、又は他の表示器ユニットを備え得、又は宛先機器１００に通信可能に結合されたテレビジョン、モニタ、プロジェクタ、タッチスクリーン、又は他の機器などの別個の表示器を備え得る。通信結合は、同軸ケーブル、コンポジットビデオケーブル、コンポーネントビデオケーブル、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））ケーブル、無線周波ブロードキャスト、又は他のワイヤードもしくはワイヤレス結合などによるワイヤード又はワイヤレス結合を備え得る。
[0213]図５は、本開示の技法による、例えば、図１又は図３のビデオデコーダ３０又は図４のビデオデコーダ１０８（総称して「ビデオデコーダ３０／１０８」）によって、取得されたバッファ除去時間に従ってピクチャバッファからビデオデータの復号単位を除去することを含む例示的な方法を示すフローチャートである。図５の例示的な方法は、図５の方法の任意の１つ又は複数の態様がまた、他の機器又は構成要素によって実行されるか、又はそれを用いて実施され得るという理解の下で、一例として、ビデオデコーダ３０／１０８によって実行されるものとして説明され得る。図５の例では、ビデオデコーダ３０／１０８は、ピクチャバッファ中にビデオデータの１つ又は複数の復号単位を記憶し得る（２０２）。ビデオデコーダ３０／１０８は、１つ又は複数の復号単位のための個別のバッファ除去時間を取得し得、個別のバッファ除去時間を取得することが、復号単位のうちの少なくとも１つのための個別のバッファ除去時間を示すそれぞれの信号伝達値を受信することを備える（２０４）。ビデオデコーダ３０／１０８は、復号単位の各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号単位を除去し得る（２０６）。ビデオデコーダ３０／１０８はまた、除去された復号単位に対応するビデオデータをコード化し得、ビデオデータをコード化することが、復号単位のうちの少なくとも１つを復号することを備える（２０８）。ビデオデコーダ３０／１０８及び／又は他の機器もしくは要素はまた、他の例では異なる又は追加の機能を実行し得る。
[0214]図６は、本開示の技法による、例えば、図１又は図３のビデオデコーダ３０又は図４のビデオデコーダ１０８（総称して「ビデオデコーダ３０／１０８」）によって、取得されたバッファ除去時間に従ってピクチャバッファからビデオデータの復号単位を除去することを含む、図５の方法と幾つかの点で同様の別の例示的な方法を示すフローチャートである。図６の例示的な方法はまた、図６の方法の任意の１つ又は複数の態様がまた、他の機器又は構成要素によって実行されるか、又はそれを用いて実施され得るという理解の下で、一例として、ビデオデコーダ３０／１０８によって実行されるものとして説明され得る。図６の例では、ビデオデコーダ３０／１０８は、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ又は複数の復号単位を記憶し（４０２）、１つ又は複数の復号単位のための個別のバッファ除去時間を取得し（４０４）、復号単位の各々のための取得されたバッファ除去時間に従ってＣＰＢから復号単位を除去し（４０６）、ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定し（４０８）、除去された復号単位に対応するビデオデータをコード化し得る（４１０）。ＣＰＢがアクセス単位レベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位をコード化すること（４１２）を含む。ＣＰＢがサブピクチャレベルで動作する場合、ビデオデータをコード化することは、復号単位中に備えられたアクセス単位のサブセットをコード化すること（４１４）を含む。
[0215]例えば、ビデオデコーダ３０／１０８は、ＣＰＢがアクセス単位レベルで動作すると決定する場合、ビデオデコーダ３０／１０８は、除去された復号単位に対応するビデオデータのアクセス単位をコード化し得る（４１２）。ビデオデコーダ３０／１０８は、ＣＰＢがサブピクチャレベルで動作すると決定する場合、ビデオデコーダ３０／１０８は、除去された復号単位に対応するビデオデータのアクセス単位のサブセットをコード化し得る（４１４）。例えば、ビデオデコーダ３０／１０８は、サブピクチャコード化ピクチャバッファ選好フラグ（例えば、ＳｕｂＰｉｃＣｐｂＰｒｅｆｅｒｒｅｄＦｌａｇ）が負であるかもしくは０の値を有すると決定するか、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグ（例えば、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ）が負であるかもしくは０の値を有すると決定することによって、１つ又は複数の復号単位がアクセス単位を備えると決定し得る。ビデオデコーダ３０／１０８は、サブピクチャコード化ピクチャバッファ選好フラグ（例えば、ＳｕｂＰｉｃＣｐｂＰｒｅｆｅｒｒｅｄＦｌａｇ）が正であるか又は１の値を有すると決定し、かつサブピクチャコード化ピクチャバッファパラメータ存在フラグ（例えば、ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ）が正であるか又は１の値を有すると決定することによって、１つ又は複数の復号単位がアクセス単位のサブセットを備えると決定し得る。ビデオデコーダ３０／１０８はまた、両方の下位フラグが正であるかどうかを決定し、ビデオデコーダ３０／１０８がアクセス単位のサブセットについてコード化し得ることを決定するために、ＳｕｂＰｉｃＣｐｂＰｒｅｆｅｒｒｅｄＦｌａｇ＆＆ｓｕｂ_ｐｉｃ_ｃｐｂ_ｐａｒａｍｓ_ｐｒｅｓｅｎｔ_ｆｌａｇに設定され得る単一のサブピクチャコード化ピクチャバッファフラグ、ＳｕｂＰｉｃＣｐｂＦｌａｇを使用し得る。
[0216]図７は、本開示の技法による、例えば、図１又は図３のビデオデコーダ３０又は図４のビデオデコーダ１０８（総称して「ビデオデコーダ３０／１０８」）によって、バンピングプロセスにおいてクロップピクチャを出力することを含むビデオデータを処理する別の例示的な方法を示すフローチャートである。図７の例では、ビデオデコーダ３０／１０８は、バンピングプロセスの例に関して上記で説明したように、幾つかの条件のいずれかが満たされる場合にバンピングプロセスを実行し得る。特に、ビデオデコーダ３０／１０８は、現在のピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャである場合（３０２）、及び前のピクチャの出力なしフラグが１に等しくない値を有する場合（３０４）、バンピングプロセスを実行し得、（３０４）の場合は、前のピクチャの出力なしフラグが、例えば、ＨＲＤによって１に等しいと推論又は設定されない値を有する場合を含み得る。ビデオデコーダ３０／１０８はまた、出力のために必要とされるとマーキングされている復号ピクチャバッファ（ＤＰＢ）中のピクチャの数が現在の時間レイヤにおける並べ替えピクチャの数よりも多い場合（３０６）、バンピングプロセスを実行し得る。ビデオデコーダ３０／１０８はまた、現在のピクチャの時間レイヤ識別子値以下の時間レイヤ識別子値をもつＤＰＢ中のピクチャの数が、現在の時間レイヤの最大ピクチャバッファリング値＋１に等しくなる場合（３０８）、バンピングプロセスを実行し得る。
[0217]指定された条件（３０２及び３０４又は３０６又は３０８）のいずれかが満たされる場合、ビデオデコーダ３０／１０８は、次のようにバンピングプロセスを実行し得る。ビデオデコーダ３０／１０８は、ＤＰＢ中のピクチャのうち最も小さいピクチャ順序カウント（ＰＯＣ）値を有し、選択されたピクチャとして出力のために必要とされるとマーキングされているピクチャを選択し得る（３１２）。ビデオデコーダ３０／１０８は、選択されたピクチャのためのアクティブシーケンスパラメータセットにおいて指定されているように選択されたピクチャをクロップし、それによって、選択されたピクチャに基づいてクロップピクチャを生成し得る（３１４）。ビデオデコーダ３０／１０８は、クロップピクチャを出力し得る（３１６）。ビデオデコーダ３０／１０８は、出力のために必要とされないと選択されたピクチャをマーキングし得る（３１８）。
[0218]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード及び／又はデータ構造を取り出すために１つ又は複数のコンピュータ又は１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0219]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気記憶装置、フラッシュメモリ、又は命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、この場合、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）はデータをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲に含まれるべきである。
[0220]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路もしくはディスクリート論理回路などの１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内に与えられ得、又は複合コーデックに組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素中に十分に実装され得る。
[0221]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示した技法を実行するように構成された機器の機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
[0222]様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータをコード化する方法であって、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ以上の復号単位を記憶することと、前記１つ以上の復号単位のための個別のバッファ除去時間を取得することと、前記復号単位の各々のための取得された前記バッファ除去時間に従って前記ＣＰＢから前記復号単位を除去することと、前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することと、除去された前記復号単位に対応するビデオデータをコード化することとを備え、前記ＣＰＢがアクセス単位レベルで動作する場合、前記ビデオデータをコード化することが、前記復号単位中に備えられたアクセス単位をコード化することを備え、前記ＣＰＢがサブピクチャレベルで動作する場合、前記ビデオデータをコード化することが、前記復号単位中に備えられたアクセス単位のサブセットをコード化することを備える、方法。
［２］ 前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することが、サブピクチャコード化ピクチャバッファ選好フラグが０の値を有する場合、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグが０の値を有する場合、前記ＣＰＢがアクセス単位レベルで動作すると決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグが１の値を有し、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグが１の値を有する場合、前記ＣＰＢがサブピクチャレベルで動作すると決定することとを備える、［１］に記載の方法。
［３］ 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を受信することを更に備える、［２］に記載の方法。
［４］ 前記サブピクチャコード化ピクチャバッファ選好フラグの値が受信されない場合、前記サブピクチャコード化ピクチャバッファ選好フラグに０の値を設定することを更に備える、［２］に記載の方法。
［５］ 前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を受信することを更に備える、［２］に記載の方法。
［６］ 連続復号順序でビデオデータの前記１つ以上の復号単位を受信することを更に備え、前記ＣＰＢ中にビデオデータの前記１つ以上の復号単位を記憶することが、前記ＣＰＢ中に前記連続復号順序でビデオデータの前記１つ以上の復号単位を記憶することを備える、［１］に記載の方法。
［７］ 前記１つ以上の復号単位のための前記個別のバッファ除去時間を取得することが、前記復号単位のうちの少なくとも１つのための前記個別のバッファ除去時間を示す個別の信号伝達値を受信することを備える、［１］に記載の方法。
［８］ 前記復号単位のうちの前記少なくとも１つのための前記バッファ除去時間を示す前記信号伝達値が、前記復号単位のうちの前記少なくとも１つによって備えられる幾つかのネットワークアブストラクションレイヤ（ＮＡＬ）単位を示す信号伝達値を備える、［７］に記載の方法。
［９］ 前記１つ以上の復号単位がそれぞれのサブピクチャを備え、前記方法が、前記ビデオデータのより大きいセット内の少なくとも１つのサブピクチャのバイトアラインメントを示す信号伝達値を受信することを更に備える、［１］に記載の方法。
［１０］ ビデオデータをコード化するための機器であって、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ以上の復号単位を記憶することと、前記１つ以上の復号単位のための個別のバッファ除去時間を取得することと、前記復号単位の各々のための取得された前記バッファ除去時間に従って前記ＣＰＢから前記復号単位を除去することと、前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することと、除去された前記復号単位に対応するビデオデータをコード化することとを行うように構成されたビデオコーダを備え、前記ＣＰＢがアクセス単位レベルで動作する場合、前記ビデオデータをコード化するために、前記ビデオコーダが、前記復号単位中に備えられたアクセス単位をコード化するように更に構成され、前記ＣＰＢがサブピクチャレベルで動作する場合、前記ビデオデータをコード化するために、前記ビデオコーダが、前記復号単位中に備えられたアクセス単位のサブセットをコード化するように更に構成された、機器。
［１１］ 前記ＣＰＢが、アクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定するために、前記ビデオコーダが、サブピクチャコード化ピクチャバッファ選好フラグが０の値を有する場合、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグが０の値を有する場合、前記ＣＰＢがアクセス単位レベルで動作すると決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグが１の値を有し、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグが１の値を有する場合、前記ＣＰＢがサブピクチャレベルで動作すると決定することとを行うように更に構成された、［１０］に記載の機器。
［１２］ 前記ビデオコーダが、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を受信することを行うように更に構成された、［１１］に記載の機器。
［１３］ 前記ビデオコーダが、前記サブピクチャコード化ピクチャバッファ選好フラグの値が受信されない場合、前記サブピクチャコード化ピクチャバッファ選好フラグに０の値を設定することを行うように更に構成された、［１１］に記載の機器。
［１４］ 前記ビデオコーダが、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を受信することを行うように更に構成された、［１１］に記載の機器。
［１５］ 前記ビデオコーダが、連続復号順序でビデオデータの前記１つ以上の復号単位を受信することを行うように更に構成され、前記ＣＰＢ中にビデオデータの前記１つ以上の復号単位を記憶することが、前記ＣＰＢ中に前記連続復号順序でビデオデータの前記１つ以上の復号単位を記憶することを備える、［１０］に記載の機器。
［１６］ 前記１つ以上の復号単位のための前記個別のバッファ除去時間を取得することが、前記復号単位のうちの少なくとも１つのための前記個別のバッファ除去時間を示す個別の信号伝達値を受信することを備える、［１０］に記載の機器。
［１７］ 前記復号単位のうちの前記少なくとも１つのための前記バッファ除去時間を示す前記信号伝達値が、前記復号単位のうちの前記少なくとも１つによって備えられる幾つかのネットワークアブストラクションレイヤ（ＮＡＬ）単位を示す信号伝達値を備える、［１６］に記載の機器。
［１８］ 前記１つ以上の復号単位がそれぞれのサブピクチャを備え、前記ビデオコーダが、前記ビデオデータのより大きいセット内の少なくとも１つのサブピクチャのバイトアラインメントを示す信号伝達値を受信することを行うように更に構成された、［１０］に記載の機器。
［１９］ 前記機器が、１つ以上の集積回路と、１つ以上のマイクロプロセッサと、前記ビデオコーダを含むワイヤレス通信機器とのうちの少なくとも１つを備える、［１０］に記載の機器。
［２０］ ビデオデータをコード化するための装置であって、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ以上の復号単位を記憶するための手段と、前記１つ以上の復号単位のための個別のバッファ除去時間を取得するための手段と、前記復号単位の各々のための取得された前記バッファ除去時間に従って前記ＣＰＢから前記復号単位を除去するための手段と、前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定するための手段と、除去された前記復号単位に対応するビデオデータをコード化するための手段とを備え、前記ＣＰＢがアクセス単位レベルで動作する場合、前記ビデオデータをコード化するための前記手段が、前記復号単位中に備えられたアクセス単位をコード化するための手段を備え、前記ＣＰＢがサブピクチャレベルで動作する場合、前記ビデオデータをコード化するための前記手段が、前記復号単位中に備えられたアクセス単位のサブセットをコード化するための手段を備える、装置。
［２１］ 前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定するための前記手段が、サブピクチャコード化ピクチャバッファ選好フラグが０の値を有する場合、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグが０の値を有する場合、前記ＣＰＢがアクセス単位レベルで動作すると決定するための手段と、前記サブピクチャコード化ピクチャバッファ選好フラグが１の値を有し、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグが１の値を有する場合、前記ＣＰＢがサブピクチャレベルで動作すると決定するための手段とを備える、［２０］に記載の装置。
［２２］ 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を受信するための手段を更に備える、［２１］に記載の装置。
［２３］ 前記サブピクチャコード化ピクチャバッファ選好フラグの値が受信されない場合、前記サブピクチャコード化ピクチャバッファ選好フラグに０の値を設定するための手段を更に備える、［２１］に記載の装置。
［２４］ 前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を受信するための手段を更に備える、［２１］に記載の装置。
［２５］ 連続復号順序でビデオデータの前記１つ以上の復号単位を受信するための手段を更に備え、前記ＣＰＢ中にビデオデータの前記１つ以上の復号単位を記憶するための前記手段が、前記ＣＰＢ中に前記連続復号順序でビデオデータの前記１つ以上の復号単位を記憶するための手段を備える、［２０］に記載の装置。
［２６］ 前記１つ以上の復号単位のための前記個別のバッファ除去時間を取得するための前記手段が、前記復号単位のうちの少なくとも１つのための前記個別のバッファ除去時間を示す個別の信号伝達値を受信するための手段を備える、［２０］に記載の装置。
［２７］ 前記復号単位のうちの前記少なくとも１つのための前記バッファ除去時間を示す前記信号伝達値が、前記復号単位のうちの前記少なくとも１つによって備えられる幾つかのネットワークアブストラクションレイヤ（ＮＡＬ）単位を示す信号伝達値を備える、［２６］に記載の装置。
［２８］ 前記１つ以上の復号単位がそれぞれのサブピクチャを備え、前記装置が、前記ビデオデータのより大きいセット内の少なくとも１つのサブピクチャのバイトアラインメントを示す信号伝達値を受信するための手段を更に備える、［２０］に記載の装置。
［２９］ 前記装置が、１つ以上の集積回路と、１つ以上のマイクロプロセッサと、ビデオコード化機器を含むワイヤレス通信機器とのうちの少なくとも１つを備える、［２０］に記載の装置。
［３０］ 実行されたとき、コード化ピクチャバッファ（ＣＰＢ）中にビデオデータの１つ以上の復号単位を記憶することと、前記１つ以上の復号単位のための個別のバッファ除去時間を取得することと、前記復号単位の各々のための取得された前記バッファ除去時間に従って前記ＣＰＢから前記復号単位を除去することと、前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することと、除去された前記復号単位に対応するビデオデータをコード化することとをプロセッサに行わせる命令を記憶したコンピュータ可読記憶媒体を備え、前記ＣＰＢがアクセス単位レベルで動作する場合、前記ビデオデータをコード化することが、前記復号単位中に備えられたアクセス単位をコード化することを備え、前記ＣＰＢがサブピクチャレベルで動作する場合、前記ビデオデータをコード化することが、前記復号単位中に備えられたアクセス単位のサブセットをコード化することを備える、コンピュータプログラム製品。
［３１］ 前記ＣＰＢがアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを決定することが、サブピクチャコード化ピクチャバッファ選好フラグが０の値を有する場合、又はサブピクチャコード化ピクチャバッファパラメータ存在フラグが０の値を有する場合、前記ＣＰＢがアクセス単位レベルで動作すると決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグが１の値を有し、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグが１の値を有する場合、前記ＣＰＢがサブピクチャレベルで動作すると決定することとを備える、［３０］に記載のコンピュータプログラム製品。
［３２］ 前記命令が、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を受信することを前記プロセッサに更に行わせる、［３１］に記載のコンピュータプログラム製品。
［３３］ 前記命令が、前記サブピクチャコード化ピクチャバッファ選好フラグの値が受信されない場合、前記サブピクチャコード化ピクチャバッファ選好フラグに０の値を設定することを前記プロセッサに更に行わせる、［３１］に記載のコンピュータプログラム製品。
［３４］ 前記命令が、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を受信することを前記プロセッサに更に行わせる、［３１］に記載のコンピュータプログラム製品。
［３５］ 前記命令が、連続復号順序でビデオデータの前記１つ以上の復号単位を受信することを前記プロセッサに更に行わせ、前記ＣＰＢ中にビデオデータの前記１つ以上の復号単位を記憶することが、前記ＣＰＢ中に前記連続復号順序でビデオデータの前記１つ以上の復号単位を記憶することを備える、［３０］に記載のコンピュータプログラム製品。
［３６］ 前記１つ以上の復号単位のための前記個別のバッファ除去時間を取得することが、前記復号単位のうちの少なくとも１つのための前記個別のバッファ除去時間を示すそれぞれの信号伝達値を受信することを備える、［３０］に記載のコンピュータプログラム製品。
［３７］ 前記復号単位のうちの前記少なくとも１つのための前記バッファ除去時間を示す前記信号伝達値が、前記復号単位のうちの前記少なくとも１つによって備えられる幾つかのネットワークアブストラクションレイヤ（ＮＡＬ）単位を示す信号伝達値を備える、［３６］に記載のコンピュータプログラム製品。
［３８］ 前記１つ以上の復号単位がそれぞれのサブピクチャを備え、前記方法が、前記ビデオデータのより大きいセット内の少なくとも１つのサブピクチャのバイトアラインメントを示す信号伝達値を受信することを更に備える、［３０］に記載のコンピュータプログラム製品。

Claims (30)

  1. ビデオデータを復号する方法であって、
    サブピクチャコード化ピクチャバッファ選好フラグ及びサブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいてサブピクチャコード化ピクチャバッファフラグの値を決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグの値は外部的に特定されること又は外部的に特定されないときにゼロに設定されることの一方であり、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグはアクセス単位のサブセットを復号するために必要なパラメータが存在するかどうかを示している、
    コード化ピクチャバッファ（ＣＰＢ）がアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを前記サブピクチャコード化ピクチャバッファフラグの前記値に基づいて決定することと、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位がアクセス単位を備えることを決定することと、
    前記ＣＰＢから個別のアクセス単位を備える復号単位を取り出すことと、
    前記個別のアクセス単位を備える取り出された前記復号単位を復号することと、又は
    前記ＣＰＢが前記サブピクチャレベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位がアクセス単位のサブセットを備えることを決定することと、
    前記ＣＰＢから個別のアクセス単位のサブセットを備える復号単位を取り出すことと、
    前記個別のアクセス単位の前記サブセットを備える取り出された前記復号単位を復号することと、
    を備える、方法。
  2. 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を決定することを更に備える、請求項１に記載の方法。
  3. 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値が外部的に特定されていない場合には、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値をゼロ（０）に設定することとを更に備える、請求項１に記載の方法。
  4. 前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を決定することを更に備える、請求項１に記載の方法。
  5. イチ（１）の個別の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ及び前記サブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をイチ（１）に設定すること、
    ここにおいて、前記サブピクチャコード化ピクチャバッファフラグのイチ（１）の前記値は前記ＣＰＢが前記サブピクチャレベルで動作することを示す、請求項１に記載の方法。
  6. ゼロ（０）の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ又は前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの少なくとも一方に基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をゼロ（０）に設定すること、
    ここにおいて、前記サブピクチャコード化ピクチャバッファフラグのゼロ（０）の前記値は前記ＣＰＢが前記アクセス単位レベルで動作することを示す、請求項１に記載の方法。
  7. ビデオデータを復号するための装置であって、前記装置は、
    前記ビデオデータの少なくとも一部を記憶するように構成されるメモリと、
    前記ビデオデータの前記一部を処理するためのビデオデコーダと、を備え、前記ビデオデコーダは、
    サブピクチャコード化ピクチャバッファ選好フラグ及びサブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいてサブピクチャコード化ピクチャバッファフラグの値を決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグの値は外部的に特定されること又は外部的に特定されないときにゼロに設定されることの一方であり、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグはアクセス単位のサブセットを復号するために必要なパラメータが存在するかどうかを示している、
    前記サブピクチャコード化ピクチャバッファフラグの前記値に基づいて、コード化ピクチャバッファ（ＣＰＢ）がアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するかを決定することと、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位はアクセス単位を備えることを決定することと、
    前記ＣＰＢから、個別のアクセス単位を備える復号単位を取り出すことと、
    前記個別のアクセス単位を備える取り出された前記復号単位を復号することと、又は
    前記ＣＰＢが前記サブピクチャレベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位がアクセス単位のサブセットを備えることを決定することと、
    前記ＣＰＢから、個別のアクセス単位のサブセットを備える復号単位を取り出すことと、
    前記個別のアクセス単位の前記サブセットを備える取り出された前記復号単位を復号することと、
    を行うように構成される、装置。
  8. 前記ビデオデコーダは前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を決定するように更に構成される、請求項７に記載の装置。
  9. 前記ビデオデコーダが前記サブピクチャコード化ピクチャバッファ選好フラグの前記値が外部的に特定されていない場合には、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値をゼロ（０）に設定するように更に構成される、請求項７に記載の装置。
  10. 前記ビデオデコーダが前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を決定するように更に構成される、請求項７に記載の装置。
  11. 前記ビデオデコーダがイチ（１）の個別の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ及び前記サブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をイチ（１）に設定するように更に構成され、前記サブピクチャコード化ピクチャバッファフラグのイチ（１）の前記値は前記ＣＰＢが前記サブピクチャレベルで動作することを示す、請求項７に記載の装置。
  12. 前記ビデオデコーダがゼロ（０）の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ又は前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの少なくとも一方に基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をゼロ（０）に設定するように更に構成され、前記サブピクチャコード化ピクチャバッファフラグのゼロ（０）の前記値は前記ＣＰＢが前記アクセス単位レベルで動作することを示す、請求項７に記載の装置。
  13. 前記装置は、
    １つ以上の集積回路、
    １つ以上のマイクロプロセッサ、
    １つ以上のデジタル信号プロセッサ（ＤＳＰ）、
    １つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、
    デスクトップコンピュータ、
    ラップトップコンピュータ、
    タブレットコンピュータ、
    電話、
    テレビジョン、
    カメラ、
    表示装置、
    デジタルメディアプレーヤ、
    据え置き型ビデオゲームコンソール、
    携帯型ビデオゲーム機器、
    ビデオストリーム装置、
    又はワイヤレス通信機器の少なくとも１つを備える、請求項７に記載の装置。
  14. ビデオデータをコード化するための装置であって、
    サブピクチャコード化ピクチャバッファ選好フラグ及びサブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいてサブピクチャコード化ピクチャバッファフラグの値を決定するための手段と、前記サブピクチャコード化ピクチャバッファ選好フラグの値は外部的に特定されること又は外部的に特定されないときにゼロに設定されることの一方であり、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグはアクセス単位のサブセットを復号するために必要なパラメータが存在するかどうかを示している、
    コード化ピクチャバッファ（ＣＰＢ）がアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するのかを前記サブピクチャコード化ピクチャバッファフラグの前記値に基づいて決定するための手段と、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、前記ＣＰＢに記憶された復号単位がアクセス単位を備えることを決定するための手段と、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、前記ＣＰＢから個別のアクセス単位を備える復号単位を取り出すための手段と、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、前記個別のアクセス単位を備える取り出された復号単位をコード化するための手段と、
    前記ＣＰＢに記憶された復号単位がアクセス単位のサブセットを備えることを決定するための手段と、
    前記ＣＰＢが前記サブピクチャレベルで動作することの決定に基づいて、前記ＣＰＢから個別のアクセス単位のサブセットを備える復号単位を取り出すための手段と、
    前記ＣＰＢが前記サブピクチャレベルで動作することの決定に基づいて、前記個別のアクセス単位の前記サブセットを備える取り出された前記復号単位をコード化するための手段と、
    を備える装置。
  15. 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を決定するための手段を更に備える、請求項１４に記載の装置。
  16. 前記サブピクチャコード化ピクチャバッファ選好フラグの前記値が外部的に特定されていない場合には、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値をゼロ（０）に設定するための手段を更に備える、請求項１４に記載の装置。
  17. 前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を決定するための手段を更に備える、請求項１４に記載の装置。
  18. イチ（１）の個別の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ及び前記サブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をイチ（１）に設定するための手段を更に備え、
    前記サブピクチャコード化ピクチャバッファフラグのイチ（１）の前記値は前記ＣＰＢが前記サブピクチャレベルで動作することを示す、請求項１４に記載の装置。
  19. ゼロ（０）の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ又は前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの少なくとも一方に基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をゼロ（０）に設定するための手段を更に備え、前記サブピクチャコード化ピクチャバッファフラグのゼロ（０）の前記値は前記ＣＰＢが前記アクセス単位レベルで動作することを示す、請求項１４に記載の装置。
  20. 前記装置は、
    １つ以上の集積回路、
    １つ以上のマイクロプロセッサ、
    １つ以上のデジタル信号プロセッサ（ＤＳＰ）、
    １つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、
    デスクトップコンピュータ、
    ラップトップコンピュータ、
    タブレットコンピュータ、
    電話、
    テレビジョン、
    カメラ、
    表示装置、
    デジタルメディアプレーヤ、
    据え置き型テレビゲームコンソール、
    携帯型ビデオゲーム機器、
    ビデオストリーム装置、
    又はワイヤレス通信機器の少なくとも１つを備える、請求項１４に記載の装置。
  21. 実行されると、ビデオコード化装置の１つ以上のプロセッサに
    サブピクチャコード化ピクチャバッファ選好フラグ及びサブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいてサブピクチャコード化ピクチャバッファフラグの値を決定することと、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値は外部的に特定されること又は外部的に特定されないときにゼロに設定されることの一方であり、前記サブピクチャコード化ピクチャバッファパラメータ存在フラグはアクセス単位のサブセットをコード化するために必要なパラメータが存在するかどうかを示している、
    前記サブピクチャコード化ピクチャバッファフラグの前記値に基づいて、コード化ピクチャバッファ（ＣＰＢ）がアクセス単位レベルで動作するのか、又はサブピクチャレベルで動作するかを決定することと、
    前記ＣＰＢが前記アクセス単位レベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位はアクセス単位を備えることを決定することと、
    前記ＣＰＢから、個別のアクセス単位を備える復号単位を取り出すことと、
    前記個別のアクセス単位を備える取り出された前記復号単位を復号することと、又は
    前記ＣＰＢが前記サブピクチャレベルで動作することの決定に基づいて、
    前記ＣＰＢに記憶された復号単位がアクセス単位のサブセットを備えることを決定することと、
    前記ＣＰＢから、個別のアクセス単位のサブセットを備える復号単位を取り出すことと、
    前記個別のアクセス単位の前記サブセットを備える前記復号単位を復号することと、
    を実行させる命令を記憶するコンピュータ可読記憶媒体。
  22. 前記命令は前記１つ以上のプロセッサに更に前記サブピクチャコード化ピクチャバッファ選好フラグの前記値を決定させる、請求項２１に記載のコンピュータ可読記憶媒体。
  23. 前記命令は前記１つ以上のプロセッサに更に前記サブピクチャコード化ピクチャバッファ選好フラグの前記値が外部的に特定されていない場合には、前記サブピクチャコード化ピクチャバッファ選好フラグの前記値をゼロ（０）に設定させる、請求項２１に記載のコンピュータ可読記憶媒体。
  24. 前記命令は前記１つ以上のプロセッサに更に前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの前記値を決定させる、請求項２１に記載のコンピュータ可読記憶媒体。
  25. 前記命令は前記１つ以上のプロセッサに更にイチ（１）の個別の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ及び前記サブピクチャコード化ピクチャバッファパラメータ存在フラグに基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をイチ（１）に設定させ、
    前記サブピクチャコード化ピクチャバッファフラグのイチ（１）の前記値は前記ＣＰＢが前記サブピクチャレベルで動作することを示す、請求項２１に記載のコンピュータ可読記憶媒体。
  26. 前記命令は前記１つ以上のプロセッサに更にゼロ（０）の値に設定されている前記サブピクチャコード化ピクチャバッファ選好フラグ又は前記サブピクチャコード化ピクチャバッファパラメータ存在フラグの少なくとも一方に基づいて前記サブピクチャコード化ピクチャバッファフラグの前記値をゼロ（０）に設定させ、
    前記サブピクチャコード化ピクチャバッファフラグのゼロ（０）の前記値は前記ＣＰＢが前記アクセス単位レベルで動作することを示す、請求項２１に記載のコンピュータ可読記憶媒体。
  27. 前記ビデオデータの少なくとも一部を取込むように構成されるカメラを更に備える、請求項７に記載の装置。
  28. 前記ビデオデータの少なくとも一部を出力するように構成される表示器を更に備える、請求項７に記載の装置。
  29. 前記ビデオデータの少なくとも一部を取込むための手段を更に備える、請求項１４に記載の装置。
  30. 表示のために前記ビデオデータの少なくとも一部を出力するための手段を更に備える、請求項１４に記載の装置。
JP2015504557A 2012-04-04 2013-02-26 ビデオコード化における低遅延ビデオバッファリング Active JP6377603B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261620266P 2012-04-04 2012-04-04
US61/620,266 2012-04-04
US201261641063P 2012-05-01 2012-05-01
US61/641,063 2012-05-01
US13/776,140 US9565431B2 (en) 2012-04-04 2013-02-25 Low-delay video buffering in video coding
US13/776,140 2013-02-25
PCT/US2013/027815 WO2013151635A1 (en) 2012-04-04 2013-02-26 Low-delay video buffering in video coding

Publications (3)

Publication Number Publication Date
JP2015515823A JP2015515823A (ja) 2015-05-28
JP2015515823A5 JP2015515823A5 (ja) 2016-04-28
JP6377603B2 true JP6377603B2 (ja) 2018-08-22

Family

ID=49292282

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015504557A Active JP6377603B2 (ja) 2012-04-04 2013-02-26 ビデオコード化における低遅延ビデオバッファリング
JP2015504556A Active JP6529904B2 (ja) 2012-04-04 2013-02-26 ビデオコード化における低遅延ビデオバッファリング
JP2018007158A Pending JP2018093514A (ja) 2012-04-04 2018-01-19 ビデオコード化における低遅延ビデオバッファリング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015504556A Active JP6529904B2 (ja) 2012-04-04 2013-02-26 ビデオコード化における低遅延ビデオバッファリング
JP2018007158A Pending JP2018093514A (ja) 2012-04-04 2018-01-19 ビデオコード化における低遅延ビデオバッファリング

Country Status (23)

Country Link
US (2) US9565431B2 (ja)
EP (2) EP2834974B1 (ja)
JP (3) JP6377603B2 (ja)
KR (2) KR101739633B1 (ja)
CN (2) CN104205849B (ja)
AU (3) AU2013244011B2 (ja)
BR (2) BR112014024849B1 (ja)
CA (2) CA2867024C (ja)
DK (1) DK2834975T3 (ja)
ES (2) ES2928690T3 (ja)
HK (2) HK1201112A1 (ja)
HU (2) HUE060226T2 (ja)
IL (2) IL234520A (ja)
MY (2) MY169717A (ja)
PH (2) PH12014502034B1 (ja)
PL (2) PL2834974T3 (ja)
PT (1) PT2834975T (ja)
RU (2) RU2633165C2 (ja)
SG (3) SG11201405544YA (ja)
SI (1) SI2834975T1 (ja)
TW (2) TWI543621B (ja)
WO (2) WO2013151635A1 (ja)
ZA (1) ZA201408023B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
MY173763A (en) 2012-04-13 2020-02-19 Ge Video Compression Llc Low delay picture coding
CA2870989C (en) 2012-04-23 2018-11-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
SI4002842T1 (sl) 2012-06-26 2023-12-29 Lg Electronics, Inc. Postopek za dekodiranje videa, postopek za kodiranje videa in pomnilniški medij, ki ima shranjene zakodirane informacije o videu
EP3151566B1 (en) 2012-06-29 2021-03-31 GE Video Compression, LLC Video data stream concept
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
KR102383006B1 (ko) * 2013-04-07 2022-04-04 돌비 인터네셔널 에이비 출력 계층 세트들에서의 시그널링 변경
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
JP6156497B2 (ja) * 2013-07-16 2017-07-05 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像復号装置ならびに動画像復号方法
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
US9826232B2 (en) 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
CN105163120B (zh) * 2014-06-09 2018-09-25 浙江大学 一种假设解码器中输入码流缓冲区的输入和输出/从缓冲区获取数据的方法及装置、传输视频码流的方法
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
WO2019027241A1 (ko) * 2017-07-31 2019-02-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10798402B2 (en) * 2017-10-24 2020-10-06 Google Llc Same frame motion estimation and compensation
CA3219866A1 (en) 2019-01-02 2020-07-09 Lg Electronics Inc. Method and device for processing video signal by using inter prediction
ES2952079T3 (es) 2019-01-09 2023-10-26 Huawei Tech Co Ltd Dimensionamiento de subimágenes en la codificación de vídeo
CN111479111B (zh) 2019-01-23 2024-04-09 华为技术有限公司 图像显示顺序的确定方法、装置和视频编解码设备
WO2020157287A1 (en) * 2019-02-01 2020-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video codec allowing sub-picture or region wise random access and concept for video composition using the same
TWI759695B (zh) * 2019-03-01 2022-04-01 弗勞恩霍夫爾協會 假想參考解碼器
CN110062130B (zh) * 2019-03-14 2021-06-08 叠境数字科技（上海）有限公司 基于预处理文件结构的千兆级像素视频渲染方法及装置
WO2020256048A1 (ja) * 2019-06-18 2020-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2020256050A1 (ja) * 2019-06-18 2020-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
BR112022005000A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Método implementado por um decodificador, mídia legível por computador não transitória e dispositivo de decodificação
CN114631321B (zh) 2019-10-18 2024-04-12 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
EP4085622A1 (en) * 2019-12-31 2022-11-09 Koninklijke KPN N.V. Partial output of a decoded picture buffer in video coding
US20210306650A1 (en) * 2020-03-31 2021-09-30 Tencent America LLC Method for signaling subpicture partitioning in coded video stream
BR122023021002A2 (pt) 2020-05-22 2024-02-27 Ge Video Compression, Llc Aparelho e método para receber fluxo de dados de vídeo, fluxo de dados de vídeo, codificador e decodificador de vídeo, e método para codificar um vídeo em um fluxo de dados de vídeo
WO2021252525A1 (en) * 2020-06-08 2021-12-16 Bytedance Inc. Constraints of slice count in a coded video picture
EP3972278A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture tracks in coded video
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532670B2 (en) 2002-07-02 2009-05-12 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
US7257162B2 (en) 2002-07-02 2007-08-14 Conexant Systems, Inc. Hypothetical reference decoder for compressed image and video
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US20060002479A1 (en) * 2004-06-22 2006-01-05 Fernandes Felix C A Decoder for H.264/AVC video
WO2006059796A1 (ja) 2004-12-02 2006-06-08 Sony Corporation 符号化装置および方法、並びにプログラム
US8615038B2 (en) * 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
JP2008536420A (ja) * 2005-04-13 2008-09-04 ノキア コーポレイション スケーラビリティ情報の符号化、格納およびシグナリング
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
CN101502096B (zh) 2006-08-10 2013-06-26 佳能株式会社 图像解码设备
ES2721506T3 (es) * 2007-01-04 2019-08-01 Interdigital Madison Patent Holdings Métodos y aparato para la información de vistas múltiples, expresada en sintaxis de alto nivel
CN102984544A (zh) 2007-01-08 2013-03-20 汤姆森特许公司 用于视频流拼接的方法及装置
GB0700381D0 (en) 2007-01-09 2007-02-14 Mitsubishi Electric Inf Tech Generalised Hypothetical Reference Decoder for Scalable Video Coding with Bitstream Rewriting
JP4823090B2 (ja) 2007-02-01 2011-11-24 パナソニック株式会社 画像符号化装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
RU2463728C2 (ru) * 2007-10-15 2012-10-10 Квэлкомм Инкорпорейтед Усовершенствованное кодирование улучшающего слоя для масштабируемого кодирования видео
JP4577357B2 (ja) * 2007-12-27 2010-11-10 ソニー株式会社 符号化装置及び方法、並びにプログラム
WO2010007513A1 (en) * 2008-07-16 2010-01-21 Nokia Corporation Method and apparatus for track and track subset grouping
WO2010021665A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder
WO2010057027A1 (en) 2008-11-14 2010-05-20 Transvideo, Inc. Method and apparatus for splicing in a compressed video bitstream
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
CN102907096A (zh) 2010-05-10 2013-01-30 三星电子株式会社 用于发送和接收分层编码视频的方法和设备
JPWO2012017643A1 (ja) 2010-08-06 2013-10-03 パナソニック株式会社 符号化方法、表示装置、及び復号方法
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding

Also Published As

Publication number Publication date
AU2013244011B2 (en) 2017-05-18
TWI549481B (zh) 2016-09-11
IL234520A (en) 2017-07-31
CN104221387A (zh) 2014-12-17
ZA201408023B (en) 2017-08-30
SG11201405547TA (en) 2014-11-27
CN104221387B (zh) 2018-06-26
SG10201608270VA (en) 2016-11-29
KR101794398B1 (ko) 2017-11-06
MY168712A (en) 2018-11-29
IL234569A (en) 2017-09-28
PT2834975T (pt) 2016-09-23
BR112014024850A2 (pt) 2017-06-20
PH12014502034A1 (en) 2014-11-24
US20130266075A1 (en) 2013-10-10
EP2834974B1 (en) 2022-09-21
EP2834975A1 (en) 2015-02-11
BR112014024850A8 (pt) 2021-06-22
TW201349872A (zh) 2013-12-01
CN104205849A (zh) 2014-12-10
WO2013151635A1 (en) 2013-10-10
US20130266076A1 (en) 2013-10-10
CA2866665A1 (en) 2013-10-10
CA2867024C (en) 2018-08-14
TWI543621B (zh) 2016-07-21
JP2018093514A (ja) 2018-06-14
JP6529904B2 (ja) 2019-06-12
RU2014143786A (ru) 2016-05-27
US9578326B2 (en) 2017-02-21
ES2592182T3 (es) 2016-11-28
KR20150003236A (ko) 2015-01-08
AU2017202638A1 (en) 2017-05-11
HUE029350T2 (en) 2017-02-28
WO2013151634A1 (en) 2013-10-10
CA2866665C (en) 2018-09-18
US9565431B2 (en) 2017-02-07
BR112014024849A2 (pt) 2017-06-20
PH12014502225B1 (en) 2015-01-12
EP2834974A1 (en) 2015-02-11
JP2015515822A (ja) 2015-05-28
SG11201405544YA (en) 2014-10-30
HUE060226T2 (hu) 2023-02-28
EP2834975B1 (en) 2016-06-15
BR112014024849B1 (pt) 2023-02-14
RU2630176C2 (ru) 2017-09-05
BR112014024849A8 (pt) 2021-06-22
HK1203009A1 (en) 2015-10-09
KR101739633B1 (ko) 2017-05-24
PL2834974T3 (pl) 2022-12-05
PL2834975T3 (pl) 2017-03-31
AU2013244010A1 (en) 2014-10-02
RU2633165C2 (ru) 2017-10-11
TW201347553A (zh) 2013-11-16
HK1201112A1 (en) 2015-08-21
AU2017202638B2 (en) 2019-02-07
CA2867024A1 (en) 2013-10-10
KR20150003235A (ko) 2015-01-08
MY169717A (en) 2019-05-13
RU2014144282A (ru) 2016-05-27
JP2015515823A (ja) 2015-05-28
DK2834975T3 (en) 2016-08-22
BR112014024850B1 (pt) 2023-02-14
CN104205849B (zh) 2019-01-04
ES2928690T3 (es) 2022-11-22
PH12014502034B1 (en) 2014-11-24
AU2013244011A1 (en) 2014-10-02
PH12014502225A1 (en) 2015-01-12
SI2834975T1 (sl) 2016-10-28

Similar Documents

Publication Publication Date Title
JP6377603B2 (ja) ビデオコード化における低遅延ビデオバッファリング
TWI581611B (zh) 擴展解碼單元定義

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6377603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250