JP2024501685A - クロスランダムアクセスポイント信号通知拡張 - Google Patents

Abstract

映像データを処理するためのメカニズムを開示する。１つ以上のランダムアクセスポイント（ＲＡＰ）ピクチャ識別子は、１つ以上のクロスＲＡＰ参照（ＣＲＲ）ピクチャに対して信号通知される。１つ以上のＲＡＰピクチャ識別子に基づいて、ビジュアルメディアデータとビットストリームとの間で変換が実行される。【選択図】図７

Description

関連出願の相互参照
本願は、参照によりここに援用される、Ｙｅ－Ｋｕｉ Ｗａｎｇらによって２０２１年１月６日に出願され、タイトルが「Ｓｉｇｎａｌｌｉｎｇ Ｏｆ Ｃｒｏｓｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ Ｉｎ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ Ａｎｄ Ｍｅｄｉａ Ｆｉｌｅｓ」である、国際出願第ＰＣＴ／ＣＮ２０２１／０７０４００号の利益を主張する。

この特許文献は、ファイルフォーマットのデジタルオーディオ映像メディア情報の生成、記憶、および消費に関する。

デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されるユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けるであろう。

第１の態様は、１つ以上のクロスＲＡＰ参照（ＣＲＲ）ピクチャに対する１つ以上のランダムアクセスピクチャ（ＲＡＰ）ピクチャ識別子を決定すること、および１つ以上のＲＡＰピクチャ識別子に基づいてビジュアルメディアデータとビットストリームとの間の変換を行うこと、を有する映像データの処理方法に関する。

任意選択で、前述の態様のうちいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子が、それぞれ、コーディングされたレイヤ映像シーケンスマイナス１（ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１）フィールドでコーディングされることを提供する。

任意選択で、前述の態様のうちいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子が、それぞれ、タイプ２の従属ランダムアクセスポイント（ＤＲＡＰ）付加拡張情報（ＳＥＩ）メッセージに含まれることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子が、それぞれ、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールドの値に１を加えた値で規定されることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、各ＣＲＲピクチャに対する１つ以上のＲＡＰピクチャ識別子が０よりも大きい値に設定されることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、各ＣＲＲピクチャが１つのイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャに関連付けられ、ＩＲＡＰピクチャが０のＲＡＰピクチャ識別子に関連付けられることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、ＩＲＡＰピクチャのＲＡＰピクチャ識別子が０であると推測され、信号通知されないことを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子が、同じＩＲＡＰピクチャに関連付けられた各ＣＲＲピクチャに異なることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子がＲａｐＰｉｃＩｄｓとして表されることを規定する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、タイプ２ＤＲＡＰ ＳＥＩメッセージにおける他の構文要素は、タイプ２ＤＲＡＰ ＳＥＩメッセージにおけるＲＡＰピクチャ識別子が０よりも大きい場合にのみ信号通知されることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、ＣＲＲピクチャがタイプ２ＤＲＡＰピクチャとして表されることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、ＣＲＲピクチャが拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャとして表されることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、１つ以上のＲＡＰピクチャ識別子が、それぞれ、ＳＥＩメッセージに含まれることを提供する。

任意選択で、前述の態様のうちのいずれかにおいて、本態様の別の実装形態は、ＣＲＲピクチャと同じレイヤで、かつ、復号順にＣＲＲピクチャに後続する任意のピクチャが、同じレイヤで、かつ、復号順にＣＲＲピクチャに先行する任意のピクチャに出力順で後続するように、ビットストリームを制約することを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、タイプ２ＤＲＡＰ ＳＥＩメッセージが、復号順でＣＲＲピクチャに後続し、出力順でＣＲＲピクチャに先行するピクチャが、インター予測のために、復号順でＣＲＲピクチャの前に位置する参照ピクチャを参照することが許可されているかどうかの指示を含むことを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、指示が、参照ピクチャがピクチャと同じレイヤにある場合、そのピクチャが参照ピクチャを参照することが許可されているかどうかをさらに示すことを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、指示が１つのビットフラグであることを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、指示がｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールドにおける１つのビットであることを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、変換が、ビジュアルメディアデータに従ってビットストリームを生成することを含むことを提供する。

任意選択で、前述の態様のいずれかにおいて、本態様の別の実装形態は、変換が、ビットストリームを構文解析してビジュアルメディアデータを取得することを含むことを提供する。

第２の態様は、プロセッサと、命令が記憶された非一時的メモリとを備える、映像データを処理するための装置であって、命令は、プロセッサによって実行された際に、プロセッサに前述の態様のうちのいずれかの方法を実行させる。

第３の態様は、映像コーディングデバイスで使用するためのコンピュータプログラム製品を備える非一時的なコンピュータ可読媒体であって、コンピュータプログラム製品は、非一時的なコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を備え、プロセッサによって実行された場合、映像コーディングデバイスに前述の態様のうちのいずれかの方法を実行させるようにする。

明瞭にするために、前述の実施例のうちのいずれか１つを前述の他の実施例のうちのいずれか１つと組み合わせ、本開示の範囲内で新しい実施例を作製してもよい。

これらおよび他の特徴は、添付の図面および特許請求の範囲と関連付けられた以下の詳細な説明から、より明瞭に理解されるであろう。

本開示をより完全に理解するために、以下の簡単な説明を添付の図面および詳細な説明と併せて参照する。ここで、同様の参照番号は同様の部分を表す。

ＩＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＤＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＣＲＲピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。 ＣＲＲに基づくランダムアクセスを支援するために、外部ビットストリームに信号通知するための例示的なメカニズムを示す模式図である。 ピクチャが復号順でＤＲＡＰおよび／またはＣＲＲピクチャに続き、かつ、出力順でＤＲＡＰおよび／またはＣＲＲピクチャに先行する場合の潜在的な復号の誤りを示す模式図である。 国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）に記憶されるメディアファイルを示す模式図である。 符号化されたビジュアルメディアデータを含むビットストリームを示す模式図である。 映像処理システムの例を示すブロック図である。 映像処理装置の例を示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像コーディングシステムの例を説明するブロック図である。 エンコーダの例を説明するブロック図である。 デコーダの例を説明するブロック図である。 エンコーダの例を示す回路図である。

以下、１つ以上の実施形態について例示的な実装形態を提供するが、開示されるシステムおよび／または方法は、現在知られているかまたはまだ開発されていないかにかかわらず、任意の数の技術を用いて実装されてもよいことを初めに理解されたい。本開示は、本明細書で例示され説明される例示的な設計および実装形態を含む、以下に例示される例示的な実装形態、図面、および技術に決して限定されるべきではなく、添付の特許請求の範囲内において、それらの均等物の全範囲とともに、修正されてもよい。

Ｈ．２６６としても知られる汎用映像コーディング（ＶＶＣ）という用語は、ある説明において、理解を容易にするためだけに用いられており、開示される技術の範囲を限定するためではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本明細書において、ＶＶＣ規格または国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）のファイルフォーマット規格に対しての編集変更は、取り消されたテキストを示す太字のイタリック体、および追加されたテキストを示す下線によって、テキストに示す。

この特許文献は、映像コーディング、映像ファイルフォーマット、映像信号通知、および映像アプリケーションに関する。具体的には、本文書は、付加拡張情報（ＳＥＩ）メッセージに基づく映像コーディングにおけるクロスランダムアクセスポイント（ＲＡＰ）参照の拡張された信号通知、およびメディアファイルにおけるクロスＲＡＰ参照（ＣＲＲ）の信号通知に関するものである。開示された例は、個々にまたは様々な組み合わせで、任意の映像コーディング規格または非標準映像コーデック、例えばＶＶＣ、および任意のメディアファイルフォーマット、例えばＩＳＯＢＭＦＦに適用されてもよい。

本開示は、以下の略語を含む。適応色変換（ＡＣＴ）、適応ループフィルタ（ＡＬＦ）、適応動きベクトル解像度（ＡＭＶＲ）、適応パラメータセット（ＡＰＳ）、アクセスユニット（ＡＵ）、アクセスユニット区切り文字（ＡＵＤ）、高度映像コーディング（Ｒｅｃ．ＩＴＵ－ＴＨ．２６４｜ＩＳＯ／ＩＥＣ １４４９６－１０）（ＡＶＣ））、双方向予測（Ｂ）、ＣＵレベル重み付き双方向予測（ＢＣＷ）、双方向オプティカルフロー（ＢＤＯＦ）、ブロックベースのデルタパルスコード変調（ＢＤＰＣＭ）、バッファリング周期（ＢＰ）、コンテキストベースの適応二進算術コーディング（ＣＡＢＡＣ）、コーディングブロック（ＣＢ）、一定ビットレート（ＣＢＲ）、クロスコンポーネント適応ループフィルタ（ＣＣＡＬＦ）、コーディングされたレイヤ映像シーケンス（ＣＬＶＳ）、コーディングされたレイヤ映像シーケンス開始（ＣＬＶＳＳ）、コーディングされたピクチャバッファ（ＣＰＢ）、クリーンランダムアクセス（ＣＲＡ）、巡回冗長性検査（ＣＲＣ）、クロスＲＡＰ参照（ＣＲＲ）、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コーディングされた映像シーケンス（ＣＶＳ）、コーディングされた映像シーケンス開始（ＣＶＳＳ）、復号能力情報（ＤＣＩ）、復号されたピクチャバッファ（ＤＰＢ）、従属ランダムアクセスポイント（ＤＲＡＰ）、復号ユニット（ＤＵ）、復号ユニット情報（ＤＵＩ）、指数ゴロム（ＥＧ）、ｋ次指数ゴロム（ＥＧｋ）、ビットストリーム終端（ＥＯＢ）、シーケンス終端（ＥＯＳ）、フィラーデータ（ＦＤ）、先入れ先出し（ＦＩＦＯ）、固定長（ＦＬ）、緑、青、および赤（ＧＢＲ）、一般的制約情報（ＧＣＩ）、漸次的復号更新（ＧＤＲ）、幾何学的分割モード（ＧＰＭ）、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８－２としても知られる、高効率映像コーディング（ＨＥＶＣ）、仮想参照デコーダ（ＨＲＤ）、仮想ストリームスケジューラ（ＨＳＳ）、イントラ（Ｉ）、イントラブロックコピー（ＩＢＣ）、瞬時復号更新（ＩＤＲ）、レイヤ間参照ピクチャ（ＩＬＲＰ）、イントラランダムアクセスポイント（ＩＲＡＰ）、低周波数非可分変換（ＬＦＮＳＴ）、最小確率記号（ＬＰＳ）、最下位ビット（ＬＳＢ）、長期参照ピクチャ（ＬＴＲＰ）、彩度スケーリングを伴う輝度マッピング（ＬＭＣＳ）、マトリックスに基づくイントラ予測（ＭＩＰ）、最大確率記号（ＭＰＳ）、最上位ビット（ＭＳＢ）、多重変換選択（ＭＴＳ）、動きベクトル予測（ＭＶＰ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、操作点（ＯＰ）、操作点情報（ＯＰＩ）、予測（Ｐ）、ピクチャヘッダ（ＰＨ）、ピクチャオーダカウント（ＰＯＣ）、ピクチャパラメータセット（ＰＰＳ）、予測微調整オプティカルフロー（ＰＲＯＦ）、ピクチャタイミング（ＰＴ）、ピクチャユニット（ＰＵ）、量子化パラメータ（ＱＰ）、ランダムアクセス復号可能リーディングピクチャ（ＲＡＤＬ）、ランダムアクセスポイント（ＲＡＰ）、ランダムアクセススキップリーディングピクチャ（ＲＡＳＬ）、生バイトシーケンスペイロード（ＲＢＳＰ）、赤、緑、および青（ＲＧＢ）、参照ピクチャリスト（ＲＰＬ）、サンプル適応オフセット（ＳＡＯ）、サンプルアスペクト比（ＳＡＲ）、付加拡張情報（ＳＥＩ）、スライスヘッダ（ＳＨ）、サブピクチャレベル情報（ＳＬＩ）、データビットの文字列（ＳＯＤＢ）、シーケンスパラメータセット（ＳＰＳ）、短期参照ピクチャ（ＳＴＲＰ）、段階的時間的サブレイヤアクセス（ＳＴＳＡ）、短縮ライス（ＴＲ）、変換ユニット（ＴＵ）、可変ビットレート（ＶＢＲ）、映像コーディングレイヤ（ＶＣＬ）、映像パラメータセット（ＶＰＳ）、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７としても知られる、汎用付加拡張情報（ＶＳＥＩ）、映像ユーザビリティ情報（ＶＵＩ）、Ｒｅｃ．ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３としても知られる、汎用映像コーディング（ＶＶＣ）。

映像コーディング規格は、主にＩＴＵ－ＴおよびＩＳＯ／ＩＥＣ規格の開発によって発展してきた。ＩＴＵ－ＴはＨ．２６１とＨ．２６３とを作り、ＩＳＯ／ＩＥＣはＭＰＥＧ－１とＭＰＥＧ－４Ｖｉｓｕａｌとを作り、両団体はＨ．２６２／ＭＰＥＧ－２ＶｉｄｅｏとＨ．２６４／ＭＰＥＧ－４高度映像コーディング（ＡＶＣ）とＨ．２６５／ＨＥＶＣ規格とを共同で作った。Ｈ．２６２以来、映像コーディング規格は、時間的予測に加えて変換コーディングも利用されるハイブリッド映像コーディング構造に基づく。ＨＥＶＣを超えたさらなる映像コーディング技術を探索するため、映像コーディング専門家グループ（ＶＣＥＧ）とＭＰＥＧが共同で合同映像探索チーム（ＪＶＥＴ）を設立した。多くの方法がＪＶＥＴによって採用され、合同探索モード（ＪＥＭ）と呼ばれる参照ソフトウェアに組み込まれてきた。ＪＶＥＴは、後に汎用映像コーディング（ＶＶＣ）プロジェクトが正式に始まった際に、合同映像探索チーム（ＪＶＥＴ）に改称された。ＶＶＣはコーディング規格であり、ＨＥＶＣに比べて５０％のビットレート低減を目指している。ＶＶＣはＪＶＥＴによって完成した。

ＶＶＣおよびＶＳＥＩ規格は、テレビ放送、ビデオ会議、記憶媒体からの再生、適応ビットレートストリーミング、映像領域抽出、複数のコーディングされた映像ビットストリームからのコンテンツの合成および結合、マルチビュー映像、スケーラブルなレイヤ状のコーディング、およびビューポート適応３６０°没入型媒体等の用途を含む、最大限に幅広い応用分野における使用のために設計されている。

エッセンシャル映像コーディング（ＥＶＣ）規格（ＩＳＯ／ＩＥＣ ２３０９４－１）は、ＭＰＥＧが開発した別の映像コーディング規格である。

ファイルフォーマット規格については後述する。メディアストリーミングアプリケーションは、一般的に、インターネットプロトコル（ＩＰ）、トランスミッションコントロールプロトコル（ＴＣＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）トランスポート方式に基づいており、一般的にＩＳＯＢＭＦＦのようなファイルフォーマットに依存する。このようなストリーミングシステムの１つは、ＨＴＴＰ（ＤＡＳＨ）による動的適応ストリーミングである。映像は、ＡＶＣおよび／またはＨＥＶＣ等の映像フォーマットで符号化され得る。符号化された映像は、ＩＳＯＢＭＦＦトラックにカプセル化され、ＤＡＳＨ表現およびセグメントに含まれてもよい。プロファイル、階層、レベル等の映像ビットストリームに関する重要な情報は、コンテンツ選択のために、ファイルフォーマットレベルのメタデータおよび／またはＤＡＳＨメディアプレゼンテーションディスクリプション（ＭＰＤ）として公開されてもよい。例えば、このような情報は、ストリーミングセッションの開始時の初期化およびストリーミングセッション中のストリーム適応の両方のために、適切なメディアセグメントを選択するために使用され得る。

同様に、ＩＳＯＢＭＦＦの画像フォーマットを使用する場合、ＡＶＣ画像ファイルフォーマットおよびＨＥＶＣ画像ファイルフォーマット等の、画像フォーマットに特有のファイルフォーマット規格を採用してもよい。ＩＳＯＢＭＦＦに基づくＶＶＣ映像コンテンツを記憶するためのファイルフォーマットであるＶＶＣ映像ファイルフォーマットは、ＭＰＥＧにより開発が行なわれている。また、ＩＳＯＢＭＦＦに基づく、ＶＶＣを用いてコーディングされた画像コンテンツを記憶するためのファイルフォーマットであるＶＶＣ画像ファイルフォーマットも、ＭＰＥＧにより開発が行われている。

ＨＥＶＣおよびＶＶＣにおけるランダムアクセスのサポートについて以下に説明する。ランダムアクセスとは、復号順のビットストリームの最初のピクチャでないピクチャからのビットストリームのアクセスと復号を開始することを指す。ブロードキャスト／マルチキャストおよびマルチパーティビデオ会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むべきである。このようなランダムアクセスポイントは、通常、イントラコーディングされたピクチャであるが、インターコーディングされたピクチャであってもよい（例えば、漸次的復号更新の場合）。イントラコーディングされたピクチャは、ピクチャ内のブロックを参照してコーディングされるピクチャであり、インターコーディングされたピクチャは、他のピクチャのブロックを参照してコーディングされるピクチャである。

ＨＥＶＣは、ＮＡＬユニットタイプによって、ＮＡＬユニットのヘッダ内のイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャを信号通知することを含む。ＨＥＶＣは、３つのタイプのＩＲＡＰピクチャ、即ち、瞬時復号更新（ＩＤＲ）、クリーンランダムアクセス（ＣＲＡ）、およびリンク切れへのアクセス（ＢＬＡ）ピクチャをサポートする。ＩＤＲピクチャは、インターピクチャ予測構造が現在のピクチャグループ（ＧＯＰ）の前のどのピクチャも参照しないようにするよう制約しており、従来、クローズドＧＯＰランダムアクセスポイントと呼ばれている。ＣＲＡピクチャは、あるピクチャが現在のＧＯＰの前にピクチャを参照することを許可することによって、制限が緩和され、ランダムアクセスの場合、これらはすべて破棄される。ＣＲＡピクチャは、オープンＧＯＰランダムアクセスポイントと呼ばれている。ＢＬＡピクチャは、通常、例えばストリーム切り替え時に、ＣＲＡピクチャにおいて２つのビットストリームまたはその一部をスプライシングすることで生成される。ＩＲＡＰピクチャのより優れたシステム使用を可能にするために、ＩＲＡＰピクチャのプロパティを信号通知する６つの異なるＮＡＬユニットが定義されており、これらがＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）により定義されるストリームアクセスポイントタイプに合わせて使用され得る。そのようなストリームアクセスポイントタイプは、ＨＴＴＰ（ＤＡＳＨ）を介する動的適応ストリーミングにおけるランダムアクセスサポートにも利用される。

ＶＶＣは、３つのタイプのＩＲＡＰピクチャ、２つのタイプのＩＤＲピクチャ（関連付けられたＲＡＤＬピクチャを有する１つのタイプおよび関連付けられたＲＡＤＬピクチャを有しない他のタイプ）および１つのタイプのＣＲＡピクチャをサポートする。これらはＨＥＶＣと同様に使用される。ＨＥＶＣにおけるＢＬＡピクチャタイプは、ＶＶＣに含まれない。これは、ＢＬＡピクチャの基本機能は、ＣＲＡピクチャにシーケンス終了ＮＡＬユニットを加えたものによって実現することができ、このシーケンス終了ＮＡＬユニットが存在することは、後続のピクチャがシングルレイヤビットストリームにおいて新しいＣＶＳを開始することを示すためである。さらに、ＮＡＬユニットヘッダのＮＡＬユニットタイプフィールドに６ビットの代わりに５ビットを用いることによって示されるように、ＶＶＣの開発の間にＨＥＶＣよりも少ないＮＡＬユニットタイプを規定する点で要求があった。

ＶＶＣとＨＥＶＣとの間のランダムアクセスサポートにおける別の相違は、ＶＶＣではより規範的な方法でＧＤＲをサポートすることである。ＧＤＲにおいて、ビットストリームの復号は、インターコーディングされたピクチャから開始することができる。ランダムアクセスポイントにおける第１のピクチャでは、正確に復号できるのはピクチャの一部だけである。しかしながら、複数のピクチャの後、ピクチャ領域全体を正確に復号して表示することができる。ＡＶＣおよびＨＥＶＣはまた、ＧＤＲランダムアクセスポイントおよびリカバリポイントの信号通知のためのリカバリポイントＳＥＩメッセージを使用して、ＧＤＲをサポートする。ＶＶＣにおいて、ＧＤＲピクチャを示すためにＮＡＬユニットタイプが規定され、ピクチャヘッダ構文構造においてリカバリポイントが信号通知される。ＣＶＳおよびビットストリームは、ＧＤＲピクチャで開始することができる。したがって、ビットストリーム全体には、イントラコーディングされたピクチャを１つも持たず、インターコーディングされたピクチャのみを含むことが許される。ＧＤＲサポートをこのように規定する主な利点は、ＧＤＲに適合した動作を提供することである。ＧＤＲは、エンコーダが、ピクチャ全体をイントラコーディングするのではなく、複数のピクチャにわたってイントラコーディングされたスライスまたはブロック（これらは、インターコーディングされたスライス／ブロックよりも圧縮されていない）を分布させることによって、ビットストリームのビットレートを平滑化することを可能にする。これは、著しいエンドツーエンドの遅延の低減を可能にし、これは、無線ディスプレイ、オンラインゲーム、無人機に基づくアプリケーション等のような超低遅延アプリケーションの使用が増加していることに起因して、より重要であると考えられる。

ＶＶＣにおける別のＧＤＲに関連する特徴は、仮想境界信号通知である。ＧＤＲピクチャとリカバリポイントとの間のピクチャにおける、更新された領域（ＧＤＲにおける正しく復号された領域）と未更新の領域との境界を、仮想境界として信号通知することができる。信号通知される場合、境界をまたぐインループフィルタリングは適用されない。これにより、境界またはその付近でのいくつかのサンプルの復号の不整合を回避することができる。これは、アプリケーションがＧＤＲプロセス中に正しく復号された領域を表示することを決定した場合に有用となりうる。ＩＲＡＰピクチャおよびＧＤＲピクチャを集合的に、ランダムアクセスポイント（ＲＡＰ）ピクチャと呼ぶことができる。

ＶＵＩおよびＳＥＩメッセージについては後述する。ＶＵＩは、ＳＰＳの一部として（および場合によってはＨＥＶＣのＶＰＳにおいても）送信される構文構造である。ＶＵＩは、規範的な復号処理に影響を及ぼさないが、コーディングされた映像の適切なレンダリングに使用可能な情報を搬送する。ＳＥＩは、復号、表示、または他の目的に関連する処理を支援する。ＶＵＩと同様に、ＳＥＩは規範的な復号プロセスに影響を与えない。ＳＥＩはＳＥＩメッセージで搬送される。ＳＥＩメッセージのデコーダサポートは任意である。しかし、ＳＥＩメッセージはビットストリーム適合性に影響を及ぼす。例えば、ビットストリームにおけるＳＥＩメッセージの構文がこの規格に従わない場合、そのビットストリームは適合していない。いくつかのＳＥＩメッセージは、ＨＲＤ規格において使用される。

ＶＵＩ構文構造およびＶＶＣで使用されるほとんどのＳＥＩメッセージは、ＶＶＣ規格では規定されておらず、ＶＳＥＩ規格で規定されている。ＨＲＤ適合性試験に使用されるＳＥＩメッセージは、ＶＶＣ規格で規定されている。ＶＶＣは、ＨＲＤ適合性試験に関連する５つのＳＥＩメッセージを定義し、ＶＳＥＩは、２０個の追加のＳＥＩメッセージを規定する。ＶＳＥＩ規格で搬送されるＳＥＩメッセージは、適合するデコーダの動作に直接影響を及ぼすものではなく、コーディングフォーマットに依存しない方式で使用できるように定義されており、ＶＶＣに加え、他の映像コーディング規格とともにＶＳＥＩを使用することができる。ＶＶＣ構文要素名を具体的に参照するのではなく、ＶＳＥＩ規格は、ＶＶＣ規格内で値が設定される変数を参照する。

ＨＥＶＣと比較して、ＶＶＣのＶＵＩ構文構造は、ピクチャの適切なレンダリングに関連する情報のみに焦点を当てており、タイミング情報またはビットストリーム制限指示を含んでいない。ＶＶＣにおいて、ＶＵＩはＳＰＳ内で信号通知され、ＳＰＳはＶＵＩ構文構造の前に１つの長さフィールドを含み、ＶＵＩペイロードの長さをバイトで信号通知する。これにより、デコーダは情報を簡単に飛び越えることができ、ＳＥＩメッセージの構文拡張と同様に、ＶＵＩ構文構造の末端に新しい構文要素を直接追加することで、ＶＵＩ構文の拡張を可能にする。

ＶＵＩ構文構造は、次の情報を含む。コンテンツがインターレースまたはプログレッシブであることの指示、コンテンツがフレームパックされた立体映像または投影された全方位映像を含むかどうかの指示、サンプルアスペクト比、コンテンツがオーバースキャン表示に適切であるかどうかの指示、超高解像度（ＵＨＤ）対高解像度（ＨＤ）の色空間およびハイダイナミックレンジ（ＨＤＲ）の信号通知をサポートする、原色、色行列および色変換特性を含む色記述、および、輝度と比較した彩度位置の指示（ＨＥＶＣと比較して、進歩的なコンテンツの信号通知が明確化されている）。

ＳＰＳにＶＵＩが含まれない場合、この情報は不特定と見なされ、ビットストリームの内容をディスプレイ上でレンダリングすることを意図している場合、外部手段を介して伝達されるか、アプリケーションによって規定される。

表１は、ＶＶＣに規定されたＳＥＩメッセージ、それらの構文およびセマンティクスを含む規格を列挙する。ＶＳＥＩ規格で規定されている２０個のＳＥＩメッセージのうち、多くはＨＥＶＣから継承されている（例えば、フィラーペイロードと両ユーザデータＳＥＩメッセージ）。ＳＥＩメッセージの中には、コーディングされた映像コンテンツを正しく処理したりレンダリングしたりするためのものがある。これは、表示色量のマスタリング、コンテンツの光レベル情報、および／または代替転送特性ＳＥＩメッセージの場合に当てはまり、これらはＨＤＲコンテンツに特に関係がある。他の例としては、３６０°の映像コンテンツの信号通知および処理に関連する、等方形投影、球面回転、領域単位のパッキング、および／または全方向性ビューポートＳＥＩメッセージを含む。

表１：ＶＶＣ ｖ１におけるＳＥＩメッセージの一覧

ＶＶＣ ｖ１に規定されるＳＥＩメッセージは、フレームフィールド情報ＳＥＩメッセージと、サンプルアスペクト比情報ＳＥＩメッセージと、サブピクチャレベル情報ＳＥＩメッセージと、を含む。フレームフィールド情報ＳＥＩメッセージは、関連するピクチャをどのように表示すべきか（例えば、フィールドパリティまたはフレーム繰り返し周期）、関連するピクチャのソーススキャンタイプ、および関連するピクチャが前のピクチャの複製であるかどうかを示すための情報を含む。この情報は、ある映像コーディング規格におけるピクチャタイミングＳＥＩメッセージにおいて、関連するピクチャのタイミング情報とともに信号通知されてもよい。しかしながら、フレームフィールド情報およびタイミング情報は、必ずしも一緒に信号通知される必要がない２つの異なる種類の情報である。典型的な例において、タイミング情報はシステムレベルで信号通知されるが、フレームフィールド情報はビットストリーム内で信号通知される。そのため、フレームフィールド情報はピクチャタイミングＳＥＩメッセージから取り除かれ、代わりに専用のＳＥＩメッセージ内で信号通知される。この変更は、また、フレーム繰り返しのためにフィールドを一緒にするまたはより多くの値をペアリングするような、追加のかつより明瞭な命令をディスプレイに伝達するように、フレームフィールド情報の構文を変更することをサポートする。

サンプルアスペクト比ＳＥＩメッセージは、同じシーケンス内の異なるピクチャに対して異なるサンプルアスペクト比を信号通知することを可能にするが、ＶＵＩに含まれる対応する情報は、シーケンス全体に適用される。これは、同じシーケンスの異なるピクチャが異なるサンプルアスペクト比を持つようにするスケーリング係数を持つ参照ピクチャ再サンプリング機能を使用する場合に関連する場合がある。

サブピクチャレベル情報ＳＥＩメッセージは、サブピクチャシーケンスのレベル情報を規定する。

ＤＲＡＰ指示ＳＥＩメッセージについては後述する。ＶＳＥＩ規格は、ＤＲＡＰ指示ＳＥＩメッセージを含み、このメッセージは、以下のように規定される。

従属ランダムアクセスポイント（ＤＲＡＰ）指示ＳＥＩメッセージに関連するピクチャをＤＲＡＰピクチャと呼ぶ。ＤＲＡＰ指示ＳＥＩメッセージの存在は、この節で規定されたピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約は、デコーダが、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャを除く他のピクチャを復号する必要なく、ＤＲＡＰピクチャおよびＤＲＡＰピクチャに後続するピクチャを復号順および出力順の両方で適切に復号することを可能にすることができる。

ＤＲＡＰ指示ＳＥＩメッセージの存在によって示される制約は以下の通りであり、すべて適用されるべきである。ＤＲＡＰピクチャはトレーリングピクチャである。ＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。ＤＲＡＰピクチャは、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャを除き、ＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおけるピクチャを含まない。復号順および出力順の両方においてＤＲＡＰピクチャの後に後続する任意のピクチャは、そのピクチャの参照ピクチャリストのアクティブエントリにおいて、ＤＲＡＰピクチャの関連するＩＲＡＰピクチャを除き、復号順または出力順にＤＲＡＰピクチャに先行する任意のピクチャを含まない。

メディアファイルにおけるＤＲＡＰ信号通知については後述する。ＩＳＯＢＭＦＦは、サンプルグループに基づいてＤＲＡＰのための信号通知機構を以下のように含む。ＤＲＡＰサンプルグループは、以下のように定義される。ＤＲＡＰサンプルは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照可能な場合、その後の復号順ですべてのサンプルが正しく復号されるサンプルである。初期サンプルは、ストリームアクセスポイント（ＳＡＰ）タイプ１、２、または３のＳＡＰサンプルであり、同期サンプルであるか、ＳＡＰサンプルグループによってそのようにマークされる。例えば、ファイル中の第３２サンプルがＩ－ピクチャを含む初期サンプルである場合、第４８サンプルはＰ－ピクチャを含み、従属ランダムアクセスポイントサンプルグループのメンバーとしてマークされてもよい。これは、最初に３２番目のサンプルを復号し（サンプル３３～４７を無視する）、次に４８番目のサンプルからの復号を続けることによって、４８番目のサンプルにおいてランダムアクセスを実行することができることを示す。

サンプルは、以下の条件が満たされる場合にのみ、従属ランダムアクセスポイントサンプルグループのメンバーとなり得る（したがって、ＤＲＡＰサンプルと呼ばれる）。ＤＲＡＰサンプルは、最も近い先行する初期サンプルのみを参照する。ＤＲＡＰサンプルにおいて復号を開始するとき、ＤＲＡＰサンプルおよび出力順にＤＲＡＰサンプルに後続するすべてのサンプルを正しく復号することができる。これは、タイプ１、２、または３の最も近い先行するＳＡＰサンプルを復号した後に発生し、これらのサンプルは、例えば同期サンプルであるかまたはＳＡＰサンプルグループによってマークされることができる。ＤＲＡＰサンプルは、タイプ１、２、および３のＳＡＰサンプルとの組み合わせでのみ併用可能である。これは、先行するＳＡＰサンプルをＤＲＡＰサンプルおよびＤＲＡＰサンプルに後続するサンプルに出力順に連結することによって、復号可能なサンプルのシーケンスを生成する機能を可能にするためである。ＤＲＡＰサンプルグループのための例示的な構文は、以下の通りである。
ｃｌａｓｓ ＶｉｓｕａｌＤＲＡＰＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（‘ｄｒａｐ’）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３）ＤＲＡＰ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（２９）ｒｅｓｅｒｖｅｄ＝０；
｝

ＤＲＡＰサンプルグループのための例示的なセマンティクスは、以下の通りである。ＤＲＡＰ＿ｔｙｐｅは非負の整数である。ＤＲＡＰ＿ｔｙｐｅが１～３の範囲内にある場合、ＤＲＡＰ＿ｔｙｐｅは、ＤＲＡＰサンプルが対応していたであろうＳＡＰ＿ｔｙｐｅ（附属書Ｉに規定）を示し、ＤＲＡＰサンプルが最も近い先行するＳＡＰに依存していなかったとする。他のタイプ値は予約されている。予約済みは０に等しいものとする。この従属節の意味は、予約された値が０であるサンプルグループ記述エントリにのみ適用される。構文解析ツールは、このサンプルグループを構文解析する際に、０より大きく予約されたサンプルグループ記述エントリを許可し、かつ無視する。

以下では、外部復号更新（ＥＤＲ）および／またはタイプ２ＤＲＡＰとも呼ばれる、クロスＲＡＰ参照（ＣＲＲ）に基づく映像コーディングアプローチを説明する。この映像コーディングアプローチの基本的な考え方は、以下の通りである。イントラコーディングされたＩＲＡＰピクチャとしてランダムアクセスポイントをコーディングする代わりに（但し、ビットストリーム中の正に最初のピクチャを除く）、ランダムアクセスポイントは、ＩＲＡＰピクチャとしてコーディングされた場合に前のピクチャが使用できないことを回避するため、インター予測を用いてコーディングされる。このメカニズムは、別個の映像ビットストリーム（外部ストリームおよび／または外部手段と呼ばれてもよい）を介して、限られた数の前のピクチャ（通常、映像コンテンツの異なるシーンを表す）を規定する。このような前のピクチャを外部ピクチャと呼ぶ。その結果、各外部ピクチャは、ランダムアクセスポイントをまたぐピクチャによるインター予測参照に使用することができる。コーディング効率の向上は、ランダムアクセスポイントをインター予測ピクチャとしてコーディングし、ＥＤＲピクチャに復号順に後続するピクチャに対してより多くの参照ピクチャを利用可能とすることから得られる。このような映像コーディングアプローチでコーディングされるビットストリームは、以下に説明するように、ＩＳＯＢＭＦＦおよびＤＡＳＨに基づくアプリケーションに用いることができる。

ＤＡＳＨコンテンツ作成動作については後述する。映像コンテンツは、１つ以上の表現にコーディングされ、各表現は、特定の空間分解能、時間分解能、および品質を含む。映像コンテンツの各表現は、メインストリームによって表され、場合によっては外部ストリームによっても表される。メインストリームは、ＥＤＲピクチャを含んでもよいし、含まなくてもよいコーディングされるピクチャを含む。少なくとも１つのＥＤＲピクチャがメインストリームに含まれている場合、外部ストリームも存在し、この外部ストリームは外部ピクチャを含む。ＥＤＲピクチャがメインストリームに含まれていない場合、外部ストリームは存在しない。各メインストリームは、メインストリーム表現（ＭＳＲ）で搬送される。ＭＳＲ内の各ＥＤＲピクチャは、セグメントの最初のピクチャとなる。

各外部ストリームは、存在する場合、外部ストリーム表現（ＥＳＲ）で搬送される。ＥＤＲピクチャで始まるＭＳＲの各セグメントに対して、ＭＰＤから導出された同じセグメント開始時間を有する、対応するＥＳＲにおいて、セグメントが存在し、セグメントは、ＭＳＲにて搬送されるビットストリームにおいて、そのＥＤＲピクチャと、復号順において後続のピクチャとを復号するために要求される外部ピクチャを搬送する。同じ映像コンテンツのＭＳＲは、１つの適応セット（ＡＳ）に含まれる。同じ映像コンテンツのＥＳＲが、１つのＡＳに含まれる。

ＤＡＳＨストリーミング動作を以下に説明する。クライアントは、ＤＡＳＨメディアプレゼンテーションのＭＰＤを取得し、ＭＰＤを構文解析し、ＭＳＲを選択し、コンテンツを消費する開始プレゼンテーション時間を決定する。クライアントは、開始プレゼンテーション時間に等しい（または十分に近い）プレゼンテーション時間を有するピクチャを含むセグメントから始めて、ＭＳＲのセグメントを要求する。開始セグメントの第１のピクチャがＥＤＲピクチャである場合、好ましくはＭＳＲセグメントを要求する前に、関連するＥＳＲにおける対応するセグメント（ＭＰＤから導出された同じセグメント開始時間を有する）も要求する。そうでない場合、関連するＥＳＲのセグメントは要求されない。

異なるＭＳＲに切り替えるとき、クライアントは、ＭＳＲからの切り替えの最後に要求されたセグメントのセグメント開始時間よりも長いセグメント開始時間を有する第１のセグメントから始めて、ＭＳＲへの切り替えのセグメントを要求する。切り替え先のＭＳＲにおける開始セグメントにおける第１のピクチャがＥＤＲピクチャである場合、好ましくはＭＳＲセグメントを要求する前に、関連するＥＳＲにおける対応するセグメントも要求される。そうでない場合、関連するＥＳＲのセグメントは要求されない。

同じＭＳＲで連続的に動作している場合（探索またはストリーム切り替え動作の後、開始セグメントを復号した後）、ＥＤＲピクチャで開始する任意のセグメントを要求するときを含め、関連するＥＳＲのセグメントを要求しない。

以下、映像におけるクロスＲＡＰ参照の信号通知について説明する。ＣＲＲは、以下のように、タイプ２のＤＲＡＰ指示ＳＥＩメッセージと呼ばれるＳＥＩメッセージで信号通知することができる。タイプ２のＤＲＡＰ指示ＳＥＩメッセージ構文は、以下のとおりである。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージのセマンティクスは、次の通りである。タイプ２のＤＲＡＰ指示ＳＥＩメッセージに関連するピクチャは、タイプ２のＤＲＡＰピクチャと呼ばれる。タイプ１のＤＲＡＰピクチャ（ＤＲＡＰ指示ＳＥＩメッセージに関連する）およびタイプ２のＤＲＡＰピクチャをまとめてＤＲＡＰピクチャと呼ぶ。タイプ２のＤＲＡＰ指示ＳＥＩメッセージの存在は、この従属節に規定されるピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約により、デコーダは、タイプ２のＤＲＡＰピクチャと、同じレイヤで、かつ復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに続くピクチャとを、適切に復号することができる。これは、同じＣＬＶＳ内にあり、ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］の構文要素で識別される、復号順のＩＲＡＰまたはＤＲＡＰピクチャのリストを含むピクチャリストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤ内の他のピクチャを復号する必要なしに、達成され得る。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージが存在することによって示される制約は、すべて適用されるべきであり、以下のとおりである。タイプ２のＤＲＡＰピクチャはトレーリングピクチャである。タイプ２のＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。タイプ２のＤＲＡＰピクチャは、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおける同じレイヤの任意のピクチャを含まない。同じレイヤで、かつ、復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに続く任意のピクチャは、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリにおいて、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤで、かつ、復号順または出力順でタイプ２のＤＲＡＰピクチャに先行する任意のピクチャを含まない。リストｒｅｆｅｒｅｎａｂｌｅＰｉｃｔｕｒｅｓにおける任意のピクチャは、ピクチャの参照ピクチャリストのアクティブエントリにおいて、同じレイヤで、かつ、リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおけるより前の位置のピクチャではない任意のピクチャを含まない。その結果、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける第１のピクチャには、このピクチャがＩＲＡＰピクチャではなくＤＲＡＰピクチャである場合であっても、このピクチャの参照ピクチャリストのアクティブエントリに同じレイヤのピクチャが含まれない。

ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓは、ＲａｐＰｉｃＩｄと表記される、タイプ２のＤＲＡＰピクチャのＲＡＰピクチャ識別子を規定する。各ＩＲＡＰまたはＤＲＡＰピクチャは、ＲａｐＰｉｃＩｄに関連付けられる。ＩＲＡＰピクチャに対するＲａｐＰｉｃＩｄの値は０に等しいと推測される。ＲａｐＰｉｃＩｄの値は、ＣＬＶＳ内の任意の２つのＩＲＡＰまたはＤＲＡＰピクチャについて異なるものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓは、本明細書のこのバージョンに準拠するビットストリームにおいて０に等しいものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの他の値は予約されている。デコーダは、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの値を無視するものとする。ｔ２ｄｒａｐ＿ｎｕｍ＿ｒｅｆ＿ｒａｐ＿ｐｉｃｓ＿ｍｉｎｕｓ１＋１は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得るＩＲＡＰまたはＤＲＡＰピクチャの数を示す。ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得る、ｉ番目のＩＲＡＰまたはＤＲＡＰピクチャのＲａｐＰｉｃＩｄを示す。

開示される技術案が解決しようとする技術課題の例を以下に示す。例えば、映像ビットストリームおよびメディアファイルにおけるＣＲＲおよび／またはＤＲＡＰの信号通知には、以下のような問題が存在する。ＤＲＡＰ指示ＳＥＩメッセージは、ＤＲＡＰピクチャからランダムアクセスする際、復号順でＤＲＡＰピクチャに後続し、かつ、出力順でＤＲＡＰピクチャに先行するピクチャを正しく復号することができるかどうかを示す信号通知を欠く。このようなピクチャは、復号順にＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照するため、この場合、誤って復号される可能性がある。

図５に、復号順で関連するＤＲＡＰピクチャに続き、出力順で関連するＤＲＡＰピクチャに先行するピクチャの例を示す。各ボックスは、左から右への復号順に示されるピクチャである。ボックス内の数字は出力順であり、これはピクチャのピクチャオーダカウントとしても知られている。矢印は、左側（矢印の原点）のピクチャを参照ピクチャとして用いる、右側（矢印の頭部）のピクチャを有する２つのピクチャの間のインター予測の関係を示す。

図５に示される例において、ピクチャ６からピクチャ８へのインター予測は、オフにされてもよい（２つのピクチャを結び付ける矢印が削除される）。この場合、ＤＲＡＰピクチャ（ピクチャ１０）からランダムアクセスを行うと、ピクチャ８を正しく復号することができる。しかしながら、ピクチャ６からピクチャ８へのインター予測を用いる場合、ＤＲＡＰピクチャ（ピクチャ１０）をランダムアクセスポイントとして用いたとき、ピクチャ８を正しく復号することができない。このようなインター予測がオフにされるかどうかの指示は、ＤＲＡＰピクチャからランダムアクセスするときに映像の提示をいつ開始するかをシステムが知るために有用である。例えば、このような指示があれば、ＤＲＡＰピクチャ（ピクチャ１０）からランダムにアクセスする場合、アプリケーションシステムは、プレゼンテーションをピクチャ８から始めることができるか、またはピクチャ１０から始めることができるかを知ることができる。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージは、復号順でタイプ２のＤＲＡＰピクチャに後続し、かつ、出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャが、タイプ２のＤＲＡＰピクチャからランダムアクセスするときに正しく復元され得るかどうかを示すための信号通知メカニズムも備えていない。このようなピクチャは、復号順でタイプ２のＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照する場合に、誤って復号される可能性がある。このような指示は、タイプ２のＤＲＡＰピクチャからランダムアクセスするときに、いつ映像の提示を開始するかを決定するシステムに有用である。メディアファイルにおけるＣＲＲを信号通知するメカニズムも欠けている。

更に、ＩＳＯＢＭＦＦにおけるＤＲＡＰサンプルグループのセマンティクスは誤っている。ＩＳＯＢＭＦＦは、ＤＲＡＰサンプルは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照可能な場合、その後の復号順ですべてのサンプルが正しく復号されるサンプルである、と述べている。しかし、ＤＲＡＰサンプルの前の最も近い初期サンプルが参照可能であっても、復号順でＤＲＡＰサンプルの後であって、かつ、出力順でＤＲＡＰサンプルの前のサンプルは、参照において、最も近い初期サンプルのピクチャよりも前にあるピクチャを参照する場合がある。このような場合、このようなサンプル（ピクチャ）を正しく復号することができない。

本明細書では、上述した問題の１つまたは複数に対処するメカニズムを開示する。例えば、ＤＲＡＰピクチャは、ＩＲＡＰピクチャを参照してインター予測によりコーディングされるランダムアクセスポイントピクチャである。さらに、ＣＲＲピクチャは、タイプ２のＤＲＡＰおよび／または拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャとしても知られており、ＩＲＡＰピクチャを参照することでインター予測を介してコーディングされ、１つ以上の他の従属ランダムアクセスポイントピクチャを参照することが許可されるランダムアクセスポイントピクチャである。したがって、ＣＲＲ／ＤＲＡＰ／タイプ２ＤＲＡＰはＤＲＡＰの一種と見なすことができる。ＤＲＡＰおよびＣＲＲは、映像が特定の順番で管理されることを前提として設計される。しかしながら、エンコーダは、コーディング効率を向上させるためにピクチャの並び替えを許可される。したがって、映像ピクチャは、出力順および復号順を有することができる。出力順は、ピクチャを提示／表示する順であり、復号順は、ピクチャをビットストリームにコーディングする順である。ＤＲＡＰおよびＣＲＲの設計によっては、このような区別が考慮されていないため、ＤＲＡＰおよび／またはＣＲＲを用いて映像がコーディングされ、エンコーダがピクチャの並び替えを決定したときに、エラーが発生する場合がある。具体的には、インター予測ピクチャがＤＲＡＰ／ＣＲＲピクチャに復号順で後続し、ＤＲＡＰ／ＣＲＲピクチャに出力順で先行する場合、エラーが発生し得る。そのようなピクチャは、復号順でＤＲＡＰ／ＣＲＲピクチャに先行するさらなるピクチャを参照してコーディングすることを許容される場合があるため、エラーが発生する場合がある。ＤＲＡＰ／ＣＲＲピクチャがランダムアクセスポイントとしてデコーダによって使用される場合、さらなるピクチャを参照することによってインター予測が使用されるかどうかに基づいて、ピクチャは完全に復号可能であってもなくてもよい。さらに、様々な信号通知メカニズムは、ＤＲＡＰおよび／またはＣＲＲを完全には支援しない場合がある。

したがって、本開示は、復号順でＤＲＡＰ／ＣＲＲピクチャに後続し、かつ出力順でＤＲＡＰ／ＣＲＲピクチャに先行するインター予測されるピクチャが、ＤＲＡＰ／ＣＲＲピクチャに先行する他のピクチャを参照することを許可されるかどうかを示すための信号通知メカニズムを含む。一例において、この信号通知メカニズムは、符号化されるビットストリームにおけるＳＥＩメッセージである。このようなインター予測の参照が許可される場合、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用するとき、インター予測されるピクチャは表示されない。このようなインター予測の参照が許可されない場合、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用するとき、インター予測されるピクチャを表示することができる。さらに、本開示は、ＤＲＡＰおよび／またはＣＲＲピクチャを説明するためにＩＳＯＢＭＦＦメディアファイルに含まれ得るサンプルグループおよび／またはサンプルエントリを説明する。これにより、デコーダは、ファイルフォーマットレベルでＤＲＡＰおよび／またはＣＲＲピクチャの存在および位置を決定することができる。

さらに、本開示は、ＣＲＲピクチャに信号通知するメカニズムを含む。各ＣＲＲピクチャは、コーディングされたレイヤ映像シーケンスマイナス１（ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１）フィールドのタイプ２のＤＲＡＰ ＲＡＰ識別子によって識別される。一例において、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、ＣＲＲピクチャのＲＡＰピクチャ識別子（ＲａｐＰｉｃＩｄ）を規定する。各ＩＲＡＰおよびＣＲＲピクチャは、ＲａｐＰｉｃＩｄに関連付けられる。ＩＲＡＰピクチャのＲａｐＰｉｃＩｄは０である。各ＣＲＲピクチャのＲａｐＰｉｃＩｄは、同じＩＲＡＰピクチャに関連付けられた他のＣＲＲピクチャのＲａｐＰｉｃＩｄとは異なる、０ではない正の値である。ＣＲＲピクチャの識別子は、タイプ２のＤＲＡＰ ＳＥＩメッセージに含まれてもよい。このアプローチは、各ＩＲＡＰピクチャおよびそのＩＲＡＰピクチャに関連付けられたＣＲＲピクチャを一意に識別する。しかしながら、このアプローチは、ＣＲＲピクチャが同じ映像シーケンスにおける複数の期間にわたってＲａｐＰｉｃＩｄを再利用することも可能にする。

上述した課題等を解決するために、以下に要約される方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。

例１

一例において、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行する、ＤＲＡＰピクチャと同じレイヤにあるピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されるかどうかを示す指示が、ＤＲＡＰ指示ＳＥＩメッセージ構文に追加される。そのような参照が許可されない場合、デコーダは、ＤＲＡＰがランダムアクセスポイントとして使用されるとき、そのようなピクチャを正確に復号し、表示することができる。参照が許可される場合、復号ができない可能性があり、ＤＲＡＰをランダムアクセスとして使用する際に、そのようなピクチャをデコーダで表示するべきではない。一例において、この指示は１ビットのフラグである。一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、フラグが１－Ｘに等しく設定されてよく（Ｘは１または０）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、この指示は、マルチビット指標である。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続くピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前のピクチャに、出力順で続くことを要求する。

例２

一例において、追加のＳＥＩメッセージが規定され、このＳＥＩメッセージの存在は、同じレイヤにおいて復号順でビットストリームのＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、このＳＥＩメッセージの存在は、同じレイヤにおいて復号順でビットストリームのＤＲＡＰピクチャに続き、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例３

一例において、追加のＳＥＩメッセージが規定される。この追加のＳＥＩメッセージの存在は、同じレイヤにおいて復号順でＳＥＩメッセージおよびＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けられたＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照しないことを示す。一例において、この追加のＳＥＩメッセージが存在しないことは、同じレイヤにおいて復号順で追加のＳＥＩメッセージおよびＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けられたＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することを許可されることを示す。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、復号順でＤＲＡＰピクチャに先行するピクチャに、出力順で続くことを保証する。

例４

一例において、追加のＳＥＩメッセージが規定され、同じレイヤにおいて復号順で追加のＳＥＩメッセージとＤＲＡＰ指示ＳＥＩメッセージの両方に関連付けされたＤＲＡＰピクチャに続き、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャを、インター予測のために参照することを許可するかどうかを示す指示を、追加のＳＥＩメッセージ構文に追加する。一例において、この指示は１ビットのフラグである。
一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することが許可されることを示す。一例において、さらに、フラグが１－Ｘに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行するピクチャを、インター予測のために参照しないことを示す。一例において、この指示は、マルチビット指標である。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例５

一例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ構文に指示が追加される。この指示は、同じレイヤにおいて復号順でタイプ２のＤＲＡＰピクチャに後続し、出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でタイプ２のＤＲＡＰピクチャよりも前にあるピクチャを、インター予測のために参照することが許可されるかどうかを示す。一例において、この指示は１ビットのフラグである。一例において、フラグがＸに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャよりも前にあるピクチャをインター予測のために参照することが許可されることを示す。一例において、さらに、フラグが１－Ｘに等しく設定され（Ｘは１または０である）、同じレイヤにおいて復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行するピクチャを、インター予測のために参照しないことを示す。一例において、フラグは、タイプ２ＤＲＡＰ指示ＳＥＩメッセージ構文のｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールドから１ビットを再利用することによって追加される。一例において、表示はマルチビット指標である。一例において、制約は、同じレイヤにおいて復号順でＤＲＡＰピクチャに続く任意のピクチャが、同じレイヤにおいて復号順でＤＲＡＰピクチャに先行する任意のピクチャに、出力順で続くことを要求する。

例６

別の例において、指示は、ＤＲＡＰまたはタイプ２のＤＲＡＰピクチャに関連付けられる。一例において、この指示は、各ＤＲＡＰまたはタイプ２のＤＲＡＰに対して信号通知されてもよい。

例７

一例において、追加のサンプルグループは、ＩＳＯＢＭＦＦファイルにおけるＣＲＲ（例えば、タイプ２のＤＲＡＰピクチャを含むサンプル）に信号通知するように規定される。

例８

一例において、ＤＲＡＰサンプルグループは、ＩＳＯＢＭＦＦファイルにおいてＣＲＲ（例えば、タイプ２のＤＲＡＰピクチャを含むサンプル）を、例えば、グループボックス（例えば、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘまたはＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）にサンプルのバージョンフィールドを使用するか、またはサンプルのｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒフィールド（またはその一部）をグループボックスに使用することによって、信号通知するように拡張される。

例９

一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに必要とされるランダムアクセスポイント（ＲＡＰ）サンプルの数を示すフィールドを含む。必要とされるＲＡＰサンプルは、初期サンプルまたはＤＲＡＰサンプルのいずれかである。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドをさらに含む。一例において、ＲＡＰ識別子を示すフィールドは、１６ビットを用いてコーディングされる。一例において、ＲＡＰ識別子を示すフィールドは、３２ビットを用いてコーディングされる。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドを含まない。ＲＡＰ識別子は、サブサンプル情報ボックス、サンプル補助情報サイズボックス、および／または別のボックスに信号通知されてもよい。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示すフィールドを含まない。一例において、ＲＡＰ識別子は、サンプル番号である。一例において、ＤＲＡＰサンプルエントリは、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに求められる、必要とされるＲＡＰサンプルのＲＡＰ識別子を示すいくつかのフィールドをさらに含む。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、１６ビットを用いてコーディングされる。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、３２ビットを用いてコーディングされる。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示す各フィールドは、必要とされるＲＡＰサンプルのＲＡＰ識別子を直接表す。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示すフィールドは、それぞれ、２つのＲＡＰサンプルのＲＡＰ識別子の差を表す。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉは０に等しい）は、現在のサンプル（例えば、現在のＤＲＡＰサンプルグループのサンプル）のＲＡＰ識別子と第１の必要とされるＲＡＰサンプルのｉ番目のＲＡＰ識別子との間の差を表す。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉが０より大きい）は、（ｉ－１）番目の必要とされるＲＡＰサンプルのＲＡＰ識別子とｉ番目の必要とされるＲＡＰサンプルのＲＡＰ識別子との差を表す。一例において、必要とされるＲＡＰサンプルのＲＡＰ識別子を示すフィールドのｉ番目のフィールド（ｉが０より大きい）は、ｉ番目の必要とされるＲＡＰサンプルのＲＡＰ識別子と、（ｉ－１）番目の必要とされるＲＡＰサンプルのＲＡＰ識別子との差を表す。

例１０

一例において、従属ランダムアクセスポイント（ＤＲＡＰ）サンプルとは、ＤＲＡＰサンプルに先行する最も近い初期サンプルが参照可能である場合に、復号順および出力順の両方ですべてのサンプルを正しく復号することができるサンプルである。

例１１

一例において、タイプ２のＤＲＡＰ ＳＥＩメッセージ構文は、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ構文要素以外のＳＥＩメッセージにおけるすべての他の構文要素が、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓが０より大きい場合にのみ信号通知されるように変更される。

例１２

一例において、タイプ２のＤＲＡＰ ＳＥＩメッセージ構文は、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ構文要素をｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１に置き換え、セマンティクスが以下のように変更されるように、変更される。ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１＋１は、ＣＲＲピクチャのＲａｐＰｉｃＩｄと表記されるＲＡＰピクチャ識別子を規定する。

例１３

一例において、タイプ２のＤＲＡＰ ＳＥＩメッセージセマンティクスが変更され、各ＩＲＡＰまたはＤＲＡＰピクチャがＲａｐＰｉｃＩｄに関連付けられ、ＩＲＡＰピクチャに関連付けられた任意の２つのＣＲＲピクチャのＲａｐＰｉｃＩｄ値が異なり、ＣＲＲピクチャのＲａｐＰｉｃＩｄ値が０よりも大きく、１つのＩＲＡＰピクチャのＲａｐＰｉｃＩｄ値が０に等しいと推測される。

上述した態様の一部の例示的な実施例を以下に示す。既に追加または修正された関連部分には下線の太字を、削除された部分には太字のイタリック体を表す。

実装例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージのための構文は、以下のように修正される。

さらに、タイプ２のＤＲＡＰ指示ＳＥＩメッセージのセマンティクスは、次のように修正される。タイプ２のＤＲＡＰ指示ＳＥＩメッセージに関連するピクチャは、タイプ２のＤＲＡＰピクチャと呼ばれる。タイプ１のＤＲＡＰピクチャ（ＤＲＡＰ指示ＳＥＩメッセージに関連する）およびタイプ２のＤＲＡＰピクチャをまとめてＤＲＡＰピクチャと呼ぶ。タイプ２のＤＲＡＰ指示ＳＥＩメッセージの存在は、この従属節に規定されるピクチャの順番およびピクチャの参照に関する制約が適用されることを示す。これらの制約により、デコーダは、ピクチャのリストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤにある他のピクチャを復号する必要はなく、タイプ２のＤＲＡＰピクチャ、および同じレイヤにあり、かつ復号順および出力順の両方でそれに続くピクチャを適切に復号することができ、リストは、同じＣＬＶＳ内にあり、かつ、ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］構文要素によって識別される、復号順にてＩＲＡＰまたはＤＲＡＰピクチャのリストからなる。

タイプ２のＤＲＡＰ指示ＳＥＩメッセージが存在することによって示される制約は、すべて適用されるべきであり、以下のとおりである。タイプ２のＤＲＡＰピクチャはトレーリングピクチャである。タイプ２のＤＲＡＰピクチャは、０に等しい時間的サブレイヤ識別子を有する。タイプ２のＤＲＡＰピクチャは、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、その参照ピクチャリストのアクティブエントリにおける同じレイヤのピクチャを含まない。同じレイヤにあり、かつ、復号順および出力順の両方でタイプ２のＤＲＡＰピクチャに後続する任意のピクチャは、その参照ピクチャリストのアクティブエントリにおいて、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓを除き、同じレイヤにあり、かつ、復号順または出力順でタイプ２のＤＲＡＰピクチャに先行するピクチャを含まない。

リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける任意のピクチャは、その参照ピクチャリストのアクティブエントリにおいて、同じレイヤにあり、かつ、リストｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおいてより前の位置にあるピクチャでないピクチャを含まない。注－その結果、ｒｅｆｅｒｅｎｃｅａｂｌｅＰｉｃｔｕｒｅｓにおける第１のピクチャは、ＩＲＡＰピクチャではなくＤＲＡＰピクチャである場合でも、その参照ピクチャリストのアクティブエントリ中の同じレイヤからのピクチャを含まない。

ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓは、ＲａｐＰｉｃＩｄと表記される、タイプ２のＤＲＡＰピクチャのＲＡＰピクチャ識別子を規定する。各ＩＲＡＰまたはＤＲＡＰピクチャは、ＲａｐＰｉｃＩｄに関連付けられる。ＩＲＡＰピクチャに対するＲａｐＰｉｃＩｄの値は０に等しいと推測される。ＲａｐＰｉｃＩｄの値は、ＣＬＶＳ内の任意の２つのＩＲＡＰまたはＤＲＡＰピクチャに対して異なるものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓは、本明細書のこのバージョンに準拠するビットストリームにおいて０に等しいものとする。ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの他の値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣが将来使用するために予約されている。デコーダは、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの値を無視するものとする。ｔ２ｄｒａｐ＿ｎｕｍ＿ｒｅｆ＿ｒａｐ＿ｐｉｃｓ＿ｍｉｎｕｓ１＋１は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得るＩＲＡＰまたはＤＲＡＰピクチャの数を示す。ｔ２ｄｒａｐ＿ｒｅｆ＿ｒａｐ＿ｉｄ［ｉ］は、タイプ２のＤＲＡＰピクチャと同じＣＬＶＳ内にあり、タイプ２のＤＲＡＰピクチャの参照ピクチャリストのアクティブエントリに含まれ得る、ｉ番目のＩＲＡＰまたはＤＲＡＰピクチャのＲａｐＰｉｃＩｄを示す。

さらに、各ＤＲＡＰサンプルのためのＲＡＰ＿ｉｄフィールドは、サブサンプル情報ボックス、サンプル補助情報サイズボックス、または追加ボックスに信号通知される。

別の実装例において、ＲＡＰサンプルのＲＡＰサンプル識別子は、ＲＡＰサンプルのサンプル番号に等しく設定なるように規定され、現在のサンプルのＲＡＰ＿Ｉｄは、現在のサンプルのサンプル番号であり、変数ＲｅｆＲａｐＩｄ［ｉ］は、ｉ番目のＲＡＰサンプルのサンプル番号を表す。

別の実装例において、サンプルグループの記述に存在する場合のＲＡＰ＿ｉｄフィールド、およびｒｅｆ＿ＲＡＰ＿ｉｄ［ｉ］フィールドは、３２ビットを用いてコーディングされる。

図１は、ＩＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。具体的には、図１は、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３を含むビットストリーム１００を示す。ＩＲＡＰピクチャ１０１は、イントラ予測に従ってコーディングされ、かつ、ビットストリーム１００へのアクセスポイントとして使用可能なピクチャである。イントラ予測は、同じピクチャ内の他のブロックを参照することにより、ピクチャのブロックをコーディングする処理である。イントラ予測に従ってコーディングされたピクチャは、他のピクチャを参照することなく復号することができる。一方、非ＩＲＡＰピクチャ１０３は、アクセスポイントとして使用することができず、関連するＩＲＡＰピクチャ１０１を復号した後に復号することができるピクチャである。例えば、非ＩＲＡＰピクチャ１０３は、通常、インター予測に従ってコーディングされる。インター予測は、参照ピクチャとして指定される他のピクチャのブロックを参照することにより、ピクチャのブロックをコーディングする処理である。インター予測に基づいてコーディングされたピクチャは、そのピクチャのすべての参照ピクチャも復号されている場合にのみ、正しく復号することができる。ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３の両方は、他の非ＩＲＡＰピクチャ１０３の参照ピクチャとして指定されてもよい。

コーディング技術によっては、様々なタイプのＩＲＡＰピクチャ１０１を使用することができる。本例において、ＩＲＡＰピクチャ１０１は、ＩＤＲピクチャおよびＣＲＡピクチャを含む。ＩＤＲピクチャは、コーディングされた映像シーケンスの第１のピクチャとして使用可能なイントラコーディングされるピクチャである。ＣＲＡピクチャは、関連付けられた先頭ピクチャを使用できるようにするイントラコーディングされたピクチャである。先頭ピクチャは、出力順で関連するＩＲＡＰピクチャ１０１に先行するが、復号順でＩＲＡＰピクチャ１０１に後続するピクチャである。デコーダは、ビットストリーム１００の開始時に復号を開始することができる。しかしながら、ユーザは、ビットストリームの特定の点にジャンプして、選択した点から視聴を開始したいことがしばしばある。ユーザが復号の開始点として選択できる点は、ランダムアクセスポイントと呼ばれる。

一般的に、任意のＩＲＡＰピクチャ１０１をランダムアクセスポイントとして使用することができる。ＩＲＡＰピクチャ１０１がランダムアクセスポイントとして選択されると、関連付けされたすべての非ＩＲＡＰピクチャ１０３（例えば、選択されたＩＲＡＰピクチャ１０１に後続する）も復号することができる。この例では、ユーザがＣＲＡ４をランダムアクセスのために選択した場合を示している。デコーダは、ＣＲＡ４より前のピクチャを復号することなく、ＣＲＡ４から復号を開始することができる。これは、ＩＲＡＰピクチャに後続するピクチャは、一般的に、ＩＲＡＰピクチャよりも前を参照することを妨げられるためである。したがって、ＣＲＡ４がランダムアクセスポイントとして選択されると、デコーダは、表示のためにＣＲＡ４を復号し、その後、ＣＲＡ４に基づいてＣＲＡ４に後続する非ＩＲＡＰピクチャ１０３を復号することができる。これにより、デコーダは、ランダムアクセスポイントより前のピクチャを復号せずに、ランダムアクセスポイント（例えば、ＣＲＡ４）からのビットストリームの提示を開始することができる。

図２は、ＤＲＡＰピクチャを用いてビットストリームを復号する場合のランダムアクセスのための例示的なメカニズムを示す模式図である。具体的には、図２は、ＩＲＡＰピクチャ２０１、非ＩＲＡＰピクチャ２０３、およびＤＲＡＰピクチャ２０５を含むビットストリーム２００を示す。ＩＲＡＰピクチャ２０１および非ＩＲＡＰピクチャ２０３は、それぞれ、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３に実質的に類似してもよい。本例において、ＩＲＡＰピクチャ２０１としてＩＤＲピクチャを用いる。

ＤＲＡＰピクチャ２０５も含まれる。ＤＲＡＰピクチャ２０５は、インター予測に従ってコーディングされ、ビットストリーム２００へのアクセスポイントとして使用可能なピクチャである。例えば、各ＤＲＡＰピクチャ２０５は、ＩＲＡＰピクチャ２０１を参照することでコーディングされることができる。図２は、関連する参照ピクチャからの、インター予測に従ってコーディングされるピクチャを示す矢印を含む。図に示すように、各ＤＲＡＰピクチャ２０５は、ＩＤＲ０を参照してコーディングされる。このように、任意のＤＲＡＰピクチャ２０５は、デコーダが関連するＩＲＡＰピクチャ２０１を復号することができる限り、ランダムアクセスポイントとして使用することができる。図示の例では、ランダムアクセスポイントとしてＤＲＡＰ４が選択されている。デコーダは、ビットストリーム２００においてＤＲＡＰピクチャ２０５が使用されていることを認識し、例えば信号通知によって、ＤＲＡＰピクチャ２０５の参照ピクチャとして使用されるＩＲＡＰピクチャ２０１を認識するようにするべきである。デコーダは、次に、ランダムアクセスにおいて使用するためにＩＤＲ０を復号し、ＩＤＲ０に基づいてＤＲＡＰ４を復号することができる。デコーダは、次に、ＤＲＡＰ４に基づいて、ＤＲＡＰ４に後続する非ＩＲＡＰピクチャ２０３を復号することができる。デコーダは、ＤＲＡＰ４において、復号された映像の提示を開始することができる。

インター予測でコーディングされたピクチャは、イントラ予測でコーディングされたピクチャよりも圧縮されている。したがって、ＤＲＡＰピクチャ２０５は、ビットストリーム１００におけるＩＲＡＰピクチャ１０１よりも圧縮されている。したがって、ＤＲＡＰピクチャ２０５を使用することにより、より複雑な信号通知メカニズムおよび復号処理のコストにおいて、ビットストリーム１００に対してビットストリーム２００に信号通知されるデータの数を時間とともに減らす（例えば、ビットレート）。

図３は、ＣＲＲピクチャを使用してビットストリームを復号するときのランダムアクセスの例示的なメカニズムの模式図である。具体的には、図３は、ＩＲＡＰピクチャ３０１、非ＩＲＡＰピクチャ３０３、およびＣＲＲピクチャ３０５を含むビットストリーム３００を示す。ＩＲＡＰピクチャ３０１および非ＩＲＡＰピクチャ３０３は、それぞれ、ＩＲＡＰピクチャ１０１および非ＩＲＡＰピクチャ１０３に実質的に類似してもよい。ＣＲＲピクチャ３０５は、インター予測にしたがってコーディングされ、ビットストリーム３００へのアクセスポイントとして使用可能なピクチャである。ＣＲＲピクチャ３０５は、ＤＲＡＰピクチャの一種と見なされてもよい。ＤＲＡＰピクチャはＩＲＡＰピクチャを参照してコーディングされる間、ＣＲＲピクチャ３０５はＩＲＡＰピクチャ３０１および他の任意のＣＲＲピクチャ３０５の両方を参照してコーディングされることができる。ＣＲＲピクチャ３０５はＤＲＡＰピクチャの一種であるため、ＣＲＲピクチャ３０５は、ＥＤＲＡＰピクチャおよび／またはタイプ２のＤＲＡＰピクチャとしても知られており、これらの用語は互換的に使用することができる。図３は、関連する参照ピクチャからの、インター予測に従ってコーディングされるピクチャを示す矢印を含む。

図示されている例において、すべてのＣＲＲピクチャ３０５は、ＩＤＲ０として示されているＩＲＡＰピクチャ３０１を参照することによってコーディングされる。また、ＣＲＲ３、ＣＲＲ４、ＣＲＲ５もＣＲＲ２を参照してコーディングされる。したがって、デコーダは、関連するＩＲＡＰピクチャ３０１および参照ピクチャとして使用される関連するＣＲＲピクチャ３０５を復号することができる限り、任意のＣＲＲピクチャ３０５をランダムアクセスポイントとして使用することができる。図示の例では、ランダムアクセスポイントとしてＣＲＲ４が選択されている。デコーダは、ビットストリーム３００においてＣＲＲピクチャ３０５が使用されていることを認識し、かつ、例えば、信号通知によって、他のＣＲＲピクチャ３０５の参照ピクチャとして使用されるＩＲＡＰピクチャ３０１およびＣＲＲピクチャ３０５を認識できる必要がある。デコーダは、次に、ランダムアクセスにおいて使用するためにＩＤＲ０およびＣＲＲ２を復号し、ＩＤＲ０およびＣＲＲ２に基づいてＣＲＲ４を復号することができる。そして、デコーダは、ＣＲＲ４に基づいて、ＣＲＲ４に後続する非ＩＲＡＰピクチャ３０３を復号することができる。デコーダは、ＣＲＲ４において復号された映像の提示を開始することができる。

インター予測は、ピクチャ内のブロックと参照ピクチャ内の類似した参照ブロックとをマッチングすることによって動作する。そして、エンコーダは、現在のブロックを符号化する代わりに、参照ブロックを指す動きベクトルを符号化してもよい。現在のブロックと参照ブロックとの間のいかなる差も、残差として符号化される。現在のブロックと参照ブロックが密接に合致するほど、符号化される残差は少なくなる。このように、現在のブロックと参照ブロックとをよりよくマッチングすることにより、コーディングされるデータが少なくなり、圧縮がより優れたものとなる。ＤＲＡＰに対するＣＲＲの利点は、より多くのピクチャを使用することができ、その結果、より良好なマッチングおよびより良好な圧縮が得られることである。ＤＲＡＰに対してＣＲＲは、信号通知および復号のコストが高くなる。

図４は、ＣＲＲに基づくランダムアクセスを支援するために、外部ビットストリーム４０１に信号通知するための例示的なメカニズムを示す模式図である。上述したように、ＣＲＲのための参照ピクチャの管理は、ＤＲＡＰのための参照ピクチャの管理よりも複雑である。図４は、デコーダによって復号される符号化映像を含むメインビットストリーム４００を示す。メインビットストリーム４００は、ビットストリーム３００と実質的に同様であるが、説明を簡単にするために符号を省略する。外部ビットストリーム４０１は、ランダムアクセスを支援するために用いられる。具体的には、外部ビットストリーム４０１は、各ＣＲＲピクチャに対応する参照ピクチャの集合を含む。ランダムアクセスが発生した場合、エンコーダおよび／または映像サーバは、アクセスポイントおよび外部ビットストリーム４０１のうちアクセスポイントに対応する部分から始まるメインビットストリーム４００を送信することができる。例えば、ユーザは、ランダムアクセスのためにＣＲＲ３を選択することができる。デコーダは、次に、ＣＲＲ３で始まるメインビットストリーム４００を要求することができる。エンコーダ／映像サーバは、次に、ＣＲＲ３において、メインビットストリーム４００の送信を開始することができる。エンコーダ／映像サーバは、外部ビットストリーム４０１のうちランダムアクセスポイントに対応する部分を送信することもできる。この例において、エンコーダ／映像サーバは、ＩＤＲ０およびＣＲＲ２を送信する。このようにして、デコーダは、ランダムアクセスポイントにおけるＣＲＲピクチャと、そのＣＲＲピクチャを復号するのに必要なすべての参照ピクチャとを受信する。そして、デコーダは、ＣＲＲ３を復号し、その時点から映像の表示を開始することができる。データ伝送を低減するために、エンコーダ／映像サーバは、ランダムアクセスポイントの復号に必要な外部ビットストリーム４０１の部分のみを送信し、再びランダムアクセスが発生しない限り、および／または後続のＣＲＲピクチャが現在のランダムアクセスポイントに提供されていない参照ピクチャを使用しない限り、更なるデータを送信しないようにしてもよい。

図５は、ピクチャが復号順でＤＲＡＰおよび／またはＣＲＲピクチャに続き、かつ、出力順でＤＲＡＰおよび／またはＣＲＲピクチャに先行する場合の潜在的な復号の誤りを示すダイヤグラム５００である。前の図と同様に、矢印は、インター予測されるピクチャへ向かう矢印と関連の参照ピクチャから離れる矢印によって、インター予測を表している。

エンコーダは、ピクチャを再順序付けして圧縮を向上させることができる。このように、ユーザに写真を提示するべき順番は、出力順として知られている。ピクチャをビットストリームにコーディングする順序は、復号順として知られている。ピクチャは、ピクチャオーダカウントによって識別され得る。ピクチャオーダカウントは、ピクチャを一意に識別する昇順の任意の値であってもよい。ダイヤグラム５００において、ピクチャは、復号順に示される。一方、ピクチャは、ピクチャオーダカウントに基づいて番号付けされ、出力順に増加する。ピクチャオーダカウントから分かるように、ピクチャ８は出力順から外れ、ランダムアクセスポイントであるピクチャ１０に続いている。よって、ピクチャ８は、出力順でランダムアクセスポイントに先行し、かつ、復号順でランダムアクセスポイントに続く、インター予測されるピクチャ５０３である。本例において、ピクチャ１０は、ＤＲＡＰ／ＣＲＲピクチャ５０５であり、このピクチャは、例によっては、ＤＲＡＰピクチャまたはＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャのいずれかである。本例において、インター予測されるピクチャ５０３は、参照５０７によりピクチャ６にインター予測を介してコーディングされる。したがって、ピクチャ６は、インター予測されるピクチャ５０３の参照ピクチャ５０２となる。

ダイヤグラム５００は、インター予測されるピクチャ５０３がインター予測を介して参照ピクチャ５０２を参照５０７するため、潜在的なコーディングエラーを示す。具体的には、インター予測されるピクチャ５０３は、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続き、出力順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行し、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行する位置にある参照ピクチャ５０２を参照５０７する。タイプＩＤＲのＩＲＡＰピクチャであるピクチャ４からビットストリームを復号する場合、参照ピクチャ５０２は、復号され、参照ピクチャバッファに保存され、それにより、インター予測されるピクチャ５０３は正しく復号することができる。しかしながら、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスのために使用される場合、参照ピクチャ５０２はスキップされ、復号されない。従って、インター予測されるピクチャ５０３が参照ピクチャ５０２を参照している場合、インター予測されるピクチャ５０３を正しく復号することができない。エンコーダは、参照５０７を許可しない選択肢を有する。例えば、エンコーダは、すべてのインター予測されるピクチャ５０３に対して、関連するランダムアクセスポイントのピクチャおよび関連するアクセスポイントに続くピクチャのみを復号順に参照するように制限してよい。参照５０７が許可されていない場合、インター予測されるピクチャ５０３はＤＲＡＰ／ＣＲＲピクチャ５０５の前のピクチャを参照することが許可されていないので、インター予測されるピクチャ５０３を常に復号することができる。しかし、参照５０７が許可されている場合、エンコーダが参照５０７によって参照ピクチャ５０２にインター予測されるピクチャ５０３を符号化することを決定した場合、インター予測されるピクチャ５０３を直接復号することはできない。なお、参照５０７を使用することをエンコーダは要求されていないため、参照５０７を許可することは、必ずしもエラーを引き起こさない。しかし、参照５０７が許可されている場合、参照５０７が選択され、その後、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用されるときに、エラーが発生する。これは、ユーザの観点から見ると、一見したところランダムな誤差をもたらし、ユーザの体験を低下させる可能性がある。

本開示は、この問題に対処するためのいくつかのメカニズムを含む。例えば、エンコーダは、参照５０７が許可されているかどうかをデコーダに信号通知することができる。参照５０７が許可されている場合、（エンコーダが参照５０７を使用することを選択するかどうかに依存して）インター予測されるピクチャ５０３は復号される場合もあればそうでない場合もあるため、デコーダは、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用された際に、出力順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行し、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続くインター予測されるピクチャ５０３を表示すべきではない。参照５０７が許可されていない場合、デコーダは、ＤＲＡＰ／ＣＲＲピクチャ５０５がランダムアクセスに使用される際に、ＤＲＡＰ／ＣＲＲピクチャ５０５に関連するインター予測されるピクチャ５０３を表示するべきである。さらに、ＤＲＡＰおよびＣＲＲ信号通知メカニズムは、完全には特定されていない。したがって、本開示は、デコーダによるランダムアクセスの後、ＤＲＡＰ／ＣＲＲピクチャ５０５および／または関連するピクチャをより効率的に復号するために、メディアファイルにおけるＤＲＡＰおよびＣＲＲの使用の説明を信号通知するメカニズムを含む。

別の例において、コーディングプロセスは、参照５０７が発生しないように制約され得る。例えば、ピクチャをレイヤに分けてよく、各レイヤは異なるフレームレートに関連付けられてよい。これにより、デコーダは、デコーダがサポートできるフレームレートを有するレイヤを選択することができる。デコーダは、次に、選択されたレイヤのすべてのピクチャおよび選択されたレイヤの下のレイヤのすべてのピクチャを表示し、所望のフレームレートを達成する。ダイヤグラム５００に示すエラーは、エンコーダがＤＲＡＰ／ＣＲＲピクチャ５０５と同じレイヤにあるピクチャ（例えば、インター予測されるピクチャ５０３）で、かつ、復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に続くピクチャが、同じレイヤにあり、かつ復号順でＤＲＡＰ／ＣＲＲピクチャ５０５に先行するピクチャに出力順で後続することを求める場合に、妨げることができる。

図６は、ＩＳＯＢＭＦＦに記憶されたメディアファイル６００を示す模式図である。例えば、メディアファイル６００は、ＩＳＯＢＭＦＦに記憶され、ＤＡＳＨ表現として使用されてもよい。ＩＳＯＢＭＦＦメディアファイル６００は、メディアコンテンツまたはメディアプレゼンテーションに関連付けられたオブジェクトおよび／またはデータを搬送する複数のボックスに記憶される。例えば、メディアファイル６００は、ファイルタイプボックス（例えば、ｆｔｙｐ）６３０と、ムービーボックス（例えば、ｍｏｏｖ）６１０と、メディアデータボックス（例えば、ｍｄａｔ）６２０と、を備えてもよい。

ファイルタイプボックス６３０は、ファイル全体を記述するデータを搬送することができるので、ファイルレベルのデータを搬送することができる。したがって、ファイルレベルボックスは、メディアファイル６００全体に関連するデータを含む任意のボックスである。例えば、ファイルタイプボックス６３０は、メディアファイル６００のＩＳＯ規格および／または互換性情報のバージョン番号を示すファイルタイプを含むことができる。ムービーボックス６１０は、メディアファイルに含まれる映画を記述するデータを搬送してよく、したがって、映画レベルのデータを搬送してよい。動きレベルボックスは、メディアファイル６００に含まれる映画全体を記述するデータを含む任意のボックスである。ムービーボックス６１０は、様々な用途のためのデータを含むように使用される幅広いサブボックスを含むことができる。例えば、ムービーボックス６１０は、メディアプレゼンテーションのトラックを記述するメタデータを搬送するトラックボックス（ｔｒａｋ）を含む。なお、トラックを、関連するサンプルの時限シーケンスと呼ぶことができる。例えば、メディアトラックは、一連のピクチャまたはサンプリングされたオーディオを含んでよく、メタデータトラックは、これらのピクチャおよび／またはオーディオに対応する一連のメタデータを含んでよい。トラックを記述するデータはトラックレベルのデータであり、したがって、トラックを記述する任意のボックスはトラックレベルのボックスである。

メディアデータボックス６２０は、メディアプレゼンテーションのインターリーブされた時間順のメディアデータ（例えば、コーディングされる映像ピクチャおよび／またはオーディオ）で構成される。例えば、メディアデータボックス６２０は、ＶＶＣ、ＡＶＣ、ＨＥＶＣ等に基づいてコーディングされた映像データのビットストリームを含んでもよい。メディアデータボックス６２０は、ユーザに表示するための映像、オーディオ、テキストまたは他のメディアデータを含んでもよい。ＩＳＯＢＭＦＦでは、ピクチャ、オーディオ、テキストをまとめてサンプルと呼ぶ。これは、符号化／復号される画素をサンプルとする映像コーディング規格で使用される用語とは対照的である。このように、用語サンプルは、コンテキストに依存して、ピクチャ全体（ファイルフォーマットレベル）またはピクセルのグループ（ビットストリームレベル）を指すことができる。

上述したように、本開示は、ファイルフォーマットレベルでＤＲＡＰおよび／またはＣＲＲの使用を通知するための追加のメカニズムを提供する。これにより、デコーダは、ｍｄａｔボックス６２０に含まれるサンプルのビットストリームを実際に復号する前に、ｍｏｏｖボックス６１０にパラメータをロードすることで、ＤＲＡＰおよび／またはＣＲＲの使用を認識することができる。例えば、ｍｏｏｖボックス６１０は、ＤＲＡＰサンプルグループボックス６２５および／またはＥＤＲＡＰサンプルグループボックス６２１を含むことができる。サンプルグループボックスは、どのサンプルがサンプルグループボックスに対応するタイプであるかを記述することができる。一例において、ＤＲＡＰとＣＲＲは両方ともに、例えば、ＣＲＲをＤＲＡＰのサブタイプとして取り扱うことによって、ＤＲＡＰサンプルグループボックス６２５に記載される。別の例において、ＣＲＲサンプルは、ＥＤＲＡＰサンプルグループボックス６２１によって記述され、ＤＲＡＰサンプルは、ＤＲＡＰサンプルグループボックス６２５によってそれぞれ記述される。一例において、ＤＲＡＰサンプルグループ６２５は、ＤＲＡＰサンプルエントリ６２７を含み得る。各ＤＲＡＰサンプルエントリ６２７は、次に、ＤＲＡＰに従ってコーディングされた関連するサンプルを記述することができる。一例において、ＥＤＲＡＰサンプルグループ６２１は、ＥＤＲＡＰサンプルエントリ６２３を含むことができる。各ＥＤＲＡＰサンプルエントリ６２３は、次に、ＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰに基づいてコーディングされた関連するサンプルを記述することができる。各ＤＲＡＰ／ＣＲＲサンプルの記述は、ピクチャのサンプル識別子、関連する参照ピクチャを含むサンプルの識別子、ピクチャからのランダムアクセスを実行するのに必要なサンプル数および／またはＲＡＰサンプル数の指示、および／またはＤＲＡＰ／ＣＲＲピクチャにおいてランダムアクセスを選択し実行するときにデコーダに役立つ追加情報を含むことができる。

ｍｏｏｖボックス６１０はまた、幅広い範囲の他のボックス６２９を含んでもよい。いくつかの例において、ＤＲＡＰ／ＣＲＲサンプルの記述は、他のボックス６２９のうちの１つ以上に含まれてもよい。例えば、他のボックス６２９は、グループボックスのサンプル（ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）を含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘに記載されてもよい。別の例において、他のボックス６２９は、グループボックスのコンパクトサンプル（ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ）を含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘに記載されてもよい。具体的な例として、ＤＲＡＰおよび／またはＣＲＲサンプルは、ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘおよび／またはＣｏｍｐａｃｔＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘにおけるグループタイプパラメータ（ｇｒｏｕｐ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ）フィールドに記述されてもよい。別の例において、他のボックス６２９は、サブサンプル情報ボックスを含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、サブサンプル情報ボックスに記載されてもよい。別の例において、他のボックス６２９は、サンプル補助情報サイズボックスを含んでもよく、ＤＲＡＰおよび／またはＣＲＲサンプルは、サンプル補助情報サイズボックスに記載されてもよい。さらに、本明細書で説明される任意の他のボックスは、他のボックス６２９に含まれてもよく、ＤＲＡＰおよび／またはＣＲＲサンプルの説明を含んでもよい。

図７は、符号化された映像メディアデータを含むビットストリーム７００のブロック図である。ビットストリーム７００は、デコーダで復号／展開するために、エンコーダでコーディングされた／圧縮されたメディアデータを含む。例えば、ビットストリーム７００は、ＩＳＯＢＭＦＦメディアファイル６００のメディアデータボックス６２０に含まれてもよい。さらに、ビットストリーム７００は、ＤＡＳＨにおける表現に含まれ得る。ビットストリーム７００は、ＶＶＣ、ＡＶＣ、ＥＶＣ、ＨＥＶＣ等の様々なコーディングフォーマットに基づいてコーディングされうる。いくつかのコーディングフォーマットにおいて、ビットストリーム７００は、一連のＮＡＬユニットとして表現される。ＮＡＬユニットは、データパケット内に位置するようにサイズ設定されたデータユニットである。例えば、ＶＶＣは、多くのタイプのＮＡＬユニットを含む。ビットストリーム７００は、映像データを含む映像コーディングレイヤ（ＶＣＬ）ＮＡＬユニットと、ＶＣＬ ＮＡＬユニットを記述し、使用されるコーディングツールを記述し、コーディング制約を記述するデータを含む非ＶＣＬ ＮＡＬユニットとを含むことができる。一例において、ビットストリーム７００は、ＶＣＬ ＮＡＬユニットにおいてコーディングされるピクチャ７１０を含むことができる。ピクチャ７１０は、ＩＲＡＰピクチャ、インター予測されるピクチャ、ＤＲＡＰピクチャ、ＣＲＲピクチャ等であることができる。非ＶＣＬ ＮＡＬユニットは、ピクチャ７１０をコーディングするために使用されるメカニズムを記述する様々なメッセージおよびパラメータセットを含んでよい。多くのＶＣＬ ＮＡＬユニットがＶＶＣに含まれているが、本開示はＳＥＩ ＮＡＬユニットに焦点を当てている。例えば、ＳＥＩ ＮＡＬユニットは、ＳＥＩメッセージを含むことができる。ＳＥＩ ＮＡＬメッセージは、復号、表示、または他の目的に関連する処理を支援するデータを含むが、復号処理において復号されるピクチャのサンプル値を決定するために必要とされない。一例において、ＳＥＩメッセージは、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７を含むことができる。ＤＲＡＰ指示ＳＥＩメッセージ７１６は、ＤＲＡＰピクチャの使用を記述するデータを含むＳＥＩメッセージである。タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、ＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの使用を記述するデータを含むＳＥＩメッセージである。ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、ＤＲＡＰおよび／またはＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャに関連付けられてもよく、復号中にこのようなピクチャをどのように扱うべきかを示してもよい。

一例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６は、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかについての指示を含むことができる。一例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６は、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの後に続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかについての指示を含むことができる。一例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャの後に続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかの指示を含むことができる。したがって、デコーダは、本例に基づいて、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７を読み取り、ＤＲＡＰ／ＣＲＲピクチャをランダムアクセスポイントとして使用する場合、復号順でＤＲＡＰ／ＣＲＲピクチャに続き、出力順でＤＲＡＰ／ＣＲＲピクチャに先行するピクチャを提示すべきかを決定することができる。

具体的な例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６はＤＲＡＰピクチャに関連付けられ、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７はＣＲＲ／ＥＤＲＡＰ／タイプ２のＤＲＡＰピクチャに関連付けられることができる。さらなる例において、タイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７は、Ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールド７０１を含むことができ、Ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールド７０１からのビットは、復号順でＣＲＲ／ＥＤＲＡＰ／タイプ２ＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するピクチャが、復号順でＤＲＡＰピクチャより前に位置する参照ピクチャをインター予測のために参照することが許可されているのかを示すために使用することができる。別の例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６におけるフィールドは、ＤＲＡＰピクチャのための類似した指示を含むことができる。他の例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６および／またはタイプ２のＤＲＡＰ指示ＳＥＩメッセージ７１７におけるマルチビットインジケータが、この目的のために使用されることができる。

具体的な例において、ＤＲＡＰ指示ＳＥＩメッセージ７１６は、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールド７０３を含んでもよい。ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールド７０３は、関連するＣＲＲピクチャを識別するＲａｐＰｉｃＩｄを含む。ｔ２ｄｒａｐ＿ｒａｐｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールド７０３に含まれるＲａｐＰｉｃＩｄは、０でない正の値である。さらに、ＲａｐＰｉｃＩｄは、共通のＩＲＡＰピクチャを参照するＣＲＲピクチャごとに異なる。これにより、各ＣＲＲピクチャを一意に識別することができる。ただし、ＲａｐＰｉｃＩｄｓは、異なるＩＲＡＰピクチャを参照する映像の異なる期間間で再利用することができる。

図８は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム８００を示すブロック図である。様々な実装形態は、システム８００のコンポーネントの一部または全部を含んでもよい。システム８００は、映像コンテンツを受信するための入力８０２を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、８または１０ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力８０２は、ネットワークインタフェース、周辺バスインタフェース、または記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット（登録商標）、パッシブ光ネットワーク（ＰＯＮ）等の有線インタフェース、およびＷｉ－Ｆｉ（登録商標）またはセルラーインタフェース等の無線インターフェースを含む。

システム８００は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント８０４を含んでもよい。コーディングコンポーネント８０４は、入力８０２からの映像の平均ビットレートをコーディングコンポーネント８０４の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント８０４の出力は、コンポーネント８０６によって表されるように、記憶されてもよいし、接続された通信を経由して送信されてもよい。入力８０２において受信される映像の記憶または通信されたビットストリーム（またはコーディングされた）表現は、コンポーネント８０８によって使用されて、表示インタフェース８１０に送信される画素値、または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、コーディングの結果を逆にする対応する復号ツールまたは動作は、デコーダによって行われることが理解されよう。

周辺バスインタフェースまたは表示インタフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）または高精細度マルチメディアインタフェース（ＨＤＭＩ）（登録商標）またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、ＰＣＩ、ＩＤＥインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および／または映像表示を行うことができる他のデバイス等の様々な電子デバイスにおいて実施されてもよい。

図９は、映像処理装置９００の例を示すブロック図である。装置９００は、本明細書に記載の１または複数の方法を実装するために使用してもよい。装置９００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（ＩｏＴ）受信機等により実施されてもよい。装置９００は、１または複数のプロセッサ９０２と、１または複数のメモリ９０４と、映像処理ハードウェア９０６と、を含んでもよい。プロセッサ（複数のプロセッサ）９０２は、本明細書に記載される１または複数の方法を実装するように構成されてもよい。メモリ（複数のメモリ）９０４は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア９０６は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、映像処理ハードウェア９０６は、処理装置９０２、例えばグラフィックコプロセッサに少なくとも部分的に含まれてもよい。

図１０は、映像処理の方法１０００の一例を示すフローチャートである。方法１０００は、ステップ１００２において、１つ以上のＣＲＲピクチャに対する１つ以上のＲＡＰピクチャ識別子を決定すること（例えば、信号通知すること）を含む。ステップ１００４において、ＲＡＰピクチャ識別子に基づいて、ビジュアルメディアデータとビットストリームとの間の変換を行う。ＲＡＰピクチャ識別子は、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールドにそれぞれコーディングされてもよく、例えば、タイプ２のＤＲＡＰ ＳＥＩメッセージ等のＳＥＩメッセージにコーディングされてもよい。一例において、各ＲＡＰピクチャ識別子は、ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールドの値に１を加えた値によって規定されてもよい。各ＣＲＲピクチャのＲＡＰピクチャ識別子は、０より大きい値に設定され得る。各ＣＲＲピクチャは、ＩＲＡＰピクチャに関連付けられる。ＩＲＡＰピクチャは、０のＲＡＰピクチャ識別子に関連付けられてもよい。一例において、ＩＲＡＰピクチャのＲＡＰピクチャ識別子は、０であると推論することができ、信号通知されない場合がある。ＲＡＰピクチャ識別子は、同じＩＲＡＰピクチャに関連付けられたＣＲＲピクチャごとに異なる。これにより、ＲＡＰピクチャ識別子はＣＲＲピクチャを一意に識別することができ、かつ異なるＩＲＡＰピクチャを採用する同一映像の異なる期間でＲＡＰピクチャ識別子を再利用することができる。ＲＡＰピクチャ識別子は、ＲａｐＰｉｃＩｄと表すことができる。ＲａｐＰｉｃＩｄは、特定のＣＲＲピクチャを示すために使用され得る。例えば、ＲａｐＰｉｃＩｄは、どのＣＲＲピクチャがＳＥＩメッセージに関連付けられているかを示すことができる。また、ＲａｐＰｉｃＩｄは、どのＣＲＲピクチャが現在のＣＲＲピクチャの参照ピクチャとして使用されるかを示すことができる。

いくつかの例において、タイプ２のＤＲＡＰ ＳＥＩメッセージにおける他の構文要素は、タイプ２のＤＲＡＰ ＳＥＩメッセージにおけるＲＡＰピクチャ識別子が０よりも大きい場合にのみ信号通知される。加えて、いくつかの例において、ＣＲＲピクチャは、タイプ２のＤＲＡＰピクチャおよび／またはＥＤＲＡＰピクチャとして表されてもよい。また、本発明の実施例において、タイプ２のＤＲＡＰ ＳＥＩメッセージは、復号順で、ＣＲＲピクチャに続き、かつ、出力順でＣＲＲピクチャに先行するピクチャが、復号順でＣＲＲピクチャより前に位置する参照ピクチャをインター予測のために参照することを許可されているかどうかについての指示を含む。この指示は、さらに、参照ピクチャがピクチャと同じレイヤにある場合、ピクチャが参照ピクチャを参照することを許可されているかどうかを示す。いくつかの例において、この指示は、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓフィールドにおけるビットなどの、１つのビットフラグである。いくつかの例において、ビットストリームは、ＣＲＲピクチャと同じレイヤにあり、かつ復号順にＣＲＲピクチャに後続するピクチャは、ＣＲＲピクチャと同じレイヤにあり、かつ復号順にＣＲＲピクチャに先行するピクチャに出力順に後続するように制約される。

図１１は、本開示の技法を利用し得る例示的な映像コーディングシステム１１００を示すブロック図である。図１１に示すように、映像コーディングシステム１１００は、送信元デバイス１１１０と、送信先デバイス１１２０と、を備えてもよい。送信元デバイス１１１０は、映像符号化デバイスとも称され得る符号化された映像データを生成する。送信先デバイス１１２０は、送信元装置１１１０によって生成される符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。

送信元デバイス１１１０は、映像ソース１１１２、映像エンコーダ１１１４、および入出力（Ｉ／Ｏ）インタフェース１１１６、を含んでよい。映像ソース１１１２は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および／または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでよい。映像データは、１または複数のピクチャを含んでもよい。映像エンコーダ１１１４は、映像ソース１１１２からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。Ｉ／Ｏインタフェース１１１６は、変復調器（モデム）および／または送信機を含んでもよい。符号化された映像データは、ネットワーク１１３０を介して、Ｉ／Ｏインタフェース１１１６を経由して送信先デバイス１１２０に直接送信されてよい。符号化された映像データはまた、送信先デバイス１１２０がアクセスするために、記憶媒体／サーバ１１４０に記憶してもよい。

送信先デバイス１１２０は、Ｉ／Ｏインタフェース１１２６、映像デコーダ１１２４、および表示装置１１２２を含んでもよい。Ｉ／Ｏインタフェース１１２６は、受信機および／またはモデムを含んでもよい。Ｉ／Ｏインタフェース１１２６は、送信元デバイス１１１０または記憶媒体／サーバ１１４０から符号化された映像データを取得してもよい。映像デコーダ１１２４は、符号化された映像データを復号してもよい。表示装置１１２２は、復号された映像データをユーザに表示してもよい。表示装置１１２２は、送信先デバイス１１２０と一体化されてもよく、または外部表示装置とインタフェースで接続するように構成することができる送信先デバイス１１２０の外部にあってもよい。

映像エンコーダ１１１４および映像デコーダ１１２４は、高効率映像コーディング（ＨＥＶＣ）規格、汎用映像コーディング（ＶＶＣ）規格、および他の現在のおよび／または更なる規格等の映像圧縮規格に従って動作してもよい。

図１２は、映像エンコーダ１２００の一例を示すブロック図であり、この映像エンコーダ１２００は、図１１に示されるシステム１１００における映像エンコーダ１１１４であってもよい。映像エンコーダ１２００は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図１２の例において、映像エンコーダ１２００は、複数の機能コンポーネントを備える。本開示で説明される技術は、映像エンコーダ１２００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

映像エンコーダ１２００の機能性コンポーネントは、分割ユニット１２０１、予測ユニット１２０２を含んでもよく、予測ユニット１２０２は、モード選択ユニット１２０３、動き推定ユニット１２０４、動き補償ユニット１２０５、イントラ予測ユニット１２０６、残差生成ユニット１２０７、変換処理ユニット１２０８、量子化ユニット１２０９、逆量子化ユニット１２１０、逆変換ユニット１２１１、再構成ユニット１２１２、バッファ１２１３、およびエントロピー符号化ユニット１２１４を含んでもよい。

他の例において、映像エンコーダ１２００は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット１２０２は、イントラブロックコピー（ＩＢＣ）ユニットを含んでもよい。ＩＢＣユニットは、少なくとも１つの参照ピクチャが現在の映像ブロックが位置するピクチャであるＩＢＣモードにおいて予測を行ってよい。

さらに、動き推定ユニット１２０４および動き補償ユニット１２０５などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図１２の例においては別々に表されている。

分割ユニット１２０１は、ピクチャを１つ以上の映像ブロックに分割してもよい。映像エンコーダ１２００および映像デコーダ１３００は、様々な映像ブロックサイズをサポートしてもよい。

モード選択ユニット１２０３は、例えば、誤り結果に基づいて、イントラまたはインターコーディングモードのうちの１つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット１２０７に供給し、残差ブロックデータを生成して再構成ユニット１２１２に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット１２０３は、予測がインター予測信号およびイントラ予測信号に基づくイントラ予測とインター予測との組み合わせ（ＣＩＩＰ）モードの組み合わせを選択してもよい。モード選択ユニット１２０３は、インター予測の場合、ブロックのために動きベクトルの解像度（例えば、サブピクセルまたは整数ピクセル精度）を選択してもよい。

現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット１２０４は、バッファ１２１３からの１つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット１２０５は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ１２１３からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックに対する予測される映像ブロックを判定してもよい。

動き推定ユニット１２０４および動き補償ユニット１２０５は、例えば、現在の映像ブロックがＩスライスであるか、Ｐスライスであるか、またはＢスライスであるかによって、現在の映像ブロックに対して異なる動作を行ってもよい。

いくつかの例において、動き推定ユニット１２０４は、現在の映像ブロックに対して単方向予測を行い、動き推定ユニット１２０４は、現在の映像ブロックに対して、参照映像ブロック用のリスト０またはリスト１の参照ピクチャを検索してもよい。動き推定ユニット１２０４は、参照映像ブロックを含むリスト０またはリスト１の参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット１２０４は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット１２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測された映像ブロックを生成してもよい。

他の例において、動き推定ユニット１２０４は、現在の映像ブロックのために双方向予測を行ってもよく、動き推定ユニット１２０４は、現在の映像ブロックのための参照映像ブロックに対してリスト０の参照ピクチャを検索してもよく、また、現在の映像ブロックのための別の参照映像ブロックに対してリスト１の参照ピクチャを検索してもよい。動き推定ユニット１２０４は、参照映像ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット１２０４は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット１２０５は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測された映像ブロックを生成してもよい。

いくつかの例において、動き推定ユニット１２０４は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。いくつかの例では、動き推定ユニット１２０４は、現在の映像に対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット１２０４は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット１２０４は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを判定してもよい。

一例において、動き推定ユニット１２０４は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを図１３の映像デコーダ１３００に示す値を示してもよい。

他の例において、動き推定ユニット１２０４は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分（ＭＶＤ）とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、指示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ１３００は、示された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。

上述したように、映像エンコーダ１２００は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ１２００によって実装され得る予測信号通知技法の２つの例は、高度動きベクトル予測（ＡＭＶＰ）およびマージモード信号通知を含む。

イントラ予測ユニット１２０６は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット１２０６が現在の映像ブロックをイントラ予測行う場合、イントラ予測ユニット１２０６は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックに対する予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。

残差生成ユニット１２０７は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。

他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための現在の映像ブロックに対する残差データはなくてもよく、残差生成ユニット１２０７は、減算動作を行わなくてもよい。

変換処理ユニット１２０８は、現在の映像ブロックに関連付けられた残差映像ブロックに１つ以上の変換を適用することによって、現在の映像ブロックに対する１つ以上の変換係数映像ブロックを生成してもよい。

変換処理ユニット１２０８が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット１２０９は、現在の映像ブロックに関連付けられた１つ以上の量子化パラメータ（ＱＰ）値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。

逆量子化ユニット１２１０および逆変換ユニット１２１１は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット１２１２は、予測ユニット１２０２によって生成された１つ以上の予測された映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ１２１３に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。

再構成ユニット１２１２が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーティファクトを縮小するために、ループフィルタリング動作が行われてもよい。

エントロピー符号化ユニット１２１４は、映像エンコーダ１２００の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット１２１４がデータを受信すると、エントロピー符号化ユニット１２１４は、１つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、エントロピー符号化されたデータを含むビットストリームを出力してもよい。

図１３は、映像デコーダ１３００の一例を示すブロック図であり、この映像デコーダ１３００は、図１１に示されるシステム１１００における映像デコーダ１１２４であってもよい。

映像デコーダ１３００は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図１３の実施例において、映像デコーダ１３００は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ１３００の様々なコンポーネント間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。

図１３の例において、映像デコーダ１３００は、エントロピー復号ユニット１３０１、動き補償ユニット１３０２、イントラ予測ユニット１３０３、逆量子化ユニット１３０４、逆変換ユニット１３０５、再構成ユニット１３０６、およびバッファ１３０７を備える。映像デコーダ１３００は、いくつかの例では、映像エンコーダ１２００（図１２）に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。

エントロピー復号ユニット１３０１は、符号化されたビットストリームを取り出してよい。符号化されたビットストリームは、エントロピーコーディングされた映像データ（例えば、映像データの符号化されたブロック）を含んでもよい。エントロピー復号ユニット１３０１は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット１３０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット１３０２は、例えば、ＡＭＶＰおよびマージモードを行うことにより、このような情報を決定してもよい。

動き補償ユニット１３０２は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。サブピクセルの精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。

動き補償ユニット１３０２は、映像ブロックの符号化中に映像エンコーダ１２００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間値を計算してもよい。動き補償ユニット１３０２は、受信した構文情報に従って映像エンコーダ１２００が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。

動き補償ユニット１３０２は、符号化された映像シーケンスのフレームおよび／またはスライスを符号化するために使用されるブロックのサイズを判定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、各インターコーディングされたブロックごとの１つ以上の参照フレーム（および参照フレームリスト）、および符号化された映像シーケンスを復号するための他の情報のうちのいくつかを使用してもよい。

イントラ予測ユニット１３０３は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット１３０４は、ビットストリームに提供され、エントロピー復号ユニット１３０１によって復号された量子化された映像ブロック係数を逆量子化、すなわち、量子化解除する。逆変換ユニット１３０５は、逆変換を適用する。

再構成ユニット１３０６は、残差ブロックと、動き補償ユニット１３０２またはイントラ予測ユニット１３０３によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックノイズアーティファクトを除去するために、復号されたブロックをフィルタリングするためにブロック解除フィルタを適用してもよい。復号された映像ブロックは、バッファ１３０７に記憶され、バッファ１３０７は、後続の動き補償／イントラ予測のために参照ブロックを提供し、表示装置に表示するために復号された復号された映像を生成する。

図１４は、例示的なエンコーダ１４００の回路図である。エンコーダ１４００は、ＶＶＣの技法を実装するのに適している。エンコーダ１４００は、３つのインループフィルタ、すなわち、ブロック解除フィルタ（ＤＦ）１４０２、サンプル適応オフセット（ＳＡＯ）１４０４、適応ループフィルタ（ＡＬＦ）１４０６を含む。予め定義されたフィルタを使用するＤＦ１４０２とは異なり、ＳＡＯ１４０４およびＡＬＦ１４０６は、現在のピクチャの元のサンプルを利用して、オフセットおよびフィルタ係数を信号通知するコーディングされたサイド情報とともに、オフセットを追加し、また、有限インパルス応答（ＦＩＲ）フィルタを適用することで、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ＡＬＦ１４０６は、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーティファクトを捕捉し、修正しようとするツールと見なすことができる。

エンコーダ１４００は、入力映像を受信するように構成されたイントラ予測コンポーネント１４０８、および、動き推定／動き補償（ＭＥ／ＭＣ）コンポーネント１４１０をさらに含む。イントラ予測コンポーネント１４０８は、イントラ予測を実行するように構成され、ＭＥ／ＭＣコンポーネント１４１０は、参照ピクチャバッファ１４１２から取得した参照ピクチャを利用してインター予測を実行するように構成される。インター予測またはイントラ予測からの残差ブロックは、変換（Ｔ）コンポーネント１４１４および量子化（Ｑ）コンポーネント１４１６に供給され、量子化された残差変換係数を生成し、これらの残差ブロックは、エントロピーコーディングコンポーネント１４１８に供給される。エントロピーコーディングコンポーネント１４１８は、予測結果および量子化変換係数をエントロピーコーディングし、映像デコーダ（図示せず）に向けて送信する。量子化コンポーネント１４１６から出力された量子化成分は、逆量子化（ＩＱ）コンポーネント１４２０、逆変換コンポーネント１４２２、および再構成（ＲＥＣ）コンポーネント１４２４に供給されてもよい。ＲＥＣコンポーネント１４２４は、ＤＦ１４０２、ＳＡＯ１４０４、およびＡＬＦ１４０６にピクチャを出力することができ、参照ピクチャバッファ１４１２に記憶される前に、これらのピクチャをフィルタリングすることができる。

次に、いくつかの例により好適な解決策を列挙する。

以下の解決策は、本明細書で検討される技術の例を示す。

１． ビジュアルメディア処理方法（例えば、図１０に示す方法１０００）は、ピクチャを含む映像と、映像のビットストリームとの間で変換を実行すること（１００４）を含み、ピクチャが従属ランダムアクセスポイント（ＤＲＡＰ）ピクチャとしてビットストリームでコーディングされ、ビットストリームは、フォーマット規則に準拠し、フォーマット規則は、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャが、インター予測のために同じレイヤのピクチャを参照するか否かを示す構文要素が付加拡張情報（ＳＥＩ）メッセージに含まれるか否かを規定し、ピクチャは、復号順でＤＲＡＰより前にある。

２． ＳＥＩメッセージは、ＤＲＡＰ指示ＳＥＩメッセージである、解決策１に記載の方法。

３． ＳＥＩメッセージは、ビットストリームに含まれるＤＲＡＰ指示ＳＥＩメッセージとは異なる、解決策１に記載の方法。

４． フォーマット規則は、ＳＥＩメッセージの存在が、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャがインター予測のために同じレイヤのピクチャを参照することを許可することを示すことを規定し、ピクチャは、復号順でＤＲＡＰピクチャよりも前にある、解決策２から３のいずれかに記載の方法。

５． フォーマット規則は、ＳＥＩメッセージの存在が、復号順でＤＲＡＰピクチャに続き、かつ、出力順でＤＲＡＰピクチャに先行するＤＲＡＰピクチャと同じレイヤの１以上のピクチャがインター予測のために同じレイヤのピクチャを参照することを許可されないことを示すことを規定し、ピクチャは、復号順でＤＲＡＰピクチャよりも前にある、解決策２から３のいずれかに記載の方法。

６． 構文要素は、１ビットのフラグを含む、解決策１から５のいずれか１つに記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

７． 映像処理の方法は、１以上のピクチャを含む映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、タイプ２の従属ランダムアクセスポイント（ＤＲＡＰ）ピクチャを含み、ビットストリームはフォーマット規則に準拠し、フォーマット規則は、ビットストリームに、復号順でタイプ２のＤＲＡＰピクチャに続き、出力順でタイプ２のＤＲＡＰピクチャに先行する、レイヤにおけるピクチャが、復号順でタイプ２のＤＲＡＰピクチャよりも前にある、レイヤにおけるピクチャをインター予測のために参照することが許可されるかを指示するための特定のタイプの従属ランダムアクセスポイント（ＤＲＡＰ）指示構文メッセージを含むことを規定する。

８． ＤＲＡＰ指示構文メッセージの特定のタイプは、タイプ２のＤＲＡＰ指示構文メッセージに対応する、解決策７に記載の方法。

９． ＤＲＡＰ指示構文メッセージの特定のタイプは、ＤＲＡＰ指示構文メッセージに対応する、解決策７に記載の方法。

１０． 構文要素は、１ビットのフラグを含む、解決策７から９のいずれか１つに記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１１． 映像処理の方法は、映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、ビットストリームを記憶するファイルフォーマットでクロスランダムアクセスポイント参照（ＣＲＲ）を信号通知するかどうか、およびどのように信号通知するかを規定するフォーマット規則に準拠する。

１２． フォーマット規則は、ＣＲＲを示すサンプルグループを定義する、解決策１１に記載の方法。

１３． フォーマット規則は、従属ランダムアクセスポイント（ＤＲＡＰ）サンプルグループがＣＲＲを含むことを定義する、解決策１１に記載の方法。

１４． ＣＲＲを信号通知するＤＲＡＰサンプルグループは、ＣＲＲを信号通知するためのバージョンフィールドまたはｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒフィールドを含む、解決策１３に記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１５． 映像処理の方法は、映像と、映像のビットストリームとの間で変換を実行することを有し、ビットストリームは、ビットストリームが従属ランダムアクセスポイント（ＤＲＡＰ）ピクチャを含む場合、フィールドが、ＤＲＡＰサンプルグループのメンバーからのランダムアクセスに要求されるランダムアクセスポイント（ＲＡＰ）サンプルの数を示すＤＲＡＰサンプルエントリフィールドに含められることを規定するフォーマット規則に準拠する。

１６． フォーマット規則は、ＤＲＡＰサンプルグループのメンバーのＲＡＰ識別子を示す別のフィールドを含むようにさらに規定する、解決策１５に記載の方法。

以下の解決策は、前章で論じた技術の例示的な実施形態を示す。

１７． 従属ランダムアクセスポイント（ＤＲＡＰ）サンプルは、ＤＲＡＰサンプルに先行する最も近い初期サンプルを参照に使用することができる場合に、復号順と出力順の両方ですべてのサンプルが正しく復号できるようになるサンプルである、解決策１から１６のいずれか１つに記載の方法。

１８． ビットストリームをファイルフォーマットに準拠したファイルに記憶することをさらに含む、解決策１から１７のいずれか１つに記載の方法。

１９． ビットストリームは、ファイルフォーマットに準拠したファイルから読み出される、解決策１から１７のいずれか１つに記載の方法。

２０． ファイルフォーマットは、国際標準化機構ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）である、解決策１８から１９のいずれか１つに記載の方法。

２１． 解決策１から２０の１つまたは複数に記載の方法を実装するように構成されたプロセッサを備える、映像復号装置。

２２． 解決策１から２０の１つまたは複数に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。

２３． コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、プロセッサにより実行された際に、プロセッサに、解決策１から２０のいずれかに記載の方法を実装させるコンピュータプログラム製品。

２４． 解決策１から２０のいずれかに従って生成されたビットストリームフォーマットに準拠したビットストリームを実行するコンピュータ可読媒体。

２５． 解決策１から２０のいずれか１つに記載の方法に従ってビットストリームを生成し、ビットストリームをコンピュータ可読媒体に書き込むことを含む方法。

２６． 本明細書に記載の方法、装置またはシステム。

本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディングされた表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則を使用して、フォーマット規則に従って、構文要素の有無の知識でコーディングされた表現内の構文要素を解析し、復号された映像を生成してよい。

本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、１つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から符号化され、ビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディングされた表現に含めるか、またはコーディングされた表現から除外することによって、それに応じてコーディングされた表現を生成してもよい。

本明細書に開示された、およびその他の解決策、例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的均等物を含めて、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施してもよく、またはそれらの１つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、１または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラム可能プロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語文書に格納された１または複数のスクリプト）に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル（例えば、１または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）に記憶されていてもよい。コンピュータプログラムを、１つのコンピュータで実行するように展開することができ、あるいは、１つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。

本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能プロセッサによって行うことができる。プロセスおよびロジックフローはまた、特定用途のロジック回路、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。

コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用目的マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための１つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための１または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）およびデジタル多用途ディスク読み取り専用メモリ（ＤＶＤ－ＲＯＭ）ディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。

本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、１つの例において組み合わせて実装してもよい。逆に、１つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。

同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。

いくつかの実装形態および実施例のみが記載されており、この特許明細書に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

第１のコンポーネントは、第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除き、介在するコンポーネントがない場合、第２のコンポーネントに直接結合される。第１のモジュールは、第１のモジュールと第２のモジュールとの間にライン、トレース、または他の媒体以外の介在モジュールがある場合、第２のモジュールに間接的に結合される。「結合された」という用語およびその変形は、直接結合および間接結合の両方を含む。「約」という用語の使用は、特に断りのない限り、後続の数字の±１０％を含む範囲を意味する。

本開示においていくつかの実施例が提供されたが、開示されたシステムおよび方法は、本開示の思想または範囲から逸脱することなく、他の多くの特定の形式で実施されてもよいと理解されるべきである。本実施例は、例示と見なされるべきであり、制限と見なされるべきではなく、本発明は、本明細書に示される詳細に限定されるべきではない。例えば、様々な要素またはコンポーネントは、別のシステムにおいて組み合わせまたは統合されてもよく、または特定の特徴が省略されてもよく、または実施されなくてもよい。

加えて、本開示の範囲から逸脱することなく、様々な実施例で離接的または離接的に説明および図示された技法、システム、サブシステム、および方法を、他のシステム、モジュール、技法、または方法と組み合わせまたは統合してもよい。結合されたものとして図示または説明された他のアイテムは、直接接続されてもよく、または間接的に結合されてもよく、または何らかのインタフェース、装置、若しくは中間モジュールを介して、電気的、機械的若しくはその他の方法で通信してもよい。変更、置き換え、および変更の他の例は、当業者によって確定され得、本明細書に開示される思想および範囲から逸脱することなくなされ得る。

関連出願の相互参照
本願は、Ｙｅ－Ｋｕｉ Ｗａｎｇらによって２０２１年１月６日に出願され、タイトルが「Ｓｉｇｎａｌｌｉｎｇ Ｏｆ Ｃｒｏｓｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ Ｒｅｆｅｒｅｎｃｉｎｇ Ｉｎ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍｓ Ａｎｄ Ｍｅｄｉａ Ｆｉｌｅｓ」である、国際出願第ＰＣＴ／ＣＮ２０２１／０７０４００号の利益に対する優先権を主張する、２０２１年１２月２８日に提出された国際出願第ＰＣＴ／ＣＮ２０２１／１４１９４２号の国内段階である。前述のすべての特許出願は、その全体が参照により本明細書に援用される。

Claims (22)

1. 映像データを処理するための方法であって、
   １つ以上のクロスＲＡＰ参照（ＣＲＲ）ピクチャに対する１つ以上のランダムアクセスポイント（ＲＡＰ）ピクチャ識別子を決定することと、
   前記１つ以上のＲＡＰピクチャ識別子に基づいてビジュアルメディアデータとビットストリームとの間の変換を行うことと、
   を有する方法。
2. 前記１つ以上のＲＡＰピクチャ識別子は、それぞれ、コーディングされたレイヤ映像シーケンスマイナス１（ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１）フィールドでコーディングされる、請求項１に記載の方法。
3. 前記１つ以上のＲＡＰピクチャ識別子は、それぞれ、タイプ２の従属ランダムアクセスポイント（ＤＲＡＰ）付加拡張情報（ＳＥＩ）メッセージに含まれる、請求項１または２に記載の方法。
4. 前記１つ以上のＲＡＰピクチャ識別子は、それぞれ、前記ｔ２ｄｒａｐ＿ｒａｐ＿ｉｄ＿ｉｎ＿ｃｌｖｓ＿ｍｉｎｕｓ１フィールドの値に１を加えた値で規定される、請求項１から３のいずれか一項に記載の方法。
5. 前記ＣＲＲピクチャのそれぞれに対する前記１つ以上のＲＡＰピクチャ識別子が０よりも大きい値に設定される、請求項１から４のいずれか一項に記載の方法。
6. 前記ＣＲＲピクチャのそれぞれは、１つのイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャに関連付けられ、前記ＩＲＡＰピクチャが０のＲＡＰピクチャ識別子に関連付けられる、請求項１から５のいずれか一項に記載の方法。
7. 前記ＩＲＡＰピクチャのＲＡＰピクチャ識別子が０であると推測され、信号通知されない、請求項１から６のいずれか一項に記載の方法。
8. 前記１つ以上のＲＡＰピクチャ識別子は、同じＩＲＡＰピクチャに関連付けられた前記ＣＲＲピクチャごとに異なる、請求項１から７のいずれか一項に記載の方法。
9. 前記１つ以上のＲＡＰピクチャ識別子がＲａｐＰｉｃＩｄとして表される、請求項１から８のいずれか一項に記載の方法。
10. タイプ２のＤＲＡＰ ＳＥＩメッセージにおける他の構文要素は、前記タイプ２のＤＲＡＰ ＳＥＩメッセージにおけるＲＡＰピクチャ識別子が０よりも大きい場合にのみ信号通知される、請求項１から９のいずれか一項に記載の方法。
11. 前記ＣＲＲピクチャは、タイプ２のＤＲＡＰピクチャとして表される、請求項１から１０のいずれか一項に記載の方法。
12. 前記ＣＲＲピクチャは、拡張従属ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャとして表される、請求項１から１０のいずれか一項に記載の方法。
13. 前記１つ以上のＲＡＰピクチャ識別子は、それぞれ、付加拡張情報（ＳＥＩ）メッセージに含まれる、請求項１から１２のいずれか一項に記載の方法。
14. 前記ビットストリームは、ＣＲＲピクチャと同じレイヤで、かつ、復号順で前記ＣＲＲピクチャに後続する任意のピクチャが、前記同じレイヤで、かつ、復号順で前記ＣＲＲピクチャに先行する任意のピクチャに出力順で後続するように制約される、請求項１から１３のいずれか一項に記載の方法。
15. 前記タイプ２ ＤＲＡＰ ＳＥＩメッセージが、復号順でＣＲＲピクチャに後続し、かつ、出力順で前記ＣＲＲピクチャに先行するピクチャが、インター予測のために、復号順で前記ＣＲＲピクチャの前に位置する参照ピクチャを参照することが許可されているかどうかの指示を含む、請求項１から１４のいずれか一項に記載の方法。
16. 前記指示は、前記参照ピクチャが前記ピクチャと同じレイヤにある場合に、前記ピクチャが前記参照ピクチャを参照することが許可されるかどうかをさらに指示する、請求項１から１５のいずれか一項に記載の方法。
17. 前記指示は、１つのビットフラグである、請求項１から１６のいずれか一項に記載の方法。
18. 前記指示は、ｔ２ｄｒａｐ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓ ｆｉｅｌｄにおけるビットである、請求項１から１７のいずれか一項に記載の方法。
19. 前記変換は、前記ビジュアルメディアデータに従って前記ビットストリームを生成することを含む、請求項１から１８のいずれか一項に記載の方法。
20. 前記変換は、前記ビットストリームを構文解析して前記ビジュアルメディアデータを取得することを含む、請求項１から１８のいずれか一項に記載の方法。
21. プロセッサと、命令を有する非一時的メモリとを有する、映像データを処理するための装置であって、
    前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、請求項１から２０のいずれか一項の方法を実行させる、装置。
22. 映像コーディング装置によって用いられるコンピュータプログラムプロダクトを有する非一時的コンピュータ可読媒体であって、
    前記コンピュータプログラムプロダクトは、プロセッサによって実行された際に、前記映像コーディング装置に、請求項１から２０のいずれか一項の方法を実行させる、前記非一時的コンピュータ可読媒体に格納されたコンピュータ実行可能な命令を有する、非一時的コンピュータ可読媒体。

Images