図面全体を通して、同じ参照番号は、同様または対応する要素に対して使用される。
本実施形態は、一般に、ビデオ符号化および復号化に関し、特に、ビデオ符号化および復号化における参照画像の取扱いに関する。
ビデオ符号化および復号化では、一般に、ビデオシーケンスの画像内のスライスの符号化および復号化において、完全フレキシビリティを有することが好ましい。しかしながら、そのようなフレキシビリティのためには、スライスの復号化の間、高い複雑度と、煩雑な処理とが必要となる。例えば、画像が多数のスライスに分割された場合、参照画像リスト初期化処理が、復号器内で何度も、実際には、各そのようなスライスに対して1度、呼び出されなければならない。このことは、参照画像リストが各リストで同じであり、任意のリスト修正構文がスライスに対して繰り返されたとしても成り立つ。したがって、それらが同じであることを復号器が認識しないので、各スライスに対して、完全参照画像リスト初期化および修正処理を、とにかく実行しなければならない。
本実施形態は、1つまたは複数の最終参照画像リストが、同じ画像内の同じスライス型の全てのスライスに対して同じであるかどうかを報知することを可能にすることによって、ビデオ符号化および復号化と関連して、この問題およびその他の問題を解決する。さらに、このことは、復号化の複雑度を低減することができることを意味する。
したがって、ビットストリーム、すなわち、符号器から復号器への符号化データで、以下のリスト構築を取得した最終参照画像リスト、すなわち、以下のリスト初期化ならびにオプションのリスト修正を取得した1つまたは複数の参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じ、すなわち、同一であるかどうかを符号器に通知する少なくとも1つのモードシグナリング構文要素を報知することを提案する。特に、実施形態を使用して、参照画像リスト構築を、画像内の同じスライス型の全てのスライスに対して1度、実行することができることを指示することができる。
したがって、本実施形態により、画像内の同じスライス型の全てのスライスが、1つまたは複数の同一の最終参照画像リストを有することを、復号器へのビットストリームで報知することが可能になる。このようにして、復号器は、各スライスに対して、複雑な参照画像リスト構築機能を、計算上、繰り返す必要がない。代わりに、復号器は、特定の画像に対してどれだけ多くのスライスが存在したとしても、画像毎に1回のみ、リスト構築を実行することができる。
一般に、コード化ビデオシーケンスは、図3に示すような、ネットワーク抽出層(NAL)ユニット41を備える。基本的に、NALユニット41は、そのスライスに対する制御情報を含む対応するスライスヘッダを有するスライス、および符号化スライスデータを備える。あるいは、NALユニット41は、例えば、制御情報を有するパラメータセットを備える。他の型のNALユニット41もまた、利用可能である。
符号器からの出力としてのNALユニット41は、典型的に、ヘッダ42から44で補完され、符号器から復号器へのビットストリームの一部として送信することが可能なデータパケット4を形成する。例えば、リアルタイム転送プロトコル(RTP)42ヘッダ、ユーザ・データグラム・プロトコル(UDP)43ヘッダ、およびインターネットプロトコル(IP)44ヘッダを、NALユニット41に追加することができる。NALユニット41のこの形式のパケット化は、単に、ビデオ伝達と関連した一例である。ファイルフォーマット、MPEG−2トランスポートストリーム、MPEG−2プログラムストリームなどの、NALユニット41を取り扱う他の手法も可能である。
NALユニット41で搬送することができるパラメータセットの例には、適応パラメータセット(APS)、画像パラメータセット(PPS)、シーケンスパラメータセット(SPS)、およびビデオパラメータセット(VPS)がある。APSは、1より多いスライスに対して有効な制御情報を備える。この制御情報は、スライス間で異なっていてもよい。PPSは、いくつかの画像に対して有効な制御情報を備え、同じビデオシーケンスの複数の画像に対して同じにしてもよい。SPSは、ビデオシーケンス全体に対して有効な制御情報を備える。
画像内の所与のスライスに適用可能であるパラメータセットは、典型的に、そのスライスの符号化表現に、典型的には、その符号化表現のスライスヘッダに存在する情報に基づいて識別される。典型的に、情報は、パラメータセットを直接識別するか、またはパラメータセットを識別する識別子を備える他のパラメータセットを識別するパラメータセット識別子の形式である。例えば、APSもしくはPPSは、スライスヘッダ内に存在するAPS識別子もしくはPPS識別子によって識別され、SPSは、スライスヘッダ内に存在するPPS識別子によって識別されるPPS内に存在するSPS識別子によって識別され、VPSは、スライスヘッダ内に存在するPPS識別子によって識別されるPPS内に存在するSPS識別子によって識別されるSPS内に存在するVPS識別子によって識別される。
NALユニット41は、図3に示すように、典型的には、復号化順序に従って復号器に達し、スライスデータを復号化するときに使用される任意のパラメータセットが、復号器で利用可能になる必要がある。復号器は、スライスヘッダ内に有効なパラメータセットへの参照リンク、すなわち、パラメータセット識別子が存在するため、パラメータセットをいつ使用するべきかを認識する。
図6は、一実施形態による、ビデオシーケンス内の画像の符号化表現を復号化することと関連して、参照画像リストを取り扱う方法を示す系統線図である。この実施形態において、画像は、符号化と関連して、複数の、すなわち、少なくとも2つのスライスに分割されることが好ましい。したがって、画像は、複数のスライスを備えることが好ましい。本方法は、ステップS1で、符号化表現に基づいて、少なくとも1つのモードシグナリング構文要素を提供することを備えることが好ましい。次のステップS2は、少なくとも1つのモードシグナリング構文要素に基づいて、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを判断することを備える。
ステップS1で提供された少なくとも1つの構文要素は、ステップS2で使用され、少なくとも1つの最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを判断する。特定の実施形態において、ステップS2は、少なくとも1つのモードシグナリング構文要素の各値を分析し、1つまたは複数の最終参照画像リストが、少なくとも1つのモードシグナリング構文要素の各値に基づいて、画像内の同じスライス型の全てのスライスに対して同じであるかどうかの判断を実行することを備える。
したがって、復号器は、1つまたは複数の最終参照画像リストが画像内の同じスライス型の全てのスライスに対して同一であることを、少なくとも構文要素に基づいて判断または決定することができる。そのような場合において、少なくとも1つの最終参照画像リストを、画像の第1のスライスに対するリスト構築で、復号器がこの第1のスライスの符号化表現を受信ならびに復号化した場合に、生成することができる。生成された少なくとも1つの最終参照画像リストは、次いで、何らかの新しいリスト構築、すなわち、リスト初期化ならびにオプションのリスト修正を実行する必要なく、後で受信ならびに復号化される画像の他のスライスに対して再利用される。
画像の符号化表現は、少なくとも1つのNALユニットの形式などの、画像に対する符号器によって生成された各スライスヘッダならびにスライスデータを有するスライスの少なくとも1つの各符号化表現に対応することが好ましい。
ステップS1で提供された少なくとも1つのモードシグナリング構文要素は、例えば、画像のスライスの符号化表現のスライスヘッダ内で送信することができる。そのような場合において、少なくとも1つのモードシグナリング構文要素は、画像の第1のスライスのスライスヘッダ内に挿入してもよい。しかしながら、堅実性をもたらすために、例えば、第1のスライスの符号化表現を搬送するデータパケットが失われた場合、少なくとも1つのモードシグナリング構文要素が、一実施形態において、画像におけるスライスの各符号化表現の、すなわち、画像の各スライスに対するスライスヘッダ内に挿入されることが好ましい。
代替実施形態において、少なくとも1つのモードシグナリング構文要素は、画像の符号化表現と関連し、画像の符号化表現に基づいて識別可能なパラメータセットで送信することができる。そのような場合において、符号化表現は、好ましくはスライスヘッダにおいて、少なくとも1つのモードシグナリング構文要素を備える関連パラメータセットの識別を可能にするパラメータセット識別子を備える。一実施形態において、スライスヘッダは、少なくとも1つのモードシグナリング構文要素を備える、APSもしくはPPSなどの、関連パラメータセットを識別する、APS識別子もしくはPPS識別子などの、パラメータセット識別子を含むことができる。あるいは、スライスヘッダは、PPSなどの、第1のパラメータセットを識別する、PPS識別子などの、第1のパラメータセット識別子を備えることができ、さらに、少なくとも1つのモードシグナリング構文要素を備える、SPSなどの、第2のパラメータセットを識別する、SPS識別子などの、第2のパラメータセット識別子を備え、または少なくとも1つのモードシグナリング構文要素を備える、VPSなどの、第3のパラメータセットを識別する、VPS識別子などの、第3のパラメータセット識別子を備える。
符号器から復号器へのビットストリームで、またはビットストリームと関連したさまざまなメッセージもしくはデータ構造で、少なくとも1つのモードシグナリング構文要素を他の場所に報知することも可能である。例えば、情報は、ビデオユーザビリティ情報(VUI)および/または補足エンハンスメント情報(SEI)の一部として提供することができる。
ステップS1で提供されたような少なくとも1つのモードシグナリング構文要素は、単一のモードシグナリング構文要素または複数のモードシグナリング構文要素の形式とすることができる。後者の場合、これらの複数のモードシグナリング構文要素は、スライスヘッダで、同じパラメータセットまたは同じ他のデータ構造もしくはメッセージで共に提供することができる。複数のモードシグナリング構文要素を配信することも可能であり、したがって、第1のモードシグナリング構文要素が、スライスヘッダで検出され、第2のモードシグナリング構文要素が、パラメータセット、VUIもしくはSEIで検出される。あるいは、第1のモードシグナリング構文要素は、第1のパラメータセットで検出され、第2のモードシグナリング構文要素は、第2のパラメータセット、VUIもしくはSEIで検出される。この概念は、3つ以上のモードシグナリング構文要素の場合にも拡大解釈できる。
本明細書で使用される場合、構文要素とは、符号器によって生成され、復号器によって復号される符号化データの一部を形成するコードワードもしくはデータ要素である。したがって、構文要素とは、典型的に、符号化表現と関連した制御データ、または画像の符号化表現に存在するそのような制御データもしくはヘッダデータの一部を形成する、フラグを含む、コードワードもしくはデータ要素である。例えば、構文要素は、画像の符号化表現のスライスヘッダ内のコードワードとすることができる。あるいは、例えば、構文要素は、例えば、符号化表現内に存在するデータに基づいてビットストリームから検索可能であるか、またはビットストリームの外部から送信されて、符号化表現内に存在するデータに基づいて検索可能である、画像の符号化表現と関連したパラメータセットまたはその他の制御データにおけるコードワードとすることができる。
スライスは、当分野で周知のように、スライスのデータ、すなわち、ピクセルデータが、どのように符号化されるかに応じて、スライス型が異なる。一般に、3つの型のスライスがある。Iスライス、すなわち、スライス型2は、何らのインター予測も使用せず、したがって、何らの参照画像リストも有さない。他の2つの型のスライスは、Pスライス、すなわち、スライス型0、およびBスライス、すなわち、スライス型1で表される。これらのスライス型はどちらも、インター予測と、参照画像リストとを使用する。Pスライスは、一般に、L0で表される単一参照画像リストを使用し、一方、Bスライスは、一般に、L0ならびにL1で表される、少なくとも2つの参照画像リストを使用する。
本明細書で使用される場合、スライス型とは、単一予測方向、すなわち、スライス型Pすなわち0を有するか、または、デュアル、すなわち、2つの予測方向、すなわち、スライス型Bすなわち1を有する、インター予測されたスライス型に関する。
一実施形態において、図6のステップS2は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リスト、すなわち、L0が、画像内の全てのPスライスに対して同じであるかどうか、および最終参照画像リスト、すなわち、L0ならびにL1が、画像内の全てのBスライスに対して同じであるかどうかを判断することを備える。その場合、このことは、画像内の全てのPスライスが、同じL0リストを有し、画像内の全てのBスライスが、同じL0ならびにL1リストを有することを意味する。
特定の実施形態において、画像は、同じスライス型のスライスのみを備え、すなわち、画像の全てのスライスは、Pスライスであり、または画像の全てのスライスは、Bスライスである。前者の場合では、ステップS2は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストL0が、画像内の全てのスライスに対して同じであるかどうかを判断することを備える。後者の場合では、ステップS2は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストL0ならびにL1が、画像内の全てのスライスに対して同じであるかどうかを判断することを備える。
本実施形態はまた、PスライスおよびBスライスの両方を備えることができる画像に適用可能である。そのような場合において、ステップS2での判断は、PスライスおよびBスライスに対して別々に実行することができる。したがって、画像内の全てのPスライスは、画像内のBスライスの最終参照画像リストL0とは異なるものである可能性がある、同じ最終参照画像リストL0を有する。さらに、Bスライスは、すべて、同じ最終参照画像リストL0、および同じ最終参照画像リストL1をも有する。
特定の実施形態において、画像の全てのPスライスおよび全てのBスライスは、少なくとも1つのモードシグナリング構文要素によって示される、同じ最終参照画像リストL0を有することができる。そのような場合において、ステップS2は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストL0が、画像内の全てのPスライスならびに全てのBスライスに対して同じであるかどうか、および最終参照画像リストL1が、画像内の全てのBスライスに対して同じであるかどうかを判断することを備えることが好ましい。
典型的に、少なくとも1つのモードシグナリング構文要素は、画像内のスライスに対するリスト構築で使用されるリスト構築モードを示す。したがって、少なくとも1つのモード構文要素は、複数のそのようなリスト構築モードのいずれを、画像のスライスに適用するかを示すことが好ましい。例えば、第1のそのようなリスト構築モードは、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであることを含む。その場合、第2のリスト構築モードは、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じである必要がないことを含むことができる。後者の場合、したがって、画像に対して使用することができる異なる最終参照画像リストの数に制限はない。したがって、画像におけるスライスと同じ数の最終参照画像リストまたは最終参照画像リストのペアが存在してもよい。
一実施形態において、ステップS2は、したがって、少なくとも1つのモードシグナリング構文要素に基づいて、i)1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうか、またはii)画像で使用される異なる参照画像リストの数が制限されていないかどうか、を判断することを備える。
少なくとも1つのモードシグナリング構文要素は、特定の実施形態において、参照画像リスト構築が、同じスライス型の画像の全てのスライスに対して1度、実行することができるかどうかを判断するために使用してもよい。
例えば、ステップS2において、画像の全てのPスライスもしくは全てのBスライスが、ステップS1で提供された少なくとも1つのモードシグナリング構文要素に基づいて、同じ参照画像リスト構築を使用することができるかどうかを判断することができる。そのような場合において、参照画像リスト構築は、関連する画像の全てのPスライスまたはBスライスに対して1度だけ実行される必要がある。
このことは、ステップS1における符号化表現に基づいて提供された少なくとも1つのモードシグナリング構文要素が、復号器によって使用され、単一の参照画像リスト構築が、同じスライス型の画像の全てのスライスに対して実行することができるかどうかを判断することができることを意味する。すなわち、このことは、復号器が、画像の任意の後続スライスの、好ましくは、同じスライス型の画像の任意の後続スライスの復号化中に、画像の第1のスライスに対して構成された少なくとも1つの参照画像リストを再利用することが可能であることを意味する。
参照画像リスト構築は、当分野で既知であるが、復号化されるべきスライスに対する、本明細書における最終参照画像リストを意味する、少なくとも1つの参照画像リストを構築することを含む。この少なくとも1つの最終参照画像リストは、例えば、画像順序カウント(POC)の形式で、現在画像に対する、および/または、ビデオシーケンスの復号化順序での後続の画像に対する復号化基盤として使用することができる、ビデオシーケンスの少なくとも1つの以前に復号化された画像の、画像識別子などの情報を備える。例えば、参照画像リスト構築は、Pスライスのためなどの1つの参照画像リスト、またはBスライスのためなどの、複数、例えば、2つの参照画像リストを生成することができる。
典型的に、参照画像リスト構築は、ビデオシーケンスのビットストリームで提供された制御情報に基づいて、少なくとも1つの初期参照画像リストを生成する参照画像初期設定を含む。例えば、制御情報は、少なくとも1つの初期参照画像リストの参照画像の画像識別子、または、これらの画像識別子の算出を可能にする情報を含むことができる。
この少なくとも1つの初期参照画像リストは、スライスの復号化中に、少なくとも1つの最終参照画像リストとして使用することができる。そのような場合において、参照画像リスト構築は、基本的に、参照画像リスト初期化のみを備える。
しかしながら、ビットストリームは、オプションのリスト修正構文を備えることを可能とすることができる。そのような場合において、復号器は、典型的には、リスト修正存在フラグの形式であるそのようなリスト修正構文要素の値を確認し、リスト修正構文要素に基づいて少なくとも1つの初期参照画像リストでリスト修正動作を実行し、スライスを復号化する場合に、少なくとも1つの最終参照画像リストとして使用される少なくとも1つの修正された参照画像リストを取得する。
参照画像リスト修正構文の一例は、以下のように定義することができる。
ref_pic_list_modification( ) { Descriptor
if( slice_type != 2) {
ref_pic_list_modification_flag_l0 u(1)
if( ref_pic_list_modification_flag_l0 )
do {
list_modification_idc ue(v)
if( list_modification_idc != 3 )
ref_pic_set_idx
} while( list_modification_idc !=3 )
}
if( slice_type == 1 ) {
ref_pic_list_modification_flag_l1 u(1)
if( ref_pic_list_modification_flag_l1 )
do {
list_modification_idc ue(v)
if( list_modification_idc != 3 )
ref_pic_set_idx
} while( list_modification_idc !=3 )
}
}
一実施形態において、list_modification_idcの範囲は、0から3とすることができ、異なるコードワードは、異なるリスト修正に対応する。そのようなリスト修正の一例は、以下の表1での定義のようにすることができる。
上記の参照画像リスト修正構文ならびにリスト修正は、単に例示としてのものであるが、参照画像リスト構築中に実行することができる画像リスト修正動作の非限定の例である。
本実施形態は、特に、ビデオシーケンス内の画像が、複数、すなわち、少なくとも2つのスライスを備える場合に適切である。ビデオシーケンスは、各スライスのみを備えるいくつかの画像、および複数のスライスを備えるいくつがの画像を備えることが可能である。しかしながら、実施形態はまた、ビデオシーケンスが、ただ1つの画像を有する画像を備える場合にも適用可能である。特に、このことは、復号器が、一般に、画像毎に1スライスのみが存在することを事前に認識していないため、有利である。したがって、本実施形態は、画像の少なくとも1つの追加スライスを受信する場合、同じに保たれる少なくとも1つのスライス要素を共有することを復号器に通知する、少なくとも1つのモードシグナリング構文要素を提供する。
図7は、図6の方法の追加のオプションステップS10を示す系統線図である。本方法はステップS10で開始し、画像のスライスの符号化表現を有するNALユニットを備える1つまたは複数のデータパケットの形式などの、画像の符号化表現を受信する。次いで、本方法は、図6のステップS1に続き、少なくとも1つの構文要素が、受信した符号化表現に提供される。
図8は、図7の方法の追加のオプションステップS12を示す系統線図である。典型的に、本方法は、図6のステップS2からの続きである。次いで、ステップS12は、少なくとも1つのモードシグナリング構文要素に基づいて、任意の参照画像リスト修正が、1つまたは複数の初期参照画像リストに適用され、1つまたは複数の最終参照画像リストを形成するかどうかを判断することを備える。次いで、本方法は終了する。
この実施形態において、したがって、少なくとも1つのモードシグナリング構文要素を使用して、リスト構築が、リスト初期化を備えるかどうか、好ましくは、リスト初期化のみを備えるかどうか、またはリスト初期化およびリスト修正の両方を備えるかどうかも報知する。したがって、少なくとも1つのモードシグナリング構文要素は、リスト初期化から取得した1つまたは複数の初期参照画像リストが、1つまたは複数の最終参照画像リストとして使用されるかどうか、または参照画像リスト修正が1つまたは複数の初期参照画像リストに適用されて、1つまたは複数の最終参照画像リストとして使用される1つまたは複数の修正された参照画像リストを形成するかどうかを示す。
少なくとも1つのモードシグナリング構文要素は、本実施形態では、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを示す第1のモードシグナリング構文要素と、任意の参照画像リスト修正を1つまたは複数の初期参照画像リストに適用して、1つまたは複数の最終参照画像リストを形成するかどうかを示す第2のモードシグナリング構文要素とを備えることが好ましい。これらの実施形態は、さらに、図9から図11を参照して、以下で説明する。
図9は、参照画像リストの取り扱い方法についてのさまざまな実施形態を示す系統線図である。本方法は、一般に、ステップS20で開始し、参照画像リスト(RPL)フラグが、画像の符号化表現に基づいて、第1のモードシグナリング構文要素として提供される。例えば、このRPLフラグは、符号化表現と関連した、SPSなどのパラメータセット、またはVUIなどのその他の制御情報から検索することができる。
次のステップS21では、ステップS20で提供されたRPLフラグの値を検証する。RPLフラグが、1bin(または、0bin)などの第1の値である場合、本方法は、ステップS22に続く。ステップS22は、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであると判断することを備える。しかしながら、代わりにRPLフラグが、0bin(または、1bin)などの第2の値を有する場合、本方法は、代わりに、ステップS23に続く。ステップS23は、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じである必要がないと判断することを備える。
したがって、この実施形態において、少なくとも1つのモードシグナリング構文要素は、RPLフラグ、すなわち、1ビット構文要素であるか、少なくとも、RPLフラグ、すなわち、1ビット構文要素を備える。それにより、RPLフラグは、2つの可能性のあるリスト構築モードの1つ、すなわち、1つまたは複数の最終参照画像リストが、同じであるか、または画像内の全てのスライスに対して同じである必要がないことを報知することができる。
次いで、本方法は終了することができる。代替実施形態において、本方法は、ステップS24に続く。このステップS24は、符号化表現に基づいて、第2のモードシグナリング構文要素としてRPL修正フラグを提供することを備える。例えば、このRPL修正フラグは、スライスヘッダから検索されるPPS識別子などのパラメータセット識別子に基づいてまたはスライスヘッダから検索されるPPS識別子などの他のパラメータセット識別子に基づいて識別されるPPSなどの他のパラメータセットから検索されるSPS識別子などのパラメータセット識別子に基づいて、識別されるSPSもしくはPPSなどのパラメータセットから検索することができる。
次のステップS25では、このRPL修正フラグの値を確認する。RPL修正フラグが、1bin(または、0bin)などの第1の値である場合、本方法は、ステップS26に続く。ステップS26は、参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを、少なくとも1つの最終参照画像リストとして使用すべきかを判断することを備える。したがって、この場合、何らのリスト修正も、少なくとも1つの初期参照画像リストに適用されない。RPLフラグが、ステップS21で判断したような第1の値を有する場合、それにより、このステップS26は、参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを、画像内の同じスライス型の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用することを判断することを備える。代わりに、ステップS21が、RPLフラグが第2の値を有すると判断した場合、このステップS26は、画像の現在スライスに対して取得した少なくとも1つの初期参照画像リストを、現在スライスに対する少なくとも1つの最終参照画像リストとして使用するべきかを判断することを備える。
ステップS24で提供されたRPL修正フラグが、代わりに、0bin(または、1bin)などの第2の値を有する場合、ステップS25で判断して、本方法は、ステップS27に続く。次いで、このステップS27は、参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを修正することによって取得した少なくとも1つの修正された参照画像リストを、少なくとも1つの最終参照画像リストとして使用すべきかを判断することを備える。したがって、この場合、リスト修正を、少なくとも1つの初期参照画像リストに適用する。
RPLフラグが、ステップS21で判断したような第1の値を有する場合、それにより、このステップS27は、参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを修正することによって取得した少なくとも1つの修正された参照画像リストを、画像内の同じスライス型の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用することを判断することを備える。代わりに、ステップS21が、RPLフラグが第2の値を有すると判断した場合、このステップS27は、画像の現在スライスに対して取得した少なくとも1つの初期参照画像リストを、現在スライスに対する少なくとも1つの最終参照画像リストとして使用する、少なくとも1つの修正された参照画像リストを取得するために、リスト修正で修正するべきかを判断することを備える。
ステップS24、S25、ならびにS26、または、ステップS24、S25、ならびにS27は、ステップS21が、RPLフラグが第1の値を有すると判断することを含み、本方法がステップS22に続く場合、同じスライス型の全てのスライスに対して1度だけ、好ましくは、画像の全てのスライスに対して1度、実行される必要がある。しかしながら、代わりに、ステップS21が、RPLフラグが第2の値を有すると判断することを含み、本方法が、ステップS23に続いた場合、ステップS24、S25、およびS26もしくはS27は、画像内の各スライスに対して1度実行されることが好ましい。
図10は、参照画像リストの取り扱い方法についてのさまざまな実施形態を示す系統線図である。本方法は、一般に、ステップS30で開始し、参照画像リスト(RPL)フラグが、画像の符号化表現に基づいて提供される。このステップS30は、基本的に、図9のステップS20に対応し、本明細書ではさらなる説明はしない。
次のステップS31では、ステップS30で提供されたRPLフラグの値を検証する。RPLフラグが、1bin(または、0bin)などの第1の値を有する場合、このステップS31では、画像内の同じスライス型の全てのスライスが、1つまたは複数の同一最終参照画像リストを有すると判断する。次いで、本方法は、オプションのステップS32に続く。しかしながら、代わりに、RPLフラグが、0bin(または、1bin)などの第2の値を有する場合、このステップS31では、画像内の同じスライス型の全てのスライスが、1つまたは複数の同一最終参照画像リストを有する必要はないと判断することが好ましい。そのような場合において、本方法は、ステップS40に続く。
RPLフラグが、ステップS31で判断されたような第2の値を有する場合、一実施形態において、同じスライス型の画像の全てのスライスが、1つまたは複数の同じ最終参照画像リストを有することができるか、または1つまたは複数の異なる最終参照画像リストを有することができる。したがって、復号器は、画像のPスライスが全て、同じ最終参照画像リストを有するか、または画像のBスライスが全て、同じ参照画像リストを有すると仮定することができない。
オプションのステップS32は、第1の参照画像リスト(RPL)、すなわち、L0における多数の参照画像(RP)を示す各第1のパラメータを、画像内の同じスライス型の全てのスライスに対して、好ましくは、画像内の全てのスライス(PスライスおよびBスライス)に対して、同じ値に設定することを備えることが好ましい。例えば、参照画像リストL0内の参照画像の数を定義するパラメータnum_ref_idx_l0_active_minus1は、ステップS32で、画像内のPスライスならびにBスライスに対して、同じ値に設定することができる。そのような場合において、この第1のパラメータの値は、画像の第1のスライスの符号化表現に基づいて検索することが好ましい。例えば、この第1のパラメータは、第1のスライスの符号化表現のスライスヘッダから検索することができる。
次のオプションのステップS33では、スライス型が、いわゆるBスライス、すなわち、スライス型1であるかどうかを検証する。そのような場合において、少なくとも2つの参照画像リストが、画像のBスライスに対して生成される。ステップS33で、スライス型がBスライス型であると結論づけられた場合、本方法は、オプションのステップS34に続く。このオプションのステップS34は、第2の参照画像リスト(RPL)、すなわち、L1における多数の参照画像を示す各第2のパラメータ(RP)を、画像の全てのBスライスに対して同じ値に設定することを備える。例えば、参照画像リスト(RPL)L1内の参照画像(RP)の数を定義するパラメータnum_ref_idx_l1_active_minus1は、ステップS34で、画像内の全てのBスライスに対して、同じ値に設定することができる。そのような場合において、この第2のパラメータの値は、画像の第1のスライスの符号化表現に基づいて検索することが好ましい。例えば、この第2のパラメータは、第1のスライスの符号化表現のスライスヘッダから検索することができる。
これらの場合では、num_ref_idx_l0_active_minus1およびnum_ref_idx_l1_active_minus1の値は、画像の第1のスライスに対してのみ判断される必要がある。したがって、値は、画像の第1のスライスに対して構文解析され、復号化され、次いで、メモリに格納される。次いで、これらの値は、何らのデータ構文解析および復号化をされることなく、オプションで、メモリから値を検索し、読み取ることによって、同じスライス型である画像の任意の残りのスライスに対して再利用することができる。
一実施形態において、次のステップS35は、参照画像リスト(RPL)初期化を実行することを備える。したがって、本方法は、次いで、Bスライスの場合、ステップS34から、またはPスライスの場合、ステップS33から、ステップS35に続く。参照画像リスト初期化は、本明細書で上記したように、いわゆる、参照画像リスト初期化における符号化表現に基づいて、少なくとも1つの初期参照画像リストを判断する。本方法がステップS33から続いた場合、1つのそのような初期参照画像リスト(L0)が判断されることが好ましく、一方、本方法がステップS34から続いた場合、2つの参照画像リスト(L0、L1)が、ステップS35で判断されることが好ましい。
参照画像リスト初期化は、現在画像、および/またはビデオシーケンス内の、復号化順序での後続の画像に対する参照画像として使用することができる、ビデオシーケンスの以前に復号化された画像の画像識別子をリスト化することを含むことが好ましい。復号化された画像は、当分野で周知のように、一般に、参照画像バッファとも呼ばれる復号化画像バッファ(DPB)における復号器に格納される。そのような場合において、初期参照画像リストは、DPB内の参照画像への識別子またはポインタを備えることができ、これらの参照画像は、符号化表現に基づいて検索された、POCまたはPOCの算出を可能にするデータなどの情報に基づいて、選択または識別される。
一実施形態において、ステップS36は、符号化表現に基づいて、RPL修正フラグを提供することを備える。このステップS36は、図9でのステップS24に対応することが好ましく、さらなる説明はしない。
RPL修正フラグが、ステップS37で判断したような、1bin(または0bin)などの第1の値を有する場合、ステップS35での参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを、画像内の同じスライス型の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用する。
代わりに、ステップS36で提供されたRPL修正フラグが、ステップS37で判断したような、0bin(または、1bin)などの、第2の値を有する場合、ステップS35での参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを修正することによって取得した少なくとも1つの修正された参照画像リストを、画像内の同じスライス型の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用する。したがって、この場合、1つまたは複数のリスト修正動作が、少なくとも1つの初期参照画像リストで実行され、画像に対する1つまたは複数の最終修正参照画像リストを取得するべきである。
本方法は、したがって、この実施形態において、ステップS37からステップS38に続く。ステップS38では、修正構文が、画像の符号化表現に基づいて提供される。したがって、少なくとも1つのリスト修正パラメータ、すなわち構文要素が、画像の符号化表現に基づいて提供される。リスト修正パラメータは、符号化表現内のスライスヘッダから検索されることが好ましいが、あるいは、符号化表現に含まれるデータに基づいて識別可能なパラメータセットまたはその他のデータ構造から提供することができる。リスト修正パラメータの非制限の例は、上記した表1で提示される。
次いで、ステップS38で提供された少なくとも1つのリスト修正パラメータがステップS39で使用され、ステップS35で取得された少なくとも1つの初期参照画像リストの少なくとも1つの初期参照画像リスト(RPL)を修正し、少なくとも1つの修正された参照画像リストを取得する。
図10では、ステップS35での参照画像リスト初期化が、ステップS36でのRPL修正フラグの提供の前に実行されるものとして開示される。代替実施形態において、ステップS35は、ステップS36と並行して、またはステップS36の後に、少なくとも部分的に実行される。図9でのステップS37またはS38と並行して、またはその後に、ステップS35を少なくとも部分的に実行することもまた可能である。
ステップS30で提供されたRPLフラグが、ステップS31で決定したような第2の値を有する場合、同じスライス型である画像の全てのスライスは、必ずしも、1つまたは複数の同一の最終参照画像リストを有する必要はない。
次いで、本方法は、ステップS31からステップS40に続く。このステップS40では、参照画像リスト(RPL)初期化が、画像の、現在の、典型的には、第1のスライスに対して実行される。このステップS40は、基本的に、ステップS35と関連して上記したように実行される。したがって、初期参照画像リストL0または初期参照画像リストL0、L1は、現在スライスがPスライスであるか、それともBスライスであるかによって決定する。
次のオプションのステップS41では、現在スライスに対して何らかの修正構文が存在するかどうかを検証する。したがって、このオプションのステップS41は、現在スライスの符号化表現のスライスヘッダ内に存在するような、現在スライスに対する少なくとも1つのリスト修正パラメータが存在するかどうかを検証することを備えることが好ましい。何らかのそのようなリスト修正パラメータが存在する場合、パラメータは、ステップS41における現在スライスの符号化表現を構文解析し、復号化することなどに基づいて提供される。このステップS41は、基本的に、ステップS38に対応する。
次のオプションのステップS42は、少なくとも1つのリスト修正パラメータがステップS41で提供された場合に実行される。ステップS42では、ステップS40で取得された少なくとも1つの初期参照画像リスト(RPL)が、ステップS41で提供された少なくとも1つのリスト修正パラメータに基づいて修正される。このステップS42は、基本的に、ステップS39に対応する。
この場合、すなわち、RPLフラグが第2の値を有するので、S40およびオプションのステップS41、S42のループが、画像の各スライスに対して繰り返される。これは、以前に開示した実施形態と比較して、参照画像リスト初期化(ステップS35)およびオプションのリスト修正(ステップS39)が、同じスライス型の全てのスライスに対して1度だけ実行された場合、参照画像リスト初期化(ステップS40)が画像内の各スライスに対して1度実行され、ステップS41およびS42もまた、そのようなリスト修正パラメータを備える画像の各スライスに対して1度実行されることを意味する。
ステップS40が画像の各スライスに対して1度実行された場合でも、ステップS41およびS42は、任意のリスト修正パラメータを備えるか、任意のリスト修正パラメータと関連する画像のそれらのスライスに対してのみ実行されることに留意されたい。
典型的に、ステップS40からS42のループはまた、ステップS32からS34に対応するステップを備え、すなわち、(ステップS32からS34と比較して)第1の参照画像リスト内の、および任意のBスライスの場合、第2の参照画像リスト内の参照画像の数を設定するステップを備える。しかしながら、参照画像リストフラグが第1の値を有する場合と明らかに対照的に、第1および第2の参照画像リスト内の参照画像の数は、ステップS40およびS42のループの一部として実行された場合、画像内の同じスライス型の異なるスライスに対して、異なって設定することができる。そのような場合において、これらの追加ステップは、ステップS40の前に実行されることが好ましく、したがって、画像内の各スライスに対して1度実行される。
図10に開示したような一実施形態において、3つの起こり得るモードまたは変形例が、図10におけるRPLフラグおよびRPL修正フラグによって表されるような少なくとも1つのモードシグナリング構文要素によって定義されることが可能である。
モード1−1つまたは複数の最終参照画像リストが、画像の全てのスライスで同じである(S30からS39)。
モード2−制限がなく、1つの画像で使用される異なる参照画像リストの数が制限されず、その画像内のスライスと同数にすることができる(ステップS30、S31、S40からS42)。
モード3−参照画像リストを修正しない。これは、全てのスライスが1つまたは複数の同じ参照画像リスト、つまり、初期設定された1つまたは複数の参照画像リストを使用することを意味する。何らのリスト修正も、任意のスライスで実行されない(ステップS30からS37)。
図10で開示した実施形態では、RPL修正フラグの存在は、RPLフラグの値について調整される。言い換えると、RPL修正フラグは、RPLフラグがステップS31で決定したような第1の値を有する場合、ステップS37で検証および使用される。
代替実施形態において、RPLフラグおよびRPL修正フラグは、図11で示すように、互いに独立したものとすることができる。この図11は、図10の変形であるが、RPL修正フラグの存在が、RPLフラグの値について調整されない。
したがって、図11に示すような実施形態は、RPLフラグの提供およびこのRPLフラグの使用に関するステップS30からS34を包含し、画像内の同じスライス型の全てのスライスが、1つまたは複数の同一の参照画像リストを有するかどうかを判断し、または画像内の同じスライス型のスライスが、1つまたは複数の同一の参照画像リストを有する必要がないかどうかを判断する。これらのステップS30からS34は、図10と関連して上記したように実行される。
次いで、本方法は、ステップS35、S36、およびS37に続き、その後、RPL修正フラグが第1の値を有する場合、すなわち、何らのリスト修正も実行されず、ステップS35の参照画像初期化で取得された少なくとも1つの初期参照画像リストが、画像内の同じスライス型のスライスに対する少なくとも1つの最終参照画像リストとして使用されることを示す場合に終了する。あるいは、本方法は、ステップS35、S36、ならびにS37に続き、さらに、RPL修正フラグが第2の値を有する場合、すなわち、リスト修正が実行され、ステップS39で取得された少なくとも1つの修正された参照画像リストが、画像内の同じスライス型のスライスに対する少なくとも1つの最終参照画像リストとして使用されることを示す場合にステップS38ならびにS39に続く。
図11の実施形態では、本方法が2つのフラグ、すなわち、RPLフラグとRPL修正フラグとを使用し、各フラグが2つの値(0binおよび1bin)の一方であると仮定できるので、4つのモードが起こり得る。
モード1−RPLフラグが第1の値を有し、RPL修正フラグが第2の値を有する場合(ステップS30からS39)、少なくとも1つの修正された参照画像リストが、同じスライス型である画像の全てのスライスに対して使用される。
モード2−RPLフラグが第1の値を有し、RPL修正フラグが第1の値を有する場合(ステップS30からS37)、少なくとも1つの初期参照画像リストが、同じスライス型である画像の全てのスライスに対して使用される。
モード3−RPLフラグが第2の値を有し、RPL修正フラグが第2の値を有する場合(ステップS30からS31、S35からS39)、画像のスライスは、1つまたは複数の同一の参照画像リストを有する必要がなく、リスト修正を使用して、少なくとも1つの初期参照画像リストを修正することができる。
モード4−RPLフラグが第2の値を有し、RPL修正フラグが第1の値を有する場合(ステップS30からS31、S35からS37)、画像のスライスは、1つまたは複数の同一の参照画像リストを有する必要がないが、リスト修正が、RPL修正フラグが第1の値を有する場合の画像の任意のスライスに対して使用されない。
図13は、画像が複数のスライスを備える場合の、ビデオシーケンスの画像を符号化する方法を示す系統線図である。本方法は、一般に、ステップS50で開始され、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを判断する。
次のステップS51では、画像の符号化表現が生成される。このステップS51は、一般に、画像の各スライスを、各スライスヘッダならびにスライスデータを備えるスライスの各符号化表現に符号化することを備え、典型的に、独立して符号化する。スライスの符号化表現は、典型的に、NALユニットに編成され、さらに、本明細書で以前に開示したように、データパケットにパッケージ化してもよい。
本方法はまた、ステップS52を備え、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを示す少なくとも1つのモードシグナリング構文要素は、符号化表現と関連づけられる。このステップS52は、ステップS51の前、ステップS51の後、または実質的にステップS51と並行して実行することができる。
少なくとも1つのモードシグナリング構文要素を符号化表現と関連づけることは、本明細書に記載したようなさまざまな実施形態によって実行することができる。例えば、情報は、ステップS52の符号化表現のスライスヘッダへの挿入などにより、符号化表現に追加することができる。少なくとも1つのモードシグナリング構文要素は、ステップS52での第1のスライスに対するスライスヘッダなどの、画像の第1のスライスの符号化表現に挿入することができる。しかしながら、第1のスライスの符号化表現が符号器から復号器への送信の間に失われた場合に堅実性をもたらすために、画像に対するスライスの各符号化表現は、少なくとも1つの構文要素を備えることが好ましい。
少なくとも1つのモードシグナリング構文要素を画像に対するスライスの符号化表現のスライスヘッダに挿入することの代替として、少なくとも1つのモードシグナリング構文要素を、ステップS52で、1つまたは複数のパラメータセットに挿入することができる。そのような場合において、関連するパラメータセットの識別を可能にする1つまたは複数のパラメータセット識別子が、ステップS52で、例えば、画像内の各スライスのスライスヘッダ内で、画像の符号化表現に挿入される。VUIおよび/またはSEIなどの、他のデータ構造において、少なくとも1つのモードシグナリング構文要素を含むことも可能である。
少なくとも1つのモードシグナリング構文要素が、複数のフラグなどの、複数のモードシグナリング構文要素を備える場合、これらは、本明細書で上記したような、パラメータセット、VUIもしくはSEIなどの他のデータ構造、およびスライスヘッダの間で割り当てることができる。
少なくとも1つのモードシグナリング構文要素を、パラメータセットまたはVUIなどの他のデータ構造に挿入する場合、少なくとも1つのモードシグナリング構文要素は、典型的に、ビデオストリーム内の複数の画像のシーケンスに、場合によっては、ビデオストリーム内の全ての画像のシーケンスに適用する。より詳細には、モードシグナリング構文要素が、SPSなどのパラメータセット、またはVUIなどの他のデータ構造内に存在する場合、モードシグナリング構文要素は、このパラメータセットまたはこのデータ構造に関するビデオストリーム内の全ての画像に適用する。言い換えると、モードシグナリング構文要素は、パラメータセットを直接的に、もしくは間接的に識別するパラメータセット識別子(SPSへのSPS識別子を備えるPPSへのPPS識別子)を備える全ての画像に適用し、またはVUIなどのデータ構造を定義する識別子もしくは他の情報が画像に適用される。
そのような手法において、図13の関連するステップS52は、パラメータセットもしくはビットストリームと関連したデータ構造に、1つまたは複数の最終参照画像リストがパラメータセットもしくはデータ構造を適用する任意の画像内の同じスライス型の全てのスライスに対して同じであるかどうかを示すモードシグナリング構文要素を挿入することを含むことができる。さらに、ステップS52は、パラメータセットもしくはデータ構造の識別を可能にする情報を識別するパラメータセット識別子もしくはデータ構造を、任意の画像の各符号化表現に挿入することを備える。
これは、モードシグナリング構文要素が、必ずしも、ビデオストリーム内の各画像に対して判断される必要がないことを意味する。明らかに対照的に、モードシグナリング構文要素は、1度判断され、パラメータセットもしくは他のデータ構造内に含まれ、次いで、このパラメータセットもしくはデータ構造に関するビデオストリーム内の画像のシーケンスに、各パラメータセット識別子もしくはデータ構造識別子を通じて適用することができる。
図14は、図13の方法の追加のオプションステップを示す系統線図である。ステップS60では、RPLフラグは、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じである場合、1bin(または、0bin)などの第1の値に設定または判断される。それに対応して、ステップS60では、RPLフラグは、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じである必要がない場合、0bin(または、1bin)などの第2の値に設定または判断される。
その場合、本方法は、一実施形態において、図13のステップS51に続くことができる。次いで、設定されたRPLフラグは、符号化表現によって指示されるSPS内に含まれるか、またはVUI内に含まれるなどの、画像の生成された符号化表現と関連づけられる。
オプションの実施形態において、追加のステップS61を実行することができる。一実施形態において、このステップS61は、ステップS60で、RPLフラグが第1の値を有するよう設定もしくは判断された場合に、すなわち、画像内の同じスライス型の全てのスライスが1つまたは複数の同一最終参照画像リストを有する場合に、実行される。他の実施形態において、ステップS61は、RPLフラグの値に依存しない。したがって、この実施形態において、ステップS61は、RPLフラグが、ステップS60で、第2の値に設定された場合でも実行される。
ステップS61では、参照画像リスト初期化で取得した少なくとも1つの初期参照画像リストを、画像内の同じスライス型の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用する場合、RPL修正フラグが、1bin(または0bin)などの第1の値を有すると設定もしくは判断される。したがって、RPL修正フラグは、何らのリスト修正動作も、スライスに対する少なくとも1つの初期参照画像リストで実行されない場合、第1の値を有するよう設定される。
それに対応して、ステップS61では、参照画像リスト初期化で取得された少なくとも1つの初期参照画像リストを修正することによって取得された少なくとも1つの修正された参照画像リストが、同じスライス型である画像の全てのスライスに対する少なくとも1つの最終参照画像リストとして使用される場合、RPL修正フラグが0bin(または、1bin)などの第2の値を有するよう設定または判断されることが好ましい。したがって、RPL修正フラグは、少なくとも1つのリスト修正動作が初期参照画像リストで実行されて、スライスに対する修正された参照画像リストを取得する場合、第2の値を有するよう設定される。
次いで、本方法は、図13のステップS51に続き、ステップS60で設定されたRPLフラグと、ステップS61で設定されたオプションのRPL修正フラグとが、画像の符号化表現と関連づけられる。例えば、そのフラグは、SPSまたはPPSなどのパラメータセットに含むことができ、またはRPLフラグはVUIに含むことができ、一方、RPL修正フラグは、SPSまたはPPSなどのパラメータセットに含まれる。
さまざまな例示的実施形態を、本明細書でさらに説明する。
第1の例示的実施形態では、スライス要素は、復号器がビットストリームから推定することができる3つの起こる得るモードを備え、すなわち、モードシグナリング構文要素は、復号器がビットストリームから推定することができる3つの起こる得るモードを報知する。
1.最終参照画像リストが、同じ画像の全てのスライスで同じである。修正情報が、各スライスヘッダにおいて、繰返し送信されることに留意されたい。
2.制限がなく、1つの画像で使用される異なる参照画像リストの数が制限されず、その画像内のスライスと同数にすることができる。
3.参照画像リストを修正しない。これは、全てのスライスが同じ参照画像リスト、つまり、初期設定された1つまたは複数の初期参照画像リストを使用することを意味する。何らのリスト修正も、任意のスライスで実行されない。
好ましい例では、SPSまたはPPSにおける構文要素は、パラメータセットを参照する全ての画像に対してどのモードを使用するかを指示する。特定の画像に対してモード3が使用される場合、何らの参照画像リスト修正構文も、その画像のスライスヘッダ内で報知されない。HEVCの場合、参照画像リスト修正構文の存在は、モードで調整される。
if( mode != 3 )
ref_pic_list_modification( )
ref_pic_list_combination( )
あるいは、参照画像リストの組合せが使用されない。
if( mode != 3 )
ref_pic_list_modification( )
モードの番号付けは、単なる一例であることに留意されたい。実際の番号付けは異なっていてもよく、例えば、1、2、3の代わりに0、1、2を使用してもよい
一例において、上記した3つのモードは、例えば、SPSで2つのフラグを使用して報知され、第2のフラグが第1のフラグで調整される。HEVCに対する構文と意味は、以下のようにすることができる。
seq_parameter_set_rbsp( ) { Descriptor
...
identical_ref_pic_lists_flag u(1)
if( identical_ref_pic_lists_flag == 1) {
ref_pic_list_modification_not_present_flag u(1)
}
...
}
identical_ref_pic_lists_flag、すなわち、上記したRPLフラグが1であることは、同じ画像に属する同じスライス型の全てのスライスが、同一の参照画像リストを有することを示す。identical_ref_pic_lists_flagが0であることは、異なる参照画像リストを有する同じ画像に属する同じスライス型のスライスが存在する可能性があることを示す。num_ref_idx_l0_active_minus1およびnum_ref_idx_l1_active_minus1は、存在する場合、identical_ref_pic_lists_flagが1である場合に同じ画像に属する同じスライス型の全てのスライスに対して同一である必要がある。
ref_pic_list_modification_not_present_flag、すなわち、上記したRPL修正フラグが1であることは、構文要素ref_pic_list_modification_flag_l0、ref_pic_list_modification_flag_l1、およびオプションのref_pic_list_combination_flagが存在しないことを示す。no_ref_pic_list_modification_present_flagが0であることは、構文要素ref_pic_list_modification_flag_l0、ref_pic_list_modification_flag_l1、およびオプションのref_pic_list_combination_flagが存在することを示す。ref_pic_list_modification_present_flagが存在しない場合、0であると推定される。
slice_header( ) {
...
if( ref_pic_list_modification_not_present_flag == 0 ) {
ref_pic_list_modification( )
ref_pic_list_combination( )
}
...
}
あるいは、参照画像リストの組合せが使用されない。
slice_header( ) {
...
if( ref_pic_list_modification_not_present_flag == 0 ) {
ref_pic_list_modification( )
}
...
}
ref_pic_list_modification_flag_l0が存在しない場合、0であると推定される。ref_pic_list_modification_flag_l1が存在しない場合、0であると推定される。オプションのref_pic_list_combination_flagが存在しない場合、0であると推定される。
第2の例示的実施形態では、スライス要素は、参照画像リスト修正が、画像の全てのスライスに対して常に同じであるように定義されることを備える。
好ましい例では、符号器がビットストリームから推定することができる2つの起こる得るモードが存在する。
1.同じ画像の全てのスライスで同じ修正を行う。
2.参照画像リストを修正しない
好ましい例では、SPSまたはPPSにおける構文要素は、パラメータセットを参照する全ての画像に対してどのモードを使用するかを指示する。特定の画像に対してモード2が使用される場合、何らの参照画像リスト修正構文も、その画像のスライスヘッダ内で報知されない。
第2の例示的実施形態は、フラグ以外は、以前の例示的実施形態と同一である。リストが同じであることをフラグが常に示しており、この例示的実施形態で送信されるフラグが存在しないことのみである。
第3の例示的実施形態では、参照画像リスト修正構文は、参照画像リスト修正が特定のBスライスに対して使用されなかった場合にビットを保存するよう変更される。HEVCの現在の設計では、それぞれが1ビットを使用する2つのフラグが存在し、参照画像リスト修正が使用されないことを報知するためにBスライスに対して使用される。この例示的実施形態は、単一の1ビットフラグを導入して、他の2つのフラグを制御するか、または置き換えることから成る。現在構文の簡易版を、以下の構文例に示す。スライス型がPまたはBである場合、1つのフラグは、PスライスおよびBスライスの両方に対して使用されるL0リストに対する修正が存在するかどうかを示して構文解析される。スライス型がBである場合、L1リストに対する修正が存在するかどうかを示す1つのフラグが構文解析される。これは、リスト修正が存在しない場合に、構文解析すべき2つのフラグが存在することを意味する。
先行技術構文:
ref_pic_list_modification( ) { Descriptor
if( slice_type != 2 ) {
ref_pic_list_modification_flag_l0 u(1)
if( ref_pic_list_modification_flag_l0 )
modification_l0( )
}
if( slice_type == 1 ) {
ref_pic_list_modification_flag_l1 u(1)
if( ref_pic_list_modification_flag_l1 )
modification_l1( )
}
}
一例として、Bスライスに対して修正がないことを報知したい場合、ビットストリームは、2つのビットref_pic_list_modification_flag_l0=0およびref_pic_list_modification_flag_l1=0を含むことが必要である。
2つの他のフラグが第1のフラグで調整された(第1のフラグによって制御された)簡易化構文は、例えば、以下の構文例のようにすることができる。ここで、1つのフラグが、L0またはL1のいずれかに対する修正が存在するかどうかを示すよう導入される。これは、ただ1つのフラグが、修正が存在しない場合に対して構文解析される必要があり、この場合に1つのビットを保存することを意味する。
例示的構文:
ref_pic_list_modification( ) { Descriptor
if( slice_type != 2 ) {
ref_pic_list_modification_flag u(1)
if( ref_pic_list_modification_flag ) {
ref_pic_list_modification_flag_l0 u(1)
if( ref_pic_list_modification_flag_l0 )
modification_l0( )
if( slice_type == 1 ) {
ref_pic_list_modification_flag_l1 u(1)
if( ref_pic_list_modification_flag_l1 )
modification_l1( )
}
}
}
}
2つの他のフラグが第1のフラグによって置き換えられる構文は、例えば、以下のようにすることができる。
ref_pic_list_modification( ) { Descriptor
if( slice_type != 2 ) {
ref_pic_list_modification_flag u(1)
if( ref_pic_list_modification_flag ) {
modification_l0( )
if( slice_type == 1 )
modification_l1( )
}
}
}
Bスライスに対して修正が存在しない例は、これらの新しい構文構造の両方に対して、ただ1つのビット、つまり、ref_pic_list_modification_flag=0しか必要としない。これは、先行技術の構文よりも1ビット少ない。
HEVCの現在設計では、modification_l0()およびmodification_l1()のいずれも、ゼロ修正を含むことができない、すなわち、ループ内の第1の値が、「end−of−loop」値であってはならないという制限がある。この例示的実施形態の第2の版(2つのフラグが、単一フラグによって置き換えられる)では、この制限を除去することが好ましい。あるいは、その制限は、Pスライスに対して保持し、Bスライスに対して変更することができ、modification_l0()およびmodification_l1()の両方が、ゼロエントリーを備えることができないことを示す。これは、少なくとも1つのループに対して、第1の値が「end−of−loop」値で合ってはならないことを意味する。
第3の例示的実施形態は、任意の他の例示的実施形態と組み合わせることができる。簡易化された構文は、この例示的実施形態において、画像内の全てのスライスに対して同じであることを保持する1つまたは複数のスライス要素を示す情報である。
HEVCにおける画像リスト構築機構は、非常にフレキシブルである。完全フレキシビリティは、ref_pic_list_modification()およびオプションのref_pic_list_combination()を使用することによってもたらされる。さらに、参照画像リスト構築は、各スライスに対して別々に行われ、同じ画像内で異なるリストを使用することを可能にする。
画像の異なる部分に対して異なる参照画像リストを使用することが可能であることが好ましいが、現実のビットストリームで使用されることは非常に珍しい。さらに、参照画像リスト構築処理は、参照画像リスト構築が、一般に、復号ハードウェアの一部ではないが、比較的遅い汎用プロセッサで行われるため、各画像に対して多くのスライスが存在する場合に、復号器に対する負荷となる。
第4の例示的実施形態では、フラグは、例えば、SPSに追加され、異なる参照画像リストが、ビットストリームにおける任意の画像内の同じ型のスライス内に対して使用されたかどうかを示す。このフラグが1に設定された場合、同じ画像内の同じ型の全てのスライスに対する参照画像リストは同じである。さまざまな画像がさまざまな参照画像リストを有する可能性があるが、1つの画像内の同じ型の全てのスライスに対する参照画像リスト構築は、同一である。これは、スライスがいくつ存在しても、復号器が、各画像に対して1度、参照画像リスト構築を実行することができることを意味する。さらに、この第1のフラグが調整されると、他のフラグが追加され、任意の参照画像リスト修正が本当に存在するかどうかを示すことができる。存在しない場合、スライスヘッダ内に、ref_pic_list_modification()およびオプションのref_pic_list_combination()のいずれも含む必要はない。
次いで、可能性のある構文例は、以下とすることができる。
seq_parameter_set_rbsp( ) { Descriptor
...
num_reorder_frames ue(v)
identical_ref_pic_lists_flag u(1)
if( identical_ref_pic_lists_flag == 1) {
ref_pic_list_modification_not_present_flag u(1)
}
...
}
identical_ref_pic_lists_flagが1であることは、同じ画像に属する同じスライス型の全ての画像が、同一の参照画像リストを有することを示す。identical_ref_pic_lists_flagが0であることは、異なる参照画像リストを有する同じ画像に属する同じスライス型のスライスが存在する可能性があることを示す。num_ref_idx_l0_active_minus1およびnum_ref_idx_l1_active_minus1は、存在する場合、identical_ref_pic_lists_flagが1である場合に同じ画像に属する同じスライス型の全てのスライスに対して同一である。
ref_pic_list_modification_not_present_flagが1(または、0)であることは、構文要素ref_pic_list_modification_flag_l0、ref_pic_list_modification_flag_l1、およびオプションのref_pic_list_combination_flagが存在しないことを示す。no_ref_pic_list_modification_present_flagが0(または、1)であることは、構文要素ref_pic_list_modification_flag_l0、ref_pic_list_modification_flag_l1、およびオプションのref_pic_list_combination_flagが存在することを示す。ref_pic_list_modification_present_flagが存在しない場合、0であると推定される。
slice_header( ) { Descriptor
...
if( ref_pic_list_modification_not_present_flag == 0 ) {
ref_pic_list_modification( )
ref_pic_list_combination()
}
...
}
ref_pic_list_modification_flag_l0が1であることは、構文要素list_modification_idcが、参照画像リスト0を特定するために存在することを示す。ref_pic_list_modification_flag_l0が0であることは、この構文要素が存在しないことを示す。
ref_pic_list_modification_flag_l0が1である場合、list_modification_idcがref_pic_list_modification_flag_l0の次に2と等しくない回数は、num_ref_idx_l0_active_minus1+1を超えるべきではない。ref_pic_list_modification_flag_l0が存在しない場合、0であると推定される。
ref_pic_list_modification_flag_l1が1であることは、構文要素list_modification_idcが、参照画像リスト1を特定するために存在することを示す。ref_pic_list_modification_flag_l1が0であることは、この構文要素が存在しないことを示す。ref_pic_list_modification_flag_l1が1である場合、list_modification_idcがref_pic_list_modification_flag_l1の次に2と等しくない回数は、num_ref_idx_l1_active_minus1+1を超えるべきではない。ref_pic_list_modification_flag_l1が存在しない場合、0であると推定される。
オプションのref_pic_list_combination_flagが1であることは、参照画像リスト0および参照画像リスト1が、単方向予測された予測ユニットで使用される追加参照画像リスト結合となるよう組み合わされることを示す。このフラグが0であることは、参照画像リスト0および参照画像リスト1が同一であり、したがって、参照画像リスト0が、参照画像リスト結合として使用されることを示す。参照画像リスト結合は、この表で定義されたループの開始で空になるよう設定される。ref_pic_list_combination_flagが存在しない場合、0であると推定される。
第5の例示的実施形態は、第4の例示的実施形態と同様であるが、1つまたは複数のHEVCプロファイルが、以下の通りにidentical_ref_pic_lists_flagの使用を制限する。identical_ref_pic_lists_flagの値は、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同一であることを示す特定の値と同一となる。この特定の値は、1とすることができる。
第6の例示的実施形態では、SPS RBSP構文は、次のようになる。
seq_parameter_set_rbsp( ) { Descriptor
seq_parameter_set_rbsp( ) { Descriptor
profile_idc u(8)
…
restricted_ref_pic_lists_flag u(1)
if( restricted_ref_pic_lists_flag )
list_modification_present_flag u(1)
...
}
restricted_ref_pic_lists_flagが1であることは、同じ画像に属する同じスライス型の全てのスライスが、同一の参照画像リストを有することを示す。restricted_ref_pic_lists_flagが0であることは、異なる参照画像リストを有する同じ画像に属する同じスライス型のスライスが存在する可能性があることを示す。
num_ref_idx_active_override_flag、num_ref_idx_l0_active_minus1およびnum_ref_idx_l1_active_minus1は、存在する場合、restricted_ref_pic_lists_flagが1である場合に同じ画像に属する同じ値のslice_typeを有する全てのスライスに対して同一である。
list_modification_present_flagが0であることは、構文構造ref_pic_list_modification()がスライスヘッダ内に存在しないことを示す。list_modification_present_flagが1であることは、構文構造ref_pic_list_modification()がスライスヘッダ内に存在することを示す。存在しない場合、list_modification_present_flagの値は、1であると推定される。
slice_header( ) { Descriptor
first_slice_in_pic_flag u(1)
…
if( list_modification_present_flag )
ref_pic_list_modification( )
…
}
第7の例示的実施形態は、上記で開示した第6の例示的実施形態と同様であるが、VUIにrestriction_ref_pic_lists_flagが存在し、PPSにlists_modification_present_flagが存在する。一例において、これら2つのフラグの値の組合せに制限はない。
任意のVUIパラメータの存在は、以下で定義するように、SPS内で報知することができる。
seq_parameter_set_rbsp( ) { Descriptor
…
vui_parameters_present_flag u(1)
if( vui_paraemters_present_flag )
vui_parameters( )
…
}
次いで、VUIパラメータに対する構文は、以下で定義することができる。
vui_parameters( ) { Descriptor
…
bitstream_restriction_flag u(1)
if( bitstream_restriction_flag ) {
…
restricted_ref_pic_lists_flag u(1)
…
}
}
次いで、参照画像リスト修正フラグは、PPSにおいて報知してもよい。
pic_parameter_set_rbsp( ) { Descriptor
…
lists_modification_present_flag u(1)
…
}
ここで、以下は、スライスヘッダ構文の一部の例である。
slice_header( ) { Descriptor
…
if( slice_type == P || slice_type ==B ) {
num_ref_idx_active_override_flag u(1)
if( num_ref_idx_active_override_flag ) {
num_ref_idxl0_active_minus1
if( slice_type == B )
num_ref_idxl1_active_minus1
}
…
if( lists_modification_present_flag )
ref_pic_lists_modification( )
…
}
ref_pic_lists_modification( ) { Descriptor
ref_pic_list_modification_flag_l0 u(1)
if(ref_pic_list_modification_flag_l0 )
restricted_ref_pic_lists_flagが1であることは、同じ画像に属する同じスライス型の全てのスライスが、同一の参照画像リストを有することを示す。restricted_ref_pic_lists_flagが0であることは、異なる参照画像リストを有する同じ画像に属する同じスライス型のスライスが存在する可能性があることを示す。構文要素num_ref_idx_active_override_flag、num_ref_idx_l0_active_minus1、num_ref_idx_l1_active_minus1、ref_pic_list_combination_flag、およびnum_ref_idx_lc_active_minus1は、存在する場合、restricted_ref_pic_lists_flagが1である場合に同じ画像に属する同じスライス型の全てのスライスに対して同一である。
lists_modification_present_flagが0であることは、構文構造ref_pic_list_modification()およびref_pic_list_combination()がスライスヘッダ内に存在しないことを示す。lists_modification_present_flagが1であることは、構文構造ref_pic_list_modification()およびref_pic_list_combination()がスライスヘッダ内に存在することを示す。
ref_pic_list_modification_flag_lX(Xは0または1)が1であることは、参照画像リストXが、list_entry_lX[i]値(Xは0または1)のリストとして明確に指定されることを示す。ref_pic_list_modification_flag_lXが0であることは、参照画像リストXが、暗黙的に判断されることを示す。
第8の例示的実施形態は、上記した第7の例示的実施形態と同様である。しかしながら、この例示的実施形態では、restricted_ref_pic_lists_flagが1であることは、同じ画像に属する全てのPスライスおよびBスライス(存在する場合)が、同一の参照画像リスト0を有し、さらに、同じ画像に属する全てのBスライス(存在する場合)が、同一の参照画像リスト1を有することを示す。
lists_modification_present_flagが1であることは、構文構造ref_pic_lists_modification()がスライスセグメントヘッダ内に存在することを示す。lists_modification_present_flagが0であることは、構文構造ref_pic_lists_modification()がスライスセグメントヘッダ内に存在しないことを示す。
ref_pic_list_modification_flag_l0が1であることは、参照画像リスト0が、list_entry_l0[i]値のリストとして明確に指定されることを示す。ref_pic_list_modification_flag_l0が0であることは、参照画像リスト0が、暗黙的に決定されることを示す。
ref_pic_list_modification_flag_l1が1であることは、参照画像リスト1が、list_entry_l1[i]値のリストとして明確に指定されることを示す。ref_pic_list_modification_flag_l1が0であることは、参照画像リスト1が、暗黙的に決定されることを示す。
図12は、参照画像リスト(RPL)を取り扱うためのデバイス100の模式的ブロック図である。デバイス100は、構文要素プロバイダ110を備え、構文要素プロバイダ110はまた、構文要素提供ユニット、手段、またはモジュールを意味する。構文要素プロバイダ110は、ビデオシーケンス内の画像の符号化表現に基づいて、少なくとも1つのモードシグナリング構文要素を提供するよう構成される。画像は、複数のスライスを備える。
構文要素プロバイダ110は、符号化表現それ自体から、例えば、スライス、典型的には、画像の第1のスライスの符号化表現のスライスヘッダからの少なくとも1つのモードシグナリング構文要素を構文解析し、復号化することができる。あるいは、またはさらに、構文要素プロバイダ110は、パラメータセット、VUI,またはSEIなどからの、ビデオシーケンスのビットストリームの、またはビットストリームと関連した、データ構造からの少なくとも1つのモードシグナリング構文要素を検索する。そのような場合において、構文要素プロバイダ110は、スライスヘッダなどからの、符号化表現から検索したデータに基づいて、関連するデータ構造を識別することができる。
構文要素プロバイダ110によって提供される少なくとも1つのモードシグナリング構文要素は、リスト判断器120によって使用され、リスト判断器120はまた、デバイス100のリスト判断ユニット、手段、またはモジュールを意味する。リスト判断器120は、構文要素プロバイダ110によって提供される少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを判断するよう構成される。
したがって、リスト判断器120は、少なくとも1つのモードシグナリング構文要素の値を確認し、画像内の同じスライス型の全てのスライスが、1つまたは複数の同一の最終参照画像リストを有することができるかどうか、または1つまたは複数の同一の参照画像リストを有する必要がないかどうかを判断または決定する。
一実施形態において、リスト判断器120は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストが、画像内の全てのPスライスに対して同じであるかどうか、および最終参照画像リストが、画像内の全てのBスライスに対して同じであるかどうかを判断するよう構成される。
さらなる好適な実施形態において、リスト判断器120は、少なくとも1つのモードシグナリング構文要素に基づいて、最終参照画像リストL0が、画像内の全てのPスライスおよび全てのBスライスに対して同じであるかどうか、および最終参照画像リストL1が、画像内の全てのBスライスに対して同じであるかどうかを判断するよう構成される。
リスト判断器120は、特定の実施形態において、少なくとも1つのモードシグナリング構文要素に基づいて、i)1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうか、またはii)画像で使用される異なる参照画像リストの数が制限されていないかどうか、を判断するよう構成される。
一実施形態において、構文要素プロバイダ110は、画像の符号化表現に基づいて、RPLフラグを提供するよう構成される。そのような場合において、リスト判断器120は、RPLフラグが第1の値である場合、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであると判断するよう構成される。
それに対応して、リスト判断器120は、RPLフラグが第2の、異なる値である場合、1つまたは複数の最終参照画像リストが、同じスライス型の全てのスライスに対して同じ、すなわち同一である必要がないと判断するよう構成される。
デバイス100は、オプションとして、リスト修正判断器130を備え、リスト修正判断器130はまた、リスト修正判断ユニット、手段、またはモジュールを意味する。リスト修正判断器130は、少なくとも1つのモードシグナリング構文要素に基づいて、任意の参照画像リスト修正が、1つまたは複数の初期参照画像リストに適用され、1つまたは複数の最終参照画像リストを形成するかどうかを判断するよう構成される。
特定の実施形態において、構文要素プロバイダ110は、例えば、パラメータセットからの、画像の符号化表現に基づいて、r RPL修正フラグを提供するよう構成される。構文要素プロバイダ110は、オプションとして、RPLフラグが第1の値を有する場合、このRPL修正フラグを提供するよう構成される。
そのような場合において、リスト修正判断器130は、RPL修正フラグが第1の値を有する場合、参照画像リスト初期化で取得された1つまたは複数の初期参照画像リストが、画像内の同じスライス型の全てのスライスに対して、好ましくは、1つまたは複数の最終参照画像リストとして使用されると判断するよう構成されることが好ましい。それに対応して、リスト修正判断器130は、RPL修正フラグが第1の値とは異なる第2の値を有する場合、参照画像リスト初期化で取得された1つまたは複数の初期参照画像リストを修正することによって取得された、1つまたは複数の修正された参照画像リストが、画像内の同じスライス型の全てのスライスに対して、好ましくは、1つまたは複数の最終参照画像リストとして使用されると判断するよう構成されることが好ましい。
デバイス100は、一実施形態において、オプションのリストイニシエータ140を備えることが好ましく、リストイニシエータ140はまた、リスト開始ユニット、手段、またはモジュールを意味し、参照画像リスト初期化において、少なくとも1つの初期参照画像リストを判断するよう構成される。リストイニシエータ140は、画像の符号化表現に基づいて、例えば、スライスヘッダに存在する構文要素に基づいて、および/またはスライスヘッダに存在する構文要素に基づいてパラメータセットから検索される、少なくとも1つの初期参照画像リストを判断する。
一実施形態において、デバイス100は、リスト修正器150を備えることが好ましく、リスト修正器150はまた、リスト修正ユニット、手段、またはモジュールを意味し、画像の符号化表現に基づいて検索された少なくとも1つのリスト修正パラメータに基づいて、少なくとも1つ初期参照画像リストを修正するよう構成される。
図12のデバイス100は、復号器の一部として実現されるか、または少なくとも、復号器と協働するよう接続および構成されることが好ましい。図2は、参照画像リストを取り扱うためのデバイスを備える、そのような復号器10を示す。本図は、携帯電話、タブレット、ビデオカメラなどの、モバイルデバイスなどのデバイス内に配置もしくは実装される復号器10を示す。図2では、このデバイスは、一般的な受信器1として表されている。
受信器1は、典型的には、図3で示すようなNALユニットの形式の、コード化ビットストリーム4、すなわち、ビデオシーケンスの画像の符号化表現を受信するよう構成された入力すなわち入力ユニット11を備える。次いで、復号器10は、参照画像リストを取り扱うためのデバイスを通じて、少なくとも1つの構文要素を受信する。復号器10は、1つまたは複数のどの参照画像5が参照画像バッファ13に格納されたことを定義する1つまたは複数の参照画像リストが、画像のスライスの間で再利用できるかどうかを判断する場合に、少なくとも1つの構文要素を使用する。参照画像バッファ13に格納された1つまたは複数の参照画像5は、現在画像に対する復号化基盤として使用することができ、および/または、復号化順序に従って、ビデオシーケンスの画像を辿るよう使用することができる。復号器10は、少なくとも1つの参照画像リストによって定義されるような参照画像5に基づいて、符号化表現を復号化し、復号化画像を形成するよう構成される。受信器1はまた、例えば、受信器1のスクリーンもしくはディスプレイに、または受信器1に、無線接続などで接続されたスクリーンもしくはディスプレイに表示される、復号化画像6を出力するよう構成された出力もしくは出力ユニット12を備える。復号化画像6の出力はまた、代替として、例えば、ファイルに保存され、トランスコード処理などに供給することができる。
図12の参照画像リストを取り扱うためのデバイス100は、そこに含まれるユニット110から150と共に、ハードウェア内に実装することができる。デバイス100のユニット110から150の機能を実現するために使用および組み合わせることができる回路要素には、さまざまな変形例が存在する。そのような変形例は、本実施形態に含まれる。デバイス100のハードウェア実装の特定の例は、デジタル信号プロセッサ(DSP)ハードウェアおよび集積回路技術での実装であり、汎用電気回路および特定用途向け回路の両方を含む。
本デバイスはまた、プロセッサおよびメモリにより実現することができる。したがって、一実施形態において、本デバイスは、例えば、適切なストレージまたはメモリを有するプロセッサおよび適切なソフトウェアの1つまたは複数によって、したがって、プログラマブル論理デバイス(PLD)または他の電子部品によって、実現することができる。
図2に示すような復号器は、参照画像リストを取り扱うデバイスに対して上記したようなハードウェアで実現することができる。復号器10の機能は、あるいは、図5で示すような、プロセッサ16およびメモリ17により実現することができる。復号器10は、上記した入力ユニット14および出力ユニット15を備え、それぞれ、ビデオシーケンス内の画像の符号化表現を受信し、復号化画像を出力することが好ましい。
図15は、ビデオシーケンスの複数のスライスを備える画像を符号化するよう構成される復号器200の模式的なブロック図である。符号器200は、リスト判断器210を備え、リスト判断器210はまた、リスト判断ユニット、手段、またはモジュールを意味する。リスト判断器210は、1つまたは複数の最終参照画像リストが、画像内の同じスライス型の全てのスライスに対して同じであるかどうかを判断するよう構成される。表現生成器220は、表現生成ユニット、手段、またはモジュールをも意味し、符号器200内に実装され、画像の符号化表現を生成する。表現生成器220は、本明細書で以前に開示したように、符号化表現を生成することが好ましい。
構文要素関連づけユニット230は、構文要素連想装置または関連要素関連づけ手段もしくはモジュールとも称され、1つまたは複数の最終参照画像リストが画像内の同じスライス型の全てのスライスに対して同じであるかどうかを示す、少なくとも1つのモードシグナリング構文要素と、表現生成器220によって生成されるような符号化表現とを関連づけるよう構成される。例えば、構文要素関連づけユニット230は、符号化表現のスライスヘッダ内に、または、スライスヘッダ内に存在する識別子などの、符号化表現に基づいて識別可能な、パラメータセット、VUI、もしくはSEIなどの、データ構造内に、少なくとも1つのモードシグナリング構文要素を含むことができる。
符号器200は、オプションとして、参照画像リスト(RPL)フラグ設定装置240を備え、参照画像リスト(RPL)フラグ設定装置240はまた、RPLフラグ設定ユニット、手段、またはモジュールと称される。RPLフラグ設定装置240は、画像内の同じスライス型の複数のスライスの全てが1つまたは複数の同一の最終参照画像リストを有する場合、すなわち、1つまたは複数の最終参照画像リストが画像内の同じスライス型の全てのスライスに対して同じである場合、RPLフラグを第1の値に設定するよう構成される。それに対応して、RPLフラグ設定装置240は、1つまたは複数の最終参照画像リストが画像内の同じスライス型の画像の全てのスライスに対して同じである必要がない場合、すなわち、画像内の同じスライス型の全てのスライスが1つまたは複数の同一の最終参照画像リストを有する必要がない場合、RPLフラグを第2の値に設定することが好ましい。
次いで、RPLフラグは、構文要素関連づけユニット230によって、パラメータセットまたはVUIなどに含まれるような、符号化表現と関連づけられる。
符号器200は、オプションとして、参照画像リスト(RPL)修正フラグ設定装置250を備え、参照画像リスト(RPL)修正フラグ設定装置250はまた、RPL修正フラグ設定ユニット、手段、またはモジュールと称される。RPL修正フラグ設定装置250は、RPL修正フラグを、第1の値または第2の値の一方に設定するよう構成されることが好ましい。特定の実施形態において、RPL修正フラグ設定装置250は、参照画像リスト初期化で取得された1つまたは複数の初期参照画像リストが、画像内の同じスライス型の全てのスライスに対して、好ましくは、1つまたは複数の最終参照画像リストとして使用される場合、参照画像リスト修正フラグを第1の値に設定する。それに対応して、RPL修正フラグ設定装置250は、少なくとも1つの初期参照画像リストを修正することによって取得された少なくとも1つの修正された参照画像リストが、画像内の同じスライス型の全てのスライスに対して、好ましくは、少なくとも1つの最終参照画像リストとして使用される場合、RPL修正フラグを第2の値に設定する。
次いで、構文要素関連づけユニット230は、RPL修正フラグを、符号化表現に基づいて識別可能なパラメータセット内に含むように、符号化表現と関連づけるよう構成される。
一実施形態において、RPL修正フラグ設定装置250は、RPLフラグが第1の値を有する、すなわち、同じスライスである画像の全てのスライスが1つまたは複数の同一最終参照画像リストを有する場合、RPL修正フラグを設定するよう構成される。
ユニット210から250を含む、図15の符号器200は、ハードウェアで実現することができる。符号器200のユニット210から250の機能を実現するために使用および組み合わせることができる回路要素には、さまざまな変形例が存在する。そのような変形例は、本実施形態に含まれる。符号器200のハードウェア実装の特定の例は、DSPハードウェアおよび集積回路技術での実装であり、汎用電気回路および特定用途向け回路の両方を含む。
符号器200の機能は、あるいは、図4で示すような、プロセッサ270およびメモリ280により実現することができる。典型的に,符号器200はまた、符号化されるビデオシーケンスの画像を受信するよう構成された入力すなわち入力ユニット250を備える。符号器200の出力、すなわち出力ユニット260は、NALユニットの形式の画像内のスライスの符号化表現の形式などで、画像の符号化表現を出力することが好ましい。
符号器200は、例えば、携帯電話、タブレット、ビデオカメラなどのモバイルデバイスなどのデバイスで実装することができる。図1は、一般的な送信器2によって例示される、そのようなデバイスを示す。典型的に、送信器2は、ビデオシーケンスの画像3を受信するよう構成された入力すなわち入力ユニット21を備える。出力、すなわち出力ユニット21は、コード化ビットストリーム4の形式で、画像の符号化表現を出力する。
したがって、送信器2の符号器200は、ビデオシーケンスの画像3を受信する。画像3は、NALユニットにコード化される。符号器200では、画像3は、スライスに分割され、スライス要素は、画像内の同じスライスに対して同じままである。情報は、画像内の全てのスライスに対して同じままである複数のスライス要素の1つを示して送信される。
本実施形態の一態様は、ビデオシーケンス内の画像の符号化表現を復号化することと関連して、参照画像リストを取り扱う方法に関する。画像は、少なくとも1つのスライス、好ましくは、複数のスライスを備える。本方法は、符号化表現に基づいて、少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかを示す情報をもたらすことを備える。この情報を使用して、参照画像リスト構築が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、1度実行することができるかどうかを判断する。
本実施形態の関連した他の態様では、参照画像を取り扱うためのデバイスを定義する。本デバイスは、ビデオシーケンス内に少なくとも1つのスライス、好ましくは、複数のスライスを備える画像の符号化表現に基づいて、少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかどうかを示す情報を提供するよう構成された情報プロバイダを備える。リスト構築判断器は、情報プロバイダによって提供された情報に基づいて、参照画像リスト構築が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、1度実行することができるかどうかを判断するよう構成される。
本実施形態のその他の関連した態様は、参照画像リストを取り扱うためのデバイスを備える復号器、およびビデオシーケンスの画像の符号化表現を受信するよう構成された入力ユニットを備える受信器を定義する。画像は、少なくとも1つのスライス、好ましくは、複数のスライスを備える。受信器は、さらに、本実施形態による復号器、参照画像を格納するよう構成された参照画像バッファ、および復号化画像を出力するよう構成された出力ユニットを備える。
本実施形態の他の態様は、ビデオシーケンス内に存在する少なくとも1つのスライス、好ましくは、複数のスライスを備える画像を符号化する方法に関する。本方法は、少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかどうかを判断することを備え、少なくとも1つのスライス要素に基づいて、参照画像リスト構築が実行される。画像の符号化表現は、少なくとも1つのスライス要素に基づいて生成される。少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかどうかを示す情報が、符号化表現と関連づけられる。
本実施形態の関連した態様は、ビデオシーケンスの複数の少なくとも1つのスライス、好ましくは、複数のスライスを備える画像を符号化する符号器を定義する。符号器は、それに基づいて参照画像リスト構築が実行される少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかどうかを判断するよう構成されるスライス要素判断器を備える。表現生成器は、少なくとも1つのスライス要素に基づいて、画像の符号化表現を生成するよう構成される。符号器はまた、少なくとも1つのスライス要素が、画像の少なくとも1つのスライスに対して、好ましくは、画像の複数のスライスに対して、より好ましくは、画像内の同じスライス型の全てのスライスに対して、同じままであるかどうかを示す情報を、符号化表現と関連づけるよう構成された情報プロバイダを備える。
本実施形態の他の関連した態様は、ビデオシーケンスの画像を受信するよう構成された入力ユニットを備える送信器を定義する。画像は、少なくとも1つのスライス、好ましくは、複数のスライスを備える。送信器はまた、本実施形態による符号器、および画像の符号化表現を出力するよう構成された出力ユニットを備える。
それにより、これらの態様の実施形態は、ビットストリームで、すなわち、ビデオシーケンスのコード化されたデータで、いくつかの、すなわち、少なくとも1つのスライス要素が、画像の全てのスライスに対して同じままであることを報知する。このことは、つまり、符号器が、この報知された情報を使用して、計算面で複雑な参照画像リスト構築を画像のスライスに対して1度だけ実行することができたかどうか、したがって、これらのスライスに対して繰り返す必要がなかったかどうかを判断することができることを意味する。
これらの態様のさまざまな実装例を説明する。
一実装例では、スライス要素は、画像の各スライスのある特性が、画像内の全てのスライスに対して同じままであることを示すよう導入されるシーケンス構文要素を備える。本例の非包括的リストは、以下の通りである。
a)L0内の参照画像の数は、画像内の全てのスライスに対して同じである。HEVCの場合、このことは、構文要素num_ref_idx_l0_active_minus1の値が、画像内の全てのスライスに対して同じであるかどうかを示す構文要素によって制限される可能性がある。
b)L1内の参照画像の数は、画像内の全てのスライスに対して同じである。HEVCの場合、このことは、構文要素num_ref_idx_l1_active_minus1の値が、画像内の全てのスライスに対して同じであるかどうかを示す構文要素によって制限される可能性がある。
c)初期量子化パラメータは、画像内の全てのスライスに対して同じである。HEVCの場合、このことは、構文要素slice_qp_deltaの値が、画像内の全てのスライスに対して同じであるかどうかを示す構文要素によって制限される可能性がある。
d)デブロッキング・フィルタ・パラメータは、画像内の全てのスライスに対して同じ値を有する。HEVCの場合、このことは、構文要素disable_deblocking_filter_flagおよび/またはslice_alpha_c0_offset_div2および/またはslice_beta_offset_div2の値が、画像内の全てのスライスに対して同じであるかどうかを示す構文要素によって制限される可能性がある。
この例示的実施形態の一実施形態は、ビデオシーケンス内の画像の符号化表現を復号化することと関連して、デブロッキングフィルタを取り扱う方法に関し、画像は、複数のスライスを備え、各スライスは、ピクセルの複数のブロックを備える。本方法は、符号化表現に基づいて、少なくとも1つのデブロッキング・フィルタ・パラメータを表すか、もしくは定義する少なくとも1つのスライスもしくは構文要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報をもたらすことを備える。本方法はまた、情報に基づいて、少なくともデブロッキング・フィルタ・パラメータが、画像内の複数のスライスに対して同じ値を有するかどうかを判断することを備える。
この実施形態において、それによって、復号器は、情報に基づいて、デブロッキングフィルタ構築が、画像の複数のスライスに対して1度実行することができるかどうかを判断することができる。少なくとも1つのデブロッキングフィルタが、復号化と関連して用いられ、少なくとも1つのスライス内で、ブロック境界にわたってブロックアーチファクトを抑制する。したがって、パラメータ、または少なくとも1つのデブロッキングフィルタのパラメータの少なくとも一部は、次いで、画像の第1のスライスに対して判断されることのみを必要とし、次いで、画像の1つまたは複数の任意の残りのスライスに対して再利用することができる。
この例示的実施形態の関連する実施形態は、ビデオシーケンス内の画像の符号化表現を復号化するよう構成された復号器に関し、画像は、複数のスライスを備え、各スライスは、ピクセルの複数のブロックを備える。復号器は、符号化表現に基づいて、少なくとも1つのデブロッキング・フィルタ・パラメータを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報をもたらすよう構成された情報プロバイダを備える。復号器はまた、情報に基づいて、少なくともデブロッキング・フィルタ・パラメータが、画像内の複数のスライスに対して同じ値を有するかどうかを判断するよう構成されたフィルタパラメータ判断器を備える。
この例示的実施形態の他の実施形態は、ビデオシーケンスの画像を符号化する方法を定義し、画像は複数のスライスを備え、各スライスはピクセルの複数のブロックを備える。本方法は、少なくとも1つのデブロッキング・フィルタ・パラメータを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを判断することを備える。本方法はまた、少なくとも1つのスライス要素に基づいて、画像の符号化表現を生成することを備える。本方法は、さらに、少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報を、符号化表現と関連づけることを備える。
この例示的実施形態の他の関連する実施形態は、ビデオシーケンスの画像を符号化するよう構成された符号器を定義し、画像は複数のスライスを備え、各スライスはピクセルの複数のブロックを備える。符号器は、少なくとも1つのデブロッキング・フィルタ・パラメータを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを判断するよう構成されたスライス要素判断器を備える。符号器はまた、少なくとも1つのスライス要素に基づいて、画像の符号化表現を生成するよう構成された表現生成器を備える。符号器は、さらに、少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報を、符号化表現と関連づけるよう構成された情報プロバイダを備える。
e)重み付け予測のための重み付け予測パラメータまたは重みは、画像内の全てのスライスに対して同じ値を有する。
この例示的実施形態の一実施形態は、ビデオシーケンス内の画像の符号化表現を復号化することと関連して、重み付け予測を取り扱う方法に関し、画像は、複数のスライスを備える。本方法は、符号化表現に基づいて、少なくとも1つの重み付け予測パラメータもしくは重み付け予測のための少なくとも1つの重みを表すか、もしくは定義する少なくとも1つのスライスもしくは構文要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報をもたらすことを備える。本方法はまた、情報に基づいて、少なくとも重み付け予測フィルタパラメータまたは少なくとも1つの重みが、画像内の複数のスライスに対して同じ値を有するかどうかを判断することを備える。
この実施形態において、それによって、復号器は、情報に基づいて、予測重み構築が、画像の複数のスライスに対して1度実行することができるかどうかを判断することができる。少なくとも1つの重み付け予測パラメータまたは重みが、復号化と関連して用いられ、これに基づいて画像のスライスが復号化される参照画像に対する予測重みを定義する。したがって、1つまたは複数の重み付け予測パラメータまたは重みは、その場合、画像の第1のスライスに対して判断されることのみが必要であり、次いで、画像の1つまたは複数の任意の残りのスライスに対して再利用することができる。
この例示的実施形態の関連する実施形態は、ビデオシーケンス内の画像の符号化表現を復号化するよう構成された復号器に関し、画像は、複数のスライスを備える。復号器は、符号化表現に基づいて、少なくとも1つの重み付け予測パラメータもしくは重み付け予測のための少なくとも1つの重みを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報をもたらすよう構成された情報プロバイダを備える。復号器はまた、情報に基づいて、少なくとも1つの重み予測パラメータまたは少なくとも1つの重みが、画像内の複数のスライスに対して同じ値を有するかどうかを判断するよう構成された重み判断器を備える。
この例示的実施形態の他の実施形態は、ビデオシーケンスの画像を符号化する方法を定義し、画像は複数のスライスを備える。本方法は、少なくとも1つの重み予測パラメータもしくは重み予測のための少なくとも1つの重みを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを判断することを備える。本方法はまた、少なくとも1つのスライス要素に基づいて、画像の符号化表現を生成することを備える。本方法は、さらに、少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報を、符号化表現と関連づけることを備える。
この例示的実施形態の他の関連する実施形態は、ビデオシーケンスの画像を符号化するよう構成された符号器を定義し、画像は複数のスライスを備える。符号器は、少なくとも1つの重み予測パラメータもしくは重み予測のための少なくとも1つの重みを表すか、もしくは定義する少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを判断するよう構成されたスライス要素判断器を備える。符号器はまた、少なくとも1つのスライス要素に基づいて、画像の符号化表現を生成するよう構成された表現生成器を備える。符号器は、さらに、少なくとも1つのスライス要素が、画像の複数のスライスに対して同じままであるかどうかを示す情報を、符号化表現と関連づけるよう構成された情報プロバイダを備える。
f)演算コーダ初期化パラメータは、画像内の全てのスライスに対して同じである。HEVCの場合、このことは、構文要素cabac_init_idcの値が、画像内の全てのスライスに対して同じであるかどうかを示す構文要素によって制限される可能性がある。
可能な代替として、あるスライス特性が画像内の全てのスライスに対して同じであるかどうかを示す代わりに、シーケンス構文要素は、同じ画像に属する同じスライス型の全てのスライスが、同じ特性を有するかどうかを示すことができる。この代替は、いくつかのスライス特性に対して、その特性が画像内の全てのスライスに対して同じでなければならないが、他のスライス特性に対して、その特性が画像内の同じスライス型の全てのスライスに対して同じでなければならないように混合することができる。
1つの可能性は、いくつかのスライス特性が同じ画像に属するスライスに対して同じであることを、単一シーケンス構文要素が示すよう、スライス特性をバンドルすることである。これはまた、上記した混合と組み合わせることもでき、バンドルにおけるいくつかの特性は、画像内の全てのスライスに対して同じでなければならないが、バンドルにおける他のスライス特性は、画像内の同じスライス型の全てのスライスに対して同じでなければならない。
シーケンス構文要素は、HEVCの場合、例えば、SPS内に存在することができる。
他の例示的実施形態では、スライス要素は、ビットストリーム内の画像に対して最大である可能性のある異なる参照画像リストの数を(初期参照画像リストの修正後に)報知するビットストリーム内のコードワードを備える。
この報知は、(HEVCの場合のSPSにおいて)シーケンス毎に1度報知されることが好ましいが、画像のセット(HEVCの場合のPPSまたはAPS)に対して1度、オプションで報知することができる。
コードワードは、以下の表現を用いる汎用可変長コード(UVLC)符号化(k=0の指数ゴロム符号化)を使用してもよい。
1 任意の画像内の全てのスライスに対する同じ最終参照画像リスト
010 ビデオシーケンス内の任意の画像内の最大2つの異なる参照画像リスト
011 ビデオシーケンス内の任意の画像内の最大3つの異なる参照画像リスト
00100 ビデオシーケンス内の任意の画像内の最大4つの異なる参照画像リスト
など
あるいは、1つの短いコードワード、例えば、「1」を使用して、ビットストリーム内の異なる参照画像リストの数に制限設定がないことを報知してもよい。他のコードワードの意味は、それに応じてシフトされ、例えば、以下の表現をもたらすことができる。
1 制限なし
010 任意の画像内の全てのスライスに対する同じ最終参照画像リスト
011 ビデオシーケンス内の任意の画像内の最大2つの異なる参照画像リスト
00100 ビデオシーケンス内の任意の画像内の最大3つの異なる参照画像リスト
00101 ビデオシーケンス内の任意の画像内の最大4つの異なる基準リスト
など
上記のコードワードは例であり、画像に対して最大限使用される異なるリストの数を報知するために他のコードワードを使用してもよいことに留意されたい。
これにより、符号器は、全てのスライスに対して参照画像リスト構築を実行する必要がないため、復号化の複雑さが低減される。復号器は、画像内の第1のスライスに対して参照画像リスト構築を実行することができ、次いで、画像内のスライスの残りに対して、その1つまたは複数の参照画像リストを保持することができる。この情報がない場合、復号器は、符号器が全てのスライスで同じ最終参照画像リストを使用したかどうかを判断できない。その場合、復号器は、全てのスライスに対する異なる参照画像リストに対して準備される必要があり、複雑度が最もひどい場合でも取り扱えるように設計される必要がある。誤り耐性のために、リスト構築構文が、全てのスライスで依然として繰り返されることが好ましいことに留意されたい。
さらなる例示的実施形態では、フラグが、他の例示的実施形態で説明したコードワードの代わりに使用される。フラグは、任意の画像が、2つ以上の最終参照画像リストを使用するかどうかを報知する。1つのフラグ状態は、同じ画像の全てのスライスが、同じ画像の他のスライスとして、1つまたは複数の同じ参照画像リストを使用するという意味である。この状態が報知されると、復号器は、画像に対して受信する第1のスライスに対して参照画像リスト構築を実行することのみが必要となり、1つまたは複数の同じ参照画像リストが、画像内の他の全てのスライスに対して使用されることを認識する。これにより、復号器は、全てのスライスに対して参照画像リスト構築を実行する必要がないため、復号化の複雑さが低減される。復号器は、画像内の第1のスライスに対して参照画像リスト構築を実行することができ、次いで、画像内のスライスの残りに対して、その1つまたは複数の参照画像リストを保持することができる。このフラグおよびこのフラグ状態がない場合、復号器は、符号器が全てのスライスで1つまたは複数の同じ最終参照画像リストを使用したかどうかを判断できない。その場合、復号器は、全てのスライスに対する異なる参照画像リストに対して準備される必要があり、複雑度が最もひどい場合でも取り扱えるように設計される必要がある。誤り耐性のために、リスト構築構文が、全てのスライスで依然として繰り返されることが好ましいことに留意されたい。
さらに他の例示的実施形態では、任意の上記シグナリング方法が、プロファイルに関連づけられる。したがって、スライス要素がプロファイルを備える。プロファイルは、ビットストリームで報知される。HEVCの場合、プロファイルは、SPS内のprofile_idc構文要素を使用して報知される。好適な例では、プロファイルは、いくつかのスライス特性が、同じ画像に属する(同じスライス型を有するか、またはスライス型にかかわらず全てのスライスに対して)各スライスに対して同じであることを必要とする。
さらに他の例示的実施形態では、スライス要素は、パラメータセットで送信される。例えば、リスト構築および修正構文は、スライスヘッダから、画像に対して使用されるスライスの数にかかわらず、1つの画像全体に対する構文を含むパラメータセットに移される。利点は、ビットの節約であり、全てのスライス内で繰り返す代わりに、画像毎に1度、リスト修正構文を報知することで、全体的なビットコストを低減する。そのようなパラメータセットの一例は、HEVCにおけるAPSである。好適な例では、上記した任意の例示的実施形態で説明したようなモードが、例えば、SPSまたはPPSで報知される。同じ修正が同じ画像の全てのスライスで使用されたことをモードが示す場合、修正構文は、APSに存在し、スライスヘッダには存在しない。修正がないことをモードが示す場合、APSにもスライスヘッダにも、何らの修正構文も存在しない。異なる参照画像リストを有する少なくとも2つのスライスが存在するとモードが示す場合、修正構文は、スライスヘッダに存在する。他の代替は、異なる参照画像リストを有する少なくとも2つのスライスが存在するとモードが示す場合、修正構文が、APSに存在することである。
したがって、一態様により、1つの方法が提供され、1つまたは複数のスライス要素が画像内の全てのスライスに対して同じままであり、画像内の全てのスライスに対して同じままである1つまたは複数のスライス要素を示す情報が送信される。一実施態様によれは、1つの方法が提供され、画像内の全てのスライスに対して同じままである1つまたは複数のスライス要素を示す情報が受信される。
上記した実施形態は、本発明の用例の一部として理解されよう。当業者によって、さまざまな変形、組合せ、および変更が、本発明の主旨を逸脱しない範囲で、本実施形態に行われ得ることが理解されるだろう。特に、異なる実施形態の異なる部分の解決法が、技術的に可能である他の構成で組み合わせることができる。しかしながら、本発明の範囲は、添付の特許請求の範囲によって定義される。