JP5955391B2

JP5955391B2 - 参照ピクチャリストの取り扱い

Info

Publication number: JP5955391B2
Application number: JP2014533244A
Authority: JP
Inventors: ヨナタンサミュエルソン，; リキャルドフェーバリ，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2011-09-29
Filing date: 2012-09-27
Publication date: 2016-07-20
Anticipated expiration: 2032-09-27
Also published as: WO2013048324A1; KR20140085456A; CN103843340B; ZA201402381B; US20240073412A1; JP2014531853A; US20140072038A1; CN103843340A; EP2761872A1; US11825081B2; US11196990B2; US20180020212A1; US20220094916A1; US9807386B2

Description

本実施形態は、概して、映像符号化および復号化、詳しくは、このような映像符号化および復号化における参照ピクチャの取り扱いに関する。

高効率映像符号化（ＨＥＶＣ）は、共同研究部会−映像符号化（ＪＣＴ−ＶＣ）において現在開発中の新しい映像符号化標準である。ＪＣＴ−ＶＣは、動画像専門家グループ（ＭＰＥＧ）と国際電気通信連合−電位通信標準化部門（ＩＴＵ−Ｔ）との間の共同プロジェクトである。現在のところ、ある程度の数の新しいツールを含み、Ｈ．２６４／最新映像符号化（ＡＶＣ）よりかなり効率的であるＨＥＶＣモデル（ＨＭ）が規定されている。

ＨＥＶＣにおけるピクチャは、１つ以上のスライスに区分化され、各スライスは、独立に復号化可能なピクチャのセグメントである。すなわち、スライスが欠けている場合、たとえば、伝送中に失われた場合、このピクチャの他のスライスは、それにもかかわらず、正確に復号化することができる。スライスを独立にするために、スライスは、互いに依存しない。同じピクチャの別のスライスのビットストリーム要素は、ある特殊なスライスのいかなる要素を復号化するためにも必要とされることがない。

各スライスは、スライスが独立に復号化可能であるため必要な全てのデータを独立に提供するスライスヘッダを含んでいる。スライスヘッダに存在するデータ要素の一例は、デコーダがこのスライスの空間的位置を知るために使用されるスライスアドレスである。別の例は、スライスの開始のため使用すべき量子化パラメータが何であるかを知るためにデコーダによって使用されるスライス量子化デルタである。スライスヘッダには、より一層多くのデータ要素が存在する。

ＨＥＶＣは、現在ピクチャの復号化のため使用される予め復号化されたピクチャである参照ピクチャを取り扱う仕組みを有している。ＨＥＶＣにおける参照ピクチャは、「参照用」としてマーク付けされることにより参照のため利用可能である復号化ピクチャバッファ（ＤＰＢ）内のピクチャである。参照ピクチャとして使用されるピクチャは、参照ピクチャリストに含まれ、ＨＥＶＣのための参照ピクチャリストは、Ｈ．２６４における参照ピクチャリストに類似する。参照ピクチャリストは、その後、現在ピクチャ内の現在スライスの復号化プロセスで使用される。

ＨＥＶＣは、各ピクチャに対して、ピクチャが属しているテンポラルレイヤに対応するｔｅｍｐｏｒａｌ＿ｉｄも規定する。テンポラルレイヤは、順序付けされ、上位テンポラルレイヤが下位テンポラルレイヤの復号化に影響を与えることなく除去することができる一時的スケーラビリティのため使用される。すなわち、テンポラルレイヤＡがテンポラルレイヤＢより上位である場合、テンポラルレイヤＡに属しているピクチャは、予測のためテンポラルレイヤＢからのピクチャを使用することができるが、テンポラルレイヤＢに属しているピクチャは、予測のためテンポラルレイヤＡからのピクチャを使用することができない。ＨＥＶＣでは、以前の規格、たとえば、Ｈ．２６４の場合のように相対的な方式で参照ピクチャ修正をシグナル通知する代わりに、参照ピクチャの絶対シグナリングを使用することが提案される。絶対シグナリングは、ピクチャ毎に明示的にどんな参照ピクチャを維持すべきかをバッファ記述でデコーダにシグナル通知することにより、または、シーケンス・パラメータ・セット（ＳＰＳ）への参照を通じてこれらをシグナル通知することにより実現される。バッファ記述は、参照ピクチャセット（ＲＰＳ）と呼ばれることもある。

ピクチャ順序カウント（ＰＯＣ）は、ピクチャの表示順序を規定し、そして、参照ピクチャを識別するためにもＨＥＶＣにおいて使用される。ＨＥＶＣの最初の草案では、ＰＯＣだけではなく、ｔｅｍｐｏｒａｌ＿ｉｄもまたバッファ記述で各参照ピクチャに対してシグナル通知された。バッファ記述中のＰＯＣおよびｔｅｍｐｏｒａｌ＿ｉｄの値は、これが参照している参照ピクチャのスライスヘッダでシグナル通知されたＰＯＣおよびｔｅｍｐｏｒａｌ＿ｉｄの値と同一でなければならない。ｔｅｍｐｏｒａｌ＿ｉｄは、バッファ記述に含まれている参照ピクチャに対するバッファ記述復号化プロセス中に使用されるが、利用できないか、または、復号化ピクチャバッファ内に存在するピクチャが意図せずに失われたか、または、正しく削除されたことが推定された場合に復号化ピクチャバッファ（復号化ピクチャを格納している）で利用できない。バッファ記述中の参照ピクチャが現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄより上位であるｔｅｍｐｏｒａｌ＿ｉｄを有する場合、このピクチャは、正しく削除されたと判断され、復号化プロセスを継続することができ、そうでなければ、このピクチャは、意図的ではなく失われたと判断され、現在ピクチャは、正確に復号化することができない。

欠けているピクチャが意図せずに失われたか、または、正しく削除されたかを推定するプロセスは、実際のバッファ記述復号化プロセスとは無関係であり、バッファ記述復号化プロセスの前後にかかわらず実行され得ることに注意するべきである。

ｔｅｍｐｏｒａｌ＿ｉｄは、参照ピクチャリスト構築プロセスでも使用される。現在フレームのテンポラルレイヤより上位のテンポラルレイヤに属している参照ピクチャは、現在ピクチャの参照ピクチャリストに含まれない。
ＨＥＶＣにおいて提案されるような上位レベルでの復号化プロセスの概略図は、図１に見られる。

本発明の実施形態は、参照ピクチャ取り扱いの効率的な解決法を提供する。

前述のとおり、ＨＥＶＣの以前の草案では、ｔｅｍｐｏｒａｌ＿ｉｄは、テンポラルレイヤの数に依存して、最大で３ビットまでを使用して各バッファ記述でピクチャ毎にシグナル通知された。ＤＰＢ（復号化ピクチャバッファ）内で利用できないピクチャに対して、バッファ記述からのｔｅｍｐｏｒａｌ＿ｉｄは、ピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために使用された。

ｔｅｍｐｏｒａｌ＿ｉｄが２ビット以上を用いてシグナル通知されたとき、冗長性が存在する。たとえば、レイヤ０のピクチャを復号化するとき、ある特定の参照ピクチャがテンポラルレイヤ１または２に属しているか否かは、ピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために問題とならない。唯一の重要な情報は、このピクチャが上位レイヤにあるか否かであり、なぜならば、これがまさにピクチャが正しく削除されたか、または、意図せずに失われたかを推定するために必要な情報であるからである。

本発明の実施形態によれば、参照ピクチャが参照ピクチャのリストに含まれるべきであるか否かをデコーダに明示的に指示するためにセットされた１−ビットフラグが提供される。

従って、本発明の実施形態の第１の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化する方法が提供される。この方法では、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグが符号化され、ここで、１−ビットフラグは、参照ピクチャが参照ピクチャのリストに含まれるべきか否かをデコーダに明示的に指示するためにセットされる。参照ピクチャのリストは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを示している。

本発明の実施形態の第２の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法が提供される。この方法では、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグが復号化される。１−ビットフラグは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを指示する参照ピクチャのリストに参照ピクチャが含まれるべきか否かをデコーダに明示的に指示する。

本発明の実施形態の第３の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダが提供される。エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを符号化するように構成され、エンコーダは、参照ピクチャが参照ピクチャのリストに含まれるべきか否かをデコーダに明示的に指示するために１−ビットフラグをセットするように構成されているプロセッサを備える。参照ピクチャのリストは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを指示している。

本発明の実施形態の第４の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが提供される。デコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを復号化するように構成されている。１−ビットフラグは、参照ピクチャが参照ピクチャのリストに含まれるべきか否かをデコーダに明示的に指示し、ここで、参照ピクチャのリストは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを指示する。さらに、デコーダは、参照ピクチャが参照ピクチャのリストに含まれるべきか否かを判定するために１−ビットフラグを使用するように構成されているプロセッサを備える。

第５の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダが提供される。エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを符号化するように構成されている。エンコーダは、フラグがこの参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合に参照ピクチャは参照ピクチャリストに含まれるべきであることを指示するように、かつ、フラグがこの参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合に参照ピクチャは参照ピクチャリストから除外されることを指示するように、各参照ピクチャのレイヤ識別情報と現在ピクチャのレイヤ識別情報との間の比較に従って１−ビットフラグをセットするように構成されているプロセッサを備える。

第６の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが提供される。デコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを復号化するように構成されている。デコーダは、復号化ピクチャバッファ内の対応する参照ピクチャが欠けているバッファ記述中の各参照ピクチャに対する１−ビットフラグをチェックするように構成されているプロセッサを備え、１−ビットフラグが参照ピクチャは参照ピクチャリストに含まれていることを指示している場合、プロセッサは、ピクチャが意図せずに失われているという結論を出すように構成されている。

本発明の実施形態の利点は、バッファ記述中のピクチャ毎に３ビットが費やされ、かつ、１ビットまで削減することができると仮定すると、バッファ記述の明示的なシグナリングが使用された場合、Ｎがバッファ記述に記述された参照ピクチャの個数であるとして、１スライス当たりに２＊Ｎビットのビット節約を実現することができることである。それ故に、本発明の実施形態は、バッファ記述中のピクチャがＤＰＢ内に厳密に存在すべきか否かをシグナル通知するための冗長性が削除される解決法を提供する。すなわち、参照ピクチャが正しく削除されたか、または、意図せずに失われたかに関する情報が最大３ビットではなく、高々１ビットによって指示される。

実施形態の利点は、エンコーダがフラグの値に零をセットすることにより参照ピクチャリストから同一または下位テンポラルレイヤに属しているある特定のピクチャを除外することを選ぶことができ、このことにより、参照ピクチャリスト修正をシグナル通知する必要性を削除することができ、従って、参照ピクチャインデックスをシグナル通知するため必要なビットレートを削減し、および／または、ビット数を削減することである。

従来技術によるＨＥＶＣにおいて提案されるような上位レベルでの復号化プロセスの概略図である。本発明の実施形態に係るエンコーダおよびデコーダにおける方法を示すフローチャートである。本発明の実施形態に係るエンコーダを示す図である。本発明の実施形態に係るデコーダを示す図である。

実施形態は、どちらのピクチャが現在ピクチャを復号化するため使用されるかについて記載する参照ピクチャリスト（参照ピクチャのリストとも呼ばれる）の取り扱いに関係する。実施形態では、エンコーダは、１−ビットフラグ（２つの可能な値を有している）を使用することにより参照ピクチャが参照ピクチャリストに含まれるべきか否かをデコーダに明示的に指示し、ここで、参照ピクチャリストは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを指示する。

その結果、参照ピクチャリストは、現在ピクチャを復号化するときに参照のため使用することができるピクチャのリストであり、参照ピクチャリストは、デコーダで記憶される。ピクチャは、ＰＯＣによって定義される。しかし、リストに含まれたピクチャは、参照のため使用されることを要求されないが、リストに含まれていないピクチャは、現在ピクチャを復号化するときに参照のため使用されることが許可されない。

参照ピクチャセット（ＲＰＳ）とも呼ばれるバッファ記述は、ビットストリームでエンコーダからデコーダにシグナル通知され、バッファ記述は、参照ピクチャと各参照ピクチャに対する１−ビットフラグとを備える。１−ビットフラグは、バッファ記述中の参照ピクチャ毎にこれが参照ピクチャリストに含まれるべきか否かを明示的に指示する。

第１の態様に係るエンコーダによって実行される方法では、１−ビットフラグがシグナル通知され、ここで、１−ビットフラグは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている。これは、図２に示され、ここで、参照ピクチャが参照ピクチャのリストに含まれるべきか否かをデコーダに明示的に指示するために１−ビットフラグ２２０がセットされる（２００）。

一実施形態によれば、１−ビットフラグは、現在ピクチャのレイヤより上位レイヤからの参照ピクチャがリストに含まれないようにセットされる（２０１ａ）。従って、エンコーダのプロセッサは、参照ピクチャのレイヤ識別情報が現在ピクチャより上位である場合、参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示するために１−ビットフラグをいつでもセットするように構成されている。本実施形態では、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位であると決定され（２００）、１−ビットフラグは、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示するようにセットされる（２０１ａ）。

さらなる実施形態によれば、１−ビットフラグは、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するようにセットされる（２０１ｂ）。

これは、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、１つの参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するために１−ビットフラグに「１」をセットし（２０１ｂ）、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャより上位である場合、１つの参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示するために１−ビットフラグに「０」をセットすることにより（２０１ａ）行うことができる。

さらなる実施形態によれば、１−ビットフラグは、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされた場合、参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するようにセットされる（２０１ｃ）。これは、レイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが含まれることが決して許可されるべきでないが、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合、エンコーダは、別の条件に従って、参照ピクチャが含まれるべきであるか否かを選び、それに応じてフラグをセットすることができることを意味する。この別の条件の実施例は、特定値より大きい（ベース）量子化パラメータを持つピクチャを除外することである。

現在ピクチャに対するバッファ記述２１０中の参照ピクチャに関連付けられている１−ビットフラグ２２０は、符号化され（２０２）、デコーダに送信される。１−ビットフラグ２２０は、スライスヘッダ、または、シーケンス・パラメータ・セットもしくはピクチャ・パラメータ・セットのようなパラメータ・セットに符号化ことができる。シーケンス・パラメータ・セットは、２つ以上のピクチャに対する情報を格納する。

図２にさらに関連して、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法が提供される。現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグがエンコーダから受信され、その後、復号化される（２０３）。デコーダは、スライスヘッダにおいて、または、シーケンス・パラメータ・セットのようなパラメータ・セットにおいて１−ビットフラグを復号化するように構成されることがある。

１−ビットフラグは、現在ピクチャを復号化するときにどのピクチャが参照のため使用することができるかを指示する参照ピクチャのリストに参照ピクチャが含まれるべきか否かをデコーダに明示的に指示する。１−ビットフラグは、参照ピクチャが参照ピクチャのリストに含まれるべきであるか否かを判定するために使用される（２０４）。

実施形態によれば、１−ビットフラグの一方の値は、参照ピクチャのレイヤ識別情報が現在ピクチャより上位であるとき、参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示する。別の実施形態では、１−ビットフラグの一方の値は、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、１つの参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示する。

これらの実施形態は、「１」にセットされた１−ビットフラグが１つの参照ピクチャが参照ピクチャリストに含まれるべきことを明示的に指示し、「０」にセットされた１−ビットフラグが１つの参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示することによって実証することができる。

実施形態の別の態様に係るエンコーダ３００は、図３に示されるように、バッファ記述中の各参照ピクチャに対する１−ビットフラグ２２０にエンコーダ３００によって判定されたとおりの値がセットされるバッファ記述を作成し、シグナル通知するように構成されている。すなわち、エンコーダは、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ２２０を符号化するように構成され、ここで、１−ビットフラグは、参照リストがどのピクチャが現在ピクチャを復号化するため使用することができるかを指示する参照ピクチャのリストに含まれるべきか否かをデコーダに明示的に指示するためにセットされる。エンコーダ３００は、バッファ記述を作成し、参照ピクチャが参照ピクチャのリストに含まれるべきか否かを明示的に指示するような１−ビットフラグ２２０をセットするように構成されているプロセッサ３０２を備える。エンコーダ３００は、参照ピクチャに関連がある情報のようなピクチャ関連情報およびレイヤ情報を記憶するメモリ３０１をさらに備えることがある。さらに、エンコーダ３００は、スライスヘッダにおいて、または、シーケンス・パラメータ・セットのようなパラメータ・セットにおいて１−ビットフラグ２２０を符号化するように構成されることがある。

一実施形態によれば、１−ビットフラグ２２０は、現在ピクチャと比べて上位レイヤからの参照ピクチャがリストに含まれないようにセットされる。従って、エンコーダは、現在ピクチャのレイヤと比べて上位テンポラルレイヤからの参照ピクチャが参照ピクチャリストに含まれないように１−ビットフラグの値をいつでもセットするように制限される。このことは、プロセッサ３０２が参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位であるか否かを判定し、本実施形態によれば、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示するように１−ビットフラグをセットするようにさらに構成されていることを意味する。

プロセッサ３０２は、少なくとも参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位である場合、参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するように１−ビットフラグをセットするようにさらに構成されている。

さらなる実施形態によれば、プロセッサ３０２は、１つの参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するために１−ビットフラグに「１」をセットし、１つの参照ピクチャが参照ピクチャリストに含まれるべきでないことを明示的に指示するために１−ビットフラグに「０」をセットするように構成されている。

上述のとおり、参照ピクチャは、レイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合、含まれることが決して許可されるべきでない。参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合、エンコーダは、それに応じてフラグをセットすることにより参照ピクチャが含まれるべきであるか否かを選ぶことができる。この場合、プロセッサ３０２は、参照ピクチャのレイヤ識別情報が現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合、参照ピクチャが参照ピクチャリストに含まれるべきであることを明示的に指示するように１−ビットフラグをセットするようにさらに構成されている。

デコーダは、参照ピクチャリスト２３０を作成するために１−ビットフラグ２２０によって提供された情報を使用する。それ故に、上述の実施形態に従って実行するデコーダは、スライスヘッダを復号化するように構成されている。バッファ記述中の各参照ピクチャに対する１−ビットフラグ２２０を含むバッファ記述は、スライスヘッダ中の構文要素から、および／または、ことによるとアクティブ状態のシーケンス・パラメータ・セットから復号化される。ピクチャマーキングは、その後、バッファ記述を使用して実行される。

さらなる態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダが図４に示されるように提供される。デコーダ４００は、現在ピクチャに対するバッファ記述中の１つずつの関連付けられている参照ピクチャのための１−ビットフラグ２２０を受信するように構成され、デコーダ４００は、参照ピクチャが参照ピクチャのリスト２３０に含まれるべきか否かをデコーダに明示的に指示する１−ビットフラグ２２０を復号化するように構成されているプロセッサ４０２を備える。さらに、プロセッサ４０２は、参照ピクチャが参照ピクチャのリストに含まれるべきか否かを判定するために１−ビットフラグを使用するように構成されている。

図４に示されるように、参照ピクチャセットとも呼ばれるバッファ記述２１０は、参照ピクチャｒｅｆｐｉｃ１、ｒｅｆｐｉｃ２などを格納し、各参照ピクチャに対して、参照ピクチャが参照ピクチャリスト２３０に含まれるべきか否かを指示するそれぞれの１−ビットフラグｆｌａｇ１、ｆｌａｇ２などが存在する。

さらに、一実施形態によれば、デコーダは、１−ビットフラグの一方の値が１つの参照ピクチャは参照ピクチャリストに含まれるべきでないことを明示的に指示するものと解釈するように構成されているプロセッサ４０２を備える。プロセッサ４０２は、１−ビットフラグの一方の値が１つの参照ピクチャは参照ピクチャリストに含まれるべきであることを明示的に指示するものと解釈するようにさらに構成されてもよい。

各ピクチャがレイヤ識別情報によって識別されたレイヤに属している別の実施形態によれば、プロセッサ４０２は、「１」がセットされた１−ビットフラグが１つの参照ピクチャは参照ピクチャリストに含まれるべきであることを明示的に指示し、「０」がセットされた１−ビットフラグが１つの参照ピクチャは参照ピクチャリストに含まれるべきでないことを明示的に指示するものと解釈するように構成されている。

さらなる実施形態によれば、プロセッサ４０２は、スライスヘッダにおいて、または、パラメータ・セットにおいて１−ビットフラグを復号化するように構成されている。

上述の実施形態において記載されているように、現在ピクチャのレイヤ識別情報より上位であるレイヤ識別情報を有している参照ピクチャは、参照ピクチャのリストに決して含まれるべきでない。このことは、欠けているピクチャに対して、１−ビットフラグは、ピクチャが意図せずに失われたか否かを判定するためにデコーダによってさらに使用することができることを意味する。

フラグが意図せずに失われたピクチャが存在しないことを検証するためにバッファ記述中の各ピクチャに対して使用されるときのデコーダにおける手続きが以下に記載される。従って、参照ピクチャが参照ピクチャリストに含まれるべきか否かについて結論を出すために１−ビットフラグの値をチェックするステップを含めて、参照ピクチャリストが作成される。欠けているピクチャに対して、１−ビットフラグは、ピクチャが意図せずに失われたか否かを判定するためにさらに使用することができる。１−ビットフラグの一方の値は、参照ピクチャが現在ピクチャと同じであるか、または、より下位のレイヤ識別情報を有していることを指示し、このことは、欠けている参照ピクチャが意図せずに失われたことを指示する。１−ビットフラグの別の値は、ピクチャが正しく削除されている可能性があること、すなわち、欠けている参照ピクチャが現在ピクチャより上位のレイヤ識別情報を有しているときを示す。参照ピクチャリスト構築を含む残りの復号化プロセスは、影響を受けない。

図４にさらに関連して、本発明の実施形態の第５の態様によれば、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダ４００が提供される。デコーダ４００は、現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ２２０を復号化するように構成されている。デコーダ４００は、復号化ピクチャバッファ内の対応する参照ピクチャが欠けているバッファ記述中の各参照ピクチャに対する１−ビットフラグの値をチェックするように構成されているプロセッサを備え、１−ビットフラグの値が参照ピクチャは参照ピクチャリストに含まれるべきであることを指示している場合、プロセッサは、参照ピクチャが意図せずに失われたという結論を出すように構成されている。

それ故に、デコーダは、実施形態に係るピクチャを復号化するために以下のステップを実行するように構成されることがある。

●スライスヘッダが復号化される。
●バッファ記述中の各参照ピクチャに対するフラグを含むバッファ記述は、スライスヘッダにおける構文要素から、および、おそらくピクチャ・パラメータ・セットまたはシーケンス・パラメータ・セットのようなアクティブ状態のパラメータ・セットから復号化される。
●ピクチャマーキングは、バッファ記述を使用して実行される。
●バッファ記述中の各ピクチャに対して、フラグは、本実施形態では、意図せずに失われたピクチャが存在しないことを検証するために使用される。
●参照ピクチャが参照ピクチャリストに含まれるべきであるか否かについて結論を出すために参照ピクチャのｔｅｍｐｏｒａｌ＿ｉｄを現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄと比較するステップを含めて、参照ピクチャリストが作成される。その結果、フラグは、どの参照ピクチャが参照ピクチャリストに含まれるべきであるかをフラグの値に基づいて判定することにより参照ピクチャリストを作成するために使用される。
●ピクチャが復号化される。

さらなる代替案によれば、参照ピクチャリスト構築プロセスは、ピクチャが参照ピクチャリスト（群）に含まれているか否かを判定するために、ｔｅｍｐｏｒａｌ＿ｉｄによって実証された参照ピクチャのレイヤ識別情報が現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄともはやこれ以上比較されないように変更される。現在ピクチャのｔｅｍｐｏｒａｌ＿ｉｄより上位のｔｅｍｐｏｒａｌ＿ｉｄを有する参照ピクチャが参照ピクチャリストに含まれることが決して許可されないことに注意すべきである。その代わりに、上記１−ビットフラグは、ピクチャが意図せずに失われたか、または、ピクチャが正しく除去されたかを指示し、参照ピクチャが現在ピクチャと同じテンポラルレイヤまたはより下位に属していることを表現する値がフラグの値にセットされた場合に限り、参照ピクチャが含まれるように使用される。

図３にさらに関連して、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダ３００が提供される。エンコーダは、現在ピクチャに対するバッファ記述２１０中の参照ピクチャに関連付けられている１−ビットフラグ２２０を符号化するために構成されている。エンコーダは、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報と同じまたは下位である場合にフラグが参照ピクチャは参照ピクチャリストに含まれるべきであることを指示し、かつ、参照ピクチャのレイヤ識別情報が現在ピクチャのレイヤ識別情報より上位である場合にフラグが参照ピクチャは参照ピクチャリストから除外されることを指示するように、各参照ピクチャのレイヤ識別情報と現在ピクチャのレイヤ識別情報との間の比較に従って１−ビットフラグをセットするように構成されているプロセッサ３０２を備える。

それ故に、エンコーダは、実施形態に係るピクチャを符号化するために以下のステップを実行するように構成されてもよい。

●バッファ記述は、現在ピクチャのレイヤ識別情報とバッファ記述中の参照ピクチャとの比較の評価に従ってバッファ記述中の各ピクチャに対するフラグの値をセットして作成される。現在ピクチャより上位のレイヤ識別情報を持つピクチャに対して、１つずつの対応するフラグは、ピクチャが参照ピクチャリストに含まれないことになることを指示するためにセットされる。現在ピクチャと同じまたは下位のレイヤ識別情報を持つピクチャに対して、１つずつの対応するフラグは、ピクチャが参照ピクチャリストに含まれることになることを指示するためにセットされる。
●バッファ記述が符号化される。
●ピクチャが符号化される。

エンコーダ３００は、高効率映像符号化（ＨＥＶＣ）エンコーダでもよく、たとえば、モバイル端末で実施されてもよい。さらに、デコーダ４００は、高効率映像符号化（ＨＥＶＣ）デコーダでもよく、たとえば、モバイル端末で実施されてもよい。しかし、実施形態がＨＥＶＣに限定されないことに注意すべきである。

プロセッサ３０２、４０２は、たとえば、メモリ３０１、４０１の形で、コンピュータ・プログラム・プロダクトに記憶されたコンピュータプログラムに格納されているソフトウェア命令を実行することが可能である。それぞれのコンピュータ・プログラム・プロダクトは、読み出し書き込みメモリ（ＲＡＭ）と読み出し専用メモリ（ＲＯＭ）との何らかの組み合わせであるメモリであってよい。それぞれのメモリは、たとえば、磁気メモリ、光メモリ、固体メモリ、または、さらに遠隔搭載メモリのうちのいずれか１つまたは組み合わせである可能性がある固定記憶域を備える。

Claims

エンコーダにより実行されて、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化する方法であって、
前記現在ピクチャに対するバッファ記述（２１０）中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を符号化すること（２０２）を含み、
前記１−ビットフラグ（２２０）は、前記１−ビットフラグ（２２０）に関連付けられている前記参照ピクチャが、デコーダに記憶された参照ピクチャのリスト（２３０）に含まれるべきか否かを前記デコーダに明示的に指示するためにセットされ（２００）、
前記参照ピクチャのリスト（２３０）は、前記デコーダが現在ピクチャを復号化するときにどの参照ピクチャを参照のために使用することができるのかを示す、方法。
各ピクチャがレイヤ識別情報によって識別されたレイヤに属し、前記方法は、
前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位であるか否かを判定すること（２００）と、
前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位である場合に、前記参照ピクチャが前記参照ピクチャのリストに含まれるべきでないことを明示的に指示するように前記１−ビットフラグをセットすること（２０１ａ）と
をさらに含む、請求項１に記載の方法。
少なくとも前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位である場合に、前記参照ピクチャが前記参照ピクチャリストに含まれるべきであることを明示的に指示するように前記１−ビットフラグをセットすること（２０１ｂ）をさらに含む、請求項２に記載の方法。
１つの参照ピクチャが前記参照ピクチャリストに含まれるべきことを明示的に指示するために前記１−ビットフラグを「１」にセットすること（２０１ｂ）と、
１つの参照ピクチャが前記参照ピクチャリストに含まれるべきでないことを明示的に指示するために前記１−ビットフラグを「０」にセットすること（２０１ａ）とをさらに含む、請求項１から３のいずれか一項に記載の方法。
前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合に、前記参照ピクチャが前記参照ピクチャリストに含まれるべきであることを明示的に指示するように前記１−ビットフラグをセットすること（２０１ｃ）をさらに含む、請求項２に記載の方法。
前記１−ビットフラグは、スライスヘッダに符号化される、請求項１から５のいずれか一項に記載の方法。
前記１−ビットフラグは、パラメータ・セットに符号化される、請求項１から５のいずれか一項に記載の方法。
前記レイヤ識別情報は、テンポラルレイヤ識別情報である、請求項１から７のいずれか一項に記載の方法。
デコーダにより実行されて、参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化する方法であって、
前記現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグを復号化すること（２０３）であって、前記１−ビットフラグは、前記１−ビットフラグに関連付けられている前記参照ピクチャが、デコーダに記憶された参照ピクチャのリストに含まれるべきか否かを前記デコーダに明示的に指示しており、前記参照ピクチャのリストは、前記デコーダが現在ピクチャを復号化するときにどの参照ピクチャを参照のために使用することができるのかを示すような、１−ビットフラグを復号化すること（２０３）と、
前記参照ピクチャが前記参照ピクチャのリストに含まれるべきであるか否かを判定するために前記１−ビットフラグを使用すること（２０４）とを含む、方法。
前記１−ビットフラグの一方の値は、前記参照ピクチャが前記参照ピクチャリストに含まれるべきでないことを明示的に指示する、請求項９に記載の方法。
前記１−ビットフラグの他方の値は、１つの参照ピクチャが前記参照ピクチャリストに含まれるべきであることを明示的に指示する、請求項１０に記載の方法。
「１」にセットされた前記１−ビットフラグは、１つの参照ピクチャが前記参照ピクチャリストに含まれるべきことを明示的に指示し、
「０」にセットされた前記１−ビットフラグは、１つの参照ピクチャが前記参照ピクチャリストに含まれるべきでないことを明示的に指示する、請求項９から１１のいずれか一項に記載の方法。
前記１−ビットフラグは、スライスヘッダに符号化される、請求項９から１２のいずれか一項に記載の方法。
前記１−ビットフラグは、パラメータ・セットに符号化される、請求項９から１２のいずれか一項に記載の方法。
参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を符号化するエンコーダ（３００）であって、
前記エンコーダは、前記現在ピクチャに対するバッファ記述（２１０）中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を符号化するように構成され、
前記エンコーダはプロセッサ（３０２）を備えており、前記プロセッサ（３０２）は、前記１−ビットフラグ（２２０）に関連付けられている前記参照ピクチャが、デコーダに記憶された参照ピクチャのリスト（２３０）に含まれるべきか否かを前記デコーダに明示的に指示するために前記１−ビットフラグ（２２０）をセットするように構成されており、前記参照ピクチャのリスト（２３０）は、前記デコーダが現在ピクチャを復号化するときにどの参照ピクチャを参照のために使用することができるのかを示す、エンコーダ（３００）。
各ピクチャがレイヤ識別情報によって識別されたレイヤに属し、前記プロセッサ（３０２）は、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位であるか否かを判定し（２００）、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャの前記レイヤ識別情報より上位である場合に前記参照ピクチャが前記参照ピクチャのリストに含まれるべきでないことを明示的に指示するように前記１−ビットフラグ（２２０）をセットするようにさらに構成されている、請求項１５に記載のエンコーダ（３００）。
前記プロセッサ（３０２）は、少なくとも前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位である場合に前記参照ピクチャが前記参照ピクチャリストに含まれるべきであることを明示的に指示するように前記１−ビットフラグ（２２０）をセットするようにさらに構成されている、請求項１６に記載のエンコーダ（３００）。
前記プロセッサ（３０２）は、１つの参照ピクチャが前記参照ピクチャリストに含まれるべきことを明示的に指示するために前記１−ビットフラグを「１」にセットし、１つの参照ピクチャが前記参照ピクチャリストに含まれるべきでないことを明示的に指示するために前記１−ビットフラグを「０」にセットするようにさらに構成されている、請求項１５から１７のいずれか一項に記載のエンコーダ（３００）。
前記プロセッサ（３０２）は、前記参照ピクチャの前記レイヤ識別情報が前記現在ピクチャと同じまたは下位であり、かつ、別の条件が満たされる場合に、前記参照ピクチャが前記参照ピクチャリストに含まれるべきであることを明示的に指示するように前記１−ビットフラグをセットするようにさらに構成されている、請求項１６に記載のエンコーダ（３００）。
前記プロセッサ（３０２）は、スライスヘッダに前記１−ビットフラグを符号化するように構成されている、請求項１５から１９のいずれか一項に記載のエンコーダ（３００）。
前記プロセッサ（３０２）は、パラメータ・セットに前記１−ビットフラグを符号化するように構成されている、請求項１５から１９のいずれか一項に記載のエンコーダ（３００）。
前記レイヤ識別情報は、テンポラルレイヤ識別情報である、請求項１５から２１のいずれか一項に記載のエンコーダ（３００）。
高効率映像符号化ＨＥＶＣエンコーダである、請求項１５から２２のいずれか一項に記載のエンコーダ（３００）。
参照ピクチャを使用して複数のピクチャの映像ストリーム中の現在ピクチャの表現を復号化するデコーダ（４００）であって、
前記デコーダ（４００）は、前記現在ピクチャに対するバッファ記述中の参照ピクチャに関連付けられている１−ビットフラグ（２２０）を復号化するように構成され、
前記１−ビットフラグ（２２０）は、前記１−ビットフラグに関連付けられている前記参照ピクチャが、デコーダに記憶された参照ピクチャのリスト（２３０）に含まれるべきか否かを前記デコーダに明示的に指示しており、前記参照ピクチャのリスト（２３０）は、前記デコーダが現在ピクチャを復号化するときにどの参照ピクチャを参照のために使用することができるのかを示しており、
前記デコーダ（４００）は、前記参照ピクチャが前記参照ピクチャのリスト（２３０）に含まれるべきか否かを判定するために前記１−ビットフラグ（２２０）を使用するように構成されているプロセッサ（４０２）を備える、デコーダ（４００）。
前記デコーダは、前記１−ビットフラグの一方の値が１つの参照ピクチャは前記参照ピクチャリストに含まれるべきでないことを明示的に指示するものと解釈するように構成されているプロセッサ（４０２）を備える、請求項２４に記載のデコーダ（４００）。
前記プロセッサ（４０２）は、前記１−ビットフラグの他方の値が１つの参照ピクチャは前記参照ピクチャリストに含まれるべきであることを明示的に指示するものと解釈するようにさらに構成されている、請求項２５に記載のデコーダ（４００）。
前記プロセッサ（４０２）は、「１」にセットされた前記１−ビットフラグが１つの参照ピクチャは前記参照ピクチャリストに含まれるべきであることを明示的に指示し、「０」にセットされた前記１−ビットフラグが１つの参照ピクチャは前記参照ピクチャリストに含まれるべきでないことを明示的に指示するものと解釈するようにさらに構成されている、請求項２４から２６のいずれか一項に記載のデコーダ（４００）。
前記プロセッサ（４０２）は、スライスヘッダに前記１−ビットフラグを復号化するように構成されている、請求項２４から２７のいずれか一項に記載のデコーダ（４００）。
前記プロセッサ（４０２）は、パラメータ・セットに前記１−ビットフラグを復号化するようにさらに構成されている、請求項２４から２７のいずれか一項に記載のデコーダ（４００）。
高効率映像符号化ＨＥＶＣデコーダである、請求項２４から２９のいずれか一項に記載のデコーダ（３００）。