JP4516016B2 - 予測基準値用並びに表示用ピクチャのバッファ処理 - Google Patents

Description

本発明は、予測基準値用ピクチャ並びに表示用ピクチャのバッファ処理に関し、その方法は、符号化済みピクチャをエンコーダで形成するステップと、前記符号化済みピクチャをエンコーダで復号するオプションの仮想復号ステップと、前記符号化済みピクチャをデコーダへ伝送する伝送ステップと、上記符号化済みピクチャを復号して、復号済みピクチャを形成する復号ステップと、上記復号済みピクチャを表示順に配列する再構成ステップとから構成される。

公開されているビデオ符号化規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ-１、ＩＳＯ／ＩＥＣ ＭＰＥＧ-２およびＩＳＯ／ＩＥＣ ＭＰＥＧ-４パート２が含まれている。本願明細書では、これらの規格を従来のビデオ符号化規格と呼ぶことにする。

ＩＴＵ−ＴとＩＳＯ／ＩＥＣのジョイントビデオチーム（ＪＶＴ）において標準化努力が続けられている。ＪＶＴの作業はＨ．２６１と呼ばれるＩＴＵ−Ｔにおける以前の標準化プロジェクトをベースとするものである。ＪＶＴ標準化の目標は、ＩＴＵ−Ｔ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０（ＭＰＥＧ−４パート１０）と同じ規格テキストをリリースすることである。本文書ではこのドラフト規格をＪＶＴ符号化規格と呼び、上記ドラフト規格に準拠するコーデックをＪＶＴコーデックと呼ぶことにする。

Ｈ．２６３のオプションの基準ピクチャ選択モードとＭＰＥＧ−４パート２のＮＥＷＰＲＥＤ符号化ツールによって（Ｈ．２６３の各スライス当たりなどの）各ピクチャセグメント当たりの動き補償用基準フレームの選択が可能となる。さらに、Ｈ．２６３並びにＪＶＴ符号化規格のオプションの拡張型基準ピクチャ選択モードによって、個々のマクロブロックに対する基準フレームの選択が別個に可能となる。

基準ピクチャ選択によって多くのタイプの時間階層符号化方式が可能となる。図１は時間階層符号化方式の１例を示す図であり、この符号化方式は本願明細書で再帰時間階層符号化と呼ばれるものである。３つの固定フレームレートを用いてこの例示の方式の復号を行うことが可能である。図２はビデオ冗長符号化と呼ばれている方式を描く図であり、この場合、一連のピクチャが２または３以上の独立に符号化されたスレッドにインタリーブされて分割される。上図並びにすべての後続図の矢印は動き補償の方向を示し、フレームの下に付された値はフレームの相対的取得時刻と表示時刻とに対応するものであることを示す。

従来のビデオ符号化規格では、ピクチャの復号を行う順序はＢピクチャを除いて表示順序と同じである。従来のＢピクチャ内のブロックは２つの基準ピクチャから双方向の時間予測を行うことが可能であり、その場合、一方の基準ピクチャは時間的に先行し、他方の基準ピクチャは表示順に時間的に後続するようになっている。表示順序において、最新の基準ピクチャのみが復号順にＢピクチャに後続することができる（例外：時間的に後続する基準フレームの双方のフィールドピクチャが復号順にＢピクチャに先行することができるＨ．２６３でインターレースが行われる符号化の場合）。時間予測を行うために基準ピクチャとして従来のＢピクチャを使用することはできない。したがって、従来方式のＢピクチャは他のいずれのピクチャの復号にも影響を与えることなく配置することが可能となる。

ＪＶＴ符号化規格には以前の規格と比べて以下の新規の技術的特徴が含まれている：
− ピクチャの復号順が表示順から分離される。ピクチャ番号は復号の順序を示し、ピクチャの順序カウントは表示順序を示す。
− Ｂピクチャ内のブロック用基準ピクチャは、表示順にＢピクチャの前または後のいずれに存在してもよい。したがって、Ｂピクチャは双方向のピクチャの代わりに双方向予測（bi-predictive）ピクチャを表すことになる。
− 基準ピクチャとして使用しないピクチャは明示的にマークされる。どのタイプのピクチャ（イントラ、インタ、Ｂ、など）が基準ピクチャあるいは非基準ピクチャのいずれであってもよい。（したがって、別のピクチャの時間予測を行うための基準ピクチャとしてＢピクチャの利用が可能となる。）
− ピクチャは、異なる符号化タイプを用いて符号化したスライスを含むものであってもよい。言い換えれば、符号化済みピクチャは、例えばイントラ符号化スライスとＢ符号化スライスとから構成されるものであってもよい。

圧縮効率とエラー回復力という見地から見て、復号順から表示順を分離することは有益なものとなり得る。

圧縮効率の潜在的改善を図る予測構造の１例が図３に示されている。ボックスはピクチャを示し、ボックス内の大文字は符号化タイプを示し、ボックス内の数字はＪＶＴ符号化規格に準拠するピクチャ番号であり、矢印は予測依存状態を示す。ピクチャＢ１７はピクチャＢ１８用の基準ピクチャであることに留意されたい。圧縮効率は、従来方式の符号化と比べて潜在的に改善される。というのは、ＰＢＢＰあるいはＰＢＢＢＰ符号化済みピクチャパターンを用いる従来方式の符号化と比べてピクチャＢ１８用の基準ピクチャの方が、時間的に近くに存在するからである。圧縮効率は、従来方式のＰＢＰ符号化済みピクチャパターンと比べて潜在的に改善される。というのは、基準ピクチャの一部が双方向に予測されるからである。

図４は、エラー回復力の改善を図るために使用可能なイントラピクチャ延期法の１例を示す図である。従来の方式では、イントラピクチャは、例えば場面カットの直後かピクチャ内リフレッシュ期間の期限切れに対する応答として符号化される。イントラピクチャ延期法では、イントラピクチャの符号化を行う必要が生じた直後にイントラピクチャの符号化が行われることはなく、逆に、時間的に後続するピクチャがイントラピクチャとして選択される。符号化済みイントラピクチャとイントラピクチャの従来の所在位置との間の個々のピクチャは時間的に後続する次のピクチャから予測される。図４が示すように、イントラピクチャ延期法では２つの独立したインタピクチャ予測チェーンが生成されるのに対して、従来方式の符号化アルゴリズムでは、単一のインタピクチャチェーンが生みだされる。２チェーン・アプローチの方が、従来方式の１チェーンアプローチよりも消去エラーに対してロバストであることは直感的に明らかである。一方のチェーンがパケット紛失を被った場合でも、まだ、他方のチェーンを正しく受信できる可能性がある。従来方式の符号化では、パケット紛失は常に残りのインタピクチャ予測チェーンのエラーの拡散を引き起こす原因となっていた。

ＪＶＴ符号化規格では、以下の２つの理由のために復号済みピクチャのバッファ処理を行う必要がある：第１に、後続する符号化済みピクチャの予測用基準ピクチャとして復号済みピクチャを用いる。第２に、表示順からの復号順の分離に起因して、表示順に復号済みピクチャの並べ替えを行う必要がある。

本発明により解決される個別のバッファ処理問題について以下の例を用いて説明する。

以下のピクチャシーケンスについて考えることにする。このピクチャシーケンスにおいて、Ｐは予測済みピクチャであり、ＢＳは基準双方向予測ピクチャであり、ＢＮは非基準双方向予測ピクチャであり、数字は表示順序に関するものとする。
表示順序 P1 BN2 BN3 BS4 BN5 BN6 P7...
復号順序 P1 P7 BS4 BN2 BN3 BN5 BN6

基準ピクチャ用バッファ内の３つのピクチャメモリを用いて上記ピクチャシーケンスの復号を行うことが可能であるが、ＢＮ５を復号する場合、まだこのピクチャシーケンスを表示する時ではない。
復号時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7...

したがってＢＮ５を格納して表示順にピクチャの並べ替えを行う必要がある。

従来のビデオ符号化規格に関して問題は存在しない。というのは、すべての基準ピクチャに対する表示順序は該基準ピクチャの復号順序と同じであり、さらに、Ｂピクチャを使用中の場合、最新の復号済み基準ピクチャだけのバッファ処理を行って表示順にピクチャの並べ替えを行う必要があるからである。基準ピクチャ選択をサポートする従来のビデオ符号化規格は、基準ピクチャ用バッファを備えてはいるが、表示並べ替え用のピクチャ用バッファは備えていない。

ＪＶＴ符号化規格に対する以下の簡単な提案が行われた：表示並べ替え用のピクチャ用バッファから分離した基準ピクチャ用のピクチャ用バッファを備えること。２つのバッファ用としてピクチャの最大数を個別に指定すること。

上述の例について今一度再考してみよう。基準ピクチャは、復号されるとすぐに基準ピクチャ用バッファの中に入る。非基準ピクチャは基準ピクチャ用バッファの中には入らない。復号済みピクチャは、基準用として必要でなくなるとすぐに基準ピクチャ用バッファから除去される。例えば、ピクチャＰ１は、ピクチャＢＮ３の復号後、除去することができる。ピクチャは、復号されるとすぐに表示並べ替え用バッファの中に入る。復号済みピクチャは、表示が可能になると表示並べ替え用バッファから除去される。下図は、個々のピクチャの復号直後のバッファ内容を示す図である。
復号時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7
基準バッファ P1 P1 P1 P1 BS4 BS4 P7
P7 BS4 BS4 P7 P7
P7 P7
表示バッファ P1 P1 BS4 BS4 BS4 BN5 BN6 P7
P7 P7 P7 P7 P7 P7

基準ピクチャ用バッファと表示並べ替え用バッファとに必要なサイズは、それぞれ３ピクチャと２ピクチャであることがわかる。

本発明では、基準ピクチャ用バッファと表示ピクチャ用バッファとが組み合され、その場合、基準ピクチャと並べ替え対象ピクチャの双方が同じバッファに格納されて、２つの異なる場所に同じピクチャを格納する必要性が回避される。

本発明は、任意の種類のネットワーク装置および端末装置で使用する仮想デコーダ、信号、エンコーダ、デコーダ、方法、装置、システム並びにコンピュータプログラムを提供するものであり、その場合、同じバッファを用いて、基準ピクチャと、表示対象となるべく待機しているピクチャとの双方をデコーダ側で格納することができる。さらに、ピクチャをメモリに２度格納することはない。

本発明の１つの実施形態では、バッファ内での並べ替えを待機するピクチャの数に対する属性を定義することによりバッファ処理のユーザビリティはさらに上昇する。属性ｎｕｍ_ｒｅｏｒｄｅｒ_ｆｒａｍｅｓは、いつでもピクチャの出力順序を回復するのに必要な復号順での連続フレームの数である。バッファに格納された基準フレームの最大数と、基準ピクチャとして予め格納されている当該ピクチャを除く表示用の並べ替え対象ピクチャの最大数との合計は、最新のバッファの現在の容量以下となるようにセットされる。これは、バッファがオーバーフローできないこと、したがって該バッファの検査が不要であることを意味するものである。その代わりに、オプションの仮想基準デコーダ（ＨＲＤ）は、ピクチャがその出力タイムスタンプ前にバッファから除去されないようにチェックすることができる。

本発明の１つの態様によれば、符号化済みピクチャストリームを仮想的に復号する仮想デコーダが提供され、上記ピクチャを基準ピクチャまたは非基準ピクチャとして定義し、ピクチャの復号順と出力順とに関する情報がピクチャストリームからなるピクチャに対して定義される。上記仮想デコーダは、基準ピクチャと並べ替え対象ピクチャとのバッファ処理を行うためのピクチャ用バッファを具備し、さらに、上記仮想デコーダが、
上記バッファに対して新たな復号済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 前記チェックに基づいて、上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、該選択したピクチャを上記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、を実行する処理ブロックを具備することを主たる特徴とする。

本発明の別の態様によれば、符号化済みピクチャストリームを含む信号であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義する信号が提供される。上記信号は、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含み、上記第１の基準ピクチャの方が復号の順序において、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号順に上記信号のバッファ処理を行うように構成された複数のピクチャの表示を含むことを特徴とする。

本発明の第３の態様によれば、符号化済みピクチャストリームを形成するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するエンコーダが提供される。上記信号は、上記ピクチャストリームに対して、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含むように構成されたエンコーダにおいて、前記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を上記ビットストリームに対して形成するように構成されることを主たる特徴とする。

本発明の第４の態様によれば、
符号化済みピクチャストリームを仮想的に復号する仮想デコーダを具備するエンコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成されたエンコーダが提供される。上記エンコーダは、基準ピクチャと、並べ替え対象ピクチャとのバッファ処理を行うピクチャ用バッファを具備すること、並びに、上記仮想デコーダが、上記バッファに対して新たな復号済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 前記チェックに基づいて、上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、該選択したピクチャを上記バッファから除去し、ピクチャを選択しなかった場合、エラーを表示するステップと、を実行する処理ブロックを具備することを主たる特徴とする。

本発明の第５の態様によれば、符号化済みピクチャストリームを形成する方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義するステップと、上記ピクチャストリームからなるピクチャ用としてピクチャの復号順と出力順とに関する情報を定義するステップと、を具備する方法が提供される。上記方法は、
− 上記ピクチャの出力順を回復できるほど十分な数のピクチャであって、復号順にバッファ処理を行うように構成された上記のような複数のピクチャの表示を上記ピクチャストリームに対して定義するステップと、を備えることを主たる特徴とする。

本発明の第６の態様によれば、復号済みピクチャのバッファ処理を行う方法であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、上記バッファ内の上記基準ピクチャ数を定義する方法が提供される。上記方法は、基準ピクチャと復号済みピクチャの双方を表示順に配列するために、該基準ピクチャと復号済みピクチャの双方のバッファ処理を行うピクチャ用バッファを用いることを主たる特徴とする。

本発明の第７の態様によれば、復号済みピクチャのバッファ処理を行う手段を備えたデコーダであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、上記バッファ内の上記基準ピクチャの数を定義するように構成されたデコーダが提供される。上記デコーダは、バッファ処理を行う上記手段が、基準ピクチャと復号済みピクチャの双方を表示順に配列するために該基準ピクチャと復号済みピクチャの双方のバッファ処理を行うピクチャ用バッファを備えることを主たる特徴とする。

本発明の第８の態様によれば、符号化済みピクチャストリームを形成する、機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成されたソフトウェアプログラムが提供される。上記ソフトウェアプログラムは、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを主たる特徴とする。

本発明の第９の態様によれば、符号化済みピクチャストリームを仮想的に復号する機械で実行可能なステップを具備するソフトウェアプログラムであって、基準ピクチャまたは非基準ピクチャとして上記ピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するソフトウェアプログラムが提供される。上記ソフトウェアプログラムは、基準ピクチャと並べ替え対象ピクチャとのバッファ処理をピクチャ用バッファ内で行う機械で実行可能なステップを具備することを特徴とし、上記バッファに対して新たな復号済みピクチャを挿入する前に、以下の、
− 上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できるかどうかをチェックするステップと、
− 上記チェックに基づいて、
上記バッファから別のピクチャを除去せず上記新たな復号済みピクチャを上記バッファに挿入できない場合、上記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、上記バッファから除去する対象ピクチャを選択するステップと、
− ピクチャを選択した場合、上記バッファから上記選択済みピクチャを除去し、ピクチャを選択しなかった場合、エラーを表示する機械で実行可能なステップをさらに具備することを主たる特徴とする。

本発明の第１０の態様によれば、符号化済みピクチャストリームを形成するための、機械で実行可能なステップを具備するソフトウェアプログラムを格納する記憶媒体であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、ピクチャの復号順と出力順とに関する情報を上記ピクチャストリームからなるピクチャに対して定義するように構成された記憶媒体が提供される。上記記憶媒体は、上記ソフトウェアプログラムが、上記ピクチャの出力順序を回復できるほど十分な数のピクチャであって、復号順にバッファ処理を行うように構成された上記のような複数のピクチャの表示をビットストリームに対して形成するように構成する機械で実行可能なステップを具備することを主たる特徴とする。

本発明の第１１の態様によれば、復号済みピクチャのバッファ処理を行う手段を備えたデコーダを具備する電子装置であって、基準ピクチャまたは非基準ピクチャとしてピクチャを定義し、さらに、上記バッファ内の上記基準ピクチャの数を定義するように構成される電子装置が提供される。上記電子装置は、バッファ処理を行う上記手段が、基準ピクチャと復号済みピクチャの双方を表示順に配列するために上記基準ピクチャと復号済みピクチャの双方のバッファ処理を行うピクチャ用バッファを備えることを主たる特徴とする。

本発明の第１２の態様によれば、符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであって、基準ピクチャまたは非基準ピクチャとしてピクチャが定義され、前記ピクチャストリームからなるピクチャに対してピクチャの復号順と出力順とに関する情報が定義され、さらに、復号済みピクチャをバッファする手段を備えたデコーダへ前記信号を伝送する伝送チャネルが定義されるシステムが提供される。上記システムは、符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであって、基準ピクチャまたは非基準ピクチャとしてピクチャが定義され、上記ピクチャストリームからなるピクチャに対してピクチャの復号順と出力順とに関する情報が定義され、復号済みピクチャをバッファする手段を備えたデコーダへ前記信号を伝送する伝送チャネルが定義されることを主たる特徴とする。

本発明は、ＪＶＴ符号化規格における復号済みピクチャ用のバッファの処理問題を解決するものであり、この問題は従来のビデオ符号化規格には存在しなかったものである。本発明により、ＪＶＴ符号化規格用として提案されているその他の解決方法と比べてメモリの節減が図られる。ピクチャのバッファ処理を行うために必要なメモリを最少化できるという利点は、移動端末装置のような小型のデバイスでは著しい利点となる。

バッファによる解決方法では、復号済みピクチャが基準ピクチャとして使用されなくなるまで、かつ、復号済みピクチャの表示順序が来るまで、すべての復号済みピクチャがバッファ内にそのまま存在することになる。このバッファは、基準ピクチャ用として、並びに、表示順の並べ替え用として、個別のピクチャ用バッファと比べてメモリの節減を図るものとなる。

バッファを使用中のケースを示す前回の例について今一度再考してみよう。
復号時刻 P1 P7 BS4 BN2 BN3 BN5 BN6
表示時刻 P1 BN2 BN3 BS4 BN5 BN6 P7
バッファ P1 P1 P1 P1 BS4 BS4 BN6 P7
P7 BS4 BS4 P7 BN5 P7
P7 P7 P7

しかし、バッファによる解決方法において考慮すべきいくつかの問題が在る。バッファサイズは、依然として必要なすべてのピクチャ（すべての基準ピクチャと並べ替え対象ピクチャ）を格納できる十分な大きさにしておくことが望ましい。メモリ容量には制限が設けられている場合が多いため、バッファサイズはある種の妥協の産物となる。デコーダが十分なピクチャを格納して、エラーを伴うことなくすべてのピクチャを復号し、出力できるかどうかをエンコーダはチェックする必要がある。上記チェックは、符号化装置内のオプションの仮想基準デコーダ（ＨＲＤ）によって行うことができる。ＨＲＤは、符号化済みデータストリームを格納するための符号化済みピクチャ用バッファと、復号済み基準ピクチャのための、並びに、復号済みピクチャを表示順に並べ替えするための復号済みピクチャ用バッファとを具備する。同様に、ＨＲＤは復号装置のデコーダへのデータの移動をバッファ間で行う。しかし、ＨＲＤは、符号化済みピクチャの復号あるいは復号済みピクチャの出力を行う必要は全くなく、与えられた制約条件の下でピクチャストリームの復号を実行できるかどうかのチェックを行うものにすぎない。作動中、ＨＲＤは符号化済みデータストリームを受け取り、このデータストリームを符号化済みピクチャ用バッファへ格納する。さらに、ＨＲＤは符号化済みピクチャ用バッファから符号化済みピクチャを除去し、対応する仮想上復号したピクチャのうちの少なくともいくつかを復号済みピクチャ用バッファの中へ格納する。ＨＲＤは、符号化済みデータが符号化済みピクチャ用バッファの中へフローする入力レートと、符号化済みピクチャ用バッファからのピクチャの除去レートと、復号済みピクチャ用バッファからのピクチャの出力レートとを認知している。ＨＲＤは、符号化済みまたは復号済みピクチャ用バッファのオーバーフローに対するチェックを行い、現在の設定値を用いて復号が可能でないかどうかを示す。次いで、ＨＲＤは、バッファ処理違反についてエンコーダに通知する。その場合、エンコーダは基準フレームの数を減らすことにより符号化用パラメータを変更して、バッファ処理違反を避けるようにすることができる。上記とは別に、或いは上記に追加して、エンコーダは新たなパラメータを用いてピクチャの符号化を開始し、符号化済みピクチャをＨＲＤへ送信する。ＨＲＤは再びピクチャの復号を行い、必要なチェックを行う。さらに別の代替例として、エンコーダは最新の符号化フレームを破棄し、後でフレームを符号化して、バッファ処理違反が生じないようにすることも可能である。

スライスベースの処理
伝送パケット内にカプセル化を行う推奨最小単位はスライスすなわちデータ・パーティションである。最小の比較的独立に復号可能な単位はスライスである。したがって、バッファ処理モデルでは、スライス全体すなわちデータ・パーティション全体をある時刻に伝送することが想定されている。このモデルではまた、パケットベースのネットワークと伝送プロトコルとを用いて、スライス全体すなわちデータ・パーティション全体をある時刻に受け取ることも想定されている。

ある時刻に１つのスライスの復号を行うことが想定されている。したがって、仮想入力バッファスライスからデータが１スライスずつ除去される。提案された複雑さモデルを利用して、スライスの仮想復号に必要な時間が決定される。当該時間が時間切れになると、次のスライスを仮想的に復号することができる。

本発明のバッファ処理モデルの概観
基準デコーダは本セクションに記載のバッファモデルをベースにしたものである。このモデルは、前置デコーダ用バッファ、復号用バッファ、後置デコーダ用バッファの３つのバッファをベースにしている。前置デコーダ用バッファは圧縮データのバッファを行う。復号用バッファの処理は実在のデコーダの処理動作を表し、処理上の複雑さという制約条件を設定する。後置デコーダ用バッファには、動き補償用基準ピクチャ用として用いるおよび／または仮想的に表示する正しい時点を待機している再構成済みのピクチャが含まれる。

デフォルトのバッファサイズがプロファイル定義およびレベル定義の形で与えられる。バッファサイズのネゴシエーションを行うことも可能である。復号用バッファのサイズはスライスの最大サイズを示す。後置デコーダ用バッファのサイズは、例えば、バイトで示してもよいし、１６×１６ピクセルの単位で示してもよい。

２つのパラメータによって前置および後置デコーダ用バッファの処理動作を制御してもよい。初期前置デコーダ用バッファ処理時間と初期後置デコーダ用バッファ処理時間とは、いずれかのデータがバッファから除去される前に上記バッファの充填を行うのにかかる時間を規定するものである。この時間は各ビットストリームへ個々に信号で送られる。

データ単位（データ・パーティション、スライスあるいはピクチャ）に対して３つのタイムスタンプを関連づけることができる。各スライスとデータ・パーティションとは転送時間と関連づけられる。ファイルアクセスの場合、転送時間はファイルで示される。ファイルアクセスでない場合には実際の転送時間が用いられる。各スライスは復号時刻と関連づけることができる。この復号時刻を用いてスライスの復号を遅らせ、後置デコーダ用バッファのオーバーフローを避けるようにすることが可能となる。各ピクチャは表示時刻と関連づけられる。

共通のタイムスケールでタイムパラメータが与えられる。このタイムパラメータは９０ｋＨｚや２７ＭＨｚクロックのクロックチック（tick）などである。

上記モデルは、ビットストリームの任意の連続した、符号化済みの、独立に決定可能な部分に適用することができる。ランダムな位置からビットストリームにアクセスするなどのような不連続部分の場合にはモデルのリセットが行われる。

バッファ処理モデルの動作
モデルは以下のように定義される：

１．バッファは初期状態では空である。

２．データ・パーティションの実際のヘッダを除いて、スライスすなわちデータ・パーティションがその転送時刻に前置デコーダ用バッファに追加される。（８バイトなどの）或る一定量の追加メモリが各スライスに対して予約され、各スライスのヘッダが格納される。（実際のスライスヘッダはドラフトのＲＴＰペイロードフォーマット（ＶＣＥＧ−Ｎ７２Ｒ１）におけるパラメータセットインジケータなどのような何らかのペイロードヘッダの固有データと密接にリンクさせるようにしてもよい。ＨＲＤの目的だけのためにスライスのヘッダ部分からこの種のデータを除去することは実際的でない。そのため、一定サイズのスライスヘッダが想定される。

３．初期前置デコーダ用バッファ処理時間と呼ばれる時間中、データは前置デコーダ用バッファから除去されない。第１のスライスまたはデータ・パーティションがバッファに追加されると、上記時間はスタートする。

４．初期前置デコーダ用バッファ処理時間が時間切れになって、かつ、復号タイムスタンプが使用中であれば、ピクチャ用バッファ内のもっとも早いピクチャの復号時刻から復号タイマが起動される。上記条件が満たされなければ復号タイマは不要である。

５．ピクチャが、ピクチャの識別子の昇順に前置デコーダ用バッファスライスから１スライス分だけ除去される（モジュロ演算が用いられる）。特定ピクチャのスライスがスライスの伝送順に除去される。データ・パーティションを含むスライスは、復号用バッファが空になると、前置デコーダ用バッファから復号用バッファへ一度に移動する。しかし、タイマがスライスの復号時刻に達するまで、スライスは前置デコーダ用バッファから除去されない。

６．スライスは、スライスの計算済み復号継続時間の間ずっと復号用バッファ内にそのまま残っている。この継続時間は、２つの候補値、すなわちスライス／ｍａｘＭａｃｒｏｂｌｏｃｋＰｅｒＳｅｃ内の候補１＝マクロブロックの数、並びに、スライス／ｍａｘＢｉｔｓＰｅｒＳｅｃ内の候補２＝ビット数のうちの大きい方の値である。

７．対応する符号化済みピクチャの（復号順の）最後のスライスを復号用バッファから除去するとき、未圧縮のピクチャが後置デコーダ用バッファの中に入る。

８．初期後置デコーダ用バッファ処理時間と呼ばれる時間中、データは後置デコーダ用バッファから除去されない。後置デコーダ用バッファの中へ第１のピクチャを入れたときからこの時間はスタートする。

９．初期後置デコーダ用バッファ処理時間が時間切れになると、その時刻に後置デコーダ用バッファ内に存在するピクチャのもっとも早い表示時刻から再生タイマが起動される。

１０．再生タイマがピクチャのスケジュールされた表示時刻に達すると、ピクチャは仮想的に表示される。

１１．ピクチャは仮想的に表示され、基準ピクチャとして不要になると、後置デコーダ用バッファから除去される。

対応ビットストリーム要件
伝送または格納対象のビットストリームはいずれも以下の要件に従うものとする。
− 前置デコーダ用バッファの占有度はデフォルト値あるいは信号で送られたバッファサイズを超えないものとする。
− いずれのスライスも復号用バッファのサイズより大きくないものとする。
− 後置デコーダ用バッファの占有度はデフォルト値あるいは信号で送られたバッファサイズを超えないものとする。
− ピクチャの表示時刻前にまたはピクチャの表示時刻に後置デコーダ用バッファの中へ個々のピクチャを挿入するものとする。

或る一定のプロファイルとレベルとに従うデフォルトのバッファサイズを使用する場合、ビットストリームは上記プロファイルとレベルとに準拠することになる。

対応デコーダ要件
デコーダとビットストリームの双方で同じバッファサイズが想定されている場合、デコーダは、対応ビットストリームの形ですべてのピクチャを受け取り、復号する能力を備えたものとなる。さらに、仮想基準デコーダがピクチャを仮想的に表示することになっている場合、デコーダは、表示処理部へ個々のピクチャを同時に引き渡すものとする。

以下、図５のシステム、図６のエンコーダ１および仮想基準デコーダ（ＨＲＤ）５、図７のデコーダ２を参照しながら、本発明についてさらに詳細に説明する。符号化対象ピクチャは、例えば、カメラ、ビデオレコーダなどのビデオソース３から得られるビデオストリームからなるピクチャであってもよい。ビデオストリームからなるピクチャ（フレーム）はスライスなどのようなさらに小さな部分に分けることができる。このスライスはさらにブロックに分けることができる。エンコーダ１で、ビデオストリームが符号化され、伝送チャネルを介して記憶媒体（図示せず）へ伝送する情報が減少する。ビデオストリームのピクチャはエンコーダ１へ入力される。エンコーダは、符号化対象ピクチャうちのいくつかを一時的に格納するための符号化用バッファ１.１（図６）を備えている。エンコーダ１は、本発明に基づいて符号化タスクを適用できるメモリ１.３とプロセッサ１.２も備えている。メモリ１.３とプロセッサ１.２とは送信装置６と共通のものとしてもよいし、あるいは送信装置６は、送信装置６のその他の機能用の別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。エンコーダ１は動き予測および／または他の何らかのタスクを行ってビデオストリームの圧縮を行う。動き予測時に、符号化対象ピクチャ（現在のピクチャ）と直前および／または直後のピクチャとの間の類似性が探索される。類似性が発見されれば、比較対象ピクチャあるいはその一部を符号化対象ピクチャの基準ピクチャとして利用することができる。ＪＶＴでは、ピクチャの表示順と復号順とは必ずしも同じであるとはかぎらず、その場合、上記基準ピクチャは、基準ピクチャとして使用されている間はバッファ（符号化用バッファ１.１など）に格納しておく必要がある。エンコーダ１はまたピクチャの表示順序に関する情報を伝送ストリームの中へ挿入する。

上記符号化処理から、必要に応じて符号化済みピクチャがオプションの符号化済みピクチャ用バッファ１.５へ移される。符号化済みピクチャは、伝送チャネル４を介してエンコーダ１からデコーダ２へ伝送される。デコーダ２で、符号化済みピクチャが復号され、可能なかぎり符号化済みピクチャに対応する未圧縮ピクチャが形成される。個々の復号済みピクチャのバッファ処理は、上記復号済みピクチャが復号のほぼ直後に表示されず、基準ピクチャとして利用されなければ、デコーダ２のＤＰＢ２.１で行わることはない。本発明に準拠するシステムでは、基準ピクチャのバッファ処理と表示ピクチャのバッファ処理の双方が組み合わされ、これら双方の処理は同じ復号済みピクチャ用バッファ２.１を利用するものとなる。このことによって、２つの異なる場所に同じピクチャを格納する必要性がなくなり、したがって、デコーダ２のメモリ要件が減ることになる。

デコーダ１はメモリ２.３並びにプロセッサ２.２も含み、本発明による復号タスクの適用が可能となる。メモリ２.３とプロセッサ２.２とは、受信装置８と共通なものであってもよい。あるいは受信装置８は、受信装置８の別の機能用の別のプロセッサおよび／またはメモリ（図示せず）を備えたものであってもよい。

符号化／復号処理についてさらに詳細に考えてみよう。ビデオソース３から得られるピクチャはエンコーダ１へ入力され、符号化用バッファ１.１に好適に格納される。符号化処理は、必ずしも第１のピクチャがエンコーダへ入力された直後に開始されるとはかぎらず、或る一定量のピクチャが符号化用バッファ１.１で利用可能となった後に開始される場合もある。次いで、エンコーダ１は基準フレームとして使用する対象ピクチャから適切な候補を発見しようとする。次いで、エンコーダ１は符号化を行って、符号化済みピクチャを形成する。例えば、符号化済みピクチャは予測済みピクチャ（Ｐ）、双方向予測ピクチャ（Ｂ）、あるいはイントラ符号化済みピクチャ（Ｉ）となることができる。イントラ符号化済みピクチャは他のいずれのピクチャも用いることなく復号が可能であるが、別のタイプのピクチャは復号が可能となる前に少なくとも１つの基準ピクチャを必要とする。上述のピクチャタイプのうちのいずれのピクチャも基準ピクチャとして利用することが可能である。

エンコーダは、復号用タイムスタンプ（ＤＴＳ）と出力用タイムスタンプ（ＯＴＳ）の２つのタイムスタンプをピクチャに付ける。デコーダはこれらのタイムスタンプを利用して正しい復号時刻とピクチャ出力（表示）時刻とを決定することができる。しかし、当該タイムスタンプは必ずしもデコーダへ送信されるとはかぎらず、あるいは、デコーダが必ずしも当該タイムスタンプを利用するとはかぎらない。

エンコーダがＨＲＤ５を備えている場合、エンコーダはＤＰＢ５.２（ＤＰＢサイズ）のサイズを規定する。初期サイズは、ビデオストリーム（例えば解像度、カラー／ＢＷなど）に関連するいくつかのパラメータに依存して決めることができる。ＤＰＢ５.２（ＤＰＢ容量）に対する最大サイズも規定することができる。初期サイズは必ずしも最大サイズと同じであるとはかぎらないが、最大サイズよりも小さなものとすることができる。またＤＰＢに格納された最大数の基準フレームも規定される。この値は、本説明ではｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓと呼ばれる。

デコーダでは、ＤＰＢ２.１は限定されたサイズ（ＤＰＢサイズ）を有するが、このサイズはアプリケーションによっては必要に応じて復号処理中変動する場合もある。ＤＰＢ２.１の初期サイズはビデオストリーム（例えば解像度、カラー／ＢＷなどに関連する）いくつかのパラメータに依存して決めてもよい。ＤＰＢ５.２（ＤＰＢ容量）に対する最大サイズも規定することができる。初期サイズは必ずしも最大サイズと同じであるとはかぎらないが、最大サイズよりも小さなものとすることができる。またＤＰＢに格納された最大数の基準フレームも規定される。本説明ではこの値をｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓと呼ぶことにする。

符号化済みピクチャの伝送および／または格納（並びにオプションのバーチャルな復号）は第１の符号化済みピクチャの準備ができた直後に開始することができる。このピクチャは必ずしもデコーダの出力順で第１のピクチャとなるとはかぎらない。というのは、復号の順序と出力の順序とが同じではない場合もあるからである。しかし、デコーダ２のＤＰＢ２.１のサイズが限定されているため、ピクチャの復号時刻とピクチャの表示時刻との間の遅延時間の可能な最大値（表示用の並べ替え対象ピクチャの最大数）を定める必要がある。本説明ではこの値をｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓと呼ぶことにする。ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓは、ピクチャの出力順をいつでも回復するのに必要な復号順の連続フレームの数である。ＤＰＢに格納された基準フレームの最大数と、表示用の並べ替え対象ピクチャ（基準ピクチャとしてすでに格納済みのピクチャを除く）の最大数との合計はＤＰＢの現在の容量を越えてはならない。ＤＰＢサイズはどれだけの数のピクチャをＤＰＢ２.１に格納できるかを示すものである。このサイズは、（バイトでの）ＤＰＢのサイズを（バイトでの）ピクチャのサイズよって除することにより計算することができる。

ビデオストリームの第１のピクチャは符号化後伝送を開始することができる。符号化済みピクチャは、符号化済みピクチャ用バッファ１.５へ格納される。例えば、ビデオストリームの或る一定部分の符号化を行う後段において上記伝送を開始することができる。

デコーダ２、５は、例えばピクチャ順序カウントを用いることにより正しい順序で復号済みピクチャを出力することが望ましい。したがって並べ替え処理を明瞭かつ規範的に定義する必要がある。

次に、本発明の１つの実施形態に準拠するデコーダ２の処理動作について説明する。ＤＰＢ２.１には複数のピクチャを格納するためのメモリ用の場所が含まれる。これらの場所は本説明ではフレーム格納部とも呼ばれる。属性ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは本例ではフレーム格納部の予約状態（使用中／非使用中）のインジケータとして用いられる。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅの値は現在のフレーム格納部の使用状況を反映するものである。（０などの）第１の値はフレーム格納部が空であることを意味し、このフレーム格納部を安全にオーバーライトすることができる。（１などの）第２の値は、上記フレーム格納部が基準用として使用中のフレーム格納部である（但し並べ替え用フレーム格納部ではない）ことを意味し、（２などの）第３の値は、上記フレーム格納部が並べ替え用として使用するフレーム格納部（但し基準用フレーム格納部ではない）であることを意味する。（３などの）第４の値は、上記フレーム格納部が基準用および並べ替え用の双方用として使用するフレーム格納部であることを意味する。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅの初期値は第１の値とする。ピクチャの（仮想）表示を行うか行わないかを定義する別個の第２の属性を使用することも可能である。この第２の属性は“出力用として未使用”を示す値あるいは“出力用として使用”を示す値を持つことができる。“出力用として使用”とマークされたピクチャは、ピクチャがまだＤＰＢ内にあり、その出力の順番を待っていることを意味する。このピクチャは、出力の結果、“出力用として未使用”とマークするものとする。第２の属性を使用する場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを用いて第１および第２の値のみを使用することになる。その場合、第１と第２の属性の組み合わせによって、４つの異なる代替値を持つＦｒａｍｅＳｔｏｒｅＵｓａｇｅと同じ情報が与えられる。ピクチャの有効性（有効／無効）を表す属性を定義することも可能である。隣接するｆｒａｍｅ＿ｎｕｍ間で検出した空隙を満たすためにピクチャを意図的に挿入した場合、ピクチャは“無効”とマークされる。そうでない場合には、ピクチャは“有効”とマークされ、エラー隠蔽手段によって正しい復号あるいは再構成を行うことができる。バッファ処理済みピクチャの復号の順序が必然的に含まれるフレーム格納部に一意的インデックスを設けることも可能である。

復号処理手順の開始時に、すべてのフレーム格納部の状態は空すなわち未使用にセットされる。このセットは、すべてのフレーム格納部に対して、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第１の値にセットすることにより行われる。デコーダ２は以下の変数を（０などの）初期値にセットすることも可能である：基準用または出力用のいずれかの使用中フレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｉｎ＿ｕｓｅ、あるいは、基準用として使用中のフレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｕｓｅ＿ｒｅｆ、および、出力用として使用中のフレーム格納部の数値を含むｎｕｍ＿ｆｒａｍｅｓ＿ｕｓｅ＿ｏｕｔｐｕｔ。

追加フレーム格納部を利用して新たな復号済みピクチャが節減される。ＤＰＢ＋追加フレーム格納部は拡張ＤＰＢ（ＥＤＰＢ）と呼ばれる。

ステップ１：復号
デコーダ２は、最小の復号用タイムスタンプを有するピクチャから始まる、符号化済みピクチャの復号を開始する。該ピクチャは、復号が行われると、追加フレーム格納部へ格納される。この復号対象ピクチャはフレームまたはフィールドのいずれかであってもよい。復号対象ピクチャは、基準ピクチャであればＦｒａｍｅＳｔｏｒｅＵｓａｇｅが第４の値にセットされ、基準ピクチャでなければ第３の値にセットされる。この復号対象ピクチャには、“並べ替え用として使用”というラベルが最初につけられる。というのは、ＤＰＢに関する情報がないこのステップでは、新たな復号済みピクチャの並べ替えが必要かどうかを判定することができないからである。

ステップ２：並べ替え
以下のステップ前にデコーダ２は、復号対象の少なくとも１つのさらに多くのピクチャ、並びに、復号対象の次のピクチャのスライスヘッダから得られる何らかの情報が存在するどうかを知っている必要がある。

ステップ２.１：復号対象の少なくとも１つのさらに多くのピクチャが存在し、かつ、ＤＰＢ内の並べ替え対象フレームの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ未満であれば、デコーダ２はピクチャを出力しない。基準用として新たな復号済みピクチャを使用する場合にはステップ３を実行し、上記ピクチャを使用しない場合にはステップ４を実行する。

ステップ２.２：ＤＰＢ内で復号の対象とする少なくとも１つのさらに多くのピクチャが存在し、さらに、並べ替えの対象とするフレームの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓに等しければ以下の条件がチェックを受けることになる。
− 上記新たな復号済みピクチャがフレームである。
− 上記追加フレーム格納部が２つのフィールドを含む。
− 単一のフィールドが追加のフレーム格納部内に存在する場合、復号対象の次のピクチャが同じフレームのその逆パリティではない。

上記条件のいずれも真でなければ、ステップ１へ進んで、同じフレームの逆パリティフィールドの復号を行う。

次いで、上記条件のうちの少なくとも一つが真であれば、ＤＰＢ内のフレーム格納部と追加フレーム格納部とを詳しく点検して、どのピクチャを出力する必要があるかを発見することになる。ＤＰＢと追加フレーム格納部における並べ替え対象ピクチャ間での出力順では第１のピクチャであるピクチャが出力される。出力順に第１のピクチャを決定する方法については後程説明する。出力済みピクチャがフィールドであり、かつ、同じフレームの逆パリティフィールドが存在する場合、双方のフィールドが出力される。出力済みピクチャは“並べ替え用として未使用”とマークすることが望ましい。

新たな復号済みピクチャを出力し、基準用として利用しなければステップ１へ進んで、次のピクチャを復号し、新たな復号済みピクチャを基準用として利用する（ただし並べ替え用としては利用しない）場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは第２の値（１）にセットされ、ステップ３が後続することになる。新たな復号済みピクチャを並べ替え用として利用する（ただし基準用としては利用しない）場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第３の値（２）にセットし、次いで、ステップ４へ進んで、並べ替え用としてピクチャを格納する。基準用および並べ替え用双方として新たな復号済みピクチャを利用する場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅを第４の値（３）にセットし、次いで、ステップ３へ進む。

ステップ２.３：復号対象ピクチャが存在しなくなった場合、“並べ替え用として使用”とまだマークされているすべてのピクチャを出力順に出力するものとする。次いで、デコーダはさらに多くの復号対象ピクチャが生じるまで作動を停止する。

ステップ３：ピクチャに“基準用として未使用”とマーク付けを行う。
新たな復号済みピクチャが基準用ピクチャであれば、“基準用として使用”とマークされたピクチャから成るセット済みのフレーム格納部に対して“スライディングウィンドウ”または“適応型メモリ制御”メカニズムを適用する。

ステップ４：格納
新たな復号済みピクチャがフレームであれば、ステップ４.１を実行し、そうでなければステップ４.２を実行する。

ステップ４.１：新規に復号されたフレームを格納する前に、ＤＰＢ２.１の中に少なくとも１つの空のフレーム格納部が存在することが望ましい。ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは追加フレーム格納部のＦｒａｍｅＳｔｏｒｅＵｓａｇｅに等しくセットされる。ステップ１へ進み、次のピクチャの復号を行う。

ステップ４.２
新規に復号されたフィールドの場合、同じフレームのその逆パリティフィールドがＤＰＢ２.１内に存在しなければ、宛先フレーム格納部が空のフレーム格納部になる。この場合、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは追加フレーム格納部のＦｒａｍｅＳｔｏｒｅＵｓａｇｅに等しくセットされる。逆パリティフィールドがＤＰＢ２．１内に存在すれば、その逆パリティフィールドと同じフレーム格納部の中へ新たな復号済みピクチャを格納することが望ましく、ＦｒａｍｅＳｔｏｒｅＵｓａｇｅは変化しない。ステップ４.３へ進み、次のピクチャの復号を行う。

ステップ４.３：新たな復号済みピクチャをＤＰＢの中へ格納した後、最新の復号済みピクチャをフレーム格納部に格納することが想定される。このフレーム格納部のフレームは０である。第２の最新の復号済みピクチャはフレーム格納部に格納される。このフレーム格納部のＦｒａｍｅＳｔｏｒｅＩｎｄｅｘは１である。等々。最後に、ステップ１を実行して、次のピクチャの復号を行う。

“基準用として未使用”とピクチャにマーク付けを行うこと、および、“並べ替え用として未使用”というピクチャへのマーク付けが分離されることを指摘しておく。

如上のステップでの処理動作の理解に役立てるために、並べ替え処理を行うための２つの例を示す。ピクチャラベルの後（またはピクチャラベルより下の）イタリック体の数字はｆｒａｍｅ＿ｎｕｍを示す。基準ピクチャはピクチャラベルの文字にアンダーラインを付すことにより表示する。‘ｘ’は次のピクチャの復号前にはピクチャが並べ替えされないことを意味する。

例１．ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ＝１；１０フレームの符号化を行う場合。

例２：ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ＝２；１３フレームの符号化を行う場合。

デコーダ２が、符号化済みピクチャを復号できないことに気づいた場合、ＤＰＢ２.１のサイズは極端に小さなものにしてもよい。アプリケーションによっては、例えば符号化用パラメータを変更して、基準ピクチャを使用したり、さらに大きなＤＰＢサイズを使用したりする旨の通知をデコーダ２がエンコーダに対して行うことができるものもある。エラー状態では、デコーダ２は当該復号済みピクチャをそのまま出力してもよい。上記復号済みピクチャはデコーダ２が管理して、いくつかのデフォルトピクチャ（空のフレームなど）の復号および／または出力を行ったものである。

並べ替え用スライディングウィンドウ操作：ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓを利用して、並べ替え目的のためのスライディングウィンドウの操作を定義する。並べ替え対象ピクチャを出力順に配列し、ウィンドウの範囲の中から第１にジャンプすべきピクチャを発見する。並べ替え対象ピクチャの数がｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓに達するとすぐに、１つのスライディングウィンドウ操作の結果として第１のピクチャが確実にウィンドウの中から出力順に落ちることになる。このサブセクションは、“並べ替え用として使用”とマークされているピクチャ間で出力順がもっとも早いピクチャを発見する方法を指定するものである。

ステップ１：初期化
復号順に最も古いピクチャが候補ピクチャとなるようにＤＰＢ１をセットする。

ステップ２：
（復号順に）第２の最も古いピクチャから最新のピクチャへのループを行い、ループカウンタとしてｉを用いる。ループ本体はステップ２.１とステップ２.２とによって構成される。

ステップ２.１：ピクチャｉがＩＤＲピクチャであれば、候補ピクチャはループを発見したり、中断したりするピクチャである。

ステップ２.２：ピクチャｉのＰＯＣが候補ピクチャのＰＯＣ未満であれば、候補ピクチャとしてピクチャｉをセットする。

ステップ３：終了
候補ピクチャは出力順に最も古いピクチャである。ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓおよびｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓは、例えば、シーケンスパラメータセットによって何らかの方法でデコーダ２へ信号で送られる。異なるシーケンスパラメータセットが有効になる度に、ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓまたはｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが変化する可能性がある。したがって、ＤＰＢに対して特別の注意を払うべきである。

１．５．１：ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓの変化
ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓが増加する場合、特別のアクションを行う必要はない。ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓが減少する場合、ＤＰＢに対する単純な処理操作すなわちｄｉｆｆ＿ｒｅｆ＿ｆｒａｍｅｓ＝新たなｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ−古いｎｕｍ＿ｒｅｆｆｒａｍｅｓにするという提案が行われている。復号順で最も古いものから得られるすべてのｄｉｆｆ＿ｒｅｆ＿ｆｒａｍｅｓ基準フレームには“基準用として未使用”とマークをつけるものとする。

１．５．２ ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓの変更
ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが増加する場合、１復号済みピクチャ当たり０ピクチャが（新規のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）−（古いｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）個のピクチャの形で（古いｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）ピクチャの後に出力される。というのは、復号済みピクチャは新たなシーケンスパラメータセットを使用するからである。例えば、ビットストリームの２つの部分のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓはそれぞれ１および２である。Ｐ３が復号される場合、ピクチャは出力されない。

ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓが減少する場合、新たなシーケンスパラメータセットを用いて２以上のピクチャが復号済みピクチャの形で出力される。例えば、ビットストリームの２つの部分のｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓはそれぞれ２および１である。Ｉ０が復号される場合、２つのピクチャＢ５とＰ６とが同時に出力される。

基準ピクチャと呼ばれる予測用として格納されたピクチャは、“基準用として使用”とマークされ、短期基準ピクチャとラベルをつけられる。その場合、上記短期ピクチャは、該ピクチャのｆｒａｍｅ＿ｎｕｍｂｅｒとパリティとによって特定される。短期ピクチャには長期基準フレームインデックスを割り当ててもよい。その場合、上記短期ピクチャは該短期ピクチャの長期インデックスにより特定される。予測用として格納されないピクチャは“予測用として未使用”とラベルをつけられる。基準ピクチャ用バッファは、ＤＰＢにおいて“基準用として使用”とマークされたピクチャによって構成されるピクチャセットである。基準ピクチャ用バッファからピクチャを除去する処理は“基準用として未使用”とピクチャにマークを付けることを意味する。基準ピクチャ用バッファをリセットする処理は、基準ピクチャ用バッファ内のすべてのピクチャに“基準用として未使用”とマークを付けることを意味する。短期の基準ピクチャは、有限の継続時間の間、ＭａｘＦｒａｍｅＮｕｍによって示される基準用としてマークがつけられた状態のままにしていてもよい。長期基準ピクチャは、次のＩＤＲピクチャまで“基準用として使用”とマークされた状態のままにしていてもよい。ｍｅｍｏｒｙ＿ｍａｎａｇｅｍｅｎｔ＿ｃｏｎｔｒｏｌ＿ｏｐｅｒａｔｉｏｎコマンドを用いて、基準ピクチャ用バッファの内容修正を行うことが可能である。

本発明の別の実施形態では、ＨＲＤ５を利用して、デコーダ２が行う以外の符号化済みピクチャの仮想的復号がエンコーダ１を用いて同様に行われる。プレデコーディング用バッファとして符号化済みピクチャバッファ１．５をＨＲＤ５に対して使用することが可能である。ＨＲＤ５におけるバーチャルな復号の１つの狙いとして、非平衡符号化／復号タスクに起因して生じるエラーの復号を行うためにリスクを取り除くという狙いがある。ＨＲＤ５は、ＨＲＤ５が復号したピクチャを一時的に格納するための復号済みピクチャ用バッファ５．２（ＤＰＢ）を備える。また、ＨＲＤ５において、基準ピクチャ用バッファ処理と表示ピクチャ用バッファ処理の双方の処理が組み合わされ、これら双方の処理では同じ復号済みピクチャ用バッファ５．２が使用されるため、エンコーダ１のメモリ要件が小さくなる。すべての復号済みピクチャは、基準ピクチャとしてもはや使用されなくなるまで、かつ、ピクチャの（バーチャルな）表示時刻に達するまでバッファ内にそのまま存在する。バーチャルという用語は、この好適な実施形態で復号を実行するエンコーダ１のＨＲＤ５において、復号済みピクチャが表示されないという事実を意味するものであるが、ＨＲＤ５は、例えば極端に小さなバッファサイズのため、デコーダ２の復号処理時にエラーが生じる可能性があるかどうかのチェックを行うものにすぎない。エラーが発生すれば、ＨＲＤ５はいくつかの符号化用パラメータを変更する旨をエンコーダに通知することが可能であり、例えば、（ＤＰＢの最大サイズがすでに使用中でなければ）、ある実施構成においてＳＥＩ（補足改善情報）メッセージをデコーダ１へ送信することにより、デコーダ１のＤＰＢ２．１のサイズを増やすことができる。

符号化と同時に復号処理を行ってもよい。あるいはエンコーダはまずビットストリームを作成し、次いで、ビットストリームの準備ができたとき、該エンコーダがＨＲＤ５への入力を行って、ビットストリームがＨＲＤ５要件と処理レベル要件とを満たすかどうかのチェックを行うことになる。ＨＲＤは、符号化済みストリームの特徴に対応して符号化済みピクチャ用バッファにおける初期バッファの処理遅延などのいくつかのＨＲＤパラメータを作成し、修正することも可能である。

上記目的を実現するために、並べ替え処理はＨＲＤ関連のいずれの時間情報にも左右されることはない。というのは、このような情報はデコーダ内には存在しない場合があるからである。同時に、デコーダがＨＲＤのＤＴＳとＯＴＳとに正確に従わないことが許容されることが望ましい。例えば、ストリーミング用レコーダのようなアプリケーションは、可能な限り高速にビットストリームを受け取り、これらのビットストリームを復号し、復号済みシーケンスを格納したり、伝送チャネル容量に起因して低速に作動したりするものになる。このケースでは、ＨＲＤのＤＴＳとＯＴＳとに従うことはできない。

本発明は、多くの種類のシステムおよび装置で適用可能である。エンコーダ１およびオプションとしてＨＲＤ５を備えた送信装置６は、好適には、符号化済みピクチャを伝送チャネル４へ伝送する送信機７を備えることが望ましい。受信装置８は、デコーダ２、符号化済みピクチャを受信する受信機９および復号済みピクチャの表示が可能な表示装置１０を備える。伝送チャネルは、例えば地上回線通信チャネルおよび／または無線通信チャネルであってもよい。上記送信装置と受信装置とは、１または２以上のプロセッサ１.２、２.２も備え、これらのプロセッサは、本発明に基づいて、ビデオストリームの符号化／復号処理を制御する必要なステップを実行することができる。したがって、本発明に準拠する方法は、主として、プロセッサの機械で実行可能なステップとして実行することができる。装置のメモリ１.３、２.３においてピクチャのバッファ処理を実行することも可能である。エンコーダのプログラムコード１.４をメモリ１.３の中へ格納することも可能である。それぞれ、デコーダのプログラムコード２.４をメモリ２.３の中へ格納することが可能である。

再帰時間階層符号化方式の１例を示す。 インタリーブされた形で２または３以上の独立に符号化されたスレッドに一連のピクチャを分割するビデオ冗長符号化と呼ばれている方式を描く。 圧縮効率の改善を潜在的に図る１例を提示する。 エラー回復力の向上を図る利用可能なイントラピクチャ延期法の１例を提示する。 本発明に準拠するシステムの好適な実施形態を描く。 本発明に基づくエンコーダの好適な実施形態を描く。 本発明に基づくデコーダの好適な実施形態を描く。

Claims (32)

1. 符号化済みピクチャストリームを仮想的に復号する仮想デコーダであって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定するように構成された仮想デコーダにおいて、基準ピクチャ及び並べ替え対象ピクチャ双方をバッファするピクチャバッファを具備し、ピクチャを復号順にバッファするように入力したとき、前記ピクチャバッファにバッファされる、出力順を回復できるほど十分なピクチャ数を規定する属性値をエンコーダから受信するように構成し、さらに、
   前記バッファに対して新たな復号済みピクチャを挿入する前に、
   前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できるかどうか判定するために、前記ピクチャバッファの占有度レベルをチェックするステップと、
   前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
   ピクチャを選択した場合、該選択したピクチャを前記バッファから除去し、ピクチャを選択しなかった場合、エラーを標示するステップと、
   を実行する処理ブロックを具備することを特徴とする仮想デコーダ。
2. 請求項１に記載の仮想デコーダであって、
   前記バッファにおいて前記基準ピクチャ数を規定する第１の属性と、
   前記バッファにおいて前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定する第２の属性と、
   を具備することを特徴とする仮想デコーダ。
3. 符号化済みピクチャストリームを形成するエンコーダであって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定するように構成するエンコーダにおいて、
   前記ピクチャストリームが、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含み、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように為すステップと、
   前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示をデコーダのために前記ピクチャストリームに対して形成するステップと、
   を実行するプロセッサを備えることを特徴とするエンコーダ。
4. 請求項３に記載のエンコーダであって、
   請求項１に記載の仮想デコーダが信号を処理する場合であっても、前記仮想デコーダがエラーを標示しないように前記信号を形成するように構成されることを特徴とするエンコーダ。
5. 前記除去対象ピクチャがまだ表示されていなければ、該ピクチャを除去しないようにすることを特徴とする、請求項３または４に記載のエンコーダ。
6. 前記バッファのサイズを規定し、基準ピクチャとして使用するピクチャ数を規定することを特徴とする、請求項３、４または５に記載のエンコーダ。
7. 任意の特定時点において、前記基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号順にバッファされるピクチャ数との合計が前記バッファのサイズ以下となるように、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定することを特徴とする、請求項６に記載のエンコーダ。
8. ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファのサイズを規定し、前記バッファにおいて前記基準ピクチャ数を規定し、前記バッファにおいて前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定し、基準ピクチャとして使用する前記ピクチャ数と、基準ピクチャとして使用しない、復号順にバッファされるピクチャ数との合計が前記バッファのサイズ以下となるように、並べ替え対象ピクチャ数を規定することを特徴とする、請求項３乃至７のいずれか一項に記載のエンコーダ。
9. ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファのサイズを規定し、前記バッファ内の基準ピクチャの数を規定し、さらに前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定し、基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号順にバッファされるピクチャ数との合計が前記バッファサイズ以下となるように、前記バッファサイズを規定することを特徴とする、請求項３乃至８のいずれか一項に記載のエンコーダ。
10. 符号化済みピクチャストリームを仮想的に復号する仮想デコーダを具備するエンコーダであって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定するように構成されたエンコーダにおいて、
    基準ピクチャ及び並べ替え対象ピクチャ双方をバッファするピクチャバッファを具備し、
    前記仮想デコーダが、ピクチャを復号順にバッファするように入力したとき、前記ピクチャバッファにバッファされる、出力順を回復できるほど十分なピクチャ数を規定する属性値を前記エンコーダから受信するように構成し、さらに
    前記仮想デコーダが、前記バッファに対して新たな復号済みピクチャを挿入する前に、
    前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できるかどうか判定するために、前記ピクチャバッファの占有度レベルをチェックするステップと、
    前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    ピクチャを選択した場合、該選択したピクチャを前記バッファから除去し、ピクチャを選択しなかった場合、エラーを標示するステップと、
    を実行する処理ブロックを具備することを特徴とするエンコーダ。
11. 請求項１０に記載のエンコーダであって、
    前記バッファにおいて前記基準ピクチャ数を規定する第１の属性と、
    前記バッファにおいて前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定する第２の属性と、
    を有することを特徴とするエンコーダ。
12. 符号化済みピクチャストリームを形成する方法であって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記ピクチャストリーム内の各ピクチャに対してピクチャの復号順と出力順とに関する情報を規定するステップを有する方法であって、
    前記信号に少なくとも第１の基準ピクチャと第２の基準ピクチャとを含めるステップであって、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように為すステップと、
    前記ピクチャの出力順を前記ピクチャストリームまで回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示を規定するステップと、
    を有することを特徴とする方法。
13. 請求項１に記載の仮想デコーダが信号を処理する場合であっても、前記仮想デコーダがエラーを標示しないように前記信号を形成することを特徴とする、請求項１２に記載の方法。
14. 復号済みピクチャをバッファする方法であって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファ内の基準ピクチャ数を規定する方法において、基準ピクチャと復号済みピクチャ双方を出力順に配列するために、前記基準ピクチャと復号済みピクチャ双方をバッファするピクチャバッファを用いることを特徴とする方法。
15. 前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定することを特徴とする、請求項１４に記載の方法。
16. 請求項１５に記載の方法であって、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数に関する情報を利用してピクチャを出力するように前記デコーダを構成する方法において、
    前記バッファに対して新たな復号済みピクチャを挿入する前に、
    前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    前記チェックに基づいて、前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    ピクチャを選択した場合、該選択したピクチャを前記バッファから除去するステップと、
    を実行することを特徴とする方法。
17. 復号済みピクチャをバッファする手段を備えたデコーダであって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、さらに、前記バッファ内の基準ピクチャ数を規定するように構成されたデコーダにおいて、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含む信号を入力する入力部を具備することを特徴とし、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように構成され、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示を前記信号がさらに含むことを特徴とし、さらに、前記バッファする手段が、基準ピクチャ及び復号済みピクチャ双方を出力順に配列するために前記基準ピクチャ及び復号済みピクチャ双方をバッファするピクチャバッファを備え、前記標示に基づいて前記ピクチャバッファのサイズを規定する規定装置を具備することを特徴するデコーダ。
18. 前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定することを特徴とする、請求項１７に記載のデコーダ。
19. 請求項１８に記載のデコーダであって、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数に関する情報を利用して、ピクチャを出力するように構成されることを特徴とし、さらに、
    前記バッファに対して新たな復号済みピクチャを挿入する前に、
    前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できるかどうかをチェックするステップと、
    前記チェックに基づいて、前記バッファから別のピクチャを除去せず前記新たな復号済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択するステップと、
    ピクチャを選択した場合、該選択したピクチャを前記バッファから除去するステップと、
    を実行する処理ブロックを具備することを特徴とするデコーダ。
20. 前記除去対象ピクチャがまだ表示されていなければ、該ピクチャを除去しないことを特徴とする、請求項１９に記載のデコーダ。
21. 前記バッファのサイズを規定し、基準ピクチャとして使用するピクチャ数を規定することを特徴とする、請求項１７乃至２０のいずれか一項に記載のデコーダ。
22. 任意の特定時点において、前記基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号順にバッファされるピクチャ数との合計が前記バッファのサイズ以下となるように、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定することを特徴とする、請求項２１に記載のデコーダ。
23. ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファにおいて前記基準ピクチャ数を規定し、前記バッファにおいて出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定するデコーダであって、その場合、前記バッファに対して新たな復号済みピクチャを挿入する前に、前記バッファから１つのピクチャを除去し、基準ピクチャとして使用しない前記バッファ内の当該ピクチャであって、前記バッファからすでに出力されている当該ピクチャから前記除去対象ピクチャを選択することを特徴とする、請求項１７乃至２２のいずれか一項に記載のデコーダ。
24. ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファのサイズを規定し、前記バッファ内の基準ピクチャ数を規定し、前記バッファの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数が規定されるデコーダであって、その場合、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を、基準ピクチャとして使用するピクチャの数と、基準ピクチャとして使用しないピクチャの数であって、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数との合計が前記バッファのサイズ以下となるように規定することを特徴とする、請求項１７乃至２３のいずれか一項に記載のデコーダ。
25. ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、前記バッファのサイズを規定し、前記バッファ内の基準ピクチャ数を規定し、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数を規定し、基準ピクチャとして使用するピクチャ数と、基準ピクチャとして使用しない、復号順にバッファされるピクチャ数との合計が前記バッファサイズ以下となるように、前記バッファのサイズを規定することを特徴とする、請求項１７乃至２４のいずれか一項に記載のデコーダ。
26. 符号化済みピクチャストリームを形成する、機械で実行可能なステップを有するソフトウェアプログラムであって、エンコーダのプロセッサに、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定させるソフトウェアプログラムにおいて、前記エンコーダのプロセッサに
    少なくとも第１の基準ピクチャと第２の基準ピクチャとを有する信号を含み、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように為すステップと、
    前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示をピクチャストリームに対して形成するステップと、
    を実行させることを特徴とするソフトウェアプログラム。
27. 符号化済みピクチャストリームを仮想的に復号する、機械で実行可能なステップを有するソフトウェアプログラムであって、エンコーダのプロセッサに、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定させるソフトウェアプログラムにおいて、前記エンコーダのプロセッサに
    基準ピクチャと並べ替え対象ピクチャ双方をピクチャバッファ内でバッファするステップを実行させることを特徴とし、さらに前記エンコーダのプロセッサに
    前記バッファに対して新たな復号済みピクチャを挿入する前に、
    ピクチャを復号順にバッファするように入力したとき、前記ピクチャバッファにバッファされる、出力順を回復できるほど十分なピクチャ数を規定する属性値を前記エンコーダから受信し、
    前記バッファから別のピクチャを除去せずに前記新たな復号済みピクチャを前記バッファに挿入できるかどうか判定するために、前記ピクチャバッファの占有度レベルをチェックし、
    前記チェックに基づいて、前記バッファから別のピクチャを除去せず前記新たな復号済みピクチャを前記バッファに挿入できない場合、前記バッファからすでに出力されている当該ピクチャであって、基準ピクチャとして使用されていない、前記バッファから除去する対象ピクチャを選択し、
    ピクチャを選択した場合、前記バッファから前記選択済みピクチャを除去し、ピクチャを選択しなかった場合、エラーを標示するステップ
    を実行させることを特徴とするソフトウェアプログラム。
28. 復号済みピクチャをバッファする、機械で実行可能なステップを有するソフトウェアプログラムであって、デコーダのプロセッサに、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、さらに、前記バッファ内の前記基準ピクチャの数を規定させるソフトウェアプログラムにおいて、前記デコーダのプロセッサに
    少なくとも第１の基準ピクチャと第２の基準ピクチャとを含む信号を処理するステップを実行させることを特徴とし、さらに前記デコーダのプロセッサに
    前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行し、さらに、前記信号は、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示を少なくともさらに含み、その場合、前記基準ピクチャ及び復号済みピクチャ双方をバッファするための、さらに、ピクチャバッファ内において前記基準ピクチャ及び復号済みピクチャを表示順に配列するステップと、
    前記標示に基づいて前記バッファのサイズを規定するステップと
    を実行させることを特徴とするソフトウェアプログラム。
29. 符号化済みピクチャストリームを形成するための、機械で実行可能なステップを有するソフトウェアプログラムを格納する計算機可読記憶媒体であって、エンコーダのプロセッサに、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定させるソフトウェアプログラムを格納する計算機可読記憶媒体において、
    前記ソフトウェアプログラムが前記エンコーダのプロセッサに、
    前記信号に少なくとも第１の基準ピクチャと第２の基準ピクチャとを含め、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように為すステップと、
    前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示をビットストリームに対して形成するステップと、
    を実行させることを特徴とする計算機可読記憶媒体。
30. 符号化済みピクチャストリームを形成するエンコーダを具備する電子装置であって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定するように構成された電子装置において、
    前記ピクチャストリームが、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含むように構成された電子装置であって、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行することを特徴とし、さらに、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示を前記ピクチャストリームに対して形成するように構成されたことを特徴とする電子装置。
31. 復号済みピクチャをバッファする手段を備えたデコーダを具備する電子装置であって、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、さらに、前記バッファ内の前記基準ピクチャの数を規定するように構成された電子装置において、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含む信号を入力する入力部を具備することを特徴とし、前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように構成された信号を入力し、さらに、前記信号は、前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示をさらに含むことを特徴とし、さらに、バッファする前記手段が、基準ピクチャ及び復号済みピクチャ双方を出力順に配列するために前記基準ピクチャ及び復号済みピクチャ双方をバッファするピクチャバッファを備え、前記標示に基づいて前記ピクチャバッファのサイズを規定する規定装置を具備することを特徴する電子装置。
32. 符号化済みピクチャストリームを含む信号を形成するエンコーダを具備するシステムであり、ピクチャの属性値を基準ピクチャまたは非基準ピクチャを示す値にセットし、ピクチャの復号順と出力順とに関する情報を前記ピクチャストリーム内の各ピクチャに対して規定するように構成したシステムであって、前記ピクチャストリームが、少なくとも第１の基準ピクチャと第２の基準ピクチャとを含むように構成されたシステムにおいて、
    前記第１の基準ピクチャの方が復号順において前記第２の基準ピクチャに先行し、前記第２の基準ピクチャの方が出力順において前記第１の基準ピクチャに先行するように為すステップと、
    前記ピクチャの出力順を回復できるほど十分なピクチャ数であって、復号順にバッファされるピクチャ数の標示を前記ピクチャストリームに対して形成するステップと、
    を実行するプロセッサをエンコーダ内に備えることを特徴とするシステム。

Images