JP4775382B2 - 符号化装置と符号化方法 - Google Patents

Description

本発明は、ビデオ、オーディオまたはその他のデータの符号化装置に関する。

最も近い関連従来技術は、ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−ＴＶＣＥＧ’，Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ’ｓ ｄｒａｆｔ ｓｔａｎｄａｒｄ ｄａｔｅｄ ２００２−１１−１８， ａｎｄ ｃａｌｌｅｄ ＪＶＴ−Ｅ１４６ｄ３７に記載されている。（本明細書のファイル名は：ＪＶＴ−Ｅ１４６ｄ３７ｎｃｍ．ｄｏｃ）。このモデルは、デコーダバッファ、デコードタイミングの制約、並びにその他の関連する要求についての仮想参照(hypothetical reference)デコーダを含んでいる。このモデルは、図１に示すようにエンコードシステムおよびデコードシステムを設計するエンジニアへの参考に供される。
エンコードシステムの設計者は、そのモデルによって適切に処理されるストリームを生成するように、エンコードシステムの設計を試みる。
また、技術者は、このモデルを基にデコードシステムを設計し、しばしば、そのデコーダをＨＲＤの動作にできる限り近いものになるように努める。そのようなモデルは、正確に実現できない理想的な動作や動作を有する場合があり、デコーダの設計技術者は、理想的でない特性および理想的でない動作を補償する手段を付加する必要がある。

また、このモデルのタイミングを記述するために式が用いられる。ＪＶＴ−Ｅ１４６ｄ３７のセクションＣ．１．１．１で引用され、あるいはそこから得られる以下の式は、このモデルの初期状態を示している。

ＨＲＤは、ランダムアクセスポイントＳＥＩメッセージによって規定される任意のランダムアクセスポイントに続く最初のピクチャで初期化可能である。そのバッファは、初期状態で空である。そのランダム・アクセスＳＥＩメッセージ後の最初のピクチャの最初のビットは、ＣＰＢに関連付けられたビットレートｂｉｔ＿ｒａｔｅ〔ｋ〕における初期到達(arrival) 時間ｔ_ａｉ（０）＝０において、バッファに入りはじめる。

説明：
ｔ＝０における、ｔ_ａｉ（０）＝０と、デコーダのバッファの満杯状態を示すデコーダバッファフルネス(decoder＿buffer＿fullness(t) と呼ぶ) は：
decoder ＿buffer＿fullness(0) ビット
である。
続くピクチャがデコーダのバッファに到達する時間を示す到達時間は、以下の式（１）で規定される。

この式ｔ_ａｉ，_{ｅａｒｌｉｅｓｔ}（ｎ）は、以前は下記式（２）のように定義されていた。
しかしながら、それは最近、式（３）のように変更された。

しかしながら、後者は、恐らく、編集エラーであり、例えば、ｃｐｂ＿ｒｅｍｏｖａｌ遅延の現在の定義については、以下の式（４）がより適切と思える。

あるいは、ｃｐｂ＿ｒｅｍｏｖａｌを、下記式（５）と等しい値と解するように定義することも可能である。しかしながら、この本明細書では、（４）が使用される。

以前の規格のように、このモデルの全ての制約および限定の結合された効果は、例えば、ピクチャのサイズおよび周波数を制約すること以外に、そのビットストリーム内の所定のフィールドの値に制約をおくことである。これらの式はエンコードのタイミングについては言及していないが、この制約はおそらく、このモデルに仮想エンコーダを付加することでより明確になる。すなわち、所定の制約は、エンコーダ・バッファおよび適切なタイミングを用いれば、仮想エンコーダによっても規定可能である。このモデルに応じたエンコードおよびデコードのシナリオの例は、図１に示される。前述した式との関係、並びに図４に図解した内容は以下である。

図４において、エンコーダバッファへのデータの入力を示すエンコーダバッファ入力曲線Ａである。これは、式（４）と同じである。
前述した式（１）で定義されるように各ピクチャがデコーダに最初に到達する初期到達時間は、デコーダへのデータの入力を示す曲線Ｋのある点として得られる。
デコーダバッファからデータが出力することを示すデコーダバッファ出力曲線Ｌは、ｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙフィールドおよびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙで示されるタイミングに対応している。

なお、値”ｄｅｃｏｄｉｎｇ＿ｄｅｌａｙ”を変化させてデコーダバッファ出力曲線Ｌを左に移動することによって、エンコーダバッファ入力曲線Ａが得られる。すなわち、時間的なずれ（時間オフセット）を除くと、すなわち、遅延がない場合には、これら２つの曲線ＬとＡとは同じタイミングを規定する。
図４に記述された変数の幾つかは、ビットストリームに格納されて伝送され、他の変数は（ドラフト（草案）の）規格内に記述されているだけである。下記表１は、これらの変数をさらに詳しく説明している。

特性”ｋに応じた値”は、異なるバッファモデルを適用した場合に、変数の値を変えることができる場合を示している。これは、この（ドラフト（草案）の）規格は、マルチバッファモデルをサポートしているためである。各バッファモデルｋは、例えば、異なるバッファ容量（Ｂ）と、異なるビットレート（Ｒ）を有することができる。この本明細書では、Ｂ（ｋ），Ｒ（ｋ），Ｆ（ｋ）について述べる代わりに、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ（ｋ）等、並びに、より短いバージョンＢ，Ｒ，Ｆ、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙが、読み出し性能を向上するためにしばしば用いられる。
この場合、これらは、単に、例えば、バッファモデル０などの一つの所定のモデルの変数である。

この従来技術には、以下に示す問題がある：
このモデル自体は複雑である。
前述した表１に示されるように、ビットストリーム内に比較的多数のフィールドのデータをエンコードおよび挿入するという要求がある。これは、ビットストリームのオーバヘッドを増大させる。
これらのフィールドのデータを演算して生成するために、例えば、図２に示すように、比較的複雑な構成を有するエンコーダを実現する必要がある。その結果、図６に示すように、比較的複雑な処理を遂行するデコーダを実現する必要がある。

このモデルは、ビットストリームの開始時、エンコーダがデコーダの処理の遅延を示すｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを定義することを事実上要求している。このことは、図４に示される。例えば、ｔ＝０において、最初のピクチャが送信される（または、デジタル記録媒体に書き込まれる）。ピクチャが送信される直前に、ピクチャが送信されることを示すメッセージが送られなければならない。このメッセージは、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔおよびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙを定義している。これは、実質的に、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙに固定値を設定している。
しかしながら、多くのアプリケーションにおいて、１回のみエンコード処理を行う１パス方式のエンコーダは、エンコード処理の開始で、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙの適切な値を設定することができない。

このようなビットストリーム内のｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙ情報の明示的な符号化を行わなくても、このモデルを用いれば、多くの符号化シナリオにおいて、エンコーダは遅かれ早かれｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを特定できる。これは、時間ｔにおけるデコーダバッファが満たされるときのビットレートＲ（ｔ）がゼロになると生じる。（このシナリオを説明するその他の方法:仮想参照エンコーダを用いれば、エンコーダバッファがゼロ（空）のときはいつでもＲ（t）はゼロになる。）そのような場合、エンコーダからデコーダにデータ転送時に、関連するｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙはｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙと等しくなると仮定している。そのため、そのようなエンコーダあるいはエンコードシステムでは、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを効率的に定義している。

関連する問題：このモデルは、より短いｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ値を符号化することを許可してない。例えば、最短のｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ値を符号化することを常には許可していない。その結果、そのようなビットストリームは、可能な範囲で最速のデコーダスタートアップ（デコーダの始動開始）をサポートできない。

このモデルには、不連続問題(discontinuity problem)がある。すなわち、ランダムアクセスポイントにおいて、バッファモデルの状態が、リセットされ、失われる。その結果、これらのポイントにおいて、続くビデオデータ（ピクチャ）をサポートするのに不適切な状態がしばしば発生する。これは、図７に示される。この例では、５ピクチャ後に、他のＳＥＩメッセージがビデオストリーム内に挿入される。このポイントでデコーダのバッファが空でなければならないという制約に従うために、前のピクチャ（例えば、５番目のピクチャ）は無駄の多い詰め込み(wasteful stuffing) を必要とする。さらに、多くのシナリオにおいて、続くピクチャを、１ピクチャ期間の経過後に、デコードして提供する必要がある。その結果、Ｒａｔｅ／Ｐｉｃｔｕｒｅ＿Ｐｅｒｉｏｄビットのみが、そのようなアクセスポイントがしばしば比較的大量のデータを要求するにも係わらず、そのようなランダムアクセスポイントの後に、最初のピクチャによる利用が可能である。換言すると、そのような場合に、このモデルは、実用的でない。

本発明の符号化装置は、画像データを符号化してビットストリームを生成する符号化手段と、前記ビットストリームを記憶する仮想符号化バッファに前記ビットストリームが供給される時刻から前記ビットストリームを復号した画像データを記憶する仮想復号バッファに前記画像データが供給されるまでの遅延時間を、非ゼロ開始時間を用いた仮想バッファモデルに従って設定し、設定された遅延時間を示す遅延時間情報を生成する生成手段と、前記生成手段により生成された遅延時間情報と、前記符号化手段により生成されたビットストリームと、を伝送する伝送手段と、を備える。
また、本発明の符号化方法は、画像データを符号化してビットストリームを生成する符号化工程と、前記ビットストリームを記憶する仮想符号化バッファに前記ビットストリームが供給される時刻から前記ビットストリームを復号した画像データを記憶する仮想復号バッファに前記画像データが供給されるまでの遅延時間を、非ゼロ開始時間を用いた仮想バッファモデルに従って設定し、設定された遅延時間を示す遅延時間情報を生成する生成工程と、前記生成工程において生成された遅延時間情報と、前記符号化工程において生成されたビットストリームとを伝送する伝送工程と、を備える。

本発明の効果（従来技術と対比して）は以下のようになる：
（１）本発明のバッファモデルは簡略化される。
（２）ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔが冗長になり、そのため、ビットストリームのオーバヘッドが低減される。
（３）本発明のエンコーダはこれらのフィールドを計算およびエンコードする必要がない。
（４）本発明のデコーダは、これらのフィールドをデコードおよび処理しない。
（５）本発明のモデルは、ランダムアクセスシナリオをサポートするのに適している。
（６）本発明のエンコーダは、ストリームの開始時に、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙ（ｄｅｃｏｄｉｎｇ＿ｄｅｌａｙ）を決定する必要がない。

このモデルは、以下に示す改良されたステップを用いることで簡単化される。：
タイミングイベントに関係する所定のデコーダをシフトする（デコードする時間をずらす）代わりに、時間ベース自体のシフトが、デコードすべき最初のピクチャの最初のビットに対してのゼロ到達時間（到達時間が０）より長い時間、許容して行われる。
このことは、下記式（６）で示される。

このことは、図８に示されるように、修正モデルに対しても適用される。なお、従来技術との差異は、従来技術がゼロ値のみを許可する点である。
続くピクチャの到達時間についての式（７）は、従来技術においてもそのまま規定されている、例えば、

しかしながら、この改善された規則によるｔ_ａｉ（０）を用いて、ｔ_ａｉ，_{ｅａｒｌｉｅｓｔ}（ｎ）は、下記式（８）のように、さらに簡単化される。

この発明の実施形態は、図８に示される。これは、図１０の例を用いて説明される。

この発明の他の観点は、ランダムなアクセスポイントにおいて、非ゼロバッファフルネスを許可することである。これは、下記式（９）でサポートされる。

これは、図１１内のタイミングのシナリオを例を用いて説明される。この例では、再び、エンコーダは、５番目のピクチャの後に、ランダムアクセスポイントを生成する。この例では、（そのようなシナリオの場合によくあることだが）、可能な範囲で最も良いピクチャの品質を達成するために、ランダムアクセスポイント後の最初のピクチャは比較的大きなピクチャでなければならない（イントラ符号化を行うためである）。この修正モデルを用いれば、このポイントでバッファを空にするという制約がないので、比較的で大きなデータ量を、５番目のピクチャの代わりに、ランダムアクセスポイント後の最初のピクチャに割り当てることができる。

本発明のその他の観点は、所定の種類の１パスーエンコードシステム（１パス方式の符号化方式）をサポートするために、エンコードシステム内のｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを隠蔽すること（conceal)である。これは、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを直接的に搬送するフィールドのデータを省いたり、この情報を間接的に搬送する（あるいは搬送を手助けする）フィールドのデータを省くことで行われる。間接符号化方法は、２以上のフィールドのデータが例えば図１に示されるようにｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを搬送する場合を述べている。そのような場合に、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを隠蔽するために、最も重要でないフィールドを省くことが好ましい。例えば、図６において（従来技術と比べて）、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙよりも重要だという理由で、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙが省かれている。これは、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙが例えばデコーダのセットアップ遅延を最小化するために用いられているためである。そのような情報が隠蔽されると、図７に示すように、そのような情報をデコーダする必要がない。

本発明のその他の観点は、例えば２以上のフィールドのコンビネーションにより間接的に符号化されている場合であっても、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを取得できることである。（前述した例では複数のフィールドがある：ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔおよびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ）。また、以下の改良されたステップにより、例えば、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙは、例えばデコーダシステムによって使用され、これにより、デコーダシステムは最短のスタートアップ遅延特性を用いてビットストリームを選択する。例えば、デコーダシステムは、そのようなビットストリームから（直接的に符号化あるいは取得された）ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを取り出し、これらのｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを比較して最短のビットストリームを選択する。

また、エンコード側では、新種のオペレーションが可能である。特に、マルチプレクサは、（直接的に符号化あるいは取得された）ビデオのｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを用いて、適切なオーディオエンコードバッファサイズ（オーディオデータを符号化するためのバッファの大きさ）をセットアップする。また、マルチプレクサは、（直接的に符号化あるいは取得された）ビデオのｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを用いて、（関連する、あるいは非関連の）オーディオデータについての適切な初期送信遅延（初期状態における送信を行うための遅延）をセットアップする。

なお、本発明は、非ビデオデータが圧縮されたビデオデータのようなビットレート特性を有する場合に適用可能である。また、所定の符号化されたビデオデータは、所定の符号化されたオーディオデータのビットレート特性と同じ特性を有している。そのため、本明細書内のビデオデータおよびオーディオデータについての全ての事項は、以下に示す前述した発明の観点の総括的な記載として置き換えられる。

マルチプレクサは、比較的高いバースティ(bursty 、蓄積したデータを通常より速い速度で一気に行うこと）のビットレートの（直接的に符号化あるいは取得された）ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを用いて、関連する低いバースティのビットレート用の適切なバッファサイズをセットアップする。また、マルチプレクサは、比較的高いバースティ(bursty)のビットレートの（直接的に符号化あるいは取得された）ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを用いて、関連する低いバースティのビットレート用の適切な初期送信遅延をセットアップする。

本発明のその他の観点は、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙの送信および隠蔽をサポートして、全ての可能性のある種類のアプリケーションをサポートしている。これは、ビットストリーム内のｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙが（直接的あるいは間接的に）符号化されているか否かを示すタグをビットストリームに付加することでサポートされる。所定の種類の１パスーエンコードシステムは、フラグをゼロ（０）に設定して、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを隠蔽する。これにより、エンコード処理過程で要求されると、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙを増加できる。その他のエンコードシステムは、フラグを１に設定して、例えば図８に示すようにｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙ（ｄｅｃｏｄｉｎｇ＿ｄｅｌａｙ）情報がビットストリーム内に存在することを他のシステムに通知する。デコーダは、例えば、図９に示すフローチャートのように、双方の種類のビットストリームをサポートできる。

そのような直接的あるいは間接的にデコードされたｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙ（ｄｅｃｏｄｉｎｇ＿ｄｅｌａｙ）値がなくても、エンコードシステムは、時間ｔにおけるデコーダバッファが満たされるときのビットートＲ（ｔ）が０になると、ｄｅｃｏｄｅｒｉｎｇ＿ｄｅｌａｙ値を固定する必要がある。このことは、ある種の１パス−エンコードでは問題である。この問題と、最小セットアップ遅延の符号化が常に可能というわけではないという問題との双方は、以下の方法で解決される。エンコーダバッファが空でない場合に、ｔ_ａｉ（ｎ）＝ｔ_ａｆ（ｎ−１）を要求する代わりに、以下の式が用いられる：
ｔ_ａｉ（ｎ）＞＝ｔ_ａｆ（ｎ−１）
すなわち、ｔ_ａｉ（ｎ）＞＝ｔ_ａｆ（ｎ−１）は、エンコーダバッファが空の場合に許可される。
（デコーダバッファがアンダーフローあるいはオーバーフローしないというその他の制約は以前として適用される）

エンコードシステムは、適切なｉｎｉｔｉａｌ＿ｃｐｂ＿ｄｅｌａｙ値（または、同様の意味を持つフィールドとともに）によるそのようなタイミングを特定することができる。例４ｃでは、これは、例えば、ｍａｘ（）オペレーションの前にｔ_ａｆ（ｎ−１）の値を増加することで付加される。

図１は、仮想参照デコーダを用いた相互運用を達成することを説明するための図である。 図２は、ＪＶＴの仮想参照デコーダモデルを説明するための図である。 図３は、従来技術のタイミングモデルの詳細を説明するための図である。 図４は、適合ビットストリームの一例を説明するための図である。 図５は、エンコーダの実現の一部に係わるＨＲＤの一例を説明するための図である。 図６は、デコーダの実現の一部に係わるＨＲＤの一例を説明するための図である。 図７は、ランダムアクセスタイムにおけるモデルの動作を説明するための図である。 図８は、本発明に係わるモデルを説明するための図である。 図９は、本発明に係わるモデルの詳細なタイミングを説明するための図である。 図１０は、本発明に係わるｔ_ａｉ（ｎ），ｔ_ａｆ（ｎ）およびｉｎｉｔｉａｌ＿ｃｂｐ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙｓをどのように計算するかをさらに詳細に説明する図である。 図１１は、本発明に係わる適合ビットストリームの一例を説明するための図である。 図１２は、ランダムアクセスポイントにおけるモデル動作を説明するための図である。 図１３は、エンコーダの実現の一部に係わる簡単化されたＨＲＤの一例を説明するための図である。 図１４は、デコーダの実現の一部に係わる簡単化されたＨＲＤの一例を説明するための図である。 図１５は、最大符号化ピクチャバッファ遅延（本発明）を生成するエンコーダを示す図である。 図１６は、条件付で最大符号化されたピクチャバッファ遅延を処理するデコーダ処理を示す図である。

符号の説明

１１…エンコーダ

Claims (4)

1. 画像データを符号化してビットストリームを生成する符号化手段と、
   前記ビットストリームを記憶する仮想符号化バッファに前記ビットストリームが供給される時刻から前記ビットストリームを復号した画像データを記憶する仮想復号バッファに前記画像データが供給されるまでの遅延時間を、非ゼロ開始時間を用いた仮想バッファモデルに従って設定し、設定された遅延時間を示す遅延時間情報を生成する生成手段と、
   前記生成手段により生成された遅延時間情報と、前記符号化手段により生成されたビットストリームとを伝送する伝送手段と、
   を備える符号化装置。
2. 前記遅延時間情報は、前記ビットストリームのアクセスユニットを基準としたオフセット値である
   請求項１に記載の符号化装置。
3. 前記遅延時間情報は、最初のアクセスユニットを基準としたオフセット値である
   請求項１に記載の符号化装置。
4. 画像データを符号化してビットストリームを生成する符号化工程と、
   前記ビットストリームを記憶する仮想符号化バッファに前記ビットストリームが供給される時刻から前記ビットストリームを復号した画像データを記憶する仮想復号バッファに前記画像データが供給されるまでの遅延時間を、非ゼロ開始時間を用いた仮想バッファモデルに従って設定し、設定された遅延時間を示す遅延時間情報を生成する生成工程と、
   前記生成工程において生成された遅延時間情報と、前記符号化工程において生成されたビットストリームとを伝送する伝送工程と、
   を備える符号化方法。

Images