JP4223567B2 - 符号化ビデオシーケンスの切り替え方法及び装置 - Google Patents

Description

本発明は、復号前に、ビットレートがR_oldの第１符号化ビデオシーケンスからビットレートがそれよりも高いＲ_newの第２符号化ビデオシーケンスに切り替える方法及びこの切り替え方法を実施するための対応する装置に関するものである。
例えば文献“MPEG video coding：a basic tutorial introduction”，ＢＢＣ report RD 1996／3に記載されているように、MPEGタイプの圧縮ビデオシーケンスはピクチャのグループ（又はＧＯＰ）に細分割され、これらのグループそのものは次のような種々のタイプの符号化ピクチャ（GOPの例を図1で説明する）を包含する。即ち、
他の画面を参照することなく符号化されるイントラ符号化ピクチャ（Ｉ−ピクチャ）；
過去の画面を参照する予測を用いて符号化される予測符号化ピクチャ（Ｐ−ピクチャ）；
過去及び/又は未来の画面を参照する予測を用いて符号化される双方向予測符号化ピクチャ（Ｂ−ピクチャ）。
種々のタイプの予測により、それぞれのピクチャは多少有効に符号化され、これにより得られるビット数は一定ではない。さらに、ＭＰＥＧ仕様によると、ピクチャは各ピクチャの周期Ｔ_v毎に瞬時的に復号すべきものとするので、符号化ピクチャの最初のビットはデコーダのバッファに同じ時間滞在することはない。MPEGシンタクスにて規定されるこの可変時間はvbv遅延（vbv=ビデオ バッファリング ベリファイヤ）と称される。一定のビットレートで符号化され、しかもピクチャをフレーム周期T_v毎に瞬時的に復号する或るストリームに対するデコーダのバッファの充満度の例を、それぞれのvbv遅延がvbv（I0），vbv（I1），...，vbv（I4），...の連続ピクチャI₀〜I₄に対して図2に示してある（時間tに対するデコーダのバッファの充満度S（t））。或るピクチャに対するビットレートは傾斜によって与えられ、充満度（又はデコーダのバッファ状態）は各周期Tvに対する最高点によって与えられる。図3によると、時刻t_d（Ij）に復号されるピクチャIjのサイズd（Ij）は：
d（Ij）＝Ｓ^-（Ij）−Ｓ⁺（Ij） （１）
に等しく、ここにＳ^-（Ij）及びＳ⁺（Ij）は、時刻ｔ_d ^-（Ij）（＝ピクチャIjをデコーダのバッファから出力する直前の時刻）及び時刻ｔ_d ⁺（Ij）（＝ピクチャIjをデコーダのバッファから出力した直後の時刻）におけるデコーダのバッファ状態をそれぞれ示す。このピクチャIjに対し、そのvbv遅延vbv（Ij）と、ビデオストリームのビットレートＲと、デコーダのバッファ状態Ｓ^-（Ij）との関係は次式によって与えられる。即ち、
Ｓ^-（Ij）=vbv（Ij）*R （２）
また、次式も成立する。即ち、
Ｓ⁺（Ij）＝Ｓ^-（Ij＋１）-R*Tv （３）
上記式（２）、（１）、（３）の関係から、復号されたピクチャIjのサイズd（Ij）を与えるより正確な関係を推論することができる。即ち、
d（Ij）=R*（vbv（Ij）-vbv（Ij+1）+Tv） （４）
この調整モデルの故に、２つの圧縮（符号化）ビデオシーケンス間の簡単な切り替えは常に行えることではない。一般に、旧と新規のビデオシーケンスのビットレートＲ_oldとＲ_newは実際には相違する。そこで、切り替え点がデコーダのバッファを横切る際に、このバッファに入力される入力ビットレートは、切り替えなしでバッファに入力される入力ビットレートとは異なる。図4及び図５につき説明するように、バッファの問題は、旧のシーケンスのピクチャが復号され、同時に新規シーケンスのピクチャがデコーダのバッファに入力されるトランジションの期間中に生じ、即ち、入力のビットレートが前のものよりも大きい場合に、オーバフローの恐れがある。
図４は、旧のビデオシーケンスの幾つかのピクチャ（最後に伝送されたピクチャＯ1，Ｏ2及び前記シーケンスの最初に置き換えられるピクチャＯ３）と、新規のビデオシーケンスの２つの最初に伝送されるピクチャＮ１，Ｎ２を同時に示している。既に述べたように、各ピクチャは周期Tv毎に復号され、新規シーケンスの最初の伝送ピクチャＮ１のvbv遅延vbv（Ｎ１）は切り替え時刻t_swを与える（図4では、前記vbv遅延は多くとも最初に置換したピクチャＯ3のvbv遅延vbv（Ｏ3）に等しく、即ち、これらの遅延が等しくない場合には、これらのvbv遅延vbv（N1）及びvbv（Ｏ3）がコンパチブルでなくなるから、切り替えが全くできなくなる。この場合には、デコーダのバッファに得られるストリームを示す図5に示すように、ピクチャＮ１の最初のビットは、ピクチャＯ２のビットがバッファにまだ入力されている最中で、このピクチャＯ２が復号される前にバッファに入力される。ビットレートＲ_newが旧のビットレートＲ_oldよりも大きいので、図５の場合にはオーバフローとなる。Ｓ_maxは式（２）で規定したような、デコーダのバッファ状態の最大サイズを示す（なお、この場合には、デコーダのバッファには旧のシーケンス又は新規のシーケンスのピクチャのビットが常に存在するから、アンダーフローの問題は有り得ない）。
本発明の目的は、バッファのオーバフローの問題をなくす独創的な方法を提供することにある。
このために、本発明は冒頭にて述べたような方法において、
デコーダのバッファ状態の最大サイズを、第1符号化ビデオシーケンスの最後の伝送ピクチャ（Ｏ２）及び第２符号化ビデオシーケンスの最初の伝送ピクチャ（Ｎ１）に関連すると共に、前記時刻t_swと前記最後の伝送ピクチャ（Ｏ２）を復号する時刻との間にデコーダのバッファに入力されるそれぞれのビットを加算することによって与えられるビットの総数と比較するステップと、
前記ビット総数が前記最大サイズよりも大きい場合には、前記第２符号化ビデオシーケンスのビットレートを、少なくともその最初の伝送ピクチャについて、前記ビットレートR_newに対して、前記ビット総数が多くとも前記最大サイズに等しい値にまで相応して低減される値Ｒ_intにまで増大させるステップと、
を含み、
前記ビットレートＲ_intの値は、前記最後の伝送ピクチャ（Ｏ２）が前記バッファから出力される直前と、直後のそれぞれの時刻ｔ^- _d（Ｏ２）及びｔ⁺ _d（Ｏ２）におけるデコーダのバッファ状態の和が前記最大サイズに等しくなる状態で観察される値に少なくとも等しいことを特徴とする。
MPEG-２標準にて、ビデオシーケンスの切り替えが、“スプライシング ポイント”と称される特別なアクセス点を用いることにより促進されることは既知である。この切り替えは、新と旧の双方のビデオシーケンスに同じスプライシング ポイントがある場合にのみ行うことができる。本発明によれば、新規のシーケンスのビットレートが旧のシーケンスのビットレートよりも既に大きくても、この新規のビットレートを、新規シーケンスの最初に伝送されるピクチャＮ１のビットがデコーダのバッファに入力されるのにほとんど時間を要しないようにして、さらに（一時的ではあるが）増大させるようにする。従って、前記ピクチャの最初のビットは前記バッファに遅れて入力され、且つ同じ期間Tv中に少なくとも部分的にバッファに入る最後に伝送される旧のピクチャＯ２のビットと、最初に伝送される新規のピクチャN１のビットとの加算値は、ビットレートが十分に増大した場合に、オーバフローをなくすのに十分な低い値になる。この際の切り替え操作はオーバフローの問題なく、しかも切り替え促進のためのスプライシング ポイントを用いることなく行うことができる。
本発明の特徴及び利点を、以下添付図面を参照して明らかにする。
本発明による原理を（図４と比較する）図6につき詳細に説明する。この図から明らかなように、中間ビットレートＲ_intは第１伝送ピクチャN1に対応するストリームに与えられる。図４につき前述した状態に対応する点線ＬＡは、この場合、新規のビットレートＲ_newと比較して増大されたビットレート値に対応する他の状態ＬＢになる。
図７において判るように、切り替えが要求される場合、即ち、時刻t_swには、旧のビットレートＲ_oldでの旧のシーケンスの最初に置換されるピクチャＯ３に関連するvbv遅延vbv（Ｏ３）と、第１入力ピクチャＮ１に対する増大ビットレートＲ_int関連する低減vbv遅延vbv’（N１）との差に対応する短い期間中に、ピクチャN1のビットはデコーダのバッファには入力されない。ピクチャの復号動作は、基準時刻（デコーダのバッファはこれら時刻に空になる）を構成する規則的に離間した時刻（復号周期はＴ_vである）に瞬時的に行われることを実際に思い起こすべきである。このことは、本発明の原理を実施する際に、最初に伝送される新規のピクチャの最初のビットをデコーダのバッファになぜ遅れて入力することができるのかを説明している。
従って、時刻t_sw後にはデコーダのバッファにはビットがほとんど入力されず、この状態の期間は、デコーダのバッファ状態をこのバッファ状態の最大サイズよりも低い値にまで低減させ、従って、オーバフローをなくすのに十分であることは明らかである。さらに図７を考察するに、その後の状態が次のようになることが判る。即ち、
（ａ）旧のシーケンス（Ｏ１，Ｏ２）のビットは、切り替えが要求される時刻t_swまでは、ビットレートＲ_oldでデコーダのバッファに入力される；
（ｂ）時刻t_swから次の復号時刻（この復号時刻には、符号化画像Ｏ1が復号される）及び旧のピクチャＯ１の前記復号時刻から、新規のピクチャＮ１の最初のビットがデコーダのバッファに入力されるまでの時間には、旧のシーケンスのビットは最早バッファには入力されなくなる（ビットレートは０に等しくなる）；
（ｃ）新規のピクチャＮ１の最初のビットは、中間ビットレートＲ_intでデコーダのバッファに入力される；
（ｄ）現在の復号周期Tvの終わりに、ピクチャＯ２が復号される；
（ｅ）次の周期Tv中には、ピクチャN1の残留ビットの全てがデコーダのバッファに常にビットレートＲ_intで入力される；
（ｆ）前記周期Tvの終わりに、ピクチャＮ１が復号され、時刻t_swに開始した中間周期が終了する；
（ｇ）次の新規のピクチャN2のビットが、中間ビットレートＲ_intよりも低い新規のビットレートＲ_newでデコーダのバッファに入力される。
本発明は上述した実施のみに限定されるものでなく、本発明の範囲を逸脱することなく、幾多の変更を加え得ること明らかである。例えば、オーバーフローを起こさない計算した最小のビットレートRmが、利用できる最大の帯域幅による最高可能なビットレートよりも大きい場合でも、ビットレートをこの最高のビットレートにまで高めることができ、この場合に本発明による方法を他の方法と組み合わせて、残留オーバーフローをなくすことができる。
この様な他の方法は、例えば1997年5月27日に出願された欧州特許出願第９７４０１１６０．３号に記載されているような所謂最小ピクチャの入力方法とすることができる。この特許出願は第1シーケンスから第2シーケンスへの切り替え方法に関するものであるが、この方法によるビットレートはこの場合一定に保たれる。その代わり、新規のビデオシーケンス（第2シーケンス）はｋ個のフレーム期間Tv遅延され、この遅延がデコーダのピクチャを不足させ、これらのピクチャはk個のピクチャから成る追加シーケンスを入力するのに用いられ、これらのピクチャはデコーダのバッファをできるだけ速やかに空にするために最小にする。
これらのピクチャは、これらをできるだけ低いビット数で符号化すると共に、復号処理に見合うようにするから、最小ピクチャと称される。ｋ個の最小ピクチャから成るシーケンスを構成する方法は、全てのピクセル（画素）が同じである均一のカラー画像のシーケンスを考慮するものである。このタイプのシーケンスは、例えば、同じ色のマクロブロックを包含する第１のイントラ-符号化ピクチャ（I-ピクチャ）と、各スライスの最初と最後のマクロブロックをゼロのフォワードベクトルで符号化し、したがって誤差予測のない（他のものは前記スキップしたマクロブロックである）（k−1）個の予測符号化ピクチャ（Ｐ-ピクチャ）とで符号化することができる。
さらに本発明は図６につき述べた切り替え方法を実施するための装置にも関するものであり、図８は、局所ビットレートの変更を上記方法に従って切り替える斯かる実施の主要なステップを線図的に示したものである。
【図面の簡単な説明】
図１は、異なるタイプの符号化ピクチャを含むGOPの例を示す図である。
図２は、一定のビットレートで符号化し、且つピクチャを規則的な時刻に瞬時的に復号するストリームに対するデコーダバッファの充満度の例を示す図である。
図３は、図２のデコーダバッファの充満度の表現を用いるとピクチャIjの主要な有効パラメータを識別できることを示す図である。
図４及び図５は、旧のシーケンスと新のシーケンスとの切り替えがオーバフローを生じ、従って切り替えを行うことができない状態を示す図である。
図６は、本発明による方法の原理を示す図である。
図７は、本発明による原理に従って切り替えを行う場合に得られるストリーム（即ち、デコーダのバッファのグローバルな展開）を示す図である。
図８は、本発明による方法を実施するための切替え装置を示す図である。

Claims (3)

1. 復号前に、時刻t_swにおいて、ビットレートがＲ_oldの第１符号化ビデオシーケンスから、ビットレートがＲ_oldよりも高いＲ_newの第２符号化ビデオシーケンスに切り替える方法において、
   デコーダのバッファ状態の最大サイズを、第１符号化ビデオシーケンスの最後の伝送ピクチャ（Ｏ２）及び第２符号化ビデオシーケンスの最初の伝送ピクチャ（Ｎ１）に関連すると共に、前記時刻t_swと前記最後の伝送ピクチャ（Ｏ２）を復号する時刻との間にデコーダのバッファに入力されるそれぞれのビットを加算することによって与えられるビットの総数と比較するステップと、
   前記ビット総数が前記最大サイズよりも大きい場合には、前記第２符号化ビデオシーケンスのビットレートを、少なくともその最初の伝送ピクチャについて、前記ビットレートR_newに対して、前記ビット総数が多くとも前記最大サイズに等しい値にまで相応して低減される値Ｒ_intにまで増大させるステップと、
   を含み、
   前記ビットレートＲ_intの値は、前記最後の伝送ピクチャ（Ｏ２）が前記バッファから出力される直前と、直後のそれぞれの時刻ｔ^- _d（Ｏ２）及びｔ⁺ _d（Ｏ２）におけるデコーダのバッファ状態の和が前記最大サイズに等しくなる状態で観察される値に少なくとも等しいことを特徴とする符号化ビデオシーケンスの切り替え方法。
2. 前記ビットレートＲ_intの可能な最小値が、前記最後のピクチャ（Ｏ２）が前記バッファから出力される直前と、直後のそれぞれの時刻ｔ^- _d（Ｏ２）及びｔ⁺ _d（Ｏ２）におけるデコーダのバッファ状態の和が前記最大サイズに等しい状態に相当することを特徴とする請求項１に記載の方法。
3. 請求項１及び２のいずれかに記載の方法による切り替え装置。

Images