JP4275746B2 - 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置 - Google Patents

Description

発明の分野
本発明は、復号すべきピクチャを受信するためのバッファを備えているビデオデコーダにて、ピクチャを復号する前に、ビットレートがＲ_oldの第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲ_newの第２符号化ピクチャシーケンスに切り替える方法及びこの切り替え方法を実施するための対応する装置に関するものである。
発明の背景
例えば文献“MPEG video coding：a basic tutorial introduction”，ＢＢＣ report RD 1996／3に記載されているように、MPEGタイプの圧縮ビデオシーケンスはピクチャのグループ（又はＧＯＰ）に細分割され、これらのグループそのものは次のような種々のタイプの符号化ピクチャ（GOPの例を図１で説明する）を含むものである。即ち、
−他の画面を参照することなく符号化されるイントラ符号化ピクチャ（Ｉ−ピクチャ）；
−過去の画面を参照する予測を用いて符号化される予測符号化ピクチャ（Ｐ−ピクチャ）；
−過去及び/又は未来の画面を参照する予測を用いて符号化される両方向予測符号化ピクチャ（Ｂ-ピクチャ）（矢印は各Ｐ-ピクチャ又はＢ-ピクチャに対するそれぞれの参照画面を示す）。
種々のタイプの予測により、それぞれのピクチャは多少有効に符号化され、これにより得られるビット数は一定ではない。さらに、MPEG仕様によると、ピクチャは各ピクチャの周期Ｔ_v毎に瞬時的に復号すべきものとするので、符号化ピクチャの最初のビットはデコーダのバッファにて同じ時間を費やすことはない。MPEGシンタクスにて規定されるこの可変時間はvbv遅延（vbv=ビデオ バッファリング ベリファイヤ）と称される。一定のビットレートで符号化され、しかもピクチャをピクチャ周期Ｔ_v毎に瞬時的に復号する或るストリームに対するデコーダのバッファの充満度の例を、それぞれのvbv遅延がvbv（Ｉ₀），vbv（Ｉ₁），．．．，vbv（Ｉ₄），．．．の連続ピクチャＩ₀〜I₄に対して図２に示してある（時間ｔに対するデコーダのバッファの充満度S（t））。或るピクチャに対するビットレートは傾斜によって与えられ、充満度（又はデコーダのバッファ状態）は各周期Tvに対する最高点によって与えられる。
図３によると、或るピクチャIjがデコーダのバッファから移される時点ｔ_d（Ij）に復号したこのピクチャIjのサイズd（Ij）は：
d（Ij）＝Ｓ^-（Ij）-Ｓ⁺（Ij） （１）
に等しく、ここにＳ^-（Ij）及びＳ⁺（Ij）は、時間ｔ_d ^-（Ij）（＝ピクチャIjをデコーダのバッファから移す直前の時間）及び時間ｔ_d ⁺（Ij）（＝ピクチャIjをデコーダのバッファから移した直後の時間）におけるデコーダのバッファ状態をそれぞれ示す。このピクチャIjに対し、そのvbv遅延vbv（Ij）と、ビデオストリームのビットレートＲと、デコーダのバッファ状態Ｓ^-（Ij）との関係は次式によって与えられる。即ち、
Ｓ ^- （Ij）=vbv（Ij）・R （２）
また、次式も成立する。即ち、
Ｓ ⁺ （Ij）＝Ｓ ^- （Ij＋１）-R・Tv （３）
上記式（２）、（１）、（３）の関係から、復号されたピクチャIjのサイズd（Ij）を提供する（ビットで）もっと正確な関係を推論することができる。即ち、
d（Ij）=R・（vbv（Ij）-vbv（Ij+1）+Tv） （４）
この加減モデルによると、２つの圧縮（符号化）ビデオシーケンス間の簡単な切り替えは常に行えることではない。即ち、各周期Tvで復号されるピクチャとの切り替えは、最初に伝送される新規のピクチャのvbv遅延が、最初の置き換えられる旧のピクチャのvbv遅延よりも大きい場合には行うことができない。この状態を図４に示してあり、この場合には新規シーケンスのピクチャN₁のvbv遅延vbv（N1）が旧のシーケンスのピクチャ０₃のvbv遅延vbv（０₃）よりも大きいから、旧のシーケンス（Ｏ₁，Ｏ₂，Ｏ₃）のピクチャＯ₃を新規のシーケンス（Ｎ₁，Ｎ₂）のピクチャN₁によって置き換えることができない。
MPEG-２標準（例えば、欧州特許出願EP０６９２９１１に記載されているような）にて、“スプライシング ポイント”と称される特別なアクセス点を用いることによって、ビデオの切り替えが促進されることは既知であり、この切り替えは、旧と新の双方のビデオシーケンスに同じスプライシング ポイントがある場合にのみ行うことができる。
発明の概要
本発明の目的は、スプライシング ポイントの生成を強制することなくビデオシーケンスを切り替えることができる方法を提供することにある。
このために本発明は冒頭にて述べたような方法において、前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ₁）の最初のビットが、前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ₁）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０₃）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０₃）よりも大きい場合に、前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ ₁ ）が前記期間vbv（０ ₃ ）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒ_intにまで少なくとも増大させることを特徴とする。
この際、切り替えはスプライシング ポイントなしで行うことができる。本発明によれば、最初に置き換えられる旧のピクチャと、最初に伝送される新のピクチャのそれぞれのvbv遅延がコンパチブルであり、従って切り替え操作を行うのにスプライシング ポイントを最早必要としないようにビットレートを局所的に増大させる。
しかしながら常にビットレートを或る適当なvbv遅延値に達するまで漠然と増やすことはできない。例えば、ビデオシーケンスは他のエレメンタリーストリームと多重して、多重トランスポートストリームを形成することができるが、この場合に、上述した方法は前記多重トランスポートストリームにて使用可能な帯域幅によって制限される。
本発明によれば、上述した方法を改善するために、ビットレートの帯域幅が制限される場合に：
（ａ）前記最初に伝送されるピクチャＮ₁のビットレートを、次の２つの値、即ち、前記制限帯域幅に対応する最大ビットレートの値と、前記期間vbv（Ｎ₁）を前記期間vbv（０₃）にせいぜい等しい値にまで対応して低減させる値Ｒ_intのうちの低い方の値にまで増大させ；
（ｂ）前記低い方の値が前記制限帯域幅に相当する最大ビットレートの値となる場合にのみ、前記（ａ）の動作を前記第２符号化ピクチャシーケンスの次のピクチャに対して繰り返し；
（ｃ）先の動作の終了時における前記低い方の値が前記最大ビットレートの値である場合にのみ、前記動作（ａ）を第２符号化ピクチャシーケンスの後続ピクチャＮ₃，Ｎ₄，．．．に対して同様に繰り返すようにする。
ビットレートの増大に対して帯域幅の制限がある場合には、前記帯域幅の制限による制約があるにも拘らず、第２符号化ピクチャシーケンスのできるだけ多くのピクチャに必要なビットレートを連続的に増やすことによって当該最初のピクチャのvbv遅延をできるだけ多く減らすようにして、上述した方法を改善する。
本発明の特徴及び利点を以下添付図面を参照して明らかにする。
本発明の原理は、トランジションにて新規シーケンスのビットレートを局所的に増やして、vbv（Ｎ₁）を、vbv（０₃）にせいぜい等しいか、又はそれよりもずっと低い値（この値をこの場合には（vbv’（Ｎ₁）によって示す）にまで減らすことにある。この状態は図５に相当し、この図は、Ｎ₁及び０₃のvbv遅延を（図４と比較して）この際如何にして、Ｎ₁に関連するビットレートの変換後にコンパチブルにさせるかを示している。ピクチャＮ₁によりピクチャ０₃を置換した後のグローバルなデコーダのバッファの進展を図６に示してあり、この図は本発明の原理により切り替えを行う場合に得られるストリームを示している。
式（２）から、
Ｒ_new＝新規ビデオシーケンスのビットレート
Ｒ_int＝本発明による方法を実施する場合の中間ビットレート
とすると、次式の関係を推論することができる。即ち、
Ｒ _int =（vbv（Ｎ ₁ ）・Ｒ _new ）/vbv（０ ₃ ） （５）
図５から明らかなように、中間ビットレートＲ_intは切り替えが要求されるや否や、即ち新規のピクチャＮ₁の最初のビットがデコーダのバッファに入る時点ｔ_swにストリームに供給される（Ｒ_oldは旧のビデオシーケンスのビットレートを示す）。図６にて明らかなように、この時点ｔ_swにはピクチャ０₁はまだ復号されておらず、その最終ビットはデコーダのバッファに中間ビットレートR_intで導入されることになる。このピクチャ０₁を復号する際に、このピクチャＯ₂の最終ビットはデコーダのバッファに完全には導入されず、この導入もＲ_intにて成される。ピクチャＯ₂を復号する場合にも同様に、（０₃に置き換える）Ｎ₁の最終ビットはデコーダのバッファにまだ完全には導入されず、この導入はまだＲ_intにて行われる。Ｎ₁を復号する際には、後続する全てのvbv遅延（Ｎ₂等の）がコンパチブルになり、後続ピクチャ（Ｎ₂等）を導入するためのビットレートは、この際新規のビデオシーケンスのビットレートＲ_newになる。
本発明は上述した実施例のみに限定されるものでなく、発明の範疇を逸脱することなく変更を加え得ることは明らかである。例えば、中間ビットレートＲ_intが旧のビットレートＲ_oldよりも高くなる場合には、トランジションにてオーバフローが出現しないように注意しなければならない。
第２として、N₁のビットレートは必ずしも常に漠然と或る適当なvbv遅延値に達するまで増やすことはできない。即ち、一般にビデオシーケンスは他のエレメンタリーストリームと多重して、多重トランスポートストリームを形成するが、この場合にビットレートを局所的に変更する方法は、前記多重トランスポートストリームに使用できる帯域幅によって制限される。図７及び図８は、切り替え問題（vbv（Ｎ₁）がvbv（０₃）よりも大きい場合に、切り替え操作を行うことができない）及び前述したような切り替え方法の実施をそれぞれ示したものであり、vbv（Ｎ₁）は新規シーケンスの最初に伝送されるピクチャN₁のビットレートを増やすことによって減少している。使用可能な帯域幅が制限されている場合に、N₁のビットレートを増やすことは、ｖｂｖ（Ｎ₁）の値をvbv（０₃）に匹敵する値にするのには十分でない。図面の簡単化のために、ここでは旧のシーケンスのビットレートＲ_oldを（ピクチャN₁に対する）Ｒ_newの増加に対する帯域制限に相当するものとする。図８に示したように、Ｎ₁のビットレートが０₃に対応するビットレートに等しい値にまで増大した後の値vbv（Ｎ₁）は、実際には（この図面では）まだvbv（０₃）よりも大きい（次の図９及び図11における二重の線は前記ピクチャＮ₁のビットレートの変更前のピクチャＮ₁に対応するものである）。
図９から明らかなように、本発明に従って、新規シーケンスの後続ピクチャＮ₂に対するビットレート増やすようにする場合には、デコーダのバッファが部分的に空になり、vbv（N₁）が再度低下するが、今度は、この低下量はＮ₁及び０₃のvbv遅延をコンパチブルにするのに十分である。さらに一般的には、必要ならば（即ち、前記量がＮ₁及び０₃のvbv遅延をコンパチブルにするのに十分でない場合には）、ビットレートを第１番目、次いで第２番目の新規ピクチャで増やすだけでなく、後続する各ピクチャでも、前記vbv遅延のコンパチビリティを得るのに十分な程度にまで順次増やすことを提案することができる。
前記一般論はもっと正確に調べることができ、斯様な汎用ビットレートの変更後のバッファの新規の状態及びvbv遅延についての算定数値を提案することができる。
この研究に対しては次のようなことを仮定する。即ち、
（a）指標“ｂ”を有する変数の表記法はいずれもビットレートの変更前の変数を示す；
（ｂ）指標“a”を有する変数の表記法はいずれもビットレートの変更後の変数を示す；
（ｃ）本発明の実施は旧のストリームのピクチャに無関係な新規のストリームに関連するだけであるから、新規のシーケンスの或る画像Ｎ_kを考慮する表記法はいずれもこの画像の指標ｋに要約する；
（ｄ）復号時間ｔ_d（ｋ）及びピクチャサイズd（k）は処理中は変更されない。
まだ説明してない使用する他の表記法は次の通りである。
-ｔｓ（Ｉ）＝ピクチャＩの最初のビットがデコーダバッファに入る時間；
-ｔ_sa（１），．．．，ｔ_sa（I），．．．，ｔ_sa（ｎ）＝ｔ_s（Ｉ）と同様な時間であるも、ビットレートの変更後で、新規シーケンスのピクチャ１，．．．，ｉ，．．．，ｎに対する時間；
-d（1），．．．，d（ｉ），．．．．d（n）＝ピクチャ１，．．．，ｉ，．．．，ｎのビットサイズ。
ビットレートの変更はピクチャｎ（ｎの値をどの程度にしなければならないかについては後に説明する）を復号するまで行うものとする。従って、ｔ_sa（1）〜ｔ_d（n）の間の時間ｔの間はビットレートがＲ_oldに等しくなり、ｔ_d（n）よりも高い時間ｔの間は、ビットレートがＲ_newに等しくなる。ｔ_d（n）後にはバッファの充満度は変わらず、ｋ＞ｎに対して、Ｓ^- _a（k）＝Ｓ^- _b（k）及びＳ⁺ _a（k）＝Ｓ⁺ _b（k）となる。時間ｔ_d ^-（n）におけるバッファ状態はＳ^- _b（n）である。この場合、時間ｔ^- _d（n-1）における新たなバッファ状態は次のように推論することができる。
Ｓ ^- _a （n-1）＝Ｓ ^- _b （n）−Ｒ _old ・Ｔ _v +d（n-1） （６）
さらに、
Ｓ ^- _b （n-1）＝Ｓ ^- _b （n）−Ｒ _new ・Ｔ _v +d（n-1） （７）
従って、次式を推論することができる。
Ｓ ^- _a （n-1）＝Ｓ ^- _b （n-1）−（Ｒ _old -Ｒ _new ）・Ｔ _v （８）
同様に、次のように表わすことができる。
Ｓ ^- _a （n-2）＝Ｓ ^- _b （n-2）−（Ｒ _old −Ｒ _new ）・２Ｔ _v （９）
そして、帰納的には、［０，．．．，ｎ-１］におけるｋに対しては、次のようになる。
Ｓ ^- _a （n-k）＝Ｓ ^- _b （n-k）−（Ｒ _old -Ｒ _new ）・ｋＴ _v （１０）
同様に、［０，．．．，ｎ-１］におけるｋに対して次のように表わすことができる。
Ｓ ⁺ _a （n-k）＝Ｓ ⁺ _b （n-k）−（Ｒ _old -Ｒ _new ）・ｋＴ _v （１１）
新規のvbv遅延も［０，．．．，ｎ-１］におけるｋに対して、次のように計算することができる。
ｖbv_a（n-k）＝Ｓ^- _a（n-k）/Ｒ_old （１２）
式（10）から、ｉ＝［０，．．．，ｎ-１］におけるｋに対して、次式を推論することができる。
ｖbv _a （n-k）＝（Ｓ ^- _b （n-k）/Ｒ _new ）・（Ｒ _new /Ｒ _old ）−ｋＴ _v ・（１-Ｒ _new /Ｒ _old ） （13）
従って、［０，．．．，ｎ-１］におけるｋに対しては次のようになる。
ｖbv _a （n-k）＝vbv _b （n-k）/Ｒ _new ）・（Ｒ _new /Ｒ _old ）−ｋＴ _v ・（１-Ｒ _new /Ｒ _old ） （14）
なお、式（10）及び（11）から、Ｒ_oldはＲ_newよりも高くなるから、局所ビットレートの増加後には、本来のバッファの充満度が低くなることに留意しなければならない。従って、このようなことを留意しないと、アンダーフローが生じることになる。アンダーフローを生じなくする条件によって、ｎの値をどの程度にし得るかが決定される。
局所ビットレートの増大後のバッファの充満度を迎合的なものとするには、ｋ＝［０，．．．，ｎ-１］に対して次のような条件を満足させるようにしなければならない。即ち、
Ｓ⁺ _a（n-k）>0 （１５）
これは式（11）から［０，．．．，ｎ-１］におけるｋに対して、次のようになる。
Ｓ ⁺ _b （n-ｋ）＞ｋT _v ・（Ｒ _old -Ｒ _new ）・ｋＴ _v （１６）
Vbv遅延に対する条件も式であらわすことができ、［０，．．．，ｎ-１］におけるｋに対して次のような場合に、バッファはアンダーフローを生じなくなる。即ち、
Vbv_b（n）＞Ｔ_v （１７）
これは式（14）から、［０，．．．，ｎ-１］におけるｋに対して次のようになる。
ｖbv _a （n-k）＞Ｔ _v ・（Ｒ _old -Ｒ _new ＋ｋ（Ｒ _old /Ｒ _new −１） （１８）
アンダーフローの問題がない場合には、vbv遅延は最小可能遅延値ｄ（1）/Ｒ_oldに達することになる。
図１０〜図１２はｎ＝２の場合にアンダーフローが生じる場合の例を示し、図10は最初のストリームを表わし、図11はピクチャＮ₁を復号するまでのビットレートの増加を示し、図12はピクチャＮ₂を復号するまでのビットレートの増加を示す（前述したように、二重の線は、ピクチャＮ₁，Ｎ₂のビットレートの変更前のこれらのピクチャＮ₁，Ｎ₂に相当する。この最後の場合には、アンダフローが生じるも、Ｎ₁を復号するまでしかビットレートが増大しない場合には、アンダーフローは生じない。このことが結局はアンダーフローを生じさせない条件であり、これによりビットレートを何ら問題なく増加させることができる新規シーケンスのピクチャ数が決定されることになる。
しかしながら、本発明による方法によってvbv遅延を低減させたの後に、vbv遅延がまだコンパチブルにならない状態のままであることが時々ある。このような場合には、前記方法を、1997年５月27日に出願した欧州特許出願第９７４１１６０．３（ＰＨＦ９９７５５７）に記載されているような、所謂最小ピクチャの挿入に基づく第２の方法と組み合わせることができる。前記文献による方法はビットレートを最早変更せず、その代わりに、新規のビデオシーケンスをｋ個の或る所定数のピクチャによって遅延させ、且つｋ個の最小ピクチャ、即ち、できるだけ低いビット数で符号化され、しかも復号処理に迎合的なピクチャを旧と新のシーケンス間の復旧スペース内に挿入する。図13及び図１４は上述したようにビットレートを局所的に変更させる装置及び前述した２つの方法を組み合わせて行う装置にてそれぞれ実行させる主要なステップを線図的に示したものである。図１４におけるＲ（of_min）はオーバフローを起こさない最小のビットレートを示す。
【図面の簡単な説明】
図１は異なるタイプの符号化ピクチャを含むGOPの例を示し；
図２は、一定のビットレートで符号化し、且つピクチャを規則的な時刻に瞬時的に復号するストリームに対するデコーダバッファの時間に対する充満度の例を示し；
図３は図２のデコーダバッファの充満度の表現を用いるとピクチャIjの主要な有効パラメータを識別できることを示し；
図４は旧のシーケンスと新のシーケンスとの切り替えを行うことができない状態を示し；
図５は本発明による方法の原理を示し；
図６は前記原理に従って切り替えを行う場合に得られるストリームを示し；
図７及び図８は本発明による方法の制限、即ち図７では観測できない切り替え問題を図８に示すような本発明の実施によっては完全には解決されないことを示し；
図９は前記制限を解決すべく本発明を改善した方法の原理を示し；
図１０〜図１２は、アンダーフローが生じる状態を示し；
図１３及び図１４は、上述した方法を実施するための切替え装置及びこの装置の他の例にて行われるそれぞれのステップを示す。

Claims (5)

1. 復号すべきピクチャを受信するためのバッファを具えているビデオデコーダにて、復号する前に、ビットレートがＲ_oldの第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲ_newの第２符号化ピクチャシーケンスに切り替える方法において、
   前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ₁）の最初のビットが前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ₁）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０₃）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０₃）よりも大きい場合に、
   前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ ₁ ）が前記期間vbv（０ ₃ ）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒ_intにまで少なくとも増大させることを特徴とする符号化画像シーケンスの切り替え方法。
2. ビットレートの帯域幅が制限される場合に、
   （ａ）前記最初に伝送されるピクチャＮ₁のビットレートを、次の２つの値、即ち、前記制限帯域幅に対応する最大ビットレートの値と、前記期間vbv（Ｎ₁）を前記期間vbv（０₃）にせいぜい等しい値にまで対応して低減させる値Ｒ_intのうちの低い方の値にまで増大させ、
   （ｂ）前記低い方の値が前記制限帯域幅に相当する最大ビットレートの値となる場合にのみ、前記（ａ）の動作を前記第２符号化ピクチャシーケンスの次のピクチャに対して繰り返し、
   （ｃ）前記低い方の値が前記最大ビットレートの値である場合にのみ，前記動作（ａ）を第２符号化ピクチャシーケンスの後続ピクチャＮ₃，Ｎ₄．．．に対して同様に繰り返すことを特徴とする請求項１に記載の方法。
3. 前記最大ビットレートの値Ｒ_intが前記ビットレートＲ_oldに等しく、且つ前記値Ｒ_intが次式、即ち、
   Ｒ _int ＝（vbv（Ｎ ₁ ）・Ｒ _new ）/vbv（０ ₃ ）
   によって表わされることを特徴とする請求項２に記載の方法。
4. 請求項１〜３のいずれかに記載の方法により切り替えを行うための装置であって、
   復号すべきピクチャを受信するためのバッファを具えているビデオデコーダであって、復号する前に、ビットレートがＲ _old の第１符号化ピクチャシーケンスからビットレートがそれよりも低いＲ _new の第２符号化ピクチャシーケンスに切り替えを行うように構成したビデオデコーダを備える装置において、
   前記第２符号化ピクチャシーケンスの最初に伝送されるピクチャ（Ｎ ₁ ）の最初のビットが前記最初に伝送されるピクチャを復号する時刻の前にデコーダのバッファにて費やさなければならない期間vbv（Ｎ ₁ ）が、前記第１符号化ピクチャシーケンスの最初に置換するピクチャ（０ ₃ ）の最初のビットが該ピクチャそのものを復号する前に前記バッファにて費やさなければならない同様な期間vbv（０ ₃ ）よりも大きい場合に、
   前記第２符号化ピクチャシーケンスの前記最初に伝送されるピクチャのビットレートを、前記期間vbv（Ｎ ₁ ）が前記期間vbv（０ ₃ ）にせいぜい等しい値にまでそれ相当に低減されるようにする値Ｒ _int にまで少なくとも増大させることを特徴とする装置。
5. 前記切り替え方法は、できるだけ少ないビット数で符号化したピクチャシーケンスを前記第１符号化ピクチャシーケンスと前記第２符号化ピクチャシーケンスとの間に挿入する第２の切り替え方法との組み合わせからなることを特徴とする、請求項４に記載の装置。

Images