JP3756346B2 - ビデオ・フレームの多重ストリームを処理する方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は一般に、デジタル・ビジュアル・イメージの圧縮に関して、特に、ビデオ・データの多重ストリームを並列に動的に符号化し、一定ビット・レート・チャネル上に多重化する制御技術に関する。この制御技術は、ビデオ・データの多重ストリームの相対複雑度に部分的にもとづき、個々の符号化ビット・レートが各ビデオ・データ・ストリーム内で動的に調整されることを可能にする、単一パス技術を含む。
【０００２】
【従来の技術】
放送テレビジョン、通信ネットワーク、家電製品及びマルチメディア・コンピュータなどの業界における、様々なデジタル・ビデオ技術の出現は、急速に増えつつある。デジタル・ビデオ・アプリケーションのこの広範な利用は、デジタル情報の信号処理、編集及びデータ転送が、アナログ表現の処理に比較して、大変容易である事実により促進される。しかしながら、重要な点は、デジタル・ビデオはその普及を、近年デジタル・ビデオ圧縮のための作成された幾つかの規格に負っていることである。
【０００３】
デジタル・ビデオ圧縮ソルーションは、恐らく任意のデジタル・ビデオ・プラットフォームの最も重要な要素である。デジタル・ビデオは非圧縮形式では大量の情報を含むことがわかっているので、その操作、記憶及び伝送は、非常に時間を要し、高価となる。その結果、その内容の知覚品質を保存する一方、圧倒的なデータ量を低減するデジタル・ビデオ圧縮技術が考案された。互換のビデオ伸張方式が、データを再生のために圧縮解除するために使用される。
【０００４】
Moving Pictures and Expert Groupにより形成され、ＩＳＯ／ＩＥＣ１３８１８−２、"Information Technology - Generic Coding of Moving Pictures and Associated Audio Information： Video 1996"で述べられるＭＰＥＧ−２国際標準規格は、前述の業界のために、圧縮を標準化することを目的とする。ＩＳＯ ＭＰＥＧ−２規格は、符号化ビットストリームの構文及び復号プロセスのセマンティクス（意味）を指定する。しかしながら、符号化パラメータの選択、及び性能対複雑度のトレードオフが、符号器開発者には残される。
【０００５】
ＭＰＥＧ−２符号化システムの効率は、固定通信帯域幅上で伝送される、またはデジタル媒体に記憶される知覚ビデオの精度により評価される。デジタル衛星システムなどの一部のアプリケーションでは、複数の番組が単一の大規模ストリームに多重化されて同報され、ＭＰＥＧ−２符号器のバンクが、全ての番組をモニタ及び符号化するために使用される一方で、受信チャネルの品質を維持しようとする。ＭＰＥＧ−２ストリームは非同期転送モード（ＡＴＭ）・ネットワークにおいて、固定通信帯域幅または動的帯域幅のいずれかにより送信される。
【０００６】
直接放送衛星（ＤＢＳ）アプリケーションなどの典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリーム（すなわち番組）が、単一一定ビット・レート・チャネル上に多重化される。残念ながら、所定の一定ビット・レートでの各番組の符号化は、時間の経過に伴う番組のシーン内容の変化により、ピクチャ品質の劣化を生じ得る。ビデオ・ソースが異なる符号化を施されたり、異なるピクチャ・オブ・グループ（ＧＯＰ）構造を有する場合など、符号器の作用が時間的に整列されない場合、問題は一層複雑になる。
【０００７】
【発明が解決しようとする課題】
使用可能な帯域幅を番組間で動的に分配することにより、システムの全体的なビデオ品質を最適化する多重番組圧縮技術が待望される。本発明は、符号化プロセスの間に、個々の符号器を動的に制御する結合レート制御技術を使用することにより、こうした技術を提供する。
【０００８】
【課題を解決するための手段】
要するに、１態様では、本発明の原理に従い、ビデオ・フレームの多重ストリームを処理する方法が提供される。この方法は、ビデオ・フレームの多重ストリームを並列に符号化するステップと、ビデオ・フレームの多重ストリームを構成するビデオ・フレームの相対複雑度にもとづき、ビデオ・フレームの多重ストリームの少なくとも１つのストリームの符号化を、動的に適応化するステップとを含む。拡張された実施例では、符号化を動的に適応化するステップが、多重ストリームを構成するビデオ・フレームの複雑度にもとづき、制御可能な符号化パラメータを調整するステップを含む。調整するステップは好適には、ビデオ・フレームの少なくとも１つのストリーム内のシーン変化の検出時に、または新たなピクチャ・グループの開始時に発生する。
【０００９】
別の態様では、ビデオ・フレームの多重ストリームを処理する方法が、ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを用いて、ビデオ・フレームの多重ストリームを符号化するステップと、符号化の間に、ビデオ・フレームの各ストリームを分析し、イントラフレーム特性またはインタフレーム特性の少なくとも１つに関する情報を導出するステップと、ビデオ・フレームの多重ストリームの各ストリームから獲得される少なくとも１つの特性に関する相対情報により、ビデオ・フレームの各ストリームの符号化を動的に適応化するステップとを含む。動的に適応化するステップは、ビデオ・フレームの各ストリームに対して、その符号化において使用される少なくとも１つの制御可能な符号化パラメータを調整するステップを含み、ビデオ・フレームの符号化が、ビデオ・フレームの多重ストリームから獲得される少なくとも１つの特性の相対変化に、動的に適応する。
【００１０】
更に別の態様では、ビデオ・フレームの多重ストリームを処理するシステムが提供される。このシステムは、ビデオ・フレームの多重ストリームを並列に符号化する複数の符号器を含む。各符号器は、ビデオ・フレームの多重ストリームの１つのストリームを受信するように結合される。結合制御装置が各符号器に接続され、多重ストリームを構成するビデオ・フレームの相対複雑度にもとづき、ビデオ・フレームの多重ストリームの少なくとも１つのストリームの符号化を動的に適応化する。
【００１１】
更に別の態様では、本発明はビデオ・フレームの多重ストリームを処理するシステムを含む。このシステムは、ビデオ・フレームの多重ストリームを符号化する複数の符号器を含む。各符号器は、ビデオ・フレームの１つのストリームを符号化するための、少なくとも１つの制御可能な符号化パラメータを使用する。ビデオ・フレームの各ストリームを分析し、その少なくとも１つの特性に関する情報を導出する。この少なくとも１つの特性には、イントラフレーム特性またはインタフレーム特性の少なくとも１つが含まれる。ビデオ・フレームの各ストリームから獲得される少なくとも１つの特性に関する相対情報により、ビデオ・フレームの各ストリームの符号化を動的に適応化する手段が提供される。符号化を動的に適応化する手段は、ビデオ・フレームの各ストリームに対して、その符号化において使用される少なくとも１つの制御可能な符号化パラメータを調整する手段を含む。それによりビデオ・フレームの符号化が、ビデオ・フレームの多重ストリームから獲得される少なくとも１つの特性の相対変化に、動的に適応する。
【００１２】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、コンピュータに、ビデオ・フレームの多重ストリームを符号化するように指示するコンピュータ読出し可能プログラム・コード手段と、コンピュータに、ビデオ・フレームの相対複雑度にもとづき、ビデオ・フレームの多重ストリームの少なくとも１つのストリームの符号化を動的に適応化するように指示するコンピュータ読出し可能プログラム・コード手段とを含む。
【００１３】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、コンピュータに、ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを用い、ビデオ・フレームの多重ストリームを符号化するように指示するコンピュータ読出し可能プログラム・コード手段と、コンピュータにビデオ・フレームの各ストリームを分析し、イントラフレーム特性またはインタフレーム特性の少なくとも１つに関する情報を導出するように指示する、コンピュータ読出し可能プログラム・コード手段と、コンピュータに、ビデオ・フレームの各ストリームから獲得された少なくとも１つの特性に関する相対情報を用い、ビデオ・フレームのストリームの符号化を動的に適応化するように指示する、コンピュータ読出し可能プログラム・コード手段とを含む。符号化の動的適応化は、ビデオ・フレームの各ストリームに対して、符号化において使用される少なくとも１つの制御可能な符号化パラメータを調整する。従って、ビデオ・フレームの各ストリームの符号化が、ビデオ・フレームの多重ストリームから獲得される少なくとも１つの特性の相対変化に、動的に適応する。
【００１４】
再度述べると、本発明は、例えばＭＰＥＧ−２互換ビデオ符号器などを用い、幾つかのビデオ番組を並列に符号化する統計的多重化のためのシステム・ソルーションを提供する。符号器間でビット・レートを動的に割当てる結合レート制御技術が提供される。各符号器のビット・レートは、番組の相対複雑度、及び符号化される番組内で発生するシーン変化にもとづき決定される。この技術は、入力ビデオ信号の外部事前処理を必要としない。更に、ビデオ・ソースの符号化が、各符号器内において、同一のＧＯＰ構造及びＧＯＰ長を要求するように制限されない。有利な点として、各符号器はそのビット・レートをＧＯＰ境界において変更できる一方、ＧＯＰ内では一定ビット・レートで作用する。全体として、この技術は区分的に一定であるが可変ビット・レートの圧縮をもたらす。符号器が異なるＧＯＰ長及び構造で作用でき、異なる時刻に符号化できる。従って、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きいかまたは小さい場合、時間間隔が存在し得る。更に、この技術は、シーン変化に対して提案され、システムのシーン変化に対する迅速な反応を保証することにより、ピクチャ品質を改善する。
以下に請求項に記載の発明の構成を開示する。
（１） ビデオ・フレームの多重ストリームを処理する方法であって、
前記ビデオ・フレームの多重ストリームを並列に符号化するステップと、及び 前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの少なくとも１つのストリームの符号化を動的に適応するステップと、
を含み、
ここで前記符号化を動的に適応するステップが、前記符号化によって使用された符号化ビット・レートを調整して、前記ビデオ・フレームの各ストリームを符号化するステップを含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、ここで前記ビデオ・フレームの各ストリームに対し て、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、
前記方法。
（２） 前記少なくとも１つのストリーム内のシーン変化の検出に応じて、前記少なくとも１つのストリームの符号化を動的に適応することを実行するステップを更に含む、（１）に記載の方法。
（３） 前記調整は、前記少なくとも１つのストリーム内のシーン変化の検出に応じて生じる、（２）に記載の方法。
（４） 前記少なくとも１つのストリーム内の前記シーン変化を検出するステップを更に含む、（３）に記載の方法。
（５） 前記符号化を動的に適応するステップが、前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの各ストリームの符号化を動的に適応するステップを含む、（１）に記載の方法。
（６） 前記各ストリームの符号化ビット・レートを調整する前記ステップが、前記ストリーム内のシーン変化の検出に応じて、または新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始に応じて発生する、（１）に記載の方法。
（７） 前記符号化が多重圧縮ビデオ・ストリームを生成し、かつここで前記方法が、各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを更に含み、かつここで前記符号化を動的に適応するステップが、前記各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、（１）に記載の方法。
（８） 前記符号化ビット・レートを変更するステップが、前記符号化ビット・レートを
Ｒ _imod ＝Ｒ _i ＋Ｅ・ｆ _i ／Ｎ _i
として変更するステップを含み、
ここで、Ｒ _i はビデオ・フレームのストリームｉに対して計算されたビット・レート、Ｅはバッファ充填度誤差ビット、Ｎ _i はストリームｉのＧＯＰ内のピクチャ数、及びｆ _i はストリームｉのフレーム・レートである、（７）に記載の方 法。
（９） 前記多重圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを更に含む、（８）に記載の方法。
（１０） 前記多重圧縮ビデオ・ストリームを、前記一定ビット・レート・チャネルに接続されたチャネル・バッファ内にバッファリングするステップを更に含み、及びここで前記符号化を動的に適応するステップが、前記各ストリームに対して、前記チャネル・バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、（９）に記載の方法。
（１１） 前記チャネル・バッファの上限及び下限において、保護帯域を事前に定義して、前記バッファ充填度が前記チャネル・バッファの前記上限及び下限の保護帯域内の一つにあるときにはいつも、前記符号化ビット・レートを変更するステップを更に含む、（１０）に記載の方法。
（１２） 前記符号化ビット・レートを変更するステップが、前記バッファ充填度が前記上保護帯域内にある場合に、前記変更が前記バッファ充填度を減少させるか、または前記バッファ充填度を同じに維持するときにのみ前記符号化ビット・レートの変更を可能にし、かつ前記バッファ充填度が前記下保護帯域内にある場合に、前記変更がバッファ充填度を増加させるか、または前記チャネル・バッファ充填度を変化させないときにのみ前記符号化ビット・レートの変更だけを可能にするステップを含む、（１１）に記載の方法。
（１３） 前記符号化を動的に適応するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及びここで前記符号化するステップが、符号化統計を前記レート制御アルゴリズムに提供するステップを含み、ここで前記符号化統計が前記多重ストリームの前記符号化から導出される、（１）に記載の方法。
（１４） 前記符号化するステップが、複数のＭＰＥＧ符号器を使用して、前記多重ストリームを並列に符号化するステップを含み、ここで各ＭＰＥＧ符号器は、前記多重ストリームのビデオ・フレームの１ストリームを受信する、（１）に記載の方法。
（１５） 前記多重ストリームを並列に符号化するステップが、多重圧縮ビデオ ・ストリームを生成し、及びここで前記方法が一定ビット・レート・チャネルを介しての転送のために、前記多重圧縮ビデオ・ストリームを多重化するステップを更に含む、（１）に記載の方法。
（１６） 前記符号化を動的に適応するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及びここで前記レート制御アルゴリズムが、前記符号化の結果からの圧縮ビデオ・ストリームを受信するバッファの充填度に部分的にもとづき、前記少なくとも１つのストリームの前記符号化ビット・レートを制御する、（１）に記載の方法。
（１７） ビデオ・フレームの多重ストリームを処理する方法であって、
前記ビデオ・フレームの多重ストリームを並列に符号化するステップと、及び 前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの少なくとも１つのストリームの符号化を動的に適応するステップと、
を含み、
ここで前記符号化を動的に適応するステップが、前記符号化によって使用された符号化ビット・レートを調整して、前記ビデオ・フレームの各ストリームを符号化するステップを含み、
前記各ストリームの前記符号化ビット・レートを調整する前記ステップが、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始ステップを含み、
前記ストリーム内のシーン変化の検出無しに、新たなフレーム・グループを開始するときに、前記符号化ビット・レートの調整を、所定の割合調整に制限するステップを更に含む、
前記方法。
（１８） シーン変化の検出に応じて、前記符号化を動的に適応するステップが、現グループ・オブ・ピクチャ（ＧＯＰ）を終了して、新たなＧＯＰを開始するステップを含み、かつここで前記符号化ビット・レートを調整するステップが、前記所定の割合調整を使用することなしに、前記符号化ビット・レートを調整す るステップを含む、（１７）に記載の方法。
（１９） シーン変化を検出するために、前記多重ストリームのビデオ・フレームのストリームの隣接ビデオ・フレームをモニタするステップを更に含む、（１８）に記載の方法。
（２０） 前記符号化を動的に適応するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及びここで前記符号化するステップが、符号化統計を前記レート制御アルゴリズムに提供するステップを含み、ここで前記符号化統計が前記多重ストリームの前記符号化から導出される、（１７）に記載の方法。
（２１） 前記符号化するステップが、複数のＭＰＥＧ符号器を使用して、前記多重ストリームを並列に符号化するステップを含み、ここで各ＭＰＥＧ符号器は、前記多重ストリームのビデオ・フレームの１ストリームを受信する、（１７）に記載の方法。
（２２） 前記多重ストリームを並列に符号化するステップが、多重圧縮ビデオ・ストリームを生成し、及びここで前記方法が一定ビット・レート・チャネルを介しての転送のために、前記多重圧縮ビデオ・ストリームを多重化するステップを更に含む、（１７）に記載の方法。
（２３） 前記符号化を動的に適応するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及びここで前記レート制御アルゴリズムが、前記符号化の結果からの圧縮ビデオ・ストリームを受信するバッファの充填度に部分的にもとづき、前記少なくとも１つのストリームの前記符号化ビット・レートを制御する、（１７）に記載の方法。
（２４） ビデオ・フレームの多重ストリームを処理する方法であって、
前記多重ストリームを並列に符号化するステップと、ここで前記符号化は各ビデオ・フレームのストリームの少なくとも１つの符号化ビット・レートを使用することを含む、
前記符号化の間、前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するステップと、ここで前記少なくとも一つの特性は、イ ントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、及び
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記各ストリームの前記符号化を動的に適応するステップと、ここで前記符号化を動的に適応するステップが、前記符号化において使用された前記符号化ビット・レートを調整して、前記少なくとも１つのストリームを符号化するステップを含み、ここで前記各ストリームの符号化する前記ステップが、前記多重ストリームから獲得された前記少なくとも１つの特性の相対変化に動的に適応する、
ここで前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、
を含む、前記方法。
（２５） 前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するステップを含み、ここで前記シーンの前記複雑度は、少なくとも１つの特性を含む、（２４）に記載の方法。
（２６） 前記符号化が多重圧縮ビデオ・ストリームを生成し、及びここで前記方法が、一定ビット・レート・チャネル上に転送するために、各圧縮ビデオ・ストリームを多重化するステップを更に含む、（２５）に記載の方法。
（２７） 前記多重化するステップは、前記多重化以前に前記各圧縮ビデオ・ストリームをバッファリングするステップを含み、及びここで前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出するステップを含み、ここで前記統計が、使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、（２７）に記載の方法。
（２８） 前記符号化するステップが、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するステップを含み、及びこ こで前記動的に適応するステップが、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするステップを含み、前記動的にセットするステップは、前記各ＧＯＰの始めに起こる、（２４）に記載の方法。
（２９） 前記動的に適応するステップが、前記ビデオ・フレームの各ストリームの前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定するステップを含む、（２８）に記載の方法。
（３０） 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始するステップを含む、（２９）に記載の方法。
（３１） 前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記前記ストリームを含むビデオ・データの複雑度を含み、及びここで前記分析するステップが、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測するステップを含む、（３０）に記載の方法。
（３２） 前記ビデオ・フレームの多重ストリームが、ビデオ・データの異なるソース、または多重ストリームに分割されたビデオ・データの共通ソースを含む、（２４）に記載の方法。
（３３） ビデオ・フレームの多重ストリームを処理するシステムであって、
前記ビデオ・フレームの多重ストリームを並列に符号化するための複数の符号器と、ここで各符号器は前記多重ストリームの１ストリームを受信する、及び
前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの少なくとも１つのストリームの符号化を動的に適応するための、前記複数の符号器の各符号器に接続された結合制御装置と、
ここで前記結合制御装置が、前記複数の符号器の１つにより使用された符号化ビット・レートを調整する手段を含み、
前記結合制御装置が、前記ビデオ・フレームの少なくとも１つのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始する手段を含み、ここで前記符号化ビット・レートが各ＧＯＰ内で一定であり 、かつ前記ビデオ・フレームの少なくとも１つのストリームのＧＯＰ間で可変である、
を含む、前記システム。
（３４） 前記結合制御装置が、シーン変化の検出に応じて、前記少なくとも１つのストリームの符号化を動的に適応するための手段を含む、（３３）に記載のシステム。
（３５） 前記結合制御装置が、前記複数の符号器の１つにより使用された符号化ビット・レートを調整して、前記少なくとも１つのストリームを符号化するための手段を含む、（３４）に記載のシステム。
（３６） 前記符号化ビット・レートを調整するための前記手段が、前記少なくとも１つのストリーム内のシーン変化の検出に応じて、または前記少なくとも１つのストリーム内の新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始に応じて、前記符号化ビット・レートするための手段を含む、（３５）に記載のシステム。
（３７） 前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、及びここで前記システムが複数のバッファを更に含み、各バッファは前記複数の符号器の対応する符号器からの出力を受信するように接続され、及びここで前記結合制御装置が、前記少なくとも１つのストリームを符号化する前記複数の符号器に接続された前記複数の符号器の前記バッファの充填度に部分的にもとづき、前記少なくとも１つのストリームの符号化を動的に適応する手段を含む、（３３）に記載のシステム。
（３８） 一定ビット・レート・チャネル上に転送するために前記多重圧縮ビデオ・ストリームを多重化するためのマルチプレクサと、及び
前記一定ビット・レートでの多重化圧縮ビデオ・ストリームの転送を保証するための、前記マルチプレクサと前記一定ビット・レート・チャネル間に接続されたチャネル・バッファと、
を更に含む、（３７）に記載のシステム。
（３９） 前記結合制御装置が、前記チャネル・バッファの充填度にもとづき、前記少なくとも１つのストリームの符号化を適応するための手段を含む、（３８ ）に記載のシステム。
（４０） 前記結合制御装置が、前記少なくとも１つのストリームの符号化ビット・レートを制御するための、レート制御アルゴリズムを含み、及びここで前記複数の符号器が、符号化統計を前記レート制御アルゴリズムに提供し、前記符号化統計は、前記多重ストリームの前記符号化から導出される、（３３）に記載のシステム。
（４１） 前記複数の符号器が、並列に接続された複数のＭＰＥＧ符号器を含み、各ＭＰＥＧ符号器は、前記多重ストリームの１ストリームを受信するために接続され、ここで前記多重ストリームが、ビデオ・データの異なるソースまたは多重ストリームに分割されたビデオ・データの共通ソースを含む、（３３）に記載のシステム。
（４２） ビデオ・フレームの多重ストリームを処理するためのシステムであって、
前記多重ストリームを並列に符号化するための複数の符号器と、ここで各符号器は、１つのストリームを符号化するために、ビデオ・フレームの符号化ビット・レートを使用する、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出する手段と、ここで前記少なくとも１つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、及び
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記各ストリームの前記符号化を動的に適応する手段と、ここで前記動的に適応する手段が、前記各ストリームに対して、前記符号化において使用された前記符号化ビット・レートを調整する手段を含み、ここで前記各ストリームの符号化する前記手段が、前記多重ストリームから獲得された前記少なくとも１つの特性の相対変化に動的に適応する、
を含み、
ここで前記符号化を動的に適応するステップが、前記符号化ビット・レートを調整する手段を含み、
前記符号化するための複数の符号器が、前記各ストリームに対して、前記ビデ オ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、
前記システム。
（４３） 前記分析手段が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出する手段を含み、ここで前記シーンの前記複雑度は、少なくとも１つの特性を含む、（４２）に記載のシステム。
（４４） 前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、及びここで前記システムが、一定ビット・レート・チャネル上に転送するために、前記圧縮ビデオ・ストリームを多重化するためのマルチプレクサを更に含む、（４３）に記載のシステム。
（４５） 複数のバッファを更に含み、ここで前記複数のバッファの各バッファは、前記複数の符号器の１つと前記マルチプレクサとの間に接続される、及び
チャネル・バッファを更に含み、ここで前記チャネル・バッファは、前記マルチプレクサと前記一定ビット・レート・チャネルとの間に接続される、
及びここで前記分析する手段が、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出する手段を含み、ここで前記統計が使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、（４４）に記載のシステム。
（４６） 前記複数の符号器が、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化する手段を含み、及びここで前記動的に適応する手段が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットする手段を含み、前記動的にセットする手段は、前記各ＧＯＰの始めに起こる、（４２）に記載のシステム。
（４７） 前記動的に適応する手段が、前記ビデオ・フレームの各ストリームの 前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定する手段を含む、（４６）に記載のシステム。
（４８） 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始する手段を含む、（４７）に記載のシステム。
（４９） 前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記ストリームを含むビデオ・データの複雑度を含み、及びここで前記分析手段が、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測する手段を含む、（４８）に記載のシステム。
（５０） ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ読出し可能プログラムが、
前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階と、及び
前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの少なくとも１つのストリームの符号化を動的に適応するように、前記コンピュータに指示する段階と、
を含み、
ここで前記符号化を動的に適応するように、前記コンピュータに指示する段階が、前記符号化によって使用された符号化ビット・レートを調整する段階を含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始する段階を含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、
ところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（５１） 前記符号化を動的に適応するように前記コンピュータに指示する段階 が、前記少なくとも１つのストリーム内のシーン変化の検出に応じて、または前記少なくとも１つのストリーム内の新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始に応じて、前記少なくとも１つのストリームの符号化の動的な適応を実行するように、前記コンピュータに指示する段階を含むところのプログラムを記録した（５０）に記載のコンピュータ読み取り可能な記録媒体。
（５２） 前記符号化を動的に適応するように前記コンピュータに指示する段階が、前記符号化から出力された圧縮ビデオ・ストリームを受信するために接続されたバッファの充填度に関するフィードバックを使用して、前記少なくとも１つのストリームの符号化を動的に適応するように、前記コンピュータに指示する段階を含むところのプログラムを記録した（５１）に記載のコンピュータ読み取り可能な記録媒体。
（５３） 前記符号化を動的に適応するように前記コンピュータに指示する段階が、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御する段階を含み、及びここで前記符号化するように前記コンピュータに指示する段階が、前記多重ストリームの前記符号化から導出される符号化統計を、前記レート制御アルゴリズムに提供するように、前記コンピュータに指示する段階を含むところのプログラムを記録した（５０）に記載のコンピュータ読み取り可能な記録媒体。
（５４） 前記符号化するように前記コンピュータに指示する段階が、前記多重ストリームを並列に符号化して、多重圧縮ビデオ・ストリームを生成するように、前記コンピュータに指示する段階を含み、及びここで前記装置が一定ビット・レート・チャネル上に転送するために、前記多重圧縮ビデオ・ストリームを多重化するように、前記コンピュータに指示する段階を含むところのプログラムを記録した（５０）に記載のコンピュータ読み取り可能な記録媒体。
（５５） ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ読出し可能プログラムが、
前記多重ストリームを符号化するように、前記コンピュータに指示する段階 と、ここで前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階と、ここで前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、及び
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記各ストリームの前記符号化を動的に適応するように、前記コンピュータに指示する段階と、ここで前記動的に適応する段階が、前記各ストリームに対して、前記符号化において使用された前記符号化ビット・レートを調整する段階を含み、ここで前記各ストリームの前記符号化段階が、前記ビデオ・フレームの多重ストリームから獲得された前記少なくとも１つの特性の相対変化に動的に適応する、
を含み、
ここで前記符号化を動的に適応するように、前記コンピュータに指示する段階が、前記符号化によって使用された符号化ビット・レートを調整する段階を含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始する段階を含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、
ところのプログラムを記録した前記コンピュータ読み取り可能な記録媒体。
（５６） 前記符号化を動的に適応するように前記コンピュータに指示する段階が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するように、前記コンピュータに指示する段階とを含み、ここで前記シーンの前記複雑度は、少なくとも１つの特性を含むところのプログラムを記録した（５５）に記載のコンピュータ読み取り可能な記録媒体。
（５７） 前記符号化するように前記コンピュータに指示する段階が、前記ビデ オ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及びここで前記動的に適応する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、ここで前記動的にセットすることは、前記各ＧＯＰの始めに起こるところのプログラムを記録した（５５）に記載のコンピュータ読み取り可能な記録媒体。
（５８） 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たなフレーム・グループを開始するように、前記コンピュータに指示する段階を含み、及びここで前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及びここで前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含むところのプログラムを記録した（５７）に記載のコンピュータ読み取り可能な記録媒体。
（５９） ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ読出し可能プログラムが、
前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階と、ここで前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階と、ここで前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、及び
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記各ストリームの前記符号化を動的に適応するように、前記コンピュータに指示する段階と、ここで前記動的に適応する段階 が、前記各ストリームに対して、前記符号化において使用された符号化ビット・レートを調整する段階を含み、ここで前記各ストリームの前記符号化段階が、前記多重ストリームから獲得された前記少なくとも１つの特性の相対変化に動的に適応する、
を含み、
前記符号化するように前記コンピュータに指示する段階が、前記各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及びここで前記動的に適応する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、ここで前記動的にセットすることは、前記各ＧＯＰの始めに起こり、
前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなフレーム・グループを開始するように、前記コンピュータに指示する段階を含み、及びここで前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及びここで前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含む、
ところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（６０） （１）〜（３２）に記載の方法を実行するところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００１５】
【発明の実施の形態】
簡単に前述したように、本発明は複数のビデオ符号器を用い、ビデオ番組の多重ストリーム（例えばチャンネル）を並列に符号化するための統計的多重化制御技術に関する。符号器（ＭＰＥＧ準拠の符号器、及び前述のＭＰＥＧ−２国際標準規格で述べられるような符号化プロセスを含み得る）の間で、ビット・レートを動的に割当てる外部結合レート制御技術が使用される。各符号器のビット・レートは、番組の相対複雑度にもとづき決定され、番組内のシーン変化及びＧＯＰ境界において調整が行われる。提案される技術は、入力ソースの外部事前処理を要求しない。図１及び図２は、本発明に従う制御技術において使用される単一ビデオ符号器の作用を示す。
【００１６】
説明のために、ＭＰＥＧ準拠符号化の一般的なフロー図を図１に示す。フロー図において、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイメージが処理され、動きベクトルを生成する。動きベクトルは、前の及び（または）後のピクチャ内で画素のマクロブロックが存在する場所を予測する。動きベクトルの使用は、ＭＰＥＧ規格における時間圧縮の主要な面である。図１に示されるように、一旦生成されると、動きベクトルは、ｉ番目のピクチャからｉ＋１番目のピクチャへの、画素のマクロブロック（ＭＢ）の変換のために使用される。
【００１７】
図１の符号化プロセスでは、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイメージが符号器１１内で処理され、動きベクトルが生成される。続くピクチャの入力イメージ１１１が、符号器１１の動き推定ユニット４３に入力する。動きベクトル１１３が動き推定ユニット４３の出力として形成される。これらのベクトルは動き補償ユニット４１により、先行及び（または）将来のピクチャから、"基準"データと呼ばれるマクロブロック・データを、このユニットの出力として取り出すために使用される。動き補償ユニット４１の１出力が、動き推定ユニット４３からの出力から減算され、離散コサイン変換器（ＤＣＴ）２１に入力される。離散コサイン変換器２１の出力は、量子化器２３内で量子化される。量子化器２３の出力は２つの出力１２１及び１３１に分割され、一方の出力１２１はラン・レングス符号器などの下流の要素２５に送られ、圧縮及び処理された後に伝送される。他の出力１３１は、画素の符号化マクロブロックの復元を通じて、フレーム・メモリ４２に記憶される。図示の符号器では、この第２の出力１３１は逆量子化２９及び逆離散コサイン変換３１を通じて、差分マクロブロックの有損失バージョンを再構成する。このデータは動き補償ユニット４１の出力と加算され、原ピクチャの有損失バージョンをフレーム・メモリ４２に返却する。
【００１８】
図２に示されるように、３つのタイプのピクチャが存在する。"イントラ・ピクチャ"または"Ｉ"ピクチャは、独立に符号化されて伝送され、動きベクトルの定義を必要としない。これらの"Ｉ"ピクチャは動き推定のための基準イメージとして作用する。"予測ピクチャ"または"Ｐ"ピクチャは、先行ピクチャからの動きベクトルにより形成され、将来のピクチャの動き推定のための基準イメージとして作用する。最後に、"双方向ピクチャ"または"Ｂ"ピクチャは、２つの他のピクチャ、すなわち過去と将来のピクチャからの動きベクトルを用いて形成され、動き推定のための基準イメージとしては作用しない。
【００１９】
様々なピクチャ・タイプが符号器１１により、幾つかのステップにおいて量子化される。第１に、ピクチャ・タイプに固有の量子化マトリックスが、８×８ＤＣＴブロックに適用される。低周波数係数が重要視されるように、マトリックスの要素（重み）が選択される。これらの係数はより多くの情報を含み、ピクチャの知覚品質により大きく寄与する。次に、イメージの局所的なアクティビティ、ピクチャ・タイプの複雑度、及びバッファ充填度にもとづき、量子化スケーリング・ファクタが計算される。この指標は、ピクチャに割当てられるビット数及びその知覚品質に直接関連付けられる。実際のビット数は、ＭＰＥＧ−２規格において定義されるプロシージャに従い、最初に各ＤＣＴブロックを走査し、次に量子化済み係数を一緒にグループ化することにより獲得される。各グループは、ハフマン・ルックアップ・テーブルを用いることにより、固有の可変長コード（ＶＬＣ）によりエントロピ符号化される。差分パルス符号変調（ＤＰＣＭ）（動きベクトルの符号化に類似）及び一様量子化を用いて、ＤＣ係数が符号化される。
【００２０】
エントロピ符号器の出力は、エントロピ復号器に入力される。復号器の出力は、逆走査、逆量子化、及び逆離散コサイン変換を通じて、損失のある差分マクロブロックを再構成する。次に、復号されたピクチャが既知のように、遅延を通じて動き推定及び（または）動き補償に渡される。
【００２１】
ＭＰＥＧ−２符号器の動作機能については、Carrらによる１９９７年４月１日付けの米国特許出願第０８／８３１１５７号、"Control Scheme For Shared-Use Dual-Port Predicted Error Array"で詳述されている。一定ビット・レート（ＣＢＲ）符号化方式及び可変ビット・レート（ＶＢＲ）符号化方式の基本が、N. Mohsenianによる１９９８年３月１９日付けの米国特許出願第０９／０４４６４２号、"Real-Time Single Pass Variable Bit Rate Control Strategy And Encoder"で、ピクチャ・オブ・グループ（ＧＯＰ）またはフレームに関連して詳述されている。更に、後述のようなイメージ統計を使用するフレーム・シーケンスの適応符号化が、Boiceらによる１９９８年３月２０日付けの米国特許出願第０９／０４６１１８号、"Adaptive Encoding Of A Sequence Of Still Frames Or Partially Still Frames Within Motion Video"で詳述されている。
【００２２】
前記の情報を背景として、本発明の原理に従う統計的多重化及びレート制御技術について、図３乃至図１２を参照しながら説明することにする。
【００２３】
典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリームが単一一定ビット・レート・チャネル上に多重化される。あいにく、所定の一定ビット・レートでの各番組の符号化は、時間に伴うシーン内容の変化により、ピクチャ品質の劣化を招き得る。従って、本発明に従う多重番組圧縮の根底の目的は、使用可能な帯域幅を番組間で動的に分配し、システムの全体的なビデオ品質を最大化することである。これは個々の符号器を制御する結合レート制御アルゴリズムを用い、全ての番組のピクチャ品質を等しくすることに対応する。本発明はビデオ・ソースの相対シーン内容に従い、符号器の間でビット・レートを割当てる一方、固定チャネル・ビット・レートの要求を満足するものである。
【００２４】
より詳細には、統計的多重化のためのシステム・ソルーションが、ＭＰＥＧ−２互換のビデオ符号器を使用し、幾つかのビデオ番組を並列に符号化するために提供される。符号器間で動的にビット・レートを割当てる外部結合レート制御アルゴリズムが述べられる。各符号器のビット・レートは、番組の相対複雑度及び番組内のシーン変化にもとづき決定される。本発明に従うシステム及び方法は、入力ソースのいかなる外部事前処理も必要としない。更に、ビデオ・ソースの符号化が各符号器内で、同一のＧＯＰ構造またはＧＯＰ長を有するように制限されない。各符号器は結合レート制御に従い、ＧＯＰ境界において、そのビット・レートを変更する一方で、ＧＯＰ内では一定ビット・レートで動作する。全体として、この技術は区分的に一定の可変ビット・レート圧縮をもたらす。実験結果によれば、本発明に従う多重番組ビデオ圧縮システムは、相対的に単純であるにも関わらず、外部事前処理無しに、良好なピクチャ品質をもたらす。更に、市販のＭＰＥＧ−２符号器チップがこのシステムにおいて、成功裡に使用され得る。
【００２５】
基本的に、結合レート制御のために２つの異なるアプローチが可能であり、それらはフィードバック・アプローチと先読みアプローチである。フィードバック・アプローチでは、符号器により符号化プロセスの副産物として、統計が生成される。これらの統計が次に、続くピクチャに対するビット割当てを制御するために使用される。先読みアプローチでは、符号化の前に、統計がプリプロセッサにより計算され、次にこれらの統計がピクチャの符号化の前に、ビット・レートを調整するために使用される。いずれのアプローチでも、番組の複雑度を示す最適な統計を見い出すことが、課題となり得る。フィードバック・アプローチでは、統計は主として、符号化に関係する量に限られる。先読みアプローチはより大きな自由度を有するが、計算が複雑になったり、追加の装置が必要になったりする。
【００２６】
両方のアプローチにおいて、結合レート制御アルゴリズムが各ピクチャのビット・レートを計算し、個々の符号器の各々に対する全体レート制御を実行する。これは可変ビット・レート符号化をもたらす。通常、こうしたレート制御アルゴリズムは大抵、各符号器内で同一のＧＯＰ構造を要求するが、これは現実とかけ離れている。符号器は異なるＧＯＰ長及び構造において動作することができ、また動作する。
【００２７】
本発明によれば、フィードバック・アプローチにより符号器のビット・レートを動的に割当てる、統計的多重化のためのソルーションが開示される。レート制御技術が番組の相対複雑度にもとづき、符号器間でチャネル・ビット・レートを分配する。番組の複雑度が、圧縮ビットストリームと共に、符号器により生成される符号化統計を用いて決定される。
【００２８】
結合レート制御アルゴリズムにより、各ピクチャのターゲット・ビット・レートを計算する代わりに、ＧＯＰ境界において、またはシーン変化が発生する場合、ビット・レートが変更される。この技術は、符号器がＧＯＰ内において一定ビット・レートで動作することを可能にし、区分的に一定の可変ビット・レート圧縮をもたらす。符号器は同一のＧＯＰ構造を有する必要がなく、すなわち、ＧＯＰ境界が各符号器内で異なる時刻に発生し得る。符号器の異なるＧＯＰ構造のため、チャネル・バッファ及び対応するバッファ制御フィードバック・ループが、本発明に従いシステム内に組み込まれる。シーン変化に際して、ＧＯＰ構造を動的に変更し、十分なビット・レート変化を可能にすることにより、迅速な反応が保証される。本システム及び方法は、例えばＩＢＭの単一チップＭＰＥＧ−２ビデオ符号器（部品番号：ＩＢＭ３９ ＭＰＥＧＳ４２２ ＰＢＡ １７Ｃ）を用いて実現され得る。
【００２９】
下記のセクション１は、本発明に従う多重番組ビデオ圧縮システムについて述べる。セクション２では、本発明の結合レート制御技術について、またセクション３では、シーン変化の場合の結合レート制御技術について述べる。セクション４では、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について述べる。セクション５では、市販の単一チップＭＰＥＧ−２符号器の、本システムにおける可能な使用について述べる。セクション６では、実験結果について示す。
【００３０】
１．多重番組ビデオ圧縮システム：
図３は、本発明のフィードバック・アプローチを使用し、幾つかの番組（ソース１、ソース２、．．．、ソースｎ）を並列に符号化する多重番組ビデオ圧縮システム２００を示す。システム２００は、幾つかのＭＰＥＧ−２ビデオ符号器２１０と、符号器２１０に接続される個々のバッファ２２０と、結合レート制御装置２３０と、マルチプレクサ２４０と、チャネル・バッファ２５０とを含む。各符号器は、丁度符号化されたばかりのピクチャに関する統計を生成する。これらの統計は、結合レート制御アルゴリズム２３０への入力パラメータとなり、アルゴリズム２３０が後述のように、各個々の符号器のビット・レートを動的に計算する。
【００３１】
提案されるシステム２００では、各符号器２１０のビット・レートが、番組（ソース１、ソース２、．．．、ソースｎ）の相対複雑度と、対応する番組内のシーン変化の発生とにもとづき決定される。符号器は好適には、ＭＰＥＧ−２規格に互換のビットストリームを生成する。通常、符号器２１０の内部または外部のいずれかにおいて実行されるシーン変化検出以外は、入力ソースの追加の事前処理は要求されない。各符号器はそのビット・レートを結合レート制御装置２３０に従い、ＧＯＰ境界またはシーン変化において変更する。このことは符号器がＧＯＰ内では、ＭＰＥＧ−２規格に従うＣＢＲビデオ・バッファ検証器モデルを使用し、一定ビット・レート（ＣＢＲ）で動作することを可能にする。全体として、この技術は区分的に一定の可変ビット・レート圧縮をもたらす。
【００３２】
ビデオ・ソースの符号化が各符号器内で、同一のＧＯＰ構造またはＧＯＰ長を有するように制限されない。ＧＯＰ境界は各符号器内で異なる時刻に発生し得、ビット・レート変化はＧＯＰ境界においてのみ有効となるので、チャネル・バッファ２５０は、チャネル・レートの可能なオーバーフローまたはアンダーフローを補償するために使用される。チャネル・バッファ制御フィードバック２５５もまた、結合レート制御アルゴリズム２３０に組み込まれ、チャネル・バッファ２５０のオーバーフローまたはアンダーフローを阻止する。
【００３３】
本発明の以下の説明では、結合レート制御技術、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について詳述する。
【００３４】
２．結合レート制御：
ここで述べる結合レート制御技術はフィードバック概念にもとづき、そこでは符号器により生成された統計が、チャネル・バッファ２５０の充填度に関する情報と共に、（圧縮ビットストリームと共に）結合レート制御装置２３０に供給される。符号化される番組のビット・レートは、その番組の複雑度と、並列に符号化される全ての番組の複雑度の合計との比率に比例すると仮定される。すなわち、
【数１】

【００３５】
ここでＲ_iは番組ｉのビット・レート、Ｒ_cはチャネル・レート、Ｘ_iは番組ｉの複雑度である。
【００３６】
ピクチャ複雑度の決定は、使用されるビット生成モデルにもとづき、これはＭＰＥＧ−２テスト・モデル５で提案される次のモデルと類似である（ISO/IEC JTCI/SC29/WG11 N0400、"Test Model 5"、April、1993を参照のこと）。
【数２】
ｂ_j＝ｃ_j／Ｑ_j ２）
【００３７】
ここでモデル・パラメータｃ_jは、ピクチャ内のターゲット・ビット数ｂ_jを生成するものであり、特定量子化スケールＱ_jがセットされなければならない。式２）にもとづき、番組ｉのビット・レートが、ＧＯＰを表示する時間間隔に対して次のように計算される。
【数３】

【００３８】
ここでｃ_ijはピクチャｊのビット生成モデル・パラメータであり、Ｑ_ijはピクチャｊの量子化パラメータであり、Ｎ_iはＧＯＰ内のピクチャの数であり、ｆ_iは番組ｉのフレーム・レートである。統計的多重化システムでは、その目標はチャネル帯域幅を番組間で、次のように分配することである。
【数４】

【００３９】
全ての番組のピクチャ品質を等しくする目標を達成するために、理想的な量子化パラメータが式３）及び式４）を用いて、次のように導出される。
【数５】

【００４０】
この理想的な量子化パラメータは、各番組内の全てのピクチャに対して、等しいピクチャ品質をもたらすことができる。式３）においてＱ_idealを使用することにより、各番組のビット・レートが次のように計算される。
【数６】

【００４１】
本発明に従う統計的多重化システムにおいて、ｃ_ijはｂ_ij・Ｑ_ijに等しく、ｂ_ijはピクチャを符号化するために使用されるビットであり、Ｑ_ijは平均量子化パラメータである。更に、番組の複雑度が、ＧＯＰサイズのスライド式ウィンドウを用いて、ピクチャ複雑度の平均として推定される。
【００４２】
番組複雑度の関係により、たとえシーン変化が番組内において発生しなかった場合にも、ビット・レート変化がその番組内の任意のＧＯＰ境界において発生し得る。ビット・レート変化がシーン・カットの無い番組内で余りに突然発生する場合、たとえシステムの総品質が改善されても、ピクチャ品質はＧＯＰ間で多大に変化し得る。この状況を阻止するために、ビット・レート変化がＧＯＰ境界上で制限されるが、シーン変化では、好適には制限は課せられない。例えば、シーン変化が発生しない場合、ＧＯＰ境界における先行ビット・レートに対する１０％の変化が許容され得る。シーン・カットが発生する場合、ビット・レート変化に対する制限は存在しない。
【００４３】
３．シーン変化における結合レート制御：
ビデオ・データのストリーム内で、シーン変化はいつでも発生し得る。それらは任意のピクチャ・タイプにおいて、また任意のＧＯＰ位置において発生し得る。前述の議論では、ビット・レート変化がＧＯＰ境界においてだけ有効であり、符号器がＧＯＰ内で一定ビット・レート（ＣＢＲ）・モードで作用することを仮定した。このアプローチの欠点は、番組の複雑度の変化に対するシステムの迅速な反応を阻止することである。この問題を克服するため、好適にはシーン変化状況において、特殊な処理が使用される。
【００４４】
符号器の内部または外部のいずれかにおいて、各番組の連続ピクチャ間のシーン変化検出分析が実行され、新たなシーン内の第１のピクチャを符号化する前に、シーン変化を知ることができる。シーン変化が発生する場合、現ＧＯＰが早まって終了される。１実施例では、新たなシーン内の第１のピクチャが、早まって終了されたＧＯＰの最後のピクチャとして符号化され、その統計が新たなシーンの複雑度を予測するために、従って、式６）を用い、後続のＧＯＰのビット・レートを計算するために使用される。図４は、原ＧＯＰ構造の例、並びにシーン変化が発生する場合の、新たなＧＯＰ構造を示す。シーン変化が発生するピクチャ・タイプに応じて、３つのケースが区別されて示される。
【００４５】
新たなシーン複雑度の予測は、異なるピクチャ・タイプの経験的に決定された相対複雑度にもとづく。終りのＧＯＰの最後のピクチャに当たる新たなシーンの第１のピクチャがＰピクチャであり、あらゆるマクロブロックがイントラとして符号化される場合、このピクチャの複雑度はＩ複雑度と見なされる。このＩ複雑度にもとづき、新たなシーンの平均複雑度Ｘ_iが次のように推定される。
【数７】

【００４６】
ここでＸ_IはＩピクチャの複雑度、ｎ_P、ｎ_BはＧＯＰ内のＰピクチャ及びＢピクチャの数、ｒ_P、ｒ_BはＩピクチャ複雑度に対するそれぞれＰピクチャ複雑度及びＢピクチャ複雑度の比率である。ｒ_P及びｒ_Bの典型値は、それぞれ０．５及び０．２５である。複雑度Ｘ_iは式６）でビット・レート計算のために使用される。新たなＧＯＰ内でより多くのピクチャが符号化されると、ピクチャを符号化するために使用される実際のビット及び平均量子化パラメータを適用することにより、複雑度が好適には連続的に更新される。ＧＯＰの符号化が継続すると、新たなシーンの複雑度の予測が、実際の符号化統計を使用することにより変化する。
【００４７】
既に、符号器がＧＯＰ内ではＣＢＲモードで動作し、各符号器がＣＢＲビデオ・バッファ検証器モデルを使用することについて述べた。バッファ・アンダーフローまたはオーバーフローは許可されない。例えば、ＣＢＲレート制御アルゴリズムの目標は、ＧＯＰの終りにおけるバッファ充填度が、初期バッファ充填度（例えばバッファ・サイズの８０％）と同一であることを保証することである。しかしながら、これはターゲット・ビット・バジェットと１ピクチャにつき使用される実際のビットとの不一致により、常に当てはまる訳ではない。ＧＯＰ内のビットの過剰生成または過小生成により、バッファ充填度はそれぞれ初期レベルを下回ったり、上回ったりする。かなり大きなバッファ充填度誤差が累積し得る。この誤差は持ち越され、次のＧＯＰ内で補償されるように試行される。このレート制御は、ＧＯＰ境界においてビット・レート変化がほとんど発生しないか、全く発生しない場合、良好に作用する。しかしながら、ビット・レート変化がシーン変化などにおいて突然発生する場合、本発明に従うバッファ充填度誤差（ＢＦＥ）技術が、ピクチャ品質を改善するために適用される。
【００４８】
シーン変化が発生する場合、バッファ充填度誤差がシーン変化後の新たなＧＯＰの開始において、０と見なされる。各符号器に接続されるバッファのアンダーフローまたはオーバーフローを阻止するために、式６）により計算されたビット・レートが次のように変更される。
【数８】

【００４９】
ここでＲ_iは式６）に従い、番組ｉに対して計算されたビット・レート、Ｅはバッファ充填度誤差ビット、Ｎ_iはＧＯＰ内のピクチャの数、及びｆ_iは番組ｉのフレーム・レートである。バッファ充填度誤差Ｅが正の場合（ＧＯＰの開始におけるバッファ充填度が初期値よりも小さい）、番組のビット・レートは増加され、Ｅが負の場合、番組のビット・レートは減少される。ＧＯＰ内のレート制御のために、初期バッファ充填度は、例えばバッファ・サイズの８０％を使用する代わりに、先行ＧＯＰの終りにおけるバッファ充填度と見なされる。ＢＦＥ技術は、シーン変化後のピクチャ品質を改善する。
【００５０】
４．チャネル・バッファ・サイズ及びフィードバック制御：
符号器が異なるＧＯＰ長及び構造にて動作可能であること、または異なる時刻に符号化を開始し得る事実により、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。これを改善するため、チャネル・バッファが要求され、正確にチャネル・ビット・レートでビットストリームを出力する。このバッファに関連して、２つの問題が考慮されなければならない。それらはバッファの最小サイズの決定と、チャネル・バッファ・アンダーフロー及びオーバーフローを阻止するための制御技術である。
【００５１】
チャネル・ビット・レートからの最大合計偏差がΔＲ_maxであり、最悪の場合として、この偏差の最大期間が、符号器間の最長ＧＯＰ時間と同じであると仮定する。この場合、チャネル・バッファの要求最小サイズは次のように決定される。
【数９】
Ｂ_s＝２・ΔＲ_max・ｔｇｏｐ_max ９）
【００５２】
ここでΔＲ_maxはΣＲ_i−Ｒ_c、ｔｇｏｐ_maxは最大ＧＯＰ時間である。
【００５３】
式９）では、係数２が使用されている。なぜなら、チャネル・ビット・レートの過小生成及び過剰生成が仮定され、バッファが最初にこのサイズＢ_sの半分まで充填され、その後、Ｒ_cのレートでビットを連続的に出力するからである。この場合、初期遅延は、バッファをそのサイズの半分まで充填するために要求される時間に対応する。例えば、チャネル・バッファ・レートが１６Ｍビット／秒、ΔＲ_maxが８Ｍビット／秒、及びｔｇｏｐ_max＝０．５秒の場合、３０フレーム／秒のフレーム・レートでの最小バッファ・サイズは８Ｍビットで、対応する初期遅延は０．２５秒である。統計的多重化システムにおいて、式９）により決定されるよりも小さなチャネル・バッファが所望される場合、チャネル・ビット・レートからの最大合計偏差は、それに従い制限されなければならない。
【００５４】
チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・モデル（図５参照）が好適には使用される。チャネル・バッファ・モデルは、バッファの頂部及び底部に所定の保護帯域を含む。これらの保護帯域はビット・レートの分配を調整するために使用される。アンダーフロー及びオーバーフローを阻止するために、任意の時刻におけるバッファ充填度Ｂ_fが次の条件を満足しなければならない。
【数１０】
０＜Ｂ_f（ｔ）＜Ｂ_s １０）
【００５５】
パラメータ'ａ'が保護帯域のサイズを決定し、例えば０．２５として選択される。
【００５６】
実際のバッファ充填度Ｂ_fに応じて、区別可能な３つのケースが存在する。これらのケースについて、対応するビット・レートの変更と共に、次に示すことにする。
【００５７】
ケース１：
これはバッファ充填度が保護帯域間にある場合である。すなわち、
【数１１】
ａ・Ｂ_s≦Ｂ_f≦（１−ａ）・Ｂ_s １１）
【００５８】
この場合では、番組のために計算されたビット・レートが、極端な状況を除き、一般に変更されない。
【数１２】
ΣＲ_i＞Ｒ_c且つΣＲ_i−Ｒ_c＞（Ｂ_s−Ｂ_f）／ｔｇｏｐ_maxの場合、
Ｒ_i＝Ｒ_i・［Ｒ_c＋（（１−ａ）Ｂ_s−Ｂ_f）／ｔｇｏｐ_max］／（ΣＲ_i）
（オーバーフロー無し） １２）
【数１３】
ΣＲ_i＜Ｒ_c且つＲ_c−ΣＲ_i＞Ｂ_f／ｔｇｏｐ_maxの場合、
Ｒ_i＝Ｒ_i・［Ｒ_c−（Ｂ_f−ａＢ_s）／ｔｇｏｐ_max］／（ΣＲ_i）
（アンダーフロー無し） １３）
【００５９】
前記以外では、何もアクションは実行されない。
【００６０】
ケース２：
これはバッファ充填度が上側の保護帯域内にある場合である。すなわち、
【数１４】
Ｂ_f＞（１−ａ）・Ｂ_s １４）
【００６１】
この場合では、バッファ充填度を減少させるか、またはＢ_fに留まるビット・レート変化だけが許可される。
【数１５】
ΣＲ_i＞Ｒ_cの場合、
Ｒ_i＝Ｒ_i・（Ｒ_c／（ΣＲ_i）） １５）
（スケーリング・ダウン）
【数１６】
ΣＲ_i＜Ｒ_c且つＲ_c−ΣＲ_i＞Ｂ_f／ｔｇｏｐ_maxの場合、
Ｒ_i＝Ｒ_i・［Ｒ_c−（Ｂ_f−ａＢ_s）／ｔｇｏｐ_max］／（ΣＲ_i）
（アンダーフロー無し） １６）
【００６２】
前記以外では、何もアクションは実行されない。
【００６３】
ケース３：
これはバッファ充填度が下側の保護帯域内にある場合である。すなわち、
【数１７】
Ｂ_f＜ａ・Ｂ_s １７）
【００６４】
この場合では、バッファ充填度を増加させるか、またはＢ_fに留まるビット・レート変化だけが許可される。
【数１８】
ΣＲ_i＜Ｒ_cの場合、
Ｒ_i＝Ｒ_i・（Ｒ_c／（ΣＲ_i）） １８）
（スケーリング・アップ）
【数１９】
ΣＲ_i＞Ｒ_c且つΣＲ_i−Ｒ_c＞（Ｂ_s−Ｂ_f）／ｔｇｏｐ_maxの場合、
Ｒ_i＝Ｒ_i・［Ｒ_c＋（（１−ａ）Ｂ_s−Ｂ_f）／ｔｇｏｐ_max］／（ΣＲ_i）
（オーバーフロー無し） １９）
【００６５】
前記以外では、何もアクションは実行されない。
【００６６】
５．統計的多重化システム内でのＭＰＥＧ−２符号器の使用：
本発明の原理に従う多重番組ビデオ圧縮システム内で使用される全てのＭＰＥＧ−２符号器は、少なくとも、前述の結合レート制御アルゴリズムにより要求される必要な統計を提供できなければならない。符号器はまた、ＧＯＰ境界においてビット・レートを変更する能力を有さねばならない。本発明の利点を更に利用するために、シーン変化に際して、符号器はＧＯＰ構造を動的に変更し、バッファ充填度誤差を計算するための量を提供し、シーン変化検出及び反応を内部的または外部的に実行できなければならない。
【００６７】
６．実験結果：
本発明に従い構成されるシステムの性能を立証するために、異なるシーン内容のイメージ・シーケンスを使用することにより、幾つかの実験がシミュレーションを通じて実行された。開発された多重番組ビデオ圧縮システムは、４つのＭＰＥＧ−２符号器（符号器１乃至符号器４）を用いてシミュレートされた。符号器の各々は、要求されるイメージ統計を出力する能力を有した。シーン変化検出は、符号器内で実行された。ビデオ・ソースは、それらの各々が、例えばスポーツ・シーン、自然、頭と肩だけのシーンなどの異なるシーン内容を表し、各々がシーン変化を含むように選択された。
【００６８】
第１のビデオ・ソースのセットが、４：２：２クロマ形式の日本ＩＢＭコマーシャル、卓球、花園及び移動カレンダ（移動カレンダを伴う花園）、並びにＭＴＶロゴを有する保護（Care）であった。ソースは４：２：２クロマ形式で符号化された。２つのＢピクチャがアンカ・ピクチャ間に配置された。閉ＧＯＰ長は、符号器１及び２では１６として、符号器３及び４では１３として選択された。フレーム・レートは各符号器において、２９．９７フレーム／秒であった。チャネル・レートは１６Ｍビット／秒で、チャネル・バッファ・サイズは式９）に従い、８Ｍビットであった。各符号器は４Ｍビット／秒のビット・レートで符号化を開始した。この初期ビット・レートは、本発明の結合レート制御技術に従い、動的に変更された。
【００６９】
図６は、結合レート制御装置を用い、各符号器に動的に割当てられるビット・レートを示す。日本ＩＢＭコマーシャル及びＭＴＶシーケンスが、他の２つのソースに対して低いビット・レートを有することがわかる。
【００７０】
第１のビデオ・ソースのセットを用い、４つの符号器により生成された合計ビット・レートが図７に示される。このグラフは、１６Ｍビット／秒におけるチャネル・ビット・レートの過小生成または過剰生成を示し、チャネル・バッファ及びフィードバック制御の必要性を立証している。
【００７１】
本提案のシステムの性能が、各符号器がそのソースを固定ビット・レートで符号化する方式と比較された。これらの符号器はシーン変化検出をそれら自身実行する。表１は、第１のビデオ・シーケンスのセットに対して、本発明により達成される平均ＰＳＮＲ値と、ＣＢＲモードにおいて、固定ビット・レート（４Ｍビット／秒）により達成される平均ＰＳＮＲ値とを示す。表１が示すように、簡単なソース（日本ＩＢＭ、ＭＴＶ）は、統計的多重化システムにおいては、固定４Ｍビット／秒レートよりも僅かに低い品質で符号化された。しかしながら、これは本提案のシステムにおいて、より複雑なソース（卓球、花園及び移動カレンダ）を、固定ＣＢＲモードの場合よりも高い品質で符号化することを可能にする。従って、本発明に従う統計的多重化システムは、固定ビット・レートの場合よりも優れた全体ピクチャ品質を提供した。
【表１】

【００７２】
表２は、同一のビデオ・ソースを使用したときの、チャネル・ビット・レートが３２Ｍビット／秒で、１６Ｍビットのチャネル・バッファを有する場合、及び８Ｍビット／秒のＣＢＲモードにおける固定ビット・レートの場合の平均ＰＳＮＲ値を示す。
【表２】

【００７３】
チャネル・バッファ・モード及びフィードバック制御の有効性を立証するために、図８は、３２Ｍビット／秒のチャネル・ビット・レートにおけるシーケンスの符号化の間の、チャネル・バッファ充填度を示す。図示のように、符号化の間に、バッファ・アンダーフローまたはオーバーフローは発生しなかった。
【００７４】
表３は、１６Ｍビット／秒のチャネル・ビット・レートにおいて、本提案のバッファ充填度誤差（ＢＦＥ）技術を使用する場合の、及び使用しない場合のシーン変化後の第１のピクチャに対するＰＳＮＲ値を含む。表３が示すように、ここで述べられるＢＦＥ技術を使用することにより、それを使用しないアルゴリズムに比較して、約０．６４ｄＢ乃至約２．１７ｄＢのＰＳＮＲの改善が達成された。
【表３】

【００７５】
第２の実験のセットでは、ＩＢＭワールドブック・コマーシャル（符号器１）、Ｍｉｘｄ（符号器２）、フットボール（符号器３）、及びＭｉｘｅ（符号器４）が、入力ソースとして使用された。Ｍｉｘｄはバイク、摩天楼及びバスケットボールのシーケンスを含み、Ｍｉｘｅでは、スージ（Susie）・シーケンスに、森の中の小屋のシーンが続く。これらのソースは第１のビデオ・ソースのセットよりも、幾分複雑であるので、チャネル・ビット・レートは２４Ｍビット／秒に選択され、チャネル・バッファは１２Ｍビットであった。符号化パラメータは、閉ＧＯＰ長が符号器１及び符号器２では１３で、符号器３及び符号器４では１６であった以外、第１の実験のセットの場合と同一であった。ＣＢＲケースでは、ビット・レートが６Ｍビット／秒に固定された。図９は、本発明の結合レート制御技術に従う、符号器の動的ビット・レート変化を示す。第２のビデオ・ソースのセットを符号化するための合計ビット・レートが図１０に示される。これは２４Ｍビット／秒におけるチャネル・ビット・レートの過小生成及び過剰生成を示す。
【００７６】
表４は、本提案システムにより、及びＣＢＲモードにおける固定ビット・レート（６Ｍビット／秒）により達成された、平均ＰＳＮＲ値を含む。この表は、第１の実験のセットに対して達成されたビジュアル品質と、同一の傾向を示す。本発明の統計的多重化システムは、ＣＢＲモードと比較して、単純なソース（ＩＢＭワールドブック、Ｍｉｘｅ）に対しては、僅かに低いピクチャ品質をもたらしたが、より複雑なソース（Ｍｉｘｄ、フットボール）の品質を改善した。
【表４】

【００７７】
２４Ｍビット／秒のチャネル・ビット・レートにて、この第２のビデオ・ソースのセットを符号化するためのチャネル・バッファ充填度が、図１１に示される。バッファ・アンダーフローまたはオーバーフローは存在しない。
【００７８】
７．プロセス概要：
図１２は、本発明に従う符号化処理の概要を示す。統計が個々の符号器からフィードバックとして、レート制御装置に供給される。これらの統計は使用されるビット、平均ＭＱＵＡＮＴ、及びバッファ充填度を含み得る（ステップ３００）。更に、ビデオ・フレームの各ストリームにおいて発生するシーン変化、チャネル・バッファ充填度、及び前述のようにシステム内において発生する最大ＧＯＰ長に関する情報が提供される。チャネル・バッファ充填度は、チャネル・バッファ自身からフィードバック信号として受信される。ビット・レート制御装置は初期に、シーン変化を示すシーン変化フラグがセットされたか否かを判断する（ステップ３１０）。セットされた場合、新たなシーンの最初のフレームが、前のシーンの最後のフレームとして、または新たな１ピクチャＧＯＰの最初のピクチャとして符号化される（ステップ３２０）。新たなシーンのこの最初のピクチャは、次に新たなシーンの複雑度を予測するために使用される（ステップ３３０）。
【００７９】
ビット・レートＲ_iが各符号器に対して計算される（ステップ３４０）。次に、シーン変化フラグがセットされたか否かを判断し（ステップ３５０）、セットされた場合、バッファ充填度誤差技術により、符号器のビット・レートＲ_iを変更する（ステップ３６０）。次に、チャネル・バッファ制御技術が前述のように実行され（ステップ３７０）、現フレームが、符号器ｉにて符号化されるビデオ・フレームのストリームのＧＯＰ境界にあるか否かを判断する（ステップ３８０）。否定の場合、処理はステップ３００に戻り、入力パラメータの次のセットを収集する。現フレームがＧＯＰ境界にある場合、新たなビット・レートＲ_iが符号器ｉに伝達される（ステップ３９０）。
【００８０】
再度要約すると、本発明によれば、複数の符号器間でビット・レートを動的に割当て、ビデオ・ストリームを並列に符号化し、共通チャネル上に多重化する結合レート制御技術が提供される。番組の相対複雑度及び番組内で発生するシーン変化にもとづき、チャネル・ビット・レートが符号器間で分配される。ここで述べられる方法は、入力ソースの外部事前処理を要求しない。番組の複雑度が符号化統計及びシーン変化検出にもとづき決定され、それらが符号器により圧縮ビットストリームと一緒に生成される。各ピクチャのターゲット・ビット・レートを計算する代わりに、ビット・レートがＧＯＰ境界において、またはシーン変化が発生する場合、変更される。これは符号器がＧＯＰ内では、一定ビット・レート（ＣＢＲ）で動作することを可能にする。
【００８１】
ＧＯＰ境界でのみビット・レートを変更することは、番組の複雑度変化に対する結合レート制御装置の反応時間を制限する。この問題を解決するために、シーン変化検出が、ビデオ・フレームのストリーム内の各連続ピクチャ間で実行されると仮定し、またそれが新たなシーン内の最初のフレームの符号化以前に知れていると仮定する。更に、符号器がＧＯＰ構造を動的に変更可能であると仮定する。これは市販の符号器において使用可能な機能である。シーン変化が発生する場合、現ＧＯＰが早まって終了され、新たなシーンの最初のピクチャが符号化される。新たなシーンのこの最初のピクチャからの統計が、次に新たなシーンの複雑度を予測するために使用され、結果的に、続くＧＯＰのビット・レートを計算する。
【００８２】
シーン変化の場合にピクチャ品質を改善するために、更に追加の変更が開発された。特に、ＧＯＰ内のビットの過剰生成または過小生成に起因するバッファ充填度誤差が、シーン変化後の新たなＧＯＰの開始において、０と見なされる。各符号器に接続されるバッファ内のアンダーフローまたはオーバーフローを阻止するために、結合レート制御装置により計算されるビット・レートが変更される。バッファ充填度誤差が正の場合（ＧＯＰの開始におけるバッファ充填度が、初期バッファ充填度（例えばバッファ・サイズの８０％）よりも小さい）、番組のビット・レートが増加される。反対に、バッファ充填度誤差が負の場合、番組のビット・レートが減少される。この技術はシーン変化の後、より優れたピクチャ品質をもたらす。この概念は更に、動的ＧＯＰ構造機能を有さない符号器、及びシーン変化検出が外部的に実行される符号器に対して拡張され得る。
【００８３】
符号器は好適には同一のフレーム・レートで動作するが、異なるＧＯＰ長及び構造を有し得、異なる時刻に符号化を開始し得る。従って、個々のビット・レートの総和が、所定のチャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。チャネル・バッファがシステム内に組み込まれ、正確にチャネル・ビット・レートで多重化ビット・ストリームを出力する。また、チャネルの最小サイズを決定する方法も開発された。これはチャネル・ビット・レートからの許容合計偏差、及びシステム内で発生する最大ＧＯＰ時間にもとづく。チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・フィードバックが結合レート制御装置内に組み込まれる。
【００８４】
本発明は例えば、コンピュータ使用可能媒体を有する製造物（例えば１つ以上のコンピュータ・プログラム製品）内に含まれ得る。この媒体は、例えば本発明の機能を提供し、容易にするコンピュータ読出し可能プログラム・コード手段を実現する。製造物はコンピュータ・システムの一部として含まれるか、或いは別々に販売され得る。
【００８５】
更に、本発明の機能を実行するために、マシンにより実行可能な命令の少なくとも１つのプログラムを実現する、マシンにより読出し可能な少なくとも１つのプログラム記憶装置が提供され得る。
【００８６】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００８７】
（１） ビデオ・フレームの多重ストリームを処理する方法であって、
前記ビデオ・フレームの多重ストリームを並列に符号化するステップと、
前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するステップと、
を含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変であり、
前記符号化が多重圧縮ビデオ・ストリームを生成し、かつ前記方法が、各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを更に含み、かつ前記符号化を動的に適応するステップが、前記各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含み、
前記符号化ビット・レートを変更するステップが、前記符号化ビット・レートを
Ｒ_imod＝Ｒ_i＋Ｅ・ｆ_i／Ｎ_i
として変更するステップを含み、
ここで、Ｒ_iはビデオ・フレームのストリームｉに対して計算されたビット・レート、Ｅはバッファ充填度誤差ビット、Ｎ_iはストリームｉのＧＯＰ内のピクチャ数、及びｆ_iはストリームｉのフレーム・レートである、前記方法。
（２） 前記少なくとも１つのストリーム内のシーン変化の検出に応じて、前記少なくとも１つのストリームを符号化することを実行するステップを更に含む、（１）に記載の方法。
（３） 前記調整は、前記少なくとも１つのストリーム内のシーン変化の検出に応じて生じる、（２）に記載の方法。
（４） 前記少なくとも１つのストリーム内の前記シーン変化を検出するステップを更に含む、（３）に記載の方法。
（５） 前記調整して符号化するステップが、前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの各ストリームを符号化するステップを含む、（１）に記載の方法。
（６） 前記符号化ビット・レートを調整するステップが、前記ストリーム内のシーン変化の検出に応じて、または新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始に応じて発生するステップを含む、（１）に記載の方法。
（７） 前記多重圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを更に含む、（１）に記載の方法。
（８） 前記多重圧縮ビデオ・ストリームを、前記一定ビット・レート・チャネルに接続されたチャネル・バッファ内にバッファリングするステップを更に含み、及び前記符号化ビット・レートを調整するステップが、前記各ストリームに対して、前記チャネル・バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、（７）に記載の方法。
（９） 前記チャネル・バッファの上限及び下限において、保護帯域を事前に定義して、前記バッファ充填度が前記チャネル・バッファの前記上限及び下限の保護帯域内の一つにあるときにはいつも、前記符号化ビット・レートを変更するステップを更に含む、（８）に記載の方法。
（１０） 前記符号化ビット・レートを変更するステップが、前記バッファ充填度が前記上保護帯域内にある場合に、前記変更が前記バッファ充填度を減少させるか、または前記バッファ充填度を同じに維持するときにのみ前記符号化ビット・レートの変更を可能にし、かつ前記バッファ充填度が前記下保護帯域内にある場合に、前記変更がバッファ充填度を増加させるか、または前記チャネル・バッファ充填度を変化させないときにのみ前記符号化ビット・レートの変更だけを可能にするステップを含む、（９）に記載の方法。
（１１） 前記符号化ビット・レートを調整するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及び前記調整して符号化するステップが、符号化統計を前記レート制御アルゴリズムに提供するステップを含み、前記符号化統計が前記多重ストリームの前記符号化から導出される、（１）に記載の方法。
（１２） 前記符号化するステップが、複数のＭＰＥＧ符号器を使用して、前記多重ストリームを並列に符号化するステップを含み、各ＭＰＥＧ符号器は、前記多重ストリームのビデオ・フレームの１ストリームを受信する、（１）に記載の方法。
（１３） 前記多重ストリームを並列に符号化するステップが、多重圧縮ビデオ・ストリームを生成し、及び前記方法が一定ビット・レート・チャネルを介しての転送のために、前記多重圧縮ビデオ・ストリームを多重化するステップを更に含む、（１）に記載の方法。
（１４） 前記符号化ビット・レートを調整するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及び前記レート制御アルゴリズムが、前記符号化の結果からの圧縮ビデオ・ストリームを受信するバッファの充填度に部分的にもとづき、前記少なくとも１つのストリームの前記符号化ビット・レートを制御する、（１）に記載の方法。
（１５） ビデオ・フレームの多重ストリームを処理する方法であって、
前記ビデオ・フレームの多重ストリームを並列に符号化するステップであって、前記符号化は各ビデオ・フレームのストリームの少なくとも１つの符号化ビット・レートを使用することを含む、前記符号化するステップと、
前記符号化の間、前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するステップであって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記導出するステップと、
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するステップと
を含み、
前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記前記ストリームを含むビデオ・データの複雑度を含み、前記分析するステップが、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測するステップを含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、前記方法。
（１６） 前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するステップを含み、前記シーンの前記複雑度は、少なくとも１つの特性を含む、（１５）に記載の方法。
（１７） 前記符号化が多重圧縮ビデオ・ストリームを生成し、及び前記方法が、一定ビット・レート・チャネル上に転送するために、各圧縮ビデオ・ストリームを多重化するステップを更に含む、（１６）に記載の方法。
（１８） 前記多重化するステップは、前記多重化以前に前記各圧縮ビデオ・ストリームをバッファリングするステップを含み、及び前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出するステップを含み、前記統計が、使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、（１７）に記載の方法。
（１９） 前記符号化するステップが、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するステップを含み、及び前記動的に適応するステップが、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするステップを含み、前記動的にセットするステップは、前記各ＧＯＰの始めに起こる、（１５）に記載の方法。
（２０） 前記符号化ビット・レートを調整する前記ステップが、前記ビデオ・フレームの各ストリームの前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定するステップを含む、（１９）に記載の方法。
（２１） 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始するステップを含む、（２０）に記載の方法。
（２２） 前記ビデオ・フレームの多重ストリームが、ビデオ・データの異なるソース、または多重ストリームに分割されたビデオ・データの共通ソースを含む、（１５）に記載の方法。
（２３） ビデオ・フレームの多重ストリームを処理するためのシステムであって、
前記多重ストリームを並列に符号化するための複数の符号器であって、各符号器は、１つのストリームを符号化するために、ビデオ・フレームの符号化ビット・レートを使用する、前記複数の符号器と、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出する手段であって、前記少なくとも１つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記導出する手段と、
前記多重ストリームの少なくとも１つのストリームを符号化するために、前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整する手段と
を含み、
前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記ストリームを含むビデオ・データの複雑度を含み、及び前記分析する手段が、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測する手段を含み、
前記符号化するための複数の符号器が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である前記システム。
（２４） 前記分析する手段が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出する手段を含み、前記シーンの前記複雑度は、少なくとも１つの特性を含む、（２３）に記載のシステム。
（２５） 前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、及び前記システムが、一定ビット・レート・チャネル上に転送するために、前記圧縮ビデオ・ストリームを多重化するためのマルチプレクサを更に含む、（２４）に記載のシステム。
（２６） 複数のバッファを更に含み、ここで前記複数のバッファの各バッファは、前記複数の符号器の１つと前記マルチプレクサとの間に接続され、
チャネル・バッファを更に含み、ここで前記チャネル・バッファは、前記マルチプレクサと前記一定ビット・レート・チャネルとの間に接続され、
及び前記分析する手段が、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出する手段を含み、前記統計が使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、（２５）に記載のシステム。
（２７） 前記複数の符号器が、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化する手段を含み、及び前記符号化ビット・レートを調整する手段が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットする手段を含み、前記動的にセットする手段は、前記各ＧＯＰの始めに起こる、（２３）に記載のシステム。
（２８） 前記符号化ビット・レートを調整する手段が、前記ビデオ・フレームの各ストリームの前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定する手段を含む、（２７）に記載のシステム。
（２９） 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始する手段を含む、（２８）に記載のシステム。
（３０） ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ読出し可能プログラムが、
前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階であって、前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、前記コンピュータに指示する段階と、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階であって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記コンピュータに指示する段階と、
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するように、前記コンピュータに指示する段階と、
を含み、
前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及び前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含み、
前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始する段階を含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変であるところのプログラムを記録した前記コンピュータ読み取り可能な記録媒体。
（３１） 前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するように、前記コンピュータに指示する段階とを含み、前記シーンの前記複雑度は、少なくとも１つの特性を含むところのプログラムを記録した（３０）に記載のコンピュータ読み取り可能な記録媒体。
（３２） 前記調整して符号化するように前記コンピュータに指示する段階が、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及び前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、前記動的にセットすることは、前記各ＧＯＰの始めに起こるところのプログラムを記録した（３０）に記載のコンピュータ読み取り可能な記録媒体。
（３３） ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ読出し可能プログラムが、
前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階であって、前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、前記コンピュータに指示する段階と、
前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階であって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記コンピュータに指示する段階と、
前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するように、前記コンピュータに指示する段階と
を含み、
前記少なくとも１つのストリームを符号化するように前記コンピュータに指示する段階が、前記各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及び前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、前記動的にセットすることは、前記各ＧＯＰの始めに起こり、
前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャを開始するように、前記コンピュータに指示する段階を含み、及び前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及び前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含む、
ところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（３４） （１）〜（２２）のいずれか一項に記載の方法を実行するところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図面の簡単な説明】
【図１】本発明の原理に従う統計的多重化システムで使用される一般的なＭＰＥＧ−２準拠の符号器１１のフロー図である。
【図２】Ｉピクチャ、Ｐピクチャ及びＢピクチャの表示順序及び伝送順序、及び前方動き予測及び後方動き予測の例を示す図である。
【図３】本発明に従い実現される多重ストリーム・ビデオ圧縮統計的多重化システムの例を示す図である。
【図４】本発明に従うシーン変化におけるピクチャ・グループ構造の変化を示す図である。
【図５】本発明に従う統計的多重化システムのチャネル・バッファ充填度対時間の関係を示す図である。
【図６】本発明に従う統計的多重化システムにおいて、ビデオ・ソースの第１のセットを１６Ｍビット／秒のチャネル・ビット・レートで符号化するための、ビット・レートの例を示す図である。
【図７】図６のビデオ・ソースの第１のセット（Ｒ_c＝１６Ｍビット／秒）を符号化するための合計ビット・レートのグラフである。
【図８】図６のビデオ・ソースの第１のセットを、１６Ｍビット／秒のチャネル・バッファを用い、３２Ｍビット／秒のチャネル・ビット・レートで記録するための、チャネル・バッファ充填度のグラフである。
【図９】本発明に従う統計的多重化システムにおいて、ビデオ・ソースの第２のセットを２４Ｍビット／秒のチャネル・ビット・レートで符号化するための、ビット・レートの例を示す図である。
【図１０】図９のビデオ・ソースの第２のセット（Ｒ_c＝２４Ｍビット／秒）を符号化するための合計ビット・レートを示す図である。
【図１１】図９のビデオ・ソースの第２のセットを、１２Ｍビット／秒のチャネル・バッファを用い、２４Ｍビット／秒のチャネル・ビット・レートで符号化するための、チャネル・バッファ充填度のグラフである。
【図１２】本発明の原理に従う統計的多重化レート制御処理の１実施例のフロー図である。
【符号の説明】
１乃至４、１１ 符号器
２１ 離散コサイン変換器（ＤＣＴ）
２３ 量子化器
２９ 逆量子化
３１ 逆離散コサイン変換
４１ 動き補償ユニット
４２ フレーム・メモリ
４３ 動き推定ユニット
１１３ 動きベクトル
２００ 多重番組ビデオ圧縮システム
２１０ ＭＰＥＧ−２ビデオ符号器
２２０ バッファ
２３０ 結合レート制御装置
２４０ マルチプレクサ
２５０ チャネル・バッファ
２５５ チャネル・バッファ制御フィードバック

Claims (34)

1. ビデオ・フレームの多重ストリームを処理する方法であって、
   前記ビデオ・フレームの多重ストリームを並列に符号化するステップと、
   前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するステップと、
   を含み、
   前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、ここで前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変であり、
   前記符号化が多重圧縮ビデオ・ストリームを生成し、かつ前記方法が、各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを更に含み、かつ前記符号化を動的に適応するステップが、前記各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含み、
   前記符号化ビット・レートを変更するステップが、前記符号化ビット・レートを
   Ｒ_imod＝Ｒ_i＋Ｅ・ｆ_i／Ｎ_i
   として変更するステップを含み、
   ここで、Ｒ_iはビデオ・フレームのストリームｉに対して計算されたビット・レート、Ｅはバッファ充填度誤差ビット、Ｎ_iはストリームｉのＧＯＰ内のピクチャ数、及びｆ_iはストリームｉのフレーム・レートである、前記方法。
2. 前記少なくとも１つのストリーム内のシーン変化の検出に応じて、前記少なくとも１つのストリームを符号化することを実行するステップを更に含む、請求項１に記載の方法。
3. 前記調整は、前記少なくとも１つのストリーム内のシーン変化の検出に応じて生じる、請求項２に記載の方法。
4. 前記少なくとも１つのストリーム内の前記シーン変化を検出するステップを更に含む、請求項３に記載の方法。
5. 前記調整して符号化するステップが、前記多重ストリームを含む前記ビデオ・フレームの相対複雑度にもとづき、前記多重ストリームの各ストリームを符号化するステップを含む、請求項１に記載の方法。
6. 前記符号化ビット・レートを調整するステップが、前記ストリーム内のシーン変化の検出に応じて、または新たなグループ・オブ・ピクチャ（ＧＯＰ）の開始に応じて発生するステップを含む、請求項１に記載の方法。
7. 前記多重圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを更に含む、請求項１に記載の方法。
8. 前記多重圧縮ビデオ・ストリームを、前記一定ビット・レート・チャネルに接続されたチャネル・バッファ内にバッファリングするステップを更に含み、及び前記符号化ビット・レートを調整するステップが、前記各ストリームに対して、前記チャネル・バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、請求項７に記載の方法。
9. 前記チャネル・バッファの上限及び下限において、保護帯域を事前に定義して、前記バッファ充填度が前記チャネル・バッファの前記上限及び下限の保護帯域内の一つにあるときにはいつも、前記符号化ビット・レートを変更するステップを更に含む、請求項８に記載の方法。
10. 前記符号化ビット・レートを変更するステップが、前記バッファ充填度が前記上保護帯域内にある場合に、前記変更が前記バッファ充填度を減少させるか、または前記バッファ充填度を同じに維持するときにのみ前記符号化ビット・レートの変更を可能にし、かつ前記バッファ充填度が前記下保護帯域内にある場合に、前記変更がバッファ充填度を増加させるか、または前記チャネル・バッファ充填度を変化させないときにのみ前記符号化ビット・レートの変更だけを可能にするステップを含む、請求項９に記載の方法。
11. 前記符号化ビット・レートを調整するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及び前記調整して符号化するステップが、符号化統計を前記レート制御アルゴリズムに提供するステップを含み、前記符号化統計が前記多重ストリームの前記符号化から導出される、請求項１に記載の方法。
12. 前記符号化するステップが、複数のＭＰＥＧ符号器を使用して、前記多重ストリームを並列に符号化するステップを含み、各ＭＰＥＧ符号器は、前記多重ストリームのビデオ・フレームの１ストリームを受信する、請求項１に記載の方法。
13. 前記多重ストリームを並列に符号化するステップが、多重圧縮ビデオ・ストリームを生成し、及び前記方法が一定ビット・レート・チャネルを介しての転送のために、前記多重圧縮ビデオ・ストリームを多重化するステップを更に含む、請求項１に記載の方法。
14. 前記符号化ビット・レートを調整するステップが、レート制御アルゴリズムを使用して、前記少なくとも１つのストリームの符号化ビット・レートを制御するステップを含み、及び前記レート制御アルゴリズムが、前記符号化の結果からの圧縮ビデオ・ストリームを受信するバッファの充填度に部分的にもとづき、前記少なくとも１つのストリームの前記符号化ビット・レートを制御する、請求項１に記載の方法。
15. ビデオ・フレームの多重ストリームを処理する方法であって、
    前記ビデオ・フレームの多重ストリームを並列に符号化するステップであって、前記符号化は各ビデオ・フレームのストリームの少なくとも１つの符号化ビット・レートを使用することを含む、前記符号化するステップと、
    前記符号化の間、前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するステップであって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記導出するステップと、
    前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するステップと
    を含み、
    前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記前記ストリームを含むビデオ・データの複雑度を含み、前記分析するステップが、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測するステップを含み、
    前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である、前記方法。
16. 前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するステップを含み、前記シーンの前記複雑度は、少なくとも１つの特性を含む、請求項１５に記載の方法。
17. 前記符号化が多重圧縮ビデオ・ストリームを生成し、及び前記方法が、一定ビット・レート・チャネル上に転送するために、各圧縮ビデオ・ストリームを多重化するステップを更に含む、請求項１６に記載の方法。
18. 前記多重化するステップは、前記多重化以前に前記各圧縮ビデオ・ストリームをバッファリングするステップを含み、及び前記分析するステップが、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出するステップを含み、前記統計が、使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、請求項１７に記載の方法。
19. 前記符号化するステップが、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するステップを含み、及び前記動的に適応するステップが、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするステップを含み、前記動的にセットするステップは、前記各ＧＯＰの始めに起こる、請求項１５に記載の方法。
20. 前記符号化ビット・レートを調整する前記ステップが、前記ビデオ・フレームの各ストリームの前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定するステップを含む、請求項１９に記載の方法。
21. 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始するステップを含む、請求項２０に記載の方法。
22. 前記ビデオ・フレームの多重ストリームが、ビデオ・データの異なるソース、または多重ストリームに分割されたビデオ・データの共通ソースを含む、請求項１５に記載の方法。
23. ビデオ・フレームの多重ストリームを処理するためのシステムであって、
    前記多重ストリームを並列に符号化するための複数の符号器であって、各符号器は、１つのストリームを符号化するために、ビデオ・フレームの符号化ビット・レートを使用する、前記複数の符号器と、
    前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出する手段であって、前記少なくとも１つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記導出する手段と、
    前記多重ストリームの少なくとも１つのストリームを符号化するために、前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整する手段と
    を含み、
    前記少なくとも１つの特性が、前記ビデオ・フレームの前記ストリームに対して、前記ストリームを含むビデオ・データの複雑度を含み、及び前記分析する手段が、前記新たなシーンの最初のフレームの複雑度にもとづき、前記新たなシーンの複雑度を予測する手段を含み、
    前記符号化するための複数の符号器が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始するステップを含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変である前記システム。
24. 前記分析する手段が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出する手段を含み、前記シーンの前記複雑度は、少なくとも１つの特性を含む、請求項２３に記載のシステム。
25. 前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、及び前記システムが、一定ビット・レート・チャネル上に転送するために、前記圧縮ビデオ・ストリームを多重化するためのマルチプレクサを更に含む、請求項２４に記載のシステム。
26. 複数のバッファを更に含み、ここで前記複数のバッファの各バッファは、前記複数の符号器の１つと前記マルチプレクサとの間に接続され、
    チャネル・バッファを更に含み、ここで前記チャネル・バッファは、前記マルチプレクサと前記一定ビット・レート・チャネルとの間に接続され、
    及び前記分析する手段が、前記ビデオ・フレームの各ストリームを分析して、前記それらの少なくとも１つの特性に関する統計を導出する手段を含み、前記統計が使用されたビット、平均ＭＱＵＡＮＴ、バッファ充填度、またはシーン変化に関する統計の少なくとも１つを含む、請求項２５に記載のシステム。
27. 前記複数の符号器が、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化する手段を含み、及び前記符号化ビット・レートを調整する手段が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットする手段を含み、前記動的にセットする手段は、前記各ＧＯＰの始めに起こる、請求項２３に記載のシステム。
28. 前記符号化ビット・レートを調整する手段が、前記ビデオ・フレームの各ストリームの前記ＧＯＰの各ＧＯＰの符号化ビット・レートを決定する手段を含む、請求項２７に記載のシステム。
29. 前記ビデオ・フレームの各ストリームに対して、前記ストリーム内のシーン変化の検出に応じて、新たな前記ＧＯＰを開始する手段を含む、請求項２８に記載のシステム。
30. ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータ読出し可能プログラムが、
    前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階であって、前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、前記コンピュータに指示する段階と、
    前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階であって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記コンピュータに指示する段階と、
    前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するように、前記コンピュータに指示する段階と、
    を含み、
    前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及び前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含み、
    前記符号化が、前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャ（ＧＯＰ）を開始する段階を含み、前記ビデオ・フレームの各ストリームに対して、前記符号化ビット・レートが各ＧＯＰ内で一定であり、かつ前記ＧＯＰ間で可変であるところのプログラムを記録した前記コンピュータ読み取り可能な記録媒体。
31. 前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記ビデオ・フレームの各ストリームを分析して、符号化されるシーンの複雑度に関する情報を導出するように、前記コンピュータに指示する段階とを含み、前記シーンの前記複雑度は、少なくとも１つの特性を含むところのプログラムを記録した請求項３０に記載のコンピュータ読み取り可能な記録媒体。
32. 前記調整して符号化するように前記コンピュータに指示する段階が、前記ビデオ・フレームの各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及び前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、前記動的にセットすることは、前記各ＧＯＰの始めに起こるところのプログラムを記録した請求項３０に記載のコンピュータ読み取り可能な記録媒体。
33. ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能なプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータ読出し可能プログラムが、
    前記ビデオ・フレームの多重ストリームを符号化するように、前記コンピュータに指示する段階であって、前記符号化が、ビデオ・フレームの各ストリームの符号化ビット・レートを使用する段階を含む、前記コンピュータに指示する段階と、
    前記各ストリームを分析して、それらの少なくとも１つの特性に関する情報を導出するように、前記コンピュータに指示する段階であって、前記少なくとも一つの特性は、イントラフレーム特性またはインタフレーム特性の少なくとも一つを含む、前記コンピュータに指示する段階と、
    前記多重ストリームの各ストリームから獲得された前記少なくとも１つの特性に関する相対情報を使用して、前記符号化によって使用される符号化ビット・レートを調整して、前記多重ストリームの少なくとも１つのストリームを符号化するように、前記コンピュータに指示する段階と
    を含み、
    前記少なくとも１つのストリームを符号化するように前記コンピュータに指示する段階が、前記各ストリームをグループ・オブ・ピクチャ（ＧＯＰ）として符号化するように、前記コンピュータに指示する段階を含み、及び前記符号化ビット・レートを調整するように前記コンピュータに指示する段階が、前記各ストリームの前記ＧＯＰの各ＧＯＰの符号化において使用された前記符号化ビット・レートを動的にセットするように、前記コンピュータに指示する段階を含み、前記動的にセットすることは、前記各ＧＯＰの始めに起こり、
    前記各ストリームに対して、前記ビデオ・フレームのストリーム内のシーン変化の検出に応じて、新たなグループ・オブ・ピクチャを開始するように、前記コンピュータに指示する段階を含み、及び前記少なくとも１つの特性が、前記各ストリームのビデオ・フレームの複雑度を含み、及び前記分析するように前記コンピュータに指示する段階が、前記新たなシーンの最初のフレームの複雑度にもとづき、新たなシーンの複雑度を予測するように、前記コンピュータに指示する段階を含む、
    ところのプログラムを記録したコンピュータ読み取り可能な記録媒体。
34. 請求項１〜請求項２２のいずれか一項に記載の方法を実行するところのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images