JP4346732B2 - ビデオ・フレームの多重ストリームを処理する方法及びシステム - Google Patents
ビデオ・フレームの多重ストリームを処理する方法及びシステム Download PDFInfo
- Publication number
- JP4346732B2 JP4346732B2 JP14631299A JP14631299A JP4346732B2 JP 4346732 B2 JP4346732 B2 JP 4346732B2 JP 14631299 A JP14631299 A JP 14631299A JP 14631299 A JP14631299 A JP 14631299A JP 4346732 B2 JP4346732 B2 JP 4346732B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- stream
- statistics
- coding
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
- H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Communication Control (AREA)
Description
【発明の属する技術分野】
本発明は一般にデジタル・ビジュアル・イメージの圧縮に関して、特に、ビデオ・データの多重ストリームを並列に動的に符号化し、一定ビット・レート・チャネル上に多重化する制御技術に関する。本制御技術は、各ビデオ・データ・ストリームに対する個々の符号化ビット・レートが、ビデオ・データの多重ストリームの相対複雑度に部分的にもとづき、動的に調整されることを可能にする。相対複雑度は部分的に、先読みアプローチを用いて評価され、そこではピクチャ統計が各ビデオ・データ・ストリームに対して、その符号化以前に決定される。
【0002】
【従来の技術】
放送テレビジョン、通信ネットワーク、家電製品及びマルチメディア・コンピュータなどの業界における、様々なデジタル・ビデオ技術の出現は、急速に増えつつある。デジタル・ビデオ・アプリケーションのこの広範な利用は、デジタル情報の信号処理、編集及びデータ転送が、アナログ表現の処理に比較して、大変容易である事実により促進される。しかしながら、重要な点は、デジタル・ビデオはその普及を、近年デジタル・ビデオ圧縮のための作成された幾つかの規格に負っていることである。
【0003】
デジタル・ビデオ圧縮ソルーションは、恐らく任意のデジタル・ビデオ・プラットフォームの最も重要な要素である。デジタル・ビデオは非圧縮形式では大量の情報を含むことがわかっているので、その操作、記憶及び伝送は、非常に時間を要し、高価となる。その結果、その内容の知覚品質を保存する一方、圧倒的なデータ量を低減するデジタル・ビデオ圧縮技術が考案された。互換のビデオ伸張方式が、データを再生のために圧縮解除するために使用される。
【0004】
Moving Pictures and Expert Groupにより形成され、ISO/IEC13818−2、"Information Technology - Generic Coding of Moving Pictures and Associated Audio Information: Video 1996"で述べられるMPEG−2国際標準規格は、前述の業界のために、圧縮を標準化することを目的とする。ISO MPEG−2規格は、符号化ビットストリームの構文及び復号プロセスのセマンティクス(意味)を指定する。しかしながら、符号化パラメータの選択、及び性能対複雑度のトレードオフが、符号器開発者には残される。
【0005】
MPEG−2符号化システムの効率は、固定通信帯域幅上で伝送される、またはデジタル媒体に記憶される知覚ビデオの精度により評価される。デジタル衛星システムなどの一部のアプリケーションでは、複数の番組が単一の大規模ストリームに多重化されて同報され、MPEG−2符号器のバンクが、全ての番組をモニタ及び符号化するために使用される一方で、受信チャネルの品質を維持しようとする。MPEG−2ストリームは非同期転送モード(ATM)・ネットワークにおいて、固定通信帯域幅または動的帯域幅のいずれかにより送信される。
【0006】
直接放送衛星(DBS)アプリケーションなどの典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリーム(すなわち番組)が、単一一定ビット・レート・チャネル上に多重化される。残念ながら、所定の一定ビット・レートでの各番組の符号化は、時間の経過に伴う番組のシーン内容の変化により、ピクチャ品質の劣化を生じ得る。ビデオ・ソースが異なる符号化を施されたり、異なるピクチャ・グループ(GOP)構造を有する場合など、符号器の作用が時間的に整列されない場合、問題は一層複雑になる。
【0007】
【発明が解決しようとする課題】
使用可能な帯域幅を番組間で動的に分配することにより、システムの全体的なビデオ品質を最適化する多重番組圧縮技術が待望される。本発明は、符号化プロセスの間に、個々の符号器を動的に制御する結合レート制御技術を使用することにより、こうした技術を提供する。
【0008】
【課題を解決するための手段】
要するに、1態様では、本発明の原理に従い、ビデオ・フレームの多重ストリームを処理する方法が提供される。この方法は、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を決定するにおいて、多重ストリームの符号化以前に、ビデオ・フレームの相対複雑度に関するピクチャ統計を獲得するステップと、ビデオ・フレームの相対複雑度を用いて、ビデオ・フレームの多重ストリームを並列に符号化するにおいて、ビデオ・フレームの相対複雑度の変化により、多重ストリームを適応的に符号化するステップと、符号化の間に、ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出するステップとを含み、適応的に符号化するステップが、ピクチャ統計及び符号化統計の両方を使用し、ビデオ・フレームの多重ストリームを適応的に符号化するステップを含む。
【0009】
別の態様では、ビデオ・フレームの多重ストリームを処理する方法が、多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出するステップと、ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、多重ストリームを並列に符号化するステップと、多重ストリームから獲得されるピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、多重ストリームの符号化を少なくとも1つの特性の相対変化に適応化するステップと、符号化の間に、ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出するステップとを含み、適応化するステップが、符号化統計をピクチャ統計と共に使用し、ビデオ・フレームの少なくとも1つのストリームの符号化を適応化するステップを含む。
【0010】
更に別の態様では、ビデオ・フレームの多重ストリームを処理するシステムが提供される。このシステムは、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、ビデオ・フレームの多重ストリームを並列に符号化する複数の符号器とを含む。各符号器は、ビデオ・フレームの多重ストリームの1ストリームを受信する。複数の符号器の各々は、符号化されるビデオ・フレームのストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を生成する手段を含む。システムは更に、各符号器及び分析手段に接続され、多重ストリームを構成するビデオ・フレームから導出されるピクチャ統計及び符号化統計にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置を含む。
【0011】
更に別の態様では、本発明はビデオ・フレームの多重ストリームを処理するシステムを含む。このシステムは、ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出する分析手段を含む。複数の符号器が多重ストリームを並列に符号化するために提供され、各符号器が少なくとも1つの制御可能な符号化パラメータを使用し、ビデオ・フレームのストリームを符号化する。複数の符号器は、符号化の間にビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出する符号化手段を含む。システムは更に、各符号器及び分析手段に接続され、ピクチャ統計及び符号化統計から導出される相対情報にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置を含む。符号化の動的な適応化には、少なくとも1つのストリームの符号化に使用される、少なくとも1つの制御可能な符号化パラメータの調整が含まれ、多重ストリームの符号化が、相対情報の変化に適応する。
【0012】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも1つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を決定するようにコンピュータに指示し、多重ストリームの符号化以前に、ビデオ・フレームの相対複雑度に関するピクチャ統計を獲得する手段と、ビデオ・フレームの相対複雑度を用い、ビデオ・フレームの多重ストリームを並列に符号化するようにコンピュータに指示し、ビデオ・フレームの相対複雑度の変化により、多重ストリームを適応的に符号化する手段と、符号化の間に、ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出するようにコンピュータに指示する手段とを含み、適応的に符号化する手段が、ピクチャ統計及び符号化統計の両方を使用し、ビデオ・フレームの多重ストリームを適応的に符号化するように、コンピュータに指示する手段を含む。
【0013】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも1つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出するように、コンピュータに指示する手段と、ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、多重ストリームを並列に符号化するようにコンピュータに指示する手段と、多重ストリームから獲得されるピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、多重ストリームの符号化を相対情報の変化に適応化するように、コンピュータに指示する手段と、符号化の間に、ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出するように、コンピュータに指示する手段とを含み、適応化するようにコンピュータに指示する手段が、符号化統計をピクチャ統計と共に使用し、ビデオ・フレームの少なくとも1つのストリームの符号化を適応化するようにコンピュータに指示する手段を含む。
【0014】
再度述べると、本発明は、例えばMPEG−2互換ビデオ符号器などを使用し、幾つかのビデオ番組を並列に符号化する、統計的多重化のためのシステム・ソルーションを提供する。符号器間でビット・レートを動的に割当てる結合レート制御技術が提供される。各符号器のビット・レートは、例えば番組の相対複雑度、及び符号化される番組内で発生するシーン変化にもとづき決定される。相対複雑度は、特定のピクチャの符号化以前に獲得される"イメージ統計"、または特定のピクチャの符号化の結果獲得される"符号化統計"のいずれか一方、または両方を用いて評価される。従って、イメージ統計が、まだ符号化されていない現ピクチャを特徴付ける一方、符号化統計が、符号化された先行ピクチャに関する情報を提供する。
【0015】
2つのタイプの統計から、多重ビデオ・ストリーム間のビット・レートの改善された割当てが達成される。更に、始動時及びシーン変化時の先読み処理が、新たなシーンの履歴の欠如にも関わらず、正確なビット・レート分配を可能にする。例えば、純粋なフィードバック・アプローチにおいて必要な所定の固定ビット・レートを使用する代わりに、符号化の開始時に、ビデオ・ソースのシーン内容にもとづき、チャネル・ビット・レートが符号器間で適応的に分配され得る。また、純粋なフィードバック・アプローチは不可避の遅延を要求するのに対して、先読み処理は、シーン変化に対する迅速な反応を可能にする。
【0016】
ビデオ・ソースの符号化が、各符号器内において、同一のGOP構造及びGOP長を要求するように制限されない。有利な点として、各符号器はそのビット・レートをGOP境界において変更できる一方、GOP内では一定ビット・レートで作用する。全体として、この技術は区分的に一定であるが可変ビット・レートの圧縮をもたらす。符号器が異なるGOP長及び構造で作用でき、異なる時刻に符号化できる。従って、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きいかまたは小さい場合、時間間隔が存在し得る。更に、この技術は、シーン変化に対して提案され、システムのシーン変化に対する迅速な反応を保証することにより、ピクチャ品質を改善する。
【0017】
【発明の実施の形態】
【数1】
は、本明細書ではバーXと記載する。
【0018】
簡単に前述したように、本発明は複数のビデオ符号器を用い、ビデオ番組の多重ストリーム(例えばチャンネル)を並列に符号化するための統計的多重化制御技術に関する。符号器(MPEG準拠の符号器、及び前述のMPEG−2国際標準規格で述べられるような符号化プロセスを含み得る)の間で、ビット・レートを動的に割当てる外部結合レート制御技術が使用される。各符号器のビット・レートは、番組の相対複雑度にもとづき決定され、番組内のシーン変化及びGOP境界において調整が行われる。提案される技術は、ピクチャ統計及び符号化統計のいずれか一方または両方を使用し、相対複雑度を決定する。ここで使用される"ピクチャ統計"または"イメージ統計"は、まだ符号化されていないピクチャを先取り及び評価することにより、ピクチャの少なくとも1つの特性に関して収集される情報を指し示す。従って、本技術のこの態様は、先読みアプローチと呼ばれる。"符号化統計"は、ピクチャの符号化に応じて生成され、次のピクチャの符号化のためにフィードバックされる、前述の特許出願で述べられる統計を含む。従って、符号化統計はピクチャ複雑度の履歴指示を提供する。更にここで述べられるように、本発明は選択的に、例えば符号化の開始時に、またはあるビデオ・データ・ストリーム内でシーン変化が生じる都度、ピクチャ統計だけを使用するか、或いはピクチャ統計と符号化統計の組み合わせを所与の関係において使用する。図1及び図2は、本発明に従うシステム内で使用される1つのビデオ符号器の動作を示す。
【0019】
説明のために、MPEG準拠符号化の一般的なフロー図を図1に示す。フロー図において、i番目のピクチャ及びi+1番目のピクチャのイメージが処理され、動きベクトルを生成する。動きベクトルは、前の及び(または)後のピクチャ内で画素のマクロブロックが存在する場所を予測する。動きベクトルの使用は、MPEG規格における時間圧縮の主要な面である。図1に示されるように、一旦生成されると、動きベクトルは、i番目のピクチャからi+1番目のピクチャへの、画素のマクロブロック(MB)の変換のために使用される。
【0020】
図1の符号化プロセスでは、i番目のピクチャ及びi+1番目のピクチャのイメージが符号器11内で処理され、動きベクトルが生成される。続くピクチャの入力イメージ111が、符号器11の動き推定ユニット43に入力する。動きベクトル113が動き推定ユニット43の出力として形成される。これらのベクトルは動き補償ユニット41により、先行及び(または)将来のピクチャから、"基準"データと呼ばれるマクロブロック・データを、このユニットの出力として取り出すために使用される。動き補償ユニット41の1出力が、動き推定ユニット43からの出力から減算され、離散コサイン変換器(DCT)21に入力される。離散コサイン変換器21の出力は、量子化器23内で量子化される。量子化器23の出力は2つの出力121及び131に分割され、一方の出力121はラン・レングス符号器などの下流の要素25に送られ、圧縮及び処理された後に伝送される。他の出力131は、画素の符号化マクロブロックの復元を通じて、フレーム・メモリ42に記憶される。図示の符号器では、この第2の出力131は逆量子化29及び逆離散コサイン変換31を通じて、差分マクロブロックの有損失バージョンを再構成する。このデータは動き補償ユニット41の出力と加算され、原ピクチャの有損失バージョンをフレーム・メモリ42に返却する。
【0021】
図2に示されるように、3つのタイプのピクチャが存在する。"イントラ・ピクチャ"または"I"ピクチャは、独立に符号化されて伝送され、動きベクトルの定義を必要としない。これらの"I"ピクチャは動き推定のための基準イメージとして作用する。"予測ピクチャ"または"P"ピクチャは、先行ピクチャからの動きベクトルにより形成され、将来のピクチャの動き推定のための基準イメージとして作用する。最後に、"双方向ピクチャ"または"B"ピクチャは、2つの他のピクチャ、すなわち過去と将来のピクチャからの動きベクトルを用いて形成され、動き推定のための基準イメージとしては作用しない。
【0022】
様々なピクチャ・タイプが符号器11により、幾つかのステップにおいて量子化される。第1に、ピクチャ・タイプに固有の量子化マトリックスが、8×8DCTブロックに適用される。低周波数係数が重要視されるように、マトリックスの要素(重み)が選択される。これらの係数はより多くの情報を含み、ピクチャの知覚品質により大きく寄与する。次に、イメージの局所的なアクティビティ、ピクチャ・タイプの複雑度、及びバッファ充填度にもとづき、量子化スケーリング・ファクタが計算される。この指標は、ピクチャに割当てられるビット数及びその知覚品質に直接関連付けられる。実際のビット数は、MPEG−2規格において定義されるプロシージャに従い、最初に各DCTブロックを走査し、次に量子化済み係数を一緒にグループ化することにより獲得される。各グループは、ハフマン・ルックアップ・テーブルを用いることにより、固有の可変長コード(VLC)によりエントロピ符号化される。差分パルス符号変調(DPCM)(動きベクトルの符号化に類似)及び一様量子化を用いて、DC係数が符号化される。
【0023】
エントロピ符号器の出力は、エントロピ復号器に入力される。復号器の出力は、逆走査、逆量子化、及び逆離散コサイン変換を通じて、損失のある差分マクロブロックを再構成する。次に、復号されたピクチャが既知のように、遅延を通じて動き推定及び(または)動き補償に渡される。
【0024】
MPEG−2符号器の動作機能については、1997年4月1日付けの米国特許出願第08/831157号で詳述されている。一定ビット・レート(CBR)符号化方式及び可変ビット・レート(VBR)符号化方式の基本が、1998年3月19日付けの米国特許出願第09/044642号で、ピクチャ・グループ(GOP)またはフレームに関連して詳述されている。更に、後述のようなイメージ統計を使用するフレーム・シーケンスの適応符号化が、1998年3月20日付けの米国特許出願第09/046118号で詳述されている。
【0025】
前記の情報を背景として、本発明の原理に従う統計的多重化及びレート制御技術について、図3乃至図5を参照しながら説明することにする。
【0026】
典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリームが単一一定ビット・レート・チャネル上に多重化される。あいにく、所定の一定ビット・レートでの各番組の符号化は、時間に伴うシーン内容の変化により、ピクチャ品質の劣化を招き得る。従って、本発明に従う多重番組圧縮の根底の目的は、使用可能な帯域幅を番組間で動的に分配し、システムの全体的なビデオ品質を最大化することである。これは個々の符号器を制御する結合レート制御アルゴリズムを用い、全ての番組のピクチャ品質を等しくすることに対応する。本発明はビデオ・ソースの相対シーン内容に従い、符号器の間でビット・レートを割当てる一方、固定チャネル・ビット・レートの要求を満足するものである。
【0027】
より詳細には、MPEG−2互換のビデオ符号器を使用し、幾つかのビデオ番組を並列に符号化する、統計的多重化のためのシステム・ソルーションが提供される。符号器間で動的にビット・レートを割当てる外部結合レート制御アルゴリズムが述べられる。各符号器のビット・レートは、番組の相対複雑度及び番組内のシーン変化にもとづき決定される。本発明に従うシステム及び方法は、各符号器内で同一のGOP構造またはGOP長を要求しない。各符号器は結合レート制御に従い、GOP境界においてそのビット・レートを変更する一方、GOP内では一定ビット・レートで作用する。全体として、この技術は区分的に一定な可変ビット・レート圧縮をもたらす。実験結果によれば、本発明に従う多重番組ビデオ圧縮システムは、シーン変化に高速に応答して、良好なピクチャ品質をもたらす。更に、市販のMPEG−2符号器チップがこのシステムにおいて、成功裡に使用され得る。
【0028】
基本的に、結合レート制御のために2つの異なるアプローチが使用され、それらはフィードバック・アプローチと先読みアプローチである。フィードバック・アプローチでは、統計が符号器により符号化プロセスの副産物として生成される。これらの符号化統計が次に、続くピクチャに対するビット割当てを部分的に制御するために使用される。先読みアプローチでは、符号化の前に、統計がプリプロセッサにより計算され、次にこれらのイメージ統計がピクチャの符号化の前に、ビット・レートを調整するために使用される。いずれのアプローチでも、番組の複雑度を示す最適な統計を見い出すことが、課題となり得る。フィードバック・アプローチでは、統計は主として、符号化に関係する量に限られる。先読みアプローチはより大きな自由度を有するが、計算が複雑になったり、追加の装置が必要になったりする。
【0029】
いずれか一方のまたは両方のアプローチを使用することにより、結合レート制御アルゴリズムが各ピクチャのビット・レートを計算し、個々の符号器の各々に対する全体レート制御を実行する。これは可変ビット・レート符号化をもたらす。通常、こうしたレート制御アルゴリズムは大抵、各符号器内で同一のGOP構造を要求するが、これは現実とかけ離れている。符号器は異なるGOP長及び構造において動作することができ、また動作する。
【0030】
本発明によれば、先読みアプローチ及びフィードバック・アプローチの両方を使用し、符号器のビット・レートを動的に割当てる、統計的多重化のためのソルーションが開示される。レート制御技術が番組の相対複雑度にもとづき、符号器間でチャネル・ビット・レートを分配する。番組の複雑度が、圧縮ビットストリームと共に、プリプロセッサにより生成されるピクチャ統計、及び符号器により生成される符号化統計を用いて決定される。或いは、当業者であればここでの議論から明らかになるように、事前処理機能を組み込むことにより、符号器がピクチャ統計及び符号化統計の両方を生成するように変更され得る。
【0031】
結合レート制御アルゴリズムにより、各ピクチャのターゲット・ビット・レートを計算する代わりに、GOP境界において、またはシーン変化が発生する場合、ビット・レートが変更される。この技術は、符号器がGOP内において一定ビット・レートで動作することを可能にし、区分的に一定の可変ビット・レート圧縮をもたらす。符号器は同一のGOP構造を有する必要がなく、すなわち、GOP境界が各符号器内で異なる時刻に発生し得る。符号器の異なるGOP構造のため、チャネル・バッファ及び対応するバッファ制御フィードバック・ループが、本発明に従いシステム内に組み込まれる。シーン変化に際して、GOP構造を動的に変更し、十分なビット・レート変化を可能にすることにより、迅速な反応が保証される。本システム及び方法は、例えばIBMの単一チップMPEG−2ビデオ符号器(部品番号:IBM39 MPEGS422 PBA 17C)を用いて実現され得る。
【0032】
下記のセクション1は、本発明に従う多重番組ビデオ圧縮システムについて述べる。セクション2では、本発明の結合レート制御技術について、またセクション3では、シーン変化の場合の結合レート制御技術について述べる。セクション4では、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について述べる。セクション5では、市販の単一チップMPEG−2符号器の、本システムにおける可能な使用について述べる。また、プロセスの概要がセクション6で述べられる。
【0033】
1.多重番組ビデオ圧縮システム:
図3は、本発明のアプローチを使用し、幾つかの番組(ソース1、ソース2、...、ソースn)を並列に符号化する多重番組ビデオ圧縮システム200を示す。システム200は、幾つかのプリプロセッサ205(プリプロセッサ1、プリプロセッサ2、プリプロセッサ3、...、プリプロセッサn)を含み、各々は幾つかの番組の対応する1つを受信し、ビデオ・フレームのそれぞれのストリームを並列に分析し、そこから例えば平均ピクチャ・アクティビティを表すピクチャ統計を導出する。
【0034】
システム200はまた、幾つかのMPEG−2ビデオ符号器210と、符号器210に接続される個々のバッファ220と、結合レート制御装置230と、マルチプレクサ240と、チャネル・バッファ250とを含む。符号器の各々は、それぞれの遅延番組(遅延ソース1、遅延ソース2、遅延ソース3、...、遅延ソースn)を受信し、符号化する。遅延はプリプロセッサ205が後述の分析を実行できるように、十分に確保される。別の実施例では、要求に応じて、ピクチャ統計生成機能がMPEG−2符号器210内に組み込まれる。各符号器210はまた、丁度符号化されたばかりのピクチャに関する符号化統計を生成する。これらの符号化統計は、ピクチャ統計と共に、結合レート制御アルゴリズム230への入力パラメータとなり、アルゴリズム230が後述のように、各個々の符号器のビット・レートを動的に計算する。
【0035】
提案されるシステム200では、各符号器210のビット・レートが、番組(ソース1、ソース2、...、ソースn)の相対複雑度と、対応する番組内のシーン変化の発生とにもとづき決定される。符号器は好適には、MPEG−2規格に互換のビットストリームを生成する。シーン変化検出は通常、符号器210の内部または外部のいずれかにおいて実行され得る。各符号器はそのビット・レートを結合レート制御装置230に従い、GOP境界またはシーン変化において変更する。このことは符号器がGOP内では、MPEG−2規格に従うCBRビデオ・バッファ検証器モデルを使用し、一定ビット・レート(CBR)で動作することを可能にする。全体として、この技術は区分的に一定の可変ビット・レート圧縮をもたらす。
【0036】
ビデオ・ソースの符号化が各符号器内で、同一のGOP構造またはGOP長を有するように制限されない。GOP境界は各符号器内で異なる時刻に発生し得、ビット・レート変化はGOP境界においてのみ有効となるので、チャネル・バッファ250は、チャネル・レートの可能なオーバーフローまたはアンダーフローを補償するために使用される。チャネル・バッファ制御フィードバック255もまた、結合レート制御アルゴリズム230に組み込まれ、チャネル・バッファ250のオーバーフローまたはアンダーフローを阻止する。
【0037】
本発明の以下の説明では、結合レート制御技術、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について詳述する。
【0038】
2.結合レート制御:
ここで述べる結合レート制御技術は先読みとフィードバックの結合概念にもとづき、そこでは統計が符号化以前(ここでは"ピクチャ統計")、並びに符号化の間("符号化統計")に生成される。これらの統計が、チャネル・バッファ250の充填度に関する情報と共に、結合レート制御装置230に供給される。レート制御技術は、符号化プロセスの間に個々の符号器を制御し、番組の相対複雑度に従い、番組間で使用可能な帯域幅を動的に分配する。番組の相対複雑度は、ピクチャ統計及び符号化統計にもとづき決定される。
【0039】
フレームのピクチャ・シーン内容に関連する情報が、例えばフレームの平均アクティビティとして推定される。それはフレーム全体に渡り、平均マクロブロック・アクティビティとして計算される。ピクチャの符号化以前に、幾つかのフレームの平均アクティビティを計算することは、結合レート制御アルゴリズムにおいてルックアヘッドすなわち先読みを生成する。前述のように、平均アクティビティが符号器の内部で、または事前処理ユニット(例えば図3のプリプロセッサ)により計算され得る。番組の符号化複雑度が、各符号器により符号化プロセスの副産物として生成される符号化統計を用いて推定される。例えば、符号化複雑度は、ピクチャを符号化するために使用されるビットと、ピクチャに対して使用される平均量子化パラメータとにもとづき決定される。
【0040】
ピクチャ及び符号化複雑度を使用することにより、符号器のビット・レートが2つの比率の加重合計に比例すると仮定される。一方の比率は、その番組の符号化複雑度と、全ての番組の符号化複雑度の合計との比率であり、他方の比率は、幾つかのフレーム先読みを使用するその番組の平均アクティビティと、全ての番組の平均アクティビティの合計との間で計算される。シーン変化が発生する場合、または符号化の開始時には、番組の複雑度は好適には、平均フレーム・アクティビティ(すなわちピクチャ統計)だけにもとづき決定される。シーン変化が発生しない場合には、ピクチャ統計比率及び符号化統計比率が所定の関係において、例えば等しい重み付けで使用される。本発明に従う結合レート制御技術の1実施例について、次に述べることにする。
【0041】
フレームのピクチャ・シーン内容に関連する情報が、フレームの平均アクティビティとして決定される。最初に、フレーム内の各マクロブロックのアクティビティが、次のように推定される。
【数2】
【0042】
ここでlum(i、j)は画素(i、j)の輝度値であり、バーlumはマクロブロックの平均輝度値である。フレームの平均アクティビティは、マクロブロック・アクティビティをフレーム全体に渡り平均することにより、次のように決定される。
【数3】
【0043】
ここでNMBはフレーム内のマクロブロックの数である。
【0044】
幾つかのフレームの先読みは、式1)及び式2)を使用することにより、結合レート制御アルゴリズムに組み込まれる。例えば、我々の実験では、ピクチャの符号化以前に、4つのフレームの平均アクティビティを計算した。
【0045】
番組の符号化複雑度は、Boroczkyらによる米国特許出願第09/087603号、"Control Strategy For Dynamically Encoding Multiple Streams Of Video Data In Parallel For Multiplexing Onto A Constant Bit Rate Channel"で提案されるように推定される。ピクチャ複雑度の決定は、MPEG−2テスト・モデル5で提案されるものと類似の使用ビット生成モデルにもとづく(1993年4月付けのISO/IEC JTCI/SC29/WG11 N0400、"Test Model 5"を参照のこと)。番組iの符号化複雑度は次のように決定される。
【数4】
【0046】
ここでfiは番組iのフレーム・レートであり、Niは番組iのGOP内のピクチャの数であり、bijはピクチャjを符号化するために使用されるビットであり、Qijはピクチャjの平均量子化パラメータである。
【0047】
ピクチャ及び符号化複雑度を使用することにより、符号器iのビットレートRiが、次のように決定される。
【数5】
【0048】
ここでRcはチャネル・ビットレート、Xiは符号化複雑度、バーactiviは番組iの平均アクティビティであり、後者は我々の実験では、4つのフレーム・アクティビティの平均として計算される。パラメータαは、符号化の開始時またはシーン変化発生時には、0として選択される。それ以外では、その値は0.5であり、これは実験的に決定されたものである。従って、シーン変化時または開始時には、番組の複雑度は平均フレーム・アクティビティだけにもとづき決定される。シーン変化が発生しない場合、ピクチャ統計及び符号化統計が等しい重み付けで使用される。
【0049】
シーン変化が発生する場合、現GOPが早まって終了され、新たなGOPが新たなシーン開始として即時開始する。旧シーンの最後のピクチャがBピクチャの場合、新旧のシーン・ピクチャ間の参照を阻止するために、後方予測が禁止される。また、前述の米国特許出願で提案されるバッファ充填度誤差技術が、このアプローチにおいて使用される。
【0050】
番組複雑度の関係により、たとえシーン変化が番組内において発生しなかった場合にも、ビット・レート変化がその番組内の任意のGOP境界において発生し得る。ビット・レート変化がシーン・カットの無い番組内で余りに突然発生する場合、たとえシステムの総品質が改善されても、ピクチャ品質はGOP間で多大に変化し得る。この状況を阻止するために、ビット・レート変化がGOP境界上で制限されるが、シーン変化では、好適には制限は課せられない。例えば、シーン変化が発生しない場合、GOP境界における先行ビット・レートに対する10%の変化が許容され得る。シーン・カットが発生する場合、ビット・レート変化に対する制限は存在しない。
【0051】
3.シーン変化における結合レート制御:
既に、符号器がGOP内ではCBRモードで動作し、各符号器がCBRビデオ・バッファ検証器モデルを使用することについて述べた。バッファ・アンダーフローまたはオーバーフローは許可されない。例えば、CBRレート制御アルゴリズムの目標は、GOPの終りにおけるバッファ充填度が、初期バッファ充填度(例えばバッファ・サイズの80%)と同一であることを保証することである。しかしながら、これはターゲット・ビット・バジェットと1ピクチャにつき使用される実際のビットとの不一致により、常に当てはまる訳ではない。GOP内のビットの過剰生成または過小生成により、バッファ充填度はそれぞれ初期レベルを下回ったり、上回ったりする。かなり大きなバッファ充填度誤差が累積し得る。この誤差は持ち越され、次のGOP内で補償されるように試行される。このレート制御は、GOP境界においてビット・レート変化がほとんど発生しないか、全く発生しない場合、良好に作用する。しかしながら、ビット・レート変化がシーン変化などにおいて突然発生する場合、本発明に従うバッファ充填度誤差(BFE)技術が、ピクチャ品質を改善するために適用される。
【0052】
シーン変化が発生する場合、バッファ充填度誤差がシーン変化後の新たなGOPの開始において、0と見なされる。各符号器に接続されるバッファのアンダーフローまたはオーバーフローを阻止するために、式4)により計算されたビット・レートが次のように変更される。
【数6】
Rimod=Ri+E・fi/Ni 5)
【0053】
ここでRiは式4)に従い、番組iに対して計算されたビット・レート、Eはバッファ充填度誤差ビット、NiはGOP内のピクチャの数、及びfiは番組iのフレーム・レートである。バッファ充填度誤差Eが正の場合(GOPの開始におけるバッファ充填度が初期値よりも小さい)、番組のビット・レートは増加され、Eが負の場合、番組のビット・レートは減少される。GOP内のレート制御のために、初期バッファ充填度は、例えばバッファ・サイズの80%を使用する代わりに、先行GOPの終りにおけるバッファ充填度と見なされる。BFE技術は、シーン変化後のピクチャ品質を改善する。
【0054】
4.チャネル・バッファ・サイズ及びフィードバック制御:
符号器が異なるGOP長及び構造にて動作可能であること、または異なる時刻に符号化を開始し得る事実により、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。これを改善するため、チャネル・バッファが要求され、正確にチャネル・ビット・レートでビットストリームを出力する。このバッファに関連して、2つの問題が考慮されなければならない。それらはバッファの最小サイズの決定と、チャネル・バッファ・アンダーフロー及びオーバーフローを阻止するための制御技術である。
【0055】
チャネル・ビット・レートからの最大合計偏差がΔRmaxであり、最悪の場合として、この偏差の最大期間が、符号器間の最長GOP時間と同じであると仮定する。この場合、チャネル・バッファの要求最小サイズは次のように決定される。
【数7】
Bs=2・ΔRmax・tgopmax 6)
【0056】
ここでΔRmaxはΣRi−Rc、tgopmaxは最大GOP時間である。
【0057】
式6)では、係数2が使用されている。なぜなら、チャネル・ビット・レートの過小生成及び過剰生成が仮定され、バッファが最初にこのサイズBsの半分まで充填され、その後、Rcのレートでビットを連続的に出力するからである。この場合、初期遅延は、バッファをそのサイズの半分まで充填するために要求される時間に対応する。例えば、チャネル・バッファ・レートが16Mビット/秒、ΔRmaxが8Mビット/秒、及びtgopmax=0.5秒の場合、30フレーム/秒のフレーム・レートでの最小バッファ・サイズは8Mビットで、対応する初期遅延は0.25秒である。統計的多重化システムにおいて、式6)により決定されるよりも小さなチャネル・バッファが所望される場合、チャネル・ビット・レートからの最大合計偏差は、それに従い制限されなければならない。
【0058】
チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・モデル(図4参照)が好適には使用される。チャネル・バッファ・モデルは、バッファの頂部及び底部に所定の保護帯域を含む。これらの保護帯域はビット・レートの分配を調整するために使用される。アンダーフロー及びオーバーフローを阻止するために、任意の時刻におけるバッファ充填度Bfが次の条件を満足しなければならない。
【数8】
0<Bf(t)<Bs 7)
【0059】
パラメータ'a'が保護帯域のサイズを決定し、例えば0.25として選択される。
【0060】
実際のバッファ充填度Bfに応じて、区別可能な3つのケースが存在する。これらのケースについて、対応するビット・レートの変更と共に、次に示すことにする。
【0061】
ケース1:
これはバッファ充填度が保護帯域間にある場合である。すなわち、
【数9】
a・Bs≦Bf≦(1−a)・Bs 8)
【0062】
この場合では、番組のために計算されたビット・レートが、極端な状況を除き、一般に変更されない。
【数10】
ΣRi>Rc且つΣRi−Rc>(Bs−Bf)/tgopmaxの場合、
Ri=Ri・[Rc+((1−a)Bs−Bf)/tgopmax]/(ΣRi)
(オーバーフロー無し) 9)
【数11】
ΣRi<Rc且つRc−ΣRi>Bf/tgopmaxの場合、
Ri=Ri・[Rc−(Bf−aBs)/tgopmax]/(ΣRi)
(アンダーフロー無し) 10)
【0063】
前記以外では、何もアクションは実行されない。
【0064】
ケース2:
これはバッファ充填度が上側の保護帯域内にある場合である。すなわち、
【数12】
Bf>(1−a)・Bs 11)
【0065】
この場合では、バッファ充填度を減少させるか、またはBfに留まるビット・レート変化だけが許可される。
【数13】
ΣRi>Rcの場合、
Ri=Ri・(Rc/(ΣRi)) 12)
(スケーリング・ダウン)
【数14】
ΣRi<Rc且つRc−ΣRi>Bf/tgopmaxの場合、
Ri=Ri・[Rc−(Bf−aBs)/tgopmax]/(ΣRi)
(アンダーフロー無し) 13)
【0066】
前記以外では、何もアクションは実行されない。
【0067】
ケース3:
これはバッファ充填度が下側の保護帯域内にある場合である。すなわち、
【数15】
Bf<a・Bs 14)
【0068】
この場合では、バッファ充填度を増加させるか、またはBfに留まるビット・レート変化だけが許可される。
【数16】
ΣRi<Rcの場合、
Ri=Ri・(Rc/(ΣRi)) 15)
(スケーリング・アップ)
【数17】
ΣRi>Rc且つΣRi−Rc>(Bs−Bf)/tgopmaxの場合、
Ri=Ri・[Rc+((1−a)Bs−Bf)/tgopmax]/(ΣRi)
(オーバーフロー無し) 16)
【0069】
前記以外では、何もアクションは実行されない。
【0070】
5.統計的多重化システム内でのMPEG−2符号器の使用:
本発明の原理に従う多重番組ビデオ圧縮システム内で使用される全てのMPEG−2符号器は、少なくとも、前述の結合レート制御アルゴリズムにより要求される必要な符号化統計を提供できなければならない。符号器はまた、GOP境界においてビット・レートを変更する能力を有さねばならない。本発明の利点を更に利用するために、シーン変化に際して、符号器はGOP構造を動的に変更し、バッファ充填度誤差を計算するための量を提供し、シーン変化検出及び反応を内部的または外部的に実行できなければならない。
【0071】
6.プロセス概要:
図5は、本発明に従う符号化処理の概要を示す。統計が個々のプリプロセッサ及び符号器から、レート制御装置に供給される。これらの統計は、プリプロセッサからのピクチャ統計(平均フレーム・アクティビティ)、及び符号化統計を含む。後者には、使用されるビット、平均MQUANT、及びバッファ充填度が含まれる(ステップ300)。更に、ビデオ・フレームの各ストリームにおいて発生するシーン変化、チャネル・バッファ充填度、及び前述のようにシステム内において発生する最大GOP長に関する情報が提供される。チャネル・バッファ充填度は、チャネル・バッファ自身からフィードバック信号として受信される。ビット・レート制御装置は初期に、符号化の開始が存在するか否か、またはシーン変化を示すシーン変化フラグがセットされたか否か判断する(ステップ310)。肯定の場合、新たなシーンの最初のフレームが、新たなGOPの最初のピクチャとして符号化される(ステップ320)。次に、前記の式4)内の変数"α"が、0にセットされる(ステップ330)。αを0にセットすることにより、プリプロセッサにより提供されるピクチャ統計だけが、前述のように、この新たなGOPの開始時に、符号器間でビットレートを割当てるために使用される。シーン変化フラグがセットされておらず、これが符号化の開始でないと仮定すると、変数αが0.5にセットされる(ステップ340)。変数αを0.5にセットすることにより、ビットレートの決定において、式4)内のピクチャ統計情報及び符号化統計情報が、本質的に等しく重み付けされる。当業者であれば、統計の重要度は本発明から逸れることなく、異なって割当てられ得ることが理解できよう。
【0072】
ビット・レートRiが各符号器に対して、式4)を用いて計算される(ステップ350)。次に、シーン変化フラグがセットされたか否かを判断し(ステップ360)、セットされた場合、バッファ充填度誤差技術により、符号器のビット・レートRiを変更する(ステップ370)。次に、チャネル・バッファ制御技術が前述のように実行され(ステップ380)、現フレームが、符号器iにて符号化されるビデオ・フレームのストリームのGOP境界にあるか否かを判断する(ステップ390)。否定の場合、処理はステップ300に戻り、入力パラメータの次のセットを収集する。現フレームがGOP境界にある場合、新たなビット・レートRiが符号器iに伝達される(ステップ400)。
【0073】
再度要約すると、本発明によれば、複数の符号器間でビット・レートを動的に割当て、ビデオ・ストリームを並列に符号化し、共通のチャネル上に多重化する結合レート制御技術が提供される。番組の相対複雑度及び番組内で発生するシーン変化にもとづき、チャネル・ビット・レートが符号器間で分配される。番組の複雑度が先読みピクチャ統計、フィードバック符号化統計、及びシーン変化検出にもとづき決定される。ピクチャ統計は、例えばプリプロセッサにより生成され、符号化統計及びシーン変化検出信号は、圧縮ビットストリームと共に、符号器により生成される。各ピクチャのターゲット・ビット・レートを計算する代わりに、ビット・レートがGOP境界において、またはシーン変化の発生時に変更される。このことが符号器がGOP内において、一定ビット・レート(CBR)で動作することを可能にする。
【0074】
GOP境界においてのみビット・レートを変更することは、番組の複雑度の変化に対する、結合レート制御装置の反応時間を制限する。この問題を解決するために、ビデオ・フレームのストリーム内の各連続ピクチャ間で、シーン変化検出が実行され、それが新たなシーン内の最初のフレームを符号化する前に知れていると仮定する。更に、市販の符号器において使用可能なように、符号器がGOP構造を動的に変更可能であると仮定する。シーン変化が発生する場合、現GOPが早まって終了され、新たなシーンの最初のピクチャが符号化され、新たなGOPを開始する。次に、新たなシーンのこの最初のGOPからの符号化統計が、ピクチャ統計と一緒に、続くGOPのビット・レートを計算するために使用される。
【0075】
シーン変化の場合にピクチャ品質を改善するために、更に追加の変更が開発された。特に、GOP内のビットの過剰生成または過小生成に起因するバッファ充填度誤差が、シーン変化後の新たなGOPの開始において、0と見なされる。各符号器に接続されるバッファ内のアンダーフローまたはオーバーフローを阻止するために、結合レート制御装置により計算されるビット・レートが変更される。バッファ充填度誤差が正の場合(GOPの開始におけるバッファ充填度が、初期バッファ充填度(例えばバッファ・サイズの80%)よりも小さい)、番組のビット・レートが増加される。反対に、バッファ充填度誤差が負の場合、番組のビット・レートが減少される。この技術はシーン変化の後、より優れたピクチャ品質をもたらす。この概念は更に、動的GOP構造機能を有さない符号器、及びシーン変化検出が外部的に実行される符号器に対して拡張され得る。
【0076】
符号器は好適には同一のフレーム・レートで動作するが、異なるGOP長及び構造を有し得、異なる時刻に符号化を開始し得る。従って、個々のビット・レートの総和が、所定のチャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。チャネル・バッファがシステム内に組み込まれ、正確にチャネル・ビット・レートで多重化ビット・ストリームを出力する。また、チャネルの最小サイズを決定する方法も開発された。これはチャネル・ビット・レートからの許容合計偏差、及びシステム内で発生する最大GOP時間にもとづく。チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・フィードバックが結合レート制御装置内に組み込まれる。
【0077】
本発明は例えば、コンピュータ使用可能媒体を有する製造物(例えば1つ以上のコンピュータ・プログラム製品)内に含まれ得る。この媒体は、例えば本発明の機能を提供し、容易にするコンピュータ読出し可能プログラム・コード手段を実現する。製造物はコンピュータ・システムの一部として含まれるか、或いは別々に販売され得る。
【0078】
更に、本発明の機能を実行するために、マシンにより実行可能な命令の少なくとも1つのプログラムを実現する、マシンにより読出し可能な少なくとも1つのプログラム記憶装置が提供され得る。
【0079】
まとめとして、本発明の構成に関して以下の事項を開示する。
【0080】
(1)ビデオ・フレームの多重ストリームを処理する方法であって、
前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するにおいて、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得するステップと、
前記ビデオ・フレームの相対複雑度を用いて、前記多重ストリームを並列に符号化するにおいて、前記相対複雑度の変化により、前記多重ストリームを適応的に符号化するステップと、
前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出するステップと
を含み、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するステップを含む、方法。
(2)前記適応的に符号化するステップが、前記多重ストリームの前記分析にもとづき、前記多重ストリームを符号化するために、前記符号化するステップにより使用される制御可能な符号化パラメータを調整するステップを含む、前記(1)記載の方法。
(3)前記多重ストリームの符号化の開始時、及び前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含む、前記(1)記載の方法。
(4)前記ピクチャ統計及び前記符号化統計の両方を使用し、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計を所定量により重み付けすることにより、前記多重ストリームを符号化するために前記符号化するステップにより使用される制御可能な符号化パラメータを調整するステップを含む、前記(1)記載の方法。
(5)前記重み付けするステップが、前記ピクチャ統計を50%に、及び前記符号化統計を50%に重み付けすることにより、前記多重ストリームの前記相対複雑度にもとづき、前記制御可能な符号化パラメータを調整するステップを含む、前記(4)記載の方法。
(6)前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記多重ストリームを適応的に符号化するステップを実行するステップを含む、前記(1)記載の方法。
(7)前記分析するステップが、前記多重ストリームを事前処理し、前記多重ストリームを構成する前記ビデオ・フレームの各々の平均フレーム・アクティビティを生成するステップを含み、前記符号化が前記ビデオ・フレームの前記相対複雑度を表すものとして、前記平均フレーム・アクティビティを使用する、前記(1)記載の方法。
(8)前記適応的に符号化するステップが、前記多重ストリームの前記ピクチャ統計及び前記符号化統計にもとづき、前記多重ストリームを符号化するために前記符号化するステップにより使用される符号化パラメータを調整するステップを含み、前記ビデオ・フレームの各ストリームの前記制御可能な符号化パラメータが、符号化ビット・レートを含み、前記符号化するステップが多重圧縮ビデオ・ストリームを生成するものにおいて、前記方法が各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを含み、前記適応的に符号化するステップが、各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、前記(1)記載の方法。
(9)前記多重圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを含む、前記(8)記載の方法。
(10)前記バッファの上限及び下限の保護帯域を事前に定義するステップを含み、前記バッファ充填度が前記バッファの上限または下限のいずれかの前記保護帯域内にある場合、前記符号化ビット・レートを変更するステップを含む、前記(9)記載の方法。
(11)前記適応的に符号化するステップがレート制御アルゴリズムを使用し、前記多重ストリームの各ストリームの符号化ビット・レートを制御するステップを含み、前記方法が、前記多重ストリームを構成する前記ビデオ・フレームの前記相対複雑度を表す前記ピクチャ統計及び前記符号化統計を、前記レート制御アルゴリズムに提供するステップを含む、前記(1)記載の方法。
(12)ビデオ・フレームの多重ストリームを処理する方法であって、
前記多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出するステップと、
前記ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するステップと、
前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記少なくとも1つの特性の相対変化に適応化するステップと、
前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出するステップと
を含み、前記符号化を適応化するステップが、前記符号化統計を前記ピクチャ統計と共に使用し、前記少なくとも1つのストリームの符号化を適応化するステップを含む、方法。
(13)前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均MQUANT、またはバッファ充填度の少なくとも1つを含む、前記(12)記載の方法。
(14)前記符号化を適応化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用することにより、前記少なくとも1つのストリームの符号化に使用される、前記少なくとも1つの制御可能な符号化パラメータを調整するステップを含む、前記(12)記載の方法。
(15)前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの制御可能な符号化パラメータを調整するステップを含む、前記(14)記載の方法。
(16)前記少なくとも1つの制御可能な符号化パラメータが、各ストリームの符号化ビット・レートを含む、前記(14)記載の方法。
(17)前記符号化するステップが多重圧縮ビデオ・ストリームを生成し、前記方法が前記各圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを含む、前記(12)記載の方法。
(18)前記方法が、前記各圧縮ビデオ・ストリームを前記多重化以前にバッファリングするステップを含み、前記ビデオ・フレームの各ストリームを分析し、前記符号化統計を導出するステップが、使用されるビット、平均MQUANT、バッファ充填度またはシーン変化に関する統計の少なくとも1つを導出するステップを含む、前記(17)記載の方法。
(19)前記適応化するステップが、前記多重ストリームの符号化の開始時、及び前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含む、前記(12)記載の方法。
(20)ビデオ・フレームの多重ストリームを処理するシステムであって、
前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、
各々が前記多重ストリームの1ストリームを受信し、符号化される前記ストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を生成する手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、
前記各符号器及び前記分析手段に接続され、前記多重ストリームを構成する前記ビデオ・フレームから導出される前記ピクチャ統計及び前記符号化統計にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置と
を含む、システム。
(21)前記分析手段が、前記多重ストリームを受信するように接続され、各々が異なるストリームを受信する複数のプリプロセッサを含み、前記複数のプリプロセッサが、前記多重ストリームを構成する前記ビデオ・フレームの前記相対複雑度に関する情報を提供する前記ピクチャ統計を出力し、前記ピクチャ統計が前記結合制御装置に提供されて、前記少なくとも1つのストリームの前記符号化を動的に適応化する、前記(20)記載のシステム。
(22)前記結合制御装置が、前記少なくとも1つのストリームを符号化するために前記符号器により使用される、少なくとも1つの制御可能な符号化パラメータを調整する手段を含む、前記(21)記載のシステム。
(23)前記結合制御装置が、前記少なくとも1つのストリーム内のシーン変化の検出時、または前記少なくとも1つのストリーム内の新たなフレーム・グループ(GOP)の開始時に、前記制御可能な符号化パラメータを調整する手段を含む、前記(22)記載のシステム。
(24)前記結合制御装置が、前記多重ストリームの符号化の開始時、及び前記少なくとも1つのストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用する手段を含む、前記(20)記載のシステム。
(25)前記結合制御装置が、前記ピクチャ統計及び前記符号化統計を所定量により重み付けし、前記多重ストリームを符号化するために前記複数の符号器により使用される、少なくとも1つの制御可能な符号化パラメータを調整する手段を含む、前記(20)記載のシステム。
(26)前記ピクチャ統計が、符号化される前記多重ストリームを構成する前記ビデオ・フレームの平均フレーム・アクティビティを含み、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均MQUANT、またはバッファ充填度の少なくとも1つを含む、前記(20)記載のシステム。
(27)ビデオ・フレームの多重ストリームを処理するシステムであって、
ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出する分析手段と、
各々が前記多重ストリームの1ストリームを受信し、少なくとも1つの制御可能な符号化パラメータを用いて前記ストリームを符号化し、前記符号化の間に前記ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出する符号化手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、
前記各符号器及び前記分析手段に接続され、前記ピクチャ統計及び前記符号化統計から導出される相対情報にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置と
を含み、前記符号化を適応化するステップが、前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの制御可能な符号化パラメータを調整するステップを含み、前記多重ストリームの前記符号化が、前記相対情報の変化に適応する、システム。
(28)前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均MQUANT、またはバッファ充填度の少なくとも1つを含む、前記(27)記載のシステム。
(29)前記結合制御装置が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記少なくとも1つのストリームの符号化に使用される、前記少なくとも1つの制御可能な符号化パラメータを調整する手段を含み、前記少なくとも1つの制御可能な符号化パラメータが、符号化ビット・レートを含む、前記(27)記載のシステム。
(30)前記結合制御装置が、前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの制御可能な符号化パラメータを調整する手段を含む、前記(27)記載のシステム。
(31)前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、前記システムが前記圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するマルチプレクサを含む、前記(27)記載のシステム。
(32)前記システムが、前記各圧縮ビデオ・ストリームを前記多重化以前にバッファリングする手段を含み、前記符号化統計を導出する符号化手段が、使用されるビット、平均MQUANT、バッファ充填度またはシーン変化に関する統計の少なくとも1つを導出する手段を含む、前記(31)記載のシステム。
(33)ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも1つのコンピュータ使用可能媒体を含む装置であって、前記コンピュータ読出し可能プログラム・コード手段が、
i)前記ビデオ・フレームの多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するように前記コンピュータに指示し、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得する手段と、
ii)前記ビデオ・フレームの相対複雑度を用い、前記多重ストリームを並列に符号化するように前記コンピュータに指示し、前記ビデオ・フレームの前記相対複雑度の変化により、前記多重ストリームを適応的に符号化する手段と、
iii)前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出するように前記コンピュータに指示する手段と
を含み、前記適応的に符号化するように前記コンピュータに指示する手段が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するように前記コンピュータに指示する手段を含む、装置。
(34)前記多重ストリームの符号化の開始時、及び前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するように前記コンピュータに指示する手段を含む、前記(33)記載の装置。
(35)前記ピクチャ統計及び前記符号化統計の両方を使用し、適応的に符号化するように前記コンピュータに指示する手段が、前記ピクチャ統計及び前記符号化統計を所定量により重み付けするように前記コンピュータに指示し、前記多重ストリームを符号化するために、前記符号化手段により使用される制御可能な符号化パラメータを調整する手段を含む、前記(33)記載の装置。
(36)ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも1つのコンピュータ使用可能媒体を含む装置であって、前記コンピュータ読出し可能プログラム・コード手段が、
i)前記ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出するように、前記コンピュータに指示する手段と、
ii)前記ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するように前記コンピュータに指示する手段と、
iii)前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記相対情報の変化に適応化するように、前記コンピュータに指示する手段と、
iv)前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出するように、前記コンピュータに指示する手段と
を含み、前記符号化を適応化するように前記コンピュータに指示する手段が、前記符号化統計を前記ピクチャ統計と共に使用し、前記ビデオ・フレームの少なくとも1つのストリームの前記符号化を適応化するように前記コンピュータに指示する手段を含む、装置。
(37)前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均MQUANT、またはバッファ充填度の少なくとも1つを含む、前記(36)記載の装置。
【図面の簡単な説明】
【図1】本発明の原理に従う統計的多重化システムで使用される一般的なMPEG−2準拠の符号器11のフロー図である。
【図2】Iピクチャ、Pピクチャ及びBピクチャの表示順序及び伝送順序、及び前方動き予測及び後方動き予測の例を示す図である。
【図3】本発明に従い実現される多重ストリーム・ビデオ圧縮統計的多重化システムの例を示す図である。
【図4】本発明に従う統計的多重化システムのチャネル・バッファ充填度対時間の関係を示す図である。
【図5】本発明の原理に従う統計的多重化レート制御処理の1実施例のフロー図である。
【符号の説明】
11 符号器
21 離散コサイン変換器
23 量子化器
29 逆量子化
31 逆離散コサイン変換
41 動き補償ユニット
42 フレーム・メモリ
43 動き推定ユニット
113 動きベクトル
200 多重番組ビデオ圧縮システム
205 プリプロセッサ
210 MPEG−2ビデオ符号器
220 バッファ
230 結合レート制御装置
240 マルチプレクサ
250 チャネル・バッファ
255 チャネル・バッファ制御フィードバック
Claims (15)
- ビデオ・フレームの多重ストリームを処理する方法であって、 前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するために、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得するステップと、 前記ビデオ・フレームの相対複雑度を用いて、前記多重ストリームを並列に符号化するステップであって、前記相対複雑度の変化により、前記多重ストリームを適応的に符号化するステップと、 前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出するステップと を含み、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するステップを含み、
前記適応的に符号化するステップが、前記相対複雑度の変化により、前記ビデオ・ストリームの多重ストリームを符号化するために、前記符号化するステップにより使用される少なくとも1つの符号化ビット・レートを調整するステップを含み、ビデオ・フレームの前記多重ストリームの少なくとも1つのために前記少なくとも1つの符号化ビット・レートを調整するステップが、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、方法。 - 前記ピクチャ統計及び前記符号化統計の両方を使用し、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計を所定量により重み付けすることにより、前記多重ストリームを符号化するために前記符号化するステップにより使用される前記少なくとも1つの符号化ビット・レートを調整するステップを含む、請求項1記載の方法。
- 前記重み付けするステップが、前記ピクチャ統計を50%に、及び前記符号化統計を50%に重み付けすることにより、前記多重ストリームの前記相対複雑度にもとづき、前記少なくとも1つの符号化ビット・レートを調整するステップを含む、請求項2記載の方法。
- 前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記多重ストリームを適応的に符号化するステップを実行するステップを含み、前記符号化するステップが、前記シーン変化の検出に応じて新しいGOPを開始するステップを含む、請求項1記載の方法。
- 前記適応的に符号化するステップが、前記多重ストリームの前記ピクチャ統計及び前記符号化統計にもとづき、前記符号化するステップにより使用される少なくとも1つの符号化ビット・レートを調整するステップを含み、前記符号化するステップが多重圧縮ビデオ・ストリームを生成するものにおいて、前記方法が各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを含み、前記適応的に符号化するステップが、各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記少なくとも1つの符号化ビット・レートを変更するステップを含む、請求項1記載の方法。
- 前記バッファの上限及び下限の保護帯域を事前に定義するステップを含み、前記バッファの充填度が前記バッファの上限または下限のいずれかの前記保護帯域内にある場合、前記少なくとも1つの符号化ビット・レートを変更するステップを含む、請求項5記載の方法。
- ビデオ・フレームの多重ストリームを処理する方法であって、 前記多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出するステップと、 前記ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するステップと、 前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記少なくとも1つの特性の相対変化に適応化するステップと、 前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出するステップと を含み、前記符号化を適応化するステップが、前記符号化統計を前記ピクチャ統計と共に使用し、前記少なくとも1つのストリームの符号化を適応化するステップを含み、
前記少なくとも1つの制御可能な符号化パラメータが、少なくとも1つの符号化ビット・レートを含み、前記符号化を適応化するステップが、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、方法。 - 前記符号化を適応化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用することにより、前記少なくとも1つのストリームの符号化に使用される、前記少なくとも1つの符号化ビット・レートを調整するステップを含む、請求項7記載の方法。
- 前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの符号化ビット・レートを調整するステップを含む、請求項8記載の方法。
- 前記適応化するステップが、前記多重ストリームの符号化の開始時、及び前記多重ストリームの1ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含み、前記符号化するステップが、前記シーン変化の検出に応じて新しいGOPを開始するステップを含む、請求項7記載の方法。
- ビデオ・フレームの多重ストリームを処理するシステムであって、 前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、 各々が前記多重ストリームの1ストリームを受信し、符号化される前記ストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を生成する手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、 前記各符号器及び前記分析手段に接続され、前記多重ストリームを構成する前記ビデオ・フレームから導出される前記ピクチャ統計及び前記符号化統計にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置とを含み、
前記結合制御装置が、前記複数の符号器のうちの少なくとも1つの符号器によって使用される少なくとも1つの符号化ビット・レートを調整する手段を含み、前記調整が、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、システム。 - ビデオ・フレームの多重ストリームを処理するシステムであって、 ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出する分析手段と、 各々が前記多重ストリームの1ストリームを受信し、少なくとも1つの符号化ビット・レートを用いて前記ストリームを符号化し、前記符号化の間に前記ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出する符号化手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、 前記各符号器及び前記分析手段に接続され、前記ピクチャ統計及び前記符号化統計から導出される相対情報にもとづき、少なくとも1つのストリームの符号化を動的に適応化する結合制御装置とを含み、
前記符号化の適応化が、前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの符号化ビット・レートの調整を含み、前記調整が、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、システム。 - ビデオ・フレームの多重ストリームの処理をコンピュータに指示するためのプログラムを記録するコンピュータ読み取り可能な記録媒体であって、前記プログラムが、
(i)前記ビデオ・フレームの多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するように前記コンピュータに指示し、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得する手段、 (ii)前記ビデオ・フレームの相対複雑度を用い、前記多重ストリームを並列に符号化するように前記コンピュータに指示し、前記ビデオ・フレームの前記相対複雑度の変化により、前記多重ストリームを適応的に符号化する手段、 (iii)前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関する符号化統計を導出する手段であって、前記適応的に符号化する手段が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化する、手段、
(iv)前記少なくとも1つのストリームの前記符号化に使用される、前記少なくとも1つの符号化ビット・レートを調整する手段であって、前記調整が、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、手段、
としてコンピュータを機能させる、媒体。 - ビデオ・フレームの多重ストリームの処理を指示するためのプログラムを記録するコンピュータ読み取りな可能な記録媒体であって、前記プログラムが、 (i)前記ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも1つの特性に関するピクチャ統計を導出する手段、 (ii)前記ビデオ・フレームの各ストリームに対して、少なくとも1つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化する手段、 (iii)前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも1つのストリームの符号化に使用される少なくとも1つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記相対情報の変化に適応化する手段、
(iv)前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも1つの符号化特性に関する符号化統計を導出する手段であって、前記符号化を適応化する手段が、前記符号化統計を前記ピクチャ統計と共に使用し、前記ビデオ・フレームの少なくとも1つのストリームの前記符号化を適応化する、手段、としてコンピュータを機能させ、
(v)前記少なくとも1つの制御可能な符号化パラメータが、少なくとも1つの符号化ビット・レートを含み、前記符号化を適応化するステップが、前記少なくとも1つのストリーム内の新しいフレームのグループ(GOP)の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも1つのストリームに対して、前記符号化ビット・レートがそれぞれのGOP内で一定であり、GOP間で可変である、媒体。 - 請求項1から10のいずれかに記載の方法の各ステップをコンピュータに実行させるコンピュータ・プログラムを記録するコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8760398A | 1998-05-29 | 1998-05-29 | |
US09/225193 | 1998-05-29 | ||
US09/087603 | 1998-05-29 | ||
US09/225,193 US6859496B1 (en) | 1998-05-29 | 1999-01-05 | Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000041250A JP2000041250A (ja) | 2000-02-08 |
JP2000041250A5 JP2000041250A5 (ja) | 2009-07-30 |
JP4346732B2 true JP4346732B2 (ja) | 2009-10-21 |
Family
ID=26777173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14631299A Expired - Fee Related JP4346732B2 (ja) | 1998-05-29 | 1999-05-26 | ビデオ・フレームの多重ストリームを処理する方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4346732B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4710108B2 (ja) * | 2000-07-14 | 2011-06-29 | ソニー株式会社 | 画像信号符号化方法及び装置 |
JP2008533853A (ja) * | 2005-03-10 | 2008-08-21 | クゥアルコム・インコーポレイテッド | 先読みを伴う準一定品質のレート制御 |
-
1999
- 1999-05-26 JP JP14631299A patent/JP4346732B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000041250A (ja) | 2000-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3756346B2 (ja) | ビデオ・フレームの多重ストリームを処理する方法及びシステム | |
CA2396305C (en) | Methods and apparatus for rate control during dual pass encoding | |
US6643327B1 (en) | Statistical multiplexer and remultiplexer that accommodates changes in structure of group of pictures | |
EP2123040B1 (en) | An improved video rate control for video coding standards | |
EP2160903B1 (en) | A buffer-based rate control exploiting frame complexity, buffer level and position of intra frames in video coding | |
US7170938B1 (en) | Rate control method for video transcoding | |
KR100610520B1 (ko) | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 | |
KR20010073001A (ko) | 압축 및 압축되지 않은 디지탈 비디오신호의 통계적다중화를 위한 동적 비트할당방법 및 그 장치 | |
CA2396308C (en) | Methods and apparatus for statistical multiplexing during dual pass encoding | |
US8948242B2 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
US20100150168A1 (en) | Method and apparatus for multiplexing of digital video | |
US7826530B2 (en) | Use of out of order encoding to improve video quality | |
US6714592B1 (en) | Picture information conversion method and apparatus | |
US6226326B1 (en) | Coding device and coding method | |
JP4346732B2 (ja) | ビデオ・フレームの多重ストリームを処理する方法及びシステム | |
KR100394014B1 (ko) | 영상 변환 부호화 장치 | |
KR100571685B1 (ko) | 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 | |
KR100286108B1 (ko) | 실시간 처리를 위한 비디오 신호에 대한 비트수 추정방법과왜곡추정방법 및 이것들을 이용한 부호화방법과 그 장치 | |
EP1944980A2 (en) | Bit rate control algorithm | |
JPH1127665A (ja) | 映像データ符号化装置及び方法並びに映像データ伝送方法 | |
Böröczky et al. | Statistical multiplexing with look-ahead using MPEG-2 video encoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060302 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090127 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090515 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20090518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090515 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20090520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090715 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |