JP3703488B2 - 非同期制御信号生成装置 - Google Patents

非同期制御信号生成装置 Download PDF

Info

Publication number
JP3703488B2
JP3703488B2 JP52760295A JP52760295A JP3703488B2 JP 3703488 B2 JP3703488 B2 JP 3703488B2 JP 52760295 A JP52760295 A JP 52760295A JP 52760295 A JP52760295 A JP 52760295A JP 3703488 B2 JP3703488 B2 JP 3703488B2
Authority
JP
Japan
Prior art keywords
bit rate
channel
data
signal
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP52760295A
Other languages
English (en)
Other versions
JPH09512398A (ja
Inventor
ライニンガー,ダニエル,ジョージ
ジョーゼフ,クリアコス
オヅカン,メヘメット,ケマル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor USA Inc
Original Assignee
Thomson Consumer Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Consumer Electronics Inc filed Critical Thomson Consumer Electronics Inc
Publication of JPH09512398A publication Critical patent/JPH09512398A/ja
Application granted granted Critical
Publication of JP3703488B2 publication Critical patent/JP3703488B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/16Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/16Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
    • H04J3/1682Allocation of channels according to the instantaneous demands of the users, e.g. concentrated multiplexers, statistical multiplexers
    • H04J3/1688Allocation of channels according to the instantaneous demands of the users, e.g. concentrated multiplexers, statistical multiplexers the demands of the users being taken into account after redundancy removal, e.g. by predictive coding, by variable sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

発明の分野
本発明は、非同期で動作する複数の協調信号プロセッサ(cooperative signal processor)へ制御信号を供給する装置に関する。
発明の背景
複数の協調信号プロセッサ(cooperative signal processor)の各々へ制御信号を供給することが必要になることがある。すべての信号プロセッサが同期して動作する場合には、これは、プロセッサからのパラメータ値を測定装置でサンプリングし、パラメータ値の相対値に基づく値をもつ制御信号を生成し、これらの制御信号を処理チャネルへ供給することによって行われ、すべてが処理される信号と同期して行われている。しかるに、データ信号が相互に同期していないが、それでもなお、データ信号のすべての処理を、それぞれの信号パラメータの相対値に基づいて協調して制御する必要があるような場合には、信号パラメータをデータ信号のすべてでほぼ同時にサンプリングすることが必要であり、また、制御信号を信号プロセッサの非同期性を補償するように正しい値にして、適当な時刻に信号プロセッサに供給することが必要である。
あるシステム例では、それぞれのチャネル(これらはテレビジョン・ネットワーク供給(television network feed)やテレビジョン・ステーション、その他のビデオ・ソースである場合がある)からの複数のビデオ(映像)信号は衛星リンクを経由して伝送され、消費者の家庭のそれぞれのテレビジョン受信装置にブロードキャストされている。各ビデオ信号は、シーケンスに並んだデータ・グループからなる信号に符号化され、各グループは一定数の連続ビデオ・ピクチャまたはフレームを表すデータを含んでおり、ピクチャ・グループ(group of pictures-GOP)と呼ばれている。しかるに、これらのチャネルから供給されるビデオ信号は同期しているとは限らない。例えば、標準的ビデオ(米国の場合)を搬送するチャネルは毎秒約30フレームで動作し、フィルム・イメージ(映画)を搬送するチャネルは毎秒20フレームで動作し、カートーン(動画)を搬送するチャネルは毎秒15フレームで動作している。また、チャネルが異なると、GOP内のピクチャ数またはフレームが異なることも起こり得る。その結果として、異なるチャネルのGOPは持続時間が異なることになる。つまり、非同期になる。
上記のようなシステムでは、異なるチャネルからのデータはヘッドエンド・ステーション(head end station)で単一のデータ・ストリームに結合、つまり、多重化されている。多重化データ・ストリームは、ワイヤや光ファイバ、無線リンクなどの伝送リンクを経由してバックエンド・ステーション(back end station)に伝送され、そこで多重化データ・ストリームからのデータのチャネルが分離、つまり、デマルチプレクスされ、目的の受信者へ供給されている。衛星リンクの例としては、毎秒24メガビット(Mbps)の伝送能力をもつディジタル伝送経路がある。この種のリンクの効率と利用効率を最大限にするためには、複数のビデオ信号がリンクを共有する必要がある。例えば、上記の衛星伝送リンクを少なくとも6つのビデオ信号チャネル間で共有することが望ましい場合がある。
発明の概要
衛星リンク経由で搬送される多重化信号の総ビットレートを、チャネルで伝送されるイメージ(画像など)の現在の符号化複雑度(coding complexity)に基づいて、異なるチャネルに動的に割り当てることが提案されている。すべてのチャネル用に現在伝送されているイメージの符号化複雑度はGOP単位で計算され、スライディング・ウィンドウ(sliding window)をベースとするピクチャ単位で利用できるようにしている。すべてのチャネルからの符号化複雑度は実質的に同時にサンプリングされている。伝送リンクの総ビットレートの割当分は、各チャネルの符号化複雑度とすべてのチャネルの総符号化複雑度との関係に基づいて、次の割当量周期にわたって各チャネルに割り当てられている。
本願の発明者は、それぞれのチャネルのGOPは持続時間が異なることがあっても、GOPの符号化複雑度を時間正規化し、時間正規化された相対的符号化複雑度に基づいて割当てを行うと、ビットレートを異なるチャネル間で正確に割り当てることが可能であることを認識した。さらに、発明者は、現在利用可能な時間正規化符号化複雑度に基づいた制御信号を、任意の制御時刻にチャネルに供給できることを認識した。ただし、どのチャネルの場合も、単一のピクチャまたはフレーム・インターバル期間内に出される制御信号が1つまでであることが条件である。具体的に説明すると、制御信号は、各チャネルがそれぞれの一定整数個の制御信号更新を各GOPで受信するように選択された一定インターバルで供給することが可能である。この場合には、それぞれの制御信号群の各々は、その一定インターバル期間にそれぞれのチャネルが利用できるビット数を割り当てることになる。別の方法として、チャネルのいずれかが新しいGOPを開始するたびに制御信号をすべてのチャネルに供給することも可能である。この場合には、制御信号群の各々は、最後の制御信号群がチャネルに供給されてからの(変化する)時間周期の間に利用可能なビット数を割り当てることになる。また、外部割当量更新信号(external quota update signal)に応答して、任意の時刻に制御信号をすべてのチャネルに供給することも可能であるが、どのチャネルにおいても、任意の更新時刻が単一ピクチャまたはフレームで一回以上現れないことが条件である。
本発明の原理によれば、制御信号を非同期に生成する装置は、複数の非同期データ信号ソース(発生源)と複数のデータ処理チャネルを備え、各チャネルは制御信号に応答してデータ信号の1つを処理するようになっている。複数のパラメータ決定回路(parameter determining circuit)の各々は、複数のデータ信号のうちの1つの信号のパラメータを表す信号を出力する。データ・サンプラ(data sampler)はパラメータ決定回路のすべてからの信号を、あらかじめ決められたサンプリング時間インターバルで実質的に同期してサンプリングする。制御信号ジェネレータは、サンプリングされたパラメータ表現信号(sampled parameter representative signal)と先行サンプリング時間インターバルに基づいた値をもつ制御信号をデータ処理チャネルに対して生成する。
【図面の簡単な説明】
図1は、本発明によるマルチプレクサ・システムを示すブロック図である。
図2は、図1に示すマルチプレクサ・システムで使用できるチャネル・プロセッサを示すブロック図である。
図3は、図2に示すチャネル・プロセッサで使用できるMPEGエンコーダ(符号器)の一部を示すブロック図である。
図4は、図1に示すマルチプレクサ・システムで使用できるビットレート・アロケータを示すブロック図である。
図5は、図2に示すチャネル・プロセッサで使用できる複雑度アナライザを示す詳細ブロック図である。
図6、図7、図8および図9は、複雑度情報のサンプリングを示すタイミング図である。
好ましい実施例の詳細な説明
図1は、本発明に従ったマルチプレクサ・システムを示すブロック図である。図1において、すべての信号経路は単一の信号ラインで示されている。しかし、この分野の精通者ならば理解されるように、図示の信号経路はマルチビット・ディジタル信号をパラレル(並列)で伝達することも、シリアル(直列)で伝達することも可能である。パラレルで伝達する場合は、信号経路は複数の信号ラインで構成されることになり、シリアルで伝達する場合は、信号経路は単一データ・ラインにすることも、および/またはデータ・クロック信号ラインを含めることも可能である。本発明を理解することと密接な関係のない他の制御信号経路とクロック信号経路は、図を簡略化するために図には示されていない。
図1に示すように、複数の入力端子5はビデオ信号(CHANNEL 1-CHANNEL K)のソース(図示せず)に結合され、これらの信号はデータ・リンクを経由して一緒に伝送されるものである。複数の入力端子5は、対応する複数のチャネル・プロセッサ10のそれぞれのデータ入力端子に結合されている。複数のチャネル・プロセッサ10のそれぞれのデータ出力端子はマルチプレクサ(MUX)20の対応するデータ入力端子1−Kに結合されている。マルチプレクサ20のデータ出力端子はマルチプレクサ・システムの出力端子15に結合されている。出力端子15は、多重化されたデータ・ストリーム(MUX'ED DATA)を伝送リンク経由で伝送するために利用回路(図示せず)に結合されている。
複数のチャネル・プロセッサ10の各々はさらに、複雑度出力端子と制御入力端子も備ええている。複数のチャネル・プロセッサの各々のそれぞれの複雑度出力端子はビットレート・アロケータ(bit rate allocator)30の対応する複雑度入力端子に結合されており、ビットレート・アロケータ30のそれぞれの割当量出力端子(quota output terminal)は複数のチャネル・プロセッサ10の対応する制御入力端子に結合されている。マルチプレクサ20には割当量更新制御入力端子(quota update control input terminal)を含めることが可能であり、その場合は、図1に破線で示すように、ビットレート・アロケータ30の対応する割当量更新制御入力端子に結合される。
動作時には、各チャネル・プロセッサは、次の割当量周期(quota period)の間に割り当てられたビットレートを表す信号をその制御入力端子から受信する。次に、チャネル・プロセッサは、次の割当量周期の間に、そのデータ入力端子に現れた信号を割り当てられたビットレートでディジタル符号化信号に符号化する。この符号化データ信号はマルチプレクサ20の対応する入力端子に入力される。マルチプレクサ20は公知のように動作し、すべてのチャネル・プロセッサからの信号を結合して多重化データ・ストリームにする。多重化データ・ストリームは、データ・リンクを構成する回路に入力され、これも公知のように伝送される。
符号化プロセス期間に、チャネル・プロセッサ10は符号化される信号の符号化複雑度を表す信号をその複雑度出力端子から発生する。ビットレート・アロケータ30はチャネル・プロセッサ10の複雑度出力端子から信号を受信し、複雑度信号のすべてに基づいて、次の割当量周期の間のビットレート割当量を複数のチャネル・プロセッサ10間で動的に調整する。好ましい実施例では、複雑な信号には、複雑でない信号よりも相対的に高いビットレートが動的に割り当てられることになっている。ビデオ信号の複雑度を判断し、その複雑度に基づいてビットレートを割り当てるいくつかの方法については、以下で説明する。
図2は、図1に示すマルチプレクサ・システムで使用できるチャネル・プロセッサを示すブロック図である。図2において、図1に示すエレメントと類似のエレメントは同一参照符号で示し、以下では詳しく説明することは省略する。図2に示すように、データ入力端子5はビデオ信号ソース(図示せず)に結合されている。データ入力端子5は一定ビットレート・エンコーダ(constant bit rate encoder-CBR)14のデータ入力端子と複雑度アナライザ(complexity analyzer)16に結合されている。CBRエンコーダ14のデータ出力端子はマルチプレクサ(MUX)20(図1)の入力端子に結合されている。チャネル・プロセッサ10の制御入力端子(CONTROL)はCBRエンコーダ14の割当量入力端子Qに結合されている。複雑度アナライザ16の出力端子はチャネル・プロセッサ10の複雑度出力端子(COMPLEXITY)に結合されている。
動作時には、複雑度アナライザ16はデータ入力端子5のビデオ信号の複雑度を分析する。複雑度アナライザ16の出力端子に生成される信号は、入力信号の複雑度を表している。複雑度を表す信号はビットレート・アロケータ30(図1)に入力される。この複雑度信号(および他のチャネル・プロセッサ10の複雑度信号)に応答して、ビットレート・アロケータ30は、そのチャネル・プロセッサ10(および他のチャネル・プロセッサ10)の制御入力端子(CONTROL)へ信号を供給し、この信号はそのチャネル・プロセッサ10に割り当てられたビットレートを表している。CBRエンコーダ14は、そのデータ入力端子とデータ出力端子間にデータ経路をもち、一定ビットレートで符号化された出力信号を出力する。一定ビットレートは、ビットレート・アロケータ30からのチャネル・プロセッサ10の制御入力端子(CONTROL)からの、割当量入力端子Qにおける信号に応答してセットされる。
CBRエンコーダ14内の回路は、その分析を行う際に複雑度アラナイザ16によって利用することも可能である。そのような場合には、図2に破線で示すように、データはCBRエンコーダ14内部から直接に複雑度アナライザ16に渡される。CBRエンコーダ14からのこのようなデータは、入力端子5からのデータを補足することも、そのデータと完全に入れ替わることもできるが、後者の場合には、複雑度アナライザとデータ入力端子5とは直接に接続されない。
好ましい実施例では、各CBRエンコーダ14は、動画専門家グループ(Moving Pictures Expert Group-MPEG)が公表した標準に従ってビデオ信号を圧縮・符号化するエンコーダであり、MPEGエンコーダと呼ばれている。図3は、MPEGエンコーダ14の一部を示すブロック図である。MPEGエンコーダ14の公知コンポーネントは以下で詳しく説明することは省略する。MPEGエンコーダには他のエレメントもあるが、これらは本発明を理解することとは無関係であるので、図面を簡略化するために図示されていない。
図3に示すように、MPEGエンコーダ14のデータ入力端子5(DATA IN)は圧縮・符号化しようとするビデオ信号のソース(図示せず)に結合されている。入力端子5はフレーム・バッファ41の入力端子に結合されている。フレーム・バッファ41は複数のフレーム周期バッファまたはディレイラインと、異なっているが時間的に隣り合うフレームまたはピクチャの部分を表す、それぞれの信号を出力するための複数の出力端子とを備えている。フレーム・バッファ41の複数の出力端子は動き予測器(motion estimator)42の対応する入力端子に結合されている。動き予測器の出力端子は離散コサイン変換(discrete cosine transform-DCT)回路43に結合されている。DCT回路43の出力端子は可変量子化回路(variable quantizer-Qu)回路46のデータ入力端子に結合されている。可変量子化回路46の出力端子は可変長コーダ(variable lengthcoder-VLC)47の入力端子に結合されている。VLC47の出力端子は出力バッファ48の入力端子に結合されている。出力バッファ48のデータ出力端子はMPEGエンコーダ14のデータ出力端子(DATA OUT)に結合されている。MPEGエンコーダ14のデータ出力端子(DATA OUT)はマルチプレクサ20(図1の)の対応する入力端子に結合されている。
出力バッファ48のステータス出力端子はビットレート・レギュレータ49のステータス入力端子に結合されている。ビットレート・レギュレータ49の制御出力端子は可変量子化器(variable quantizer)46の制御入力端子に結合されている。MPEGエンコーダ14の割当量入力端子Qはビットレート・アロケータ30の対応する割当量出力端子に結合されている。MPEGエンコーダ14の割当量入力端子Qはレギュレータ49の制御入力端子に結合されている。
動作時には、MPEGエンコーダ14は公知のように動作して、その入力端子に現れたビデオ信号を、そのQ入力端子に現れた信号によって決まるビットレートで次の割当量周期の間に圧縮・符号化する。以下の例では、MPEGエンコーダが12ピクチャまたはフレームからなるグループ(GOP)に分割されたビデオ信号を符号化する場合について説明する。なお、当然に理解されるように、GOPにおけるピクチャまたはフレーム数は可変である。また、以下の例では、各MPEGエンコーダ用のビットレート割当ては各GOPごとに一度更新されるものと想定している。つまり、割当量周期がGOP期間であるものと想定している。なお、この場合も当然に理解されるように、割当量周期は異なる場合があり、時期の経過と共に変化する場合もある。これについては、以下で詳しく説明する。
フレーム・バッファ41は、例示のGOP内の12フレームのうち現在符号化されている部分を表しており、動き予測を行うために必要なデータを受信し、ストアする。その方法については、以下で説明する。このデータは動き予測器42に渡される。好ましい実施例では、12フレームまたはピクチャの最初の1つは参照フレーム(Iフレーム)として使用され、動き予測器を経由してDCT回路43へ渡される。残りのフレームについては、各ピクチャまたはフレームに含まれる複数の16ピクセルx16ライン・ブロックの各々ごとに、動きベクトル(motion vector)が先行フレーム(Pフレーム)単独から、あるいは先行フレームと後続フレーム(Bフレーム)の両方からインタポレートされたものから、動き予測器42で生成される。なお、このブロックはMPEG標準ドキュメントではマクロブロック(macroblock)と名づけられている。上述したように、フレーム・バッファ41は、動き予測器が先行フレームまたは先行フレームと後続フレームからインタポレートしたものから予測を行うとき必要になるデータを格納している。特定フレームの生成された動きベクトルは、そのあと、予測しようとするフレームに含まれる実際のデータと比較され、動き差信号(motion defference signal)が生成され、DCT回路43に渡される。
DCT回路43では、Iフレームからの空間的データの16ピクセル×16ライン・マクロブロックと、PフレームおよびBフレームからの動き差信号とは、6個の8ピクセルx8ライン・ブロック(4個のルミナンス・ブロック(luminance block)と、サブサンプリングされた2個のクロミナンス・ブロック(chrominance block))とに分割される。なお、以下の説明では、これらのブロックはMPEG標準ドキュメントに従ってマクロブロックと呼ぶことにする。離散コサイン変換が各マクロブロックについて行われる。その結果得られた係数の8×8ブロックは可変量子化器46に渡される。係数の8×8ブロックは量子化され、ジグザグ順にスキャンされ、VLC47に渡される。量子化された係数、およびGOPを表す他のサイド情報(符号化GOPのパラメータに関するもの)はVLC47でランレングス符号化(run-length coding)によって符号化され、出力バッファ48に渡される。
VLC47の出力ビットレートを制御し、もってMPEGエンコーダ14用に割り当てられた一定ビットレートを保つ最も直接的方法は、可変量子化器46でDCT係数の各ブロックを量子化するとき使用される量子化レベル数(言い換えれば、量子化ステップ・サイズ)を制御することであることは知られている。ビットレート・レギュレータ49から可変量子化器46に渡された割当量更新制御信号Qはこの制御機能を実行する。ビットレート・アロケータ30(図1)からの連続的ビットレート割当量更新信号Q相互間の期間である割当量周期内に、ビットレート・レギュレータ49は制御信号を可変量子化器46へ送り、この制御信号はGOP内の各16×16マクロブロックが量子化されるレベル数を変更して、割り当てられたビットレートをその割当量周期の間維持するようにするが、これは公知である。
この例では、ビットレート・レギュレータ49のビットレート割当ては、各チャネルにおけるビデオ信号の符号化複雑度値に応じて、各GOP期間ごとに変化するが、これについては以下で説明する。なお、ビットレート・レギュレータ49はいずれかの単一ピクチャまたはフレームを符号化するとき、一定割当てビットレートに基づく制御ストラテジを使用する。従って、単一ピクチャまたはフレーム期間の間にビットレート・レギュレータ49から送られてくる単一割当量更新信号Qは1つだけであり、ピクチャまたはフレーム期間に受信した割当量更新信号Qは次のピクチャまたはフレームの始まりで有効になる。
好ましい実施例では、ビットレート・アロケータ30(図1)は、複数のチャネル・プロセッサ10内の種々回路コンポーネントに結合された接続個所をもつコンピュータ・システムである。図4はビットレート・アロケータ30を構成するハードウェアを示すブロック図である。図4に示すように、マイクロプロセッサ(μP)31は、コンピュータ・システム・バス35を介して読み/書きメモリ(RAM)32、リードオンリメモリ(ROM)33および入出力(I/O)コントローラ34に結合されている。コンピュータ・システムには、大量記憶デバイスやユーザ端末などの他のコンポーネントもあるが、これらは図面を簡単にするために図示されていない。入出力コントローラ34は、複数のチャネル・プロセッサ10(図1)の対応する複雑度出力端子に結合された複数の入力端子(COMPLEXITY)と、複数のチャネル・プロセッサ10の対応する割当量入力端子に結合された複数の出力端子(QUOTA)とをもっている。入出力コントローラ34には、図4に破線で示すように、マルチプレクサ20(図1)に結合されて割当量更新制御信号を受信するための入力端子を含めることも可能である。
マイクロプロセッサ31、RAM32、ROM33および入出力コントローラ34は公知のようにコンピュータ・システムとして動作して、ROM33に格納されたプログラムを実行し、データをRAM33にストアし、そこからデータを取り出し、入出力コントローラ34に接続されたデバイスとの間でデータを送受信する。複数のチャネル・プロセッサ10(図1)で符号化されるビデオ信号の現在の符号化複雑度を表しているデータは、これらのチャネル・プロセッサ34の対応する出力端子からCOMPLEXITY入力端子を経由して入出力コントローラ34で受信される。なお、これについては以下で説明する。このデータを受信したことは、例えば、ポーリングや割込みなどの公知の方法でマイクロプロセッサ31に通知される。マイクロプロセッサ31はこれらの信号を入出力コントローラ34からコンピュータ・システム・バス35経由で取り出し、エンコーダの各々ごとに次の割当量周期の間のビット割当量を判断し、その割当量を表している信号を、次の割当量周期の間にQUOTA出力端子を経由して複数のチャネル・プロセッサ10へ渡す。割当量更新信号を複数のチャネル・プロセッサ10へ送信するタイミングはマイクロプロセッサ31によって内部で制御することも、複雑度アナライザ16からの複雑度信号のタイミングに応答して制御することも、マルチプレクサ20からの割当量更新信号に応答して制御することも可能である。なお、これについては以下で詳しく説明する。
MPEGエンコーダ14(図3)によって符号化されるビデオ信号の符号化複雑度を判断する好ましい方法では、各16×16マクロブロックの量子化スケール係数(quantization scale factor:QMBと呼ぶ)とそのマクロブロックを符号化するために使用されたビット数(TMBと呼ぶ)が、GOPの各ピクチャまたはフレームに含まれるすべてのマクロブロックについて使用されている。図5はMPEGエンコーダ14(図3)のビットレート・レギュレータ49と、符号化複雑度を表す信号をこの方法に従って生成する複雑度アナライザ16(図2)とを示すブロック図である。種々のクロック信号と制御信号は図面を簡略化するために図6には示されていない。なお、どのような信号が必要であるか、さらに、これらの信号の必要なタイミングと電圧特性は自明であるので、説明は省略する。
図5に示す複雑度アナライザ16は、図2に破線で示すようにCBRエンコーダ14からの情報だけを利用する複雑度アナライザの例である。図5に示すように、ビットレート・レギュレータ49は出力バッファ48(図3)のステータス出力端子に結合されたステータス入力端子TMBをもっている。ビットレート・レギュレータ49の制御出力端子QMBは可変量子化器46(図3)の制御出力端子に結合されている。レギュレータ49は、さらに、ビットレート・アロケータ30(図1)の対応する割当量出力端子に結合された制御出力端子(Q)をもっている。
ビットレート・レギュレータ49のステータス入力端子TMBは第1加算器92の第1入力端子にも結合されている。第1加算器92の出力端子は第1ラッチ93の入力端子に結合されている。第1ラッチ93の出力端子は乗算器94の第1入力端子と第1加算器92の第2入力端子に結合されている。乗算器94の出力端子は第2ラッチ95の入力端子に結合されている。第2ラッチ95の出力端子は符号化複雑度出力端子Xpicに結合されている。複雑度出力端子Xpicはビットレート・アロケータ30(図1)の対応する複雑度入力端子に結合されている。
ビットレート・レギュレータ49の制御出力端子QMBは第2加算器96の第1入力端子にも結合されている。第2加算器96の出力端子は第3ラッチ97の入力端子に結合されている。第3ラッチ97の出力端子は除算器(divider)98の分子入力端子Nと第2加算器96の第2入力端子に結合されている。除算器98の出力端子は乗算器94の第2入力端子に結合されている。レジスタ99は除算器98の分母入力端子Dに結合された出力端子をもっている。
動作時には、各マクロブロックごとに、ビットレート・レギュレータ49は可変量子化器46の量子化スケール係数信号QMBを、現在のビットレート割当量と先行ピクチャを符号化するために使用されたビット数に基づいて公知のように生成し、そのあと、そのマクロブロックを符号化するために使用されたビット数TMBを示している信号を出力バッファ48から受信する。可変量子化器46(図3)は、各マクロブロックに含まれるDCT係数を量子化スケール係数QMBに従って量子化する。量子化スケール係数QMBは量子化ステップ・サイズ、つまり、各量子化レベルにおいて係数が全ダイナミックレンジに占めるパーセンテージを表している。QMBの値が高いときは、大きな量子化ステップ・サイズが存在し、従って、量子化レベルが少ないことを意味する。逆に、QMBの値が低いときは、小さな量子化ステップ・サイズが存在し、従って、量子化レベルが多いことを意味する。好ましい実施例では、QMBは5ビット整数(1と31の間の値をもつ)になっている。
次に、完全ピクチャまたはフレームに含まれるすべてのマクロブロックの平均量子化スケール係数(
Figure 0003703488
と呼ぶ)が以下のように計算される。各フレームまたはピクチャの始まりで、ラッチ93と97はクリア信号(図示せず)に応答してゼロにクリアされる。第2加算器96と第3ラッチ97の組合せはアキュムレータとして動作して、ビットレート・レギュレータ49からのマクロブロック量子化スケール係数QMBを連続的に加算する。これと同時に、第1加算器92と第1ラッチ93の組合せはアキュムレータとして動作して、フレームまたはピクチャを符号化するためにそれまでに使用されたビット数を連続的に加算する。
フレームまたはピクチャ内のマクロブロックのすべて(その数はNMBと呼ぶ)が処理されたとき、ラッチ97にはビットレート・レギュレータ49から得たマクロブロック量子化スケール係数QMBのすべての和が入っており、ラッチ93にはピクチャまたはフレームを符号化するために使用されたビットの全ての和Tpicが入っている。除算器98はピクチャまたはフレームに含まれる全マクロブロック量子化スケール係数QMBの総和を、ピクチャまたはフレームに含まれるマクロブロック数NMBで除した商を出力する。この商は、そのフレームまたはピクチャの平均量子化スケール係数
Figure 0003703488
である。乗算器94は
Figure 0003703488
の積を出力し、これはそのピクチャの符号化複雑度(coding complexity:Xpicと呼ぶ)である。つまり、
Figure 0003703488
である。ピクチャまたはフレームの終わりで、符号化複雑度信号Xpicはクロック信号(図示せず)に応答して第2ラッチ95にラッチされる。上述したサイクルは、符号化されるビデオ信号内の各フレームまたはピクチャごとに繰り返される。
次に、符号化複雑度Xpicはラッチ95からビットレート・アロケータ30(図4)の入出力コントローラ34の複雑度入力端子へ送られ、そこで残余の処理が行われて、GOPの符号化複雑度が得られる。GOPの符号化複雑度(XGOPと呼ぶ)はそのGOPに含まれる全ピクチャのXpicの総和である(式(1)を参照)。
Figure 0003703488
μP31はアキュムレータの働きをして、各Xpic値を入出力コントローラ34から取り出し、GOPに含まれる全フレームまたはピクチャにわたってその総和をとる。
GOP内のフレームまたはピクチャ数(Nと呼ぶ)は一般に一定のままになっている。Nが一定である間に、XGOPは、最新ピクチャの符号化複雑度値Xpicを加算し、その符号化複雑度値をGOPの最古ピクチャから減算することによって、スライディングウィンドウ単位で計算される。この場合には、XGOPの更新値は各フレームまたはピクチャのあとで得られる。なお、Nは変化することもある。Nが変化したときは、新たに定義されたGOPのXGOPは、式(1)に示すように、新たに定義されたGOP内の新しい数の先行ピクチャからの符号化複雑度値Xpicの総和をとることによって計算しなければならない。
上述したように、異なるチャネルは異なるフレームまたはピクチャ・レートで動作することが起こり得る。例えば、標準ビデオ・フレーム・レート(米国の場合)は毎秒29.97フレームであり、フィルムイメージでは毎秒24フレーム、カートーンでは毎秒15フレームである。また、チャネルが異なると、GOPに含まれるピクチャまたはフレーム数が異なることも起こり得る。従って、チャネルが異なると、GOP時間周期が異なることが起こり得る。そのような条件下でチャネルにビットを正確に割り当てるためには、そのようなことが起こったときの複数のチャネルのGOP符号化複雑度値は、各チャネルについて式(1)で得たGOP複雑度値を、そのチャネルのGOP時間周期(GOPtimeと呼ぶ)で除することにより、ビットレート・アロケータ30で時間正規化される(式(2)を参照)。
Figure 0003703488
正規化されたGOP符号化複雑度値(XnormGOPと呼ぶ)は、ビットを異なるチャネル間で割り当てるために使用される。こうようなシステムで複雑度値をサンプリングし、割当量を生成するタイミングについては、以下で詳しく説明する。
図5に戻って説明すると、上述したように、各マクロブロックごとに、ビットレート・レギュレータ49は可変量子化器46に対して量子化スケール係数信号QMBを生成し、そのあと、そのマクロブロックを符号化するために使用されたビット数TMBを示す信号を出力バッファ48から受信する。これらの信号は、別の方法として、ビットレート・アロケータ30(図4)内の入出力コントローラ34へ直接に送ることも可能である。そのあと、μP31は該当の符号化複雑度測定値を内部で計算することができる(式(1)または式(1)と(2)から)。
さらに、伝送を単純化するために、各ピクチャの符号化複雑度値Xpicをスケーリングすることが可能である。好ましい実施例では、この値は、乗算器94のあとで8ビット数にスケーリングされている。このスケーリングされた値はビットレート・アロケータ30(図4)に渡される。コンピュータ・システムは、Nが変化した場合に符号化複雑度値の再計算を可能にするといった他の理由で、ピクチャ複雑度値Xpicのファイルを、例えば、大量記憶デバイス(図示せず)に保管しておくことが望ましい場合もある。一時間の8ビットXpic値をストアするには、標準ビデオでは108キロバイト(KB)、フィルムでは86KBが必要になる。
以下の説明では、Xiは、i番目のチャネル・プロセッサからのXGOP(すべてのチャネルが同じGOP時間周期をもつ場合)またはXnormGOP(異なるGOP時間周期をもつチャネルが存在する場合)のうち現在利用可能であって、該当するものを表している。ビットレート・アロケータ30(図1)は、次の割当量周期の間の伝送リンクにおける利用可能ビット数の割当てを表しているそれぞれの割当量(Q)信号を、複数のチャネル・プロセッサ10を構成するK個のチャネル・プロセッサのすべてからの符号化複雑度値Xiに基づいて生成する。マルチプレクサ20(図1)の出力端子からの、あらかじめ決められた伝送リンク・ビットレート(Rと呼ぶ)は、i番目のプロセッサがRiと名づけられたビットレート割当てを受け取るように、複数のチャネル・プロセッサ10間で割り当てられる。
伝送リンクにおけるビットレートを異なるチャネルに割り当てる1つの方法は、複数のチャネル・プロセッサ10(図1)のすべてについて(上述したように、スライディングウィンドウ単位で)先行GOP周期の現在利用可能な符号化複雑度Xiに基づいたリニア割当(linear allocation)である。この方法では、各プロセッサiは、そのエンコーダの符号化複雑度Xiがすべてのエンコーダの総符号化複雑度と係わりがあるので、総ビット容量Rの同一割当量Riを受け取る(式(3)を参照)。
Figure 0003703488
なお、下限ビットレート割当て以下になると、再現イメージの品質が急激に低下することが分かっている。さらに、図示の実施例では、次の割当量周期の間のビットレート割当ては、先行GOPからの複雑度測定値に依存している。従って、シーンが単純なイメージから複雑なイメージに変化する場合は、新しいシーンの割当てが先行の単純シーンに基づいているので、新しい複雑なシーンを符号化するために割り当てられたビット数が不足することになる。
伝送リンクにおけるビットレートを異なるチャネルに割り当てる別の方法によれば、各エンコーダiへの最小限ビットレート割当てRGiが保証され、式(3)に示すように、残りのビットは線形的に割り当てられる(式(4)を参照)。
Figure 0003703488
各チャネルに保証される最小限ビットレートは、そのチャネル経由で伝送されるビデオの予想される総複雑度および/またはビデオ信号のプロバイダに対するチャネルの値段に応じて異なる場合がある。
伝送リンクにおけるビットを異なるチャネルに割り当てる、さらに別の方法によれば、各エンコーダiに重み係数Piを用意し、重み係数Piで重み付けされた符号化複雑度値Xiに応じてビットを比例的に割り当てている(式(5)を参照)。
Figure 0003703488
式(4)の最小限保証割当て方法と同じように、重み係数Piはチャネル経由で伝送されるビデオ信号の予想される総複雑度および/またはビデオ信号のプロバイダに対するチャネルの値段によって左右される場合がある。
伝送リンクにおけるビットを異なるチャネルに割り当てる好ましい方法は、式(5)の重み付け割当て方法と式(4)の最小限保証割当て方法を組み合わせたものである。この方法では、各チャネルには最小限割当てが保証され、残余のビットは重付け按分法で割り当てられる(式(6)を参照)。
Figure 0003703488
上述したように、最小限保証割当てと重み係数は、チャネル経由で伝送されるビデオ信号の予想される総複雑度および/またはビデオ信号のプロバイダに対するチャネルの値段によって左右される場合がある。
システムの他のパラメータに応じてビット割当てRiをさらに改善することが可能である。例えば、上限ビットレート割当値を越えると、再現イメージの品質が改善しないことが分かっている。従って、この上限割当値を越えてビットを割り当てることは、伝送リンクにおけるビットを無駄に消費することになる。また、伝送リンクの運用者には、各チャネルごとに上記最大限ビットレート割当てRmax(これは上記の上限ビットレート割当値を反映する場合がある)および/または最小限ビットレート割当てRminが課される場合もある。
さらに、ビットレート制御が変動する可能性を最小限にし、従って、ビットレート制御の安定性を最大限にするためには、あるチャネルの、ある割当量周期から次の割当量周期までのビットレート割当ての増加αおよび/または減少βの最大限の増分量(インクリメント)が課される場合がある。上述したように、上限ビットレート割当値、最大限および最小限ビットレート割当て、および増減の最大限増分量の値じゃチャネルが異なると、異なることがあり、そのチャネル経由で伝送されるビデオ信号の予想される総複雑度およびビデオ信号のプロバイダに対するチャネルの値段によって左右されることがある。さらに、増減の最大限および最小限増分量は、チャネルのバッファの空き度または満杯度に応じて動的に変化することも起こり得る。
さらに、割り当てられるビットレートは、バッファ管理が行えるように、例えば、CBRエンコーダ10(図1)の出力バッファ48および対応する受信側デコーダ(図示せず)の入力バッファがオーバフローまたはアンダフローしないようにさらに改善することが可能である。エンコーダのバッファ・サイズEが不等式(7)に示すように制御される場合には、明示的なバッファ管理は不要である。式において、Dはデコーダの固定バッファ・サイズである。
Figure 0003703488
エンコーダ側バッファ・サイズが不等式(7)に従って選択されていれば、ビットレート割当ては、エンコーダ側とデコーダ側のどちらのバッファにもオーバフローまたはアンダフローを引き起こさないで、RminからRmaxまで変化させることが不可能である。なお、この方法によると、エンコーダ側バッファのサイズが不当に制限されるので、レート制御の柔軟性が不当に制限される。
別のバッファ管理方式は適応方式であり、固定パラメータRminとRmaxではなく、現在の瞬時ビットレートを使用してバッファ管理を行うものである。デコーダ側バッファ・サイズは最高レートRmaxで伝送されたデータを処理できるように選択されているので、ビットレート割当てはデコーダ側バッファにオーバフローを引き起こすことなく、常に増加(システム最大値Rmaxまで)することが可能である。しかるに、エンコーダ側バッファにすでに存在するデータがそのデコード時以前にデコーダ側バッファに伝送されることを保証するには、維持しなければならない瞬時最小限ビットレートが存在する。従って、デコーダ側バッファにアンダフローが起こらないことを保証する最小限ビットレートは動的に計算しなければならない。
この最小限ビットレート割当てを動的に計算する際、ビットレート割当てを減少するときは、新たに判断されるエンコーダ側バッファ・サイズと、ある先行時間量の間にエンコーダ側バッファにすでに存在するデータ量の両方を考慮に入れなければならない。フレームn用の新たに判断されるエンコーダ側バッファ・サイズ(Enと呼ぶ)は式(8)に従って判断される。
Figure 0003703488
ただし、Δはシステムの遅延時間であり、これはビデオのフレームがエンコーダに到着した時からそのフレームがデコーダ側に現れる時までの一定の時間遅延である。Rnewは新たに提案されたビットレート割当てである。このバッファ・サイズにすると、新ビットレート割当てで安定状態が得られるので、エンコーダ側とデコーダ側のバッファにオーバフローまたはアンダフローが起こらないことが保証される。
なお、上述したように、新たに提案されたビットレート割当てが減少された場合は、システム遅延時間Δに等しい遷移期間が生じ、その期間にエンコーダ側バッファにすでに存在するビット数が多くなりすぎて、新しい減少レートでデコーダに正常に伝送できないことが起こる。新たに提案されたビットレート割当てを改善する1つの提案方法では、実際にはエンコーダ側バッファに置かれているビット数(eと呼ぶ)(バッファ満杯)を最初に調べて、システム遅延時間Δにおけるフレーム数(Γと呼ぶ)を確かめている。次に、先行フレーム数Γの最大バッファ満杯数(emax,Γ)は式(8)から求めた、新たに判断されたエンコーダ側バッファ・サイズと比較される。先行フレーム数Γからのすべてのビットが受信側デコーダに正常に伝送されることを保証する、チャネルiの最小限減少ビットレート割当てRreducedは式(9)で求められる。
Figure 0003703488
上記のような限界値がマルチプレクサ・システムで課されている場合は、ビットレート割当てが式(3),(4),(5)または(6)に従って計算されたあと、これらのビットレート割当てがチェックされ、そのチャネルの現在の上限と下限の範囲内にあるかどうかが判断される。最初に、各チャネルiの上限と下限が判断される。任意の割当量周期kの間の上限ビットレート割当て(Ri upper[k]と呼ぶ)は先行割当量周期k−1にわたる最大許容増加割当てと、最大ビットレート割当て限界値とのうちの最小のものである(式(10)を参照)。
Figure 0003703488
任意の割当量周期kの間の下限ビット割当てRi lower[k]は、最小限ビットレート割当てと、先行割当量周期k−1にわたる最小許容減少割当てと、式(9)から求めた最小限バッファ管理減少ビットレート割当てのうちの最大のものである(式(11)を参照)。次に、チャネルのビットレート割当ての調整が行われる。
Figure 0003703488
いずれかのチャネル用に割り当てられたビットレートがどちらかの限界値を越えたときは、そのチャネルのビットレート割当てとはその限界値にセットされ、利用可能な残余ビットレートは他のチャネル間で再割当てされる。例えば、チャネルiに割り当てられたビットレート(式(3),(4),(5)または(6)で計算したもの)がそのチャネルの上限値(式(10)で計算したもの)より大であれば、チャネルiのビットレートはその上限値Ri upperにセットされる。逆に、ビットレートが式(11)で計算した下限値より小であれば、ビットレートはその下限値Ri lowerにセットされる(式(12)を参照)。
Figure 0003703488
ビットレート割当てのいずれかが式(10),(11)および(12)の制限的演算によって変更されたときは、利用可能な残余ビットレートは制限を受けないチャネル間で、式(3),(4),(5)または(6)に従って再割当てされる。そのあと、これらのチャネルは、再度、式(10),(11)および(12)の限界値と突合わせ検査される。このサイクルは、すべてのビットレートが割当てが完了するまで繰り返される。上記実施例では、符号化複雑度周期はスライディング・ウィンドウをベースとするピクチャ単位で判断されたGOP周期であり、これは十分な持続時間になっているため、ある割当量周期から次の割当量周期までの、チャネルにおけるビットレート割当ての変更が一般的に相対的に小さくなるようにしている。その結果、式(10),(11)および(12)はまれにしか呼び出されないようになっている。
符号化複雑度のサンプリングと符号化複雑度に基づく更新ビットレートの生成のタイミングは、チャネルが異なるGOP時間周期で動作する場合には複雑になっている。しかるに、そのような場合に正確な符号化複雑度サンプリングとビットレート割当量の割当てが得られるようにするアプローチがいくつかある。第1のアプローチでは、各チャネルが各GOPの中で同数の割当量更新周期をもつような形で一定の割当量更新周期が計算される。このアプローチでは、GOP当たりのサンプルと割当量更新周期の数はチャネルとチャネルとの間で変化することがあるが、どのチャネルの場合も、GOP内の上記サンプルと割当量更新周期は一定になっている。第2のアプローチでは、サンプルがとられ、いずれかのチャネルが新しいGOPを開始すると新しい割当てが生成され、新しい割当量で割り当てられるビット数は先行サンプルから現サンプルまでの時間の長さを考慮に入れて計算される。第3のアプローチは第2アプローチの変形であり、サンプルがとられ、割当量更新制御信号に応答して新しい割当てが生成される。割当量更新制御信号のタイミングは、上述したように、任意的であるが、どのチャネルにおいてもピクチャまたはフレーム当たりの更新が一回までであることが条件である。第3アプローチでは、新しい割当量で割り当てられるビット数は先行サンプルから次のサンプルまでの時間の長さを考慮に入れて計算される。
図7は、第1アプローチを使用するシステムでのサンプリングと割当量更新を示すタイミング図である。図面を簡単にするために、図には2チャネルしか示されていない。図7において、チャネル1はフレームレートが毎秒約30フレーム(米国の場合)である標準ビデオを伝送するチャネルの例である。チャネル2はフレームレートが毎秒24フレームであるフィルムを伝送するチャネルの例である。これらのチャネルの各々は、GOP当たりのフレーム数が12であるものと想定している。従って、チャネル1は0.4秒ごとに新しいGOPを開始する。つまり毎秒2.5個のGOPを開始するのに対し、チャネル2は0.5秒ごとに新しいGOPを開始する。つまり、毎秒2個のGOPを開始する。選択されたサンプリングレートは0.1秒ごとに1サンプルになっている。従って、チャネル1では、4つのサンプルと割当量更新が各GOPにあり、チャネル2では、5つのサンプルと割当量更新が各GOPにある。サンプリング時刻tsは縦の破線で示されている。
サンプル間の時間周期Δtは一定(0.1秒)であるので、式(3)〜(12)から求められるビットレート割当てRiは割り当てられるビット数Ciで表すことができ、これはビットレート割当量Riと一定サンプル周期Δtの積である。つまり、Ci=RiΔtである。このビットレート割当量Riは未変更のまま使用することも可能である。これらのビットレート割当ては、「トークン・リーキィバケット(token and leaky bucket)」方式と呼ばれる公知の方式に従って、チャネル・プロセッサ(図1)で累積して使用することが可能である。
図8は、第2アプローチを上述したように使用するシステムでの符号化複雑度値のサンプリングと割当量更新を示すタイミング図である。図8に示すそれぞれのチャネルは図7に示すものと同じ信号を伝送する。図8に示すように、すべてのチャネルからの現在の符号化複雑度値のサンプルは、いずれかのチャネルが新しいGOPを開始するととられる。新しい割当てはこれらのサンプルの値と、最後のサンプル以後の時間周期Δtに基づいて行われる。これらのサンプル時刻は図8に縦の破線t1〜t8で示されている。ただし、t2、t3、t4、t6およびt8はチャネル1におけるGOPの開始に対応し、t1、t3、t5およびt7はチャネル2におけるGOPの開始に対応している。t3は両方のチャネル1と2におけるGOPの開始に対応するサンプル時刻を示しているが、そのような時刻が現れることは必要条件ではない。
各サンプル時刻に、すべてのチャネルにおける現在の符号化複雑度値(先行GOPからのもので、スライディング・ウィンドウをベースとするピクチャ単位で利用可能である)がサンプリングされる。式(1)〜(12)は、次のビットレート割当量の大きさを計算するために使用できるが、割当てのために利用できる実際のビット数を求めるには、最後のサンプル以後の時間量Δtを考慮に入れなければならない。異なるサンプル周期を正しく補償するためには、式(3)〜(12)における総利用可能ビットレートRに、割当てのために利用できるビット数Cが代入されるが、これは総利用可能ビットレートRとサンプル周期Δtの積である。つまりC=RΔtである。式(3)〜(12)で求めたビット数はそれぞれのチャネル・プロセッサ10(図1)に割り当てられたあと、チャネル・プロセッサは、上述したように「トークン・リーキィバケット」方式を使用して割当てビットを累積して使用する。
図9は、第3アプローチを上述したように使用するシステムでの符号化複雑度値のサンプリングと割当量更新を示すタイミング図である。図9に示すそれぞれのチャネルは図7および図8におけるものと同じ信号を伝送する。図9に示すように、すべてのチャネルからの現在の符号化複雑度値のサンプルは任意の時刻にとられるが、これは、例えば、マルチプレクサ20(図1)から出される割当量更新信号で制御することが可能である。新しい割当てはこれらのサンプルの値と、最後のサンプル以後の時間周期に基づいて生成される。これらのサンプル時刻は図9に縦の破線t1−t4で示されている。図9には一定の時間周期Δtをもつものと示されているが、そのようにすることは必要条件ではない。割当量更新の時間周期は一定のままにしておくことも、ある時間周期から次の時間周期にシフトさせることも、完全に任意的なものにすることも可能であるが、割当量更新信号間の時間インターバルはすべてのチャネルの最短フレーム周期より長く、どのチャネルも単一ピクチャまたはフレーム内で2つの割当量更新を受け取らないようにすることが条件である(これについては上述した)。なお、好ましい実施例では、割当量更新周期は比較的長い時間期間にわたって一定のままになっている。
各サンプル時刻に、すべてのチャネルにおける現在の符号化複雑度値(先行GOPからのものであって、スライディング・ウィンドウをベースとするピクチャ単位で利用可能である)がサンプリングされる。上述したように、式(3)〜(12)は次のビットレート割当量の大きさを計算するために使用できるが、この場合には、最後のサンプル以後の時間量Δtが考慮に入れられ、総利用可能ビットレートRには割当てのために使用できるビット数C=RΔtが代入される。式(3)〜(12)で求めたビット数はそれぞれのチャネル・プロセッサ10(図1)に割り当てられたあと、チャネル・プロセッサは上述したように、「トークン・リーキィバケット」方式を使用して割当てビットを累積して使用する。上述したアプローチはいずれも、異なるチャネル5からのビデオ信号が異なるGOP時間周期をもっているとき、ビットレートをそれぞれのチャネル・プロセッサ10に正確に割り当てる。
符号化複雑度値のサンプリングと異なるチャネル用の更新ビットレート割合量の生成のタイミングは、チャネルのすべてが同一フレームレートで動作し、GOP内のフレーム数が同一である場合には、つまり、すべてのチャネルが同一GOP時間周期GOPtimeをもつ場合には、単純化することが可能である。図6は、そのようなシステムでの符号化複雑度サンプルと割当量更新のタイミングを示すタイミング図である。図6において、各水平線はそれぞれのチャネル1−kに対応している。水平線から上方に延びた短い縦線は、Iフレームの符号化がそのチャネルで開始される時刻を表し、これはそのチャネルのGOPの開始とみなされる。GOPの時間周期GOPtimeはどのチャネルの場合も等しくなっているが、それぞれのチャネルのGOPの開始時刻は異なっている。事実、それぞれのチャネルのGOPの開始時刻が異なっていると、Iフレームの符号化がオーバラップしないという点で望ましいことが判明している。このようにすると、異なるチャネル間の複雑度に変化をもたせることができる。
符号化複雑度値を計算するとき考慮に入れるIフレーム、PフレームおよびBフレームが同数であるかぎり、これらのフレームが異なるGOPからのものであることは重要でない。従って、すべてのチャネルの時間軸を横切る実線で示すように、符号化複雑度値のサンプルは、GOP内でいつでもすべてのチャネルから同時にとることができる。そのあと、チャネルのすべてのビットレート割当量の更新をそのサンプルから生成して、チャネル・プロセッサ10(図1)へ送り返すことができる。
上述のマルチプレクサ・システムは一箇所に配置されたシステムとして説明してきた。しかし、複数のチャネル・プロセッサ10はビットレート・アロケータ30およびマルチプレクサ20から離れたロケーションに置いておくことも可能である。そのようなシステムでは、通信リンクはエンコーダとビットレート・アロケータの間で確立されることになる。その場合には、プロセッサ10とマルチプレクサとの間で伝送されるビットの一部を、プロセッサからの複雑度情報の伝送に専用することが可能である。

Claims (1)

  1. 複数の制御信号を非同期で生成する装置であって、
    非同期のデータ信号を供給する信号源と、
    複数のデータ処理チャネルであって、該データ処理チャネルのそれぞれは、それぞれの制御信号に応答して、前記データ信号のそれぞれの1つを処理する複数のデータ処理チャネルと、
    複数のパラメータ決定回路であって、該パラメータ決定回路のそれぞれは、前記データ信号のそれぞれの1つに応答して、前記データ信号のそれぞれの1つのパラメータを表す信号を出力する複数のパラメータ決定回路と、
    複数の前記パラメータ決定回路に結合されており、連続したサンプリングタイムインターバル中における既定のサンプリングタイムと実質的に同時に、複数の前記パラメータ決定回路から得られる前記パラメータを表す信号をサンプルするデータサンプラと、
    前記データサンプラによりサンプルされた前記パラメータを表す信号に応答して、それぞれの前記制御信号を複数の前記データ処理チャネルに対して生成する制御信号ジェネレータとを備え
    前記制御信号は、該サンプルされた前記パラメータを表す信号、および、それぞれの前記データ処理チャネルに関して先に生じているそれぞれのサンプリングタイムインターバルの双方に基づいて、現在のサンプリングタイムインターバルにおける値を有しており、関連したサンプリングタイムインターバルから実質的に独立した値を有する
    ことを特徴とする装置。
JP52760295A 1994-04-20 1994-04-20 非同期制御信号生成装置 Expired - Fee Related JP3703488B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1994/004375 WO1995029545A1 (en) 1994-04-20 1994-04-20 Asynchronous control signal generating apparatus

Publications (2)

Publication Number Publication Date
JPH09512398A JPH09512398A (ja) 1997-12-09
JP3703488B2 true JP3703488B2 (ja) 2005-10-05

Family

ID=22242484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52760295A Expired - Fee Related JP3703488B2 (ja) 1994-04-20 1994-04-20 非同期制御信号生成装置

Country Status (6)

Country Link
EP (1) EP0756790B1 (ja)
JP (1) JP3703488B2 (ja)
KR (1) KR100309938B1 (ja)
AU (1) AU7393594A (ja)
DE (1) DE69433630T2 (ja)
WO (1) WO1995029545A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0928115A4 (en) 1997-07-01 2005-09-14 Sony Corp DEVICE AND METHOD FOR BILDCODE CONTROL, CODING, TRANSMISSION AND BROADCASTING SYSTEM
US6754241B1 (en) 1999-01-06 2004-06-22 Sarnoff Corporation Computer system for statistical multiplexing of bitstreams
WO2000041395A1 (en) * 1999-01-06 2000-07-13 Sarnoff Corporation Latency-based statistical multiplexing
US6665872B1 (en) 1999-01-06 2003-12-16 Sarnoff Corporation Latency-based statistical multiplexing
US7839948B2 (en) 2005-12-02 2010-11-23 Qualcomm Incorporated Time slicing techniques for variable data rate encoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1253255A (en) * 1983-05-16 1989-04-25 Nec Corporation System for simultaneously coding and decoding a plurality of signals
US4933934A (en) * 1986-12-22 1990-06-12 Nec Corporation Time division multiplexing method with channel compression and a device therefor
US5134476A (en) * 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5115309A (en) * 1990-09-10 1992-05-19 At&T Bell Laboratories Method and apparatus for dynamic channel bandwidth allocation among multiple parallel video coders
CA2088082C (en) * 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding
JPH0662393A (ja) * 1992-08-04 1994-03-04 G C Technol Kk 多重化した動画像符号化方法と装置
JP2500582B2 (ja) * 1993-03-17 1996-05-29 日本電気株式会社 動画像信号の多重化伝送方法とその装置
BE1007490A3 (nl) * 1993-09-10 1995-07-11 Philips Electronics Nv Inrichting voor het overdragen van een pluraliteit van televisie signalen over een transmissie kanaal.
JP3535549B2 (ja) * 1993-12-22 2004-06-07 日本放送協会 画像信号符号化多重装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JPH07284096A (ja) * 1994-04-06 1995-10-27 Nec Corp 多チャンネル画像伝送装置

Also Published As

Publication number Publication date
EP0756790A4 (en) 1998-05-20
EP0756790B1 (en) 2004-03-17
WO1995029545A1 (en) 1995-11-02
DE69433630D1 (de) 2004-04-22
EP0756790A1 (en) 1997-02-05
KR970702638A (ko) 1997-05-13
KR100309938B1 (ko) 2001-12-15
JPH09512398A (ja) 1997-12-09
DE69433630T2 (de) 2005-02-03
AU7393594A (en) 1995-11-16

Similar Documents

Publication Publication Date Title
US5838686A (en) System for dynamically allocating a scarce resource
US6055270A (en) Multiplexer system using constant bit rate encoders
US5933451A (en) Complexity determining apparatus
US5241383A (en) Pseudo-constant bit rate video coding with quantization parameter adjustment
US5877814A (en) Asynchronous control signal generating apparatus
KR100314329B1 (ko) 일정비트율엔코더를이용하는멀티플렉서
US5864583A (en) Parameter sampling apparatus
JP3583432B2 (ja) 不足する資源を動的に割り当てるシステム
JP3703488B2 (ja) 非同期制御信号生成装置
US5933450A (en) Complexity determining apparatus
KR100340827B1 (ko) 복잡성결정장치
JP3341896B2 (ja) 複雑度決定装置
JP3630686B2 (ja) パラメータ・サンプリング装置
CN1078782C (zh) 异步控制信号发生装置
CN1067203C (zh) 利用恒定位率编码器的多路复用系统
CN1080960C (zh) 参数抽样装置
CN1072415C (zh) 动态分配稀少资源的系统

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20031209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050720

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080729

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090729

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090729

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100729

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110729

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees