JPH09512397A

JPH09512397A - 複雑性判定装置

Info

Publication number: JPH09512397A
Application number: JP7527601A
Authority: JP
Inventors: オヅカン，メヘメット，ケマル; ベイアーズ，ビリー，ウェスレー
Original assignee: Thomson Consumer Electronics Inc
Current assignee: Technicolor USA Inc
Priority date: 1994-04-20
Filing date: 1994-04-20
Publication date: 1997-12-09
Anticipated expiration: 2017-08-12
Also published as: EP0756793A1; EP0756793A4; KR970702645A; JP3313118B2; AU6771294A; EP0756793B1; WO1995029550A1; DE69431072D1; DE69431072T2; KR100340827B1

Abstract

(57)【要約】データ信号の供給源と、前記データ信号の供給源に接続され、前記データ信号を示すサブサンプリング信号を発生するサブサンプラ・システムとを有する複雑性判定装置が開示されている。可変ビット・レート（ＶＢＲ）符号化器は、前記サブサンプリング信号に応答し、前記サブサンプリング信号を示す符号化信号を発生する。カウンタは、前記符号化信号中のビット数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生する。

Description

【発明の詳細な説明】複雑性判定装置この発明は、前方分析(forward analysis)を用いて、データ信号の複雑性を判定する装置に関するものである。背景技術データ信号の複雑性(complexity)に関する表示を得ることは、時として有用な場合がある。例えば、それぞれ固定ビット・レート（ＣＢＲ）の符号化器を用いて符号化された、複数の符号化ビデオ信号を多重化することが提案されている。各ＣＢＲ符号化器に対し割り当てられるビット・レートは、符号化するビデオ信号の複雑性と多重化される全てのビデオ信号の複雑性の組み合わせに基づいて、動的に変化される。こうしたシステムにおいて、比較的高い複雑性を有するビデオ信号には、比較的低い複雑性を有するものよりも高いビット・レートが割り当てられる。他の例においては、ＣＢＲ符号化器自体が、ビデオ信号の符号化に用いる量子化ステップ・サイズ（または量子化ステップ数）を変化させることにより、それらに割り当てられた固定ビット・レートを維持する。より小さな量子化ステップ・サイズ（またはより多くの量子化ステップ）を使用することは、それらを符号化するためにより多くのビットを必要とする。また逆に、より大きな量子化ステップ・サイズは、より少ないビットを必要とする。量子化ステップ・サイズは、一般に、現在の瞬間的ビット・レートに応答して変化し、全体の所定の固定ビット・レートが維持される。上記の双方の例において、多重化される各ビデオ信号について、複雑性を示す信号を有することが望ましい。多重化の例において、ビデオ信号を符号化するＣＢＲ符号化器に対し割り当てられるビット・レートは、これらの複雑性信号に基づいて調整される。ＣＢＲ符号化器の例において、量子化ステップ・サイズは、現在の瞬間的ビット・レートに加えて、符号化される信号の複雑性に基づいて設定してもよい。ビデオ信号の複雑性の公知のある測定は、可変ビット・レート（ＶＢＲ）符号化器を用いてそのビデオ信号を符号化するのに必要なビット数であり、より多くのビット数は、より高い複雑性を示し、逆に、より少ないビット数はより低い複雑性を示す。こうした複雑性の測定は、前方分析と称せられるプロセスである他の処理に先立って、またはこれと並行して行うことができる。こうして得られた複雑性の測定結果は、例えばＣＢＲ符号化器や多重化システム等の後続の処理回路によるビデオ信号処理を制御するのに用いられる。ＶＢＲ符号化器は複雑な電子システムであるが、多重化システムにおいて多重化される各信号のためのＶＢＲ符号化器を用いてその信号の複雑性を判定することは、高価であり、付加される複雑な回路のために信頼性が低いものとなる。ＣＢＲ符号化器により符号化されるビデオ信号の複雑性を測定するために提案されている他の手法は、ＣＢＲ符号化処理中に発生するパラメータを用いるものである。特に、所定期間のビデオ信号の平均量子化ステップ・サイズと、その期間中のビデオ信号の符号化から発生されるビット数との積は、ＣＢＲ符号化器によって発生される所定の固定ビット・レートとは独立であるが、符号化するビデオ信号の複雑性に応じて変化することが発見されている。しかしながら、この測定結果は、符号化処理中に発生され、画像またはフレームの符号化後までは得られないので、後方分析(backward analysis)と称されるプロセスである。この測定結果は後続のフレームの複雑性の見積りとして用いらるが、必要な量子化ステップ・サイズを決定するためにＣＢＲ符号化器自体によって使用することはできない。また、複雑性の急激な変化、特に、比較的簡単な画像から比較的複雑なものへの変化が生じると、多重化システムの動作もまた不正確になる。データ信号自体の処理と同時に処理システムによって使用可能なデータ信号の複雑性の測定結果を発生するが、複雑性の測定結果を発生するために非常に複雑な電子システムは必要としないことが望ましい。発明の開示本発明者らは、ビデオ信号の複雑性が、元のビデオ信号に対応するが空間的および／または時間的解像度の低いビデオ信号に反映されることを実現した。ビデオ信号が、解像度を低下させたビデオ信号を発生するために適切にサブサンプルされて、その解像度を低下させたビデオ信号がＶＢＲ符号化されると、符号化処理の結果得られるビット数は、元のビデオ信号の複雑性を正確に反映したものとなる。本発明の原理によれば、複雑性判定装置は、データ信号の供給源と、前記データ信号の供給源に接続され、前記データ信号を示すサブサンプル信号を発生するサブサンプリング・システムとを有している。可変ビット・レート（ＶＢＲ）符号化器は、前記サブサンプル信号に応答し、このサブサンプル信号を示す符号化信号を発生する。カウンタは、前記符号化信号中のビット数を積算して、積算されたビット数に対応する複雑性を示す信号を発生する。解像度を低下させたビデオ信号を符号化するＶＢＲ符号化器は、充分な解像度のビデオ信号のためのＶＢＲ符号化器に比べて、大きさおよび複雑さを大幅に減少させることができる。さらに、こうした装置による複雑性の測定結果は前方分析によって発生され、この複雑性の測定結果が示すビデオのフレームの連続した処理を制御するのに用いることができる。図面の簡単な説明図１は、本発明による複雑性判定装置を含む多重化システムのブロック図、図２は、図１に示した多重化システムに用いることができるチャンネル・プロセッサのブロック図、図３は、図２に示すチャンネル・プロセッサに用いるＭＰＥＧ符号化器の一部のブロック図、図４は、図１に示す多重化システムに用いることができるビット・レート割り当て器のブロック図、図５は、図２に示すチャンネル・プロセッサに用いることができる複雑性分析器のより詳細なブロック図である。発明を実施するための最良の形態図１は、本発明を具体化する多重化システムのブロック図である。図１において、全ての信号通路は、単一の信号線で示されている。しかしながら、当業者は、図示の信号通路によって複数ビットのディジタル信号を、信号通路が複数の信号線で構成される場合は並列に、或いは、信号通路が単一のデータ線となり、および／または、データおよびクロック信号線を含む場合は連続のいずれかで伝達できることを理解できる。本発明の理解に密接に関係しない他の制御およびクロック信号通路は、簡略化のために図から省略されている。図１において、複数の入力端子５は、データリンクを通って一緒に伝達されるビデオ信号（チャンネル１−チャンネルＫ）の供給源（図示せず）に接続されている。複数の入力端子５は、対応する複数のチャンネル・プロセッサ１０の各データ入力端子に接続されている。複数のチャンネル・プロセッサ１０のそれぞれのデータ出力端子は、マルチプレクサ（ＭＵＸ）２０の対応するデータ入力端子１−Ｋに接続されている。マルチプレクサ２０のデータ出力端子は、多重化システムの出力端子１５に接続されている。出力端子１５は、伝達リンク(transmiss ion link)を介して多重化されたデータトリーム(MUX'ED DATA)を伝達するために利用回路(utilization circuitry;図示せず)に接続されている。複数のチャンネル・プロセッサ１０の各々は、さらに、複雑性出力端子および制御入力端子を有している。複数のチャンネル・プロセッサそれぞれの各複雑性出力端子は、ビット・レート割り当て器(BIT RATE ALLOCATOR)３０の対応する複雑性入力端子に接続され、ビット・レート割り当て器３０の割当量(quota)出力端子は、複数のチャンネル・プロセッサ１０の対応する制御入力端子に接続されている。動作の際に、各チャンネル・プロセッサは、その制御入力端子において次の割当期間(quota period)のために割り当てられたビット・レートを示す信号を受ける。そして、チャンネル・プロセッサは、次の割当期間のためのデータ入力端子の信号を、割り当てられたビット・レートでディジタル符号化信号に符号化する。符号化されたデータ信号は、マルチプレクサ２０の対応する入力端子に供給される。マルチプレクサ２０は、周知の要領で動作して、全てのチャンネル・プロセッサからの信号を組み合わせて多重化されたデータストリームを発生する。多重化されたデータストリームは次に、また周知の要領で伝送のためのデータリンクから成る回路に供給される。符号化処理中において、チャンネル・プロセッサ１０は、その複雑性出力端子に、符号化される信号のコーディング(coding)の複雑性を示す信号を発生する。ビット・レート割り当て器３０は、チャンネル・プロセッサ１０の複雑性出力端子からの信号を受け、全ての複雑性信号に基づいて複数のチャンネル・プロセッサ１０の間の次の割当期間のためのビット・レート割当量(quotas)を動的に調整する。好適な実施例においては、より複雑性の高い信号は、複雑性の低い信号よりも高いビット・レートになるように動的割り当てが行われる。ビデオ信号の複雑性を判定する装置、および複雑性に基づいてビット・レートを割り当てる種々の手法を以下に説明する。図２は、図１の多重化システムで使用することができるチャンネル・プロセッサのブロック図である。図２において、図１中のものと同様な要素は同一の参照符号で示し、以下に詳述しない。図２において、データ入力端子５はビデオ信号供給源（図示せず）に接続されている。データ入力端子５は、遅延要素１２の入力端子と、複雑性分析器(COMPLEXITY ANALYZER)１６の入力端子に接続されている。遅延要素１２の出力端子は、固定ビット・レート（ＣＢＲ）符号化器１４の入力端子に接続されている。ＣＢＲ符号化器(CONSTANT BIT RATE ENCODER)１４のデータ出力端子は、（図１の）マルチプレクサ（ＭＵＸ）２０の入力端子に接続されている。チャンネル・プロセッサ１０の制御入力端子(CONTROL)は、ＣＢＲ符号化器１０の割り当て入力端子(quota input terminal)Ｑに接続されている。複雑性分析器１６の出力端子は、チャンネル・プロセッサ１０の複雑性出力端子(COMPLEXITY)とＣＢＲ符号化器１４の複雑性入力端子に接続されている。動作の際に複雑性分析器１６は、データ入力端子５におけるビデオ信号の複雑性を、以下に説明する要領で分析する。複雑性分析器１６の出力に発生された信号は、入力信号の複雑性を示している。複雑性を示すこの信号は、ＣＢＲ符号化器１４と（図１の）ビット・レート割り当て器３０に供給される。この複雑性信号（および他のチャンネル・プロセッサ１０の複雑性信号）に応答して、ビット・レート割り当て器３０は、このチャンネル・プロセッサ１０（および他のチャンネル・プロセッサ１０）の制御入力端子(CONTROL) にこのチャンネル・プロセッサ１０に対して割り当てられたビット・レートを示す信号を与える。ＣＢＲ符号化器１４は、そのデータ入力端子とデータ出力端子の間に固定ビット・レートで符号化された出力信号を発生するためのデータ通路を形成する。固定ビット・レートは、チャンネル・プロセッサ１０の制御入力端子(CONTROL)から割り当て入力端子Ｑに与えられる信号と複雑性分析器１６から複雑性入力端子Ｃに与えられる複雑性信号に応答して保持される。ビデオ信号の量子化ステップ・サイズは、割り当てられているビット・レートと現在符号化されているビデオ信号の複雑性に基づいて、以下に説明する要領で制御される。遅延要素１２は、複雑性分析器１６が複雑性を示す信号を発生し、ビット・レート割り当て器３０がＣＢＲ符号化器１４のためのビット・レート割り当て信号 (bit rate allocation signal)を発生するのに十分な期間の間、ビデオ信号を遅延させる。従って、ビット・レート割り当て信号は、それに応答して当該割り当て信号が発生されたビデオ信号と同時にＣＢＲ符号化器１４に到達する。これにより、所望の前方分析(forward analysis)が行われる。遅延要素１２は、メモリまたは他の遅延要素により公知の要領で形成することができ、および／または、他の処理回路や、ビデオ信号の複雑性に応じた制御を必要としない伝達通路によって構成することができる。好適な実施例においては、各ＣＢＲ符号化器１４は、動画像符号化国際標準方式(Moving Picture Expert Groupe)（ＭＰＥＧ）として普及された標準に従って、ビデオ信号を圧縮・符号化するＭＰＥＧ符号化器と称される符号化器である。図３は、ＭＰＥＧ符号化器１４の一部を示すブロック図である。ＭＰＥＧ符号化器１４の公知の構成要素について、以下の説明では詳述しない。ＭＰＥＧ符号化器は本発明の理解のためには必須でない他の要素を有しており、これらは簡略化のために図示を省略してある。図３において、ＭＰＥＧ符号化器１４のデータ入力端子(DATA IN)は（図２の）遅延要素１２の出力端子に接続され、これにより、圧縮・符号化されるビデオ信号を供給する。データ入力端子(DATA IN)は、フレーム・バッファ４１の入力端子に接続されている。フレーム・バッフア４１は、複数のフレーム期間遅延線 (delay line)と、異なりはするが一時的に隣接するフレームまたは画像の一部を示す信号を発生する複数の出力端子とを有している。フレーム・バッファ４１の複数の出力端子は、動き予測器(MOTION ESTIMATOR)４２の対応する入力端子に接続されている。動き予測器４２の出力端子は、離散コサイン変換（ＤＣＴ）回路４３に接続されている。ＤＣＴ回路４３の出力端子は、可変量子化（Ｑｕ）回路４６の入力端子に接続されている。可変量子化回路４６の出力端子は、可変長符号器（variable legth coder;ＶＬＣ）４７に接続されている。ＶＬＣ４７の出力端子は、出力バッフア４８の入力端子に接続されている。出力バッファ４８のデータ出力端子は、ＭＰＥＧ符号化器１４のデータ出力端子(DATA OUT)に接続されている。ＭＰＥＧ符号化器１４のデータ出力端子(DATA OUT)は、（図１の）マルチプレクサ２０の対応する入力端子に接続されている。ＭＰＥＧ符号化器１４の割り当て入力端子Ｑは、（図１の）ビット・レート割り当て器３０の対応する割り当て出力端子(quota output terminal)に接続されている。ＭＰＥＧ符号化器１４の割り当て入力端子Ｑは、調整器(REGULATOR)４９の第一の制御入力端子に接続されている。ＭＰＥＧ符号化器１４の複雑性入力端子Ｃは、（図２の）複雑性分析器１６に接続されている。複雑性入力端子Ｃは、ビット・レート調整器４９の第二の制御入力端子に接続されている。ビット・レート調整器４９の制御出力端子は、可変量子化回路４６の制御入力端子に接続されている。動作の際に、ＭＰＥＧ符号化器１４は、割り当て入力端子Ｑおよび複雑性入力端子Ｃの信号によって決定されるビット・レートで、そのデータ入力端子におけるビデオ信号を圧縮・符号化する。好適な実施例においては、ＭＰＥＧ符号化器１４は、それぞれのグループ(groupe)が１２の連続したフレームまたは画像で構成される画像グループ（groupe of pictures;ＧＯＰ）の連続から成るビデオ信号を符号化する。ＧＯＰの期間は、ＭＰＥＧ符号化器１４の割り当て期間である。各ＧＯＰに対して、ＭＰＥＧ符号化器１４は、（図１の）ビット・レート割り当て器３０から新しいビット・レート割り当て(bit rate quota)と、複雑性入力端子からの複雑性を示す信号を受ける。フレーム・バッファ４１は、以下に説明する要領で行われる動き予測を行うために必要な、現在符号化されているＧＯＰの１２のフレームまたは画像の一部を示すデータを受け取り格納する。このデータは、動き予測器４２に供給される。好適な実施例においては、１２のフレームまたは画像のうち最初のものが基準フレーム（Ｉフレーム）として用いられ、動き予測器を通ってＤＣＴ回路４３に送られる。残りのフレームに関しては、ＭＰＥＧ標準書でマクロブロックと称される、先行のフレーム（Ｐフレーム）のみから得たか、若しくは先行フレームおよび後続フレーム（Ｂフレーム）から補間して得た画像またはフレームの１６画素 ×１６ラインの複数のブロックの各々に対して、動き予測器４２により動きベクトルが発生される。上述のように、フレーム・バッファ４１は動き予測器に必要なデータを保持し、先行フレームまたは先行フレームと後続フレームの補間から予測を行う。特定のフレームに関して発生された動きベクトルは、予測されるフレームの実データと比較されて動き差信号が発生され、ＤＣＴ回路４３に供給される。ＤＣＴ回路４３においては、Ｉフレームからの空間データの１６画素×１６ラインのマクロブロックと、ＰフレームとＢフレームからの動き差信号とが、本願の残りの部分でＭＰＥＧ標準書に従ってミクロブロックと称される、六つの８画素×８ラインのブロック（四つの輝度ブロックと二つの色ブロック）に分割される。離散コサイン変換が、各ミクロブロックに対して行われる。この結果得られた８×８のブロックのＤＣＴ係数は、次に可変量子化回路４６に供給される。この８×８ブロックの係数は量子化され、ジグザグの順序で走査されてＶＣＬ４７に供給される。ＧＯＰを示す量子化されたＤＣＴ係数と、他の付帯情報（符号化されたＧＯＰのパラメータに関する）は、ＶＣＬ４７においてラン・レングス・コーディングを用いて符号化され、出力バッファ４８に供給される。ＶＣＬ４７の出力ビット・レートを制御してＭＰＥＧ符号化器１４の割り当てられた固定ビット・レートを維持するための最も直接的な方法は、可変量子化回路４６における各ブロックのＤＣＴ係数の量子化に用いる量子化のレベル数（すなわち、換言すれば、量子化ステップ・サイズ）を制御することであることが知られている。ビット・レート調整器４９から可変量子化回路４６に供給される制御信号は、この制御機能を行う。各ＧＯＰ期間に関して、ビット・レート調整器４９は、そのＧＯＰに関するビット・レートの割り当て信号(allocation quota) および複雑性を示す信号を受ける。ＧＯＰの複雑性は前もってわかっているので、量子化ステップ・サイズは、ＧＯＰの各フレームのミクロブロックについて精度良く特定することができる。ビット・レート調整器４９は可変量子化回路４６に制御信号を供給し、これにより、そのＧＯＰ期間について割り当てられたビット・レートを保持するためにＧＯＰ内の各ミクロブロックが量子化される適正なレベル数を設定する。また、ビット・レート調整器４９は、制御入力信号として、図３に仮想線で示すように出力バッファ４８からのＧＯＰの符号化にそれまでに用いられたビット数を用いることも可能である。好適な実施例においては、（図１の）ビット・レート割り当て器３０は、複数のチャンネル・プロセッサ１０の種々の回路構成要素に接続された接続部を有するコンピュータシステムである。図４は、ビット・レート割り当て器３０を形成するハードウエアのブロック図である。図４において、マイクロプロセッサ（μ Ｐ）３１は、リード／ライト・メモリ（ＲＡＭ）３２、リード・オンリ・メモリ（ＲＯＭ）３３、および入力／出力（Ｉ／Ｏ）コントローラ３４と、コンピュータのシステムバス３５を介して接続されている。簡略化のために図示を省略されている大規模記憶装置やユーザ端末等の、コンピュータシステムの他の構成要素が在る。Ｉ／Ｏコントローラ３４は、（図１の）複数のチャンネル・プロセッサ１０の対応する複雑性出力端子に接続された複数の入力端子(COMPLEXITY)と、複数のチャンネル・プロセッサ１０の対応する割り当て入力端子に接続された複数の出力端子（ＱＵＯＴＡ）を有している。マイクロプロセッサ３１、ＲＡＭ３２、ＲＯＭ３３、およびＩ／Ｏコントローラ３４は、公知の要領でコンピュータシステムとして動作して、ＲＯＭ３３に格納されたプログラムを実行し、ＲＡＭ３２へのデータの格納および検索を行い、Ｉ／Ｏコントローラ３４に接続された装置との間でデータの授受を行う。（図１の）複数のチャンネル・プロセッサ１０において符号化されるビデオ信号の現在のコーディング(coding)の複雑性を示すデータは、これらのチャンネル・プロセッサの対応する出力端子からＣＯＭＰＬＥＸＩＴＹ入力端子を経てＩ／Ｏコントローラ３４に与えられる。マイクロプロセッサ３１は、コンピュータ・システム・バス３５を介してこれらのＩ／Ｏコントローラ３４からの信号を検索し、各符号化器に対する次のＧＯＰのためのビットの割り当て（quota）を決定し、これらの割り当てを示す信号（quotas）を、複数のチャンネル・プロセッサ１０のうちの対応する一つにＱＵＯＴＡ出力端子を介して供給する。（図３の）ＭＰＥＧ符号化器１４により符号化されるビデオ信号のコーディングの複雑性を判定する好適な手法は、符号化されるビデオ信号に対応して動作するが、低解像度となるＶＢＲ符号化器を用いるものである。図５は、この方法によって、コーディング複雑性信号を発生する（図２の）複雑性分析器１６のブロック図である。簡略化のために、種々のクロックおよび制御信号が図５より省略されているが、これらの信号に必要な信号のタイミングと電圧特性は良く知られている。図５において、折り返し雑音除去(antialiasing)フィルタ６２およびサブサンプラ(subsampler)６４により形成されるサブサンプリング・システム６０と、ＶＢＲ符号化器(VARIABLE BIT RATE ENCODER)６６と、ビット・カウンタ６８とのシリアル接続が、データ入力端子５と複雑性出力端子(COMPLEXITY)との間に接続される。データ入力端子５はビデオ信号供給源（図示せず）に接続され、複雑性出力端子は、（図１の）ビット・レート・エンコーダ３０と（図３の）ビット・レート調整器４９とに接続されている。動作の際に、複雑性を分析されたビデオ信号は、まずサブサンプリング・システム６０により処理される。折り返し雑音除去フィルタ６２は、公知の要領で入力ビデオ信号を濾波して、サブサンプリング動作によって生じる可能性のある間違った結果を最小とする。濾波されたビデオ信号は、次にサブサンプラ６４によってサブサンプリングされる。このサブサンプリングにより、信号の空間解像度が低下する。例えば、ラインが一つおきに除かれ、残りのラインの画素が一つおきに除かれると、この結果得られるビデオ信号は、垂直および水平の双方の寸法(dimension)において２分の１でサブサンプリングされる。空間的にサブサンプリングされた結果得られた画像のフレームは、元のビデオ信号の画素数の４分の１を持つ。また、フレームを一つおきに除くことも可能である。この結果得られるビデオ信号は、一時的に２分の１でサブサンプリングされる。この結果得られるサブサンプルされた信号は、前述の空間的サブサンプリングと組み合わせると、元のビデオ信号の画素数の８分の１を持つ。しかしながら、どのようなサブサンプリング要素も、いかなる寸法においても適用可能である。好適な実施例においては、元の（高解像度の）ビデオ信号は、国際無線通信諮問委員会(International CCIR)６０１標準書に特定された、７２０画素×４８０ラインの空間解像度で符号化される。このビデオ信号は、適切に濾波されてサブサンプリングされ、３５２画素×２４０ラインを持つ小画像フォーマット(small image format)（ＳＩＦ）と称される、より低解像度の信号とされる。ＳＩＦビデオ信号のＧＯＰは、次いで、ＶＢＲ符号化器６６により符号化される。符号化されたＧＯＰ中のビット数は、ビット・カウンタ６８により積算される。ＶＢＲ符号化器６６による符号化中に積算されたＧＯＰ中のビット数は、ＧＯＰについてのコーディングの複雑性（Ｘ_GOPで示す）である。この複雑性の測定結果は、このビデオ信号を符号化するＣＢＲ符号化器１４に供給される。Ｎで示すＧＯＰ中のフレームまたは画像の数は、一般に一定である。しかしながら、Ｎは変化させることができる。また、異なるチャンネルが、異なるフレーム・レートまたは画像レートで動作することも可能である。例えば、（米国における）標準映像を伝えるチャンネルは毎秒３０フレームで動作し、映画画像を伝えるチャンネルは毎秒２４フレームで動作し、漫画映画(cartoon)を伝えるチャンネルは毎秒１５フレームで動作する。またさらに、異なるチャンネルが、ＧＯＰ中に異なる画像またはフレーム数を持つことも可能である。従って、異なるチャンネルが、異なるＧＯＰ期間を持つことが可能である。こうした条件においてチャンネルに対しビットを正確に割り当てるために、こうした状況における複数のチャンネルのＧＯＰのコーディングの複雑性の値は、各チャンネルの複雑性分析器１６からのＧＯＰの複雑性の値を当該チャンネルのＧＯＰ期間（ＧＯＰ_timeで示す）で除算することによって、ビット・レート割り当て器３０において時間に対して正規化される（式（１）参照）。正規化されたＧＯＰのコーディングの複雑性の値（Ｘｎｏｒｍ_GOPで示す）は、次いで、異なるチャンネル間におけるビットの割り当てに用いられる。伝送を簡単にするために、コーディングの複雑性の値Ｘ_GOPをスケーリングすることができる。好適な実施例においては、この値は、８ビットの数にスケーリングされている。このスケーリングされた値は（図４の）ビット・レート割り当て器３０に与えられ、これにより、複数のチャンネル・プロセッサ１０の各々についてビットの割り当て(allocation)を計算する。コンピュータシステムが、ＧＯＰの複雑性の値X_GOPのファイルを、例えば大規模記憶装置（図示せず）に保持させることが好ましい。以下の説明において、ｘⁱは、ｉ番目のチャンネル・プロセッサからのＸ_GOPまたはＸｎｏｒｍ_GOPのうちいずれか適当な一つを示す。（図１の）ビット・レート割り当て器３０は、複数のチャンネル・プロセッサ１０を形成しているＫ個のチャンネル・プロセッサの全部からのコーディングの複雑性の値Ｘⁱに基づき、伝送リンクにおいて使用可能なビットの割り当てを示す各ＱＵＯＴＡ信号を発生する。（図１の）マルチプレクサ２０の出力端子からの所定の伝送リンクのビット・レート（Ｒで示す）は、複数のチャンネル・プロセッサ１０の間で割り当てられ、ｉ番目のチャンネル・プロセッサがＲⁱで示すビット・レートの割り当てを受けるようになる。伝送リンクにおいて異なるチャンネルにビット・レートを割り当てる一つの手法は、（図１の）複数のチャンネル・プロセッサ１０の全てに対するＧＯＰのコーディングの複雑性Ｘⁱに基づいた線形割り当てである。この手法において、各プロセッサｉは、その符号化器のコーディングの複雑性Ｘⁱが全ての符号化器の全体でのコーディングの複雑性を負担するのと同一比率Ｒⁱの合計ビット容量Ｒを受ける（式（２）参照）。しかしながら、これを下回った場合には、再生画像の質が極端に低下する下側ビット・レート割り当て(a loewr bit rate alloca tion）が有ることが判明している。伝送リンクにおいて異なるチャンネルにビット・レートを割り当てる別の手法では、各符号化器ｉへの最小ビット・レートの割り当てＲＧⁱを保証し、式（２）のとおりに残りのビットを線形的に割り当てる（式（３）参照）。各チャンネルは、チャンネルを介して伝送される画像の予測される全体での複雑性、および／または、ビデオ信号の供給元へのチャンネルの評価によって保証された異なる最小ビット・レートを持つことができる。伝送リンクにおいて異なるチャンネルにビット・レートを割り当てるさらに別の方法では、各符号化器ｉに重み要素Ｐⁱを与え、重み要素Ｐⁱにより重み付けされたコーディングの複雑性の値Ｘⁱに従って、ビットを比例的に割り当てる（式（４）参照）。式（３）の保証された最小割り当て手法において、重み要素(weighting factors )Ｐⁱは、チャンネルを通って伝送されるビデオ信号の予測される全体での複雑性、および／または、ビデオ信号の供給元へのチャンネルの評価によって変化させることができる。伝送リンクにおいて異なるチャンネルにビット・レートを割り当てる好適な手法は、式（４）の重み付けされた割り当て手法と、式（３）の保証された最小割り当て手法との組み合わせである。この手法において、各チャンネルは最小の割り当てを保証され、残りのビットは、重み付け原理により割り当てられる（式（５）参照）。上記のように、保証された最小割り当てと重み要素の双方は、チャンネルを通って伝送されるビデオ信号の予測される全体での複雑性、および／または、ビデオ信号の供給元への評価によって変化させることができる。システムの他のパラメータに応じて、ビットの割り当てＲⁱをさらに向上させることができる。例えば、これを超えた場合に再生画像の質に何らの向上も見られない、上側ビット・レート割り当て(an upper bit rate allocation)が有ることが判明している。従って、この上側割り当て値を超えるビットの割り当ては、伝送リンクにおいてビットの無駄になる。また、伝送リンクのオペレータは、各チャンネルに、（上記の上側ビット・レート割り当て値を反映する）最大のビット・レート割り当てＲ_max、および／または、最小ビット・レート割り当てＲ_min を課すことができる。さらに、各符号化器における（図２の）出力バッファ１８の大きさの制限によって、そのチャンネルに対するビット・レートの割り当ての変化によりバッファのオーバーフローやアンダーフローが引き起こされる可能性をそれぞれ最小とするために、一つのＧＯＰから次のＧＯＰへのビット・レートの割り当ての増加αおよび／または減少βの最大歩進数をチャンネルに課すことも可能である。上記のように上側ビット・レート割り当て値、最大と最小ビット・レート割り当て、および増加および減少の最大歩進数の各値は、異なるチャンネルには異なる値とすることができる。そして各値により、このチャンネルを通って伝送されるビデオ信号の予測される全体での複雑性、および／または、ビデオ信号の供給元への評価によって変化させることができる。こうした制限が多重化システムにおいて課された場合は、式（２）、（３）、（４）または（５）に従ってビット・レートの割り当てが計算された後に、それらのビット・レートの割り当てがチェックされ、そのチャンネルの現在の上側および下側限界値内に入っているか否かが判定される。最初に、各チャンネルの上側および下側限界値が判定される。どの割り当て期間(quota period)ｋの上限のビット・レート割り当て（Ｒⁱ _upper［ｋ］で示す）も、前の割り当て期間ｋ−１の許容最大割り当て増加量と、最大ビット・レート割り当て限界のうちの最小の値である（式（６）参照）。どの割り当て期間ｋの下限のビット・レート割り当てＲⁱ _lower［ｋ］も、前の割り当て期間ｋ−１の許容最大割り当て減少量と、最小ビット・レート割り当て限界のうちの最大の値である（式（７）参照）。その後にチャンネルのビット・レートの割り当ての調整が行われる。どのチャンネルに関して割り当てられたビット・レートがいずれかの限界値を超えても、そのチャンネルのビット・レート割り当てはその限界値に設定され、使用可能な残りのビット・レートは、他のチャンネル間で再割り当てされる。例えば、式（２）、（３）、（４）または（５）で計算されたチャンネルｉに割り当てられたビット・レートが、式（６）で計算されたそのチャンネルの上側限界値よりも大きいときには、チャンネルｉのビット・レートはその上側限界値Ｒⁱ _u _pper に設定される。逆に、前記ビット・レートが、式（７）で計算された下側限界値よりも小さいときには、このビット・レートは下側限界値Ｒⁱ _lowerに設定される（式（８）参照）。ビット・レート割り当てのいずれかが式（６）、（７）、および（８）の制限動作によって変更されると、その後に、残りの使用可能なビット・レートは、式（２）、（３）、（４）、又は（５）に従って制限されていないチャンネル間で再割り当てされる。そして、これらのチャンネルは、式（６）、（７）、および（８）の限界値に対して再びチェックされる。このサイクルは、全てのビット・レートの割り当てが最終的に決定されるまで反復される。好適な実施例において、この割り当てサイクル(quota cycle)は、チャンネルにおける一つの期間から次の期間へのビット・レートの割り当ての変化が大体において比較的小さくなるのに十分な期間である、ＧＯＰ期間である。従って、式（６）、（７）、および（８）は、まれにのみ呼び出される。上記の多重化システムは、一緒に配置したシステムとして説明した。しかしながら、複数のチャンネル・プロセッサ１０は、ビット・レート割り当て器３０やマルチプレクサ２０から離間した位置に置くことも可能である。こうしたシステムにおいては、符号化器とビット・レート割り当て器との間に通信リンク (communication link)が設置される。この場合、プロセッサ１０とマルチプレクサの間で伝達されるビットのうちのある部分は、プロセッサからの複雑性情報の伝達専用とすることができる。

【手続補正書】特許法第１８４条の８【提出日】１９９６年５月３日【補正内容】請求の範囲１．画像フレームを示すデータ信号供給源と、前記データ信号供給源に接続され、前記画像データ信号を示すサブサンプリング信号を発生するサブサンプリング・システムと、前記サブサンプリング信号に応答し、前記サブサンプルリング画像信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタとを備え、前記複雑性信号が前記画像フレームの複雑性を示すことを特徴とする複雑性判定装置。２．前記サブサンプリング・システムは、前記データ信号供給源に接続された折り返し雑音除去フィルタと、前記折り返し雑音除去フィルタに接続されたサブサンプラとを備えることを特徴とする請求項１に記載の複雑性判定装置。３．前記サブサンプラは、前記画像信号に対応し、空間的にサブサンプリングされた前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。４．前記サブサンプラは、前記画像信号に対応し、一時的にサブサンプリングされる前記サブサンプリング信号を発生することを特徴とする請求項３に記載の複雑性判定装置。５．前記サブサンプラは、前記画像信号に対応し、一時的にサブサンプリングされる前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。６．前記データ信号供給源は、各フレームが４８０のラインを含む画像を示し、各ラインが７２０の画素を含む連続したフレームで構成されたＣＣＩＲ６０１の解像度を有する前記画像信号を発生し、および、前記サブサンプリング・システムは、各フレームが２４０のラインを含み、各ラインが３５２の画素を含む連続したフレームで構成される小画像フォーマット（ＳＩＦ）の解像度を有する前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。７．前記複雑性を示す信号は、前記ビットの数のスケーリングを示すことを特徴とする請求項１に記載の複雑性判定装置。８．前記ビットの数は、８ビット信号にスケーリングされることを特徴とする請求項７に記載の複雑性判定装置。９．画像フレームを示すデータ信号供給源と、前記データ信号供給源に接続され、前記画像データ信号を示すサブサンプリング信号を発生するサブサンプリング・システムと、前記サブサンプリング信号に応答し、前記サブサンプル画像信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、前記画像信号に関して積算されたビットの数に対応する複雑性を示す信号を発生するカウンタと、前記データ信号供給源に接続され、制御信号に応答し、前記制御信号に応じて変化された量子化ステップ・サイズを有する前記画像データ信号を示す量子化信号を発生する可変量子化器と、前記量子化信号に応答し、前記符号化信号を発生する符号化器と、前記画像の複雑性を示す信号に応答し、前記可変量子化器の量子化ステップ・サイズを可変して前記画像データに関する前記所定の固定ビット・レートにおいて前記符号化信号のビット・レートを保持するよう制御信号を発生するビット・レート調整器とを備え、所定の固定ビット・レートで、画像データ信号を示す符号化信号を発生することを特徴とする固定ビット・レート（ＣＢＲ）符号化器。１０．前記データ信号供給源と前記可変量子化器の間に接続され、当該制御信号が前記制御信号に応じたデータ信号と同時に可変量子化器において受け取られるような期間、前記データ信号を遅延させる遅延要素をさらに備えることを特徴とする請求項９に記載のＣＢＲ符号化器。１１．複数のデータ信号供給源と、複数の入力端子、および出力端子を有するマルチプレクサと、それぞれ前記データ信号供給源の各一つに接続されたデータ入力端子と、前記入力端子のデータ信号の複雑性を示す信号を発生する複雑性出力端子と、制御入力端子と、前記マルチプレクサの入力端子の各一つに接続されたデータ出力端子とを有し、前記制御入力端子の信号に応答して設定された固定ビット・レートの符号化信号を発生する複数のチャンネル・プロセッサであって、前記複数のチャンネル・プロセッサそれぞれが、前記チャンネル・プロセッサの前記データ入力端子と前記データ出力端子との間に接続されるデータ通路と、前記チャンネル・プロセッサの前記制御入力端子に接続された割り当て入力端子とを有し、前記符号化信号を発生する固定ビット・レート符号化器と、前記データ信号供給源に接続され、前記データ信号を示すサブサンプリング信号を発生するサブサンプラ・システムと、前記サブサンプリング信号に応答し、前記サブサンプリング信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタとを備え、および、各対がチャンネル・プロセッサのうちのそれぞれ一つに関連付けられ、関連する入力および出力端子の複数対と、関連するチャンネル・プロセッサの複雑性出力端子に接続された各対の入力端子と、前記関連するチャンネル・プロセッサの前記制御入力端子に接続された各対の出力端子とを有し、前記関連するチャンネル・プロセッサの前記データ出力端子の信号のビット・レートが、前記関連する入力端子の信号によって示される複雑性と、前記複数対の全ての入力端子の信号によって示される組み合わせられた複雑性に関係するようなビット・レート割り当て信号を発生するビット・レート割り当て器を備えることを特徴とする多重化システム。１２．前記チャンネル・プロセッサは、前記チャンネル・プロセッサの前記データ入力端子と前記固定ビット・レート符号化器のデータ通路との間に接続された遅延要素をさらに備え、前記ビット・レート割り当て器からのビット・レート割り当て信号が、前記チャンネル・プロセッサの前記制御入力端子において、それに応答して前記ビット・レート割り当て信号が発生される前記データ信号と同時に受け取られるような期間、前記データ入力端子の前記データ信号を遅延することを特徴とする請求項１１に記載の多重化システム。１３．ＭＰＥＧの画像グループ（ＧＯＰ）を示すデータ信号供給源と、前記データ信号供給源に接続され、前記画像データ信号を示すサブサンプリング信号を発生するサブサンプラ・システムと、前記サブサンプリング信号に応答し、前記サブサンプル画像信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号のビットの数を積算し、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタとを備え、前記画像グループの複雑性を示すことを特徴とする複雑性判定装置。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＧＢ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＬＶ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＳ，ＵＺ，ＶＮ (72)発明者ベイアーズ，ビリー，ウェスレーアメリカ合衆国 46140 インデイアナ州グリーンフィールドウッドクレストドライブ 6920 【要約の続き】

Claims

【特許請求の範囲】１．データ信号の供給源と、前記データ信号の供給源に接続され、前記データ信号を示すサブサンプリング信号を発生するサブサンプリング・システムと、前記サブサンプリング信号に応答し、前記サブサンプルリング信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタとを備えることを特徴とする複雑性判定装置。２．前記サブサンプリング・システムは、前記データ信号供給源に接続された折り返し雑音除去フィルタと、前記折り返し雑音除去フィルタに接続されたサブサンプラとを備えることを特徴とする請求項１に記載の複雑性判定装置。３．前記データ信号供給源はビデオ信号を発生し、前記サブサンプラは、前記ビデオ信号に対応し、空間的にサブサンプリングされた前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。４．前記サブサンプラは、前記ビデオ信号に対応し、一時的にサブサンプリングされる前記サブサンプリング信号を発生することを特徴とする請求項３に記載の複雑性判定装置。５．前記データ信号供給源はビデオ信号を発生し、前記サブサンプラは、前記ビデオ信号に対応し、一時的にサブサンプリングされる前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。６．前記データ信号供給源は、各フレームが４８０のラインを含む画像を示し、各ラインが７２０の画素を含む連続したフレームで構成されたＣＣＩＲ６０１の解像度を有する前記ビデオ信号を発生し、および、前記サブサンプリング・システムは、各フレームが２４０のラインを含み、各ラインが３５２の画素を含む連続したフレームで構成される小画像フォーマット（ＳＩＦ）の解像度を有する前記サブサンプリング信号を発生することを特徴とする請求項１に記載の複雑性判定装置。７．前記複雑性を示す信号は、前記ビットの数のスケーリングを示すことを特徴とする請求項１に記載の複雑性判定装置。８．前記ビットの数は、８ビット信号にスケーリングされることを特徴とする請求項７に記載の複雑性判定装置。９．データ信号の供給源と、前記データ信号の供給源に接続され、前記データ信号を示すサブサンプリング信号を発生するサブサンプリング・システムと、前記サブサンプリング信号に応答し、前記サブサンプリング信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタと、前記データ信号供給源に接続され、制御信号に応答し、前記制御信号に応じて変化された量子化ステップ・サイズを有する前記データ信号を示す量子化信号を発生する可変量子化器と、前記量子化信号に応答し、前記符号化信号を発生する符号化器と、前記画像の複雑性を示す信号に応答し、前記可変量子化器の量子化ステップ・サイズを可変して前記所定の固定ビット・レートにおいて前記符号化信号のビット・レート保持するよう制御信号を発生するビット・レート調整器とを備え、所定の固定ビット・レートで、画像データ信号を示す符号化信号を発生することを特徴とする固定ビット・レート（ＣＢＲ）符号化器。１０．前記データ信号供給源と前記可変量子化器の間に接続され、当該制御信号が前記制御信号に応じたデータ信号と同時に可変量子化器において受け取られるような期間、前記データ信号を遅延させる遅延要素をさらに備えることを特徴とする請求項９に記載のＣＢＲ符号化器。１１．複数のデータ信号供給源と、複数の入力端子、および出力端子を有するマルチプレクサと、それぞれ前記データ信号供給源の各一つに接続されたデータ入力端子と、前記入力端子のデータ信号の複雑性を示す信号を発生する複雑性出力端子と、制御入力端子と、前記マルチプレクサの入力端子の各一つに接続されたデータ出力端子とを有し、前記制御入力端子の信号に応答して設定された固定ビット・レートの符号化信号を発生する複数のチャンネル・プロセッサであって、前記複数のチャンネル・プロセッサそれぞれが、前記チャンネル・プロセッサの前記データ入力端子と前記データ出力端子との間に接続されるデータ通路と、前記チャンネル・プロセッサの前記制御入力端子に接続された割り当て入力端子とを有し、前記符号化信号を発生する固定ビット・レート符号化器と、前記データ信号供給源に接続され、前記データ信号を示すサブサンプリング信号を発生するサブサンプラ・システムと、前記サブサンプリング信号に応答し、前記サブサンプリング信号を示す符号化信号を発生する可変ビット・レート（ＶＢＲ）符号化器と、前記符号化信号中のビットの数を積算して、積算されたビットの数に対応する複雑性を示す信号を発生するカウンタとを備え、および、各対がチャンネル・プロセッサのうちのそれぞれ一つに関連付けられ、関連する入力および出力端子の複数対と、関連するチャンネル・プロセッサの複雑性出力端子に接続された各対の入力端子と、前記関連するチャンネル・プロセッサの前記制御入力端子に接続された各対の出力端子とを有し、前記関連するチャンネル・プロセッサの前記データ出力端子の信号のビット・レートが、前記関連する入力端子の信号によって示される複雑性と、前記複数対の全ての入力端子の信号によって示される組み合わせられた複雑性に関係するようなビット・レート割り当て信号を発生するビット・レート割り当て器を備えることを特徴とする多重化システム。１２．前記チャンネル・プロセッサは、前記チャンネル・プロセッサの前記データ入力端子と前記固定ビット・レート符号化器のデータ通路との間に接続された遅延要素をさらに備え、前記ビット・レート割り当て器からのビット・レート割り当て信号が、前記チャンネル・プロセッサの前記制御入力端子において、それに応答して前記ビット・レート割り当て信号が発生される前記データ信号と同時に受け取られるような期間、前記データ入力端子の前記データ信号を遅延することを特徴とする請求項１１に記載の多重化システム。