JPH08509845A - ベクトル適応変換を用いたデジタルビデオの圧縮システム - Google Patents

Abstract

(57)【要約】 ビデオ圧縮システムは前処理部とエンコーダおよび後処理部を含んでいる。前処理部は中央値マルチフィルタであって、それは中央値フィルタリングと間引きのプロセスを利用している。前処理部はまた適用時間フィルタと内容適用雑音減少フィルタを映像に適当な円滑性と鋭さをエンコーダの特性に合うように提供するために用いる。前記エンコーダは２経路のルックアヘッド割当てレートバッファ制御システムを用い、ここにおいて割当てられるビット数と引き続き発生させられる各々のブロックについては異なる。第１の経路において各々のブロックの平均二乗誤差がフレーム中の各々のブロックに割当てられるビット数の決定のために推定される。第２の経路において、圧縮の経路が先行する全てのブロックによって発生させられたビット数の全数およびそのような先行するブロックに割当てられたビットの総数の関数として制御される。前記ＤＣＴ係数は前記係数を３つの異なった走査経路にしたがって走査することによってベクトルコード化され、そして最もコンパクトな経路を提供するものが選ばれる。各々の走査ベクトルは８つのゾーンに分けられ、そして可変長コーディングによってコードされる。そして全てのベクトルモジュールは、低いレートのコーディングの特徴を利用するために利用される。背景情報は前のフレームの情報に加えてより良いコード利得を得るために利用される。前記後処理部はブロックの境界からブロックのための人工的なものを取り除くためにフィルタする。像の特性にしたがって（平均的な量子化適用）像の品質を向上するために異なった種類のフィルタリングが行われる。

Description

【発明の詳細な説明】 発明の名称 ベクトル適応変換を用いたデジタルビデオの圧縮システム 発明の背景 本発明は一般的にはビデオ情報のエンコードおよびデコードに関連し、さらに 詳しくいえばベクトル適応変換技術を用いたビデオ圧縮システムに関連し、それ はビデオ信号の全多重伝送を通常のアナログ電話線（ＰＯＴＳ）において可能に するものである。 現在、一般的に用いられているモデムは１４．４Ｋｂｐｓ（キロバイト／秒） 最大のデータを通常の電話線（ＰＯＴＳ）上で伝送可能である。現存するビデオ 圧縮システムであって、ビデオ信号をデジタルチャンネル（例えばＴ１またはＩ ＳＤＮ）のためにエンコードするシステムは広い帯域幅（例えば５６Ｋｂｐｓま たはそれ以上）を必要とする。したがって、現在用いられている圧縮システムを ＰＯＴＳ線の映像伝送のためのエンコードに用いることはできない。この理由に より現存する映像ビデオ圧縮システムのためには専用のまたは特殊なチャンネル を使用する必要がある。 特殊または専用チャンネルの使用は大変高価なものとなる。そこで、映像情報を 全２重全動作色ビデオ情報を通常の電話線で伝送することができるエンコーディ ングおよび映像伝送のための改良された圧縮システムを提供することが要望され ている。 リレイテッドアプリケーションにおいて、オーディオとビデオとデータの協議 のシステムと方法が提供され、それはオーディオとビデオとコンピュータデータ をＰＯＴＳ線を介しての伝送を可能にするものである。そのようなシステムにお いて、各々のデータのタイプに対する帯域幅の割り当ては流動的であり、現存す るデータ，予め割り当てられた優先順位、および予め与えられたバンド幅に対す る要請に適応依存させられている。リレイテッドアプリケーションの中の好まし い実施形態においてはオーディオ，コンピュータおよびビデオデータの協議はお 互いに接続されたコンピュータシステム間においてコンピュータと映像信号にし たがうオーディオに対して最も高い優先順位を与えることに傾いている。現存す るオーディオ，コンピュータおよびビデオデータの協議は通常のＰＯＴＳリンク を介して通信可能である。本発明のビデオ圧縮システムおよび方法はこのリレイ テッドアプリケーションの概念下においてビデオデータを通常のＰＯＴＳ線で伝 送させるのに利用されるであろう。 現存するビデオコンプレッションシステムの多くのものはビデオ情報に対して 固定帯域幅が割り当てられている。そのような現存するシステムにおける重要な 問題はビデオ情報がそのような固定帯域幅において伝送することができるかとい うことである。空間領域から変換領域への変換がまず最初に実行され、そして変 換ビデオ情報がそのようなビデオ圧縮システムの中のレートバッファに蓄積され る。適当なビデオ圧縮が適用されることを確保するためにそのようなシステムは レートバッファの容量制御フィードバックが圧縮を制御し、その結果としてデー タがレートバッファから非同期のレートで送り出される。 リレイテッドアプリケーションの好適な実施形態においてはしかしながら、ビ デオ情報には最も低い優先順位が与えられビデオ情報に割り当てる帯域幅は利用 可能な全ての帯域幅から全く割り当てない領域の範囲において変化させられる。 したがって前述した通常のビデオ圧縮システムはこのリレイテッドアプリケーシ ョンの中の記述されたシステムの文脈においては利用できないものである。した がって改良されたビデオ圧縮システムであって、それは種々の帯域幅をビデオに 割り当てることができるものを提供することが望まれる。 発明の要約 前述したようにリレイテッドアプリケーションの好ましい実施形態においては オーディオ情報が最も高い優先度をもち、コンピュータデータは第２の優先順位 、そしてビデオ情報は最も低い優先順位をもつ。したがってビデオ情報の伝送は 必要に応じて完全に停止させられることができる。そのようなシステムデザイン においては映像のビデオ圧縮は前述した通常のビデオ圧縮規格とは異なっている 。本発明によるビデオ圧縮システムはルックアヘッドビット割り当てレートバッ ファ制御を用い、そこにおいてデータはレートバッファから非同期のレートで伝 送され、その結果割り当てられたビットの数と引き続き発生させられたブロック をコーディングするためのものは通常他のブロックをコーディングするものと異 なっているか異なるであろう。 本発明のビデオ圧縮システムは３つの部分を含む。第１の前処理部は中央値間 引きフィルタであって、それは中央値フィルタリングと間引きプロセスを結合し ている。適用テンポラルフィルタと内容適用雑音減少フィルタは適当な円滑性と 鋭さをもち、コーダ／デコーダ（“コーデック”）特性に対応するものを像を提 供するために用いられる。 第２の部分は２つの経路のルックアヘッドビット割 り当てレートバッファコントロール計画を用いる。フレーム毎に利用できるバン ド幅は異なるのであるからこの出願のビデオ圧縮システムはまず第１に特定のフ レームに対して利用できるビットの数をチェックしそれから第１の経路中のフレ ームの中における各々のブロック中のビデオ情報をエンコードするためのビット の数を割り当てる。第２の経路において各々のブロックからブロック用に発生さ せられた現実のビット数がすでにエンコードされたものとは異なる１またはそれ 以上のブロックのエンコードに対して割り当てられたビットの数に依存させられ 、ルックアヘッド計画中の他のブロックの引き続くエンコーディングに対して割 り当てられたビットの数というようになる。好ましい実施形態においては各々の ブロック用に発生させられたビットの数は同じフレームの先行するブロックの全 てに割り当てたビットの数とそのような全てのブロック用に現実に発生させたビ ットの数間の差に依存せしめられる。このシステムにおいては利用できるバンド 幅を最高に利用することにより、満足すべきビデオ映像がエンコードされ、そし てビデオ映像がＰＯＴＳ線の限られたバンド幅であるにもかかわらず伝送できる ようにする。 好適な実施形態においては、その離散コサイン変換（“ＤＣＴ”）係数の量子 化の特性を十分に利用する ことによって低ビットレートコーディングを十分に利用している。そのような具 体例において、最初に量子化されたＤＣＴ係数は３つの異なったモジュールを用 いることによって走査され、そして１つは最もコンパクトな経路が選ばれる。そ れから各々の走査ベクトルは８つのゾーンに分割され、そして可変コーディング が従来の直線的なランレングスコーディングより優れた方法を提供する。最後に そのような具体例において全ての１つのベクトルモジュールは低レートのコーデ ィングを十分に利用する。第２の部分においては背景と前景の推測が用いられ、 それによって低ビット率環境のより良き予測がなされる。Ｈ．２６１標準によっ て提供される動作推測予想に加えて予想のための付加的な情報がより良いコード 利得を得るために提供される。 第３の部分は後処理フィルタであってそれは人為的なものを少なくし、そして イメージを増強する。好適な実施形態においてはそれは最初に単にブロック境界 にフィルタリングを適用することによってブロッキングの人為的な産物を除去す る。それから像特性（平均的な量子化指数）に対する主題、異なった種類のフィ ルタリングが像の改善のために適用される。 本発明の１つの特徴はデジタル化されたビデオ情報のフレームの時間順序をエ ンコードするための方法に 向けられたものであって、そこにおいてフレームはブロックに分割され、そして ビデオ情報をエンコードするために利用できるビットの数が時間に関連して変わ り、その結果、フレームをエンコードするために利用できるであろうビットの数 は時系列的に引き続くフレームをエンコードするために利用可能であるビットの 数と異なるであろう。変換係数のブロックの対応するブロックを得るための各々 のフレームのブロックに関連するビデオ情報の変換領域を形成する１つの空間領 域の形成を含む。この方法はまたそのフレームをエンコードするために必要なビ ット数の確定，前記フレーム中の全てのブロックのための変換係数の各々のブロ ックをエンコードするためのビット数の割当て，各々のブロックのための可変長 コーディングビットを発生するための各々のブロックの量子化およびコーディン グを含む。各々のブロックのために発生させられたビットの数は、ある異なった ブロックのエンコードのために割当てられたビットの数の関数である。好適な方 法においては変換係数のブロックの量子化およびコーディングに先立って、時系 列中のそのようなブロックに先立つところの全てのブロックの変換係数の全ての ブロックを量子化し、コーディングする際に発生させられるビットの数がまず決 定される。変換係数のそのようなブロックの量子化のステップはそれからすでに 量子化され、コード化されたそのような量子化ステップのフレームの全てのブロ ックに割当てられた全ビット数に関連する情報を利用し、そしてその変換係数の そのようなブロックの量子化のステップはそれからそのような量子化のステップ に至る前にすでに量子化され，コード化されたフレームの全てのブロックに割当 てられたビットの総計に関連する情報および変換係数の先行するブロックの全て の量子化とコーディング中に発生させられたビットの数を用いる。これらの２つ の量はそのようなブロックのための可変長コードビットの数を発生するためのそ のような量子化ステップにおいて利用される。 コーディングの効率とビデオ伝送の品質の改善をさらに向上させるためにいく つかの多くのコーディング技術が用いられる。本発明のさらに他の特徴はデジタ ル化されたビデオ情報のフレームのエンコーディングのための方法に向けられた ものであって、その方法においては複数のフレームは複数のブロックに分割され る。その方法は１つのフレームの各々のブロックに関連して変換係数の対応する ブロックを得ることに関連してビデオ情報の空間領域から変換された領域への変 換を実行することおよび各々のブロックに可変長のコーディングビットを生成す るために変換係数の各々のブロックを量子化し、コーディングすることを含んで いる。コーディングステップは少なくとも２つの異なった経路に沿って各々のブ ロックの係数の少なくともいくつかについて第１の走査をすることおよび少なく とも２つの数を得るために各々の経路に沿って０でない係数の数をカウントする ことを含んでいる。その係数はそれから最も大きな数を得るために比較され、そ して各々のブロックの係数はそれから各々のブロックがコードされる前に最も大 きな数の中の結果として現れる経路について走査される。好適な実施形態におい ては、３つの走査経路が使用される：すなわち、水平，ジグザグおよび垂直走査 経路である。 さらに他の本発明のコーディングに関する特徴はデジタル化されたビデオ情報 のフレームをエンコードする方法に向けられたものであって、その方法において は前記複数のフレームは複数のブロックに分割される。前記方法はフレームの各 々のブロックが対応する変換係数の対応するブロックを得るために各々のブロッ クに関連してビデオ情報の空間領域から変換領域への変換を実行することおよび 各ブロック用に可変長のコーディングビットを生成するために変換係数の各々の ブロックを量子化し、コード化することを含む。 各々のブロックはそれから２またはそれ以上の異なった領域のセットに分割され る。走査ベクトルが少なくとも１つのゾーンの中で係数から形成され、可変長コ ーディングがそれから前記少なくとも１つのゾーンの係数に関して実行される。 ビデオ映像の円滑性と鋭さを改良するために前処理が実行される。かくして本 発明のさらに他の特徴はフレームを形成するピクセル値の２次元のアレイ中のビ デオ情報の間引きとフィルタリング方法に向けられたものであり、前記アレイは 水平方向の行および垂直方向の列に配列されている。前記方法は３つの積を得る ために予め定められた係数で前記アレイ中の各々の行または列中の３つの隣接す るピクセルの値のグループの中において各々のピクセル値を掛け算することを含 む。前記３つの掛け算値は新しいピクセル値であって、３つの隣接するピクセル 値のグループを置き換えるためのものを得るために加算され、これによってフィ ルタリングおよび水平または垂直方向にフレームを３分の１に間引きする。好適 な実施形態においては、３つのピクセル値のうちの中央値が他の２つのピクセル 値を掛け算するものよりは約２倍の係数によって掛け算される。 後処理がさらにビデオの品質を改良するために実行される。本発明のさらに他 の特徴はビデオ情報のフレームをフィルタリングするための方法に向けられてお り、その方法においては、前記フレームはピクセル値の２次元アレイを含む。前 記アレイはピクセル値のブ ロックにグループされ、各々のブロックは境界とその境界における境界ピクセル 値を持っており、前記境界ピクセル値は前記アレイ中の隣接するブロックの境界 ピクセル値に隣接している。前記方法は少なくとも１つの境界ピクセル値と少な くとも２つのピクセル値を検出する検出工程を含み、２つのピクセル値はそのよ うなピクセル値に隣接しており、そしてそれらは同じブロック中の境界ピクセル 値ではなく、前記各々の境界ピクセル値と前記少なくとも２つのピクセル値はグ ループを形成する。そのような境界ピクセル値および少なくとも２つのピクセル 値であって、それらはそのようなピクセル値に隣接しており、そしてそれらはそ のような境界ピクセル値の同じブロックの境界ピクセル値ではないが、予め定め たファクタによって積を得るために掛け算される。前記掛け算値はそれから新し いピクセル値であって、そのような境界ピクセル値に対応する新しいピクセル値 を得るために加算され、そして前記少なくとも１つの境界ピクセル値はその対応 する新しいピクセル値によって置き換えられる。 後処理に関連する本発明のさらに他の特徴は映像信号のピクセル値のフレーム をエンコードするための方法に向けられたものであり、そこにおいて、前記複数 のフレームはブロックに分けられる。前記方法は変換係数の対応ブロックを得る ためにフレームの各ブロッ クに関連して映像情報の空間領域から変換領域への変換が行われる。変換された 係数の各々のブロックは、それから各々のブロックのための可変長コーディング ビットを発生するために量子化され、コード化される。前記量子化のステップは 前記量子化のステップから得られたビットを表示する数字のセットの中の１つの 指数を参照して実行される。前記指数は前記量子化ステップから発生するビット の数に関連して直接変わる値を持っている。前記方法は指数の平均値を計算し、 これに関連してフレームのブロックの量子化およびコーディングステップにおい て量子化され、前記平均値と予め定められた範囲内の値とを比較することおよび 前記平均値が予め定められた範囲内にあるときに各々ピクセル値を選ばれたマト リックス要素と掛け算することをさらに含む。 図面の簡単な説明 図１はビデオエンコーディングおよびデコーディングシステムの全体の構成を 示すブロック図である。 図２は図１の中の前処理部分のブロック図である。 図３は図２中の前処理部分中の中央値間引きフィルタのブロック図である。 図４は図２の前処理部分値における水平間引きフィルタの略図的回路図である 。 図５は図２の前処理部分中における適用テンポラルフィルタのブロック図であ る。 図６は図２の前処理部分における内容適用雑音減少フィルタのブロック図であ る。 図７は本発明を説明するためのエンコーダのブロック図である。 図８は図７のエンコーダ中の内部空間およびテンポラルフィルタのブロック図 である。 図９は図７のエンコーダの機能のベクトル適用変換量子化（ＶＡＴＱ）機能を 説明するためのブロック図である。 図１０Ａは図９の周波数重みづけ量子化回路のブロック図である。 図１０Ｂは図１０Ａの量子化回路中に用いられるマトリックス指数変換機能を 説明するための説明図である。 図１１Ａは図９のシステム中における走査経路係数を決定するためのシステム のブロック図である。 図１１Ｂ，１１Ｃ，１１Ｄは３つの異なった走査経路を説明するためのＤＣＴ 係数の８×８ブロックの略図である。 図１２は図１１Ａのシステムを実行するための回路の機能ブロック図である。 図１３は図９のベクトルマッピング機能を実現する ための回路の機能ブロック図である。 図１４は図７の逆ベクトルマッピング機能を実現するためのシステムの機能ブ ロック図である。 図１５は背景／前景または図７の動作予測機能を実施するための回路ブロック 図である。 図１６は図１に示した本発明の実施例を説明するためのデコーダの機能ブロッ ク図である。 図１７は本発明を説明するための後処理システムの機能ブロック図である。 図１８は図１７の水平ブロック境界フィルタの動作を説明するためのビデオフ レーム部分の略図である。 図１９は図１７の垂直ブロック境界フィルタの動作を説明するためのビデオフ レームの部分の略図である。 図２０は図１７の適用エッジ増強機能を説明するためのシステムのブロック図 である。 図２１は図２０の適用エッジ増強機能に使用されるであろう適用エッジ増強マ トリックスを示している。 好適な実施形態の詳細な説明 図１は、圧縮されたビデオ情報を例えばＰＯＴＳ線路のような通信リンク上に 伝送し、およびそれから前記圧縮された情報をデコーダ中において伸長するビデ オシステム全体を図示したブロック図である。典型的にはビデオカメラ（図示せ ず）のような信号源から発 生させられたビデオ情報は前処理モジュール１０２によって前処理され、それは フィルタを通し、平滑化し、エンコーダに適合するような適当な大きさと特性の 像を準備し、映像シーケンスを整える。前記前処理ビデオシーケンスはエンコー ド参照メモリ１０４に収容されている。 前処理されたビデオシーケンスはエンコーダ１０６により処理されるのである が、エンコーダ１０６は多くの冗長性を除き、そして例えばＰＯＴＳ線１０８か らデコーダ１１０に伝送リンクを介してモデムを通して伝送するためにビデオ信 号を圧縮する。デコーダはエンコーダとは逆の働きをして圧縮されたビットの流 れを再構成し、そして圧縮されたビットストリームからデコードされたイメージ を蓄積し、そしてデコード参照メモリ１１２の中に蓄積する。デコードされたイ メージはこれから後処理モジュール１１４によって処理されるのであるが、その モジュールは圧縮による人工的な変化を除去し、像の品質を向上させる。像はそ れからディスプレイ装置によってディスプレイできるように準備される。エンコ ードまたはデコード参照メモリ１０４，１１２の各々は前のビデオフレームをエ ンコーディングとデコーディングのために蓄積している。 図２は図１の前処理機能を実施するためのシステム の機能ブロック図である。図２に示されているようにビデオフレームは最初にフ ィルタされて水平中央値間引きフィルタ１２２によってフィルタされて間引きさ れ、さらに水平間引きフィルタ１２４によって間引きされる。そして適用テンポ ラルフィルタ１２６および内容適用雑音減少フィルタ１３０によってフィルタさ れる。適用テンポラルフィルタおよび内容適用雑音減少フィルタの両者は前のフ レームからの情報であって、フレームストア１２８中に蓄積されているものを必 要とする。 図３は図２の中央値間引きフィルタの一実施例を示すブロック図である。以下 の説明において、ビデオフレーム入力は６４０列で２４０行のピクセルを持つも のと仮定するが、本発明はもちろんそのようなフレームの大きさに制限されるも のではない。前記水平中央値間引きフィルタはビデオフレームを垂直方向に３分 の１に減少させ、フレームサイズはほぼ２１３列で２４０行となる。フィルタ１ ２２はビデオフレーム水平方向を１つの１−２−１フィルタを用いて間引きする 。動作においてもしビデオフレームがラスター形式であったならば、同じ行中の ３つのピクセル値は３つの遅延要素１５２，１５４，１５６によって３クロック サイクルだけ遅延させられる。３つの遅延要素の出力はロジック回路１６０に遅 延要素１５２，１５４，１５ ６の出力の３つのピクセル値の中間値（１つのピクセル値よりも大きいが他のピ クセル値よりも小さい）を見つけ出すために印加される。論理回路１６０は当業 者においては良く知られている比較器を用いて構成される。 図３に示されているように、ブロック１６０からの中央値出力は掛け算器１６ ２によって２が掛けられ、加算器１６４によって遅延要素１５２，１５６の出力 によって加算され、そしてその加算値は２つの場所にシフトされ、右へ移動され てその掛け算値は４によってシフター１６６によって割り算されて、出力１６８ が提供される。数学的には１６８におけるピクセルＯ（ｉ）の出力は以下の式（ １）によって計算される： ここにおいてｉはピクセル指数であり、Ｉ（ｉ−１），Ｉ（ｉ），Ｉ（ｉ＋１） はそれぞれ３つの入力ピクセルであって、そして中央値関数（Ｘ，Ｙ，Ｚ）は中 央値Ｘ，Ｙ，Ｚを返還する。 出力１６８はあるクロックレートによってクロックされて、そのクロックレー トはラスタークロックの３分の１であり、ビデオフレーム入力フィルタ１２２の ためにクロックされている。図４は通常の水平間引き フィルタ１２４で図２の前処理回路によって使用されるものを図示している。フ ィルタ１２２の中の水平間引きの代わりに同様な垂直間引きを製造することが可 能である。もしビデオがラスター形式で処理されているならば、２つのラインの バッファは２つの前のピクセル値の行を垂直間引きを実行するために必要になる であろう。 図５は図２の適用テンポラルフィルタ１２６を示す回路のブロック図である。 フィルタ１２６はテンポラルディメンション内で無限のインパルス応答フィルタ リングを適用することによってフレーム間の早い変化を平滑化する。このフィル タの係数は固定されており、そしてそれは実験結果から得られたものである。Ｔ ｆ要素，Ｔｆスレッシュホールド−ＬｏおよびＴｆスレッシュホールド−Ｈｉの 定数は実験によって導かれるものであり、好適な実施形態においては以下の値を とる：すなわち、それぞれ０．８，３および８である。 好適な実施形態において、ここで説明される前処理部はパイプライン設計形式 において実現され、ここにおいて映像情報はフレームを基準にして処理される。 各々のフレームにおけるピクセルは順次ピクセルインデックスｉによってラベル される。かくして、ｉ番目のピクセルであって、新しくまたは現行フレームはＮ Ｆ（ｉ）で前のフレームのｉ番目のピクセルはＯＦＳ（ｉ）で各々は新または古 いフレームにおける同一のピクセル位置であることに言及している。フィルタ１ ２６はｉ番目のピクセルとの時間的な差を導き出し、すなわち、ＴＤ（ｉ）はＮ Ｆ（ｉ）−ＯＦＳ（ｉ）によって与えられる。そのような時間的な差をフィルタ するためにそれはローパスフィルタされた信号ＬＰＦ（ｉ）であって、ＴＤ（ｉ ）＊ＴＦ−Ｆａｃｔｏｒにより与えられ、ここにおいてＴＦ−Ｆａｃｔｏｒは乗 算器である。 かくして図５を参照すると、加算器１８０は時間的な差を導き出し、そして、 それを掛け算した１８２に適用する。この時間的な差はローパスフィルタ信号Ｌ ＰＦ（ｉ）を得るために乗算器１８４によってＴｆ−Ｆａｃｔｏｒが乗算される 。この時間差とローパスフィルタされた信号ＬＰＦ（ｉ）は加算器１８６によっ て加算され、そしてシフター１８８によって２で割られる。そしてその出力は同 様にマルチプレクサ１８２に印加される。マルチプレクサ１８２への３つの入力 信号のうちの１つがデータとして決定ブロック１９０からの命令にしたがって出 力デルタとして得られ、そしてその決定ブロック１９０はＡＳＩＣまたは他のプ ログラム可能なロジック回路，例えばプログラマブルアレイロジック（ＰＡＬ） によって実現される。 絶対値回路１９２は時間差の絶対値，すなわちＡＢＳＴＤ（ｉ）を導き出し、こ こにおいてその絶対値はフィルタ１２６の出力として図６のフィルタ１３０の決 定ブロック２１０に印加される。前記決定ブロック１９０は下記の式（２）にし たがうことによる比較器１９４，１９６の助けを受けてマルチプレクサ１８２に 送られるべきコマンド信号を導き出す。 上記の２式において、２つの閾値Ｔｆ−スレッシュ−ＬｏおよびＴｆ−スレッシ ュ−Ｈｉは定数であって、図５に示されている比較器１９４，１９６のインプッ トの１つに印加される。 フィルタ１２６の出力はデルタを古いフレームピクセルＯＦＳ（ｉ）に加算器 １９８を使って加算することによって得られる。この出力はそれからフレームス トーン１２８に前処理システムにおいて次のステージのために新しいフレームと してＮＦ（ｉ）を置き換える。全体の新しいまたは現在のフレームは図２の前処 理によって処理された後に、新フレームはそれから古いフレームとして次のフレ ームの処理の間に置き換え られる。 内容適応雑音除去フィルタ１３０はフィルタ１２６からの新しいフレーム出力 を各々のピクセルとそのローパスフィルタの結果を調べることによって像中の高 い周波数空間雑音を円滑化する。それはまた、非線形変換関数を用いることによ り最後のフレームの同じピクセルから異なるピクセルに空間フィルタを適用する ことによってフレーム間の急激な変移を平滑化する。時間的な差ＡＢＳＴＤ（ｉ ）の絶対値はテンポラルフィルタ１２６によってフィルタ１３０に印加される。 １つの空間フィルタ２００が用いられている。フレームはラスターフォーマッ トの形式で処理されているから、ピクセルの行の中でピクセルｉに直接にしたが うものはピクセルｉが前に走査されたときであって、インデックス（ｉ−幅）を もっており、ここにおいて幅とはフレームの行のピクセルの数である。同様にし て次の行における直近のピクセルは行がｉピクセルであるから、（ｉ＋幅）とイ ンデックスされる。 その結果、空間フィルタ２００がピクセルｉに適用されるときは、ローパスフィ ルタ信号ＳＬＰＦ（ｉ）は下記のようにして算出される。 空間差ＡＢＳＳＤ（ｉ）＝ＡＢＳ（ＮＦ（ｉ）−ＳＬＰＦ（ｉ））。内容適用雑 音除去フィルタの出力（ｉ）は下記の決定論理に基いている： Ｈｉ−Ｔ−スレッシュホールド，Ｈｉ−Ｓ−スレッシュホールド，Ｌｏ−Ｔ−ス レッシュホールド，およびＬｏ−Ｓ−スレッシュホールドは定数であって、実験 によって導き出されるものであり、それぞれ好適な実施形態においては次の値： １０，３０，３，１５を持っている。 上記の４式において空間フィルタ２００は当業者が良く知っているように上記 ３式にしたがう入力の３ラインまたは３行からローパスフィルタ信号ＳＬＰＦ（ ｉ）を導き出すためにさらに２行のピクセル値を記憶するための少なくとも２本 のラインバッファを利用することによって実現できる。加算器２０２と絶対値回 路２０４は空間差ＡＢＳＳＤ（ｉ）を導き出すために共同して働く。加算器２０ ６と１ビットのシフター２０８は入力の平均とローパスフィルタされた結果を上 記式４に示すように導き出すために共に働く。決定ブロック２１０は上記の４式 を実現するためにマルチプ レクサ２１２に適用されるコマンド信号を導き出すために用いられ、マルチプレ クサはその出力となるべき３つの入力のうちから１つを選択する。決定ブロック ２１０はＡＳＩＣによって、例えばプログラマブルゲートアレイ（ＦＰＧＡ）ま たは他のＰＡＬのようなプログラマブル論理回路で実現される。 フィルタ１３０の出力はさらにウィンド背景雑音減少フィルタ１３２によって 処理される。このフィルタは最初に像を２つの領域に切り離す。ユーザ規定の領 域はいかなる形状またはサイズでもあり得、それは全体の像であっても良いし、 像でなくても良い。像中のユーザ規定の領域外側のピクセルのために各々のピク セルはもしそのピクセルの高周波エネルギＹが高い場合には空間フィルタによっ てローパスフィルタされる。 決定の規則は次のとおりである： 与えられたフィルタされたＮＦ（ｉ）からの各々のピクセルと古いフレームに 蓄積されたＯＦＳ（ｉ）についてウィンド背景雑音除去フィルタが最初に空間低 域フィルタ信号ＳＬＰＦ（ｉ）を以下のようにして計算し導き出す： 空間差ＡＢＳＳＤ（ｉ）＝ＡＢＳ（ＮＦ（ｉ）−ＳＰ ＬＦ（ｉ））とする。フィルタを通過してＮＦ（ｉ）からと古いフレームに蓄積 されたＯＦＳ（ｉ）からの与えられた各々のピクセルではウィンド背景雑音除去 フィルタ，Ｏｕｔｐｕｔ（ｉ）が下記の決定論理に基いている： もしピクセルが背景領域であるならば、 Ｈｉ−Ｂ−スレッシュホールド，Ｌｏ−Ｂ−スレッシュホールドおよびＬｏ−Ｓ −スレッシュホールドは実験において導き出された値であって、この実施例にお いては以下の：２０，１０および１５の値を持つ。 式５は前記式３と同じであることは注目に値し、それは式５のフィルタされた フレームＮＦ（ｉ）がフィルタ１３０のフィルタされた出力と同じことである。 フィルタ１３２の出力は垂直方向に垂直間引きフィルタ１３４が標準的な１− ２−１フィルタを用いることによって像を２４０行またはラインのピクセルを８ ０ラインに減少させる。エンコーダ 図７を参照してベクトル適応変換処理エンコーダ３ ００の説明を行う。このエンコーダは前処理および後処理部分とは次の点におい て相違し、すなわち、フレーム基準の処理をする代わりにエンコーダのパイプラ イン設計がブロック基準フィルタリングを許容し、そしてそれはデコーダについ ても同様である。 かくして、エンコーダとデコーダとの記述においてピクセルのインデックスｉは フレームの代わりにブロック中のピクセルについて言及することにする。 図７に示されているように新しいブロックからの各々のピクセルのために加算器 ３０２が時間的な差ＴＤ（ｉ）を得るために背景／前景および動作予測回路３０ ４からの予想ブロックからの対応するピクセルからそれを減算する。ここにおい て、差のブロックは空間または時間のための内蔵フィルタ３０６によってフィル タされる。フィルタ３０６は図２の前処理部の内容適用雑音除去フィルタ１３０ に設計上非常に似ている。かくして図８の回路はフィルタ１３０において記述さ れたと説明したものと実質的に同様な状況において下記の式で実現される。 ローパスフィルタ信号は以下によって規定される： ＡＢＳＳＤ（ｉ）′＝ＡＢＳ（ＴＤ（ｉ）′−ＳＬＰＦ（ｉ）′）にする。Ｅ（ ｉ）として規定される出力は下記の決定論理に基礎をおいている： Ｅ（ｉ）＝Ｔｆ＿ｃｏｅｆｆ＊Ｄｅｌｔａ′ ここにおいて Ｈｉ−Ｔ−スレッシュホールド，Ｈｉ−Ｓ−スレッシュホールド，Ｌｏ−Ｔ−ス レッシュホールド，Ｌｏ−Ｓ−スレッシュホールドおよびＴｆ＿ｃｏｅｆｆは定 数であって、実験１から導き出されるものであって、下記の値：１５，５０，３ ，２０，および０．８５を持つ。 前記フィルタされたブロックＥは空間領域から変換された領域に通常の離散コ サイン変換（ＤＣＴ）ブロック３０８によって対応する変換係数の同じサイズの ブロックに変換される。簡単のために前記ブロックは６４個の時間的な差値が８ ×８のアレイに、ブロック３０８の出力が８×８の変換係数を持つように仮定す る。 コーデックの２つの経路のルックアヘッドビット割当て計画はリレイテッドア プリケイションシステムの フレーム可変ビットレートを可能にする。この出願の発明の２経路の実施形態は 限られた帯域幅によって課せられる厳密な制限にも係わらずビデオ情報へ帯域の 割当ての制限を最小にする。第１の経路において与えられた利用できる数であっ て、特定のフレームのものはビットの数は各々のブロックに割当てられるものは まず推定される。 前記リレイテッドアプリケイションにおいて議論したようにビットデータに割 当てられる帯域幅はオーディオ，コンピュータデータおよびビデオもしくは前記 各々の３つのタイプ中のデータであって、送られたものに関連して著しく変わる 。図１に示されている全体のビデオシステムに供給されるビデオ情報は通常はビ デオフレームの連続の形式であって、ラスター形式のものである。ビデオに割当 てられるバンド幅は時間に関連して変化するから１つのフレームをエンコードす るために割当てられるビットの数もまた時間に関連して変化するから１つのフレ ームをコードするために利用できるビットの数はその続きの引き続くフレームを コードするために利用されるであろうものと異なるであろう。したがって、本発 明によってもくろまれた２経路形状においては、ブロック３０８によってＤＣＴ 変換が行われた後に、現在のフレームをエンコードするために利用できるビット の数がまず始めにオーディ オビデオあるいはデータ協議して（リレイテッドアプリケイションの図１のコン トローラ４６０）のコントローラ（図示せず）によってまず始めに確定される。 本発明による２経路形状は可変非同期圧縮ビデオデータレートと好ましくはルッ クアヘッドビット割当て指定方式として後述されるであろう１ビットの割当てを 利用する結果となる。この計画の１つの帰結として割当てられるビットの数と引 き続いて発生させられる１つのブロックをエンコードするために発生させられる ものは多分あるいは通常他のブロックをエンコードするものとは異なるか、異な るであろう。 まず最初にブロックｉの平均二乗誤差（ＭＳＥ）が前のフレームの同じブロッ クのものと比較されたものがＭＳＥｉの量を得るために計算される。現行のフレ ームと前のフレームはフレームストア３１０に蓄積されている。ブロックｉと前 のフレームの同じブロックがストア３１０から得られ、そしてＭＳＥｉの量が計 算される。全てのブロックの平均二乗誤差がそれから加算されるが、全体のフレ ームの全平均二乗誤差（ＴＭＳＥ）を得るために加算される。それからフレーム 中の特定のブロックに割当てられるビットの数がそのブロックの平均二乗誤差対 全体のフレームの平均二乗誤差（ＭＳＥｉ／ＴＭＳＥ）倍で、フレームをエンコ ードするために割当てられたＦＢビットの数に対して 与えられ；ブロックｉに割当てられたビットの数はＢｉとされる。もしＢ−割当 て（ｉ）がそれまでの全てのブロックであるが次のブロックｉ＋１を含まないも のに割当てられた全数であり、そしてＢ−発生（ｉ）が後述されるコーディング のプロセスで同じブロックまでとブロックｉを含むものに発生させられた数でこ れらの間の２つの量の差は大きすぎるビットがそのポイントでのコーディングプ ロセスで用いられた結果、残りのビットをさらに倹約して使用する計画を立てる かまたはすでに利用されたビットが利用されたのでより多くのビットが将来のブ ロックのコーディングのために必要であるかということを物語るであろう。これ らの２つの量Ｂ−差（ｉ）は次のブロックｉ＋１の量子化のためにベクトル適用 変換量子化ブロック３１２中の量子化手段の状況を制御するために帰還させられ る。エンコーディングの過程においてこれまでおよびブロックｉを含む間に発生 させられた現実のビットの全数はレートバッファ３１４の手段によってモニタさ れ、そしてその数は適用量子化のためのＶＡＴＱブロック３１２へ帰還される。 量Ｂ−発生（ｉ）のフィードバックをすることにより、３１２による適用変換お よびコーディングがこの発明の量子化およびコーディングの第２の経路を形成す る。 第１の経路の過程において、各ブロックの平均二乗 誤差およびフレームのための全平均二乗誤差はおよび各ブロックに割当てられる ビット数はデジタル信号プロセッサ（ＤＳＰ）３１６によって実行されるであろ うが、ここにおいてデータバスとコントロールバスでＤＳＰ３１６を他のエンコ ーダ３００のブロックに接続するものは簡単のために省略されている。それによ らず、ＢＩＴ ＡＬＬＯＣ３１８としてラベルされているロジック回路がこの特 殊な機能を実行し、割当てられたＢｉを前記ＶＡＴＱブロック３１２へ適用する 機能を実行するために用いられるであろうが、ここにおいて再び回路３１８と図 ７中の他の回路ブロックを接続するための接続線は簡単化のために省略されてい る。 ブロック３１２は前記ＤＣＴケースをマルチプレクサ３２０に印加されるビッ トの流れに量子化し、コード化する。このビットの流れはマルチプレクサ３２０ によってブロック３０４からの移動ベクトルと多重化され、そしてレートバッフ ァ３１４に送られる。ブロック３１２と３０４の出力を結合した多重化されたビ ットの流れは、コーディングの過程によって発生させられた現実のビットであり 、そしてそれはこの量がレートバッファ３１４によってＢ−発生（ｉ）としてブ ロック３１２にフィードバックされるようにモニタされる。 ここで大事なことは将来のコード化されていないブロックｉ＋１，ｉ＋２，・ ・・，（ＴＭＳＥとして利用される量）がブロック１，２，ｉ・・・・のビット 割当てを制御するために用いられることである。レートコントロールのために“ 将来の情報”を使用するこのアプローチはビット割当てと全体の品質の改善によ り良く寄与する。まず第１に、全体のフレームが評価され、そして適当なビット 数が各々のブロックに最小の数において割当てられる。第２の経路において現実 のコーディング過程におけるバッファレートの状況に基いて量子化が動作を改善 するために修正される。全体のフレームに割当てられるビットＦＢの全数は０ま で小さくされるか、または前記リレイテッドアプリケイションに記述されている ように希望するように修正される。 ＶＡＴＱブロック３１２が図９を参照してこれから説明される。ブロック３１ ２は周波数重み付けされた量子化ブロック３４０を含み、それは入力としてフィ ードバック信号Ｂ−発生（ｉ）をバッファ３１４から受け入れ、そしてＢ−割当 て（ｉ）またはＤＳＰ３１６またはビット割当てブロック３１８を受ける。周波 数重みづけされた量子化ブロック３４０はそれから量子化されたＤＣＴケースを 得るためにＤＣＴブロック３０８から６４乃至１２ビットのＤＣＴケースを量子 化する。 量子化されたＤＣＴ係数は、最も好ましいスキャンニング経路を決定するため にブロック３４２に送られるとともに、３つの分離３４４，３４６および３４８ ，量子化された係数をコードにするための種々のベクトルマップングの形式のた めに送られる。ブロック３４４，３４６および３４８で使用される走査の経路は ブロック３４２によって提供される走査経路指数に依存するであろう。ブロック ３４４，３４６および３４８の出力は決定ブロックへ送られ、決定ブロックの可 変出力コードとして３つの出力のうちの１つを選択する。コーディングにおいて 使用されるビットの数を極小化するために最も少ない数のビットを使用する３つ のブロック３４４，３４６，３４８の出力がブロック３５０の出力として選ばれ る。ブロック３５０は簡単な論理回路であって、それは当業者においては簡単な 方法で実現できるであろう。 図１０Ａ，１０Ｂは図９の周波数重みづけ量子化ブロック３４０の構造と動作 を示している。減算器３６２は２つの量Ｂ−割当て（ｉ）およびＢ−発生（ｉ） からＢ−差（ｉ）を得るために減算し、その差はマトリックス指数ＰＲＯＭ３６ ４に印加され、マトリックス指数ＰＲＯＭはそれをマトリックスインデックスと 呼ばれる量を導くために非直線変換関数に印加する。 図１０Ｂに示されているこの実施形態において１つの変換関数が用いられるであ ろう。図１０Ｂに示されているようにマトリックスインデックスの値は１〜１０ の値で変化し、１を以てこれまでブロックｉを含むところに割当てられたビット の数とこれまでおよびブロックｉを含むブロック用に現実に発生させられたビッ トの数との間にミスマッチがないことを示し、そして１０は大変な差がある。そ の結果として大きなミスマッチがあることを示している。このマトリックス指数 は８×８のマトリックスで各マトリックスの要素が８ビットである１０個を２セ ット保持している重みづけマトリックスＰＲＯＭ３６６に印加される。３０のマ トリックスのうちの１セットは輝度情報のエンコーディングのために、そしてそ の他は色情報のエンコーディングのためのものである。 ＰＲＯＭ３６６の中のルックアップテーブル中に蓄積されているマトリックス の例は次のとおりである： ＰＲＯＭ３６６は１つのルックアップテーブルをもっており、それからある特 殊なマトリックスインデックスの値に対応して１つのマトリックスが選ばれる。 ３０８によって提供される各々の８×８ＤＣＴ係数Ｃｉｊ 用の８×８アレイのマトリックスがブロック３６６によって選ばれるのであるか ら、同じ対応する位置ｉ，ｊのところに対応するマトリックスエレメントＱｉｊ が存在する。それぞれが８ビットである８×８の量子化されたＤＣＴ係数のＬｉ ｊの要素の各々を提供するために除算器３６８によってＤＣＴ係数Ｃｉｊが対応 するマトリックス要素Ｑｉｊによって割り算される。量子化されない，あるいは 量子化されたＤＣＴ係数をそれぞれ蓄積するためのバッファ３７２および３７４ はエンコーダに対してパイプライン形式のアプローチで好都合に利用される。 現在用いられているビデオ圧縮システムは予め定められた経路に沿って係数の ブロックを走査することによってＤＣＴ係数のランレングスコーディングを利用 する。しかしながら、典型的に全体のブロックが１時に走査され、そしてさらに 分けられることはない。本発明の他の特徴はＤＣＴ係数のブロックが領域に分け られるという特徴に向けられている。好ましい実施形態においては、８×８ブロ ックは８つのゾーンに分けられ、各々は８つの量子化されたＤＣＴ係数を含んで いる。前記ブロックは８ゾーンの３つの異なったセットに分けられることもでき るであろう：水平，垂直またはジグザグゾーンで８ゾーンの各々のセットは図１ １Ｂ，１１Ｃ，１１Ｄにそれぞれ示されているよう な水平，垂直，またはジグザグ走査経路に対応させられ、かつ有益に利用される 。前述したように水平のゾーンの分割領域は水平の走査に関連して用いられ、垂 直のゾーンは垂直の走査にそしてジグザグの領域はジグザグの走査に関連して用 いられる。図１１Ａに示されているようにバッファ３７４からの量子化されたＤ ＣＴ係数は３つのモジュール３７６，３７８および３８０の全てのモジュールに 適用され、そして全ての３つのモジュールは第１のゾーンを対応するゾーニング 計画にしたがって、走査する。かくして水平走査モジュール３７６は図１１Ｂに 示されているように８つの量子化されたＤＣＴ係数の第１番目の列を走査し、垂 直走査モジュール３７８は図１１Ｃに示されている同じブロックの第１の列を走 査し、そしてジグザグ走査モジュール３８０はブロックの左寄りの角から８つの 係数を走査する。ゾーン２の８つの係数は図１１Ｄの中のゾーン１の８つの係数 とは異なったように斜線が付けられていることに注目されたい。各モジュールは ０でない係数の全数を加算し、そしてその数をブロック３８２に送る。 離散コサイン変換においては、０でない係数は通常あるブロック内に集まって おり、その結果として３つのモジュールの内の最大の出力のゾーン計画中のゾー ン１が３つの走査の１つに関連してより多くの情報を ゾーン１に、残っている２つのゾーンよりも、含んでいることを示す。例えば、 もし０でない係数がブロックの左上に密集していたならば、ジグザグ領域計画の ゾーン１がより多くの０でない係数を水平または垂直分割計画よりも含むことに なる。そのような状況下において、ジグザグ走査を用いることは走査ゾーン１に おいて０でない係数からより多く走査されることであるから、その結果そこには 残っている他の７つのゾーンの係数は０かほとんど０であるという確率が高い。 ３つの走査方法の１つを選び、そして走査方法と３つのゾーン分け計画を選ぶこ とによりモジュール３７６，３７８，３８０のモジュール出力の第１ゾーンの最 大のものを利用することによって処理時間を短くし、そして係数をコードするた めに要求されるビットの数を減らすことになるであろう。ブロック３８２は論理 回路であって、当業者においては簡単に製造できるものであろう。 モジュール３７６の構造が図１２により詳細に示されている。水平走査モジュ ール３７６はバッファ３７４に水平走査の走査規格のためにアドレスＸ，Ｙを発 生するＰＲＯＭであることができる。このようなアドレスＸ，Ｙにおける８ビッ トの係数はそれからバッファ３７４から１ビットデコーダ３９２に送られる。も し係数が０でなかったならば検出器３９２は１を出力 するであろうが、もし係数が０であったならば、検出器３９２は０を出力するで あろう。検出器３９２の出力は加算器３９４によって加算され、合計値はバッフ ァ３９６に蓄積される。ここにおいて加算値は加算器３９４に次のサイクルにお いて検出器３９２の出力に課されるべくフィードバックされる。かくして、ＰＲ ＯＭ３７６がそのブロックの最初の行（ゾーン１）の８つのアドレスの全てを発 生し、バッファ３９６がビデオブロックの最初の行の走査によって得られた０で ない係数の全数を蓄積する。垂直走査モジュール３７８とジグザグ走査３８０は それぞれ前述した水平走査モジュールと同じような構造を持っているであろう。 ブロック３８２は水平走査のためにバッファ３９６に蓄積された合計値および ジグザグ走査のための水平走査用またはジグザグ走査用の同様な差を足し合わせ 、その３つのうちから最も大きいものを見つけ出す。 ブロック３８２はそれから出力走査指数を出力する。そしてそれは、コーディン グのために用いられるべき走査経路が選択されたことを示す。 図９を参照すると走査経路指数が３つのマッピングブロック３４４，３４６お よび３４８にマッピング過程において選択された走査経路が実行されるように送 られる。前記ベクトルマッピングブロック３４４は図１３により詳細に示されて いる。ブロック中のどのピ クセルが走査されているかを示すピクセル指数ｉに応答して、３つのＰＲＯＭ３ ７６′，３７８′および３８０′はそれぞれスイッチ４０２に供給されるＸ，Ｙ アドレス信号を発生する。図１１Ａのブロック３８２からの走査指数出力はスイ ッチ４０２にバッファ３７４に供給されるべき選択されたアドレスを選択するよ うに伝達される。検出器３９２はもしバッファ３７４からの係数が０でない場合 には１を出力し、そして出力が０の場合には０を出力する。この１ビットの情報 は８ビットの形式ベクトルレジスタ４０４にフォルムベクトルを形成するために 蓄積される。かくして８ビットのフォルムベクトルは特定の領域におけるゼロ（ 残りのゾーンの係数が０としてフォルムベクトルの中に記憶される。このフォル ムベクトルはそれから１つのＰＲＯＭ（１，２，・・・，ｎ，ｎゾーンに対して ）に送られ、１を対応するベクトルパターン可変長コード（ＶＬＣ）をベクトル マッピングブロック３４４の１つの出力として出力する。図１１Ｂ乃至１１Ｄに おいてｎは８である。アドレスＸ，Ｙのところで選ばれたバッファ３７４からの 量子化されたＤＣＴ係数はまた他のＰＲＯＭ４０８に供給され、そこにおいて０ でなく量子化された係数はまた可変長コード（ＶＬＣ）を発生するためにルック アップテーブルに関連してコ ード化される。このようにして、２次元の８×８量子化ＤＣＴ係数は１次元のベ クトルとＶＬＣ係数の中にマッピングされる。前記ベクトルマッピング過程にお いてハフマンコードが使用される。コーディングの手続は次のとおりである： （１）ゾーン１に対して０／０でない変換係数のパターンを分類せよ； （２）ゾーン１のために可変長コード（ＶＬＣ）パターンをマップせよ； （３）引き続く周波数係数を組み合わせることによって０でない係数をグルー プ化せよ； （４）各々の係数の対に対して予め蓄積されたＰＲＯＭ中の対の係数対を参照 し、そしてルックアップ値を出力せよ； （５）ステップ１から４をゾーンｎに至るまで繰り返す；および （６）ブロックの終わりのコード（ＥＯＢ）を残りの係数が０の場合に送信せ よ。 前述した６つのステップにおいて最初の２つは検出器３９２およびホームベク トルレジスタ３９４によって実行され、そしてステップ３〜５はＰＲＯＭ４０６ ，４０８の手段によって実行される。もし８つの領域が用いられるならば、上記 手続におけるｎは８である。ベクトルパターンＶＬＣと図１３のＶＬＣ係数出力 の 両者は組み合わされ、そして図９のブロック３５０に決定のために送られる。ブ ロック３４６はブロック３４４と０のランレングスコーディングおよび係数値が 使用されることを除いて類似している。かくして、ブロック３４６において引き 続くステップが実行される： （１）ゾーン１に対するゼロ／ノンゼロの変換係数のパターンを分類せよ； （２）ゾーン１のために可変長コード（ＶＬＣ）にパターンをマッピングせよ ； （３）引き続く周波数係数を組合せることによってノンゼロ係数対にグループ 化せよ； （４）各々の係数の対に対して予めＰＲＯＭに蓄積されている係数の対を参照 し、そして参照ルックアップ値を出力として送出せよ； （５）残りの係数についてゼロの続きのランレングスエンコーディングと係数 値について行い；および （６）残りの係数が０である場合はいつでもブロックコードの終了（ＥＯＢ） を送出せよ。 しばしば量子化されたＤＣＴ係数の振幅は全て１または０である。そのような 状況において、そのようなコーディング過程はフォルムベクトル形成ステップを スキップすることによって簡略化することができ、また必要な要求されるビット の数はブロック３４８中の全ての１ベクトルを次のステップを用いることによっ て減少させることができる： （１）ゾーン１に対してゼロ／ノンゼロ変換係数を分類せよ； （２）ゾーン１に対してパターンを可変長コーディング（ＶＬＣ）にマップせ よ；および （３）ゾーンｎまで１から３のステップを繰り返せ。 前述したように図９のブロック３５０はブロック３４４，３４６，３４８から １つの出力を選択し、それは最も少ない数のビットを持つものであり、そしてそ れを可変長コードであって、ベクトルパターンＶＬＣおよび図１３のＶＬＣ係数 を結合させる。そのような可変長コードはブロック３４２からの走査経路インデ ックスとともにブロック３４０からマトリックスインデックスの位置で図７のた めのＶＡＴＱブロック３１２の出力を含む。前述したようにブロック３１２の出 力はマルチプレクサ３２０によって運動ベクトルブロック３０４の運動ベクトル 出力と多重化され、そして図１に示されているデコーダにモデムとＰＯＴＳライ ンを介して転送するためにレートバッファ３１４へ送られる。 再構成ブロックの導き出しが図７，１４および１５を参照して説明される。ブ ロック３１２の出力は逆ＶＡＴＱブロック４２０に接続され、その逆ＶＡＴＱブ ロックは図１４にさらに詳細に示されている。図１４ に示されているようにブロック３１２の出力はマルチプレクサ（図示されていな い）によりデマルチプレックスされ、そしてブロック３１２の出力の走査経路イ ンデックス部分は３つの走査経路ＰＲＯＭ４２２，４２４，４２６の１つをスイ ッチ配列（図示されていないが図１３のスイッチ配列と類似するもの）を介して 選択し、動作を可能にする。選択されたＰＲＯＭはそれから適当な１および０を 前記ＤＣＴ係数パターンバッファ４３０の中から読み出すためのＸ，Ｙアドレス を発生する。出力ブロック３１２のＶＬＣ部分のベクトルパターンはベクトルパ ターンＰＲＯＭ４３２に供給され、そこでバッファ４３０に供給するための８ビ ットの出力が生成される。ブロック３１２の出力のＶＬＣ部分の係数はＰＲＯＭ ４３４に送られ、そこでＰＲＯＭ４３４はブロック４０８でコード化された現実 の０でない係数を発生するために図１３のＰＲＯＭ４０８の逆リックアップテー ブルを実行する。そのような係数はバッファ４３０の中のＤＣＴ係数の０でない 位置と合うものであるから、バッファ４３６は図１３のバッファ３４７の中に蓄 えられたものと同一の量子化されたＤＣＴ係数を復元して蓄積する。ブロック３ １２の出力のマトリックスインデックス部分は１つの逆周波数重みづけ量子化ブ ロック３４８に印加され、そこで図９のブロック３４０の逆の走査が実行される 。再生 されたＤＣＴ係数はそれからバッファ４４０に蓄積され、そして図７の逆ＤＣＴ ブロック４５０へ送られる。 逆ＤＣＴブロック４５０は通常の設計のものであり得る。ブロック４５０の出 力は加算器４５２によって再生ブロックに加算される。その再生ブロックは時間 的な差ＴＤ′を導くために利用されたものであって、フレームストア３１０中に 蓄積された前のフレームになるためのものである。フレームストア３１０は現状 のまたは新しいフレームを同様に加算器３５２からの前のフレームを蓄積する。 再構成ブロックの導き出しが図１５を参照して説明されるであろう。図１５を 参照すると、バッファ４６０は背景フレームとして選択されたフレームを蓄積す る。このフレームは単に一番始めに全体のビデオシステムで受信されたフレーム であって、ストア３１０中の前のフレームから得られたものである。サブピクセ ル運動推定および予想はブロック４６２，４６４によって、ブロック４６６に適 用されるところの予想ブロックを提供するためにＭＰＥＧ基準に基いて実施され る。新しいブロックがストア３１０からフェッチされ、そしてバッファ４６８に 蓄積され、そしてそれはブロック４６６に印加される。ブロック４６６はそれか ら平均二乗誤差ＭＥＳ−ｐｆを新しいブロックと前のフレームから導かれた予想 ブロック間で計算し、そして そのような出力を決定ブロック４７０に印加する。背景ブロックは背景フレーム ストア４６０から得られ、そしてバッファ４７２に蓄積される。それからブロッ ク４７４はバッファ４６８からの新しいブロックとバッファ４７２からの背景ブ ロック間で背景の最小二乗誤差ＭＳＥ−ｂｇを算出するための最小二乗誤差の計 算をし、そしてこの量を決定ブロック４７０に加える。決定ブロック４７０は単 に比較器であり得る。決定ブロック４７０はマルチプレクサ４７６により小さい 平均二乗誤差を有する予知ブロックを通過させる。 かくして前のフレームにおいては人間が彼または彼女の頭を動かすことによっ て、背景の部分の一部が不明瞭になったが、現在のフレームでは当初の位置に戻 り、背景を露出させている。そのような状況下においては背景フレームを予測ブ ロックとして用いることによって新しいブロックをエンコーディングするための より小さい平均二乗誤差をもたらし、そしてコーディングに必要なビット数を減 少させる。予想ブロックはそれからバッファ４７８に蓄積され、そして時間差Ｔ Ｄ′を導き出すために図７の加算器３０２に印加される。 デコーダが図１，７，１４および１６を参照して説明されるであろう。前述し たようにレートバッファ３１４の出力は図１中のデコーダ１１０に伝送媒体を介 して送られる。前記デコーダはＦＩＦＯ５０２のビットストリームを蓄積し、そ してそれをＶＬＣＤデコーダＰＲＯＭ５０４を用いてマトリックスインデックス ，運動ベクトルおよびＶＡＴＱベクトルは可変長コードはブロック３５０からの 可変長コードと同様に走査経路インデックスを含んでいる。逆ＶＡＴＱブロック ５０６は図１４のブロック４２０と同じである。前記運動ベクトルは運動圧縮ブ ロック５１０に送られ、そして逆ＤＣＴブロック５０８の出力にバッファ５１４ に蓄積され、表示することができる新しいフレームを形成するために加算される 。運動補正ブロック５１０は通常の設計の任意のもので足りる。後処理 コーディングプロセスはある好ましくない人工的な影響を与えるかもしれない 。本発明の後処理の特徴はそのような人工的なものを減少させ、像を良くするも のである。図１および１６を参照すると、バッファ５１４中に蓄積された新しい フレームは記憶のための図１の参照メモリ１１２をデコードするために送り出さ れる。 図１７を参照すると、現行のフレームであって、デコード参照メモリ１１２に 蓄積されているものはフェッチされ、そして水平ブロック境界フィルタ５３０と 垂直ブロック境界フィルタ５３２によってフィルタされる。この２つのフィルタ の各々はＡＳＩＣ、例えばフィールドプログラマブルゲートアレイによって製造 できる。それと異なってそれらはデジタル信号処理装置を用いるソフトウエアに よっても実現可能である。フィルタの出力はそれから適用エッジ増強フィルタさ れ、そして表示のためのＲＧＢに変換される。再び前記適用縁エッジ増強５３４ はＡＳＩＣまたは後処理コントローラ５３６を介してソフトウエアによって制御 されることもできる。 水平および垂直ブロック境界フィルタは図１８および１９にそれぞれ示されて いる。量子化とコードはブロックにおいて行われるものであるから、再生された ブロックがデコーディングのために１つのフレームにまとめられたときにそこに はブロックの境界領域に人工的なものが残ることがある。このようなこれらの人 工的なものによる影響を減少させるために下記のフィルタリングのためのアルゴ リズムが用いられる： 垂直フィルタ： 新しいピクセル値＝（（左側のピクセル）＋２＊（中央のピク セル）＋（右側のピクセル）））／４ 水平フィルタ： 新しいピクセル値＝（（上側のピクセル）＋（下側のピクセル ））／４ まず始めに、ブロックの境界のピクセルが検出される。各々のピクセル値と少 なくとも２つのピクセル値であって、それらはそのような境界ピクセル値に隣接 しており、そしてそれらは同じブロックの境界ピクセル値ではない。なぜならば そのような境界ピクセル値は結果を得るために予め定められた要素によって掛け 算されているからである。各々の境界ピクセル値とそのような少なくとも２つの ピクセル値が１つのグループを形成する。図１８，１９において垂直または水平 の境界のピクセルが黒い点で示され、ここにおいて前記ブロックは８×８のアレ イである。したがって、図１８のグループ５５０はブロック５５８の境界ピクセ ル値５５２と少なくとも２つのピクセル値５５４と５５６でそれらはブロック５ ５８の境界ピクセル値でないものである。グループ中の各々の値を予め定められ た要素によって掛け算した後にその掛け算の結果は新しいピクセル値を得るため に加算される。かくして、ピクセル値５５２，５５４および５５６の各々がそれ ぞれ予め定められた要素によって掛け算された後で、その掛け算の成果は加算さ れ、新しいピクセル値５５２のところに新しいピクセル値として前のものを置き 換えて使用される。 量子化およびコーディングにおいて、もし発生させられたビットの数が割り当 てられたビットと一致する ときには送られたイメージは非常によい品質であり、そしてさらにフレームピク セル値を１または２以上の予め定められたマトリックス，例えば図２１に示され ているものによって掛け算することによって良くされることが見出されている。 そうでない場合には、ピクセル値は他のマトリックス値によって掛け算される。 この目的のために現在のフレームの中の全てのブロックの適当なマトリックスを 選択するために使用されたＰＲＯＭ３６４からのマトリックス指数が全てのブロ ックの平均の量子化ＡＶＥＱＵＡＮＴを得るために加算され、そして平均化され る。 もし、ＡＶＥＱＵＡＮＴ＞Ｈｉ−スレッシュホールドであれば、マトリックス Ａが使用される。もし、ＡＶＥＱＵＡＮＴ＜Ｈｉ−スレッシュホールドであれば 、マトリックスＢが使用される。好ましい実施形態においては、Ｈｉ−スレッシ ュホールドは４５の値を持つ。そのような動作は図２０に示されている。適用エ ッジ改善の出力はそれから表示される。 本発明は好適な実施形態を参照して説明された。それは種々の変形が本発明の 範囲にしたがって可能であり、それは本発明は添付の請求の範囲によってのみ制 限されるものであるというように理解されたい。

───────────────────────────────────────────────────── 【要約の続き】 に分けられ、そして可変長コーディングによってコード される。そして全てのベクトルモジュールは、低いレー トのコーディングの特徴を利用するために利用される。 背景情報は前のフレームの情報に加えてより良いコード 利得を得るために利用される。前記後処理部はブロック の境界からブロックのための人工的なものを取り除くた めにフィルタする。像の特性にしたがって（平均的な量 子化適用）像の品質を向上するために異なった種類のフ ィルタリングが行われる。

Claims (1)

1. 【特許請求の範囲】 １．デジタル化されたビデオ情報のフレームをエンコードするための方法であ り、前記フレームはブロックに分割されており、ビデオ情報のエンコーディング のために利用可能であるビットの数は時によって変わり、そのために１つのフレ ームをエンコードするために利用できるビットの数は引き続くフレームをエンコ ードするために利用できるビットの数と異なるであろう方法において： 変換係数の対応するブロックを得るために１つのフレームの各々のブロックに 関連して、ビデオ情報の空間領域から変換領域への変換を行うステップと； 前記フレームをエンコーディングするために利用できるビットの数を確定する ステップと； 前記のフレームの全てのブロックの変換された係数の各ブロックのエンコーデ ィングのためにビットの数を割り当てるステップと；および 各々のブロックのために可変長コーディングビットを発生するために各々のブ ロックの変換係数を量子化しコード化するステップであって、ここにおいて各々 のブロックのために発生させるビットの数は異なったブロックのエンコーディン グに割当てられるビットの数の関数である量子化しコード化するステップと からなるデジタル化されたビデオ情報のフレームをエ ンコードするための方法。 ２．請求項１記載の方法において、 前記フレームのブロックは時系列的にエンコードされるものであり、ここにおい て変換係数のブロックの量子化とコーディングにおいて発生させられるビットの 数はルックアヘッドビット割当て計画における時系列において引き続くブロック のエンコーディングに割当てられるビットの数の関数であるデジタル化されたビ デオ情報のフレームをエンコードするための方法。 ３．請求項２記載の方法においてさらに： 変換された係数のブロックを量子化しコーディングする前に、もしあれば時系 列的にそのようなブロックに先行する変換された係数の全てのブロックの量子化 およびコード化において発生させられたビットの数の総計を決定するステップと ； ここにおいてそのような変換された係数のブロックの量子化のステップはその ような量子化のステップ以前に量子化され、コード化されたフレームブロックの 全てに割当てられたビット数の総計に関連する情報および全ての先行する変換係 数のブロックの量子化とコーディングにおいて発生させられたビットの数の総計 の情報を用い、そのような量子化ステップにおいてそのようなブロックのために 発生させられる可変長コーディングの数の量子化ステップを制御する デジタル化されたビデオ情報のフレームをエンコードするための方法。 ４．デジタル化されたビデオ情報のフレームをエンコードするための装置であ り、前記フレームはブロックに分割されており、そしてビデオ情報をエンコード するために利用できるビットの数は時間によって変わるから、１つのフレームを エンコードするために利用できるビットの数は引き続くフレームをエンコードす るために利用されるビットの数と異なるものであるデジタル化されたビデオ情報 のフレームをエンコードするための装置において： 変換係数の対応するブロックを得るために１つのフレームの各ブロックに関連 してビデオ情報の空間領域から変換領域への変換をするための手段と； 前記フレームをエンコードするために利用できるビットの数を確定するための 手段と； 前記フレーム中の全てのブロックのための変換係数の各ブロックをエンコード するためのビットの数を割当てるための手段と；および 各々のブロックのために異なる長さのコーディングビットを発生するために変 換係数の各ブロックを量子化しコード化するための手段であり、発生させられる ビットの数は変換係数の異なるブロックのエンコードのために割当てられたビッ ト数の関数である各ブロッ クを量子化しコード化するための手段とを含むデジタル化されたビデオ情報のフ レームをエンコードするための装置。 ５．１つのフレームを形成する２次元のピクセルアレイ中のビデオ情報を間引 きしそしてフィルタするための方法であり、前記アレイは水平方向の行および垂 直方向の列に配列されており、ピクセルアレイ中のビデオ情報を間引きあるいは フィルタするための前記方法において： ３つの結果を得るために予め定められた係数により前記アレイ中の各行または 列の３つの隣接するピクセル値のグループにおいて掛け算をするステップと；お よび隣接するピクセルの３つの値のグループを置き換えるために新しいピクセル の値を得るために３つの生成物を加算し、そこで水平または垂直方向にフィルタ または間引くものである ピクセルアレイ中のビデオ情報を間引きあるいはフィルタするための方法。 ６．請求項５記載の方法において前記グループ中の隣接する３つのピクセル値 は残存する２つのピクセル値の中間にある中央値ピクセルを持ち、ここにおいて 中央のピクセル値を掛け算するために前記掛け算のステップにおいて用いられる 係数は残っている２つのピクセル値を掛け算するための掛け算ステップにおいて 使用されるものの約２倍のものであるピクセルアレイ中のビデオ情報を間引きあ るいはフィルタするための方法。 ７．１つのフレームを形成する２次元アレイ中のピクセル値のビデオ情報をフ ィルタリングするための方法であり前記アレイは水平への行および垂直の列に配 置されているビデオ情報をフィルタリングするための方法において： 前記アレイ中の少なくとも１つのピクセルのためにローパスフィルタされた値 を導くためにそのようなピクセル値の平均値とアレイ中の隣接するピクセルの値 を得るステップと； ローパスフィルタされた値と前記少なくとも１つのピクセルの値を比較するス テップと；および 少なくとも１つのピクセルの値が前記比較に応答して置き換えるべきものであ ることを決定するステップとを含む ビデオ情報をフィルタリングするための方法。 ８．ビデオ情報のフレームをフィルタするための方法であって、前記フレーム は２次元アレイのピクセルを含み、前記アレイはピクセル値のブロックにグルー プ化され、各々のブロックは境界とその境界におけるピクセル値を持っており、 前記境界のピクセル値は前記アレイ中の隣接する境界ピクセル値に対する隣接す る値を持つ： 前記フレーム中のブロックの境界ピクセル値を検出するステップと； 少なくとも１つの境界ピクセル値および少なくともそのようなピクセル値に隣 接する２つのピクセル値であり、結果を得るために予め定められた係数によるそ のような境界ピクセルではなく乗算するものであり、前記少なくとも１つの境界 ピクセル値と前記少なくとも２つのピクセル値がグループを形成している乗算す るステップと； そのような境界ピクセル値に対応する新しいピクセル値を得るために対応する 生成物を加算するステップと；および 前記少なくとも１つの境界ピクセル値をその対応する新しいピクセル値によっ て置き換えるステップとを含む ビデオ情報のフレームをフィルタするための方法。 ９．請求項８の方法において、境界ピクセル値を掛け算するために掛け算ステ ップにおいて用いられる要素は同じグループ中の少なくとも２つのピクセルを掛 け算するための掛け算ステップにおいて用いられるものの約２倍であるビデオ情 報のフレームをフィルタするための方法。 １０．ビデオ情報のピクセル値のフレームをエンコ ードするための方法であり、前記フレームはブロックに分けられておりビデオ情 報のピクセル値のフレームをエンコードするための方法において： 変換係数の対応する１つのブロックを得るために１つのフレームの各ブロック に関連してビデオ信号の空間領域から変換領域への変換を実施するステップと； 各ブロックに可変長コーディングビットを発生するために変換係数の各ブロッ クを量子化しコーディングするステップであり、 前記量子化ステップから発生するビットの数を表示する数の指数のセット中に組 セットの中にある１つのインデックスを参照して実行されるものであり、そして 前記指数は前記量子化ステップから発生するビットの数とともに直接的に変化す る値を持つものである変換係数の各ブロックを量子化しコーディングするステッ プと； 前記量子化コーディングステップにおいて、量子化されコード化されたフレー ムのブロックを参照することによって、前記指数の平均値を算出するステップと ； 前記平均値を予め定められた値と比較するステップと；および 前記平均値が予め定められた範囲の値中にあるときに１つの選ばれたマトリッ クス要素によって各々のピクセル値を掛け算するステップとを含む ビデオ情報のピクセル値のフレームをエンコードするための方法。 １１．デジタル化されたビデオ情報のフレームをエンコードするための方法で あり、前記フレームはブロックに分割されているデジタル化されたビデオ情報の フレームをエンコードするための方法において： 変換係数の対応するブロックを得るためにフレームの各ブロックに関連して空 間領域から変換領域へのビデオ情報の変換を実施するステップと； 各ブロックのために可変長コーディングビットを発生するために変換係数の各 ブロックの量子化およびコーディングを行うステップであって、以下のコーディ ングステップを含む： 少なくとも２つの異なった経路において各ブロックの前記係数のいくつかにつ いて走査を行い、少なくとも２つの数を得るために各経路に沿って０でない走査 された係数をカウントするステップと； 最も大きな数値を見出すために前記得られた数を比較するステップと；および 変換係数の各々のブロックを考慮する前に得られている最も大きな数値の経路 に沿って各ブロックの係数を走査するステップと を含むデジタル化されたビデオ情報のフレームをエンコードするための方法。 １２．請求項１１記載の方法においてさらに： 各々のブロックを２またはそれ以上のゾーンのセットに分割し、各々は走査経 路に対応する分割であって、ここにおいて前記第１の走査ステップの走査は前記 異なったパスに沿うゾーンの１つの係数についてのみ走査されるステップを含む デジタル化されたビデオ情報のフレームをエンコードするための方法。 １３．デジタル化されたビデオ情報のフレームをエンコードするための方法に おいて： 変換係数の対応するブロックを得るために１つのフレームの各々のブロックに 関連して、ビデオ情報の空間領域から変換領域への変換を実行するステップと； 各ブロックのために可変長コーディングビットを発生するために変換係数の各 ブロックを量子化しコードするステップと； 各ブロックを２またはそれ以上の領域に分割するステップ；および 少なくとも１つのゾーンの走査ベクトルと前記少なくとも１つの領域の係数の 可変長コーディングを形成するステップとを含む デジタル化されたビデオ情報のフレームをエンコードするための方法。 １４．請求項１３の方法において； 残存する係数が前記形成ステップの後で０かを判定 する検出ステップと；および 前記形成ステップの後に残存する係数が０と検出されたときにブロックの端を 送り出すステップとをさらに含むデジタル化されたビデオ情報のフレームをエン コードするための方法。 １５．請求項１３記載の方法において前記形成するステップはまた全てが１ま たは０である形成されたベクトルを検出するステップであるデジタル化されたビ デオ情報のフレームをエンコードするための方法。 １６．ビデオ情報のフレームをエンコーディングするための方法であって、前 記フレームはブロックに分けられており、ここにおいて前記フレームは時系列に 沿って経時的にエンコードされ、その結果フレーム中の各々のブロックは異なっ たフレーム中の対応するブロックを持つものであるビデオ情報のフレームをエン コーディングするための方法において： 変換係数の対応するブロックを得るためにフレームの各々のブロックに関連し てビデオ情報の変換に関連して空間領域から変換領域へのビデオ情報の変換を実 施するステップと； 各ブロックのために可変長コーディングビットを発生するために変換係数の各 ブロックを量子化しコード化するステップと； その可変長コードビットから各々のブロックを再生 するステップと； 前記再生されたブロックを蓄積するステップと； 背景フレームとしてビデオ情報の予め定められた領域を蓄積し、前記再生され たブロックの背景ブロックに対応するものを含んでいる蓄積ステップと； 量子化され、そしてコード化されるべき現在のブロックを前記構成されたブロ ックと背景のブロックとを比較して予測ブロックを決定するステップと；および 前記実行ステップにおいて変換された各ブロックに関連して前記ビデオ情報を 導き出すために予想ブロックを使用するステップと を含むビデオ情報のフレームをエンコーディングするための方法。