JPH05508754A - 像列の効率的伝送のため背景基準を採用する階層的コード化方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 像列の効率的伝送のため背景基準 を採用する階層的コード化方法及び ［発明の背景］ 本発明は、一般に、電話通信チャンネルのような狭帯域通信チャンネルを介して 像データ列を伝達する技術に関する。

ビデオ信号のような像データは、一連の像またはフレームより成る。各フレーム は多量の情報を含むから、データ列の次のフレームの到着前に狭帯域チャンネル を介して全フレームを伝送することはできない、したがって、伝送されるべき情 報ビットの数を低減するため、像データを圧縮するための種々の技術が提案され た。詳述すると、これらの技術は、各フレームを先行のフレームからの変化によ り記述するという、逐次のフレーム間の重複性を利用する。

移動対象を有する代表的ビデオ信号においては、逐次のフレーム間に起こる主た る変化は、視界内における対象の不均一な運動である。従って、フレーム列を表 わすに必要なビット数は、各新しいフレームを、先行のフレームの種々の成分の 変位により記述することによって減することができる。この「運動補償」の技術 は、他の既知のデータ圧縮技術よりも、一連の像を記述するのに相当小ビットし か必要としない、その結果、種々の運動補償コード化方法および装置が、この技 術を使って開発された。これらのシステムは、普通、受信機基準の運動補償シス テムか、送信機基準の運動補償システムである。

受信機基準運動補償システムにおいては、受信機は、運動に関して予測をなし、 先行のフレームを予期された運動について補償する。そのとき、同じように動作 する送信機は、受信機の予測フレームを修正するために受信機においてなされね ばならぬことについて記述した誤差信号のみを送信する。誤差信号は、その帯域 幅を減するためにコード化される。

送信機基準の運動補償システムにおいては、運動評価プロセスは、送信機におい てのみ行われる０例えば、送信機は、種々のフレームの種々の領域の運動を表わ す変位ベクトルを計算する。このデータは、ついで、誤差情報とともに受信機に 送信される。受信機は、まず、送、信機により提供された変位ベクトルを使用し て、先行のフレームの像を調節する。ついで、受信機は、送信機により提供され る誤差情報を使用して得られた像を修正する普通、各変位ベクトルは、像の特定 の領域またはブロックと関連している。ブロックは、普通非重畳性で、８画素（ ピクセル）×８画素の大きさを有する。各ブロックと関連する運動補償データを コード化するため、種々の方法が採用された。　Ｅｒ１ｃｓｓｏｎの米国特許第 ４．８４９．８１０号は、運動補償変位情報をコード化するための損失性コ−ド 化方法について記述している。この特許も参照されたい。

上述の運動補償システムは、あるビデオフレームのスチル領域や運動領域におい てはよく作用する。しかしながら、代表的ビデオ会議やビデオ電話会議において は、人が静止的背景の正面で動いている。背景の新しい未発見領域は、先行のフ レームの変位により予測できない。

それゆえ、これらの未予測領域のコード化は、多数のビットを必要とする。

この問題に対する解決として、背景予測法が提案された。詳述すると、受信機は 、視野の背景の像を維持する、人が動いて背景の新しい部分を露出すると、送信 機は、記憶された背景像との関連において露出パターンを記述し、それにより新 たに露出された領域をコード化するに必要とされるビット数を劇的に減する。

大きな運動すなわちシーンの変化中、伝送されるべき相当の情報が存在し、その 結果単一のフレーム時間中に、フレームをを記述するに必要な全情報を伝送する のに不十分な帯域幅しか得られないことがしばしばある。したがって、情報の劣 化を最小化するようなフレーム情報部分をコード化し伝送するために、種々の方 法が実施された。　Ｅｒｆｃｓｓｏｎの米国特許第４．８４９．８１０号は、大 きな運動すなわちシーンの変化中より品位のある劣化（グレースフルデグラデー ション）を提供するために、かかる情報列を効率的に伝達する階層コード化方法 について記述している。

それゆえ、本発明の目的は、背景予測情報を効率的に伝達するための階層的コー ド化を使用して、狭帯域通信チャンネルを介して情報列を伝達することである。

本発明の他の目的は、背景と運動補償像間の切替え時に起こる可視的な切替えの 技巧的構造を、階層的コード化像の各階層レベルで背景と歪曲像を独立的に選択 することによって低減することである。

［発明の概要コ 本発明は、一連の像フレームを伝送するための方法および装置に関する。本方法 は、一連の像フレームの背景を表わす複数のデシメーションレベルを有する背景 のピラミッド型データ構造データを作成する段階を含むことを特徴とする。同様 に、先行の像フレームに基づき現在の像フレームの予測を表わすため、歪曲像の ピラミッド型データ構造データが作成される。現在像フレームを表わす現在入力 像データは、現在像のピラミッド型データ構造を生成するようにデシメーション 処理される。各デシメーションレベルにて、現在像のピラミッド型データ構造デ ータの各成分は、歪曲像のピラミッド型データ構造データの対応する成分と比較 され、第１の誤差信号を形成する。現在像のピラミッド型データ構造データも、 背景のピラミッド型データ構造データの対応する成分と比較され、第２の誤差信 号を形成する。

第１および第２の誤差信号は、背景のピラミッド型データ構造データが、歪曲像 のピラミッド型データ構造データ成分よりも現在像のデータ構造成分をより近似 的に表わすかどうかをチェックするために比較される。

本発明は、他の一側面として、現在の像データを、先行の像フレームを表わす先 行の像データに比較することをその特徴として含む、この比較に基づいて、先行 の像の複数のブロックの各々の変位を表わす運動信号が発生される。運動信号は 、遠隔の受信機に伝送され、受信機に、歪曲像のピラミッド型データ構造データ を作成せしめる。

本発明の方法は、他の側面においては、現在像のピラミッドデータ構造データの 各成分をブランク像のピラミッドデータ構造データの対応する成分と比較し、第 ３の誤差信号を形成することをその特徴とする。第３の誤差信号は、第１誤差信 号と比較され、現在像のピラミッド型データ構造データ成分とブランク像のビラ ミ型データ構造データ成分のいずれが現在像のデータ構造の対応する成分をより 近似的に表わすかを決定する。

現在像のピラミッド型データ構造の各成分に対して、コードが遠隔の受信機に伝 送され、３つのデータ構造データのいずれが、現在像のピラミッド型データ構造 データの成分をより近似的に表わすかを指示する。現在像のピラミッド型データ 構造データの成分をより近似的に表わすデータ成分を有する構造データに対応す る誤差信号も、遠隔受信機に伝送される。

ｌ実施例において、どのデータ構造が現在像のピラミッド型データ構造をもっと も近似的に表わすか否かを選択するのに使用するために、各誤差信号をコード化 するのに必要とされるビットの数がめられる。誤差信号が最小の評価ビット数を 必要とするデータ構造が伝送のために選択される。

本発明のこれらおよびその他の目的および利点は、図面と関連して行った以下の 説明から明らかとなろう。

［図面の簡単な説明］ 図１は、本発明に従う代表的像伝送システムの電気的ブロック図である。

図２は、本発明を採用する運動補償像コード化装置の送信機の電気的ブロック図 である。

図３は、結合係数ａ　（Ｔ）の値を表わす線図である゛。

図３Ａは、本発明にしたがう損失性圧縮器２８の線図である。

図４は、１対の背景フレームバッファを有する背景予測回路の電気的ブロック図 である。

図５は、空間的補間法の概略線図である。

図６は、適応型の、最険降下誤差最小化を利用する反復的空間領域運動評価装置 の電気的ブロック図である。

図７は、データ処理構造が改善された、適応型の最険降下誤差最小化を利用する 反復的空間領域運動評価装置の電気的ブロック図である。

図８は、初変位運動ベクトル値を予測するのに使用される隣接ブロックの相対位 置を表わす線図である。

図８Ａは、線形予測装置に使用される隣接する運動ベクトルの相対位置を示す線 図である。

図９は、本発明に従う損失性圧縮器２８のブロック図である。

図１０は、本発明に従う誤差計算装置４３のブロック図である。

図１１は、１次元デシメーション法の概略線図である図１２は、本発明に従う誤 差計算装置４３の詳細な電気ブロック図である。

［実施例の説明］ 図１を参照すると、過言システム６は送信機８を有し、該送信機８は、本発明の 好ましい実施例においては、ビデオ信号をアナログ−ディジタルコンバータ・フ レームバッファ１２に供給するためのカメラ１０を有している。アナログ−ディ ジタルコンバータ・フレームバッファ１２のフレームバッファ部分は、例えば２ ５６Ｘ　２４０ビクセルラスターに亙り８ビツトにサンプルされるビデオ信号の フルフレームを記憶できる。各ビクセルは、３つのカラー成分（すなわち、輝度 成分りおよび２つのクロミナンス成分ＩおよびＱ）を含む。

全コード化および運動補償プロセスは、ディジタル領域で行われる。送信機は、 新しいフレームを先行のフレームの種々の成分の運動により記述する信号を発生 するための運動評価・コード化回路１６を有する。運動評価・コード化回路１６ が、新しいフレームをかかる変位により記述するのは好ましくないから、送信機 は、変位から形成される像の各色成分に対する修正を記述する誤差信号を提供す るための誤差回路１４を含む、追って詳細に説明されるように、新しいフレーム が背景のもっとも最近の露出された部分をも含む場合は、誤差回路１４は、誤差 信号の中に、背景の記憶された像からその露出された部分を誘導するための命令 を含むことになる。チャンネルエンコーダ１８は、誤差回路１４の出力および運 動評価・コード化回路１６の出力をコード化し、コード化されたデータをチャン ネル２ｏを介して受信機２１に伝送する。

大きな運動またはシーンの変化中、狭帯域チャンネル２０は、新しい入力フレー ムを記述するに必要な全誤差情報に順応し得ない、したがって、誤差信号を計算 する目的のため、送信機は、各フレーム像を像の階層と考える。ここで、各階層 像は、すぐ高次のレベルの階層像よりも若干大きな解像度を有するものとする。

追って詳述するように、送信機は、階層の各レベルに対しして誤差信号を計算し 、高レベルの誤差信号をまず送り、時間が許すときそれだけの低レベル信号を伝 送する。

好ましい実施例において、伝送されるべき像の各色成分（例えば輝度）を完全に 定めるのに、５レベルの階層像が使用される。最高次のレベルの像は、１６Ｘ１ ５の画素のみを含む、１１層の各レベルは、水平垂直両方向に２倍だけ像の解像 度を増す、かくして、輝度情報に対する５レベルの像は、例示の実施例において は、２５６　ｘ２４０．１２８Ｘ　１２０．６０Ｘ６０．３２Ｘ３０および１６ Ｘ１５の画素の解像度で得られる。異なる像解像度で得られる一組の像セットは 、一般的に「解像度ピラミッド」と称される。ピラミッドの基部は、フル解像度 像であるが、ピラミッドの頂部は、例示の実施例においては、１６Ｘ１５のビク セル像である。カラー像の工およびＱクロミナンス成分に対しても、類似のピラ ミッドが形成される。

［運動評価］ 図２を参照して説明すると、この図において、本発明の実施例における例示の運 動評価・コード化回路１６は、Ｍ２２を介して得られる新しい入力フレーム像を 、この実施例においてフレームバッファ２４から得られる先行の入力像の輝度と 比較する。フレームバッファ２４は、先行のフレームの像を３レベルピラミツド 型データ構造で記憶する。ピラミッドの最高レベルは、３２Ｘ３０のビクセル配 列であるが、これは、線２２を介して先に到着した新しい像の輝度成分により提 供される２５６　ｘ２４０のビクセル配列をデシメーション処理する（追って詳 細に説明されるように）ことにより誘導される０次のレベルは、同様に誘導され た６４Ｘ　６０のビクセル配列である。最後に、最詳細なレベルは、先行の受侶 像からではなく、受信機にて遂行されるところの先行のフレームの再構成から誘 導される１２８　Ｘ　１２０のビクセルセル配列である。

この第３レベルを作成する技術について、以下に記述する。

新しい入力像をバッファ２４に記憶される先行の像に比較する目的で、運動評価 装置２６はまず入力像データを、同じ３レベルの解像度（すなわち、１２８　Ｘ 　１２０．６４Ｘ６４および３０Ｘ　３０）を有するピラミッド型データ構造を 生ずるようにデシメーション処理する。運動評価装置２６は、各レベルに対して 、新しいフレームと先行フレーム間の運動変位の測定値を生成する。斯界におい て周知の多数の運動評価装置の任意のものを、変位を測定するための使用できる 。好ましい実施例において、運動評価装置は、Ｈｉｎｍａｎの米国特許第４６６ １８４９４号およびＥｒ１ｃｓｓｏｎの米国特許第８４９，８１０号に記述され るような運動変位測定値を生成す」るため、適応型の最険降下誤差最小化法を実 施する。それゆえ、この特許も参照されたい。

運動評価装置２６の出力は、−組の運動ベクトルフィールドである（書くレベル 対して一組）、これは、上述のように、逐次の入力フレーム間の変位の測定値を 提供する。このベクトルフィールドは、バッファ２４からの先行の入力を線２２ を経て到達する新しい入力フレームの最良の近似に如何に移す（マツプ）するか についての記述を提供する。「最良」とは、例えば平均二乗誤差法のような誤差 距離を意味する。普通、また例示の実施例においては、先行の像と新しい入力像 との間の非重畳性ブロック間の領域整合技術を利用する。もしも運動が新しい像 のある領域において起こると１、評価装置は、先行の像におけるどのブロックが 新しい像におけるブロックに対して最良の整合を示すかを決定し、そして、変位 の値は、新しい億円のブロックに対する新座標対と、先行の像におけるブロック に対する原座標対との間の差となる。その決定は、新しい像におけるブロックと 関連すべき運動ベクトルを定める。

シーンは、一般に、ある時間にわたり均一に移動する数種の大きな対象より成る から、運動ベクトルフィールドには高度の相関が存在する０重複性の情報の伝送 を避け、必要とするデータビットを減するために、本発明の好ましい実姉例では 、ある情報を損失せしめ、運動表示データの圧縮を促進するように、運動ベクト ルフィールドを変更する９例示の実施例においては、この動作は「損失性の圧縮 器」２８により代表されるのであるが、この損失性圧縮器は、運動ベクトルフィ ールドを表わすに必要なデータの量、したがって帯域幅を低減する。運動ベクト ルフィールドと自然像との間の類似性を考慮すると、ベクトルフィールドの２つ の独立成分の予測コード化、変換コード化または補間コード化を、損失性圧縮器 ２８により採用できる。

［運動信号のエントロピーコード化］ かくして、損失性圧縮器２８が、線３２を介して得られる運動ベクトルフィール ドをコード化するために採用され、そして、線３０を介して、運動ベクトルを表 わすコード化運動信号を提供する。損失性圧縮器のこの出力は、上述のように、 解読の際、線３２上の信号（運動の変位の測定値を提供する）を正確には再生せ ず、したがってそれらと関連する若干の誤差信号を有する。けれども、損失性圧 縮器の必要とされるデータの減少は、例えばＰＣＭの正確なコード化法に比較し て、損失性圧縮器の使用が技術における意味のある進歩であるといえるほどに相 当である。１つの好ましい損失性圧縮回路は、適応型予測パルスコード化変調（ ＡＤＰＣＭ）を採用する。

図３Ａを参照して説明すると、本発明の例示の実施例における損失性圧縮器は、 運動ベクトルフィールドの線形予測器２８ａを備え、かつ、運動ベクトルフィー ルドの予測器および予測エラーを記述するに必要なビット数（帯域幅）の数を低 減するための追加の回路を備える。

図８Ａに示されるラスク走査パターンおよび図３Ａを参照して説明すると、線形 予測器２８ａは（３つの解像レベルの各々において）、４つの先にコード化され た近傍情報（０で記録される、線３０を介して先に得られた）を使用して現在運 動ベクトル（Ｘで記録される）を予測する。追加の回路（スイッチ回路２８ｂで 具体化される）は、３つの可能な選択に関して判断をなす、すなわち（ａ）評価 された運動ベクトルを０にリセットしく線１８８上の信号）、そしてそれを受信 機に送る。

（ｂ）評価された運動ベクトルを（線２８ｃを介しての）を、予測値にリセット し、それを受信機に送る。あるいは、 （ｃ）量子化器２８ｄにおいて予測誤差（原評価運動ベクトルと予測された運動 ベクトル間の差）を量子化し、量子化指数を受信機に送る。

各選択と関連して、かかったコスト（その判断を伝送するのに使用されるビット Ｎ）と、誤差Ｅ（選ばれた運動ベクトルを使用することにより発生される差像ブ ロックの平均二乗誤差）が存在する。追加の回路２８ｂは、エントロピー拘束誤 差測定値、すなわち使用されたビットおよび誤差の重み付けされた組合せ（例え ばＣａＮ＋ｂＥｌに等しい値、ここでｒ　３　、および「ｂ」は装置に対して経 験的に決定された定数である）を使用してこの判断をなす、最小のエントロピー 拘束誤差を生ずる結果が、選択され、伝送される。コード化プロセスは、評価さ れた運動ベクトルをゼロにリセットすべきか否かについての情報の１ビツトを送 ることによって始まる。もしそれがＯにリセットされると、この運動ベクトルに 対してもはやないにも送られない、そうでない場合には、第２の情報ビットが、 予測された運動ベクトルのみを使用すべきか、あるいは追加の修正情報が送られ るかどうかを受信機に知らせるために送られる。最後に、修正情報が必要とされ ると、予測誤差の量子化指数が送られる。コード化のためのビット数をさらに減 するため、損失性圧縮器は、第１の２つのステップに対して算術的コード化を、 最後のステップに対して）Ｉｕｆｆｍａｎコード化を採用する。線３０を介して の損失性圧縮回路の出力は、上述のように、エンコーダ１８に送られる。加えて 、これらの信号は、チャンネルになんらの誤差も不存在として、受信機が何を受 信するかを決定するために誤差回路により採用され、それにより、予測誤差信号 、すなわち、線３ｏを介してのコード化運動信号表示に基づいて受信機が決定す るものと真の像入力との間の差を表わす信号を決定するための機構を提供する。

線３０を介しての損失性圧縮器の出力は、線３２上の運動変位の測定値、すなわ ち運動ベクトルを表す信号を生ずるため、再構成回路３４により使用される。線 ３６上の信号すなわち再構成回路の出力と線３２上の信号との間の差は、損失性 圧縮装置２８により導入されるコード化誤差を表わす、線３６上の再構成装置３ ４の出力は、運動フィールド補間回路３８に向けて送られる。補間回路３８は、 運動変位ベクトルを各画素と関連づけるように空間領域で動作する。かくして、 線３６を介しての入力信号が複数群または領域の画素、例えば４×４のブロック の画素に対する運動を表す間、運動フィールド補間器は、追って詳述されるよう に、各画素と関連して運動変位ベクトルがあるようにそのデータを分解する。線 ４０上の運動フィールド補間器からの得られた出力は、運動再構成信号として指 示される。

［誤差信号の計算］ 運動再構成信号は、誤差再構成ループの一部を形成する運動補償器４２に供給さ れる。誤差再構成ループは、受信機にて遂行される同じフレーム再構成プロセス を擬似する。もっとも最近構成されたフレーム（すなわち、先行の受信機像）は 、フレームバッファ４４に記憶される。フレームバッファ４４は、先行の受信器 偉を運動補償器４２に供給し、そして該補償器は、運動再構成信号４０に従って 新しいフレームを評価し、歪曲像を形成する。歪曲像は、誤差計算モジュール４ ３に供給され、そして該誤差計算モジュール４３は、歪曲された像を現、在像と 比較し、誤差信号を選択する。モジュール４３は、歪曲像を歪曲像ピラミッド型 データ構造データをデシメーション処理するためのデシメータ４６を含む。

分解された歪曲像は、ついで予測器スイッチ４７に供給される。予測器スイッチ ４７はまた、背景フレームバッファ４９とデシメータ５５にも接続されている。

デシメータ５５は、　新しい入力フレーム像の空間的に分解されたものを予測器 スイッチに供給する。

予測器スイッチは、ついで、ピラミッドの各レベルに対して、歪曲像の成分と、 入力像の対応する成分との間の差を計算し、歪曲誤差を生ずる。

同様に、フレームバッファ４９は、予測器スイッチに、視野の背景を表わす背景 像ピラミッド像構造データを供給する。ついで、予測器スイッチは、分解された 入力像の同じ成分と、背景像の対応する成分との間の差をピラミッドの各レベル について計算し、背景誤差を生ずる、最後に、予測器スイッチは、入力像の同じ 成分と、カラー値がすべてＯであるブランク像との間の差を計算し、０予測誤差 を計算する。予測器スイッチは、歪曲誤差、背景誤差およびＯ予測誤差のいずれ が受信機に伝送のために選択されるべきであるかを選択するため、上述の回路２ ８ｂに類似のスイッチ回路を含む、この技術に従うと、最小のエントロピー拘束 誤差を生ずる誤差信号が、その成分に対する予測誤差として伝送のために選ばれ る。

予測器スイッチはさらに、背景フレーム、歪曲フレームまたはブランクフレーム が対応する誤差成分に対する基準点として使用されたかどうかを指示する基準点 信号を供給する。ついで、予測誤差信号および対応する基準点は、量子化器５９ で量子化され、誤差再構成信号５２に併合される。量子化器５９は、誤差再構成 信号５２をエンコーダ１８に供給し、そして該エンコーダ１８は、信号５２をコ ード化し、受信機２１に伝送する０図１２に関してより詳細に説明されるように 、量子化器５９の入力および出力間の差は、計算され、量子化誤差フィードバッ ク回路５７に供給される。量子化誤差フィードバック回路５７は、差（すなわち 量子化誤差）に作用し、結果を予測器スイッチ４７に供給する。したがって、空 間分解のルベルにて導入された量子化誤差は、空間分解の他のレベルにおいて補 償され得る。

［受信機における像再構成］ 受信機は、誤差再構成信号５２を分解し、ベクトル変位、予測誤差および基準点 信号を決定する。受信機は、これらの信号から、新しいフレーム像を計算する。

詳述すると、受信機は、さらに、ベクトル変位信号にしたがって先行の受信機像 を歪曲する。受信機は、基準点信号にしたがって選択された背景、歪曲およびブ ランクフレームの諸成分を使用して予測像を編集する。ついで、階層の各レベル にて、予測誤差成分は予測像に加えられる、この像は、ついで、表示されるべき 新しいビデオフレームを形成するように再構成される。

［送信機における擬似再構成］ 受信機が新しいビデオフレームを再構成している間、送信機誤差回路１４は同じ 再構成プロセスを擬似して、先行のフレームバッファ４４に記憶される像を更新 する、この終り頃、誤差再構成信号５２が像編集器６１に供給される。像編集器 ６１は、線６１ａ上に供給される予測像のピラミッド型データ構造データ（予測 器スイッチ４７の判断にしたがって背景、歪曲像またはブランク基準のいずれか とし得る）を、量子化誤差再構成信号５２の再構成されたものと結合し、受信機 にて構成されるのと同じ、ピラミッド型データ構造像データを構成する。

線６１（ｂ）上の再構成受信器像は、再構成器４８に送られ、そして該再構成器 ４８は、デシメータ４６．５５により負荷されたデシメーションを反転する。し たがって、これにより、再構成器の出力に、受信機２１により計算されたと同じ 評価された受信機像が得られる。フレームバッファ４４内の像は、ついで次のフ レームに対する準備のため、再構成器により提供される新しいフレームと置き代 えられる。

［背景フレームバッファ］ 送信機はまた、受信機により維持されるのと同様に視野の背景を表わす背景の像 ピラミッド型データ構造データを維持する。像編集器６１からの再構成ビデオフ レームは、更新コントローラ６３により決定されるところにしたがって背景フレ ームバッファ４９の現在の内容と適応的に結合される。更新コントローラ６３は 、再構成像ピラミッド型データ構成データを変化および未変化領域にセグメント 化する。背景像のピラミッド型データ構成データの各レベルにおける各像成分に 対して、更新コントローラは、該成分が変更されたとして最後に検出されて以後 経過した時間間隔ｒＴＪを監視し、更新係数「ａ」をＴの関数として計算する。

結合器６２は、下記の式にしたがって、背景フレームバッファと再構成フレーム の現在の内容を結合する。すなわち、 新背景値＝　（１−ａ（Ｔ））“旧背景＋ａ　（Ｔ）″再構成フレームここで、 ｒａＪは、図３に例示されるようにｒＴＪの関数である。かくして、図３に例示 されるごとき依存性ａ　（Ｔ）で、もしも成分（線６１（ｂ）上の再構成信号の ）が２つの連続フレームにわたり同じであれば、背景フレームバッファ成分は変 更されないであろう、しかしながら、成分が数フレーム期間の間然変化のままで あれば、再構成信号は、フルの重み、この場合ａｗｌ　、で背景フレームバッフ ァに入る。

［誤差計算モジュール４３］ 上述のように、誤差計算モジュール４３は、入力として、線２２を介して原末コ ード化信号を、線５１を介して評価された受信器像を表わす信号を受信する。モ ジュール４３は、これらの信号を利用して、両信号間の差をコード化し、線５２ を介してコード化誤差再構成信号を出力する。この信号は、運動補償系により適 正に補償されない殆どの誤差を修正する。

次に図１０および図１１を参照して説明すると、線５１上の評価された受信機像 （しばしば「歪曲」像と称される）と線２２上の原末コード化像は、それぞれデ シメーション回路４６．５５により４回デシメーション処理される（すなわち、 濾波およびサブサンプルされる）。

像は、各デシメーション段階において、水平および垂直の両方向において２のフ ァクタによりサブサンプルされる。かくして、例示の実施例においては、輝度像 に対して、２５６　ｘ２４０．　＋２８ｘ１２．６４ｘ６０．３２ｘ３０および １６Ｘ　１５の画素の解像度で、５レベルの像が得られる。異なる像解像度での 一組の像は、一般に「解像度ピラミッド」と称される。ピラミッドの基部はフル 解像度像であり、ピラミッドの頂部は、例示の実施例においては、１６Ｘ　１５ のビクセル像である。

類似の解像度ピラミッドが、カラー像のＩおよびＱクロミナンスナンス成分に対 して形成される。しかしながら、以下の論述にあたっては、像の輝度成分のみに ついて論述するものとする。同じ装置と処理ステップが、像のクロミナンスナン ス成分に対して等しく適応し得る。

ラチススレッショルド量子化装置に従うと、歪曲像と原末コード化像との差のコ ード化は、解像度ピラミッドの頂部レベルから底部レベルまで、レベルごとの方 式でコード化回路５０６により遂行される。プロセスは、ビデオ伝送のために追 加のビットが得られないとき、その解像度で終了する。かくして、穏やかな運動 中、装置は、普通、２５６　Ｘ２４０のビクセルの底部または基部に達し、大き く激しい運動中、コード化はｔｚａｘｔｚｏレベルで止まる。普通、シーンの変 化中、装置は、ピラミッド内においてより早期に伝送ビットから出てランする、 すなわち数種のピラミッドレベル間で利用できるリストを分割する。かくして、 像またはシーンの大きな変化は、普通、まず、より高いレベルで記述され、詳細 は後のフレームで満たされる。

詳述すると、エントロピーコード化ラチススレッショルド量子化（ＥＣ−ＬＴＣ ）を使用する好ましい階層コード化装置に従うと、コード化は、頂部レベル、す なわち１６Ｘ　１５の像で始まる。歪曲像または背景像の１６Ｘ　１５のパージ ョンは、予測として使用される。これは、何らの追加の情報なしで受信機に創成 される像（デシメーション処理された）に対応することを思い起こされたい０図 １２を参照して説明すると、この頂部レベル予測は、原像の１６Ｘ１５のデシメ ーション処理頂部レベル像から減算される。

その頂部レベルにおける誤差を表わす差像は、量子化され、そして量子化された 情報は、受信機に伝送のためエンコーダ１８に送られる。その後、量子化像は、 １６Ｘ　１５レベルにて予測像に加えられ、１６ｘ　１５の再構成像を形成する 。受信機もこの像を創成する。

より低レベルにおいては、像の予測バージョンは具なる様式で形成される１本発 明に従うと、予測は、下記のように、より高レベルの再構成像および現在レベル 歪曲像から誘導される。

まず、補間誤差像が、より高レベルの歪曲像を補間し、それを現在レベル歪曲像 から減算することによって誘導される。かくして、得られた歪曲補間誤差像は、 本質的に、歪曲像の空間的により高い周波数、すなわちより高レベルの像に存在 しない情報を抽出する。より高レベルの再構成像は、ついで、現在レベルにて補 間された再構成像を形成するように補間される。最後に、歪曲補間誤差像または 背景像が、補間された再構成像に選択的に加えられ、予測像を形成する。歪曲補 間誤差像または背景像は、それが予測を改善する場合使用され、そうでない場合 は使用されない、これはブロック毎の方式で決定され、そして決定は、「サイド 」情報として受信機に伝送される。

その後、この低レベルにおいて差信号を発生するためのステップは、頂部レベル におけるステップと同じである、すなわち、現在レベルの予測像が現在レベルの 原像から減算され、その差が量子化され、受信機に伝送される。その後、量子化 された差は、そのレベルにて予測像に加えられ、新しい再構成像を形成する。こ の手続きは、底部レベルに達するまで解像度ピラミッド中を反復される。底部レ ベルにおける再構成像はそのレベルにおける出力像であり、デコーダにより表示 されるのはその像である。その像はまた、次のフレームに対する歪曲像を形成す るように上述のように利用される。送信機における歪曲像の再構成は、上述のよ うに、再構成回路４日で遂行される。

もしも、底部レベルに達する前に利用可能なビットがすべて使用されてしまうと 、より低レベルにおける予測が、同様になお行われる。しかし、コード化は存在 しない、すなわち、量子化された差の情報は受信機に送られない０代わりに、最 低レベルにおける予測が、そのレベルにおける出力または再構成像として、また 再構成回路４８から線５４を介して誤差再構成像として直接使用されよう。

［階層エントロピーコード化、ラチススレッショルド量子化コード化システムの 詳細］ 図５を参照して説明すると、解像度ピラミッドは、上述のように、例示の実施例 においては像の最高解像度レベルを４回デシメーション処理することによって形 成される０図５に例示される一次元関係においては、低レベルにおけるビクセル の各対は、上部レベルにおける単一のビクセルを形成するように平均化される。

状況は水平および垂直方向において同じであるから、各高レベルの画素は、低レ ベルの２×２のビクセル群の中心に位置づけられる。コード化法はまた、補間法 を使用して、高レベルから低レベルのビクセルを生成することも可能である。補 間プロセスは、例えば、歪曲像および再構成像に適用して、次の低レベルにおけ る処理のための像を得、そして双直線補間法により行われる。補間ファクタは０ ゜７５および０．２５である。

本発明の例示の実施例において、損失性圧縮器２８から伝送のための情報のコー ド化、ならびに、追って詳細に論述されるように、誤差計算モジュール４３から のスカーラーデータのコード化のために、算術的コード化が採用される。１１Ｅ 術コード化は、当業者に十分周知である、特に、このコード化は、非ゼロ変換ま たは他の配列変数の位置を記述するのに適用できて有利である。記号確率は、先 に伝送された値および係数の順序位置に依存して変わる０本発明者の経験によれ ば、オンライン適応性はこの応用においては十分の改善を提供しないから、予め 記憶された確率が採用される。

解像度ピラミッドのコード化をより詳細に考察し、かつ図１２を参照して説明す ると、原および歪曲像は、頂部レベルにて、それぞれ輝度に対して１５Ｘ　１６ のビクセル、クロミナンスに対して８Ｘ８のビクセルの解像度を有する０図１２ は、輝度成分の処理を記述しているが、クロミナンス成分（図示せず）の処理も 同様に例示される、予測像は、最初に歪曲輝度像およびクロミナンス像のそれぞ れ４回のデシメーション処理により得られた頂部レベル歪曲像より成る。予測エ ラーは、原末コード化、頂部レベルデシメーション処理像５１２から予測像５１ ０を減することによって生成される。線５１４上の備差は、固定ステップサイズ を有するスカーラー量子化器５１６によって量子化される。線５１８上の量子化 情報は、同じ算術エンコーダ５２０を使用して、各成分、すなわち、Ｙ、■およ びＱ成分に対して別個にコード化される。算術エンコーダ５２０は、運動ベクト ル変換係数に対しても採用される。エンコーダ５２０は、非ゼロデータ位置をコ ード化するためＭａｒｋｏｖモデルを使用する。エンコーダは、図８に示される ４つの最も近隣の情報に対応するすでにコード化された４つの最も近隣の情報が ０であるか０でないかに依存して１６の状態を有する。非ゼロの値は、８ビツト 量子化指数をビット列にコード化するメモリーレスコーダーによりコード化され る。量子化された差像は、上述のように予測に加えられ、その結果は、頂部レベ ルにおける出力ないし再構成像（線５２２上の）となる。

頂部レベル予測誤差との関連において使用されるスカーラー量子化器５１６は、 ゼロの回りに不感知帯を有する均一量子化器である。この量子化器は、例示の実 施例においては、１ビツトを有する符合および７ビツトを有する大きさをコード 化する。大きさに対するスレッショルド（Ｔ（ｉ））は、下記に位置づけられる 。

Ｔ　（ｉ）　＊　ｉ″Ｔ ｉｌＩｌ、２．、、、、Ｎ　（式１） 再構成レベル（Ｒ（ｉ）　）は下記により定められる。

Ｒ（０）　−０ Ｒ（ｉ）　１ｌ（ｉ＋Ｄｅｌｔａ″Ｒ）　ｉ＊１．２．、、、、、Ｎ　（式２） それゆえ、Ｘの値、ここでＸはＴ（に）より太きくＴ（ｋ＋１）より小さい、が ｋの量子化器指数値に割り当てられ、受信機において値Ｒ（ｋ＋を有するものと して再構成される。

量子化器はまたＯに関して対象的であり、Ｔ（１）より小さい大きさを０に等し くしてすべての値を設定する。

解像度ピラミッドの低レベルに対しては、予測像は、次の高レベルからの出力像 を同じレベルの歪曲像と結合することによって生成される。ついで、予測誤差が 、現在レベルにおける原像の差を取ることによって形成される。差像は、ラチス スレッショルド量子化器を使用してコード化され、量子化された差が予測に加え られ、現在レベルにおける新しい出力像を得る。Ｙ、工およびＱ成分は、３つの 別個の像として処理される。

低レベルをさらに詳細に考察すると、予測像は、現在レベルにおける歪曲像を次 の高レベルにおける出力および歪曲像と結合することによって生成される。詳述 すると、歪曲像の補間誤差が、現在レベルにおける歪曲像５２４と、次の高レベ ルからの歪曲像の補間バージョン（回路２５６により補間される）とを使用して 生成される。かくして、補間誤差は、現在レベル歪曲像と、デシメーション処理 され、補間された同じ像との間の差である、上述のように、これは、次の高レベ ル像を形成するためにデシメーションにおいて失われた歪曲像の詳細部分を含む ０次の高レベルからの出力像は、ついで補間回路５２７で補間され、現在レベル における像を得る。その後、線５２８上の歪曲補間像または背景像が、加算器５ ３により、補間された出力像に条件付きで加えられ、予測を形成する。すなわち 、８Ｘ８のビクセルの各ブロックに対して、二乗誤差が、５３２に記憶される原 像と、３つの可能な予測、すなわち、次の高レベルからの補間された出力像の、 歪曲補間誤差を包含するものとしないもの、および背景像を包含するものとの差 により決定される。

歪曲補間誤差の除去は、予測のための歪曲像を低域濾波することに等価である。

この有効な濾波プロセスは、予測誤差に意味のある減少をもたらさないすべての ブロック、すなわち運動補償が成功しなかったブロックにおいて遂行される。「 ブラーリング（鈍化）」と称される濾波プロセスの効果は、重みファクタ、例示 の実施例においては例えば１．５、と乗算される「鈍化膿差」が、歪曲補間誤差 を使用する誤差よりも低ければ得られる。背景像の使用は、非移動対象が短期間 遮断されるときでさえ、該対象の表示がデコーダにより保持され得るような長期 間メモリに等価である。この背景フレームは、他の選択以上に意味のある利益が 達成されるときにのみ使用されるべきである。それゆえ、その重み付はファクタ は、「ブラーリング」重みよりも２０％〜２５％大きい。

プラール情報は、各８Ｘ８ブロツクに対して１または２ビツト（３状態）ワード を生成する。これは、運動ベクトルフィールドコード化に使用される方法に類似 であり、そしてこれらの２ビツトは、次の２つの間に答える、すなわち、　− ａ）システムは現在の（８ｘ８）ブロックを鈍化するか。

ｂ）ブラーリングが遂行されなければ、歪曲予測または背景像が使用されるべき か。

例えば、１はブラーリングを指示し、０はブラーリングなしを指示する。情報は 、前述したような算術コーダー５３２を使用してコード化され、そして各ワード は１ビツトのみを含むから、一度「ブラール位置マツプ」がコード化されたら、 非ゼロ値をコード化する必要はないブラーリングに対する特定の算術エンコーダ ５３４は、３２状態の一つを対応する確率で選択するために６つの２道変数を使 用する。２進変数は、同じレベルにおける近隣ブロックに対する先にコード化さ れた４つのプラールワード、およびより高レベルの近隣、すなわち現在ブロック に対応する次の高レベルにおけるブロックに対するブラールワードである。かく して、エンコーダは、一つのレベルにおけるブラーリングが低レベルに伝搬する という事実の使用を明示せしめず、代わりに、この関係は、非ゼロの高レベル近 隣情報を有する種々の状態に対して確率で反映される。

予測誤差それ自体は、ラチス量子化器５３６によりコード化される。かくして、 各レベルにて、Ｙ、ＩおよびＱ成分は、３つの別個の像として処理される。各レ ベルに対して生成される別個の像は、かくして４×２のビクー　セルのブロック に分割される。各ブロックは、ついで「ベクトル」となり、そして先ず最も近い 点を決定し、それから、以下に詳細に説明されるようにこの点を割り出すことに よって、ラチス量子化によりコード化される。

残りのレベルは、３０Ｘ　３２のレベルに適用された手続きを使用し、かつ、要 素５２４，５２６，５２７、加算器５３８および要素５３０，５３４および５３ ６の等価な要素を使用してコード化できる。ただし、像データは、好ましい実施 例においては、下記のようにコード化される。

ここに記述されるエントロピーコード化、ラチススレッショルド量子化は、Ｅｒ １ｃｓｓｏｎの米国特許第４．８４９．８１０号に記述されるベクトル量子化に 置き代わる。ベクトル量子化（ＶＱＩコード化をエントロピーコード化ラチスス レッショルド量子化コード化と比較すると、５ｈａｎｎｏ口の理論から、任意的 に設計されたＶＱココ−ブックのサイズおよびディメンションが増大すると、そ の性能は、エントロピーコード化の必要なしに動作上の歪み率限界に近づくこと が分かる。しかしながら、ＶＱプロセスにおける複雑性も、限界なしに増大し、 したがって中庸な複雑性のみで十分な性能を得るために巧妙な方法が使用されな ければならない、　５ｈａｎｎｏｎの意味において最適であるラチス量子化器は 、本発明以前においては、少数のソースおよびディメンションに対してのみ知ら れていた１例えば、２次元において、独立の、同様に分布された均一のソースに 対しては、六角のラチスが最適である。また、独立の、同様に分布されたラプラ シアンソースに対しては方形のラチスがよく作用することも示された。一般的に 、コードレートが高く、指数を伝送するのに効率的なエントロピーコードが使用 されるならば、高い球充填密度を有するラチスが良好に作用することも示されよ う０本願において記述されるもののように、低速度でかつ復元性を有するソース に対して十分の性能を達成することは、唯一の目標であった。

［空間分解像を使用する背景予測の利点］空間分解像の背景予測の使用は、従来 の背景予測システムに優る数種の利点をもたらす、まず、フル解像度背景像にの み基づいて予測誤差を発生することは、再構成像に可視的な切替えによる技巧的 構造部分を生ずることがある。各解像度レベルにおける背景と歪曲像間において 独立的に選択を行うことは、これらの切替えによる技巧的構造部分を低減し、予 測誤差を減少させる。予測誤差の低減は、次の環境において特に意味がある。

（１）シーン内の深い不遭統部における運動の境界部にお（２）背景の正面で動 く透明な前景がある場合。

（３）背景上に移動する影があるとき。

さらに、空間分解は、例えばシーンの迅速な変化後背景像をより迅速に形成する ことを可能にする。好ましい実施例では、まず背景フレームバッファを低解像度 成分でロードする。ついで、更新コントローラ６３および結合回路６２を使用し て、より高レベル解像度成分を、時間の経過とともに漸次加久る。他の実施例に おいては、誤差回路１４は１対の背景フレームバッファ２４９を備えており、各 々異なるシーンの背景像を記憶する０図４に示されるように、共通の更新コント ローラ２６３が、どのフレームバッファが現在シーンの背景を含んでいるかを決 定する。関係する背景バッファを識別するには任意の方法を使用できるけれども 、一つの方法では、フレームバッファ２４４に記憶される先行のフレーム像を各 背景バッファと比較する。先行のフレーム像にもっとも類似する背景像が、現在 背景である０代わりの方法では、基準点信号を監視する。基準点としてもっとも 頻繁に選択されるフレームバッファが、関係するバッファである以上本発明を好 ましい実施例について説明したが、当技術に精通したものであれば、追加、削減 、およびその他の改変によりこれを変更することは、本発明の技術思想内におい て容易になし得るものであることを理解されたい。

土ΔイｆＪＩＩＡソ 要約書 狭帯域チャンネルを介して伝送される像の再生を改善するため、まず儂フレーム がデシメーションレベルの階層に配列される。デシメーション処理された背景デ ータの対応するレベルを現在像データと比較することによって、第１の誤差信号 が生成され、フレーム予測された歪曲データを、これも現在像データと比較する ことによって、第２の誤差データが生成される。これらの２つの誤差信号は、ど ちらのデータが現在像データをより近似的に表わすかを決定するために比較され る。他の実施例においては、運動補償が使用される。

補正書の写しく翻訳文）提出書 （特許法第１８４条の７第１項） 平成４年１１月１１日

Claims (9)

【特許請求の範囲】
1. （１）一連の像フレームを伝送するための方法であって、複数のデシメーション レベルを有し、前記一連の像フレームの背景を表わす背景ピラミッド型データ構 造データを維持し、 複数のデシメーションレベルを有し、先行の像フレームに基づく現在像フレーム の予測を表わす歪曲像のビラミッド型データ構造データを作成し、 前記現在像フレームを表わす現在入力像データをデシメーション処理して、複数 のデシメーションレベルを有する現在像ピラミッド型データ構造データを生成し 、各デシメーションレベルに対して、前記現在像ピラミッド型データ構造データ の各成分を、前記歪曲像ピラミッド型データ構造データの対応するデータ成分と 比較して、第１の誤差信号を形成し、 前記デシメーションレベルに対して、前記現在像ピラミッド型データ構造データ の前記各成分を、前記背景ピラミッド型データ構造データの対応する成分と比較 し、第２の誤差信号を形成し、 前記第１誤差信号を前記第２誤差信号と比較し、この比較に基づいて、前記背景 ピラミッド型データ構造データ成分および前記背景像ピラミッド型データ構造デ ータ成分のいずれが前記前記現在像データ構造の対応する成分をより近似的に表 わすかを決定する諸段階を含むことを特徴とする伝送方法。
2. （２）前記現在像データを、先行の像フレームを表わす先行の像データと比較し 、 この比較に基づいて、前記先行の像の複数のブロックの各々の変位を表わす運動 信号を生成し、該運動信号を前記遠隔受信機に伝送して、該受信機に前記歪曲像 ピラミッド型データ構造データを作成せしめる ことを含む請求の範囲第１項記載の伝送方法。
3. （３）各デシメーションレベルに対して、前記現在像ピラミッド型データ構造デ ータの前記各成分を、ブランク像ピラミッド型データ構造データの対応する成分 と比較して、第３誤差信号を形成し、 前記第３誤差信号を前記第１誤差信号と比較し、この比較に基づいて、前記現在 像ピラミッド型データ構造データ成分および前記ブランク像ピラミッド型データ 構造データ成分のいずれが、前記現在像データ構造の対応する成分をより近似的 に表わすかを決定することを含む請求の範囲第１項記載の伝送方法。
4. （４）前記現在像ピラミッド型データ構造データの各成分に対して、前記ブラン ク像ピラミッド型データ構造データ成分、前記背景像ピラミッド型データ構造デ ータ成分および前記歪曲像ピラミッド型データ構造データ成分のいずれが、前記 現在像ピラミッド型データ構造データの前記成分をより近似的に表わすかを指示 するコードを、前記遠隔受信機に伝送することを含む請求の範囲第３項記載の伝 送方法。
5. （５）前記現在像ピラミッド型データ構造データの各成分に対して、前記現在像 ピラミッド型データ構造データの前記成分をより近似的の表わす対応する成分を 有するデータ構造データに対応する誤差信号を、前記第１、第２および第３誤差 信号から選択することを含む請求の範囲第４項記載のデータ伝送方法。
6. （６）各デシメーションレベルに対して、前記現在像ピラミッド型データ構造デ ータの前記各成分を、ブランク像ピラミッド型データ構造データの対応する成分 と比較して、第３の誤差信号を形成し、 前記現在像ピラミッド型データ構造データの各成分に対して、前記第１、第２お よび第３誤差信号の一つを前記成分に対する誤差信号を表わすものとして選択す ることを含む請求の範囲第１項記載のデータ伝送方法。
7. （７）前記の第１、第２および第３誤差信号の一つを選択する段階が、 前記各誤差信号に対して、誤差信号をコード化するに必要なビット数を評価し、 前記第１、第２および第３信号から、評価された最小ビット数を有する誤差信号 を選択する ことを含む請求の範囲第６項記載の伝送方法。
8. （８）前記のビット数を評価する段階が、各誤差信号に対して、平均二乗誤差信 号に等しい誤差エネルギＥを計算し、 関連する誤差信号が選択された場合受信機に報知するに必要なビット数Ｎを決定 し、 ＥとＮの重み付けされた組合せを、前記の関連する誤差信号をコード化するに必 要なヒット数を表わすものとして計算する ことを含む請求の範囲第７項記載の伝送方法。
9. （９）前記の背景ピラミッド型データ構造データを維持するための段階が、 前記再構成像ピラミッド型データ構造データの各成分に対して、前記成分が最後 に変化してからのフレームの数を決定し、 前記背景ピラミッド型データ構造データの各成分に対して、先攻の成分値と前記 再構成像ピラミッド型データ構造データの対応する成分値との重み付けされた和 に等しい新しい成分値を計算する ことを含み、前記の重み付けされたファクタが前記フレームの数に比例している 請求の範囲第１項記載の伝送方法。