JPH01503509A - 一連の画像を有効に通信するための階層的符号化方法と装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】

一連の画像を有効に通信するための階層的符号化方法と装置 皇見よ企丑里立旦 本発明は一般にデータ通信及び信号処理方式と装置に関し、とくに例えば電話通 信チャネルを介して送信される一連の画像データを確実且つ有効に符号化及び復 号化するための方法と装置に関する。 一連の画像の送信、とくにテレビ信号によって表現化されるような一連の自然に 出現する画像の送信はこれまで厖大な研究の対象とされてきた０代表的には研究 者は一連の連続画像の高度に冗長な性質に依拠し、１の数に近い修正係数を用い て画像データをマルコフ過程としてモデル化することが多かった。三次元のマル コフモデルによって微分パルス−コード変ｍ（ＤＰＣＭ）及び変換符号化技術を 利用してフレーム間の冗長度を考慮に入れる契機が生している。 代表的なムービー・ビデオの性質を分析すれば、連続フレーム間に生じる基本的 な変化はフレーム内の対象の不均質な運動であることは容易に納得できる。この ような空間的に従属した運動を評価し、補整する精密な装置と方法によって、連 続フレーム間の差異だけを表わす信号の送信によって達成できるよりも大幅に性 能が優れたフレーム間のデータ圧縮方式と装置を構成できることも認識されてい る。 その結果、多様な運動補整符号化方式と装置が開発されてきた。 これらのシステムは代表的には受信機準拠型運動補整システムか、送信機準拠型 運動補整システムのいずれかである。受信機準拠型運動補整システムでは、受信 機は運動に関する予測を行ない、予測される運動について先行するフレームを補 整する０次に同様に動作する送信機が、受信機が予測したフレームを修正するに は受信機にて何がなされるべきであるかを設定する誤り信号だけを送信する。誤 り信号は代表的にはその帯域幅を縮小するため符号化される。 送信！！準拠型の運動補整システムの場合は、運動評価過程は送信機だけに於て 行なわれる０画像の種々の領域にわたって一般に変位ベクトルが定められ、次に このデータが誤り情報データ信号と共に受信機に送信される。受信機に於ては、 先ず送信機により供給された運動情報を利用して先に符号化された画像で補整過 程が行なわれる。送信機により供給された誤り信号データは次に画質を維持する ため、上記のように補整された受信機画像に加えられる。 このように送信機準拠型運動補整システムでは複数の変位ベクトルが備えられ、 少な（とも１つの好適な実施例では、それぞれのベクトルは画像の特定の領域な いしブロックと関連している。 ブロックは一般に非重複のブロックであり、例えば８個の画素（ビクセル）×８ 個の画素のサイズである。それぞれのブロックと関連する運動補整データを符号 化するには多様な方法が利用されてきた。ヒンマン氏は、その内容の全容が参考 文献として本明細書に引用されている係属の米国特許連続出願＆７４０．８９８ 号（１９８５年６月３日出願）にて、運動補整変位情報を符号化するための損失 性の（ｌｏｓｓｙ）符号化方式を開示している。 送信機準拠型運動補整システムに於て誤り情報データ信号を符号化するには更に 多くの方式が利用されてきた。上述のヒンマン氏の出願では損失性の圧縮方式と 装置が開示されている。これらの方式は極めて好適であり、優れた成果を上げる ものであるが、データ情報の圧縮を更に改良し、それによって更に小さいチャネ ル帯域幅を用いて高画質の画像再成を可能にすることが希求されている。更に例 えば画像と関連するピント速度を制御することによってデータ送信をより有効に 制御することが望ましい。 例えばシーンの変化中、送信すべき実質的な情報が存在し、それ故、華−のフレ ーム時間中、情報を全て送信するには利用できる帯域幅が不十分であることがし ばしば起る。従って、チャネルを介して送信される情報のビア）数を選択的に制 限するため多様な方法が実行されてきている。これらの方法の１つ、エリクソン 氏の「一連の画像を有効に符号化、復号化する方法と装置」と題する米国特許連 続ｍ００１，３２６号（１９８７年１月７日出願」では、変換係数データセット の一部の伝送と連接したクオツド−ツリー（ｑｕａｄ−ｔｒｅｅ）符号化方式を 利用している。クオツド−ツリー符号化方式は激しい運動又はシーンの変化中の 画像の劣化をより優美なものにする。１９８７年１月７日出願のエリクソン氏の 米国特許連続＆００］、３２６号は全容が参考文献として本明細書に採り入れる れている。 従って本発明の目的は比較的低域の帯域幅を使用して通信チャネルを介して一連 の画像を送信し、高度な確実性と忠実度をもたらすことである０本発明の別の目 的は一連の画像のそれぞれの画像を送信するために使用するピント数を制御し、 一方ではシーン変化中、又は激しい運動中の画像の劣化を優美なものにすること である。本発明の別の目的は、走査される一連の画像のビクセルの変位の正確な 評価を確実に送信且つ受信する運動補整符号化及び復号化方式と装置を提供し、 且つ画像伝送装置内の区域的変化の実時間での正確な判定が可能な改良型の通勤 評価符号化及び復号化方式と装置を提供することである。 ±１廊口ｉ！ 本発明は画像送信システム、とくに送信局から受信局へと一連の画像フレームを 送信するための運動補整画像送信システムに於て、フレーム間の誤差データを符 号化するための方法と装置に関する。この方式は現在の画像予測を表現し且つ複 数９１０進レベルを有する予測角錐データ構造を生成するため現在の画像フレー ムの予測を表現するフレーム間の予測された画像データを１０進化する段階と、 現在の画像を表現し、複数の１０進化レベルを有する現在の画像の角錐データ構 造を生成するため現在の符号化されない画像フレームを表現する符号化されない 現在画像データを１０進化する段階と、予測及び現在画像角錐データ構造に１７ ！層的ベクトル量子化符号化方式をレベルごとのベースで適用し、予測された画 像データと符号化されない現在画像データとの間の差の符号化されたデータ表現 を生成する段階から成っている。 別の局面では本方式はブロックごとのベースのレベルのデータ構造に階層的符号 化方式を適用し、予測された画像データが原画像の該ブロック部分を適切に表現 しない場合は差異表現のブロックをぼやけさせる段階を含んでいる０末男式は更 に符号化の効率を高めるため一連の画像フレームのフレームからフレームへとブ ロック位置の境界を移動させる段階を含む、更に本方式は部分的に符号化された 表現を生成するため演算符号化を利用する段階を含んでいる。 本発明の更に別の局面では、本方式は予測された画像データと符号化されない現 在画像データの間の差異の符号化されたデータ表現を生成するため、レベルごと のベースで予測及び現在画像データ構造に損失性圧縮による階層的符号化を適用 する段階を含んでいる。 この段階は少なくとも１つの低レベルについて、より高いレベルから・の画像デ ータを補間する段階を含んでいる。 本発明の別の局面では、本方式は現在画像フレーム用の予測画像データと、符号 化されない現在画像フレームを表現する符号化されない現在画像データとの差異 をビクセルごとのベースで表現する差異画像を形成する段階を含んでいる。本方 式は更に複数の１０進化レベルを有する差異画像角錐データ構造を生成するため 差異画像を１０進化し且つ予測された画像データと符号化されない現在画像デー タとの間の差異の符号化データ表現を生成するため、レベルごとのベースにて差 異画像角錐データ構造に段層的ベクトル量子化符号化を通用する段階を含んでい る。特定の局面に於ては、本方式はフレーム間の運動補整を利用して予測画像デ ータを形成する段階を含んでいる。 本発明の更に別の局面では、本方式は多次元のデータ値配列として表現されるデ ータ符号化に関し、且つ最も近接するそれぞれのブロックについてゼロ価を有す る全てのデータ値を削除し且つ残りのデータ値にベクトル量子化符号化を適用す る段階を含む。 本方式は別の局面では値を符号化するためデータ値配列のブロックに利得／形状 ベク）・ル量子化を適用し且つ形状と関連する利得の関数としてベクトル量子化 用の形状コードブロックのサイズを変更する段階を含む。 本発明の装置は複数の１０進化レベルを有する予測角錐データ構造を生成するた め、現在画像フレーム用のフレーム間の予測画像データを１０進化するための回 路と、複数の１０進化レベルを有する現在画像角錐データ構造を生成するため、 現在の符号化されない画像フレームを表現する符号化されない現在画像データを １０進化するための回路と、予測された画像データと、符号化された現在画像デ ータとの間の差異の符号化データ表現を生成するため、レベルごとのベースにて 予測及び現在画像角錐データ構造に階層的ベクトル量子化符号化を通用するため の装置がら構成されている。本装置は更に、ブロックごとのベースのレベルのデ ータ構造に階層的符号化方式を通用するための回路及び、予測された画像データ が原画像の該ブロック部分を適切に表現しない場合に差異表現のブロックをぼや けさせるだめの回路を含んでいる。 別の局面では本装置は符号化表現を少なくとも部分的に生成するための演算符号 化を利用する回路と、符号化の効率を高めるためブロックの境界位置を一連の画 像フレーム内の画像から画像へと移動させる回路とを含んでいる。 別の局面では本装置は更に、予測された画像データと符号化された現在画像デー タとの差異の符号化されたデータ表現を生成するため、レベルごとのベースで予 測及び現在画像角錐データ構造に、損失性圧縮階層的符号化を適用するための回 路を含んでいる。 上記の回路は少なくとも１つの低レベルについて、より高レベルからの画像デー タを補間するための素子を備えている。 本発明の更に別の局面では、一連の画像フレームを伝送するための画像伝送シス テムに於てフレーム間の誤差データを符号化するための装置は、現在の画像フレ ーム用の予測画像データと、符号化されない画像フレームを表現する符号化され ない現在画像データとの差異をピクセルごとのベースで表現する差異画像を形成 するための回路を備えている。差異画像を１０進化し、複数の１０進化レベルを 有する差異画像角錐データ構造を生成し、且つ予測画像データと符号化された現 在画像データとの差異を表現する符号化されたデータを生成するためにレベルご とのベースで差異画像角錐データ構造に階層的ベクトル量子化符号化を通用する ための１０進化回路が備えられている。 二型■呈呈星に皿 次に本発明の実施例を添付図面を参照しつつ詳細に説明する。 第１図は本発明に基づく代表的な画像通信システムの電気的構成図である。 第２図は本発明を利用した運動補整画像符号化装置の送信機の電気的構成図であ る。 第３図は第２図の送信機からのチャネル信号を受信するための、運動補整画像符 号化システムの受信機の電気的構成図である。 第４図は標本抽出された運動ベクトルのフィールドのための運動補整装置の電気 的構成図である。 第５圀は空間的補間過程の図表である。 第６図は適応性のある、最も急な降下誤差の最小限化を利用した会話型の空間的 領域通勤評価装置の電気的構成図である。 第７図は改良されたデータ処理構造と共に適応性のある、最も急な降下誤差の最 小限化を利用した会話型の空間的領域通勤評価装置の電気的構成図である。 第８図は変位運動ベクトルの初期値を予測するのに用いられる隣接ブロックの相 対位置の図表的表現である。 第９図は本発明に基づく損失性の圧縮装置２８の構成図である。 第１０図は本発明に基づく損失性の圧′ｆＭ装置４６の構成図である。 第１１図は一次元１０進化過程の図表的表現である。 第１２図は本発明に基づく、損失性圧縮装置４６の詳細な電気的構成図である。 第１３図は適応ろ波装置を育する本発明を利用した運動補整画像符号化装置の送 信機の電気的構成図である。 第１４図は第１３図の送信機からのチャネル信号を受信するための運動補整符号 化システムの受信機の電気的構成図である。 第１５図は本発明の一局面に基づく、損失性圧縮装置の別の実施例の概略構成図 である。 λ里生■坦星版ユ 第１図を参照すると、通信システム６は本発明の実施例に基づき、ビデオ信号を アナログ−デジタル変換器及びフレーム・バッファ１２に供給するカメラ１０を 有する送信機８を備えている。 アナログ−デジタル変換器及びフレーム−バッファ１２のフレーム・パフフッ部 は、例えば２５６Ｘ２４０ピクセルの格子に８ビツト抽出されたビデオのフルフ レームを記憶する能力を有している。 符号化及び運動補整プロセスは全てデジタル領域で行なわれる。 送信機は誤差信号回路１４と通勤評価及び符号化回路１６とを有している。チャ ネル符号器１８は誤差回路１６と通勤評価及び符号化回路１６の出力をチャネル 符号化し、このように符号化されたデータを受信機２１への送信チャネル２０へ と伝送する。 本発明の実施例に基づく第１図に図示した通勤評価及び符号化回路１６　（第２ 図も参照のこと）は＆１２２を介して得られる現在のオリジナル入力フレーム画 像と、本実施例ではフレームバッファ２４から得られる以前のオリジナル入力画 像とを比較する。運動評価回路２６は、そこに入る入力フレーム間の運動変位の 測度を生成し、これは公知の多くの通勤評価装置のいずれでもよい。 以下に説明する実施例では、通勤評価装置は、その内容の全容が参考文献として 本明細書に採り入れられているヒンマン氏の米国特許１に４，６６１，８４９号 に開示されている適応性のある、最も急な降下誤差を最小限にするための方式を 用いて運動変位測度を生成する。 通勤評価装置２６の出力は運動ベクトルのフィールドであり、こ枕は前述のとう り入力フレーム間の運動変位の測度を提供する。 このベクトル・フィールドは、バッファ２４からの以前の入力フレームないし入 力画像を線２２をりして如何にして現在の入力フレーム又は画像と最も近位する 画像に写像するかの設定を行なう。 「最も」という意味は例えば平均二乗誤差の誤差測度のような誤差測度のことで ある０代表的には図示した実施例のように、通勤評価装置は以前及び現在の入力 画像の非重複ブロック間の領域適合技術を利用している。現在画像の領域につい て運動が生じたとすれば、評価装置は以前の画像のなかのどのブロックが、以前 の画像のブロックと最も適合するかを判定し、変位の値は現在画像内のブロック の新規の座標対偶と、以前の画像内のブロックの元の座標対偶との差である。そ の判定によって現在の画像内のブロックに関連する運動ベクトルが規定される。 −Ｓにシーンは一定時間を通して均一に動くいくつかの大きな対象から成ってい るので、運動ベクトル・フィールドには高度の相関関係が存在する。送信での冗 長情報を避け、且つデータピントの需要を縮減するため、本発明の実施例は運動 ベクトル・フィールドを修正することによっていくつかの情報を損失して運動を 表現するデータの圧縮を促進する６図示した実施例ではこの動作は「損失性の圧 縮装置」２８によって行なわれ、これはデータ量を縮減し、ひいては運動ベクト ル・フィールドを表わすのに必要な幅域暢を縮小する。運動ベクトル・フィール ドと天然画像の類僚性に留意すると、ベクトル・フィールドの２つの独立した成 分の予測的、変換又は補間的な符号化を損失性圧縮袋２２８に利用することがで きる。 このように、損失性圧縮回路２８は線３２を介して得られる運動ベクトル・フィ ールドの符号化のために利用され、線３０を介して運動ベクトルを表現する符号 化された運動信号を提供する。 上述のように、損失性圧縮装置のこの出力は、復号化の際に線３２を介した信号 （これは運動変位の測度を提供する。）を正確に再生するものではなく、従って 上記信号に関していくつかの誤差信号を有している。にもかかわらず、例えばＰ ＣＭ精確精確符号化方圧較した場合、損失性圧縮装置のデータ需要のｗ３減は極 めて重要であるので、損失性圧縮装置を利用することは著しい進歩である。１つ の好適な損失性の圧縮回路は離散的余弦変換を利用し、且つこの回路は「最小限 のブロック化部品を用いてブロック処理にデジタル化信号処理システムを適用す る方法とシステム」と題する係属の米国特許連続番号＆７４０，８０６号（１９ ８５年６月３日出願）に開示されている処理方式を採用している１発明者はヘン リフ・マルバ−氏である０本出願の出願人に謹製された前記出願は本明細書に参 考文献として全容が引用されている。 本発明の図示した実施例では、損失性圧縮回路２８はブロック変換を備え、且つ 変換された運動ベクトル・フィールドを設定するのに必要なビット数（帯域幅） を縮減するための付加回路を含んでいる。このようにして損失性の圧縮装置は、 運動ベクトル・フィールドを規定する変換係数が「デジタル化」される量子化ス テップのサイズ（及び必要ならばしきい値）を変更することができ、もって量子 化ステップのサイズ又はしきい値のいずれか（又は両方）の値が増大しても出力 ビットの数は縮小される。損失性圧縮装置は更に、マルコフ過程としてモデル化 されている変換係数に通用される演算符号化を用いている。この符号化方式によ って、例えば「一連の画像を存効に通信するための方法と装置」と題するヒンマ ン氏の係属中の、出願連続ｋ　７４０．８９８号（１９８５年６月３日出＠）に 開示されているシステムの出力よりも出力ビットを大幅に縮減できる。本出願の 出願人に譲渡されている前記出願の全容は参考文献として本明細書に引用されて いる。 損失性の圧縮回路の出力は前述のとうり線３０を介して符号器１８に送られる。 更に、これらの信号は誤差回路１４に使用され、チアネル内に誤差がない場合に 受信機が何を受信したのかが判定され、それにより予測誤差信号、すなわち受信 機が線３０を介して符号化された運動信号の表現に基づき予測したものと、真の 画像入力との差を表わす信号が判定される。 線３０を介した損失性比較装置の出力は、線３２上の運動変位の測度、すなわち 運動ベクトルを表わす信号を出力にて生成するために再構成回路３４によっ利用 される。線３６を介した信号と、再構成回路の出力と線３２を介した信号との間 の差異は、損失性圧縮装置２８により導入される符号化誤差を表わす、線３６を 介した再構成装置３４の出力は運動フィールド補間回路３８に送られ、前記回路 は空間領域に於てそれぞれの画素と運動変位ベクトルを結びつける動作を行なう 。かくして、線３６を介した入力信号は画素の群又は領域、例えば４×４ブロツ クの画素に関する運動変位を表わし、一方後に詳述する運動補間装置は上記デー タを分解して、それぞれの画素と運動変位ベクトルとを結びつける。 その結果生じる線４０を介した運動フィールド補間装置の出力は運動再構成信号 と称する。 運動再構成信号は誤差再構成ループ４３の一部を形成する運動補整装ｒＬ４２に 送られる。誤差再構成ループは、フレーム・バッファ４４と、損失性圧縮回路４ ６と、再構成回路４８とを含む。 線２２と線５１をそれぞれ介した損失性圧縮回路４６への入力は現在のフレーム 用のオリジナル入力画像と、評価された受信機信号、すなわちその他のデータが ない場合は受信機が再構成し且つ表示する信号である。損失性比較装置４６はオ リジナル入力画像と評価された受信機信号との差異を縮小し且つ基本的には除去 するため受信機に更に別の符号化されたデータ、すなわち誤差再構成信号を供給 する。この差異はその帯域幅を縮小するために符号化され、その結果生じた信号 、すなわち線５２を介した誤差再構成信号はチャネル符号器１８に送られる。前 述のエリクソン氏の特許出願に開示された損失性圧縮装置４６は均一の量子化ス テップサイズを有する量子化装置を用いた二次元ブロック符号器である。更にブ ロック変換の出力は好適に、損失性圧縮装置２８と関連して前述したプロセスに 基いて帯域幅を更に縮小して符号化することができる。しかし、本発明の好適な 図示した実施例では、損失性圧縮装置４６を実現するため階層的ベクトル量子化 符号化方式及び装置を使用している。 誤差再構成信号は更に、損失性圧縮装置４６による動作とは逆の動作を行なう再 構成装置４８に送られる。従って再構成装置４８の出力にて線５４を介して誤差 再構成画像が生成される。この誤差再構成画像は運動補整装置の予期される出力 （すなわち線５１を介した評価された受信機画像）に加えられ、且つその結果生 じた信号、すなわち評価された以前の受信機画像（以前のフレーム用の予測され た受信機画像）はフレーム・バッファ４４内に記憶される。 上述のとうり、フレーム・バッファ４４への入力は評価された以前の受信機画像 である。受信機により受信された全てのデータを考慮に入れたこの受信機画像は フレーム用の再構成受信機画像と対応する。線６４を介したフレーム・バッファ からの画像出力は、運動補整回路４２が線４０を介した運動フィールド補間装置 ３８の出力に従うて修正する画像である。かくして運動圧縮装置４２は、損失性 圧縮袋ｆｆ２８からの出力データの再構成の結果として、予測された受信機画像 を表現する。 第３図を参照すると、受信機２１にて、チャネルからのデータはチャネル符号器 回路７０によって符号化され、且つその結果生じた線７２を介した受信機誤差再 構成信号と、線７４を介した受信機符号化運動信号表現は再構成回路７６と運動 補整装置９９と再構成回路７８にそれぞれ送られる。再構成回路７６と７８は後 に詳述するとうり、送信機の再構成回路４８と３４のそれぞれによって行なわれ る動作を実行するため、送信機が使用するコードの符号化をそれぞれ行なう。誤 差再構成回路７６の出力は回復ループ８０に送られ、そこで線８２を介した運動 補整信号が線８４を介した誤差画像表現に加えられて線８６を介した再構成受信 機信号が生成される。この信号はデジタル−アナログ回路９０に送られ、そこか ら観察用のモニタ９２に送られる。 運動再構成信号は第２図の運動フィールド補間装置ｉ３８に対応する運動フィー ルド補間装置！９６によって生成される。上述のように運動フィールド補間装置 は画像のそれぞれの画素に運動ベクトルを付与し、従って、フレーム補間装置が 受信されたフレームの任意の選択された時点で画像がどうであったかを正確に予 測することを可能にする。綿８６を介した再構成受信機画像はフレーム・バッフ ァ９８内に連続的に記憶され且つ運動補整装置９９に送られ、この装置は更に運 動フィールド補間装置９６からの信号を受ける。誤差修正がない場合に予期され る受信機画像を表現する運動補整装置の出力は送信機内の線５１を介した信号と 対応し且つ線８４を介した誤差再構成回路の出力と結合するために加算器１００ に送られる。 第２図°及び第３図の送信機及び受信機回路は例えば前述の係属出願連続番号７ ４０．８９８号及び００１．３２６号に記載されているような多くの実施形態に 変更可能である。送信機と受信機構造のこれらの変型された実施例は異なる通信 構造に利用可能であるが、本明細書に開示され、特許請求されている階層的符号 化システムに関する本発明は、使用している特定の送信機構造に従属するもので はないので、上述の代表的な送信機及び受信機構造と関連させてのみ説明する。 ｌ　フｌ−ルド　日ｌ＋“　３８．９６第４図を参照すると、運動フィールド補 間装置３８は再構成回路３４から、線３６を介して画像のそれぞれのブロック領 域用の運動変位ベクトルを受ける０例えばカラー・テレビジョン、ビデオ信号の 場合、代表的なルミネッセンス画像は８×８ピクセルのブロック・サイズを有す ることができ、一方代表的なりロミナンス画像は４×４ビクセルのブロック・サ イズを有することができる。そこで、選択された補間方法を利用した運動フィー ルド補間装置はフレームのそれぞれのピクセルと補間された運動ベクトル変位値 を関連させる。 本発明の好適な局面に基づき、それぞれのピクセルと変位値を関連させるため二 乗余弦補間関数が用いられる。補間関数は１３０にて記憶される。入力ベクトル ・フィールドはバンファ１３２に記憶され、ブロック寸法に対応した低解像度を 有している。 このように、本発明のこの局面に基づき、再構成回路３４からのそれぞれの変位 ベクトルは多重ピクセル領域の中央と関連する。 かくして、第５図を参照すると、４Ｘ４ブロツク領域については、補間ベクトル は中央位置、すなわち位置４００．４０２．４０４と関連し、これらは４×４ブ ロックではいずれかの１つの画素とは関連しない。 ベクトル補間装置１３４（第４図）によって実行される補間プロセスはＸ及びＹ の両方向で行なわれる。かくして、４０００位置を中心とする４×４ピクセル・ ブロック領域と関連した変位ベクトル及び例えば位置４０２を中心とする領域と 関連した対応する変位ベクトルはＸ方向に関して補間されることができ、一方、 位置４００と４０４を中心とする領域での変位ベクトルはＹ方向に関して利用す ることができる。一般にこの補間プロセスは当該のポイントにて変位ベクトル値 を誘導するため、該ポイントを囲む複数の変位ベクトルを用いる。かくして、Ｘ 及びＹ方向の補間された変位ベクトル価は、画像のそれぞれのピクセル用に用い られた補間関数に基づいて、ベクトル補間装置ｌ！！１３４によって割当てられ る０本発明の別の実施例では、二乗余弦以外の補間関数を用いることができる０ 例えば、直線補間関数又は台形型の補間関数を用いることができ、後者は計算の 負荷を軽減するために用いられる。 送信機運動フィールド補間装置３８又は受信機運動フィールド補間装置９６（こ れは補間装置と同様の態様で動作する）の出力は送信機内のフル・モーション補 整回路４２及び受信機内のフルモーション補整回路８０に送られる。フレームバ ッファ４４と９８のそれぞれからの入りフレーム画像データ及び運動フィールド 補間装置の出力データを用いてフル・モーション補整回路４２と８０は送信機に 於て、線５１を介して評価された受信機画像を生成し、且つ受信機に於て、線８ ２を介して受信された評価画像を生成する。運動補整回路はそれぞれの出力ピク セル位置を前記出力ビクセル位置に関連する変位ベクトル値によって指示された 以前のフレーム内の位置に写像する。変位ベクトルはこれと関連する運動フィー ルド補間回路によって指定される。第４図を参照すると、とくにこれはベクトル 補間装置１３４の出力である。 しかしその結果、新たな画像フィールドのいくつかの座標位置については、ピク セルからの写像は格子位置に入らない以前のフレーム内に配位される。すなわち 、補間された運動変位ベクトルは例えば１×の画素の運動を要求できる。これら の例では、運動補整装置は空間的（又はピクセル）補間、例えば非整数位置を囲 む２×２ビクセル・ブロックの直線的空間的補間を用いて以前のフレームからの ピクセル値を判定する。別の補間関数も勿論利用可能であり、例えば以前のフレ ームの非整数座標用に選択された値は、それに最も近いピクセルの値であること ができる。あるいは二乗余弦補間関数も利用可能である。 運動フィールド補間装置３８と運動補整装２４２はハードウェア、ソフトウェア 又はハードウェアとソフトウェアの組合わせにて実現可能である。補遺Ｂとして 本明細書に添付されているのはルミネッセンス（８×８ブロツク領域）とクロミ ナンス（４×４ブロツク領域）信号が処理されるカラービデオ信号処理装置のソ フトウェアによる実施例である。 昌　壮２８ 本発明の実施例に基づき、損失性圧縮回路２８は通勤評価出力信号を符号化する ためブロック変換符号化方式を利用している。 通勤評価回路２６の出力は基本的に高度に相関した画像の外観を有し、それぞれ の画素は視覚的画像の一部ではなく、むしろ変位値を表わす。 本発明の図示した実施例では、損失性圧縮回路２８は離散型余弦変換を利用して いる。そこで回路２８は例えば通勤評価回路２６の変位ベクトル出力に動作して 係数データを提供し、次にこのデータは適合的に閾値及び均一量子化プロセスに かけられる。この環境のもとで、再構成回路３４は次に公知の逆の離散型余弦変 換を利用する。 １９８５年６月３日付でヘンクリ・マルバ−の名で出願され、本発明の出願人に 譲渡されている前述の係属米国出願連続番号７４０．８０６号に開示されている ように、本発明の更に別の局面では、上述の変換方式を更に改良してブロック符 号化のための部品を大幅に縮減する処理技術を利用することができる０本発明の 更に別の実施例では１９８５年３月１９日出願の、本発明の出願人に譲渡されて いる、短空間フーリエ変換を用いた多次元信号処理の方法と装置に関する米国出 願連続番号７１３，４７８号に記載されているような短空間フーリエ変換を利用 して、損失性圧縮装置を実現することができる。上述の米国特許出願の明細書は 全容が参考文献として本明細書に採り入れられている。 損失性圧縮回路２８はチャネル符号器１８に供給されるピント速度出力を制御し 且つ縮小するためのデータ帯域幅圧縮素子を含んでいる０本発明の実施例に基づ き第９図を参照し且つ、損失性圧縮装置Ｉ２Ｂを詳細に吟味すると、損失性圧縮 器への入力が送られるブロック変換回路により、空間領域内のそれぞれのブロッ クは変換係数の配列へと変′換される。（そのいくつか又は全てはゼロでもよい 、）次にこれらの係数は量子化され、必要ならば非ゼロ係数の数を更に縮減する ためにしきい値プロセスにかけられる。 本発明に基づき、しきい値の増大及び（又は）量子化ステップ・サイズの増大は 符号化されるべき非ゼロ係数の数を縮小し且つ更にブロック変換方式により係数 出力を設定するのに必要なコード語の長さを縮小する。 本発明の実施例に基づき、フレーム用の量子化ステップサイズはフレームの符号 化に先立ち好適に予測される。量子化予測及び制御回路４５２は、線１８８を介 して運動評価装置から供給される運動信号内の工ふルギに応じて、損失性圧縮装 置２８によって利用される。 予測された量子化ステップ・サイズを利用して、損失性圧縮装置は４５４にて、 例えば演算符号化技術を利用して残りのブロック変換係数を符号化する。ファク シミリの分野で公知のこの技術は、非ゼロ係数の位置を有効に符号化するために 利用される。可変長装置４５６は再度演算符号化技術を利用して、伝送される量 子化された非ゼロ配列の係数値を符号化して、チャネル符号器１８に可変長コー ドデータを提供する。（次に、損失性圧縮装置が量子化器符号化データを再構成 回路に、又、全ての演算符号化データをチャネル符号器だけに供給する。 動作の際には、更新されるべく選択されたそれぞれの変換されたブロックの係数 は、最初のしきい値設定を前提として、予測された量子化ステップサイズを利用 して量子化される。このように圧縮プロセスはいくつかの動作から成っている。 すなわち量子化、再構成、コード語生成及びビット・ストリーム生成である０図 示した実施例では量子化、再構成及びコード語生成は一緒に行なわれる。 ブロックと関連するそれぞれの変換係数については、係数値は前述のとうり、し きい値しゃ断を受け、その後で量子化される。 本実施例で用いられている量子化器は均一量子化器であり、しきい値及び量子化 器ステップ・サイズは前述のように決められる。 代表的なしきい値は量子化ステップサイズの１．５倍であり、量子化される信号 の予期される波高値は図示した実施例では２５６の等しいステップに分割される 。それぞれの変換係数は先ずしきい値と比較される。係数価がしきい値よりも大 きい場合は（正または負のいずれかで）、係数は量子化され且つ符号化される。 価がしきい値より低い場合は係数はゼロにセントされ、符号化はされない。 量子化される係数の値は逆ステップサイズが乗算される０図示した実施例で、量 子化された値が８ビツト以上である場合は係数値は最大許容８ビット価までしゃ 断される。（図示した実施例では＋１２７又は−１２８）そこでこの値は送信機 可変長コード語を誘渾するため送信機にて演算符号化用の入力として用いられる 。 ８ビツトコード語の値は更に送信機にて変換係数を再構成するために用いられる 。量子化された係数値にはステップサイズが乗算され、それぞれの伝送されるブ ロック用の関連再構成回路に利用される。図示した実施例では、画像フレームと 関連する全ての係数には同一のしきい値及び量子化器ステップサイズが用いられ る。 更に、フレームの全ての係数には同一のコード語探索テーブルが用いられる。 それぞれの変換係数の量子化は総合的な符号化プロセスの一部として４５４にて 行なわれる。コード語は、送信された振幅コード語のそれぞれが対応する変換配 列位置を識別する。 前述のとうり、損失性圧縮装置によってそれぞれのフレーム内のビー／　）数は 一部レベルに限定される。後に説明するように、可変長コードを使用することよ り、生成されるビット数を正確に予測することは不可能であり、そこで問題は「 軽微」なものではない。バッファ内にビット・ストリームを集め、フィードバッ ク機構によってあふれ又は下位けたあふれを防止する伝統的なアプローチにはバ ッファ遅延時間が長いという欠点がともなう０本発明の実施例では、所定のビッ ト数が、運動フレームのエネルギに応じて量子化器のステップサイズを予測する ことによって近位値概真される。 量子化ステップサイズの予測と符号化と複合化はハードウェア、ソフトウェア又 は両者の組合わせで行なうことができる。本明細書に補遺り、Ｅ及びＦとして本 方式のソフトウェアによる実施例が添付されている。 携迭ＩＥＪｉ■６

【１旦 前述のとうり、損失性圧縮装置４６は入力として線２２を介したオリジナルの符 号化されない信号と、線５１を介した評価された受信機画像を表わす信号を受け る。損失性圧縮機４６はこれらの信号を相互の差異を符号化するために使用し、 線５２を介して符号化された誤差再構成信号を出力する。この信号は運動補整シ ステムによって適正に保証されない誤差の大部分を修正する０本発明の実施例で は、階層的ベクトル量子化器符号化方式とそのための装置が使用される。しかし 、別の実施例では、後述のように１０進化された角錐構造と補間を利用し７た別 の階層的方式を使用することができる。 さて第１０図を参照すると、線５１を介した評価された受信器画像（しばしば「 ワーブされた」画像と称される）と、線２２を介したオリジナルの符号化されな い画像が１０進化回路５０２．５０４のそれぞれにより４度１０進化される。（ すなわち後述するようにろ波され、二段抽出される。）それぞれの１０進化段階 で、画像は水平及び垂直の双方で２つの因子によって二段抽出される。このよう に、ルミネッセンス画像では、図示された実施例ではルミネッセンス用に２５６ Ｘ２４０．１２８Ｘ１２０．６４×６０．３２Ｘ３０及び１６Ｘ１５の画素の解 像度の５段階のレベルの画像が得られる。異なる画像解像度における画像のセッ トは一般に「解像度ピラミント」と称される。角錐（ピラミッド）の基底は完全 解像度画像であり、一方角錐の頂部は図示した実施例では１６Ｘ１５ビクセル画 像である。 カラー画像の「１」及びｒＱＪクロミナンス成分についても同様の解像度ピラミ ッドが形成される。しかし、以下の説明では画像のルミネッセンス成分だけを論 じることとする。画像のクロミナンス成分についても同じ装置と処理段階を通用 することができる。 階層的システムに基づいて、ワーブされた画像とオリジナルの符号化されない画 像との画像差異の符号化はレベルごとのベースにて、解像度ピラミッドの最高レ ベルから最低レベルまで符号化回路５０６にて行なわれる。このプロセスはビデ オ送信用に追加ビットが得られないときにその解像度にて終端する。かくしてゆ るやかな運動中はシステムは２５６Ｘ２４０ピクセルの最低もしくは基低レベル に達し、一方、激しい運動中は１２８Ｘ１２０のレベルにて停止することが一般 的であるや通例はシーン変更中に装置はピラミッド内で送信ビットをより早く使 い果たす、がくして一般に画像ないしシーンの大きな変化が先ずより高いレベル にて設定され、細部はより後のフレームに充填される。 より詳細に述べると、ベクトル量子化を利用した好適な階層的符号化システムに 基づき、符号化はトップレベル、すなわち１６×１５の画像にて始まる。ワーブ された画像の１６Ｘ１５バージ；ンが予測として用いられる。このことは追加情 報がないときに生成される画像（１０進化された）と対応することを想起された い、このトップレベルの予測はオリジナル画像の１６Ｘ１５の１０進化されたト ップレベル画像から減じられる。そのトップレベルでの誤差を表わす差異画像は 量子化され、且つ量子化された情報は受信機に伝送するため符号器１８に送られ る。その後、量子化された差異画像は１６Ｘ１５のレベルにて予測画像に加えら れて、受信機も生成する１６Ｘ１５の再構成画像が形成される。 より低いレベルでは画像の予測バージョンは異なる様式で形成される０本発明で は、予測は高いレベルの再構成された画像及び現在レベルのワーブされた画像か ら次のように誘導される。 先ず補間誤差画像が、より高レベルのワーブされた画像を補間し、それを現在レ ベルのワーブされた画像から減じることによって誘導される。かくして、その結 果性じたワーブされた補間誤差画像はワーブされた画像の空間的により高い周波 数、すなわちより高いレベルの画像にはない情報を抽出する。次により高いレベ ルの再構成画像は補間され、現在のレベルで補間された再構成画像が形成される 。最後に、ワーブされた補聞誤り画像が補間された再構成画像に連合的に加えら れ、予測画像が生成される。しかし、後述するように、ワーブされた補間誤差画 像は、それが予測を向上する場合にのみ用いられ、他の場合には用いられない。 それはブロックごとのベースで決定さね５、その決定は「サイド」情報として受 信機に伝送される。 その後、このより低いレベルでの差異信号を生成する段階は、トップレベルにお ける場合と同様である。すなわち、現在レベルの予測画像が現在レベルのオリジ ナル画像から減じられ、その差異が量子化されて受信機に伝送される。その後、 量子化された差異がそのレベルで予測画像に加えられ、新たな再構成画像が形成 される。この手順は基底レベルに達するまで解像度ピラミッドを通して反復され る。基底レベルでの再構成画像はそのレベルでの出力画像であり、復号器により 表示されるのはその画像である。 その画像は前述のとうり次のフレーム用のワーブされた画像を形成するためにも 用いられる。送信機でのワーブされた画像の再構成は前述のように再構成回路４ ８によって行なわれる。 基底レベルに達する荊に利用できるビットを全て使い果した場合は、より低レベ ルでの予測は同様の方法にて生成される。しかし符号化情報すなわち量子化され た差異情報は受信機に伝送されない、その代りに、最低レベルでの予測が再構成 回路４８から直接的にそのレベルでの出力すなわち再構成画像として、及び誤差 再構成画像として線５４を介して利用される。 １Ｐ・ベクトル　イ７り６′システムのｆ！細なＵ気１１図を参照すると、この 実施例では画像の最高解像度レベルを４度１０進化することによって解像度ピラ ミッドが形成されている。 第１１図に示した一次元の関係では、より低レベルでの各ビクセルの対偶は平均 化され、より高レベルでの単一ビクセルを形成する。これは水平と垂直の双方で 同様であるので、それぞれのより高レベルの画素は低レベルの２×２ビクセル群 の中央に位置している。この符号化方式によって更に補間手順を利用して、高レ ベルから低レベルのピクセルが形成される。補間プロセスは例えばワーブされ再 構成された画像に適用され、次に低いレベルの処理用の画像が得られる。これは 、双線形の補間方式によって行なわれ、補間係数は０．７５と０．２５である。 本発明の図示した実施例では、損失性圧縮装置２８からの伝送用の情報の符号化 と、後に詳述するように、損失性圧縮装置４６からのスカラデータの符号化の双 方に演！符号化方式が用いられる。演算符号化は当業者には公知である。とくに この方式は非ゼロ変換又は他の配列変数の位置設定に好適に適用することができ る。記号確率は係数の以前伝送された値と順次位置に応じて変化する０発明者の 経験ではオン・ライン適合によってはこの用途ではさしたる向上がみられないの であらかじめ記憶された確率が用いられる。 第１２図を参照し、解像度ピラミッドの符号化をより詳細に考察すると、オリジ ナル及びワーブされた画像はトップレベルでは、ルミネッセンスについては１５ Ｘ１６ビクセルの解像度を、又、クロミナンスについては８×８ビクセルの解像 度をそれぞれ有する。第１２図はルミネッセンス成分の処理を説明している。ク ロミナンス成分の処理（図示せず）も同様に図解することができるや予測画像は ワームされたルミネッセンス及びクロミナンス画像をそれぞれ４度１０進化する ことによって当初得られたトップレベルのワーブされた画像から成っている。予 ＠誤差は予測画像５１０をオリジナルの、符号化されない、トップレベルの１０ 進化された画像５１２から減じることによって生成される。線５１４を介した画 像差異は固定ステップサイズを有するスカラ量子化器５１６によって量子化され る。線５１８を介した量子化された情報は、運動ベクトル変換係数用にも用いら れる同じ演算符号器５２０を使用してＹ、Ｉ及びＱのそれぞれの成分につき別個 ムこ符号化されるや符号器５２０は非ゼロデータ位置を符号化するためマルコフ モデルを利用する。符号器５２０は、第８図に示した４つの最も隣接するブロッ クと対応する既に符号化された４つの最も隣接するブロックの値がゼロであるか 非ゼロであるかによりて、１６の状態を有している。非ゼロ値は８ビツト量子化 指標をビットストリームへと符号化するメモリレス符号器によって符号化される や量子化された差異画像は前述のように予測に加えられ、その結果、トップレベ ルにて出力すなわち再構成画像が（線５２２を介して）生成される。 トップレベルの予測誤差と関連して用いられるスカラ量子化器５１６はゼロの周 囲に不動作ゾーンを有する均一量子化器である６しきいイ直（Ｔ　（ｉ））は、 Ｔ（ｉ）＝ｉチＴ ｉ＝ｌ、２．・・・Ｎ　（方程式１） に位置する。 再構成レベル（Ｒ（ｉ）　）は、 Ｒ（ｏ）＝Ｏ Ｒ（ｉ）＝　（ｉ”デルタ”Ｒ）ｉ＝１．２．・・・Ｎ（方程式２） によって定められる。 従って、Ｘの（＋！！（ＸはＴ　（ｋ）以上であるが、Ｔ（ｋ＋１）以下である ）量子化器の指標値ｋに代入され、受信機にてＲ（ｋ）の値を存するように再構 成される９量子化器は更にゼロを中心として対称であり、全ての値にゼロに等し いＴ　（Ｊ）以下の絶対値を設定する。 本発明の実施例に基づき、上記の方程式に従って量子化を行った後、量子化器５ １６は全てのゼロ値に囲まれた小さな非ゼロ値を除去する。価をゼロに設定する ための判断基準は、それが最も小さい非ゼロ振幅（すなわちプラス又はマイナス １の量子化指標）に量子化されたこと及びその８つの連結した隣接したブロック がゼロ値に量子化されることである。この手順によって演算符号器のアドレス指 定効率を高め、且つ画像内に不規則に現われる、すなわち「ポツプ」するブロッ クの印象が少なくなる。 より低いレベルの解像度ピラミッドについては、予測画像は次に高いレベルから の出力画像を同レベルのワーブされた画像と結合することによって生成される０ 次に現在レベルでオリジナル画像の差を取り出すことによつて予測誤差が形成さ れる。利得／形成ベクトル量子化器を用いて差異画像が符号化され、量子化され た差異が予測画像に加えられて、現在レベルでの新たな出力画像が得られる。Ｙ 、Ｉ及びＱ成分は３つの別個の画像として処理される。 より低レベルをより詳細に考察すると、予測画像は現在レベルでのワーブされた 画像を次に高いレベルの出力及びワーブされた画像と結合することによりて生成 される。すなわち、ワーブされた画像の補間誤差は現在レベルでのワーブされた 画像５２４と、次に高いレベルからのワーブされた画像の補間されたバージョン （回路５２６によって補間される）とを用いて生成される。このように、この補 間誤差は現在レベルのワーブされた画像と、１０進化され補間された同し画像と の差異である。前述のように、この補間誤差は１０進化で損失されたワーブされ た画像の細部を含み、次に高いレベルの画像を形成する０次に高いレベルの出力 画像はそこで補間回路５２７で補間され、現在レベルでの画像が得られる。その 後、線５２８を介したワーブされた補間誤差は加算器５３０によって条件付で補 間された出力画像に加算され、予測画像が形成される。すなわち、８×８ビクセ ルの各ブロックごとに、５３２に記憶されているオリジナル画像と、２つの可能 な予測との間で二乗誤差が判定される。すなわち、ワーブされた補間誤差を含ん でいる次に高レベルからの補間された出力画像と、補間誤差を含まないそれとの 間の誤差である。 ワーブされた補間誤差の除去は、予測用のワーブされた画像を低域フィルタにか けることによって行なわれる。この有効なろ波プロセスは予Ｓ誤差の大幅な減小 をもたらす全てのブロック、すなわち運動補整が成功しなかったブロックにて行 なわれる。「ぼやけ誤差（Ｂｌｕｒｒｅｄ　ｅｒｒｏｒ）と、本発明では１．５ である重み係数を乗じて、ワーブされた補間誤差を用いた誤差以下であるならば 、「ぼやけ（ｂｌｕｒｒｉｎ４）　ｊと称するろ波プロセスの成果が達成された ことになる。更に、８×８ブロツクが１つのレベルでぼやけた場合、ぼやけは画 像の該部分に対応するより低い全てのレベルに通用される。すなわち、改に低い レベルで、ぼやけは１６Ｘ１６ピクセルの領域を生じせしめ、より低いレベルで は３２Ｘ３２ピクセルの領域を生じせしめる。 ぼやけ情報は８×８ブロツクのそれぞれごとに１ビツト語を生成する。例えば、 １はぼやけを示し、ゼロはぼやけなしを示す。 この情報は前述のようｔ演算符号Ｂ５５４を用いて符号化され、それぞれの語は １ビツトだけを含むので、「ぼやけ位置マツプ」が一旦符号化されてしまうと非 ゼロ値を符号化する必要はない。 ぼやけ情報用の特定の演算符号器５３４は５つの二進変数を用いて対応する確率 で３２の状態の１つを選択する。二進変数は同レベルの隣接ブロック用の４つの 以前に符号化されたぼやけ語と、より高レベルの隣接ブロック、すなわち現在ブ ロックと対応する次に高いレベルでのブロック用の１つのぼやけ語である。この ように符号器は１つのレベルでのぼやけがより低いレベルに伝播するという事実 を明白に利用するのではなく、この関係は非ゼロの高いレベルの隣接ブロックを 存する種々の状態のための確率に反映される。 予測誤差自体はベクトル量子化器５３６によって符号化される。 このようにそれぞれのレベルでＹ、１及びＱ成分は３つの別個の画像として処理 される。かくしてそれぞれのレベルについて生成されたそれぞれ異なる画像は４ ×４ビクセルのブロックに公開される０次に各ブロックは「ベクトル」となり、 先ず最も適合する形状を定め、次に適宜の利得を適用することにより利得／形状 ベクトル量子化により符号化される。形状コードブックは正規化されたベクトル （公知のようにＬＢＧ算法に基づき選択される）を含み、最適な形状ベクトルは 量子化されるべきデータベクトルと最も高度な相関関係を有するコードブックベ クトルである。すなわち、データベクトルの内積は最適な形状ベクトルで最大で ある。 データベクトルは受信機にて、選択された形状ベクトルと利得係数の積として再 構成される０選択された「形状」ベクトル用に最小の二乗誤差をもたらす利得は 利得コードブックから再構成値を選択することによって量子化される。これが前 述のスカラ量子化である。 計算上の理由から、代表的にはＬ−２″Ｄ形状ベクトルを有する（Ｄ−１２又は １３の場合）形状コードブックの全数探索は実時間では実際的ではない、その代 りに、Ｄ↓１内積の生成を必要とする（全数探索用の２０Ｄ内積と比較して）二 進探索木が利用される。木探索のそれぞれのレベルにて、内積はデータベクトル と、２つの形状ベクトル間のあらかじめ記憶された差異との間で生成される。決 定は内積が正であるか負であるかによってなされる。二進木探索の全てのＤレベ ルの横断が終ったとき形状ベクトルは決定されている。その後、選択された形状 ベクトルとデータベクトルとの内積が生成されて利得因数が得られる。この探索 手順は当業者には公知である。 図示した実施例では、サイズ２″Ｄの二進コードブックは実際にはそれぞれのレ ベルごとにサイズが異なるコードブックの集合から成り、レベルＭ３では２”Ｍ 、Ｍ＝１．２、・・・・・・Ｄのサイズのコードブックが在る。ベクトル量子化 器５３６内でこの構造は利得因数に応じて形状コードブックのサイズを変えるた めに利用される。このように、サイズ２″Ｄ１のより小さいコードブック（Ｄｉ は・Ｄ以下）が、利得が最小の非ゼロ値、Ｒ（１）に量子化されたブロックに使 用される。しかし利得がより大きいブロックではフルサイズのコードブックが使 用される。 前述のとうり、利得因数は均一量子化器によって量子化され最大（ｉ！２″Ｂを 有する指標を得る。前述したように孤立した指標は除去され、演算符号器を用い て符号化が行なわれる。同レベルにおける４つの以前に符号化された隣接ブロッ クと、受信機にも送信機にも利用できるより高いレベルの１つの隣接ブロックを 含む５つの二進変数（３２の状態）を用いて非ゼロ位置が符号化される。非ゼロ Ｂビフトイ直はメモリレス符号器によって符号化される。 形状ベクトルは固定長符号を用いて符号化される。従ってそれぞれの非ゼロの利 得について、形状ベクトルは伝送される必要がある。１以上の利得値については Ｄビットが形状ベクトルを設定し、一方、１に等しい量子化器の指標については 、Ｄ１ビットを必要とするより小さいコードブックが使用される。 形状／利得ベクトル量子化器による符号化が同一画像に反復して連用され、画像 をその充全解像度にまで構成しようとすると、符号化はどんどん努力を失なって ゆく。これは単に符号化の誤差自体がよりノイズ的になるからだけではなく、コ ードブックが「良好なベクトル」を使い果たすためでもある。かくして、符号化 の誤差はコードブックに対して急激に「直交」になる、この作用は本発明に基づ き、フレームからフレームへの画像境界位置を変更することによって大幅に軽減 される。従って、基底レベルにて、好適には水平と垂直の双方の軸に沿って、ブ ロックはフレームごとに数ピクセル移動される。このプロセスによってシステム 内の符号化の効率が大幅に高まる。 残すのレベルは（３０Ｘ３２）レベルに通用される手順及び素子５２４．：５２ ６．５２７、加算器５３８及び素子５３０．５３４及び５３６の等価手順を用い て符号化することができるが、例外として画像データは本実施例では次のように 符号化される。 本発明の実施例に基づき、トップレベルではシステムは適合的なぼやけを提供せ ず、純粋なスカラ量子化が利用される０次のレベル、すわなちＹ成分では３２Ｘ ３０のレベル、又、クロミナンス成分では１５Ｘ１６のレベルでは、ワーブされ た補間誤差がトップレベルからの補間出力画像に選択的に加えられ、従ってこの レベルでぼやけ情報が伝送される。しかし、本発明の実施例では、画像情報、す なわち出力画像誤差の符号化は図示した実施例では行なわれない、予測画像自体 はこのレベルからの出力である。全てが同様に処理される３つの基底レベルでは 、予測画像の生成の際に適合的なぼやけが利用され、且つ予測誤差は利得／形状 ベクトル量子化を用いて符号化される。これについては第１２図に図表的に示し である。 符号化プロセスの基本戦略は各フレームの符号化のために固定数のピントを使用 することである。符号化はトップレベルから始まり、基底レベルまでピラミッド 型のレベル構造で行なわれる。 そして基底レベルを除く全てのレベルで固定量子化器が用いられる。各レベルご とに主観的な画質の判断基準に応じて量子化器の特性が選択される。しかし基底 レベルでは、量子化器は、生成されるピント数がフレームに未だ利用できるビッ ト数とほぼ等しくなるように選択される。 しかし、激しい運動中は、基底レベルに到達する前に利用できるビットの全てを 使用してもよい、この場合、例えば最低レベルの次のレベル用の量子化器を選択 的に調整して、フレーム用の所望の出力ビツト数を得るようにすることができる 。このように基底レベルでは、予測は通常どうり、なお生成され、ぼやけ情報は 符号化され、伝送されつつも、ベクトル量子化は行なわれず、その代りに予測画 像自体が出力画像である。 図示した実施例では、最低レベルの次のレベルでも符号化が不可能である場合、 例えばシーンの変化のような場合が生じることがある。この場合、符号化は次の レベルアンプで停止する。（ルミネッセンスの場合は６０Ｘ６４、クロミナンス の場合は３０×３２）このレベルでの符号化がフレームごとの所望のピント数以 上のピントを生成した場合は符号化は依然として行なわれ、且つフレーム速度は 多数のビット数が生成されるため一時的に減速する。２つの基底レベルについて は予測画像は通常どうり生成され、ぼやけ情達は伝送されるが、ベクトル量子化 は行なわれない。 第３Ｒを参照すると、受信機にて、伝送され且つ符号化されたデータは復号化さ れ、新たなフレームが生成される。詳しくは、解像度ピラミッドを表現するデー タはピラミッドの頂部から基底部へとレベルごとに再構成回路７６によって復号 化される。トップレベルでは、量子化された差異画像が復号化され、そのレベル でワーブされた画像に加えられる。（１０進化回路を含む選択的加算器１００に よる。）それによって、トップレベルでの出力画像が再構成される０次に、先ず 再構成回路７６から線８４を介して得られる伝送されたぼやけ情報を用いて予測 画像を形成し、その後、差異画像を復号化し、それを予測画像に選択的に加えて 、そのレベル用の新たな再構成画像を形成することによって、より低いレベルが 再構成される。（加算器１００による。）このプロセスは基底レベルに達するま で継続され、基底レベルの画像は表示フレーム・バッファ９８に伝送される。 多くのプロセスに利用される演Ｘ符号器、すなわち運動変換係数、ぼやけ情報及 び、損失性圧縮袋Ｗ、４６からの画像情報の符号化に用いられる演算符号器は公 知のように動作する。符号器がどの状態にあったかに応じて異なる確率を用いて 非ゼロ位置が符号化されたので、演Ｘ符号器は、符号化が進行するにつれて位置 マツプ内のそれぞれの位置ごとの状態を再生成する。この状態は次に符号化され たデータと共に、それぞれのマツプ位置についてゼロが用いられているか否かを 判定する。非ゼロ値の位置を示すマツプが一旦復号化されると、Ｂ−ビット値が 復号化され、１だけ増分され、且つマツプ内の適宜の位置に配置される。 解像度ピラミッドの生成とその復号をより詳細に検討すると、プロセスは損失性 圧縮装置４６にて用いられる方式の逆であるやこのように、受信機復号プロセス が送信機の符号化プロセスの後に続くので、トップレベルでの予測画像はワーブ されたトップレベル画像から生成される。量子化器の指標は演算符号器を使用し て符号化され、量子化された差異画像は量子化器の指標から再構成され、次に予 測画像に加えられて、トップレベルの出力画像が得られる。（加算器５２２ａと 、送信機の線５２２を介した出力に対応する。）より低いレベルでは、予測画像 はワーブされた補間誤差を、次に高いレベルからの補間された画像に選択的に加 えることによって形成される。（送信機内の加算器３５０の動作に対応する。） 該出力画像と、次の出力レベルでのワーブされた画像は補間されて、現在レベル での画像が得られる。ぼやけ情報は演算符号器を用いて符号化され、次にぼやけ コードがゼロである補間されたより高いレベルの出力のそれぞれの８×８ブロツ ク内で、現在レベルのワーブされた画像と、補間されたより高いレベルのワーブ された画像の差異が加算される。（送信機の加算器５３８の動作に対応する。） 本発明の実施例に基づき、より低い全てのレベルでは、ベクトル量子化された情 報は先ず演算符号器を用いて利得値を符号化することによって、次に非ゼロ値に ついて形状指標を符号化することによって符号化される。利得量子化指標が１で ある全てのブロックについてはＤｌ−ビット語がビットストリームから抽出され て形状ベクトルを指示し、一方、指標が１以上であるブロックについてはＤ長さ のビット語がビットストリームから抽出される。 差異画像は形状ベクトルを適宜のコードブックから取り出し、それを利得値によ って基準化（Ｓｃａｌｉｎｇ）する。これはそれぞれの非ゼロ４×４ピクセル・ ブロックごとに行なわれる。その後、出力画像が前記再構成された差異を予測画 像に加えることによって形成される。しかしこれは送信機の加算器５４０の動作 に対応する。）最後に再構成された画像内の基底レベルからの出力画像は次に最 終出力画像として表示フレーム・バッファに伝送される。 図示した損失性圧縮装置４６はハードウェア、ソフトウェア又は双方の組合わせ によって実現可能である０本明細書に補遺へとして添付された１つの特定の実施 例では、圧縮袋Ｗ４６と対応する受信機動作のソフトウェアによる実施形態が開 示されている。 ｌ監に仮装ｌ さて第６図を参照すると、図示した実施例では通勤評価回路２６は入力信号の変 位ベクトルの判定のため誤差最小限化プロセスを通して急速に収束する（ｃｏｎ ｖｅｒｇｅ）会話型空間領域アプローチを利用している。実施例では適応性の、 最急降下アプローチ方式を採用している。この方式の収束特性は良好である。 ヒンマン、Ｂ著の「画像動作評価の理論と応用Ｊ　（？ｌ−Ｊ、Ｔ、修士論文、 １９８４年）の方程式３．１２では、画像ｆ内の位置旦を有するピクセル用の変 位ベクトルヱを定めるための反復が設定されている。新たな方程式はｇによって 表わされる。咳方程式は太明細書で方程式３として再現され、”ｉ”は変位ベク トルの早期の値を表わし、“ｉ＋１′は変位ベクトルの次の値を表わす。 方程式３は第９図に基づいて実現可能であり、入力ｇとｆフレームはそれぞれバ ッファ２００と２０２に記憶される。フレームの勾配値（ｇｒａｄｉｅｎｔ　ｖ ａｌｕｅ）は勾配コンビニータ２０４によって定められ、空間的補間装置２０６ ．２０８は方程式３の加算に必要な値ｆを供給する。加算素子２１０と乗算素子 ２１２は誤り勾配値を生じ、これは累算器２】４によって翼算される。累算器は 予測ハードウェア２２０からの初期ベクトル予期価を受ける。 更新されたベクトルは１ｆ′の値を定めるために補間装置２０６．２０８によっ て利用され、ベクトル出力フィールドはバッファ２２２に記憶される。装置全体 は、誤り勾配累算器の出力価を監視し、それに応答して適応的にステップサイズ を変更するシステム制御装置の制御下で動作する。 さて第７図を参照すると、方程式３により定義されている、適応的な最急降下誤 差の最小限化のための会話型空間領域運動評価装置２６を実現するための改良さ れた方式では、ｆフレームにて動作する単一補間装置２４０と、次に補間装置２ ４０の補間値出力にて動作する勾配計算回路を使用している。この回路によって 第６図の補間装置の１つを省くことができ、ひいてはハードウェア及び（又は） ソフトウェアを節減できる。 この方式を採用する上での三つの重要なパラメタは初期ステップ・サイズｅと、 停止もしくはしゃ断しきい値Ｔと、予測装置セントａ’にである。初期ステップ サイズはこの方式が運動ベクトル変位に収束する速度を決定する上で重要な役割 を果たしている。 ｅが極めて小さい値であるように選択すると、この方式は最小に十分に近接する までに過度の反復回数を必要とする。ｅの値が増大するとともに、収束速度も増 大するが、ｅの値が大きすぎて、探索手順が収束することなく最小のまわりで振 動する値に至る。 ｅの価は経験的な試験によって決定されなければならない、４×４のブロックサ イズの場合、最良の収束特性を得るのは３Ｘ１０−’の価であることが判明して いる。 しゃ断しきい値は、それぞれの反復ごとに誤り勾配×初期ステップ・サイズｅの 絶対価と比較される。このしきい値は２つの制約を念頭に入れて選択されなけれ ばならない、第１に、実際の変位に近い変位に達するだけ十分に小さい値である こと、そして第２の、これと反対の制約は、しきい値が減小するともに、必要な 反復数は劇的に増大するということである。このようにステップサイズと共に、 適正なしゃ断しきい値は経験的に発見されなければならない、（後述するように 、ステップサイズが変化すると、上記のしきい（ｉｉＴは初期ステップサイズｅ と誤差勾配の積と比較されつづける。） 経験的にしゃ断しきい値を決定する際、２つの標識が問題となる。それはブロッ クあたりの平均反復回数と、運動補整されたフレーム差異エネルギである。最良 のＴの値を発見するため、評価及び補整プロセスが数度実行される。小さいしゃ 断しきい値から始まり、運動補整されたフレーム差異エネルギの最小値が決定さ れる。しきい値が増大すると平均反復回数は着実に低下し、一方、運動補整フレ ーム差異エネルギは基本的に一定に留まる。しかし実際には、しきい値は、評価 された変位が不正確になる値に達し、運動補整フレーム差異エネルギは上昇しは じめる。Ｔの関数として運動補整差異エネルギの変曲点をシークする際に、７× １０弓の値が適当であることが発見された。このしきい値は７　Ｘ　１０−”ビ クセルの最小ベクトル更新と対応する。 予測係数の選択は平均反復回数と運動補整フレーム差異エネルギの双方に影響を 及ぼす。 それぞれのブロックごとの変位ベクトルの初期価の選択は、図示した実施例では 隣接する変位ベクトルの直線的な結合として選択されている。かくして、第８図 を参照すると、最急降下方式によって、現行の変位ベクトルエ。の上及び左の変 位ベクトルにアクセスできる。このようにして図示した実施例では、現行の変位 ベクトルは次の方程式によって定義される。 ａｊは予測係数であり、一方Ｖｊ　は以前に定められた変位ベクトルである。 好適なベクトル予測係数ａｊはａｔ”０．３、ａ２−０、ａ３ｚＯ０４そしてａ 、−０，３である。ベクトル予測係数のこれらの値に於てステップ値及び上述の しきい値と組合わせた１Ｍｉのデータに関して、平均反復回数は６゜７１であり 、又、運動補整フレーム差異エネルギは、非運動補整フレーム差異エネルギより も１４．１　ｄＢだけ低かった。 本発明の実施例に基づき、選択されたｅの値すなわち初期ステップサイズは誤差 傾斜の関数として変化するようにさせることができる。かくして、本発明の図示 した実施例では、システム制御！５２２４の制御下で、ステップサイズの値は、 現行の勾配誤差価又は現行及び１つ又はそれ以上の以前の誤差勾配値に応じて変 化するようにされ、それ故、ベクトル変位のためのステップサイズは不合理に小 さくはならない、ステップサイズを選択するための２つの方法はヒンマン氏の論 文の３３ページ以降に説明されている。 本発明の好適な実施例に基づき、ヒンマン氏の論文の方程式３．１８．３．１９ 及び３．２０により定義されている第２の方法はシステムの処理上の負荷を軽減 するために修正されている０本実施例では、方程式３．１８．３．１９及び３． ２０は修正され、（新ステップサイズ）＝（旧ステップサイズ）・■（方程式５ ） ％式％ ０．３ｉｆＲ＜Ｏ（方程式６） 及び、 ′Ｅ′は現在のＸ又はｙ軸の誤差関数を表わし、“符号〔・〕　”は当該の符号 に応じて±１に等しい。このように定義された方程式６によって、通合的な最急 降下アプローチのための第３の方法が得られる。しかし前述のとうり、初期ステ ップサイズに対してしゃ断しきい値Ｔが定められる。したがって、前記Ｔは定数 ×誤差勾配の積と定義することができる。 更に、本発明の実施例に基づき、システム制御器２２４も変位増分ステップサイ ズが選択されたしきい値よりも大きくなること、例えば１ビクセル以上になるこ とを防止し、更に、変位ベクトルの最大値が第２の選択されたしきい値、例えば ７ｚビクセル以上になることを防止する。このようにして、最Ｃ降下プロセスを 更に制御でき、収束を妨げる一面性を回避できる。 図示した運動評価装置はハードウェア、ソフトウェア又は両者の組合せで実現可 能である。一つの特定の実施例は本明細書に補遺Ｃとして添付されており、そこ では適合的な最惣、降下方法と装置のソフトウェアによる実施例が開示されてい る。 ′４　フィル　の 第１３図を参照すると、本発明の別に図示した実施例に於て、損失性圧縮装置４ ６により提供されるぼやけ情報は除去され、その代りに選択的に動作可能な適合 性フィルタ７００が設けである。 本発明のこの実施例の動作時には、運動補整データが正確であるブロックについ ては、線５６を介した信号は適合性フィルタ７００によって直接、線７０２を介 したその出力に伝送される。運動補整データが不明確なブロックについては、後 に詳述するようムこ、適合性フィルタは実際的にブロック用に線５６を介した出 力データに低減フィルタをかけることができ、線７０２を介して、フィルタをか けることが好適である領域に、該ブロックのための運動補整再構成受信機画像の 低減バージョンを提供する。更に、適合性フィルタは線７０４を介してチャネル 符号器に対して、サイド情報として受信機に伝送されるフィルタデータを供給す る。 第１４図を参照すると、受信機はろ波情報を符号化し、且つ線７０８を介してフ ィルタデータ信号を供給する。第１４図の受信機の残りの回路は、フィルタ・デ ータ信号が、ブロック用の運動補整データを使用前に低減フィルタをかけるか否 かを判断することを除いては第３図に示したのと対応する動作を行なう。 本発明のこの実施例では従って、階層的符号化方式を受ける前にろ波されたデー タを受ける。従って、図示した本実施例では、符号化方式は、既に受信機に伝送 された連合的フィルタデータにとってほとんど冗長である更なるぼやけ情報を供 給することはない、適合的データをより詳細に考察すると、前述のとうり、運動 補整装置４２の出力は損失性圧縮装置２８からの符号化された運動信号表現をフ レーム・ハフフグ４４内に記憶された以前のフレームに供給された結果として受 信機での運動補整された画像を表わす、受信機での運動補整された画像は、一定 の環境下では、空間的低域フィルタを選択的に通用することによって、種々の空 間領域（ブロック）で改善することが可能である。 ろ波プロセスを受信機での運動補整された画像のブロック上で実行すべきか否か を決定するため、オリジナル画像と、ろ波された、及びろ波されない予測画像と の二乗予測誤差の比較がブロックごとの基準にて行なわれる。 図示した本実施例では、ブロックはＢＸＢの画素群と称される。 それぞれのブロックごとに、最も小ない誤差エネルギを有する予測（例えばろ渡 されない予測にバイアスをかけるために定数が加重される）が選択され、その決 定情報、すなわち線７０４を介して得られるフィルタ・データが符号Ｈ１８に利 用できるようにされる。フィルタ・データは受信機に伝送され、受信機画像再構 成プロセスの間、それぞれの対応するブロック上で送信機と同じ動作を受信機が 実行できるようにされる。受信機はフィルタ・データを符号化し、且つ線７０８ を介して運動補整装置９９に供給する。適合的低域フィルタをかける決定がブロ ックに於てなされた後、その結果生じたブロック画像は、ろ波される、されない にかかわらず、前述のように線７０２を介した評価された受信機画像として用い られる。 適合性フィルタには４つの動作段階がある。第１に、ブロックに低域フィルタが かけられる。第２にオリジナル画像と比較して、ブロックのる渡されたバージラ ンとる渡されないバージョンの双方についてエネルギ測定が行なわれる。第３に 、低域フィルタをかけられたブロックを、ろ波されない受信機での運動補整され た画像の位置に挿入すべきか否かの決定がなされるや最後に、それぞれのブロッ クごとのフィルタ使用を指定する情報が符号化され、（線７０４上のフィルタ・ データ）符号器１８に送られる。適応性フィルタの動作の更なる詳細は前述の米 国特許出願連続番号００１．３２６号に開示されている。 上述の階層的符号化方式と装置は更に、運動補整が備えられていない一連の画像 の送信と関連して好適に利用できる。この場合、例えば第２図の線５１を介した 評価された受信機画像は、線６４を介したフレーム・バッファ４４のフレーム出 力と称される再構成された受信機画像である。更に、線２２を介した入力画像及 び、線５１を介した評価された受信８！画像は損失性圧縮装置４６によって個別 に１０進化される必要はなく、（第１５図を参照）差異回路７２０に入力される ことが可能であり、受信機での誤差信号を表わすその出力は、次に損失性圧縮装 置に入力されて、前述の発明に基づく１０進化と階層的符号化を実現することが 可能である。受信機では、運動補整が利用されない場合は運動補整装置９９及び その関連回路も同様に除去されよう。同様にして、送信機の動作に従って、再構 成回路７６は修正され、第１５図の回路を利用する場合は線８４を介した誤差画 像表現は再構成される。これらの変更は当業者には明白であろう。 当業者には本発明の特定の実施例の、請求項の範囲内での付加、削減、削除及び その他の修正は明白であろう。 浄書（内容に変更なし） 浄書（内容に変更なし） 浄書（内容に変更なし） 浄書（内容に変更なし） 浄書（内容に変更なし） ＦＩＧ１５ 浄書（内容に変更なし） ＦＩＧ、１２ 浄書（内容に変更なし） 浄書（内容に変更なし） 特許庁長官　吉　１）文　毅　殿 １．事件の表示　ＰＣＴ／ＵＳ　８８／　００９１８３、補正をする者 事件との関係　出願人 名称　ビクチ丁−テル　＝−ボレーシミン平成　年　月　日 特許庁長官　吉　１）文　毅　殿 １、事件の表示　ＰＣＴ／ＵＳ　８８１００９１８３、補正をする者 事件との関係　出願人 名　称　ピクチャーチル　コーポレーション５、補正命令の日付　自　発 請求の範囲 １、　送信システムに於ける一連の画像フレーム送信のためのフレーム間の誤差 データを符号化する方法に於て、 現在画像フレーム用のフレーム間の予測された画像データを１０進化して、複数 の１０進化レベルを有する予測ピラミッド型データ構造を生成し、 符号化されない現在画像フレームを表現する符号化されない現在画像データを１ ０進化して前記複数の１０進化レベルを有する現在画像ピラミッドデータ構造を 生成し、且つ 階層的ベクトル量子化符号化をレベルごとの基準にて前記予測及び現在画像ピラ ミッドデータ構造に適用して、予測された画像データと、符号化されない現在画 像データとの間の差異の符号化されたデータ表現を生成する各段階から構成され ることを特徴とする方法。 ２、一連の画像フレームを送信するため、画像送信システムでフレーム間の誤差 データを符号化する装置に於て、 複数の１０進化レベルを有する予測ピラミッド型データ構造を生成するため、現 在画像フレーム用のフレーム間の予測された画像データをｉ０進化するための装 置と、 前記複数の１０進化レベルを有する現在画像のピラミッド型データ構造を生成す るため、符号化されない現在画像フレームを表現する符号化されない現在画像デ ータを１０進化するための装置と、 予測された画像データと符号化された現在画像データとの差異を表現する符号化 されたデータを生成するため、階層的ベクトル量子化符号化をレベルごとの基準 で前記予測及び現在画像ビラミント型データ構造に通用するための装置とから構 成されることを特徴とする装置。 ３、運動補整画像送信システムに於いて一連の画像フレームを送信するためにフ レーム間の誤差データを符号化する方法に於て、 複数の１０進化レベルを有する予測ビラミッド型データ構造を生成するため現在 画像フレーム用のフレーム間の予測された画像データを１０進化し、 前記複数の１０進化レベルを有する現在画像ピラミッド型データ構造を生成する ため、符号化されない現在画像フレームを表現する符号化されない現在画像デー タを１０進化し、且つ予測された画像データと、符号化されない現在画像データ の差異の符号化されたデータ表現を生成するため、レベルごとの基準で階層的ベ クトル量子化符号化を前記予測及び現在画像ピラミッド・データ構造に通用する 各段階から構成されることを特徴とする方法。 ４、一連の画像フレームを送信するため、運動補整画像送信システムに於てフレ ーム間の誤差データを符号化するための装置に於て、 複数の１０進化レベルを有する予測ピラミッド型データ構造を生成するため、フ レーム間の予測された画像データを１０進化するための装置と、 前記複数の１０進化レベルを有する現在画像されない現在画像フレームを表現す る符号化されない現在画像データを１０進化するだめの装置と、 予測された画像データと符号化された現在画像データとの差異の符号化されたデ ータ表現を生成するため、レベルごとの基準で階層的ベクトル量子化符号化を前 記予測及び現在画像ピラミッド型データ構造に通用するための装置とから構成さ れていることを特徴とする装置。 ５、一連の画像フレームを送信するため画像送信システムに於てフレーム間の誤 差データを符号化するための方法に於て、 現在画像フレーム用の予測された画像データと、符号化されない現在画像フレー ムを表現する符号化されない現在画像データとの差異を、ビクセルごとの基準で 表現する差異画像を形成し、 複数の１０進化レベルを有する差異画像ピラミッド型データ構造を生成するため 前記差異画像を１０進化し、且つ 予測された画像データと、符号化されない現在画像データとの差異の符号化され たデータ構造を生成するため、階層的ベクトル量子化符号化をレベルごとの基準 で前記差異画像ビラミツド型データ構造に適用する段階とから構成されることを 特徴とする方法。 ６、一連の画像フレームを送信するため、画像送信システムに於てフレーム間の 誤差データを符号化するための装置に於て、 現在画像フレーム用の予測された画像データと、符号化されない現在画像フレー ムを表現する符号化されない現在画像データとの間の差異をピクセルごとの基準 にて表現する差異画像を形成するための装置と、 複数の１０進化レベルを有する差異画像ピラミッド型データ構造を生成するため 前記差異画像を１０進化するための装置と、 予測された画像データと符号化された現在画像データの差異の符号化されたデー タ表現を生成するため、階層的ベクトル量子化符号化をレベルごとの基準にて前 記差異画像ピラミッド型データ構造に通用するための装置とから構成されている ことを特徴とする装置。 ７、一連の画像フレームを送信するため、画像送信システムに於てフレーム間の 誤差データを符号化するだめの方法に於て、 複数の１０進化レベルを有する予測ピラミッド型データ構造を生成するため現在 データ用のフレーム間の予測された画像データを１０進化し、 前記複数の１０進化レベルを有する現在画像ピラミント型データ構造を生成する ため、符号化されない現在画像フレームを表現する符号化されない現在画像デー タを１０進化し、且つ、予測された画像データと符号化されない現在画像データ の差異の符号化されたデータ表現を生成するため、損失性圧縮による階層的符号 化をレベルごとの基準で前記予測及び現在画像ビラミフド型データに適用する段 階とから構成され、前記適用段階は、 より高いレベルからの画像データを、少なくとも１つのより低いレベル用に補間 する段階を含むことを特徴とする方法。 ８、一連の画像フレームを送信するため、画像送信システムに於てフレーム間の 誤差データを符号化するだめの装置に於て、 複数の１０進化レベルを有する予測ピラミッド型データ構造を生成するため、現 在画像フレーム用のフレーム間の予測された画像データを１０進化する装置と、 前記複数の１０進化レベルを有する現在ピラミッド型データ構造を生成するため 、符号化されない現在画像フレームを表現する符号化されない現在画像データを ｌＯ進化する装置と、予測された画像データと符号化された現在画像データの差 異の、符号化されたデータ表現を生成するため、損失性圧縮による階層的符号化 を前記予測及び現在画像ピラミッド型データ構造に通用する装置とから構成され 、 前記通用装置は、より高いレベルからの画像データを、少なくとも１つのより低 いレベル用に補間する装置を含むことを特徴とする装置。 ９、一連の画像フレームを送信するため、画像送信システムに於てフレーム間の 誤差データを符号化するための方法に於て、 現在画像フレーム用の予測された画像データと、符号化されない現在画像フレー ムを表現する符号化されない現在画像データとの差異をピクセルごとの基準で表 現する差異画像を形成し、複数の１０進化レベルを有する差異画像ピラミッド型 データ構造を生成するため、前記差異画像を１０進化し、且つ、 予測された画像データと符号化されない画像データの差異の符号化されたデータ 表現を生成するため、損失性圧縮による階層的符号化をレベルごとの基準で前記 差異画像ピラミッド型データ構造に適用する各段階から構成され、前記適用段階 は、 より高いレベルからの画像データを、少なくとも１つのより低いレベルのために 補間する段階を含むことを特徴とする方法。 １０、一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化する装置に於て、 現在画像フレーム用の予測された画像データと、符号化されない現在画像フレー ムを表現する符号化されない現在画像データの差異をビクセルごとの基準で表現 する差異画像を形成するための装置と、 前記複数の１０進化レベルを有する差異画像ピラミッド型データ構造を生成する ため前記差異画像を１０進化するための装置と、 予測された画像データと符号化された現在画像データとの差異の符号化されたデ ータ表現を生成するため、損失性圧縮による階層的符号化をレベルごとの基準で 前記差異画像ピラミッド型データ構造に通用するための装置とから構成され、前 記通用装置は、 より高いレベルからの画像データを少なくとも１つのより低いレベルのために補 間するだめの装置を含むことを特徴とする装置。 １１、前記通用段階は、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用し、且つ 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適切に表現しない場合は予測された画像表現のブロックをぼかす段階を含むこ とを特徴とする請求項１．３．５．７及び９のいずれかに記載の方法。 １２、前記通用段階は、 前記符号化された表現を部分的に生成するために演算符号化を利用する段階を含 むことを特徴とする請求項１．３．５．７及び９のいずれかに記載の方法。 １３、前記符号化をブロックごとの基準にて前記データのレベル構造に通用し且 つ 符号化の効率を高めるためブロック位置の境界を前記一連の画像フレームのフレ ームごとに移動する段階を更に含むことを特徴とする請求項１．３及び５のいず れかに記載の方法。 １４、前記通用段階は、 トップレベルにて、予測された画像データ構造をトップレベルの出力画像を生成 するために現在画像データ構造から滅じ、 より低いレベルでの予測された画像データと、次に高いレベルでの補間された予 測画像データとの差異を取り出すことによって、より低いレベルでの予測補間誤 差データ構造を形成し、次に高いレベルの補間された出力画像を、より低いレベ ルの予測補間誤差データ構造と結合させることによって、より低いそれぞれのレ ベルで予測画像を形成する各段階を含むことを特徴とする請求項１．３及び７の いずれかに記載の方法。 １５、前記予測形成段階は更に、 次に高いレベルからの出力画像を補間して前記補間された出力画像を生成する段 階を含むことを特徴とする請求項１４記載の方法。 １６、前記ベクトル量子化と符号化とをピラミッド型データ構造の基底の複数の レベルでの予測画像誤差にのみ通用し、 最高レベルの次のレベルでぼやけ情報だけを伝送し、且つ 処理のトップレベルにてスカラ量子化データだけを伝送する各段階を更に含むこ とを特徴とする請求項１４記戦の方法。 １７、前記通用装置は更に、 前記階層的符号化をブロックごとの基準で前記データ構造に適用するだめの装置 と、予測された画像データがピラミッド構造のレベルにて前記現在画像のブロッ ク部分を適切に表現しない場合に予測された画像表現のブロックをぼやけさせる ための装置とを更に含むことを特徴とする請求項２．４．６．８及び１０のいず れかに記載の装置。 １８、前記適用装置は更に、 前記符号化された表現を、部分的に生成するための演算符号化装置を含むことを 特徴とする請求項２．４．６．８及び１０のいずれかに記載の装置。 １９、前記符号化をブロックごとの基準で前記レベルのデータ構造に通用するた めの装置と、符号化の効率を高めるため前記一連の画像フレームのフレームから フレームへのブロック位置の境界を移動させる装置を更に含むことを特徴とする 請求項２．４、及び６のいずれかに記載の装置。 ２０、前記適用装置は、 トップレベルの出力画像を生成するため、トップレベルにて予測された画像デー タ構造を現在画像データ構造から減じるだめの装置と、より低いレベルでの予測 された画像データと、次に高いレベルでの補間された予測画像データとの差異を 取出すことによって、予測補間誤差データ構造をより低いレベルで形成するため の装置と、次に高いレベルの補間された出力画像と、より低いレベルでの予測補 間誤差データ構造とを結合することによって、それぞれよ？り低いレベルで予測 画像を形成するだめの装置とを含むことを特徴とする請求項２．４及び８のいず れかに記載の装置。 ２１、フレーム間の運動補整を利用して前記予測された画像データを形成する段 階を更に含むことを特徴とする請求項５．７及び９のいずれかに記載の方法。 ２２、前記適用段階は、 より低いレベルでの画像データと、次に高いレベルでの補間された差異画像デー タとの差異を取り出すことによって、より低いレベルで補間誤差データ構造を形 成する段階を含むことを特徴とする請求項５又は９に記載の方法。 ２３、フレーム間の運動補整を利用して前記予測された画像データを形成するだ めの装置を更に含むことを特徴とする請求項６又は１０に記載の装置。 ２４、前記通用装置は、 より低いレベルでの差異画像と、次に高いレベルでの補間された再構成差異画像 データとの差異を取出すことにより、より低いレベルでの補間誤差データ構造を 形成するだめの装置を含むことを特徴とする請求項６又は１０に記載の装置。 ２５、フレーム間の運動補整を利用して前記フレーム間の予測された画像データ を形成するための装置を更に含むことを特徴とする請求項８記戦の装置。 ２６、データ値の多次元配列として表現されるデータを符号化する方法に於て、 前記データ値を量子化し、 最も近接のそれぞれのブロックについてゼロ値を有する全ての量子化したデータ 値を抹殺し且つ、 残りのデータ値にベクトル量子化符号化を適用する各段階から構成されることを 特徴とする方法。 ２７、画像送信システム内で画像データを表わすために前記データ値を生成する 段階を更に含み、前記配列は二次元配列であり、８つの最も近接した配列を有す ることを特徴とする請求項２６記載の方法。 ２８、通信経路を介して一連の画像を送信するため前記画像送信システムの運動 補整を行なう段階を更に含むことを特徴とする請求項２７記戦の方法・ ２９、データ値の多次元配列として表現される画像データを符号化する方法に於 て、 データ値の前記配列のブロックに利得／形状ベクトル量子化を通用して前記値を 符号化し、受信機へのチャネル経路を介してそれぞれの非ゼロブロックごとに利 得／形状コード語を伝送し、且つ 形状と関連する利得の関数として前記ベクトル量子化の、ための形状コードブッ クのサイズを変える段階から構成されることを特徴とする方法。 ３０、前記画像データはデータ値の多次元アレイであることを特徴とする請求項 ２９記載の方法。 ３１、運動補整画像システムを利用して前記画像データを生成する段階を更に含 むことを特徴とする請求項２９記載の方法。 ３２、一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の画像データを符号化する方法に於て、 ベクトル量子化符号化をブロックごとの基準にて前記画像データに通用し且つ、 符号化の効率を高めるため、前記一連の画像フレームのフレームからフレームへ のブロック位置境界を移動する各段階から成ることを特徴とする方法。 ３３、前記移動段階は、 画像面を規定する複数の軸方向のそれぞれに、複数の画素の分だけ前記ブロック 境界を移動する段階を含むことを特徴とする請求項３２記載の方法。 ３４、一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の画像データを符号化するための装置に於て、 ベクトル量子化符号化をブロックごとの基準で前記画像データに通用するだめの 装置と、符号化の効率を高めるため、前記一連のフレームのフレームからフレー ムへのブロック位置境界を移動するための装置とから構成されていることを特徴 とする装置。 ３５、前記移動装置は、画像面を規定する複数の軸方向のそれぞれに複数の画素 の分だけ前記ブロック境界を移動するための装置を含むことを特徴とする請求項 ３４記載の装置。 国際調査報告

Claims (1)

1. 【特許請求の範囲】 １．送信システムに於ける一連の画像フレーム送信のためのフレーム間の誤差デ ータを符号化する方法に於て、現在画像フレーム用のフレーム間の予測された画 像データを１０進化して、複数の１０進化レベルを有する予測ピラミッド型デー タ構造を生成し、 符号化されない現在画像フレームを表現する符号化されない現在画像データを１ ０進化して前記複数の１０進化レベルを有する現在画像ピラミッドデータ構造を 生成し、且つ階層的ベクトル量子化符号化をレベルごとの基準にて前記予測及び 現在画像ピラミッドデータ構造に適用して、予測された画像データと、符号化さ れない現在画像データとの間の差異の符号化されたデータ表現を生成する各段階 から構成されることを特徴とする方法。 ２．前記適用段階は、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用し、且つ 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適切に表現しない場合は差異表現のブロックをぼかす段階を含むことを特徴と する請求の範囲第１項記載の方法。 ３．前記適用段階は、 前記符号化された表現を部分的に生成するために演算符号化を利用する段階を含 むことを特徴とする請求項１記載の方法。 ４．前記符号化をブロックごとの基準にて前記データのレベル構造に適用し且つ 符号化の効率を高めるためブロック位置の境界を前記一連の画像フレームのフレ ームごとに移動する段階を更に含むことを特徴とする請求の範囲第１項記載の方 法。 ５．前記適用段階は、 トップレベルにて、予測された画像データ構造をトップレベルの出力画像を生成 するために現在画像データ構造から減じ、より低いレベルでの予測された画像デ ータと、次に高いレベルでの補間された予測画像データとの差異を取り出すこと によって、より低いレベルでのワープされた補間誤差データ構造を形成し、次に 高いレベルの補間された出力画像を、より低いレベルのワープされた補間誤差デ ータ構造と結合させることによって、より低いそれぞれのレベルで予測画像を形 成する各段階を含むことを特徴とする請求の範囲第１項記載の方法。 ６．前記予測形成段階は更に、 次に高いレベルからの出力画像を補間して前記補間された出力画像を生成する段 階を含むことを特徴とする請求の範囲第５項記載の方法。 ７．前記ベクトル量子化と符号化とをピラミッド型データ構造の基底の複数のレ ベルでの予測画像誤差にのみ適用し、最高レベルの次のレベルでぼやけ情報だけ を伝送し、且つ処理のトップレベルにてスカラ量子化データだけを伝送する各段 階を更に含むことを特徴とする請求の範囲第５項記載の方法。 ８．一連の画像フレームを送信するため、画像送信システムでフレーム間の誤差 データを符号化する装置に於て、複数の１０進化レベルを有する予測ピラミッド 型データ構造を生成するため、現在画像フレーム用のフレーム間の予測された画 像データを１０進化するための装置と、前記複数の１０進化レベルを有する現在 画像のピラミッド型データ構造を生成するため、符号化されない現在画像フレー ムを表現する符号化されない現在画像データを１０進化するための装置と、 予測された画像データと符号化された現在画像データとの差異を表現する符号化 されたデータを生成するため、階層的ベクトル量子化符号化をレベルごとの基準 で前記予測及び現在画像ピラミッド型データ構造に適用するための装置とから構 成されることを特徴とする装置。 ９．前記適用装置は更に、 前記階層的符号化をブロックごとの基準で前記データ構造に適用するための装置 と、 予測された画像データがピラミッド構造のレベルにて前記現在画像のブロック部 分を適切に表現しない場合に差異表現のブロックをぼやけさせるための装置とを 更に含むことを特徴とする請求の範囲第８項記載の装置。 １０．前記適用装置は更に、 前記符号化された表現を、部分的に生成するための演算符号化装置を含むことを 特徴とする請求の範囲第８項記載の装置。 １１．前記符号化をブロックごとの基準で前記レベルのデータ構造に適用するた めの装置と、 符号化の効率を高めるため前記一連の画像フレームのフレームからフレームヘの ブロック位置の境界を移動させる装置を更に含むことを特徴とする請求の範囲第 ８項記載の装置。 １２．前記適用装置は、 トップレベルの出力画像を生成するため、トップレベルにて予測された画像デー タ構造を現在画像データ構造から減じるための装置と、 より低いレベルでの予測された画像データと、次に高いレベルでの補間された予 測画像データとの差異を取出すことによって、ワープされた補間誤差データ構造 をより低いレベルで形成するための装置とを含むことを特徴とする請求の範囲第 ８項記載の装置。 １３．運動補整画像送信システムに於いて一連の画像フレームを送信するために フレーム間の誤差データを符号化する方法に於て、複数の１０進化レベルを有す る予測ピラミッド型データ構造を生成するため現在画像フレーム用のフレーム間 の予測された画像データを１０進化し、 前記複数の１０進化レベルを有する現在画像ピラミッド型データ構造を生成する ため、符号化されない現在画像フレームを表現する符号化されない現在画像デー タを１０進化し、且つ予測された画像データと、符号化されない現在画像データ の差異の符号化されたデータ表現を生成するため、レベルごとの基準で階層的ベ クトル量子化符号化を前記予測及び現在画像ピラミッド・データ構造に適用する 各段階から構成されることを特徴とする方法。 １４．前記適用段階は、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用し、 予測された画像データがピラミッド構造レベルにて前記現在面像のブロック部分 を適正に表現しない場合は、差異表現のブロックをぼやけさせる段階を含むこと を特徴とする請求の範囲第１３項記載の方法。 １５．前記適用段階は、 前記符号化された表現を部分的に生成するため演算符号化を利用する段階を含む ことを特徴とする請求の範囲第１３項記載の方法。 １６．ブロックごとの基準で前記符号化を前記レベルのデータ構造に適用し、且 つ 符号化の効率を高めるため前記一連の画像フレームのフレームからフレームヘの ブロック位置の境界を移動させる段階を更に含むことを特徴とする請求の範囲第 １３項記載の方法。 １７．前記適用段階は、 トップレベルの出力画像を生成するため、トップレベルにて、予測された画像デ ータ構造を現在面像データ構造から減じ、より低いレベルでの予測された画像デ ータと、次に高いレベルでの補間された画像データとの差異を取り出すことによ り、より低いレベルのワープされた補間誤差データ構造を形成し、且つ、次に高 いレベルの補間された出力画像を、より低いレベルでのワープされた補間誤差デ ータ構造と結合することによって、それぞれのより低いレベルで予測を形成する 各段階を含むことを特徴とする請求の範囲第１３項記載の方法。 １８．前記予測形成段階は更に、 前記補間された出力画像を生成するため次に高いレベルからの出力画像を補間す る段階を含むことを特徴とする請求の範囲第１７項記載の方法。 １９．前記ベクトル量子化及び符号化をピラミッド型データ構造の複数の基底レ ベルで予測画像誤差だけに適用し、最高レベルの次のレベルにてぼやけ情報だけ を伝送し且つ、処理のトップレベルにてスカラ量子化データだけを伝送する段階 を更に含むことを特徴とする請求の範囲第１７項記載の方法。 ２０．一連の画像フレームを送信するため、運動補整画像送信システムに於てフ レーム間の誤差データを符号化するための装置に於て、 複数の１０進化レベルを有する予測ピラミッド型データ構造を生成するため、フ レーム間の予測された画像データを１０進化するための装置と、 前記複数の１０進化レベルを有する現在画像ピラミッドデータ構造を生成するた め、符号化されない現在画像フレームを表現する符号化されない現在画像データ を１０進化するための装置と、予測された画像データと符号化された現在画像デ ータとの差異の符号化されたデータ表現を生成するため、レベルごとの基準で階 層的ベクトル量子化符号化を前記予測及び現在画像ピラミッド型データ構造に適 用するための装置とから構成されていることを特徴とする装置。 ２１．前記適用装置は更に、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用するための装 置と、 予測された画像データがピラミッド構造レベルで前記現在画像のブロック部分を 適正に表現しない場合、差異表現のブロックをぼやけさせるための装置を含むこ とを特徴とする請求の範囲第２０項記載の装置。 ２２．前記適用装置は更に、 前記符号化された表現を部分的に生成するための演算符号化装置を含むことを特 徴とする請求の範囲第２０項記載の装置。 ２３．前記符号化をブロックごとの基準にて前記レベルのデータ構造に適用する ための装置と、 符号化の効率を高めるため前記一連の画像フレームのフレームからフレームヘの ブロック位置の境界を移動させるための装置とを更に含むことを特徴とする請求 の範囲第２０項記載の装置。 ２４．前記適用装置は、 トップレベルの出力画像を生成するためトップレベルにて予測された画像データ 構造を現在画像データ構造から減じるための装置と、 より低いレベルでの予測された画像データと、次に高いレベルでの補間された予 測画像データとの差異を取出すことによって、より低いレベルでワープされた補 間誤差データ構造を形成するための装置と、 次に高いレベルの補間された出力画像と、より低いレベルでのワープされた補間 誤差データ構造とを結合することによって、それぞれより低いレベルで予測画像 を形成するための装置とを具備すること特徴とする請求の範囲第２０項記載の装 置。 ２５．一連の画像フレームを送信するため画像送信システムに於てフレーム間の 誤差データを符号化するための方法に於て、現在画像フレーム用の予測された画 像データと、符号化されない現在画像フレームを表現する符号化されない現在画 像データとの差異を、ピクセルごとの基準で表現する差異画像を形成し、複数の １０進化レベルを有する差異画像ピラミッド型データ構造を生成するため前記差 異画像を１０進化し、且つ予測された画像データと、符号化されない現在面像デ ータとの差異の符号化されたデータ構造を生成するため、階層的ベクトル量子化 符号化をレベルごとの基準で前記差異画像ピラミッド型データ構造に適用する段 階とから構成されることを特徴とする方法。 ２６．フレーム間の運動補整を利用して前記予測された画像データを形成する段 階を更に含むことを特徴とする請求の範囲第２５項記載の方法。 ２７．前記適用段階は、 前記階層的符号化をブロックごとの基準で前記データ構造に適用し且つ、 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適正に表現しない場合は、予測された画像表現のブロックをぼやけさせる各段 階を含むことを特徴とする請求の範囲第２５項記載の方法。 ２８．前記適用段階は、 前記符号化された表現を部分的に生成するため演算符号化を使用する段階を含む ことを特徴とする請求の範囲第２５項記載の方法。 ２９．前記符号化をブロックごとの基準で前記レベルのデータ構造に適用し且つ 、 符号化の効率を高めるため前記一連の画像フレームのフレームからフレームヘの ブロック位置境界を移動させる段階を更に含むことを特徴とする請求の範囲第２ ５項記載の方法。 ３０．前記適用段階は、 より低いレベルでの画像データと、次に高いレベルでの補間された差異画像デー タとの差異を取り出すことによって、より低いレベルで補間誤差データ構造を形 成する段階を含むことを特徴とする請求の範囲第２５項記載の方法。 ３１．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化するための装置に於て、現在画像フレーム用の予測された 画像データと、符号化されない現在画像フレームを表現する符号化されない現在 画像データとの間の差異をピクセルごとの基準にて表現する差異画像を形成する ための装置と、 複数の１０進化レベルを有する差異画像ピラミッド型データ構造を生成するため 前記差異画像を１０進化するための装置と、予測された画像データと符号化され た現在画像データの差異の符号化されたデータ表現を生成するため、階層的ベク トル量子化符号化をレベルごとの基準にて前記差異画像ビラミッド型データ構造 に適用するための装置とから構成されていることを特徴とする装置。 ３２．フレーム間の運動補整を利用して前記予測された画像データを形成するた めの装置を更に含むことを特徴とする請求の範囲第３１項記載の装置。 ３３．前記適用装置は更に、 前記階層的符号化をブロックごとの基準で前記データ構造に適用するための装置 と、 予測された画像データがピラミッド構造のレベルで前記現在画像のブロック部分 を適正に表現しない場合に予測された画像表現のブロックをぼやけさせるための 装置とを更に含むことを特徴とする請求の範囲第３１項記載の装置。 ３４．前記適用装置は更に、 前記符号化された表現を部分的に生成するための演算符号化装置を含むことを特 徴とする請求の範囲第３１項記載の装置。 ３５．前記符号化をブロックごとの基準にて前記レベルのデータ構造に適用する ための装置と、 符号化の効率を高めるため、前記一連の画像フレームのフレームからフレームヘ のブロック位置の境界を移動するための装置とを更に含むことを特徴とする請求 の範囲第３１項記載の装置。 ３６．前記適用装置は、 より低いレベルでの差異画像と、次に高いレベルでの補間された再構成差異面像 データとの差異を取出すことにより、より低いレベルでの補間誤差データ構造を 形成するための装置を含むことを特徴とする請求の範囲第３１項記載の装置。 ３７．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化するための方法に於て、複数の１０進化レベルを有する予 測ピラミッド型データ構造を生成するため現在データ用のフレーム間の予測され た画像データを１０進化し、 前記複数の１０進化レベルを有する現在画像ピラミッド型データ構造を生成する ため、符号化されない現在画像フレームを表現する符号化されない現在画像デー タを１０進化し、且つ、予測された画像データと符号化されない現在画像データ の差異の符号化されたデータ表現を生成するため、損失性圧縮による階層的符号 化をレベルごとの基準で前記予測及び現在画像ピラミッド型データに適用する段 階とから構成され、前記適用段階は、より高いレベルからの画像データを、少な くとも１つのより低いレベル用に補間する段階を含むことを特徴とする方法。 ３８，フレーム間の運動補整を利用して前記フレーム間の予測された画像データ を形成する段階を更に含むことを特徴とする請求の範囲第３７項記載の方法。 ３９．前記適用段階は、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用し且つ、 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適正に表現しない場合、差異表現のブロックをぼやけさせる段階を含むことを 特徴とする請求の範囲第３７項記載の方法。 ４０．前記適用段階は、 前記符号化された表現を部分的に生成するため演算符号化を利用する段階を含む ことを特徴とする請求の範囲第３７項記載の方法。 ４１．前記適用段階は、 トップレベルの出力画像を生成するため、トップレベルにて予測された画像デー タ構造を現在画像データ構造から減じ、より低いレベルでの予測された画像デー タと、次に高いレベルでの補間された画像データとの差異を取出すことにより、 より低いレベルにてワープされた補間誤差構造を形成し、且つ、次に高いレベル の補間された出力画像と、より低いレベルでのワープされた補間誤差データ構造 とを結合することによって、それぞれのより低いレベルにて予測画像を形成する 各段階を含むことを特徴とする請求の範囲第３７項記載の方法。 ４２．前記予測形成段階は更に、 前記補間された出力画像を生成するため、次に高いレベルからの出力画像を補間 する段階を含むことを特徴とする請求の範囲第４１項記載の方法。 ４３．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化するための装置に於て、複数の１０進化レベルを有する予 測ピラミッド型データ構造を生成するため、現在画像フレーム用のフレーム間の 予測された画像データを１０進化する装置と、 前記複数の１０進化レベルを有する現在ピラミッド型データ構造を生成するため 、符号化されない現在画像フレームを表現する符号化されない現在画像データを １０進化する装置と、予測された画像データと符号化された現在画像データの差 異の、符号化されたデータ表現を生成するため、損失性圧縮による階層的符号化 を前記予測及び現在画像ピラミッド型データ構造に適用する装置とから構成され 、 前記適用装置は、より高いレベルからの画像データを、少なくとも１つのより低 いレベル用に補間する装置を含むことを特徴とする装置。 ４４．フレーム間の運動補整を利用して前記フレーム間の予測された画像データ を形成するための装置を更に含むことを特徴とする請求の範囲第４３項記載の装 置。 ４５．前記適用装置は更に、 前記階層的符号化をブロックごとの基準にて前記データ構造に適用するための装 置と、 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適正に表現しない場合、差異表現のブロックをぼやけさせる装置とを含むこと を特徴とする請求の範囲第４４項記載の装置。 ４６．前記適用装置は更に、 前記符号化された表現を部分的に生成するための演算符号化装置を含むことを特 徴とする請求の範囲第４３項記載の装置。 ４７．前記適用装置は、 トップレベルの出力画像を生成するため、トップレベルにて、予測された面像デ ータ構造を現在画像データ構造から減じるための装置と、 より低いレベルでの予測された画像データと、次に高いレベルでの補間された予 測画像データとの差異を取出すことによって、より低いレベルにてワープされた 補間誤差データ構造を形成するための装置と、 次に高いレベルの補間された出力画像と、より低いレベルでのワープされた補間 誤差データ構造とを結合することによってそれぞれのより低いレベルにて予測画 像を形成するための装置とを含むことを特徴とする請求の範囲第４３項記載の装 置。 ４８．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化するための方法に於て、現在画像フレーム用の予測された 画像データと、符号化されない現在画像フレームを表現する符号化されない現在 画像データとの差異をピクセルごとの基準で表現する差異面像を形成し、複数の １０進化レベルを有する差異画像ピラミッド型データ構造を生成するため、前記 差異画像を１０進化し、且つ、予測された画像データと符号化されない画像デー タの差異の符号化されたデータ表現を生成するため、損失性圧縮による階層的符 号化をレベルごとの基準で前記差異画像ピラミッド型データ構造に適用する各段 階から構成され、前記適用段階は、より高いレベルからの画像データを、少なく とも１つのより低いレベルのために補間する段階を含むことを特徴とする方法。 ４９．フレーム間の運動補整を利用して前記予測された画像データを形成する段 階を更に含むことを特徴とする請求の範囲第４８項記載の方法。 ５０．前記適用段階は、 前記階層的符号化をブロックごとの基準で前記データ構造に適用し、且つ 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適正に表現しない場合に予測された画像表現のブロックをぼやけさせる段階を 含むことを特徴とする請求の範囲第４８項記載の方法。 ５１．前記適用段階は、前記符号化された表現を部分的に生成するため演算符号 化を利用する段階を含むことを特徴とする請求の範囲第４８項記載の方法。 ５２．前記適用段階は、 より低いレベルでの差異画像データと、次に高いレベルでの補間された再構成差 異画像データとの差異を取出すことによって、より低いレベルでの補間誤差デー タ構造を形成する段階を含むことを特徴とする請求の範囲第４８項記載の方法。 ５３．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の誤差データを符号化する装置に於て、現在画像フレーム用の予測された画像デ ータと、符号化されない現在画像フレームを表現する符号化されない現在画像デ ータの差異をピクセルごとの基準で表現する差異画像を形成するための装置と、 前記複数の１０進レベルを有する差異画像ピラミッド型データ構造を生成するた め前記差異画像を１０進化するための装置と、予測された画像データと符号化さ れた現在画像データとの差異の符号化されたデータ表現を生成するため、損失性 圧縮による階層的符号化をレベルごとの基準で前記差異画像ピラミッド型データ 構造に適用するための装置とから構成され、前記適用装置は、より高いレベルか らの画像データを少なくとも１つのより低いレベルのために補間するための装置 を含むことを特徴とする装置。 ５４．フレーム間の運動補整を利用して前記予測された画像データを形成するた めの装置を更に含むことを特徴とする請求の範囲第５３項記載の装置。 ５５．前記適用装置は更に、 前記階層的符号化をブロックごとの基準で前記データ構造に適用するための装置 と、 予測された画像データがピラミッド構造レベルにて前記現在画像のブロック部分 を適正に表現しない場合、予測された画像表現のブロックをぼやけさせるための 装置とを含むことを特徴とする請求の範囲第５３項記載の装置。 ５６．前記適用装置は更に、 前記符号化された表現を部分的に生成するための演算符号化装置を含むことを特 徴とする請求の範囲第５３項記載の装置。 ５７．前記適用装置は、 より低いレベルでの画像データと、次に高いレベルでの補間された再構成差異画 像データとの差を取出すことによって、より低いレベルでの補間誤差データ構造 を形成するための装置を含むことを特徴とする請求の範囲第５３項記載の装置。 ５８．データ値の多次元配列として表現されるデータを符号化する方法に於て、 最も近接のそれぞれのブロックについてゼロ値を有する全てのデータ値を抹殺し 且つ、 残りのデータ値にベクトル量子化符号化を適用する各段階から構成されることを 特徴とする方法。 ５９．画像送信システム内で画像データを表わすために前記データ値を生成する 段階を更に含み、前記配列は二次元配列であり、８つの最も近接した配列を有す ることを特徴とする請求の範囲第５８項記載の方法。 ６０．通信経路を介して一連の画像を送信するため前記画像送信システムの運動 補整を行なう段階を更に含むことを特徴とする請求の範囲第５９項記載の方法。 ６１．データ値の多次元配列として表現される画像データを符号化する方法に於 て、 データ値の前記配列のブロックに利得／形状ベクトル量子化を適用して前記値を 符号化し、且つ 受信機へのチャネル経路を介してそれぞれの非ゼロブロックごとに利得／形状コ ード語を伝送する段階から構成されることを特徴とする方法。 ６２．形状と関連する利得の関数として前記ベクトル量子化のための形状コード ブックのサイズを変える段階を更に含むことを特徴とする請求の範囲第６１項記 載の方法。 ６３．運動補整画像システムを利用して前記画像データを生成する段階を更に含 むことを特徴とする請求の範囲第６２項記載の方法。 ６４．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の画像データを符号化する方法に於て、ベクトル量子化符号化をブロックごとの 基準にて前記画像データに適用し且つ、 符号化の効率を高めるため、前記一連の画像フレームのフレームからフレームヘ のブロック位置境界を移動する各段階から成ることを特徴とする方法。 ６５．前記移動段階は、 画像面を規定する複数の軸方向のそれぞれに、複数の画素の分だけ前記ブロック 境界を移動する段階を含むことを特徴とする請求の範囲第６４項記載の方法。 ６６．一連の画像フレームを送信するため、画像送信システムに於てフレーム間 の画像データを符号化するための装置に於て、ベクトル量子化符号化をブロック ごとの基準で前記画像データに適用するための装置と、 符号化の効率を高めるため、前記一連の画像フレームのフレームからフレームヘ のブロック位置境界を移動するための装置とから構成されていることを特徴とす る装置。 ６７．前記移動装置は、画像面を規定する複数の軸方向のそれぞれに複数の画素 の分だけ前記ブロック境界を移動するための装置を含むことを特徴とする請求の 範囲第６６項記載の装置。