JPH09172378A - モデルベースの局所量子化を使用する画像処理のための方法および装置 - Google Patents
モデルベースの局所量子化を使用する画像処理のための方法および装置Info
- Publication number
- JPH09172378A JPH09172378A JP8249792A JP24979296A JPH09172378A JP H09172378 A JPH09172378 A JP H09172378A JP 8249792 A JP8249792 A JP 8249792A JP 24979296 A JP24979296 A JP 24979296A JP H09172378 A JPH09172378 A JP H09172378A
- Authority
- JP
- Japan
- Prior art keywords
- codebook
- blocks
- vector
- frames
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 エントロピーよりはるかに低いビット速度、
高い圧縮比にて、符号化および通信し、かつ、ソースお
よび視聴者の両方に特有の特性に関する情報を使用する
画像符号化システム、および、画像を最小の歪みにて再
生するためのビジュアルシステムを提供する。 【解決手段】 本発明による装置および方法は、ビデオ
電話会議などの用途に対するビデオ画像信号を圧縮する
ために、局所モデルに基づくアプローチを採用する。好
ましくは、本発明の装置および方法は、これら画像信号
を圧縮するために、三次元ベクトル量子化（３Ｄ Ｖ
Ｑ）、画像信号の最近の局所ヒストリー、およびピラミ
ッド型階層符号化技法を採用する。
高い圧縮比にて、符号化および通信し、かつ、ソースお
よび視聴者の両方に特有の特性に関する情報を使用する
画像符号化システム、および、画像を最小の歪みにて再
生するためのビジュアルシステムを提供する。 【解決手段】 本発明による装置および方法は、ビデオ
電話会議などの用途に対するビデオ画像信号を圧縮する
ために、局所モデルに基づくアプローチを採用する。好
ましくは、本発明の装置および方法は、これら画像信号
を圧縮するために、三次元ベクトル量子化（３Ｄ Ｖ
Ｑ）、画像信号の最近の局所ヒストリー、およびピラミ
ッド型階層符号化技法を採用する。
Description
【０００１】
【産業上の利用分野】本発明に従う装置および方法は、
画像処理、より詳細には、ビデオ会議やビデオ電話など
の用途に対するソース画像のモデルベース局所ベクトル
量子化に関する。
画像処理、より詳細には、ビデオ会議やビデオ電話など
の用途に対するソース画像のモデルベース局所ベクトル
量子化に関する。
【０００２】
【従来の技術】画像処理システムの能力の基本的な設計
目標は、ソース画像を符号化し、符号化された情報を現
存の電話線を通じて低いデータ速度で伝送し、ソース画
像をソースと離れた位置において最小の歪みで再生する
ことであった。低いデータ速度での符号化された情報の
通信は、特に、利用できる電話線の帯域幅に制約がある
国際電気通信に対しては重要である。音声通信と比較し
て、ビジュアル通信は、一般的に、画像が音声よりも著
しく多くの情報を含むために、より高い帯域幅の伝送媒
体を必要とする。幾つかの用途においては、画像シーケ
ンス内の生来的な冗長は、静止画像内のそれよりもかな
り高い。事実、多くのシーケンスについて、連続するフ
レーム間の差は、しばしば、極くわずかなものであり、
信号対雑音比（ＳＮＲ）基準を使用した場合、フレーム
をその前のフレームによって表わす方法は、しばしば、
再生されたフレームをオリジナルバージョンと比較した
場合、（他の）符号化の結果より良いＳＮＲを与える。
目標は、ソース画像を符号化し、符号化された情報を現
存の電話線を通じて低いデータ速度で伝送し、ソース画
像をソースと離れた位置において最小の歪みで再生する
ことであった。低いデータ速度での符号化された情報の
通信は、特に、利用できる電話線の帯域幅に制約がある
国際電気通信に対しては重要である。音声通信と比較し
て、ビジュアル通信は、一般的に、画像が音声よりも著
しく多くの情報を含むために、より高い帯域幅の伝送媒
体を必要とする。幾つかの用途においては、画像シーケ
ンス内の生来的な冗長は、静止画像内のそれよりもかな
り高い。事実、多くのシーケンスについて、連続するフ
レーム間の差は、しばしば、極くわずかなものであり、
信号対雑音比（ＳＮＲ）基準を使用した場合、フレーム
をその前のフレームによって表わす方法は、しばしば、
再生されたフレームをオリジナルバージョンと比較した
場合、（他の）符号化の結果より良いＳＮＲを与える。
【０００３】特に、一般に、ソース画像が上半身（頭と
肩の）情報から成るビデオ電話会議の場合は、生来的な
冗長は、さらに増加する。このような条件においては、
背景が殆ど変化せず、大部分の重要な情報が局所的に限
定された変化と関連するために、電話会議のための低ビ
ット符号化のための改良された技法を使用することがで
きる。ビデオ電話会議の歪みは、主としてエッジや細か
な移動部分などの極く限られた特定のエリアに集中する
傾向があるために、これらの大域ＳＮＲへの貢献は、し
ばしば小さなものであり、アーティファクトがかなり目
立つ場合でも、ＳＮＲにて評価した場合、評価上は良い
結果を示すこととなる。つまり、大域ＳＮＲの使用は、
歪みが画像全体を通じて一様に広がっている場合により
有効であり、ビデオ電話会議のようなケースにおいて
は、大域ＳＮＲは無意味である。その他の点では、定量
的にいって、フレームをその前のフレームによって表す
方法は、任意の他の符号化スキームよりも、しばしば、
優位である。一般的には、画像符号化には４つの基本的
なアプローチが存在する：（１）第一はエントロピー符
号化であり、この方法においては、情報の損失はないと
考えられる；（２）第二は、予測戦略であり、この方法
においては主として変化について扱われる；（３）第三
は、変換ベースの符号化であり、この方法においては、
画像の変換されたバージョンが符号化される；そして
（４）第四は、クラスタ符号化であり、この方法は、基
本的には、ベクトル量子化（ＶＱ）に関係する。
肩の）情報から成るビデオ電話会議の場合は、生来的な
冗長は、さらに増加する。このような条件においては、
背景が殆ど変化せず、大部分の重要な情報が局所的に限
定された変化と関連するために、電話会議のための低ビ
ット符号化のための改良された技法を使用することがで
きる。ビデオ電話会議の歪みは、主としてエッジや細か
な移動部分などの極く限られた特定のエリアに集中する
傾向があるために、これらの大域ＳＮＲへの貢献は、し
ばしば小さなものであり、アーティファクトがかなり目
立つ場合でも、ＳＮＲにて評価した場合、評価上は良い
結果を示すこととなる。つまり、大域ＳＮＲの使用は、
歪みが画像全体を通じて一様に広がっている場合により
有効であり、ビデオ電話会議のようなケースにおいて
は、大域ＳＮＲは無意味である。その他の点では、定量
的にいって、フレームをその前のフレームによって表す
方法は、任意の他の符号化スキームよりも、しばしば、
優位である。一般的には、画像符号化には４つの基本的
なアプローチが存在する：（１）第一はエントロピー符
号化であり、この方法においては、情報の損失はないと
考えられる；（２）第二は、予測戦略であり、この方法
においては主として変化について扱われる；（３）第三
は、変換ベースの符号化であり、この方法においては、
画像の変換されたバージョンが符号化される；そして
（４）第四は、クラスタ符号化であり、この方法は、基
本的には、ベクトル量子化（ＶＱ）に関係する。
【０００４】伝送のためのデータ符号化の他の分野、例
えば、音声符号化およびファクシミリにおいては、伝送
されるデータのソースに関連する追加の情報を考慮した
場合に圧縮が改善されることがよく知られている。例え
ば、情報ソースに対するモデルが生成され、生の情報で
はなく、モデルのパラメータが符号化される。デジタル
ファクシミリは、典型的なプリントページの走査をモデ
ル化するもう一つの例であり、このモデルにおいては、
黒の短いシーケンスと幾らかな白のより長いシーケンス
が、他の組合せよりもより多く期待される。画像符号化
の分野においては、画像は整合論理ソース（well defin
ed source ）によっては生成されず、このために、共通
の特性を欠くことが一般的に知られている。それでもな
お、画像処理分野において存在するこれらモデルは、以
下のMarkov処理モデルにおいて使用されるような、空間
における高い相関（spatial high correlation）といっ
た一般的な想定に依存する：
えば、音声符号化およびファクシミリにおいては、伝送
されるデータのソースに関連する追加の情報を考慮した
場合に圧縮が改善されることがよく知られている。例え
ば、情報ソースに対するモデルが生成され、生の情報で
はなく、モデルのパラメータが符号化される。デジタル
ファクシミリは、典型的なプリントページの走査をモデ
ル化するもう一つの例であり、このモデルにおいては、
黒の短いシーケンスと幾らかな白のより長いシーケンス
が、他の組合せよりもより多く期待される。画像符号化
の分野においては、画像は整合論理ソース（well defin
ed source ）によっては生成されず、このために、共通
の特性を欠くことが一般的に知られている。それでもな
お、画像処理分野において存在するこれらモデルは、以
下のMarkov処理モデルにおいて使用されるような、空間
における高い相関（spatial high correlation）といっ
た一般的な想定に依存する：
【数１】 ここで、ξは雑音源パラメータρv およびρh は垂直お
よび水平相関パラメータを表す。ただし、一般Markovプ
ロセスモデルの使用には制限がある。このモデルの基本
的な想定は、多くの画像においては適合せず、また、本
質的に、このモデルは、ソース画像あるいはビジュアル
システムと直接に関係する情報に依存しない。
よび水平相関パラメータを表す。ただし、一般Markovプ
ロセスモデルの使用には制限がある。このモデルの基本
的な想定は、多くの画像においては適合せず、また、本
質的に、このモデルは、ソース画像あるいはビジュアル
システムと直接に関係する情報に依存しない。
【０００５】
【発明が解決しようとする課題】従って、エントロピー
よりはるかに低いビット速度、高い圧縮比にて、符号化
および通信し、かつ、ソースおよび視聴者の両方に特有
の特性に関する情報を使用する画像符号化システム、お
よび、画像を最小の歪みにて再生するためのビジュアル
システムに対する需要が存在する。
よりはるかに低いビット速度、高い圧縮比にて、符号化
および通信し、かつ、ソースおよび視聴者の両方に特有
の特性に関する情報を使用する画像符号化システム、お
よび、画像を最小の歪みにて再生するためのビジュアル
システムに対する需要が存在する。
【０００６】
【課題を解決するための手段】本発明の一例としての実
施例は、ソース信号を圧縮されたビット速度にて遠隔受
信機に伝送するために符号化するための方法である。受
信端において、受信された信号が符号化され、ソース信
号が再生される。この方法は：ソース信号を複数のブロ
ックに分割するステップを含むが、ここでこれら複数の
ブロックのおのおのはソース信号の一部分を含む。この
方法はさらに、前記のソース信号の少なくとも一部分を
表すヒストリカルデータを格納するステップ；およびヒ
ストリカルデータに基づいて複数の段階的により精細な
コードブックを生成するステップを含むが、ここでこれ
らコードブックは、第一のコードブックおよび第二のコ
ードブックを持ち、第二のコードブックの方が第一のコ
ードブックよりもより精細である。この方法はさらに、
前記の複数のブロックの少なくとも一つを第一のコード
ブックにて符号化するステップ；エラー基準を決定する
ステップ；および、エラー基準が現在の閾値よりも小さ
い場合に、さらに、前記の複数のブロックの前記の少な
くとも一つを第二のコードブックにて符号化するステッ
プを含む。前記の符号化ステップは、さらに、前記の複
数のブロックの部分を段階的に増加するダイナミック特
性を持つ部分に局所化するステップおよび前記の局所化
された部分に隣接するベクトルをさらなる符号化のため
に加えるステップを含む。
施例は、ソース信号を圧縮されたビット速度にて遠隔受
信機に伝送するために符号化するための方法である。受
信端において、受信された信号が符号化され、ソース信
号が再生される。この方法は：ソース信号を複数のブロ
ックに分割するステップを含むが、ここでこれら複数の
ブロックのおのおのはソース信号の一部分を含む。この
方法はさらに、前記のソース信号の少なくとも一部分を
表すヒストリカルデータを格納するステップ；およびヒ
ストリカルデータに基づいて複数の段階的により精細な
コードブックを生成するステップを含むが、ここでこれ
らコードブックは、第一のコードブックおよび第二のコ
ードブックを持ち、第二のコードブックの方が第一のコ
ードブックよりもより精細である。この方法はさらに、
前記の複数のブロックの少なくとも一つを第一のコード
ブックにて符号化するステップ；エラー基準を決定する
ステップ；および、エラー基準が現在の閾値よりも小さ
い場合に、さらに、前記の複数のブロックの前記の少な
くとも一つを第二のコードブックにて符号化するステッ
プを含む。前記の符号化ステップは、さらに、前記の複
数のブロックの部分を段階的に増加するダイナミック特
性を持つ部分に局所化するステップおよび前記の局所化
された部分に隣接するベクトルをさらなる符号化のため
に加えるステップを含む。
【０００７】前記の複数の段階的により精細なコードブ
ックを生成するためのステップは、好ましくは、三次元
ベクトル量子化によって行なわれる。さらに、前記のコ
ードブックを生成するステップが、好ましくは、受信機
内で複製される。長所として、本発明の一例としての実
施例による方法は、こうして符号化されたソース信号
を、１：１００より大きな圧縮比にて、伝送媒体を通じ
て受信機に伝送する。本発明の一例としての実施例によ
る装置は以下から構成される。つまりこの装置は：画像
信号を表す複数のフレームの少なくとも一つを複数のブ
ロックに分割するための手段を含む。ここでこれらブロ
ックのおのおのは、画像信号の一部分を含む。この装置
はさらに、前記の複数のフレームの少なくとも一つのヒ
ストリカルデータを格納するためのメモリ；およびヒス
トリカルデータに基づいて複数の段階的により精細なコ
ードブックを生成するための手段を含むが、ここでこの
コードブックは、第一のコードブックおよび第二のコー
ドブックを持ち、第二のコードブックの方が第一のコー
ドブックよりより精細である。この装置はさらに、前記
の複数のブロックの少なくとも一つを第一のコードブッ
クにて符号化するための符号器を含むが、この符号器は
さらに、エラー基準を決定し、このエラー基準が現在の
閾値よりも小さな場合にさらに第二のコードブックにて
符号化を行なうための手段を含む。
ックを生成するためのステップは、好ましくは、三次元
ベクトル量子化によって行なわれる。さらに、前記のコ
ードブックを生成するステップが、好ましくは、受信機
内で複製される。長所として、本発明の一例としての実
施例による方法は、こうして符号化されたソース信号
を、１：１００より大きな圧縮比にて、伝送媒体を通じ
て受信機に伝送する。本発明の一例としての実施例によ
る装置は以下から構成される。つまりこの装置は：画像
信号を表す複数のフレームの少なくとも一つを複数のブ
ロックに分割するための手段を含む。ここでこれらブロ
ックのおのおのは、画像信号の一部分を含む。この装置
はさらに、前記の複数のフレームの少なくとも一つのヒ
ストリカルデータを格納するためのメモリ；およびヒス
トリカルデータに基づいて複数の段階的により精細なコ
ードブックを生成するための手段を含むが、ここでこの
コードブックは、第一のコードブックおよび第二のコー
ドブックを持ち、第二のコードブックの方が第一のコー
ドブックよりより精細である。この装置はさらに、前記
の複数のブロックの少なくとも一つを第一のコードブッ
クにて符号化するための符号器を含むが、この符号器は
さらに、エラー基準を決定し、このエラー基準が現在の
閾値よりも小さな場合にさらに第二のコードブックにて
符号化を行なうための手段を含む。
【０００８】
【実施例】本発明による装置および方法は、画像情報の
ソース画像をエントロピー以下のビット速度、高圧縮比
にて、符号化、伝送、受信および再生できるように処理
する。好ましくは、この装置および方法は、電話会議お
よびビデオ電話技術に対して適用される。電話会議の性
質と関連する特定の諸特性を含むモデルベースのアプロ
ーチが採用される。例えば、電話会議における“ヘッド
アンドショルダー（上半身画像）”のシーケンスの場
合、最近のヒストリーの典型的なモーションが、次のフ
レームにおいて反復して出現する可能性が高い。他のタ
イプのビデオシーケンスとは異なり、これら上半身のム
ーブメント（動き）は、その画像の同一のエリア内に再
出現する可能性が高い。従って、好ましくは、先行する
フレームあるいはフレームシーケンスの最近の局所ヒス
トリー（recent localized history）が、現在のフレー
ムのモデル化および符号化のために使用される。この符
号化プロセスは、好ましくは、ヒラミッド型階層アプロ
ーチに基づく。長所として、伝送速度は、三次元ベクト
ル量子化を適応コードブックと共に使用することによっ
てさらに低減することができる。
ソース画像をエントロピー以下のビット速度、高圧縮比
にて、符号化、伝送、受信および再生できるように処理
する。好ましくは、この装置および方法は、電話会議お
よびビデオ電話技術に対して適用される。電話会議の性
質と関連する特定の諸特性を含むモデルベースのアプロ
ーチが採用される。例えば、電話会議における“ヘッド
アンドショルダー（上半身画像）”のシーケンスの場
合、最近のヒストリーの典型的なモーションが、次のフ
レームにおいて反復して出現する可能性が高い。他のタ
イプのビデオシーケンスとは異なり、これら上半身のム
ーブメント（動き）は、その画像の同一のエリア内に再
出現する可能性が高い。従って、好ましくは、先行する
フレームあるいはフレームシーケンスの最近の局所ヒス
トリー（recent localized history）が、現在のフレー
ムのモデル化および符号化のために使用される。この符
号化プロセスは、好ましくは、ヒラミッド型階層アプロ
ーチに基づく。長所として、伝送速度は、三次元ベクト
ル量子化を適応コードブックと共に使用することによっ
てさらに低減することができる。
【０００９】図１には、フレーム（ｎ＋ｉ）から（ｎ＋
ｋp ）までの代表的なシーケンスが示されるが、これら
が、複数のスーパーブロック１０に分割され、各スーパ
ーブロックは、さらに、セットの三次元（３Ｄ）ベクト
ル（ｘ、ｙ、ｔ）に分割される。階層の観点からは、一
般的には、周知のピラミッド型のアプローチが電話会議
に適用可能であるが、ただし、これは、条件付きにであ
る。つまり、特定のモーションが、各ベクトルのサイズ
の意味において、粗いフレーム分割では正確にマッチン
グ（符号化）できない場合は、これら細部の表現を向上
させるために、より精細な記述が使用される。ヒストリ
ーの観点からは、二つのパラメータＫHとＫPが、それぞ
れ、典型的なモーションを評価するために使用されるヒ
ストリーの継続期間、および、各モーブメントの典型的
な長さと関連する。ＫP は、また、システムの期待され
る最小の遅延を表す。典型的なモーションの広がりであ
ると考えられる空間エリアは、パラメータＫA と呼ばれ
る。
ｋp ）までの代表的なシーケンスが示されるが、これら
が、複数のスーパーブロック１０に分割され、各スーパ
ーブロックは、さらに、セットの三次元（３Ｄ）ベクト
ル（ｘ、ｙ、ｔ）に分割される。階層の観点からは、一
般的には、周知のピラミッド型のアプローチが電話会議
に適用可能であるが、ただし、これは、条件付きにであ
る。つまり、特定のモーションが、各ベクトルのサイズ
の意味において、粗いフレーム分割では正確にマッチン
グ（符号化）できない場合は、これら細部の表現を向上
させるために、より精細な記述が使用される。ヒストリ
ーの観点からは、二つのパラメータＫHとＫPが、それぞ
れ、典型的なモーションを評価するために使用されるヒ
ストリーの継続期間、および、各モーブメントの典型的
な長さと関連する。ＫP は、また、システムの期待され
る最小の遅延を表す。典型的なモーションの広がりであ
ると考えられる空間エリアは、パラメータＫA と呼ばれ
る。
【００１０】局所化パラメータ（localization paramet
er）は、ＫH＋ＫPによって定義される時間期間において
反復モーションを含むであろうとみなされるエリアのサ
イズＡLと関連する。変換プロセスに関しては、近隣ＡL
からのパラメータが導入される。近隣としては、例え
ば、小さなエリアあるいはフレーム全体が含まれる。こ
の階層アプローチは、追加のパラメータ、つまり、通常
はピラミッド表現の隣接するレベル間でＫA のサイズが
どれだけ変化するかの係数を含み、好ましくは、この係
数として２が使用される。ＫP は、電話会議システムの
許容可能な遅延と直接に関係するために、ＫP は、通信
の特定の目的に従って決定される。例えば、対話通信が
要求される場合は、最大遅延は、好ましくは、１秒の１
０分の１あるいはそれ以下とされるが、これは、３乃至
４、あるいはそれ以下のフレーム数に相当する。図１
は、４フレームに相当するＫP を示す。パラメータＫH
の制約は比較的低い。これは、最近の典型的なモーブメ
ントを見つけるために考慮されるべきヒストリーの長さ
である。０．５から２．０秒の範囲のヒストリーが適当
であることが分かっている。ＡL は、このモデルの、よ
りフレキシブルなパラメータである。解説の目的に対し
ては、最も粗いサイズの数ブロック、好ましくは、４×
５ベクトルが使用される。
er）は、ＫH＋ＫPによって定義される時間期間において
反復モーションを含むであろうとみなされるエリアのサ
イズＡLと関連する。変換プロセスに関しては、近隣ＡL
からのパラメータが導入される。近隣としては、例え
ば、小さなエリアあるいはフレーム全体が含まれる。こ
の階層アプローチは、追加のパラメータ、つまり、通常
はピラミッド表現の隣接するレベル間でＫA のサイズが
どれだけ変化するかの係数を含み、好ましくは、この係
数として２が使用される。ＫP は、電話会議システムの
許容可能な遅延と直接に関係するために、ＫP は、通信
の特定の目的に従って決定される。例えば、対話通信が
要求される場合は、最大遅延は、好ましくは、１秒の１
０分の１あるいはそれ以下とされるが、これは、３乃至
４、あるいはそれ以下のフレーム数に相当する。図１
は、４フレームに相当するＫP を示す。パラメータＫH
の制約は比較的低い。これは、最近の典型的なモーブメ
ントを見つけるために考慮されるべきヒストリーの長さ
である。０．５から２．０秒の範囲のヒストリーが適当
であることが分かっている。ＡL は、このモデルの、よ
りフレキシブルなパラメータである。解説の目的に対し
ては、最も粗いサイズの数ブロック、好ましくは、４×
５ベクトルが使用される。
【００１１】本発明の効果を説明するために、粗いコー
ドブックを使用するベクトル量子化（ＶＱ）を含むアプ
ローチを考える。通常、粗いコードブックは、画像の、
より細かな部分を含むエリアの再生を貧弱にする傾向が
ある。１００あるいはそれ以上の圧縮比が要求される場
合は、各基本ベクトルのサイズは非常に大きくなる；例
えば、１６コードワードの４ビットコードブックは、５
０画素ブロック、および画素当たり８ビットに対する４
００ビットを意味するが、これは、明らかに、電話会議
の小さな移動部分に対しては粗すぎる。反面、画像の静
止部分に対しては、５０画素ブロックあるいはこれより
も粗いブロックで十分である。従って、全フレームに対
して同一のブロックサイズを持つことは、効率的な解決
策ではない。大局的な固定されたブロックサイズが選択
された場合、これは、画像の最も細かなエリア、通常
は、目と唇を表現できなければならない。ＣＩＦ標準を
使用した場合、この大域ブロック（global block）のサ
イズは、２×２画素を要求される。４層スキームに対し
ては、ブロック当たり１６画素、つまり、１２８ビット
が必要となる。このようなビット速度においては、ブッ
ク当たり２エントリー（１ビット）を上回らないコード
ブックにて、１：１００の圧縮率を達成することは困難
である。本発明による一例としてのアプローチにおいて
は、ブロックサイズが画像の様々なエリア内の細かさお
よび動きの程度に適応される符号化法が使用される。つ
まり、基本ベクトルサイズとして、好ましくは、８×８
の平面（サイズ）と４フレームの深さ（サイズ）に対応
する２５６画素ベクトルが使用され、より精細なバージ
ョンに対して、段階的に、４×４、２×２、の空間サイ
ズ、とこれに対応する、段階的に、６４、１６、の画素
ベクトルが使用される。
ドブックを使用するベクトル量子化（ＶＱ）を含むアプ
ローチを考える。通常、粗いコードブックは、画像の、
より細かな部分を含むエリアの再生を貧弱にする傾向が
ある。１００あるいはそれ以上の圧縮比が要求される場
合は、各基本ベクトルのサイズは非常に大きくなる；例
えば、１６コードワードの４ビットコードブックは、５
０画素ブロック、および画素当たり８ビットに対する４
００ビットを意味するが、これは、明らかに、電話会議
の小さな移動部分に対しては粗すぎる。反面、画像の静
止部分に対しては、５０画素ブロックあるいはこれより
も粗いブロックで十分である。従って、全フレームに対
して同一のブロックサイズを持つことは、効率的な解決
策ではない。大局的な固定されたブロックサイズが選択
された場合、これは、画像の最も細かなエリア、通常
は、目と唇を表現できなければならない。ＣＩＦ標準を
使用した場合、この大域ブロック（global block）のサ
イズは、２×２画素を要求される。４層スキームに対し
ては、ブロック当たり１６画素、つまり、１２８ビット
が必要となる。このようなビット速度においては、ブッ
ク当たり２エントリー（１ビット）を上回らないコード
ブックにて、１：１００の圧縮率を達成することは困難
である。本発明による一例としてのアプローチにおいて
は、ブロックサイズが画像の様々なエリア内の細かさお
よび動きの程度に適応される符号化法が使用される。つ
まり、基本ベクトルサイズとして、好ましくは、８×８
の平面（サイズ）と４フレームの深さ（サイズ）に対応
する２５６画素ベクトルが使用され、より精細なバージ
ョンに対して、段階的に、４×４、２×２、の空間サイ
ズ、とこれに対応する、段階的に、６４、１６、の画素
ベクトルが使用される。
【００１２】図２は、本発明の一例としての実施例に従
って動作する装置のブロック図を示す。画像抽出および
分割デバイス２１０は、画像を捕捉するための従来のカ
メラ、および捕捉された画像を処理し、捕捉されたフレ
ームをデータ信号に変換するための回路を含む。各フレ
ームは、おのおのが三次元ベクトルから成る三次元スー
パーブロック（ｘ、ｙ、ｔ）に分割される。好ましく
は、このスーパーブロックは、４０×３２×４とされ、
ベクトルサイズは、８×８×４とされる。本発明の一例
としての実施例の符号化スキームは、ベクトル量子化
（ＶＱ）である。一般的なＶＱアプローチと同様に、各
フレームが、“スーパーブロック”と呼ばれるフレーム
部分に分割され、各スーパーブロックは、複数の画素を
表すデータあるいは信号を含む。個々のスーパーブロッ
クは、セットのベクトルに処理される。量子化されるべ
きデータに最も一致する（データを最も良く表す）コー
ドブックが生成される。同一のコードブックが遠隔受信
機の所で生成された場合、コードブック全体に対するデ
ータあるいはベクトルを伝送する代わりに、各コードブ
ックを表すインデックスのみを、伝送媒体を介して伝送
することによって、結果として、伝送ビット速度を低減
することができる。本発明の一例としての実施例におい
ては、ベクトル量子化器２２０によって、各スーパーブ
ロックに対する専用のコードブックが、フレームヒスト
リーメモリ２３０内に格納された前のフレームの、最近
の局所ヒストリー（localized recent history）に基づ
いて生成される。好ましくは、各専用コードブック内の
ベクトルのサイズは、８×８×４とされ、格納されるヒ
ストリーの継続期間ＫH は、毎秒とされる。コードブッ
クが、図２に示される送信回路と、図には示されない受
信回路の両方において生成される。一例としての装置の
伝送媒体２６０は、電話線である。好ましくは、この媒
体の送信端および受信端の所にモデム（図示なし）が使
用される。
って動作する装置のブロック図を示す。画像抽出および
分割デバイス２１０は、画像を捕捉するための従来のカ
メラ、および捕捉された画像を処理し、捕捉されたフレ
ームをデータ信号に変換するための回路を含む。各フレ
ームは、おのおのが三次元ベクトルから成る三次元スー
パーブロック（ｘ、ｙ、ｔ）に分割される。好ましく
は、このスーパーブロックは、４０×３２×４とされ、
ベクトルサイズは、８×８×４とされる。本発明の一例
としての実施例の符号化スキームは、ベクトル量子化
（ＶＱ）である。一般的なＶＱアプローチと同様に、各
フレームが、“スーパーブロック”と呼ばれるフレーム
部分に分割され、各スーパーブロックは、複数の画素を
表すデータあるいは信号を含む。個々のスーパーブロッ
クは、セットのベクトルに処理される。量子化されるべ
きデータに最も一致する（データを最も良く表す）コー
ドブックが生成される。同一のコードブックが遠隔受信
機の所で生成された場合、コードブック全体に対するデ
ータあるいはベクトルを伝送する代わりに、各コードブ
ックを表すインデックスのみを、伝送媒体を介して伝送
することによって、結果として、伝送ビット速度を低減
することができる。本発明の一例としての実施例におい
ては、ベクトル量子化器２２０によって、各スーパーブ
ロックに対する専用のコードブックが、フレームヒスト
リーメモリ２３０内に格納された前のフレームの、最近
の局所ヒストリー（localized recent history）に基づ
いて生成される。好ましくは、各専用コードブック内の
ベクトルのサイズは、８×８×４とされ、格納されるヒ
ストリーの継続期間ＫH は、毎秒とされる。コードブッ
クが、図２に示される送信回路と、図には示されない受
信回路の両方において生成される。一例としての装置の
伝送媒体２６０は、電話線である。好ましくは、この媒
体の送信端および受信端の所にモデム（図示なし）が使
用される。
【００１３】階層符号器２４０内で階層的符号化プロセ
スが遂行される。図３に示される一例としての符号化プ
ロセスは、以下の通りである： （１）ヒストリーベースＶＱからの基本ベクトル８×８
×４を持つ専用の局所コードブックが探索される。閾値
Ｔ１よりも大きなＳＮＲを持つブロックが出力される。
人の上半身のソース画像に対しては、９０％以上のベク
トルが、１／４０ｂｐｐにて満足に符号化可能である
（ステップ３１０）； （２）Ｔ１以下のＳＮＲを持つベクトルに対して、探索
が隣接のスーパーブロックのコードブックを含めるよう
に拡張される。この探索からＴ２より大きなＳＮＲを持
つベクトルが出力される（ステップ３２０）。これらの
ベクトルの殆どは、約１／１０ｂｐｐにて満足に符号化
可能である； （３）ステップ（１）および（２）によって満足に符号
化できなかったベクトルがさらにより精細なコードブッ
ク、例えば、４×４×４を使用して符号化される。その
後、Ｔ３より大きなＳＮＲを持つベクトルが探索され、
出力される（ステップ３３０）； （４）残ったベクトルが２×２×４のコードブックを使
用して符号化され、符号化されたベクトルがＴ４以上の
ＳＮＲを持つ場合は、出力される（ステップ３４０）； （５）上のステップにおけるコードブックを使用して満
足に符号化できなかったベクトルがスカラー量子化を使
用して符号化される（ステップ３５０）。
スが遂行される。図３に示される一例としての符号化プ
ロセスは、以下の通りである： （１）ヒストリーベースＶＱからの基本ベクトル８×８
×４を持つ専用の局所コードブックが探索される。閾値
Ｔ１よりも大きなＳＮＲを持つブロックが出力される。
人の上半身のソース画像に対しては、９０％以上のベク
トルが、１／４０ｂｐｐにて満足に符号化可能である
（ステップ３１０）； （２）Ｔ１以下のＳＮＲを持つベクトルに対して、探索
が隣接のスーパーブロックのコードブックを含めるよう
に拡張される。この探索からＴ２より大きなＳＮＲを持
つベクトルが出力される（ステップ３２０）。これらの
ベクトルの殆どは、約１／１０ｂｐｐにて満足に符号化
可能である； （３）ステップ（１）および（２）によって満足に符号
化できなかったベクトルがさらにより精細なコードブッ
ク、例えば、４×４×４を使用して符号化される。その
後、Ｔ３より大きなＳＮＲを持つベクトルが探索され、
出力される（ステップ３３０）； （４）残ったベクトルが２×２×４のコードブックを使
用して符号化され、符号化されたベクトルがＴ４以上の
ＳＮＲを持つ場合は、出力される（ステップ３４０）； （５）上のステップにおけるコードブックを使用して満
足に符号化できなかったベクトルがスカラー量子化を使
用して符号化される（ステップ３５０）。
【００１４】再度、図３に戻るが、Ｂ１からＢ５は、各
々のステージ（段階）において受信機に出力される符号
化されたコードを表し、ｂ１からｂ４は、次のステージ
のＢ２からＢ５のコードが使用されるべきか否かを指定
する制御ビットを表す。本発明の装置および方法の一例
としての実施例の、一例としての用途が、以下に説明さ
れるが、この実施例においては、ソース画像として電話
会議において典型的な画像である人（女性）の上半身
（頭と肩）が使用される。フレームが９×９のスーパー
ブロックに分割される。各スーパーブロックに対して、
最後の２８個のフレームに基づいて、ダイナミックコー
ドブックが生成される。基本ベクトルサイズは、８×８
とされ、結果として、各スーパーブロック内に２０個の
ベクトルが生成され、さらに、隣接のスーパーブロック
のベクトル、例えば、追加の二列あるいは二行の隣接の
ベクトルを含む局所的あるいは訓練されたセットのベク
トルを使用して、コードブックが生成される。各コード
ブック内のコードワードの最大数は、５１２である。コ
ードワードの実際の数は、訓練セットのベクトルを表す
のに、より小さなサイズのコードブックにて各コードブ
ックの局所ＳＮＲを達成できる場合は、これより小さく
なる。図４は、コードブックのサイズを、フレーム４か
ら開始して最後の２８フレームに至るヒストリーとの関
連で示す。白いブロックは、最大数のコードブック（５
１６）を表し、より暗いブロックは、より少数のコード
ブックを表す。より大きなコードブックは、動きがより
大きな所、例えば、人の顔の目および口の動きを持つエ
リアにおいて要求されることが分かる。これとは対照的
に、背景エリアは、動きが少なくあるいは全くなく、少
数のコードブックを持つより暗いエリアを持つ。
々のステージ（段階）において受信機に出力される符号
化されたコードを表し、ｂ１からｂ４は、次のステージ
のＢ２からＢ５のコードが使用されるべきか否かを指定
する制御ビットを表す。本発明の装置および方法の一例
としての実施例の、一例としての用途が、以下に説明さ
れるが、この実施例においては、ソース画像として電話
会議において典型的な画像である人（女性）の上半身
（頭と肩）が使用される。フレームが９×９のスーパー
ブロックに分割される。各スーパーブロックに対して、
最後の２８個のフレームに基づいて、ダイナミックコー
ドブックが生成される。基本ベクトルサイズは、８×８
とされ、結果として、各スーパーブロック内に２０個の
ベクトルが生成され、さらに、隣接のスーパーブロック
のベクトル、例えば、追加の二列あるいは二行の隣接の
ベクトルを含む局所的あるいは訓練されたセットのベク
トルを使用して、コードブックが生成される。各コード
ブック内のコードワードの最大数は、５１２である。コ
ードワードの実際の数は、訓練セットのベクトルを表す
のに、より小さなサイズのコードブックにて各コードブ
ックの局所ＳＮＲを達成できる場合は、これより小さく
なる。図４は、コードブックのサイズを、フレーム４か
ら開始して最後の２８フレームに至るヒストリーとの関
連で示す。白いブロックは、最大数のコードブック（５
１６）を表し、より暗いブロックは、より少数のコード
ブックを表す。より大きなコードブックは、動きがより
大きな所、例えば、人の顔の目および口の動きを持つエ
リアにおいて要求されることが分かる。これとは対照的
に、背景エリアは、動きが少なくあるいは全くなく、少
数のコードブックを持つより暗いエリアを持つ。
【００１５】８×８×４ベクトルに基づく部分的再生が
遂行される。動きを持つエリア、例えば、顔および首の
全体のエリアが、隣接のコードブックのコードワードを
使用する次の段階に送られる。満足であることが分かっ
たブロックが再生のために加られる。残りが、４×４×
４ベクトルを使用する画像再生のより精細な段階に送ら
れる。この段階で、殆どの情報が、これらより小さなコ
ードワードにて満足に表現され、より大きな動きあるい
はより大きなダイナミック特性を持つ少しのエリア、例
えば、目と口のエリアが残される。これら残されたエリ
アがさらに２×２×４ベクトルに基づいて符号化され
る。最も細かな段階の後に、目と口の一部分のエリアの
みが残される。これらブロックがスカラー量子化から成
る最後の段階に送られる。この段階において必要とされ
る典型的な修正が図５に示されるが、ここで、点線の曲
線は、典型的な修正ヒストグラムを表し、ｘ軸は、修正
振幅を表し、ｙ軸は確率を表す。全ての段階が結合され
た最終的な結果として、０．０６０３ビット／画素によ
って表される再生画像が得られるが、これは、１：１２
７の圧縮比に相当する。上記の説明を数値的に表現する
と以下のようになる：
遂行される。動きを持つエリア、例えば、顔および首の
全体のエリアが、隣接のコードブックのコードワードを
使用する次の段階に送られる。満足であることが分かっ
たブロックが再生のために加られる。残りが、４×４×
４ベクトルを使用する画像再生のより精細な段階に送ら
れる。この段階で、殆どの情報が、これらより小さなコ
ードワードにて満足に表現され、より大きな動きあるい
はより大きなダイナミック特性を持つ少しのエリア、例
えば、目と口のエリアが残される。これら残されたエリ
アがさらに２×２×４ベクトルに基づいて符号化され
る。最も細かな段階の後に、目と口の一部分のエリアの
みが残される。これらブロックがスカラー量子化から成
る最後の段階に送られる。この段階において必要とされ
る典型的な修正が図５に示されるが、ここで、点線の曲
線は、典型的な修正ヒストグラムを表し、ｘ軸は、修正
振幅を表し、ｙ軸は確率を表す。全ての段階が結合され
た最終的な結果として、０．０６０３ビット／画素によ
って表される再生画像が得られるが、これは、１：１２
７の圧縮比に相当する。上記の説明を数値的に表現する
と以下のようになる：
【００１６】２０ベクトル／スーパーブロックの９×９
＝８１スーパーブロックあるいはコードブックから各４
フレームに対して１６２０個の８×８×４ベクトルが生
じる。1620×8×8×4=414720画素（4フレーム）＞3,110
Kpps＞24,883Kbpsである。 （１）８×８×４画素ベクトルサイズに対して、局所コ
ードブックを使用して符号化：１００％のベクトルが
０．０２４ｂｐｐにて符号化される。 （２）８×８×４画素ベクトルサイズに対して、隣接の
コードブックを使用して符号化：９％のベクトルが０．
１ｂｐｐにて符号化される。 （３）４×４×４画素ベクトルサイズに対して、局所コ
ードブックと隣接のコードブックを使用して符号化：３
％のベクトルが０．２２ｂｐｐにて符号化される。 （４）２×２×４画素ベクトルサイズに対して、局所コ
ードブックと隣接のコードブックを使用して符号化：
１．５％のベクトルが０．８１ｂｐｐにて符号化され
る。 （５）１×１×１ベクトルサイズに対して、スカラー量
子化を使用して符号化：０．３％のベクトルが４ｂｐｐ
にて符号化される。 合計：73K+28K+20K+38K+37K=196Kbps 圧縮率：196Kbps/24,883Kbps=1:127(0.063bpp)
＝８１スーパーブロックあるいはコードブックから各４
フレームに対して１６２０個の８×８×４ベクトルが生
じる。1620×8×8×4=414720画素（4フレーム）＞3,110
Kpps＞24,883Kbpsである。 （１）８×８×４画素ベクトルサイズに対して、局所コ
ードブックを使用して符号化：１００％のベクトルが
０．０２４ｂｐｐにて符号化される。 （２）８×８×４画素ベクトルサイズに対して、隣接の
コードブックを使用して符号化：９％のベクトルが０．
１ｂｐｐにて符号化される。 （３）４×４×４画素ベクトルサイズに対して、局所コ
ードブックと隣接のコードブックを使用して符号化：３
％のベクトルが０．２２ｂｐｐにて符号化される。 （４）２×２×４画素ベクトルサイズに対して、局所コ
ードブックと隣接のコードブックを使用して符号化：
１．５％のベクトルが０．８１ｂｐｐにて符号化され
る。 （５）１×１×１ベクトルサイズに対して、スカラー量
子化を使用して符号化：０．３％のベクトルが４ｂｐｐ
にて符号化される。 合計：73K+28K+20K+38K+37K=196Kbps 圧縮率：196Kbps/24,883Kbps=1:127(0.063bpp)
【００１７】本発明の装置および方法のこの一例として
の実施例は、３Ｄ−ＶＱに対する訓練セットとして、局
所ヒストリーのシーケンスを使用する。このアプローチ
は、シーケンスに関する最近の情報を利用し、このため
に次のフレームとの関連で最も重要なデータソースの一
つに依存し、シーン内のダイナミクスに大きな変化はな
いものと想定する。長所として、このアプローチの実現
は、本質的に、並列計算に系統的に編成することができ
る。シリアルコンピュータが使用された場合でも、結合
された大きな一つではなく、多数の小さなコードブック
が処理されるために、時間と動作が節約される。並列の
場合は、各スーパーブロックが、上記の例では８１個の
スーパーブロックが、実質的に別個のサブシステムとみ
なされ、他の全てのスーパーブロックと独立して適応コ
ードブックが生成され、ベクトルが、これに従って符号
化される。各４−フレームステージにて符号化されるべ
きベクトル数は、２０ベクトルであり、これは、比較的
少ない数である。細部を持つフレームステージは、より
精細なコードブックに符号化される。これらフレームス
テージは、基本ステージのわずかな割合を占める。各４
−フレーム処理に対して利用可能な処理時間は、４／３
０秒、つまり、１３３ミリ秒である点に注意する。
の実施例は、３Ｄ−ＶＱに対する訓練セットとして、局
所ヒストリーのシーケンスを使用する。このアプローチ
は、シーケンスに関する最近の情報を利用し、このため
に次のフレームとの関連で最も重要なデータソースの一
つに依存し、シーン内のダイナミクスに大きな変化はな
いものと想定する。長所として、このアプローチの実現
は、本質的に、並列計算に系統的に編成することができ
る。シリアルコンピュータが使用された場合でも、結合
された大きな一つではなく、多数の小さなコードブック
が処理されるために、時間と動作が節約される。並列の
場合は、各スーパーブロックが、上記の例では８１個の
スーパーブロックが、実質的に別個のサブシステムとみ
なされ、他の全てのスーパーブロックと独立して適応コ
ードブックが生成され、ベクトルが、これに従って符号
化される。各４−フレームステージにて符号化されるべ
きベクトル数は、２０ベクトルであり、これは、比較的
少ない数である。細部を持つフレームステージは、より
精細なコードブックに符号化される。これらフレームス
テージは、基本ステージのわずかな割合を占める。各４
−フレーム処理に対して利用可能な処理時間は、４／３
０秒、つまり、１３３ミリ秒である点に注意する。
【００１８】本発明によるこの一例としての実施例は、
大局ＳＮＲの代わりに局所バージョンを使用する。例え
ば、ピラミッド表現の一つのレベルから、次のより精細
なレベルに遷移する。ここでは本発明の複数の特定の実
施例が取り上げられ、説明されたが、これら実施例は、
単に、本発明の原理を応用することによって考案が可能
である多くの可能な構成の一例であり、当業者において
は、これら原理に従って、本発明の精神および範囲から
逸脱することなしに、多数の多様な他の構成を考案でき
ることを理解できるものである。
大局ＳＮＲの代わりに局所バージョンを使用する。例え
ば、ピラミッド表現の一つのレベルから、次のより精細
なレベルに遷移する。ここでは本発明の複数の特定の実
施例が取り上げられ、説明されたが、これら実施例は、
単に、本発明の原理を応用することによって考案が可能
である多くの可能な構成の一例であり、当業者において
は、これら原理に従って、本発明の精神および範囲から
逸脱することなしに、多数の多様な他の構成を考案でき
ることを理解できるものである。
【図１】本発明の一例としての実施例に従ってブロック
およびベクトルに分割されたフレームのシーケンスの一
部分を示す。
およびベクトルに分割されたフレームのシーケンスの一
部分を示す。
【図２】本発明の一例としての実施例に従う符号器のブ
ロック図を示す。
ロック図を示す。
【図３】一例としての階層符号化プロセスを示す流れ図
を示す。
を示す。
【図４】コードブックのサイズをフレームシーケンスの
ヒストリーとの関連で示す。
ヒストリーとの関連で示す。
【図５】スカラー量子化に対する代表的な修正を示すグ
ラフである。
ラフである。
フロントページの続き (72)発明者 モシェ ポラット イスラエル国 32811，ハイファ，バーラ ストリート 26
Claims (20)
- 【請求項１】 ソース信号を圧縮ビット速度にて受信機
に伝送するために符号化するための方法であって、この
ソース信号が複数のフレームを持ち、この方法が：前記
の複数のフレームの少なくとも一つを複数のブロックに
分割するステップを含み、これらブロックのおのおのが
前記のソース信号の一部分を含み；この方法がさらに前
記の複数のフレームの前記の少なくとも一つを表すヒス
トリカルデータを格納するステップ；および前記のヒス
トリカルデータに基づいて複数の段階的により精細なコ
ードブックを生成するステップを含み、このコードブッ
クが第一のコードブックと第二のコードブックを持ち、
第二のコードブックの方が第一のコードブックよりもよ
り精細であり；この方法がさらに前記のブロックの少な
くとも一つを第一のコードブックにて符号化するステッ
プ；エラー基準を決定するステップ；および前記のエラ
ー基準が現在の閾値以下である場合、前記のブロックの
少なくとも一つをさらに第二のコードブックにて符号化
するステップを含むことを特徴とする方法。 - 【請求項２】 前記の複数の段階的により精細なコード
ブックを生成するステップがベクトル量子化を使用して
行なわれることを特徴とする請求項１の方法。 - 【請求項３】 前記のベクトル量子化が三次元であるこ
とを特徴とする請求項２の方法。 - 【請求項４】 前記のさらに符号化するステップが局所
化ステップ、つまり、前記のブロックの少なくとも一つ
の部分に隣接するベクトルを加えることによって局所ブ
ロックを生成するステップを含むことを特徴とする請求
項１の方法。 - 【請求項５】 前記のヒストリカルデータを格納するス
テップが少なくとも前の４つのフレームを表すデータを
格納するステップを含むことを特徴とする請求項１の方
法。 - 【請求項６】 前記のヒストリカルデータを格納するス
テップがおよそ０．５から２．０の範囲の期間格納する
ステップを含むことを特徴とする請求項１の方法。 - 【請求項７】 前記のさらに符号化するステップの後
に、第二のエラー基準を決定するステップ、および第二
の現在の閾値よりも低い第二のエラー基準を持つ前記の
ブロックの少なくとも一つの部分をスカラー量子化する
ステップがさらに含まれることを特徴とする請求項１の
方法。 - 【請求項８】 前記のソース信号が伝送媒体上を前記の
受信機に向けて１：１００より大きな圧縮比にて伝送さ
れることを特徴とする請求項１の方法。 - 【請求項９】 画像信号を圧縮されたビット速度にて伝
送するために符号化するための装置であって、この画像
信号が複数のフレームを持ち、この装置が：前記の複数
のフレームの少なくとも一つを複数のブロックに分割す
るための手段を含み、ここでこれらブロックのおのおの
が前記の画像システムの一部分を含み；この装置がさら
に前記の複数のフレームの少なくとも一つのヒストリカ
ルデータを格納するためのメモリ；および前記のヒスト
リカルデータに基づいて複数の段階的により精細なコー
ドブックを生成するための手段を含み、ここでこのコー
ドブックが第一のコードブックと第二のコードブックを
持ち、第二のコードブックの方が第一のコードブックよ
りもより精細であり；この装置がさらに前記のブロック
の前記の少なくとも一つを第一のコードブックにて符号
化するための符号器を含み、この符号器がエラー基準を
決定するための手段を含み、この符号器がさらに、前記
のエラー基準が現在の閾値よりも低い場合、第二のコー
ドブックにて符号化することを特徴とする装置。 - 【請求項１０】 前記の生成のための手段がベクトル量
子化器であることを特徴とする請求項９の装置。 - 【請求項１１】 前記のベクトル量子化器が三次元にて
量子化を行なうことを特徴とする請求項１０の装置。 - 【請求項１２】 前記の符号器がさらに：前記の現在の
閾値よりも低いエラー基準を持つ前記のブロックの前記
の少なくとも一つの部分に隣接するベクトルを加えるこ
とによって前記の符号器によってさらに符号化されるた
めの局所ブロックを生成するための局所化手段を含むこ
とを特徴とする請求項９の装置。 - 【請求項１３】 前記の符号器から出力される前記の複
数のブロックの前記の少なくとも一つの未符号化部分を
スカラー量子化するためのスカラー量子化器がさらに含
まれることを特徴とする請求項９の装置。 - 【請求項１４】 前記の受信機が前記の生成のための手
段によって生成されたコードブックを複製するための手
段を含むことを特徴とする請求項９の装置。 - 【請求項１５】 画像信号を圧縮されたビット速度にて
受信機に伝送するために符号化するための装置であっ
て、この画像信号が複数のフレームを持ち、この装置
が：前記の複数のフレームの少なくとも一つを複数のブ
ロックに分割するための手段を含み、ここでこれらブロ
ックのおのおのが前記の画像信号の一部分を含み；この
装置がさらに前記の複数のフレームの少なくとも一つの
ヒストリカルデータを格納するためのメモリ；前記の複
数のフレームの前記の少なくとも一つを前記のヒストリ
カルデータに基づいて複数のコードブックにベクトル量
子化するためのベクトル量子化器；および前記の複数の
ブロックの少なくとも一つを段階的により精細なコード
ブックにて符号化するための符号器を含み、この符号器
が第一の現在の閾値以下の信号対雑音比（ＳＮＲ）を持
つ前記の複数のブロックの少なくとも一つを局所化する
ための手段、つまり、前記の複数のブロックの局所化さ
れるべき一つに隣接する他のブロックからのベクトルを
さらなる符号化のために加えるための手段を含むことを
特徴とする装置。 - 【請求項１６】 前記の符号器から出力された第二の現
在の閾値以下のＳＮＲを持つ前記の複数のブロックの一
つの未符号化部分をスカラー量子化するためのスカラー
量子化器がさらに含まれることを特徴とする請求項１５
の装置。 - 【請求項１７】 前記のベクトル量子化器が、（ｘ）お
よび（ｙ）方向の空間エリアと（ｔ）方向のヒストリー
の継続期間から成る三次元にて量子化を行なうことを特
徴とする請求項１５の装置。 - 【請求項１８】 前記の局所化のための手段が、前記の
局所化されるブロックに隣接する前記の他のブロックか
らのベクトルの少なくとも２行を加えることを特徴とす
る請求項１５の装置。 - 【請求項１９】 前記の画像信号が伝送媒体上を伝送さ
れ、前記の伝送媒体として電話通信を可能にするための
電話線が含まれることを特徴とする請求項１５の装置。 - 【請求項２０】 前記の受信機が前記のベクトル量子化
器によって生成された前記の複数のコードブックを複製
するための手段を含むことを特徴とする請求項１５の装
置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/531807 | 1995-09-21 | ||
| US08/531,807 US5828413A (en) | 1995-09-21 | 1995-09-21 | Method and apparatus for image processing using model-based localized quantization |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09172378A true JPH09172378A (ja) | 1997-06-30 |
Family
ID=24119127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8249792A Pending JPH09172378A (ja) | 1995-09-21 | 1996-09-20 | モデルベースの局所量子化を使用する画像処理のための方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5828413A (ja) |
| EP (1) | EP0765085A2 (ja) |
| JP (1) | JPH09172378A (ja) |
| CA (1) | CA2180298A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999055093A1 (en) * | 1998-04-17 | 1999-10-28 | Ultraclean Technology Research Institute, Co., Ltd. | Data compressing device and method, data expanding device and method, data compressing/expanding system and method, code book making method, and vector quantizing device and method |
| JP2010021998A (ja) * | 2008-07-01 | 2010-01-28 | Toshiba Corp | 無線通信装置 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2362055A (en) * | 2000-05-03 | 2001-11-07 | Clearstream Tech Ltd | Image compression using a codebook |
| WO2001084849A1 (en) * | 2000-05-03 | 2001-11-08 | Clearstream Technologies Limited | Video data transmission |
| US8126276B2 (en) * | 2001-02-21 | 2012-02-28 | International Business Machines Corporation | Business method for selectable semantic codec pairs for very low data-rate video transmission |
| EP1296524A1 (en) * | 2001-09-20 | 2003-03-26 | STMicroelectronics S.r.l. | Process and apparatus for the compression of digital video signals, a system and a computer program product therefor |
| CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| US7551785B2 (en) * | 2003-07-03 | 2009-06-23 | Canadian Space Agency | Method and system for compressing a continuous data flow in real-time using cluster successive approximation multi-stage vector quantization (SAMVQ) |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| KR100634527B1 (ko) * | 2004-11-26 | 2006-10-16 | 삼성전자주식회사 | 층 기반 영상 처리 장치 및 방법 |
| CN100455024C (zh) * | 2006-05-15 | 2009-01-21 | 西安理工大学 | 基于图像块动态划分矢量量化算法的图像压缩芯片 |
| CN105915754B (zh) | 2010-10-18 | 2019-03-05 | 杜比实验室特许公司 | 对图像数据进行解码的方法和设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2532909B2 (ja) * | 1987-02-25 | 1996-09-11 | 富士写真フイルム株式会社 | ベクトル量子化による画像デ―タの圧縮装置 |
| JPH02170787A (ja) * | 1988-12-23 | 1990-07-02 | Matsushita Electric Ind Co Ltd | ベクトル量子化符号化器とベクトル量子化復号化器 |
| KR930004311B1 (ko) * | 1989-04-18 | 1993-05-22 | 미쯔비시덴끼 가부시끼가이샤 | 동화상 부호화 복호화장치 |
| US5172228A (en) * | 1991-11-19 | 1992-12-15 | Utah State University Foundation | Image compression method and apparatus employing distortion adaptive tree search vector quantization |
| EP0576765A1 (en) * | 1992-06-30 | 1994-01-05 | International Business Machines Corporation | Method for coding digital data using vector quantizing techniques and device for implementing said method |
| US5610657A (en) * | 1993-09-14 | 1997-03-11 | Envistech Inc. | Video compression using an iterative error data coding method |
| US5592227A (en) * | 1994-09-15 | 1997-01-07 | Vcom, Inc. | Method and apparatus for compressing a digital signal using vector quantization |
-
1995
- 1995-09-21 US US08/531,807 patent/US5828413A/en not_active Expired - Lifetime
-
1996
- 1996-07-02 CA CA002180298A patent/CA2180298A1/en not_active Abandoned
- 1996-09-10 EP EP96306571A patent/EP0765085A2/en not_active Withdrawn
- 1996-09-20 JP JP8249792A patent/JPH09172378A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999055093A1 (en) * | 1998-04-17 | 1999-10-28 | Ultraclean Technology Research Institute, Co., Ltd. | Data compressing device and method, data expanding device and method, data compressing/expanding system and method, code book making method, and vector quantizing device and method |
| JP2010021998A (ja) * | 2008-07-01 | 2010-01-28 | Toshiba Corp | 無線通信装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0765085A2 (en) | 1997-03-26 |
| US5828413A (en) | 1998-10-27 |
| CA2180298A1 (en) | 1997-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6069631A (en) | Coding of facial animation parameters (FAPs) for transmission of synthetic talking head video over band limited channels | |
| US5610657A (en) | Video compression using an iterative error data coding method | |
| US6272253B1 (en) | Content-based video compression | |
| US6879633B2 (en) | Method and apparatus for efficient video processing | |
| US20100208811A1 (en) | Image coding apparatus with segment classification and segmentation-type motion prediction circuit | |
| US5675669A (en) | Apparatus for encoding/decoding an image signal having a still object | |
| US7177356B2 (en) | Spatially transcoding a video stream | |
| US20050163217A1 (en) | Method and apparatus for coding and decoding video bitstream | |
| JPH09172378A (ja) | モデルベースの局所量子化を使用する画像処理のための方法および装置 | |
| JP3316157B2 (ja) | ポストフィルタリング方法並びにその装置 | |
| Li et al. | End-to-end optimized 360° image compression | |
| JPH08205149A (ja) | ビデオ信号の符号化方法 | |
| Marie et al. | Video Coding for Machines: Large-Scale Evaluation of Deep Neural Networks Robustness to Compression Artifacts for Semantic Segmentation | |
| EP0893923A1 (en) | Video communication system | |
| US5737446A (en) | Method for estimating high frequency components in digitally compressed images and encoder and decoder for carrying out same | |
| Torres et al. | A proposal for high compression of faces in video sequences using adaptive eigenspaces | |
| JP2000503174A (ja) | 動き推定のための方法 | |
| Kang et al. | An error resilient coding scheme for JPEG image transmission based on data embedding and side-match vector quantization | |
| JPH06169452A (ja) | 画面に重み付けを持たせた画像圧縮方式 | |
| JP4052285B2 (ja) | 画像信号の符号化装置 | |
| JP2856219B2 (ja) | 画像データの符号化装置及び符号化方法 | |
| CN116405684A (zh) | 一种自适应选择参考帧的会话视频语义压缩框架及方法 | |
| Muller et al. | Embedded pyramid coding of displaced frame differences | |
| KR100195699B1 (ko) | 윤곽선 부호기 | |
| Prado | A Proposal for High Compression of Faces in Video Sequences using Adaptive Eigenspaces |