JPH11513866A - データ圧縮 - Google Patents

Abstract

(57)【要約】 デジタル電気信号の形のデータエントリーのアレイを圧縮する方法は、(a)圧縮すべき元のイメージの第１の近似として基準イメージを与えるステップと、(b)元のイメージを１つまたはそれ以上のサイズのパッチへと分割するステップと、(c)各パッチに対して、そこに含まれたデータの圧縮されたエンコーディングを決定し、該圧縮されたエンコーディングは、前記パッチのある近似を与えるためにアンコンプレッションされうるものであるようなステップと、(d)アンコンプレッションされ前記基準イメージに加えられるときに、元のイメージに対して最大の改善を与える前記圧縮されたエンコーディングのうちの一つを選択するステップと、(e)前記選択された圧縮エンコーディングを、アンコンプレッションされた形にて前記基準イメージに加え且つ圧縮された形にて元のイメージのある圧縮された表現に加えるステップと、(f)前記基準イメージの所望の品質レベルまたは前記圧縮された表現の最大データサイズが達成されるまで、残りの圧縮されたエンコーディングに対して前記ステップ(d)を帰納的に繰り返すステップと、を含む。

Description

【発明の詳細な説明】 データ圧縮 本発明は、デジタル電気信号の形のデータのアレイを圧縮するための方法およ び装置に関するものであり、必ずというわけではないが、特に、デジタル的にエ ンコードされたイメージシーケンスの圧縮に適用しうるものである。 近年、データのアレイ、特に、ビデオシーケンスの個々のイメージまたはフレ ームでありうる２次元イメージを圧縮するための多くの技法が提案されてきてい る。これらイメージ圧縮技法のうちのあるものは、基準パッチ（例えば、１つま たはそれ以上のライブラリーイメージからとられた比較的に小さな部分部分）の コードブックが構成されるようなベクトル量子化として知られるようなものを使 用している。圧縮されるべきイメージは、多数のイメージパッチおよびコードブ ックから各イメージパッチのために選択されるマッチング（即ち、類似）基準パ ッチへと区分化される。コードブックにおける各選択される基準パッチのための コードブックインデックスは、そのイメージの圧縮表現を与えるために、それら イメージパッチの対応する位置ベクトル（すなわち、元のイメージにおけるそれ らの位置）と共に、記憶される。各パッチに対するこのようなコーディングは、 圧縮コーディングと称される。コードブックのコピーが利用できるとして、元の イメージとの近似は、記憶されたコードブックインデックスを使用して必要とさ れる基準パッチのセットを回復し、それらを、各記憶されたイメージパッチ位置 ベクトルを使用して、一つのイメージフレームへ挿入することによって、行われ る。達成しうる圧縮の度合いは、イメージを区分化したイメージパッチのサイズ の関数であり、それらパッチが大きい程、より高度の圧縮とすることができる。 大抵のイメージの場合、他の領域よりも細かなディテールを含むような特定領 域を有しており、もし、そのイメージを分割したパッチのサイズが高度の圧縮を 達成しようとする程度のものである場合には、そのイメージのディテール領域は 、圧縮された表現においては十分には表現されない場合がある。したがって、重 要なディテールを含むイメージの領域は、比較的に小さなパッチによって表現さ れ、 一方、ディテールをほとんど含まないか、全く含まない領域は、より大きなパッ チによって表現されるべきであるとされている。このようなプロセスには、一時 的に、コードブックから識別された第１のレベルの大きなパッチを使用してイメ ージを再構成することが含まれる。これにより、基準イメージが与えられ、この 基準イメージは、段階的に改良されうるものである。この一時的イメージは、圧 縮イメージの一つのデコンプレッションバージョンを表現しているものと認識さ れる。より小さなパッチによる表現を必要とするディテールの領域を識別するた めに、各新しい大きな基準パッチを圧縮イメージに加えた後毎に、対応する一時 的イメージを元のイメージと比較して、その一時的イメージから最も大きく異な る元のイメージの領域を識別する。それから、この領域を含むイメージパッチは 、より小さいイメージパッチへと細分割され、基準パッチは、これらの新たに作 成されたイメージパッチに対してコードブックから識別される。それから、識別 された基準パッチのためのコードブックインデックスおよび位置ベクトルが、そ の圧縮表現に加えられる。このプロセスは、その一時的イメージが所望の品質レ ベルに達するか、または、その圧縮表現のデータサイズがある最大シュレッシュ ホルドレベルに達するまで、帰納的に繰り返される。 このような最大差技法の問題点は、コードブックが必然的に限られたサイズで あるので、ある特定の場合においては、一つのイメージの特定領域について厳密 にマッチングさせることが非常に難しいことがありうるということである。圧縮 イメージによって品質の悪い状態で表現されるように識別されるが、コードブッ クの制約のために決して満足のいく品質状態で表現され得ないような元のイメー ジ領域を表現するのに、相当な処理時間および圧縮イメージにおける相当な記憶 スペースが必要とされることがある。 本発明の目的は、前述したような従来のデータ圧縮プロセスの欠点のうちの少 なくとも１つを解消または軽減することである。 本発明の別の目的は、圧縮データの品質を最適化するデータ圧縮方法および装 置を提供することである。 本発明の第一の観点によれば、デジタル電気信号の形のデータエントリーのア レイを圧縮する方法において、 (a) 圧縮すべき元のデータアレイの第１の近似として基準データアレイを与える ステップと、 (b) 前記元のデータアレイを１つまたはそれ以上のサイズのブロックへと分割す るステップと、 (c) 各データブロックに対して、そこに含まれたデータの圧縮されたエンコーデ ィングを決定し、該圧縮されたエンコーディングは、前記データブロックのある 近似を与えるためにアンコンプレッションされうるものであるようなステップと 、 (d) アンコンプレッションされ前記基準データアレイに加えられるときに、前記 元のデータアレイに対して最大の改善を与える前記圧縮されたエンコーディング のうちの一つを選択するステップと、 (e) 前記選択された圧縮エンコーディングを、アンコンプレッションされた形に て前記基準データアレイに加え且つ圧縮された形にて前記元のデータアレイのあ る圧縮された表現に加えるステップと、 (f) 前記基準データアレイの所望の品質レベルまたは前記圧縮された表現の最大 データサイズが達成されるまで、残りの圧縮されたエンコーディングに対して前 記ステップ(d)を帰納的に繰り返すステップと、 を含むことを特徴とする方法が提供される。 本発明は、改善が可能であり且つ最も効果的であるような基準データアレイの 領域を改善することに向けられている。これは、従来の圧縮プロセスが、改善の 可能でない、または、僅かな改善しか期待できないような領域にも向けられてし まうことのよくあるようなものであるのとは、対照的である。 各データブロックの圧縮されたエンコーディングを決定するステップ(c)は、 最も厳密にマッチングできる基準ブロックを見つけ出すために、各基準ブロック が独自のコードブックインデックスとして指定されているような基準データブロ ックのコードブックを検索することを含みうる。別の仕方として、このステップ は、各ブロックに対して離散的なコサイン変換（ＤＣＴ）または離散的なフーリ エ変換（ＤＦＴ）の如きその他の適当な表現を決定することを含みうる。 アンコンプレッションされた状態にあるときに、基準データアレイの最大の改 善を与えるステップ(d)にて選択された圧縮されたエンコーディングは、先ず最 初に、アンコンプレッションされた状態における各圧縮されたエンコーディング と前記データブロックの各々とのあぢあのエラーε₁を決定して、基準データア レイの各ブロックと前記データブロックの各々との間のエラーε₂を決定し、ε₁ −ε₂を最大とする圧縮された表現を選択することによって、識別されうる。一 つの例では、エラーε₁−ε₂は、比較されるデータブロックの各エントリーの間 の総和二乗偏差として評価されうる。 本発明は、例えば、大気中のオーディオ信号または３Ｄ圧力変化を表現する任 意のデジタルデータの圧縮に適用されうるが、本発明は、特に、各々がピクセル 強度値を有するピクセルのアレイからなる２次元イメージの圧縮に適用しうるも のである。典型的には、データブロックは、隣接ピクセルのパッチからなる。こ れらパッチは、単一レベルにてイメージを一様に分割することによって作成され うるが、別の仕方として、イメージは、重複した、および／または、異なったサ イズまたは形状のパッチの幾つかのセットを作成するために２つまたはそれ以上 のレベルにて任意に分割されうる。実際に、重複したパッチを作成すると特に効 果的である。何故ならば、そうしないとデコンプレッションされたイメージにタ イルド効果を与えてしまうようなエッジアーティファクトを、減少または排除で きるからである。重複パッチのために引き出される圧縮された表現または基準パ ッチは、所定の基準を使用して基準イメージに組み合わされる。例えば、重複領 域は、重複ピクセル強度の加重結合により導き出される。別の仕方としては、ピ クセルが重なり合わないような仕方にて組み合わされるように、どのパッチから どのピクセルを選択すれば良いかの規則を与えておくこともできる。 一つのイメージが２つまたはそれ以上のレベルにて異なるサイズのパッチに細 分割される場合には、前に選択されたパッチを完全にまたは部分的に埋めるよう な基準パッチを基準イメージに加えて選択することが可能である。その埋合せが 完全である場合には、前に選択されたパッチを、基準イメージから除去すること ができる。しかしながら、その埋合せが部分的である場合には、埋め合わされて いない部分をより良好に近似するために、その部分的に埋め合わされたパッチに 代えて別のパッチを使用するべきか（または、別の仕方で変換するか）を決定す るのが適当である。別の仕方として、部分的に埋め合わされたパッチは、そうす ることによって、そのイメージの品質が改善されるか、または、イメージフレー ムの別の領域におけるある基準パッチの基準イメージへ挿入することによって得 られる品質の増大によって補償されるよりも品質の減少が大きい時には、基準イ メージから完全に除去されうる。 本発明のこのような応用は、ビデオ画像の圧縮および送信（例えば、ＣＤまた はビデオテープ媒体を使用した）にも拡張でき、また、特に、ビデオホンの間で のビデオ画像の圧縮および送信にも拡張できるものである。本発明の一実施例で は、ステップ(a)で与えられる基準データアレイは、一様に黒のイメージの如き 任意のイメージである。基準イメージは、送信ビデオホンのメモリおよび受信ビ デオホンのメモリに記憶される。電話のカメラによって捕獲されるべき第１のイ メージフレームから得られるイメージパッチの圧縮されたエンコーディングは、 バッファメモリに帰納的に加えられ、同時に、アンコンプレッションされた状態 にて、送信電話のメモリの基準イメージに加えられ、これは、所定量のデータが バッファメモリに保持されるまで続けられる。バッファに記憶されたデータは、 受信ビデオホンへと送信される。 第１のイメージフレームを捕獲した後ある時間間隔（ビデオカメラのリフレッ シュレートまたはその倍数）で、送信ビデオホンは、第２のイメージフレームを 捕獲する。もし、この時間間隔が比較的に短い、例えば、0.1秒である場合には 、この後のイメージフレームは、第１のフレームに類似しており、したがって、 受信ビデオホンでのディスプレイを更新するのに僅かな変化を行うだけで良いこ とが多い。受信ビデオホンへ既に送信されたイメージデータを完全に棄てて、再 度圧縮プロセスを開始するのでは、非常に効率が悪い。むしろ、ステップ(d)を 繰り返すことによって第１のイメージフレームの圧縮中に変更された初期基準イ メージフレームは、第２のイメージフレームのための新しい基準イメージフレー ムを構成することができる。ステップ(b)および(c)の実行に続いて、ステップ(d )を繰り返して行うことにより、アンコンプレッションされた状態において、新 しい基準イメージフレームと第２のイメージフレームとの間のエラーを減少させ る圧縮されたエンコーディングを識別することができる。これらの圧縮されたエ ンコーデ ィングは、必要とされるデータレベルが達成されるまでバッファメモリに記憶さ れており、それが達成された時に、それら圧縮されたエンコーディングは、受信 ビデオホンへと送信されて、そこに表示されたイメージフレームを更新させる。 変化した捕獲イメージフレームのこれらの領域は、最も改善を受けやすいもので あり、ステップ(d)にて識別された圧縮されたエンコーディングは、これらの領 域に対応する傾向にあることが認識される。 圧縮されたエンコーディングが基準パッチのコードブックを検索することによ って得られる場合には、そのコードブックは、既知の多くの技法のうちの一つを 使用することによって、構成されうる。コードブックは、異なるサイズのパッチ の多数のセットからなるのが好ましい。例えば、コードブックは、圧縮されるべ きイメージが分割される類似のサイズのパッチをマッチングさせるために、大き なパッチ（例えば、６４×６４ピクセル）のセット、中間パッチ（例えば、１６ ×１６ピクセル）のセットおよび小さなパッチ（例えば、８×８ピクセル）のセ ットを備えうる。 圧縮された表現の品質を改善するために、コードブックからマッチングパッチ を識別するには、基準パッチまたはイメージパッチを、例えば、回転または反射 を使用して変換することによって行われうる。マッチングを改善するために必要 とされる変換は、圧縮された表現の部分として、コードブックインデックスおよ びイメージパッチ位置ベクトルでもって記憶される。同様に、イメージおよび基 準パッチは、輝度およびコントラストについて正規化され、その結果の正規化定 数は、圧縮された表現の部分を構成する。 圧縮されるべきイメージが一連のビデオイメージフレームのうちの一つであり 、また、シーン成分が続くフレームの間の動きの中にある場合には、その移動成 分またはその一部分を含むイメージパッチの良好な近似は、前のフレームの圧縮 された表現（アンコンプレッションされた状態における）の隣接部分から一つの パッチを抽出することによって得られうる。したがって、この圧縮方法は、コー ドぶんくの検索を行う前に、前のフレームの圧縮された表現から抽出されたパッ チを、そのコードブンクまたは補足コードブックへと加えることによって行われ うる。検索時間を減少させるために、この検索は、検索が行われているイメージ パ ッチに隣接する前のフレームの圧縮された表現の領域から抽出されるパッチに限 定される。 ある対象物、例えば、静止した、または、静止に近い背景の前で動き回る人物 は、絶えず、その背景の部分部分を遮蔽したり、その遮蔽を解いたりしている。 したがって、圧縮すべきフレームの直ぐ前の多数のフレームから得られるパッチ を補足コードブックに記憶させておくとよい。このような原理は、ビデオホンで の会話を開始する前に補助イメージのためのコードブックを作成しておくように 、さらに拡張することができる。このような補助イメージは、典型的には、発呼 者が位置する場所の背景である。勿論、それが適当であるならば、複数の補助イ メージを使用することができる。 さらに、補助イメージから取られるパッチをフラッグし、それらが、例えば、 受信ビデオホンによって認識されうるようにすることも考えられる。このフラッ グにより、コードブックルックアップオペレーションを置換背景コードブックへ と任せて、発呼者が別の背景、例えば、その発呼者が実際に位置している会議室 の壁面を背景とするのでなく、しゅろの木で縁取られた海岸の前にいるかのよう にすることのできるデコンプレッションアルゴリズムが可能とされる。 本発明の第２の観点によれば、デジタル電気信号の形におけるデータエントリ ーのアレイを圧縮するための装置であって、例えば、前述の第１の観点において 説明した方法を実施するプログラムを実行するようにセットアップされた既知の 型のデジタルコンピュータを備えた装置が提供される。 次に、本発明をより理解し、本発明がどのように実施されうるかを示すために 、圧縮すべきイメージフレームの部分をマルチレーヤーイメージパッチへと分割 するところを示す添付図面に基づいて、本発明の実施例について例示的に説明す る。 先ず、各々が関連したピクセル強度を有するピクセルの正規のアレイからなる ２次元イメージフレームについて考える。圧縮プロセスの第１段階において、１ つまたはそれ以上のライブラリーイメージフレームから基準パッチを抽出するこ とにより、コードブックを作成する。これらのライブラリーイメージフレームは 、圧縮すべきイメージフレームによく含まれるような特徴を含むのが好ましい。 典型的なコードブックは、異なるサイズの数百の基準パッチ、例えば、３２×３ ２ ピクセルパッチのセット、１６×１６ピクセルパッチおよび８×８ピクセルパッ チを含み、これらパッチの各々は、独自のコードブックインデックスによって識 別される。基準パッチの各々は、そのパッチ内のピクセルの平均強度を決定して 各ピクセルについて強度値からその平均値を減算することによって、正規化され る。同様に、これらパッチは、輝度についての正規化に続いて、一つのパッチ内 の各ピクセルの強度値を、そのパッチ内の最大絶対強度値で除算することによっ て、コントラストについて正規化される。こうして、各パッチについてのピクセ ル強度値は、−１と＋１との間に来ることになる。 圧縮すべきイメージフレームは、隣接するデータブロックまたはイメージパッ チ（各々が独自の位置ベクトルを有する）のアレイへと第１のレベルにて細分化 される。５１２×５１２ピクセルからなるイメージの場合には、これらのパッチ は、イメージフレームが２５６個の大きなイメージパッチへと細分化されるよう に、３２×３２ピクセルのサイズである。それから、そのイメージは、１６×１ ６ピクセルパッチのセットおよび８×８ピクセルパッチのセットを与えるように 、異なるレベルにてさらに２倍に細分割される。この細分割は、８×８パッチが １６×１６パッチの縁に重なり、１６×１６パッチが３２×３２パッチに重なる ようにして行われる。このような重複配列を添付図面に例示しているが、細分割 のレベルのうちの一方については、簡単化のために省略している。各イメージパ ッチには、位置ベクトルが指定されている。この位置ベクトルは、そのパッチの 中心のイメージの位置であるのが便利である。 イメージパッチのすべては、ピクセル強度が−１と＋１との間にくるように、 前述したようにして輝度とコントラストとの両方について正規化される。各正規 化されたイメージパッチについて、コードブックにおける対応するサイズのエン トリーが、どれがそのイメージパッチに最も近似しているかを識別するために、 検索される。黒および白のイメージについては、この検索は、例えば、平均二乗 偏差法を使用して、選択されたイメージパッチの各ピクセルを各基準パッチの対 応するピクセルと比較する（カラーイメージの場合には、カラーの各々について 強度が比較される）ことによって、行われうる。別の仕方では、必要とされる計 算量を減少させるために、基準およびイメージパッチの各々についてグローバル 特性を算出して、それらのグローバル特性を比較することによって、検索が行わ れる。この型の検索方法の一例は、ＷＯ９５／２０２９６に開示されている。 マッチングされた基準パッチの各々のコードブックインデックスは、圧縮され たエンコーディングとして、マッチングされたイメージパッチについての位置ベ クトルおよび輝度およびコントラスト正規化ファクタと共に、記憶される。マッ チングされた各コードブック基準パッチおよびイメージパッチ対について、これ ら２つのパッチの間のエラーが、エラーε₁のセットを与えるために、評価され る。エラーの一つの適当な尺度は、各ピクセルアレイの間の総和二乗偏差である 。これは、互いに減算される対応するピクセルの強度を必要とし、その結果の差 を二乗して加算する必要がある。 この圧縮方法によれば、圧縮すべきイメージフレームの第１の非常に悪い近似 としてとられうる任意の基準イメージフレームを与える。基準イメージフレーム と圧縮すべきフレームとの間の実際のエラーε₁のセットが得られるように、イ メージパッチおよび基準イメージフレームから抽出される各対応するサイズの領 域について、前述のエラー計算が行われる。それから、このエラーのセットは、 基準パッチについて得られるエラーのセットと比較される。 この比較から、もし、基準イメージに加えると、エラーを最大に減少させるこ とができ、すなわち、イメージの品質を最大に改善させることができるようなコ ードブック基準パッチが識別される。対応する圧縮されたエンコーディングは、 圧縮されたイメージ表現に記憶される。その上、基準イメージは、それに選択さ れた基準パッチを加えることによって、更新される。このプロセスは、基準パッ チが基準イメージフレームに連続的に加えられて、基準イメージフレームの品質 が段階的に改善されるように、帰納的に繰り返される。これと並行して、圧縮さ れたエンコーディングは、圧縮された表現に加えられる。改善度を測定するのに 全二乗エラーを使用すると、常にそうであるわけではないが、より小さい基準パ ッチを加える前に、より大きなパッチを加える傾向となる。典型的には、この帰 納的繰り返しは、例えば、任意の一点での基準イメージフレームと元のイメージ フレームとの間のエラーがあるシュレッシュホルドレベルを越えないようにする ことによって、基準イメージフレームの品質がある許容しうるシュレッシュホル ドレベルに達するまで、続けられる。別の仕方として、このプロセスは、圧縮さ れたイメージ表現に含まれたデータの量があるシュレッシュホルドレベルに達す るまで、続けられる。 前述したイメージ圧縮方法は、静止２次元イメージフレームを圧縮したり、ま たは、ビデオシーケンスを構成するイメージフレームのセットを圧縮したりする のに使用されると考えられる。この方法が特に適用しうる一つのアプリケーショ ンとしては、ビデオホンの間でのビデオ画像の送信がある。ビデオホンの概念は 何年もの間あったのであるが、実際的には、ビデオホンに表示されるイメージの 品質が悪いために、ビデオホンは、商業的にはあまり成功していなかった。この 品質の悪さは、送信チャンネルに使用しうる信号帯域幅が低いことと、現在の圧 縮技術で得られる品質、遅延およびフレームレートが不十分であることとから、 来るものである。 既存の送信システムを改善するには、前述した圧縮方法を使用して、送信すべ き各フレームを圧縮することが考えられる。しかしながら、ビデオシーケンスの 相続くイメージの間の変化が非常に小さいものであることが多いことを認識する ことによって、もっと大きな改善をなすことができる。典型的には、ビデオホン オペレータに対する背景は、静止したままであり、一方、オペレータの頭および 顔の特徴は、フレーム間である小さな範囲で変化することがあるものである。 前述した方法は、ビデオホンの信号送信に次のように適用されうる。送信ビデ オホンによって捕獲される第１のフレームは、メモリに記憶されている初期的な 任意の基準イメージフレームを使用して、前述したようにして圧縮される。この 同じ基準イメージフレームは、また、受信ビデオホンンのバッファメモリにも記 憶されている。圧縮されたエンコーディングのセットが、前述したようにして得 られ、イメージシーケンスの所望のフレームレートおよび送信チャンネルの信号 帯域幅によって決定される予め定めたデータリミットまでバッファメモリに記憶 される。次に、このデータは、バッファメモリから受信ビデオホンへ送信され、 受信ビデオホンにおいて、それは、デコードされて、表示するために基準イメー ジフレームへ加えられる。そのデータは、また、送信ビデオホンのメモリに記憶 された基準イメージにも加えられる。 送信ビデオホンが第１の捕獲されたイメージフレームを圧縮している間に、そ のカメラは、第２のイメージフレームを捕獲する。パッチデータの第１のセット を送信するのに続いて、この圧縮プロセスが繰り返されるのであるが、この間に 、第２の捕獲されたイメージフレームに対して新しい基準イメージの最良の改善 を与えるパッチが捜される。これらのパッチの圧縮されたエンコーディングは、 再び、受信ビデオホンへの送信前に、バッファメモリに記憶される。このプロセ スは、各新しく捕獲されるフレームに対して繰り返され、基準イメージフレーム が捕獲されたイメージフレームにおける変化を連続的に追跡するようにする。 本発明の範囲から逸脱することなく、前述した実施例に対して種々な変形をな すことができるものである。 ビデオホンの実施において行える変形の一例としては、各基準イメージフレー ムから１つまたはそれ以上のレベルにてパッチを抽出して、それらのパッチを、 各イメージ更新の送信の後に更新される補足コードブックへ一時的に加えること が考えられる。このプロセスは、送信ラインの両端で行われうる。もし、シーン 成分の動きが一つのシーケンスのフレームの間で起きる場合には、現在の基準フ レームを最大に改善する基準フレームは、前のイメージフレームの隣接領域から 抽出されるパッチであることが多く、したがって、これらが、補足コードブック から取り出される。所定のイメージパッチについて検索された補足コードブック のエントリーは、この検索が行われているイメージパッチに隣接した基準イメー ジの領域から取られたエントリーに制限される。 さらに別の変形例としては、補助イメージから基準パッチを抽出して、それら を、そのコードブックまたは補足コードブックへと加えることが考えられる。こ のような補助イメージは、ビデオホンが最初にターンオンされ、発呼者が観測さ れる背景の前にまだ位置していないときに、捕獲されうる。これらの付加的な基 準パッチは、電話での会話を開始する前に受信ビデオホンへ送信される。会話中 において、発呼者が動くことにより、絶えず、背景の領域が遮蔽されたり、その 遮蔽が解かれたりするので、圧縮アルゴリズムにより、後で遮蔽が解かれる領域 については、補助イメージから高品質マッチング基準パッチを見つけ出すことが できる。補助イメージは、例えば、新しい静止対象物が加えられる場合に、会話 中に更新されうる。基準パッチにフラッグを立てることにより、受信ビデオホン で、実際の背景に代えて置換背景とすることが可能である。背景における動きを 検出して、捕獲フレームをカメラジッタについて補償するのに利用することもで きる。

【手続補正書】特許法第１８４条の８第１項 【提出日】１９９８年１月１２日 【補正内容】 請求の範囲 １．デジタル電気信号の形のデータエントリーのアレイを圧縮する方法において 、 (a) 圧縮すべき元のデータアレイの第１の近似として基準データアレイを与え るステップと、 (b) 前記元のデータアレイを１つまたはそれ以上のサイズの複数のブロックへ と分割するステップと、 (c) 各データブロックに対して、所定のエンコーディングプロセスにしたがっ て、そこに含まれたデータの圧縮されたエンコーディングを決定し、該圧縮され たエンコーディングは、前記データブロックのある近似を与えるためにアンコン プレッションされうるものであるようなステップと、 (d) アンコンプレッションされ前記基準データアレイに加えられるときに、前 記元のデータアレイに対して基準データアレイの最大の改善を与える前記圧縮さ れたエンコーディングのうちの一つを選択するステップと、 (e) 前記選択された圧縮エンコーディングを、アンコンプレッションされた形 にて前記基準データアレイに加えて元のデータアレイに対する第２の近似を与え 、且つ前記選択された圧縮されたエンコーディングを圧縮された形にて記憶して 、元のデータアレイの圧縮された表現を確立するステップと、 (f) 前記基準データアレイの所望の品質レベルが達成されるか、または、前記 圧縮された表現の最大データサイズが達成されるまで、元のデータアレイに対す る相続く近似を与えるようにさらに別の圧縮されたエンコーディングを選択して 元のデータアレイの圧縮された表現に加えるように、残りの圧縮されたエンコー ディングに対して次々と前記ステップ(d)および(e)を帰納的に繰り返すステップ と、 を含むことを特徴とする方法。 ２．前記ステップ(c)の前記所定のエンコーディングプロセスは、最も厳密にマ ッチングするコードブック基準ブロックを見つけ出すために基準データブロック のコードブックを検索することを含み、各コードブック基準データブロックは、 独自のインデックスが指定されており、前記圧縮されたエンコーディングは、 識別されたコードブック基準データブロックのインデックスを備える請求項１記 載の方法。 ３．前記ステップ(c)の前記所定のエンコーディングプロセスは、各データブロ ックについて離散的なコサイン変換（ＤＣＴ）または離散的なフーリエ変換（Ｄ ＦＴ）を決定することを含み、前記圧縮されたエンコーディングは、その決定さ れた変換を備える請求項１記載の方法。 ４．基準データアレイの最大の改善を行う前記選択される前記圧縮されたエンコ ーディングは、アンコンプレッションされた形における各圧縮されたエンコーデ ィングと前記データブロックの各々との間のエラーを決定して、エラーセットε₁ を与え、前記データブロックの各々と基準データアレイの関連した対応するブ ロックとの間のエラーを決定して、エラーセットε₂を与え、前記エラーセット ε₁、ε₂の対応するエントリーを比較し、これらの対応するエントリーの間の差 値を最大とする圧縮されたエンコーディングを選択することによって、識別され る請求項１から３のうちのいずれか１つに記載の方法。 ５．前記エラーセットε₁、ε₂の各々のエラーは、比較されるデータブロックの 各エントリーの間の総和二乗偏差である請求項４記載の方法。 ６．各々がピクセル強度値を有するピクセルのアレイからなる２次元イメージを 圧縮する方法において、請求項１から５のうちのいずれか１つに記載した方法を 使用することを特徴とする方法。 ７．前記データブロックは、隣接するピクセルのパッチを備える請求項６記載の 方法。 ８．前記イメージは、重複した、および／または、異なるサイズのまたは形状の パッチの幾つかのセットを作成するために２つまたはそれ以上のレベルで分割さ れ、重複パッチに対して引き出される圧縮されたエンコーディングは、所定の基 準を使用して、基準イメージにアンコンプレッションされた形にて組み合わされ る請求項７記載の方法。 ９．１対のビデオホンの間でビデオ画像を送信する方法において、請求項６から ８のうちのいずれか１つに記載の方法を使用することを特徴とする方法。 10．前記第１の近似を形成する基準データアレイは、送信ビデオホンのメモリお よび受信ビデオホンのメモリに記憶されている任意のイメージであり、 (1) ビデオホンのバッファメモリに前記圧縮された表現が記憶されているよう な前記送信ビデオホンによって捕獲される第１のイメージフレームについて、 前記ステップ(a)からステップ(e)を行なうステップと、 (2) 前記圧縮された表現を前記受信ビデオホンへと送信するステップ、 (3) 元のデータアレイに対する第２の近似として前記ステップ(1)にて得られ る変更された基準イメージにより前記ステップ３(a)に対する基準イメージを与 えるような前記送信ビデオホンによって捕獲される第２のイメージフレームにつ いて前記ステップ(a)からステップ(e)を行うステップと、 (4) その結果生ずる圧縮された表現を前記受信ビデオホンへと送信するステッ プと、 (5) 前記送信ビデオホンによって捕獲される第３およびその後に得られるイメ ージフレームについて前記ステップ(3)および(4)を繰り返すステップと、 を含む請求項９記載の方法。 11．前記受信ビデオホンで前記第１の送信され圧縮された表現を受信してデコン プレッションし、該デコンプレッションされた表現を表示し、且つそれを基準イ メージとして前記受信ビデオホンのメモリに記憶し、前記基準イメージを、各そ の後に受信され圧縮された表現で更新し、その結果を記憶し表示することを含む 請求項１０記載の方法。 12．各フレームについて得られる最終基準イメージから抽出されるパッチを、各 続くフレームについてコードブックの検索を行う前に、一時的に、コードブック にまたは補足コードブックへ加えることを含む請求項２に従属した請求項１０ま たは１１記載の方法。 13．前記コードブックの検索は、検索が行われているイメージパッチに隣接する 前のフレームの基準イメージの領域から抽出されるパッチに制限される請求項１ ２記載の方法。 14．圧縮すべきフレームのすぐ前の複数のフレームから得られるパッチをコード ブックに記憶することを含む請求項１２または１３記載の方法。 15．デジタル電気信号の形のデータエントリーのアレイを圧縮するための装置に おいて、請求項１から１４のうちのいずれか１つに記載の方法を実施するプログ ラムを実行するようにセットアップされた、例えば、既知の型のデジタルコンピ ュータを備えたことを特徴とする装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 フライアー リチャード ジョン イギリス トーランス ジー64 ４ディー エックス キングス パーク ２ (72)発明者 ラムバート ロバート バーソロミュー イギリス レンフルーシャー ピーエイ10 ２ジェイエイ キルバーチャン エーウ ィング ストリート 16

Claims (1)

1. 【特許請求の範囲】 １．デジタル電気信号の形のデータエントリーのアレイを圧縮する方法において 、 (a) 圧縮すべき元のデータアレイの第１の近似として基準データアレイを与え るステップと、 (b) 前記元のデータアレイを１つまたはそれ以上のサイズのブロックへと分割 するステップと、 (c) 各データブロックに対して、そこに含まれたデータの圧縮されたエンコー ディングを決定し、該圧縮されたエンコーディングは、前記データブロックのあ る近似を与えるためにアンコンプレッションされうるものであるようなステップ と、 (d) アンコンプレッションされ前記基準データアレイに加えられるときに、前 記元のデータアレイに対して最大の改善を与える前記圧縮されたエンコーディン グのうちの一つを選択するステップと、 (e) 前記選択された圧縮エンコーディングを、アンコンプレッションされた形 にて前記基準データアレイに加え且つ圧縮された形にて前記元のデータアレイの ある圧縮された表現に加えるステップと、 (f) 前記基準データアレイの所望の品質レベルまたは前記圧縮された表現の最 大データサイズが達成されるまで、残りの圧縮されたエンコーディングに対して 前記ステップ(d)を帰納的に繰り返すステップと、 を含むことを特徴とする方法。 ２．前記ステップ(c)は、最も厳密にマッチングする基準ブロックを見つけ出す ために基準データブロックのコードブックを検索することを含み、各基準データ ブロックは、独自のインデックスが指定されており、前記圧縮されたエンコーデ ィングは、識別された基準データブロックのインデックスを備える請求項１記載 の方法。 ３．前記ステップ(c)は、各データブロックについて離散的なコサイン変換（Ｄ ＣＴ）または離散的なフーリエ変換（ＤＦＴ）を決定し、前記圧縮されたエンコ ーディングは、その決定された変換を備える請求項１記載の方法。 ４．基準データアレイの最大の改善を行う、ステップ(d)にて選択される前記圧 縮されたエンコーディングは、アンコンプレッションされた形における各圧縮さ れたエンコーディングと前記データブロックの各々との間のエラーε₁を決定し 、前記データブロックの各々と基準データアレイの関連したブロックとの間のエ ラーε₂を決定し、エラーを最大に減少させる圧縮されたエンコーディングを選 択することによって、識別される請求項１から３のうちのいずれか１つに記載の 方法。 ５．前記エラーε₁、ε₂は、比較されるデータブロックの各エントリーの間の総 和二乗偏差である請求項４記載の方法。 ６．各々がピクセル強度値を有するピクセルのアレイからなる２次元イメージを 圧縮する方法において、請求項１から５のうちのいずれか１つに記載した方法を 使用することを特徴とする方法。 ７．前記データブロックは、隣接するピクセルのパッチを備える請求項６記載の 方法。 ８．前記イメージは、重複した、および／または、異なるサイズのまたは形状の パッチの幾つかのセットを作成するために２つまたはそれ以上のレベルで分割さ れ、重複パッチに対して引き出される圧縮されたエンコーディングは、所定の基 準を使用して、基準イメージにアンコンプレッションされた形にて組み合わされ る請求項７記載の方法。 ９．１対のビデオホンの間でビデオ画像を送信する方法において、請求項６から ８のうちのいずれか１つに記載の方法を使用することを特徴とする方法。 10．前記ステップ(a)で与えられる基準データアレイは、送信ビデオホンのメモ リおよび受信ビデオホンのメモリに記憶されている任意のイメージであり、 (1) ビデオホンのバッファメモリに前記圧縮された表現が記憶されているよう な前記送信ビデオホンによって捕獲される第１のイメージフレームについて、 前記ステップ(a)からステップ(e)を行なうステップと、 (2) 前記圧縮された表現を前記受信ビデオホンへと送信するステップ、 (3) 前記ステップ(1)にて得られる変更された基準イメージにより前記ステッ プ(a)に対する基準イメージを与えるような前記送信ビデオホンによって捕獲さ れる第２のイメージフレームについて前記ステップ(a)からステップ(e)を行うス テップと、 (4) その結果生ずる圧縮された表現を前記受信ビデオホンへと送信するステッ プと、 (5) 前記送信ビデオホンによって捕獲される第３およびその後に得られるイメ ージフレームについて前記ステップ(3)および(4)を繰り返すステップと、 を含む請求項９記載の方法。 11．前記受信ビデオホンで前記第１の送信され圧縮された表現を受信してデコン プレッションし、該デコンプレッションされた表現を表示し、且つそれを基準イ メージとして前記受信ビデオホンのメモリに記憶し、前記基準イメージを、各そ の後に受信され圧縮された表現で更新し、その結果を記憶し表示することを含む 請求項１０記載の方法。 12．各フレームについて得られる最終基準イメージから抽出されるパッチを、コ ードブックの検索を行う前に、一時的に、コードブックにまたは補足コードブッ クへ加えることを含む請求項２に従属した請求項１０または１１記載の方法。 13．前記コードブックの検索は、検索が行われているイメージパッチに隣接する 前のフレームの基準イメージの領域から抽出されるパッチに制限される請求項１ ２記載の方法。 14．圧縮されるべきフレームのすぐ前の複数のフレームから得られるパッチをコ ードブックに記憶することを含む請求項１２または１３記載の方法。 15．デジタル電気信号の形のデータエントリーのアレイを圧縮するための装置に おいて、請求項１から１４のうちのいずれか１つに記載の方法を実施するプログ ラムを実行するようにセットアップされた、例えば、既知の型のデジタルコンピ ュータを備えたことを特徴とする装置。