JPH10509571A - モザイクに基づく、像を処理するための像処理システムおよび方法 - Google Patents

Abstract

(57)【要約】 複数の入力像からモザイクを自動的に発生するシステム（１００）。一連の像（９０４）からシステムが様々な応用のために継ぎ目のないモザイク（９０４）を生成するように、システムは像整列工程、編集工程、結合（COMBINING）工程を実行する。モザイクのための実例となる応用には、モザイクを基礎にした表示システム（１０４）があり、それには像印刷システム、監視システム（１０８）およびモザイクを基礎とした圧縮システム（１１０）を含む。モザイクを基礎とした表示システム（１０４）では、システム使用者がモザイクを表示し、操作し、変更することを可能とする。モザイクを基礎とした圧縮システム（１１０）は、一連の像内にある時間的および空間的な冗長性を利用し、像の情報を効率的に圧縮する。圧縮システム（１１０）は、蓄積装置内に蓄積するために像の情報を圧縮するために使用でき、またはバンドに制限される転送チャネルを通して転送するために像の情報を圧縮するために使用できる。監視システム（１０８）は、モザイク構成システム、圧縮システムおよび表示システムを遠隔動作検出のための包括的なシステムへ結合する。

Description

【発明の詳細な説明】 モザイクに基づく、像を処理するための像処理システムおよび方法 本発明は、像を処理するシステムおよび方法に関係し、特に各像のモザイクを 発生すると共に像を処理するシステムおよび方法に関する。 最近まで、一般には、像処理システムはビデオのフレーム、静止写真およびこ れらと同類のような像を処置してきた。別個の各フレームまたは写真は、典型的 にはフィルタをかけ、歪め、様々なパラメータによる変換をかけることによって 処理される。処理の後に、個々の像はモザイク、つまり複数の個々の像を含む像 を形成するために合成される。追加の像処理は、モザイクが単一の大きな像のよ うに見えるように像間の継ぎ目が見えないことを確実にするためにモザイクに対 して行われる。像の整列および継ぎ目を除くための追加の処理は、典型的にはコ ンピユータワークステーションを使用して技能者によってマニュアルにより行わ れる。つまり、像の整列および処理の結合はコンピュータの援助で行われる。こ のようなコンピュータの援助による像の処理システムでは、技能者はマニュアル により処理された像を選び、マニュアルによりこれらの像を整列して、コンピュ ータは像間のあらゆる継ぎ目およびキャップを除くために様々な像結合処理を像 へ適用する。像の操作は、典型的にはマウス、トラックボール、キーボード等の ような様々なコンピュータ入力デバイスを使用して達成される。不幸にも、この ようなマニュアルによるモザイクの構成は、時間を消費しコストがかかる。さら には、マニュアルによるモザイクの構成は、リアルタイムでは行えない。つまり 、像がビデオカメラのような像の源によって発生されるようにモザイクを構成で きない。結果として、リアルタイムの像発生システムにおける像は、後に行われ るコンピュータにより援助された引き続く処理のために蓄積される。 マニュアルにより発生されたモザイクはコストがかかるので、このようなモザ イクは出版への応用および像修正システムを除いて実用的な使用法を発見しない 。モザイクは多くのことを約束をするが、自動モザイク構成システムの欠如がそ れらの使用を制限していた。 したがって、像の源によって像が発生されるようにリアルタイムにあるいは既 に存在している像からモザイクを自動的に発生するためのシステムおよび方法に 対する分野において要求がある。本発明では、複数の入力像からモザイクを自動 的に発生させるこよによってこれらの問題を克服する。本発明では、像整列（im age alignment）工程、モザイク構成(mosaic composition)工程等を一連の像か ら実行する。本発明では、動的なモザイクと静的なモザイクの両方を構成できる 。動的なモザイクは、時間的に異なる像集合（imagery）を含み、例えばモザイ クは時間にわたって新しい内容をもって更新されるが、静的なモザイクの内容は 時間的に変化しない。 特に、像整列工程では、存在するモザイクを入力像へ、入力像をモザイクへ加 えることができるように（以前に生じた入力像から発生される）存在するモザイ クへ入力像を、あるいは存在するモザイクを入力像へ自動的に整列させる。これ らの各例では、整列された像に伴う座標系は入力像の座標系、モザイクの座標系 、任意の参照（reference）座標系のいずれでもよい。任意の参照座標系は、時 間的に不変な座標系、時間的に変化する座標系のいずれでもよい。 さらに、像ピラミッドの枠組み（image pyramid framework）の範囲で行われ る。そのようなものとして、システムは入力像およびモザイクを共にラプラス像 ピラミッド（Lapacian image pyramid）へ変換し、整列工程はそれぞれのピラミ ッド内でレベルに適用される。結果として、システムは、ピクセル以下の整列の 正確さとなる粗い像整列の後に細かい像整列（coarse-to-fine image alignment ）を行う正確なアプローチを使用する。整列工程の結果は、動的なモザイクでは 入力像に含まれる像情報に伴ってモザイクを更新できるように入力像とモザイク 間で、静的なモザイクではモザイクを構成する像間で、整列に必要な変換を定義 する整列情報である。 一旦、整列工程が完了すると、本発明は、モザイクを構成、（あるいは更新） するためにモザイク構成工程を利用する。モザイク構成工程は、選択工程と組み 合わせ工程の２つの工程を含む。選択工程は、モザイクとの合体のために像ある いは像の一部を自動的に選択し、マスク（masking）関数および切り取り（cropp ing）関数を含んでもよい。組み合わせ工程は、モザイクを形成するために様々 な 像を組み合わせ、マージ（merging）、融合（fusing）、フィルタをかけ（filte ring）および像強調等の様々な像処理技術を適用し継ぎ目のない像の組み合わせ を達成する。結果として得られるモザイクは、空間的なおよび時間的な情報の冗 長性がモザイクにおいて最小化されるように構成要素である像を組み合わるなめ らかな像である。 本発明は、添付図面と共に以下の詳細な記述を考慮することによって容易に理 解される。 図１は、モザイクを自動的に構築するためのシステム、およびモザイクを像圧 縮、監視および像の表示に利用するシステムのブロックである。 図２Ａ、図２Ｂ、図２Ｃは、それぞれ一括のモザイク構築順序、繰り返しモザ イク構築順序、階層的モザイク構築順序の実行を図的に示す。 図３は、動的なモザイク構築システムのブロック図である。 図４は、入力像を像のモザイクヘ整列させる像整列工程のフローチャートであ る。 図５は、像、あるいは像の一部をモザイク内に包含するための選択工程のフロ ーチャートである。 図６は、整列された像をモザイクに組み合わせる組み合わせ工程のフローチャ ートである。 図７は、モザイクに基づく表示システムのブロック図である。 図８は、静的なモザイクに基づく圧縮システムのブロック図である。 図９は、静的なモザイクに基づく図８の圧縮システムために、入力像、背景情 報および残余（residuals）と間に関係の図的な実行を示す。 図１０は、動的なモザイクに基づく圧縮システムのブロック図である。 図１１は、時間的なピラミッド（pyramid）の図的な実行を示す。 図１２は、監視システムのブロック図を示す。 図１３は、図１２の監視システムの動作工程のフローチャートである。 図１４は、静的なモザイク構築システムの詳細なブロック図である。 図面に共通な同一要素を示すために、可能な場合には、同一の参照番号が使用 される。 一般的に、モザイクとは、複数の瞬間、視点および視野おいて取られる一組の 像から視覚的な情報を合わせるものである。様々な像は整列され、組み合わされ て、例えば場面のパノラマ視を単一の静止像として形成する。重要なこととして 、モザイクは区別される像の組み合わせに制限されるものではなく、モザイクの 組み合わせでもよい。本発明は、様々な応用システムによって利用するために、 複数の像からモザイクを自動的に形成するシステムである。本発明は、これらの 応用システムの１つ以上を含む。 動的なモザイクと静的なモザイクがある。動的なモザイクは、新しい像（imag ery）と共に時間にわたって繰り返し更新されるという点で、時間的に変化する 。一連の入力像（例えば、ビデオフレーム）は、動的なモザイクを生成するため に一時に１つ、一連の像の内の他の像と組み合わされる。その後に、システムは それぞれの新しい入力像を整列し、以前のモザイクと組み合わせる、つまりモザ イクが更新される。 静的なモザイクでは、モザイクの内容は、時間的に不変である。例えば、一連 の現在の入力像は像の連続（subsequences）に分解される。各々の連続像内の個 々の像は、お互いに整列され、静的なモザイクに組み合わされる。静的なモザイ クは新しい情報と共に更新されない、すなわちモザイクの内容は静的である。 これら２種のモザイクの各々において、モザイクは時間的に不変、あるいは時 間的に変化しうる任意の参照座標系に関して構築される。言い換えれば、座標系 は、モザイクが構築される間に変化してもよく、時間にわたって固定されていて もよい。動的なモザイクの最新の入力像の座標系、動的なモザイク内のモザイク の座標系、静的なモザイク内の像の１つの座標系、入力像とは関係しない任意の 固定座標系、あるいは時間的に変化する任意の座標系として、任意の参照座標系 を選ぶことができる。この議論の残りの部分を通して、一般的な語句（generalt erm）の参照座標系を使用し、この一般的な語句とは参照座標系のあらゆる形式 を包含することを意図している。 図１は、モザイクの１以上の応用システム１０４、１０６、１０８および１１ ０だけでなくモザイク構築システム１０２を含むモザイクに基づく像処理システ ム１００のブロック図である。特に、応用システムには、モザイクに基づく印刷 システムを含むことがあるモザイクに基づく表示システム１０６、モザイクに基 づく監視システム１０８、およびモザイクに基づく圧縮システム１１０を含む。 この開示は、モザイク構築システムと応用システム相互関係を提供する。その後 に、その開示には、一連の区別された小区分において、静的な、動的なモザイク を両方構築するモザイク構築システムの詳細と各応用システムが記述される。 モザイク構築システムは１０２は、一連の像を入力として有する。これらの像 は、引き続くビデオフレーム、衛星の赤外若しくは可視の一連の写真、航空写真 、または相互に整列される時にモザイクを形成する他のあらゆる一組の像であり うる。像は、リアルタイムで供給されてもよく、つまり例えばビデオカメラから 直接に提供されてもよい。動作では、モザイク構築システム１０２は入力像を整 列し、それらを組み合わせてモザイクを形成する。 特に、モザイクの応用システムに依存して、システムは動的なモザイクもたは 静的なモザイクのいずれかを構築できる。加えて、モザイクを構築する間あらゆ る参照座標系を利用できる。さらに、整列された像からモザイクを構成するとき に、多数の、像の融合、マージ、および平均化工程のあらゆるものを使用し、継 ぎ目のない最もよいモザイクを生成する。また、図２に示すように、システムは 、様々な入力像と、一括の一連配列（図２Ａ）、繰り返しの一連配列（図２Ｂ） 、階層的一連配列（図２Ｃ）を含むモザイク構築の配列工程とを使用してモザイ クを形成する。 図１に戻って、モザイクは１以上の応用システムに使用される。例えば、モザ イクに基づく表示システム１０４は、システムの使用者がコンピュータモニタ上 に表示されたモザイクを迅速に見ることができると共に、表示されたモザイクを 操作できる操作技術とモザイクの特別な蓄積（storage）を利用する。モザイク に基づく表示は、モザイク像から像源（例えば、カメラ）の動きを取り除く、つ まり像を安定化する。使用者は表示された像内のカメラの多少の動きを残し、カ メラの移動感を提供するが、高い周波数のジッタを全体的に取り除く。例えば、 ヘリコプタから撮られた航空写真を表示するときに、このような表示が特に便利 である。このようなムービング表示（moving display）を使用すると、使用者は カメラのジッタなしに描写された地形にわたって移動感を与える。更に、使用者 に 追加の情報を与えるために、この表示システムは他のデータをモザイク表示にマ ージする。この他のデータは、数値的な、あるいは図形的な地形の高度情報、移 動ベクトル、最新の像を示す図示的なインディケータ等であってもよい。このシ ステムの詳細は、図７に関して以下に記述する。 加えて、コンピュータモニタ上にモザイク、若しくはその一部を表示するため に、モザイクに基づくこの表示システムは任意に像印刷システム１０６と共に使 用されてもよい。印刷システムは、モザイク、若しくはその一部のカラー、若し くは白黒の高解像度の静止像を発生できる。 監視システム１０８は、例えば安全の目的のため、あるいは戦場での運動検知 のためという運動の検出のためにモザイクのために使用する。一般的に、関心の ある領域のパノラマ画（panoramic view）は、例えば高解像度のビデオカメラに よって撮られる。システム１０２は、全体的なパノラマ画の高い解像度である単 一モザイクを発生する。このモザイクは参照画（reference view）として使用さ れる。ビデオカメラにより撮られた引き続くフレームは、参照画と比較される。 参照画内のあらゆる運動が、参照モザイクと新しい像を比較すた残余として検出 される。監視システムの詳細は、図１２および図１３に関連して提供される。 モザイクに基づく圧縮システム１１０は、狭いバンド幅の伝送チャネルを介す る伝送ための像情報を効率的に圧縮するための基礎としてモザイクを使用する。 圧縮システムの選択されるこのは、ディスクドライブ若しくはコンパクトディス クのような蓄積媒体内に効率的な蓄積を行うための像情報を圧縮するために使用 される。効率的な圧縮を達成するために、圧縮システムは、一連の像内に存在す る空間的および時間的に大きな相関を利用する。モザイクに基づく圧縮システム の詳細は、図８、図９、図１０および図１１と関連して以下に提供される。 次に、モザイク構築システムを詳細に記述する。この記述は、モザイク構築シ ステムよって構築されるモザイクのための例証となる応用の各々の詳細な記述に よって随行して行われる。 動的なモザイクの構築と静的なモザイクの構築との差をよく理解するために、 各構築工程が別々に記述される。まず、動的なモザイク構築が記述され（図３、 図４、図５および図６）、それから静的なモザイク構築工程が記述される（図１ ４）。 図３は、動的なモザイク構築システム３０１の動作のフローチャートである。 このシステムは、直列して行われる２つの工程、つまり像整列工程３００および モザイク構成工程３０３を含む。モザイク構成工程３０３は、更に２つの工程、 つまり選別工程３０２および組み合わせ工程３０４を含む。工程３００は、ライ ン３０６を介して提供される（もしあれば）以前に構築されたモザイク入力像に 入力像を合わせる。モザイクがただ今存在しないならば、つまり入力像が一連の 像の最初の像であるならば、最初の像が以前に構築されたモザイクとして使用さ れる。その結果、最初の像は第２の像に対してモザイクとなる。動的なモザイク を発生させるとき、典型的には、システムは繰り返しモザイク構築の一連を使用 する。したがって、一連の構築において次の像は現在のモザイク（一組の像内の 生じた像の構築されたモザイク）に対して整列される。整列は、入力像をモザイ クと合わせることによって達成される、つまり、モザイクと入力像が参照座標系 を用いて整列される。整列工程は、像をお互いにワォープさせる（warping）こ とによって達成される。この像整列工程は、入力像の情報を現在のモザイクと結 合できるように入力像を整列するために、必要な整列情報を各像に対して発生す る。整列情報は、例えば与えられる入力像を参照座標系に合わせるために必要と されるアフィン変換を定義する。 階層的なモザイク構築の一連が使用されるならば、若しくはサブモザイクが求 められるならば、像整列工程は構成要素となる各サブモザイク像だけでなく各サ ブモザイクに対しても整列情報を発生する。 構成工程３０３において、選択工程３０２は、入力像と現在のモザイクのどの 部分が更新されるモザイクを形成するために使用されるかを選択する。更新され るモザイクは、最新の入力像の少なくとも一部分と前のモザイクの少なくとも一 部分を含むモザイクである。選択工程では、モザイクの大きさを制限するために マスクしたり、切り取りを行ってもよい。最終的の「古い」像はモザイクから除 かれる像の選択が行われる。 工程３０４では、更新されるモザイクを形成するために整列された像を結合す る。結合工程では、モザイクと入力像を継ぎ目なく結合するために以下に示すマ ージ、融合、内挿、外挿、強調、コアリング（coring）および従来の他の像結合 工程である１以上の工程を実行する。出力されるものは、最新の入力像から継ぎ 目なく結合された像の情報を含む更新された動的なモザイクである。 整列を実行して最終的に入力像をモザイクと結合するために、入力像の解像度 をモザイクの解像度へ、または逆に変換してもよい。しかしながら、入力像の従 来からあるラプラスの像ピラミッド（Laplacian image pyramid）とモザイクの ラプラスの像ピラミッドを発生されることが最もよく、システム１０２は多重解 像度になる。そのようなものとして、整列は、初期の整列を各ピラミッドの相対 的に低い解像度で行い、引き続き高い解像度を整列を完成するために使用するよ うな粗くそして細かくを基礎（coarse-to-fine basis）にして行われる。このよ うなピラミッド形式は、整列が達成される速度と整列の正確さを改良する。モザ イク構築システムおよびその応用の議論の残りの部分を通して、入力像およびモ ザイクがピラミッドであると仮定する。しかしながえら、技術分野の熟練した人 々はピラミッド形式が本発明を実行するために必要ないことおよびピラミッド形 式の代わりに単純な解像度変換を使用できることを理解するでしょう。更に、最 新の像、モザイク若しくはその両方をワォープさせる参照座標系を任意に選択で きるので、表示システムは柔軟である。 図４は工程３００のフローチャートである。一般的には、先行技術のシステム は、２つの一連のビデオフレームを整列させるために各フレームに含まれる像情 報を関連づけることによって、像の整列を達成した。本発明では、本発明のため の整列システムが以前の単一の入力像に対するよりもむしろ全体のモザイクに対 して入力像を合わせることを除いて、参考文献として本願に含まれる合衆国特許 出願第０８／０７１，８１４号に開示されている整列システムに類似するビデオ フレーム整列システムを使用する。それにもかかわらず、整列の概念は類似して いる。 特に、整列工程はまず粗い精度の整列を実施し最新の像を現在のモザイクに概 略的に整列させる。その後に、粗くそして細かく（coarse-to-fine）の整列工程 は、（繰り返しモザイク構築配列と、モザイク座標系が参照座標系を形成するこ とを仮定して）現在のモザイクに対するピラミッドの比較できる（comparable） 解像度レベルに関して入力像に対するピラミッドの最低の解像度のレベルを調節 する。比較できる解像度の調整を達成するために、あるピラミッドの最低レベル を他のピラミッドの最高レベルと併せて調整してもよい。 整列を始めるために、ステップ４０１では、入力像とモザイクを粗く整列する 。粗い整列は、入力像およびモザイクの像ピラミッドからの情報を使用して達成 される。したがって、ステップ４０２では、工程は入力像およびモザイクの両方 に対して像ピラミッドを発生する。ピラミッドからの情報は、ライン４０３に沿 って粗い整列ステップに運ばれる。典型的には、システムは、モザイクにおいて 前の入力像の位置を現在の入力像に対する初期整列位置として単に使用すること によってこの粗い整列を達成する。像の一連がビデオフレームであれば、粗く整 列するこの形式はかなりよく機能する。しかしながら、現在の入力像が前の像の 像（imagery）を全く、若しくはほとんど含まないが、モザイクの他の部分のい くらかの像群を含む場合がある。そのような場合には、前の像の位置を粗い整列 のために使用することはよく機能しない。 したがって、粗い整列を改善するためには、”モザイクをタイル張りのように 覆う（tile）。”そのようなものとして、モザイクが、タイルと呼ばれるより小 さいモザイクに再度分割され、このタイルは座標変換を通して共に連結されてい る。タイルにされたモザイクは、（集められた全てのタイルの集合である）全モ ザイクを通して単一の座標系が利用されず、結果として蓄積された整列の誤差が 小さく与えられたタイルの範囲内であるという利点がある。 実例としては、各タイルは、あらゆる１つの入力像の大きさの４倍である。当 然、他の大きさのタイルを使用してもよい。像の一連の中にある前の像が配置さ れるタイルを用いて、入力像を粗く整列させる。現在の入力像の範囲内で、多数 のサブウインドウ、例えば１６×１０ピクセルの寸法を有する３個の領域が、” 目印”として選択される。これらの目印は、選択されたピラミッドレベル、例え ばレベル３で計算される。目印は、選択されたピラミッドレベルで入力像内の３ つの領域として選択され、像において他の全て領域と比較して最大の像エネルギ を有する。 以前の入力像を含むタイルに関連して入力像の可能な各シフトを用いて、目印 はタイルにおいて対応する大きさ作られた領域に対して個々に相互に関連づけら れる。相関値は積分されて単一の基準になる、つまり相関面（correlation surf ace）である。相関面のピーク値は、入力像とタイルに対する整列の近似的な位 置である。（粗く整列された）この近似的な位置から、細かな整列が開始される 。 ステップ４０４で、最低の解像度レベルが両方のピラミッドで選択され、相関 工程が開始される。理論的には、最低レベルが両方のピラミッドで使用されるで あろう。しかしながら、入力像およびモザイクは実質的に異なった解像度を有し 、つまりモザイクはロングショットの場面で表示され、一方入力像は（眺めの点 でズームされている）モザイクの小さな部分である。したがって、モザイクに対 する最低の解像度レベルは、入力像における中間の解像度レベルに対応し、逆の 場合も同じである。そのようなものとして、像とモザイクの最良に整列するため に、選択されたピラミッドのレベルは異なっていてもよく、例えば単に最低の解 像度レベルでもよい。典型的には、使用するピラミッドのレベルの最良の評価は 、前の像をモザイクに合わせるために使用される整列パラメータ内に含まれてい る。 ステップ４０６で、（例えば、３×３のピクセル）領域が入力像に対してピラ ミッドの選択された解像度レベルから選択される。この領域は、モザイクに対す る選択された解像度レベルを用いてステップ４０８で関連づけられる。ステップ ４１０で、工程は相関面の相関ピークがこの解像度レベルに対する所定の最大値 レベル（しきい値）よりも大きいかどうか尋ねる。質問の答えが否定的であれば 選択された領域がステップ４１２でモザイク座標系に相対的に移動して、ステッ プ４０８で再び相関が求められる。その方法では、ステップ４１０での質問が肯 定的に回答されるまで、ステップ４１０、４１２および４０８を繰り返す。その 後に、工程は、ステップ４１４において、この解像度レベルで入力像をモザイク に合わせる整列パラメータを保存する。 特に、ＬcをＬc＝０で最大の解像度である空間的な解像度とし、Ｌ_Lcを解像度 Ｌcにおけるラプラス像とする。入力像Ｌ_Lc［ｔ−１］の粗い整列を近似的な整 列モザイクと共にワォープさせた後に。そのようなものとして、像とモザイクは お互いにシフトされて、像を使用する方法（image-wise）で掛け算され、積像（ product image）を生成する。（ｉ，ｊ）のシフトに対して、積像Ｉ_ijが、 ｉ，ｊ^∈［−Ｎ、Ｎ］と共に として定義される。Ｉ_ijを全てについて積分すれば、シフト（ｉ，ｊ）での２つ の全ラプラス像（入力像とモザイク）間のクロス相関（cross-correlation）値 Ｃ_ijが求められる。局所的なクロス相関値は局所領域（像のあて布）にわたって 各積像Ｉ_ijを積分することによって計算でき、Ｃ_ij（ｉ，ｊ）の形式のクロス相 関像を生成する。しかしながら、境界（border）効果をさけ、局所的なあて布の 中心で情報を最もよく表す結果を出すために、重み付け関数Ｗ（ｘ，ｙ）が、局 所積分のための平均化をする単一の近傍にわたって選ばれる。したがって、Ｃ_ij （ｉ，ｊ）に対する値は、積像Ｉ_ijから、 ジョンである。 カーネルＷ（ｉ，ｊ）（典型的にはガウス関数）を用いるコンボリュージョン には、クロス相関像Ｃ_ijへの積像Ｉ_ijをなめらかにするという効果がある。カー ネルの大きさに依存して、結果として生じるＣ_ijが様々な程度にオーバサンプル （oversample）される。したがって、Ｃ_ij（ｉ，ｊ）の解析に基づく像の流れ場 を評価することは、対応するようにオーバサンプルされた流れ場へ直接に帰着す る。積計算の計算コストを最小にするために、相関解像度レベルＬcにおいて積 像のコンボリュージョンを実行する代わりに積分のためのピラミッド縮小（redu ction）工程を使用する。ピラミッド縮小ステップの異なる数は、４の因子によ って（流れ場に関連づけられる計算コストと）流れ場の大きさを縮小する積分ス テップで発生される各ピラミッドレベルを用いて、対応するように異なる空間領 域にわたって積分を達成するために使用される。 局所クロス相関工程のための臨界パラメータには、（１）ラプラス像（入力像 およびモザイク）のために使用される空間解像度レベルＬc、（２）相関サーチ の半値幅Ｎ、（３）Ｌi＝Ｌc＋使用される積分ステップ数として、積分のために 選ばれる空間解像度Ｌiがある。 Ｌcの値は、運動評価（像およびモザイクを整列するための評価された変換パ ラメータおよびベクトル）のために使用される空間周波数バンドを決定するので 、積分中に検出される運動を決定する。レベルＬcでの単一のピクセル移動は最 も高い解像度レベルにおいて２^Lcの移動に対応する。この移動は、この解像度レ ベルにおいて解析することから生じた評価の精密さと全般的な範囲を決定する（ dictate）。 相関サーチ領域Ｎの大きさは、空間的な解像度Ｌcにおいて評価される最大変 位（範囲）を決定する。より大きなＮの値にすれば、評価されるための運動範囲 がより大きくなるが、誤った一致の可能性も増加する。付随する計算コストにお いて２次で増加する。したがって、実際には、Ｎに対する値は１または２に制限 される。 積分Ｌiのレベルは２つのことを決定する。まず、相関結果に基づいて実行さ れたなめらかにする量を決定する。よりなめらかにすると、これに対応して信号 対雑音比の特性がより良くなるが、相関ピークの空間的配置の評価の品質が落ち る。特に、それは積分の領域の範囲内にある（流れ場と）相関値が局所的になめ らかであるという暗黙の仮定となり、これは像内のいたるところで事実であると は限らないかも知れない。また、流れの評価が境界を除いた積分された相関像内 にある各位置の対する流れ評価を行うので、Ｌiは結果として生じる流れ場のサ イズを決定する。したがって、積分レベルＬiは信頼でき、正確な流れ評価のた めの必要な援助を行うほど十分に大きく選ばれる。 ラプラス像は近似的に零となる局所的な平均値を持つ符号付き像であるから、 相関面は正、負の値を共にも持つ。これは、ぼんやりとしたガウス像に規格化さ れた平均相関の型を使用することに類似する。相関値の大きさは規格化されてい ないことに注目すべきである。このような規格化は完全に工程の範囲内にあるが 、実際上、このようにすると計算上において境界を増加させ、流れ場の正確さに おいて結果として生じる増加は小さい。これを考慮すれば、相関の規格化は本工 程 に含まれていない。 整列に対してピクセル以下（sub-pixel）の正確さを達成するために、相対的 に小さな領域（Ｎ＝１が３×３のピクセル領域である）が使用され、領域の範囲 内にある相関面にピークを見いだすために内挿される。ピークが相関面の中心の １／２ピクセル内に生じることを仮定すると、ピークの水平、垂直位置は別々に 評価される。したがって、各方向において、下記の１次元方程式が解かれる： ここで、Ｐ₁、Ｐ₂およびＰ₃は相関面における３個の相関値である。相関ピーク が面の中心から１／２ピクセル内にあると仮定すれば、別の工程がピクセル以下 の相関ピークを決定するために使用されなければならない。相関データが方程式 （３）を使用する内挿に対してふさわしいかどうかを決定するために、相関面の 中心のまわりで（about）離散的な２次微分が計算される。全ピクセルよりも大 きく移動したところでのピークの場合は、相関面の中心で検出される最大値がな いことになる。１／２ピクセルよりも大きく、１ピクセルよりも小さい移動の場 合は、２次微分試験を通過して、内挿することができるが、この場合の移動評価 は１／２ピクセル以下の移動においてピクセルに対する測定と同じほど正確でな い。 前と同じＰ₁、Ｐ₂およびＰ₃名称（nomenclature）を使用して、相関面を通過 するラインの１本に沿って相関面の中心のまわりで２次微分を使用する試験は、 Ｐ＝２Ｐ₂−Ｐ₃−Ｐ₁によって与えられる。Ｔ＜０ならば、相関面にあるその位 置のまわりに検出される最大値がなく、像においてその点のためのベクトルを評 価すべきでない。同様に、中心を通過する３×３面上の対角方向のラインを同じ 試験を使用してチェックすべきである。対角方向の一方が中心のまわりのピーク を示さないならば、その位置に対するベクトルを評価すべきでない。 最後に、整列工程は、線形、１次オーダの運動モデルに流れ場を合わせる。最 小自乗回帰が、流れ場のベクトルをこのようなモデルに合わせるために使用され る。ベクトル信頼値が、最小自乗回帰への各ベクトルの影響を重みづけるために 使用される。つまり、ベクトルが信頼値０を持つときこれらのベクトルは回帰に は全く寄与しないが、正の信頼値では、ベクトルが重みづけで回帰に寄与する。 像整列工程は、ステップ４０８、４１０、４１２である先の工程をピクセル以 下の望まれる正確さが得られるまで繰り返される。ステップ４１４では、工程は 、像がモザイクに合わされるように像を変換するために使用できる整列パラメー タを保存する。 工程では、ステップ４１６において、ピラミッドの一つの最も高い解像度レベ ルを処理したか質問される。この質問が否定的に回答されると、工程は、ステッ プ４１８において、各ピラミッドにある次に高い解像度レベルを選ぶ。その後に 、工程は、ライン４２２に沿ってステップ４０６へ戻る。その後、解像度レベル の各々にある領域が処理されて、ステップ４１６における質問が肯定的に回答さ れるまで、工程は４０６、４０８、４１０、４１２、４１４４１６および４１８ を繰り返す。その点で、工程はステップ４２０で停止する。停止すると同時に、 工程では、粗くそして細かく（coarse-to-fine）整列工程を使用して、入力像を モザイクに合わせる。整列パラメータは、例えばモザイク内の整列位置へ現在の 入力像を変換するために使用できる１組の値がメモリに保存される。 前述の例は、像とモザイクを緻密に整列するための工程の図式的な例である。 他の工程は、上記のものと同じくらい利用できる。他の緻密な整列工程は、ここ に参考文献として含まれているコンピュータビジョンに関するヨーロッパコンフ アレンスの議事録にあるバーケン（Bargen）らの”階層的モデルに基づく運動評 価”に記述されている。 図５は、あるモザイク内容規準を満たすために、モザイク叉は／及び入力像、 あるいはそれらの一部を選択するための選択工程３０１のフローチャートである 。これらの選択関数は、切り落とし、マスク、モザイクから”古い”像の除外、 重み付け等を含む。選択関数は、特定的なモザイク要求を最善に達成するために 、利用者が選べるようにしてもよく、自動的に事前に決定されていてもよい。以 下に続く議論では、選択関数が使用者により定義されることが仮定される。 特に、工程３０２は、ステップ５００において整列情報、現在のモザイクおよ び入力像の入力と共に始まる。ステップ５０２では、使用者は、選択された関数 に対する選択関数および関連づけられた制御パラメータを選択する。典型的には 、 これは、関数およびパラメータのメニュの選択により行われる。いくつかの可能 な関数を例示するために、工程は、ステップ５０２からステップ５０４、５０８ 、５１２および５１６へ分岐するように示されている。使用されている特定の分 岐は、選ばれる選択関数に依存する。 例えば、使用者が切り取り関数を選択すれば、工程はステップ５０４へ進む。 ステップ５０６では、使用者は切り取り関数を制御するため、例えば像およびモ ザイクに関心のある領域を選択するために、あるパラメータを定義する。代わり に、使用者はマスクすること（ステップ５０８）、あるいはモザイク切断（ステ ップ５１２）を編集関数として選択しうる。各場合では、ステップ５１０および ５１４において、あるパラメータが各編集関数を制御するために定義される。さ らに、像の顕著な特徴を除くように、例えば運動する物体を除いて、背景のみを モザイクとして保つために重み付けを行うように、選択された像、あるいはその 一部へ重み付け関数（ステップ５１１および５１３）を割り当てることができる 。他方では、運動する物体が背景から目立つようにするために、顕著な特徴に重 みづけする。ステップ５１６は、他の編集関数を実行できること、および示され た関数が実例となると考慮されるべきことのみを示すために”ＯＴＨＥＲ”とラ ベルがつけられる。 ステップ５１８では、編集関数は、関連づけられるパラメータのとおりに入力 像とモザイクに適用される。工程では、ステップ５２０において使用者がさらに 編集関数を適応するかどうかが問いかけられる。質問が肯定的に回答されると、 工程はライン５２２に沿ってステップ５０２へ進む。質問が否定的に回答される と、工程はステップ５２４で停止する。 図６は、入力像とモザイクを組み合わせる組み合わせ工程を示す。工程は、選 択工程の後に、モザイクと入力像を入力することによって始まる。入力像とモザ イクの継ぎ目のない組み合わせを達成するために、以上の異なる組み合わせ関数 が入力像およびモザイクへ適用されてもよい。ステップ６０２では、組み合わせ 関数は使用者により、若しくは自動的に選択される。これは選択された使用者で もよいが、より典型的には、使用されるための関数はシステムの応用によって定 義され、モザイクおよび入力像へ自動的に適用される。あらゆる出来事において 、 ステップ６０４、６０６、６０８、６１０および６１２は、継ぎ目なく像を組み 合わせるために従来使用されてきた説明に役立つ工程の例示である。例えば、ス テップ６０４では、工程はモザイクおよび入力像へ像マージ（merge）技術を適 用する。このようなマージ技術は米国特許出願０８／９４２，８７７号に開示さ れ、これは本出願に参考文献として含まれる。 同様に、ステップ６０６では、工程はモザイクと入力像を組み合わせるために 像融合関数を使用する。このような融合関数は、本出願に参考文献として含まれ る米国特許５，３２５，４４９号に開示されている。 ステップ６０８では、内挿および外挿工程が、モザイクを構成する像の間にあ るギャップを埋めるために従来の方法により使用される。ステップ６１０では、 強調工程は、モザイクを示すピラミッドにおいて選択されたレベルの相対的な寄 与（増幅若しくは減衰）を調整するために使用される。強調を全体のレベルにわ たって適用することができ、あるいは強調をレベルの一部にのみ適用することが でき、そのレベルにおいて残りのピクセルへ相対的に強調されてもよい。ステッ プ６１２においては、切り出し（core）工程は、しきい値よりも小さい値を有す るピクセルが更新されるモザイクから排除されるように、しきい値レベルにある 境界の各ピクセルである。 最後に、ステップ６１４は、前のステップが説明に役に立つ組み合わせ関数で あることを意図することを示すために”ＯＴＨＥＲ”とラベル付けされるステッ プである。使用される応用と像の性質に依存して、入力像とモザイクをよりよく 組み合わるために他の関数を使用してもよい。他の関数には、空間平均、メジア ン（median）フィルタリング、過度の解像度（superresolution）,重み付け平均 に制限されるものではないが、これらを含む。技術分野において熟練した人々は 、他の組み合わせ関数がモザイク構築システム内に含まれると予想できるもので あることを理解すべきである。 動的なモザイク構築システムからの出力は、入力像がシステムの入力へ適用さ れるとき自動的に構築される入力像のモザイクである。そのようなものとして、 動的なモザイクが、例えばビデオカメラがビデオフレームを発生するように、リ アルタイムで構築される。そのようなものとして、モザイクを更新するために使 用されているビデオ情報の各フレームを用いて作られ、変更される。このような モザイク構築システムは多くの応用での使用を見いだされる。以下に、３つの実 例となる応用システムが議論される。 図１４は、動的なモザイク構築システム要素に類似する要素を含む静的なモザ イク構築システムを示す。つまり、システムは整列工程１４００およびモザイク 構成工程１４０２を含む。しかしながら、整列工程は、連続する一括の像処理を 実行する。そのようなものとして、システムが一括に配列することを使用する。 全ての像はお互いに整列されるが、整列工程は上記で議論された工程と同一であ る。以前の像を含むタイル若しくは以前の像に像を合わせるよりもむしろ、この 静的なシステムでは、各像を（像に近接する）周囲に若しくは近接する像を含む タイルに最初に粗く整列する。その後に、図４の緻密な整列が上記のように正確 に実行される。整列工程の結果は、複数の整列パラメータ、つまり各入力像に対 する整列パラメータである。 整列パラメータは構成工程１４０２によって使用され、整列される像を静的な モザイクに合わせる。モザイク構成工程は選別工程１４０４と組み合わせ工程１ ４０６を含む。これらの工程は、図５および６に示される工程に類似して機能す る。しかしながら、モザイクは更新されないので、整列工程へ戻る構成されたモ ザイクのフィードバックがないことに注目すべきである。 図７は、モザイクに基づく表示システム１０４のブロック図である。このシス テムでは、入力像は、上記のモザイク構築システム使用して、参照モザイク内へ 形成される。そのようなものとして、新しい各入力像に対して、２個のモザイク が発生される。参照モザイクは、新しいモザイクを用いて更新され、表示モザイ クは新しい入力モザイクを用いて更新される。一般に、これら２個のモザイクが 同じ像情報を含んでいるが、表示システムは参照モザイクに不必要なあるいは求 められない表示モザイクへの追加の情報を加える。 特に、入力像の系列７００は、参照モザイク構築システム１０２、像選択工程 ７０２および像組み合わせ工程７０４へ入力を構成する。参照モザイク構築シス テムは、参照モザイクを現在構成する全入力像のための整列像を用いて像選別工 程７０２を提供する。 選択工程７０２および像組み合わせ工程は、機能において図３（あるいは図４ ）および上記の工程３０２（あるいは１４０４）および組み合わせ工程３０４（ あるいは１４０６）に類似する。したがって、これらの工程は、工程３０２およ び３０４（若しくは１４０４および１４０６）と異なる工程７０２および７０４ を作る側面を除いて、詳細には議論しない。一つの違いは、付属する像情報７０ ６を表示モザイクに包含しているということである。そのようなものとして、付 属する像情報は像選択工程および像組み合わせ工程両方へ適用される。付属する 像情報は、モザイク上の特定の領域を目立たせること、特定の領域を強調する色 、最新の入力像の輪郭を描くこと、”古い”表示モザイクにあるあらゆる像をぼ かすこと等を構成してもよい。 さらに、工程７０４は表示モザイクをタイルを貼るように並べることができる 。並べることによって、表示モザイクは表示モザイクバッファ７０５に一連のサ ブモザイクとして効率的に蓄積する。必要とされるときにこれらのサブモザイク をメモリから呼び戻すことができ、以前に表示されたあらゆるモザイクを再生す るためにサブモザイクおよび入力像と組み合ることができる。全表示モザイク、 あるいはそれらのいくつかの部分へ再構成することが簡単であるように、それぞ れのサブモザイクのための整列情報をサブモザイクと一緒に蓄積する。前面の閉 塞（occlusion）を除くため、以前のセンサ位置からモザイクを眺めるため、あ るいは以前の時に実際に起こった現在の表示モザイクへ移動物体を挿入するため に、サブモザイクを使用できる。 表示モザイクは、ブロック７０６によって表示されるとき、メモリに一時的に 記憶される。この表示モザイクは、必要なときに新しい入力像と付属の像情報を 用いて更新される。この表示モザイクは、多くの形式の一つで現れる。例えば、 背景は、参照座標系に対してモザイクを動けなくすることによって、あるいは制 御される運動を通して安定化させることができる。安定化されたモザイクにおい て、前景の物体が安定化された背景に相対的に自由に移動するように見える。代 わりに、前景の物体を表示の中心に固定して、安定化することができるが、背景 物体が運動状態にあるとき前景が前景の物体を過ぎて動くように見える。また、 あらゆる参照座標系に対して、参照モザイクによって使用される座標系と異なる 座標系に対してでさえも、表示モザイクを相対して構成できる。 ブロック７０８では、使用者は表示ビューポート（viewport）、つまりコンピ ュータモニタ上に表示されるための表示モザイクの一部を選ぶ。選択されたビュ ーポートは表示モザイク全体よりも小さいならば、ビューポートをモザイクにつ いて画面移動（scroll）することができ、および／またはズームイン（zoom in ）するため、あるいはモザイクの範囲内のある領域をもっとよく眺めるためにズ ームアウトするために使用できる。 一旦、ビューポートが選ばれると、ステップ７１０では使用者は１以上の編集 関数および強調関数を選択できる。例えば、操作者は表示領域を目立たせ、選択 さる領域にフィルタをかけ、ドキュメント内での移動のために表示領域を切り取 り、印刷のために特定の表示領域を選択する等をしうる。 像の強調と像の編集に加えて、システムは表示モザイクのための選択されたオ バーレイ（overlay）を発生させるモザイク解析器７１２を提供する。編集工程 および組み合わせ工程の操作をモニタすることによって、モザイク解析器７１２ は、モザイクに加えられる最新の入力像の位置の輪郭を描くオバーレイを発生さ せる。また、解析器は安定化された表示モザイクにセンサの運動を図式的に示す 、あるいは表示モザイクの範囲内にある前景の物体の運動の概略を描くオバーレ イを発生してもよい。加えて、もはや正確でなくなったり適時でない情報を含む 表示モザイクの領域を示すためにオバーレイを発生してもよい。 ステップ７１４では、選択されたビューポートの範囲内にある表示モザイクの 一部を使用者に対しコンピュータモニタ上にあるいは他の表示装置上に提供する 。使用者は、ビューポートへの変化が実際的にある瞬間であると見えるようにリ アルタイムでビューポートを操作する。加えて、リアルタイムで起こるあらゆる 更新された情報、例えばビューポート内の新しい像がリアルタイムで更新される 。 像印刷システム１０６は、モザイクに基づく表示システムによって定義される ビューポートの範囲内ある表示モザイクの一部のハードコピーを発生する。表示 モザイクは像ピラミッドの枠組みの範囲内で導かれるので、表示モザイクはコン ピュータモニタの解像度と同等の解像度を有する。しかしながら、表示モザイク の解像度は、典型的には利用できる最高の解像度ではない。そのようなものとし て、高い解像度はビューポート内に表示された像を印刷するために使用できる。 ピクセル以下の正確さで像を正確に整列する粗くそして細かい（coarse-to-fine ）整列工程を使用して像を整列してきたので、このような高解像度の印刷が可能 である。 操作においては、使用者は１組の像から表示モザイクを発生し、それから印刷 されためのモザイクの望まれる部分を選択する。一旦、コンピュータモニタ上で 選択されるとすると、ビューポート内の表示モザイクの部分が印刷される。代わ りに、表示モザイクの選択部分を写真ネガ、写真スライドおよび他のいくつかの ”ハードコピー”像として生成できる。 モザイクに基づく圧縮システムは、効率的に情報を圧縮するために一連の像の 範囲内にある時間的および空間的冗長性を利用する。操作において、一般的に、 システムは引き続く像から一連のモザイクを生成する。典型的には、システムへ の入力は一連のビデオフレームであり、モザイクはモザイク構築配列工程（図２ ）の１つを通して、複数のビデオフレームから生成される。その後に、このシス テムは自動的に、あるいはシステム使用者の制御の下に、直接にコード化し、他 のモザイクの関係を通してコード化、例えば幾何学的および光度的の両方の関係 でコード化されるモザイクを選択する。 ２つの区別される状況で便利なものとして、モザイクに基づく圧縮システムを 見越す。第１の状況では、像情報蓄積システムとして知られているモザイクに基 づく圧縮システムは、像情報をランダムにアクセスでき、効率的に利用でき、速 やかに検索しざっと目を通すことができる等のような方法で、蓄積媒体に効率的 に蓄積するための像情報を圧縮する。第２の状況では、リアルタイム伝送システ ムとして知られているモザイクに基づく圧縮システムは、バンドが制限される伝 送チャネルにわたっる効率的な伝送のために像情報を圧縮する。類似の原理を使 用して各システムは動作するが、蓄積および伝送システムはお互いに僅かに異な る。したがって、以下の議論は各システムの向けて別々に行う。各システムの議 論から、技術分野の熟練した人々は、蓄積および伝送システムのハイブリッド（ hybrid）であるシステムを設計してもよい。ハイブリッドシステムは蓄積システ ムと伝送システムの両方の側面を含む。 図８は、ディスクドライブ、ＣＤ−ＲＯＭ、光学的ドライブ等のような蓄積装 置８１２に効率的な蓄積のための像情報をフォーマットするために使用される。 以下の議論から明らかなように、システムは、使用者が蓄積装置から像情報をラ ンダムにアクセスすることができるようにする。圧縮が像の連続を利用して達成 される、例えばＭＰＥＧ圧縮技術がビデオフレームを圧縮し、連続の中にある望 まれるフレームをアクセスするために望まれるフレームまでの全連続が再構築さ れるから、ランダムアクセスは時間的な冗長性を利用する大部分の像圧縮技術で は利用できない。 対照的に、本発明は１組の像、例えばビデオフレームの連続を連続する風景の 引き続く像へ分割し、各モザイクがこれらの引き続く各像に対して発生される。 そのようなものとして、各モザイクは、ビデオシーケンス内に捉えられた風景の ”スナップショット”視を表す。一般に、本発明は各モザイク、残余（residual s）および変換パラメータをコード化し、蓄積装置内にそれらを保存する。結果 として、保存された像情報の概説において、つまりモザイクがメモリから選択さ れるとき使用者がモザイクを容易に眺めることができ、モザイク内からあらゆる 個々のフレームを抽出することができる。変換パラメータおよび残余はモザイク からあらゆるフレームを取り出すために使用される。したがって、本発明では、 ランダムなフレームアクセスと迅速な検索能力を可能としている。 特に、システムは、静的なモザイク構築システム１４０１、符号化システム８ ２６、復号化システム８２４および蓄積装置８１２を含む。静的なモザイク構築 システムは、図１４に示され、上記議論の静的なモザイク構築システムと同じや り方で動作する。この応用では、像をお互いと合わせる変換が参照座標系へ相対 的に定義されるように、一括の配列（sequencing）を使用して、像の並び（ある いは連続）を参照座標系へ向けてワォープさせる。モザイク構築システムの出力 は、整列されて組み合わされた複数の個々の像を含むモザイクである。加えて、 出力は、モザイク内に含まれる各像のための変換パラメータを含む。変換パラメ ータだけでなくモザイクも、システム８２６への入力となる。 システム８２６は、モザイク、変換パラメータおよび残余を符号化して、これ らが効率的に保存されるようにする。特に、システム８２６は、残余解析器８０ ６、重要度解析器８０８、変換パラメータ符号化器８０２、モザイク符号化器８ ０４および残余符号化器８１０を含む。 残余解析器８０４は、モザイクから対応する入力像までの像を従来にように構 成することによって、ピラミッドの枠組み内で残余を発生する。各入力像はモザ イクに比較され、像内の動く物体、物体照明の変化、整列工程の後の像の誤整列 、内挿による強度誤差およびノイズを表す残余を発生する。物体の移動、物体の 照明の変化、誤整列が符号化されるということは、変換システムにおいて非常に 重要である。 残余解析器は物体の移動、物体の照明の変化および誤整列、だけでなく強度の 誤差およびノイズのために残余を生成するので、残余解析器による簡単な像の差 （differencing）は意味的に重要な残余を決定するために認められる方法を提供 しない。意味的に重要な残余を決定する効率的な方法は、残余の強度だけでなく 局所的な残余の動き（つまり、局所的な誤整列）の大きさもまた考慮することで ある。残余の動きの補償は、それ自身が動きの補償のために使用されるのではな く、むしろ符号化の目的で残余の重要性を決定するために使用されるので、正確 であることを必要としないということに注目すべきである。 解析器８０８は、局所的な残余の動きの大きさの範囲（view）で残余を解析す る。本質的には、重要性解析器は、残余のどれが保存のために符号化されるべき か、検索の際にモザイクを正確に再構成するために必要でないかを選択する。言 い換えれば、予測されるモザイクから現在のモザイクまでの残余の動きの大きさ は、どの残余が符号化されるかを決定する。大きさのない（重要でない）動きを 持つ残余には零が掛けられ、ある程度大きさのある（重要な）ものには、０から １の範囲の重み付け関数が掛けられる。重み付け関数は動きの大きさに比例する 。 特に、残余の動きの大きさを概算するために、時間ｔにおける各ピクセルでの 通用の動きの運動の流れの概略評価Ｓt（ｘ，ｙ）が計算される。時間的な連続 の中でとらえられる静的なモザイクを形成するために組み合わされる像を仮定す る一般的な式である。そうでなければ、変数ｔを、例えばｔ＝１、２、３等の連 続内に現れる順序で像を番号づける変数として考えることができる。通常の流れ は、空間的な勾配の向きで光学的な流れの要素である。流れ評価Ｓt（ｘ，ｙ） は、 で定義され、ここで、 Ｉtは、時間ｔでの像であり、 Ｉ_t ^Predは、時間ｔにおけるモザイク内の像であり、 ▽Ｉ_t（ｘ，ｙ）は、フレームＩt内のピクセル（ｘ，ｙ）での空間的強度の勾 配であり、 Ｎ（ｘ，ｙ）は、ピクセル（ｘ，ｙ）の周囲の相対的に小さいビクセル区域（ neighborhood）（典型的には、３×３のピクセル区域）であり、 Ｃは、数値的な不安定性を除き、ノイズを抑えるために使用される。 ｘ−ｙ空間でとられるＳtの値は、重要性マップを形成する。Ｓtの値は、符合化 されるための関心のある領域を選択するために使用され、それらの領域で予測誤 差に乗法的な重み付けとして使用される。Ｓtの小さな値は零にされて、その結 果重要でない残余は全く転送される必要がない。Ｓtの値は、ピクセル法的な、 領域法的な、ブロック法的な基礎に基づいてしきい値化してもよい。離散コサイ ン変換（ＤＣＴ）を基礎にした空間符合化が使用されるとき、ブロック全体がし きい値より下回るならばＳtは零にされ、ブロック内のあらゆるピクセルがしき い値を越えるならば変更されない。典型的なしきい値としては、１ピクセルの動 きである。ノイズ敏感性を低くするために、重要性マップは、ブロックのゼロ化 （zeroing）が実行される前に３×３の構造要素によって形態的にすり減らされ る（eroded）。このようにすると、ブロックの全体スキップ、いくつかの独立し た超しきい値（suprathreshold）ピクセルによる符合化のビットレートの不利益 を回避を推進する。 重要な残余とモザイクは、符合化のために分離しているコーデックへそれぞれ 送られる。コーデックは、ウエーブレット、ＤＣＴ等のような空間的な復号化の 従来のあらゆる形式を使用する。変換パラメータは、空間的に符号化されてもよ いし、パルス符合化変調（ＰＣＭ）あるいは差分ＰＣＭ（ＤＰＣＭ）を使用して 符号化されてもよい。 モザイクに基づくシステムによって、時間的および空間的な全ての実質的に冗 長な像情報は保存された像情報から除かれ、そのようなものとして、システムが 像の連続を効率的に圧縮する。本質的には、静的なシステムは背景に関する情報 を保存して、それから残余として背景内のあらゆる運動を保存する。入力像、背 景情報、および残余の間のこの関係は、図式的に図９に示される。 図９に示されるように、入力像９０２は、左から右へビデオカメラのパン（pa n）としてカメラの視野内にある２個の家と２本の木を含む。関心のある場面は 、４つのビデオフレームに図式的にとらえられている。加えて、人間が左から右 へ風景を通して歩いている。一旦、像９０２が一括配列を使用して整列され、組 み合わされると、背景を含むモザイク９０４が生成される。残余９０６は、背景 に対して相対的に動く物体、例えば風景を通して歩いている人間を表している。 図８に戻って、保存された情報から像の連続（あるいは個々の像）を再構築す るための情報検索（復号化）システム８２４は、復号器８１４、８１６および８ １８と、モザイク構成器８２０と、表示器８２２とを含む。各復号器は、モザイ クを再生し、それからあらゆる像を検索するために必要な残余、変換パラメータ 、モザイクを蓄積装置８１２から検索する。モザイク構成器８２０は、残余、モ ザイクおよびモザイクを形成するための変換パラメータを組み合わせる。 表示器８２２は、蓄積装置から検索されたモザイク全体を単に表示してもよい 。しかしながら、表示器は、眺めるためのモザイク内にある特定の像、あるいは その部分を選択するために使用される。これらは、モザイクから望む像を選択し 、排除するために変換パラメータを使用して回復される。更に、図７と関連して 記述されるモザイクに基づく表示システムも、検索されたモザイクおよびそれら の構成像を眺め、操作するために使用してもよい。 図１０は、”動的な”モザイクに基づく圧縮システム１０００のブロック図で ある。一般に、システムは、（典型的には、伝達装置のハードウエア内にある） 符合化システム１００２、符合された像情報が伝搬するチャネル、および（典型 的には受信器のハードウエア内にある）復号化システム１００６を含む。 システム１００２では、モザイク構築システム（図３を参照）は、圧縮に援助 となる予想モザイク１０３０のフィードバックを提供するために改良される。特 に、新しい各入力像をモザイク全体に合わせるよりのむしろ、新しい入力像が入 力像の連続にある前像にのみに合わされる。このようなものとして、遅延器１０ １２は、一連の像にある第１の像を一時的に遅延するために使用される。整列処 理器１０１０は、一連の像にある第２の像に遅延された像を合わせる。この整列 工程は、連続したつながりのある各像は、前の像、つまり２つの連続したつなが りのある像の重なりと同様な各像のいくつかの部分を有するということを仮定す る。これは、入力像の連続が１組のビデオフレームである場合である。しかしな がら、予測モザイクが相対的によい品質であれば、入力像を予想モザイクに合わ せることができる（つまり、遅延器１０２０が除かれ、予測モザイクが破線１０ ３２に沿って処理器１０１０へ送られる）。 整列された入力像（もっとも最近の像）と予測モザイクが更新されたモザイク を形成するために組み合わされる。従来の像ワォーパ（warper）は、モザイクと 像を整列し、組み合わせるためにワォープし組み合わせる工程を遂行している。 この説明に役に立つシステムに対し、モザイク構築配列は繰り返しであり、参照 座標システムは入力像の座標系によって定義される。また、このワォープ工程は 、図３のモザイク構築システムがモザイクと像を組み合わせる同じ方法で更新さ れたモザイク（参照モザイク）を生成するために、最新の入力像を予測モザイク に組み合わせる。このようなものとして、語句”動的な”はモザイクの両側面、 つまりモザイクの座標システムとモザイクの内容を示す。 残余解析器１０１６は、ピラミッドの枠組みの範囲内にある現在の入力像と参 照モザイクを従来のように比較することによって、残余を発生させる。解析器１ ０１６および重要性解析器１０２０は、静的なモザイク圧縮システム（図８）に おいて解析器８０６および解析器８０８と同じく機能する。しかしながら。しき い値化が動的なモザイク圧縮システムの重要性解析器に使用されるならば、動的 なシステムのためのしきい値レベルを静的なシステムのしきい値レベルよりも低 く設定してもよい。 コーデック１０２２は、重要性を重み付けした残余を符号化する。コーデック １０２２は、ウエーブレット、ＤＣＴ等のような空間的に符合化をするあらゆる 従来形式を使用する。符合化されたビットは、チャネル１００４を介して受信器 へ送られる。 符合化システム１００２は、動的な圧縮技術を容易にするために予測モザイク １０３０を発生する復号化システム１０２４を含む。特に、復号化システムは復 号器１０２６およびモザイク構成器１０２８を含む。復号器１０２６は、チャネ ル１００４から受けた符号化された残余から残余を発生する。構成器１０２８は 、符合化工程で使用される参照モザイクと残余を比較することによって、予測モ ザイク構成する。システムはワォーパへ入力として予測モザイクを利用するため のフィードバックループ（つまり、符合化システム内に符合化と復号化）を含ん でいるので、システムは時間にわたって予測モザイクを改良していく。予測モザ イク１０３０は受信器で発生されたモザイクと同じであるということに注目すべ きである。したがって、予測モザイクを改良することは受けたモザイクを改良す る。更に、このような受けたモザイクの改良は、選択的に達成される。例えは、 入力像において関心のある特定の領域はズームすることによって選択されれば、 システムは、モザイク全体が送られるときよりも高い解像度で像変化を表す一連 の残余を送る。このようなものとして、受けたモザイクにある選択された領域は 、残りのモザイクに比較して改良された品質を有するでしょう。 復号化システム１００６は、復号器１０３４、モザイク構成器１０３６、遅延 器１０３８およびワォーパ１０４０を含む。復号器１０３４は、受けた情報から 残余を発生する。これらの残余は、モザイク構成器１０３６によって使用され、 受けたモザイクを構成し、更新する。受けたモザイクは復号化システム１００６ の出力を形成する。加えて、受けたモザイクは遅延器１０３８によって（例えば 、ビデオ伝達システムにある１ビデオフレーム分）遅延がかけられる。ワォーパ は、遅延されたモザイクを次の符号化された残余の組へワォープされる。このワ ォープされたモザイクは、モザイク構成器が引き続く受けた残余を用いて更新す る参照モザイクを形成する。 更に圧縮効率を改良するために、様々なモザイクおよび入力像が処理中に像ピ ラミッドへ分解されるという事実が、解像度優先順位づけ案を実行するために使 用される。このようなものとして、符合化システムは、最低の解像度を有するピ ラミッドレベルから最初に残余を符合化して、それから、より高い解像度レベル から残余を符号化して伝達してもよい。このような案は、発展する伝達（progre ssive transmission）として知られている。代わりに、モザイクおよび入力像の 高い方および低い方の解像度レベルから発生される残余を、利用できる伝達バン ド幅に依存して伝送できる。 入力像が背景モザイクと独立の運動物体（前景情報）に分解されるから、風景 のこれら分離した部分は分離したモザイクに組織できる。例えば、図９において 、モザイクとして背景を表示し、残余を移動物体のモザイクに組み合わることが できる。それから、各モザイクを符号化し、分離して伝達することができる。し たがって、運動物体のモザイクが背景モザイクに相対してどのように動くかを記 述する運動パラメータは、符号化され、伝達される必要がある。このようなもの として、より狭いバンド幅が、像情報の伝達のために必要とされる。 像の３次元表示は、主要面（例えば、背景の風景）の２次元整列が主要面上の カメラの並進の効果だけでなく、カメラの回転や像に対する他の誘発される変形 （ズームにおける変化、レンズの収差、カメラのジッタ等）による全ての運動を 除くという観察に基づいている。固定される風景内の残りの動きは、純粋に、風 景に相対的なカメラの並進の組み合わせ、および風景にある他の物体や面の主要 面からの距離による。この残りの動きは、観察位置よる視差（parallax）の動き である。 ３次元構造は、典型的には（少なくとも数秒あるいは数分の持続期間にわたっ て）時間的に不変であり、構造を不変な持続時間にわたって観察位置よる視差の 運動を予測するために使用される単一の静的な像として表示できる。この視差に 基づく３次元表示は、”高さ”マップとして参照される。なぜなら、この表示は 主要面に相対的な面および物体の高さ、あるいは距離へ関係するからである。連 続する像間のカメラの計算される並進運動を共に伴う高さマップを、主要面を表 示するモザイク表面に相対する、すべての点の動きを予測するために使用できる 。 ３次元の高さ情報に加えて２次元表示の計算は、以下のステップを含む。まず 、各像を、以前に議論した２次元整列を使用してモザイク座標系に合わせる。風 景内の表面および物体の観察位置よる視差の残余の動きを計算する。カメラの全 ての回転およびカメラの他の誘発される変形が排除され（例えば、これらの変形 は、 主要面の２次元モザイクに誘発されると仮定される）一方で、残余の観察位置よ る視差が計算される。このようなものとして、並進の効果のみが残る。第３に、 観察位置よる残余の視差は、”高さ”とカメラの並進に分解される。第４に、高 さ情報は多重のフレームから積分され、風景に対する単一の高さマップモザイク になる。この積分は、像フレームの一括の配列あるいは繰り返し配列を使用して 遂行される。動作においては、この工程は、与えられる像フレームを高さモザイ クおよび主要面のモザイクから予測できる。このようなものとして、１回のみ、 高さ情報が符号化され、伝達（あるいは保存）され、その後カメラの動きのみが 符合化され、伝達される必要がある。結果として、像は、受信器（あるいは検索 ）のところで回復され、再構成された像には観察位置よる視差を含む。 動く物体の時間的な冗長性が従来のインターフレーム予測システムによって除 かれるのと同じくらい短期間では、モザイクに基づく圧縮システムは除かない。 例えは、物体がモザイクにではなく場面に現れるとき、類似した残余が多数の像 フレームに繰り返して符合化される。静的なシステムにおいて時間的な冗長性を 排除して改良するためには、システムはモザイクの階層を処理するために改良さ れ、そのモザイクのレベルが時間的な積分の異なる量に対応する。図１は、この 階層的なモザイク１１００の概略図である。階層内にある最も細かなレベル１１ ０２は原像を含み、他のレベル１１０４および１１０６は像から積分された静的 なモザイクおよび次に細かなレベルのモザイクを含む。レベル間の残余のみが符 合化され、保存される必要がある。結果は、空間的なラプラスピラミッドに類似 した方法で、時間的な相互の関連を持たない（decorrelation）表示である。 参照座標システムとして入力像の座標系を使用する動的なシステムでは、モザ イクが各入力像の座標系に対して繰り返してワォープされる必要がある。繰り返 してモザイクにこのようなワォープすることは、モザイクに示された像を過度に ぼやけたものとする。このぼやけを避けるために、動的なモザイクが選択的なメ モリ体系を用いて発生される。選択的なメモリ体系は、繰り返されるワォープに よって導入されるぼやけを受けることなしに最も最近に発生した場面の点からピ クセルを用いて現在の像のピクセルを予想する。これを達成するために、各予測 の源は、元の座標系にある前に受けた像である。前の像の全てを保存することを 避けるために、伝達器になる符合化器は、モザイクの”タイル”表示あるいはセ グメント表示を維持し、最も最近に発生した像化された場面のみを保つ。このよ うなものとして、各モザイクタイルは、他のタイルが使用される前では、例えば タイルが古くなり入力像にそれをワォープするためにもはや必要でなくなる前で は、制限された回数のみワォープされる。結果として、モザイクはぼやけない。 図１２は、モザイク構築システム１０２に含まれ、説明に役に立つ監視システ ムのブロック図である。監視システムの操作の方法は、図１３のフローチャート に概略する。監視システムを最もよく理解するために、読者は同時に図１２およ い図１３を見るべきである。 システム１０８は、システム使用者から離れている場所に配置される。その場 合には、（示されている）監視システムは、モザイクに基づく圧縮システム１０ ００および表示システム１０２を含む。システム使用者がセンサと監視システム と共に配置されていれば、圧縮システムは、当然のことながら必要ない。 ステップ１３００において、システム１０８がビデオカメラのようなセンサ１ ２００から１組の像を受ける。１組の像は、センサによって撮られたパノラマ視 を表示する。ステップ１３０２では、システムはモザイク構築システム１０２を 使用し、パノラマ視の内にある像からモザイクを生成する。繰り返し配列あるい は一括配列を使用してモザイクの構築を達成できる。パノラマモザイクは非常に 高い解像度の像である。ステップ１３４では、センサは新しい像を発生する。ス テップ１３０６では、監視像処理器１２０２を使用して、新しい像が現在のモザ イクと比較され、如何なる差が明らかであるかを決定する。モザイクと入力像は 高解像度の像であるから、検出工程は非常に正確である。ステップ１３０８では 、システムは、差が検出されたか否かを質問する。差が見いだされないならば、 システムはセンサ１２００から別の入力像を受け、比較を繰り返す。しかしなが ら、差が検出されると、検出工程に使用されるより低い解像度のモザイクおよび その差（新しい入力像）が、システム１０００（伝達器側の半分）によってステ ップ１３１０において符号化される。符号化された情報が通信チャネル１００４ 、例えばラジオチャネルにわたって伝達される。情報の伝達後に、工程はモザイ ク構築システムに戻り、モザイクを更新する。 圧縮システム１０００の復号化システムを含む受信器は、ステップ１３１４で モザイクに基づく表示システム１０４を介して使用者に向けて表示される像情報 を、ステップ１３１２において復号化する。使用者は、像の差情報を解析でき、 差が問題とされるかどうかを、例えば戦場での敵の移動、倉庫に侵入する強盗等 について決定する。 一旦、パノラマモザイクが伝達されると、伝達器はそのモザイクに対する変化 、例えば変化がある領域を送ることのみが必要となる。受信器は、カメラの所在 位置における現在の場面を使用者にいつも示すことができるように、変化がある とモザイクを更新する。 ここに詳細に記述されあるいは示された本発明の教示するものを含んで様々な 具体例があるが、技術分野の熟練した人々はこれらの教えに今もなお含まれる多 くの他の変化された具体例を容易に導くことができる。自動的に発生されたモザ イクには、多くの実用的な使用法がある。図的な使用法には、像印刷システムを 含むモザイクに基づく表示システム、監視システムおよびモザイクに基づく圧縮 システムを含む。モザイクに基づく表示システムでは、システム使用者はモザイ クを表示でき、操作でき、検索でき、そして変更できる。モザイクに基づく圧縮 システムは、像の連続内にある空間的および時間的な冗長性を利用して、像情報 を効率的に圧縮する。圧縮システムを、蓄積装置内に保存するための像情報を圧 縮するために使用でき、あるいはバンドが制限された伝送チャネルを通して伝送 するための像情報を圧縮するために使用できる。監視システムは、モザイク構築 システム、圧縮システムおよび表示システムを組み合わせ、遠隔運動検出のため の包括的なシステムを提供する。

【手続補正書】特許法第１８４条の８第１項 【提出日】１９９６年１０月２４日 【補正内容】 請求の範囲 １、一連の像から自動的にモザイクを発生するシステムであって、 前記一連の像内の前記像の各々にある像情報を、前記一連の像内の少なくとも １個の他の像と自動的に合わせるための整列手段と、 前記整列手段に結びつけられ、前記合わされた像をモザイクに組み立てる手段 と、 を備えるシステム。 ２、前記整列手段は、 該像を参照座標系に合わせるための変換を定義するための定義手段と、 前記変換を実行するための実行手段と、 を更に備え、 前記実行手段によって該像が該参照座標系に合わされる、請求項１に記載のシ ステム。 ３、前記整列手段は、 各前記像のための像ピラミッドを発生するための発生手段と、 各前記像のための該像ピラミッドを使用して、粗くそして細かい（coarse-to- fine）調整を実行するための手段を備える手段と、 を更に備える請求項２に記載のシステム。 ４、動的なモザイクを発生するための方法であって、 （ａ）入力像を以前に発生されたモザイクに合わせる整列工程であって、該整 列は参照座標系に関して実行されると共に、前記入力像に含まれる像情報が前記 以前に発生されたモザイクにある像情報に合わされ、 （ｂ）組み合わされるための前記入力像の一部および前記以前に発生されたモ ザイクの一部を選択し、更新されたモザイクを形成する工程と、 （ｃ）該入力像の該選択された部分を該以前に発生されたモザイクの選択され た部分に組み合わせ、更新されたモザイクを生成する工程と、 を備える方法。 ５、一連の入力像内にある各入力像のために（ａ）、（ｂ）および（ｃ）の工程 を繰り返し、前記一連の入力像内にある各入力像の少なくとも一部を用いて該更 新されたモザイクを連続的に更新する繰り返し工程を 更に備える請求項４の方法。 ６、前記整列工程は、 前記入力像を該参照座標系に合わせるための変換を定義する定義工程と、 前記変換を実行する実行工程と、を更に備え、 この実行工程によって前記入力像が該参照座標系に合わされる、請求項５に記 載の方法。 ７、静的なモザイクを発生する方法であって、 複数の入力像をお互いに合わせる整列工程であって、該整列は参照座標系に関 して行われると共に、各入力像に含まれる像情報が前記複数の入力像の少なくと も１個の他の入力像に含まれる像情報と合わされ、 組み合わされるための前記入力像の一部を選択し、静的なモザイクを形成する 選択工程と、 該入力像の該選択された部分を組み合わせ、静的なモザイクを生成する組み合 わせ工程と、 を備える方法。 ８、前記整列工程は、 該入力像の選択された部分を該参照座標系へ合わせるための変換を定義する定 義工程と、 前記変換を実行する実行工程と、を更に備え、 この実行工程によって該入力像が該参照座標系に合わされる、請求項７に記載 の方法。 ９、蓄積装置に保存するための像情報を圧縮するためのモザイクに基づく圧縮シ ステムであって、 １組の像を複数の連続像に分解する分解手段と、 前記分割手段に結びつけられ、前記連続像の各々を一括配列し、参照座標系に 前記連続像（subsequencrs）の各々内にある各像を整列させると共に、合わされ た各像を各前記連続像（subsequencrs）内にある他の合わされた像と組み合わせ 静的なモザイク、変換パラメータおよび残余を発生させる、一括配列手段と、 前記一括配列手段に結びつけられ、前記静的なモザイク、前記変換パラメータ および前記残余を符合化するための符合化手段と、 前記符合化手段に結びつけられ、前記符合化された静的なモザイク、符合化さ れた変換パラメータおよび符合化された残余を保存するための蓄積手段と、 を備えるシステム。 １０、前記符合化手段は、 該モザイクからの像を前記連続像からの像と比較すると共に、前記比較結果（ comparison）に応答して残余を発生させる残余解析器と、 符合化のための特有の残余を選択するための重要性解析器と、 該変換パラメータを符合化するための変換パラメータ符合化器と、 該モザイクを符合化するためのモザイク符合化器と、 該選択された残余を符号化するための残余符合化器と、 を更に備える請求項９に記載にシステム。 １１、前記符合化手段が離散コサイン変換符合化を使用して前記モザイクおよび 前記残余を符合化すると共に、空間符合化を使用して前記変換パラメータを符号 化するシステムであって、 前記符合化されたモザイク、前記符号化された変換パラメータおよび前記符号 化された残余を復号化すると共に、検索し、前記連続像内にある前記像を再構築 するための復号化手段、を更に備える請求項９に記載のシステム。 １２、通信システムを介する伝達のための像情報を圧縮するための、モザイクに 基づく圧縮システムであって、 入力像を予測モザイクに合わせる整列手段と、 前記合わされた入力像を前記予測モザイクと組み合わせ、参照モザイクを作り 出す組み合わせ手段と、 前記組み合わせ手段に結びつけられ、前記入力像を前記参照モザイクと比較す ると共に、前記比較結果（comparison）に応答して残余を発生させる残余解析器 と、 前記残余解析器に結びつけられ、符合化のための特有の残余を選択するための 重要性解析器と、 前記重要性解析器に結びつけられ、前記選択された残余を符号化するためのコ ーデックと、 を備えるシステム。 １３、前記コーデックに結びつけられ、前記符号化され選択された残余を復号す ると共に、前記予測モザイクを作り出すための復号器（decoder）と、 を更に備える請求項１２に記載のシステム。 １４、１組の像を発生されるためのセンサと、 前記センサに結びつけられ、モザイクに基づく圧縮技術を使用して前記１組の 像を圧縮するための圧縮手段と、 前記圧縮手段に結びつけられ、パノラマモザイクを入力像と比較すると共に、 前記パノラマモザイクと前記入力像との間の差を決定するための監視像処理器と 、 前記監視像処理器に結びつけられ、前記差を符号化するための符合化手段と、 前記符号化された差を受信手段に伝達する伝達手段と、 前記符号化された差を復号化すると共に、前記差を表示する前記受信手段と、 を備える監視システム。 １５、前記圧縮手段は、 前記パノラマモザイクを発生する、静的あるいは動的なモザイクに基づく圧縮 手段を、更に備える請求項１４に記載のシステム。 １６、モザイクに基づく監視システムにおいて、監視センサによって眺められて いる場面の交替（alteration）を検出する方法であって、 前記監視センサによってとらえられる一連の入力像からパノラマモザイクを発 生する発生工程と、 前記監視センサを用いて新しい入力像をとらえる工程と、 前記新しい入力像を前記パノラマモザイクに合わせ、合わされた像を形成する 整列工程と、 前記合わされた像を前記パノラマモザイクと比較する比較工程と、 前記パノラマモザイクと該合わされた像と間のあらゆる差を検出する検出工程 と、 前記監視センサによって眺められる場面における交替として該差を符号化する 工程と、 を備える方法。 １７、前記発生工程は、静的あるいは動的なモザイク発生技術を使用し、該パノ ラマモザイクを発生する工程を、更に備える請求項１６に記載の方法。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 イラニ，マイケル アメリカ合衆国 ニュー ジャージー州 プリンストン ジャンクション ランディ ング レーン 11−Ｂ (72)発明者 シュー，ステファン，シー. アメリカ合衆国 ニュー ジャージー州 イースト ウィンザー カントリー ミル ドライヴ 1134 (72)発明者 アナンダン，パドマナビヤン アメリカ合衆国 ニュー ジャージー州 ローレンスヴィル カーバー プレイス Ｂ−２ (72)発明者 ハンセン，マイケル，ダブリュー. アメリカ合衆国 ペンシルヴァニア州 ニ ュー ホープ コンフォート ロード 2966 【要約の続き】 ステムへ結合する。

Claims (1)

1. 【特許請求の範囲】 １、一連の像から自動的にモザイクを発生するシステムであって、 前記像をお互いに自動的に合わせるための整列手段と、 前記整列手段に結びつけられ、前記合わされた像をモザイクに組み立てる組立 手段と、 を備えるシステム。 ２、前記整列手段は、 該像を参照座標系に合わせるための変換を定義するための定義手段と、 前記変換を実行するための実行手段と、 を更に備え、 前記実行手段によって該像が該参照座標系に合わされる、請求項１に記載のシ ステム。 ３、前記整列手段は、 各前記像のための像ピラミッドを発生するための発生手段と、 各前記像のための該像ピラミッドを使用して、粗くそして細かい（coarse-to- fine）調整を実行するための手段と、 を更に備える請求項２に記載のシステム。 ４、動的なモザイクを発生するための方法であって、 （ａ）入力像を以前に発生されたモザイクと合わせる整列工程であって、前記 整列は参照座標系に関して実行され、 （ｂ）組み合わされるための前記以前に発生されたモザイクの一部と前記入力 像の一部を選択し、更新されたモザイクを形成する工程と、 （ｃ）該入力像の該選択された部分を該以前に発生されたモザイクの選択され た部分と組み合わせ、更新されたモザイクを生成する工程と、 ５、一連の入力像内にある各入力像のために（ａ）、（ｂ）および（ｃ）の工程 を繰り返し、前記一連の入力像内にある各入力像の少なくとも一部を用いて該更 新されたモザイクを連続的に更新する繰り返し工程を 更に備える請求項４の方法。 ６、前記整列工程は、 前記入力像を該参照座標系に合わせるための変換を定義する定義工程と、 前記変換を実行する実行工程と、を更に備え、 この実行工程によって前記入力像が該参照座標系に合わされる、請求項５に記 載の方法。 ７、静的なモザイクを発生する方法であって、 複数の入力像をお互いに合わせる整列手段であって、該整列は参照座標系に関 して実行され、 組み合わされるための前記入力像の一部を選択し、静的なモザイクを形成する 選択工程と、 該入力像の該選択された部分を組み合わせ、静的なモザイクを生成する組み合 わせ工程と、 を備える方法。 ８、前記整列工程は、 該入力像の選択された部分を該参照座標系へ合わせるための変換を定義する定 義工程と、 前記変換を実行する実行工程と、を更に備え、 この実行工程によって該入力像が該参照座標系に合わされる、請求項７に記載 の方法。 ９、蓄積装置に保存するための像情報を圧縮するためのモザイクに基づく圧縮シ ステムであって、 １組の像を複数の連続像に分解する分解手段と、 前記分割手段に結びつけられ、前記連続像の各々を一括配列し、参照座標系に 前記連続像（subsequences）の各々内にある各像を整列させると共に、合わされ た各像を各前記連続像（subsequences）内にある他の合わされた像と組み合わせ 静的なモザイク、変換パラメータおよび残余を発生させる、一括配列手段と、 前記一括配列手段に結びつけられ、前記静的なモザイク、前記整列パラメータ および前記残余を符合化するための符合化手段と、 前記符合化手段に結びつけられ、前記符合化された静的なモザイク、符合化さ れた変換パラメータおよび符合化された残余を保存するための蓄積手段と、 を備えるシステム。 １０、前記符合化手段は、 該モザイクからの像を前記連続像からの像と比較すると共に、前記比較結果（ comparison）に応答して残余を発生させる残余解析器と、 符合化のための特有の残余を選択するための重要性解析器と、 該変換パラメータを符合化するための変換パラメータ符合化器と、 該モザイクを符合化するためのモザイク符合化器と、 該選択された残余を符号化するための残余符合化器と、 を更に備える請求項９に記載にシステム。 １１、前記符合化手段が離散コサイン変換符合化を使用して前記モザイクおよび 前記残余を符合化すると共に、空間符合化を使用して前記変換パラメータを符号 化するシステムであって、 前記符合化されたモザイク、前記符号化された変換パラメータおよび前記符号 化された残余を復号化すると共に、検索し、前記連続像内にある前記像を再構築 するための復号化手段、を更に備える請求項９に記載のシステム。 １２、通信システムを介する伝達のための像情報を圧縮するための、モザイクに 基づく圧縮システムであって、 入力像を予測モザイクに合わせる整列手段と、 前記合わされた入力像を前記予測モザイクと組み合わせ、参照モザイクを作り 出す組み合わせ手段と、 前記組み合わせ手段に結びつけられ、前記入力像を前記参照モザイクと比較す ると共に、前記比較結果（comparison）に応答して残余を発生させる残余解析器 と、 前記残余解析器に結びつけられ、符合化のための特有の残余を選択するための 重要性解析器と、 前記重要性解析器に結びつけられ、前記選択された残余を符号化するためのコ ーデックと、 を備えるシステム。 １３、前記コーデックに結びつけられ、前記符号化され選択された残余を復号す ると共に、前記予測モザイクを作り出すための復号器（decoder）と、 を更に備える請求項１２に記載のシステム。 １４、１組の像を発生されるためのセンサと、 前記センサに結びつけられ、モザイクに基づく圧縮技術を使用して前記１組の 像を圧縮するための圧縮手段と、 前記圧縮手段に結びつけられ、パノラマモザイクを入力像と比較すると共に、 前記パノラマモザイクと前記入力像との間の差を決定するための監視像処理器と 、 前記監視像処理器に結びつけられ、前記差を符号化するための符合化手段と、 前記符号化された差を受信手段に伝達する伝達手段と、 前記符号化された差を復号化すると共に、前記差を表示する前記受信手段と、 を備える監視システム。 １５、前記圧縮手段は、 前記パノラマモザイクを発生する、静的あるいは動的なモザイクに基づく圧縮 手段を、更に備える請求項１４に記載のシステム。 １６、モザイクに基づく監視システムにおいて、監視センサによって眺められて いる場面の交替（alteration）を検出する方法であって、 前記監視センサによってとらえられる一連の入力像からパノラマモザイクを発 生する発生工程と、 前記監視センサを用いて新しい入力像をとらえる工程と、 前記新しい入力像を前記パノラマモザイクに合わせ、合わされた像を形成する 整列工程と、 前記合わされた像を前記パノラマモザイクと比較する比較工程と、 前記パノラマモザイクと該合わされた像と間のあらゆる差を検出する検出工程 と、 前記監視センサによって眺められる場面における交替として該差を符号化する 工程と、 を備える方法。 １７、前記発生工程は、静的あるいは動的なモザイク発生技術を使用し、該パノ ラマモザイクを発生する工程を、更に備える請求項１６に記載の方法。