JPH09502586A - データ分析方法及び装置 - Google Patents

Abstract

(57)【要約】 入力信号のサンプルと、それぞれ異なる領域で当該入力信号の特徴を表わす複数のコンポーネント信号から成るコード化信号との間で変換する方法及び装置が開示される。入力信号は、多サンプルのレコードに組織化され、各々かそのレコード内に唯一の位置を占める複数のデータサンプルから成り、各コンポーネント信号は、それぞれスコア信号とロード信号との積である複数の因子の組合わせとして形成される。スコア信号は、データサンプルの或るレコードから別のレコードへの変化を定義し、ロード信号は、１つのレコードの複数の異なる位置におけるサンプルのサブグループの相対的変化を定義する。

Description

【発明の詳細な説明】 データ分析方法及び装置発明の分野 本発明は、データ分析のための方法及び装置に関する。より詳細には、本発明 は、データを分析し、時間、空間、色、形状の各ドメイン（領域又は定義域）の ような種々のドメインにおける関係構造を抽出して利用するための方法及びに関 する。発明の背景 代表的な映像アプリケーション分野における全運動ディジタルイメージのシー ケンスは、形状、色及び運動の観点から良質の視覚的イメージを生成するために 、大量のデータの処理を必要とする。記憶し且つ操作しなければならないデータ の量を減少させるために、データ圧縮がしばしば使用される。データ圧縮システ ムは通常、大量の映像データを簡単且つ効率的に表現するために使用されるサブ システムのモデル化を含んでいる。 映像イメージの圧縮に好適な圧縮システムが多く開発されている。これらのシ ステムは、操作上及びモデル化の特徴に従って３つの主なグループに分類するこ とができる。第一に、因果的な全体モデル化の手法がある。このタイプのモデル の例は、３次元（３Ｄ）ワイヤフレーム・モデルであり、これは、多かれ少なか れ固定されたワイヤフレームのグリッドボイントの小さい組における位置や強度 を空間的に制御することを示すと共に、グリッドポイントの間で補間するもので ある。あるアプリケーションでは、この手法は、固体のオブジェクト（対象）を トレースする３Ｄ光線と組み合わされる。このワイヤフレームによる手法は、非 常に深いモデルを含む、すなわち、充分意昧のある努力をして包括的なモデルを 得なければならないので、非常に効率的でコンパクトなデータ表現を与えること ができる。従って、このモデルは良質の視覚的表現を与える。 しかしながら、このアプローチにはいくつかの重要な問題点がある。第一に、 このタイプの因果的モデルは、３Ｄ上の特徴、表面模様、照光による特徴付け、 運動行為などに関する詳細な先験的（先立つ）モデル化情報を必要とする。次に 、 このアプローチでは、一度モデルが定義されると、新しい予期せぬイメージに遭 遇したとき動的に補って更新することが難しいので、包括的なエンコーダでしか 、非常に制限された経験的な順応性を発揮できない。従って、このタイプのモデ ルは、実時間映像のシーケンスの動的モデル化を要求するような状況では、限定 された有用性しか持たない。 第２のタイプモデル化システムは経験的で更新可能な圧縮システムであるが、 これは、非常に限られたモデルを生成し、相対的に非能率的な圧縮を与える。Ｍ ＰＥＧ１及びＭＰＥＧ２という互換性のあるシステムが、そのような手法を表現 している。例えば、ＭＰＥＧ標準で、イメージ・シーケンスは、例えば８×８ピ クセル（画素）ブロックのような画素ブロックで見ると、圧縮され且つ圧縮解放 されるシーケンス内の１０番目のフレームのような静止イメージのフレームのば らばらの組として表現される。ブロックの動きと強度変化のパターンとを表すブ ロックの変化を示す追加情報によって修正されるものとして、中間のフレームが 最も近い圧縮解放フレームに基づいて再構成される。静止イメージ圧縮／圧縮解 除は、離散的コサイン変換（Discrete Cosine Transforms；ＤＣＴ）を用いて実 行されるが、サブバンド（subband）、小波（wavelet）或いはフラクタルな静止 イメージコード化などの手法を用いてもよい。この手法は、殆どモデル化の深さ を含まないので、多くの場合、時間及び空間の長い範囲の系統的冗長部は無視さ れ、本質的に同じ情報が何度も蓄積／転送される。 ３番目のタイプのモデル化は、因子分析に基づくイメージ輝度の経験的且つ全 体的なモデル化システムである。この手法は種々の技術、例えば、Ｆ個の「因子 」の重み付けした和によってＮ個のイメージの組の輝度を概算するための、主コ ンポーネント分析のような技術を利用する。そのような因子には、各画素に対す る空間的パラメータと、各フレームに対する時間的パラメータがある。各因子の 空間的パラメータは時折「ローディング」と称する一方、時間的なパラメータは 「スコア」と称する。このタイプの手法の一例として、人の顔面イメージの圧縮 及び認識のための、Ｎ×Ｍ行列で表現されたイメージ輝度（１フレームにつきＭ 個の画素、Ｎ個のフレーム）の Karhunen-Loeve 展開がある。これは、以下で文 献として引用する、Kirby，M．及び Sirovich，L．による「人の顔面の特徴付け のための Karhunen-Loeve 手順の応用」（パターン分析と機械知能に関するIEEE 紀要、第１２巻第１号 103〜108 頁（１９９０年））と、R．C．Gonzales及びR ．E．Woodsによる「ディジタル画像処理」第３．６章（アディソン−ウエズレー 出版社、ISBN 0-210-50803-6，１９９２年）において、詳細に論じられている。 Karhunen-Loeve 展開（固有分析や主コンポーネント分析、ホテリング変換及 び特異値分解としても言及する）では、各連続因子に対するローディングとスコ アの積は、当初のイメージ輝度と再構成又は復元されたイメージ輝度との間の２ 乗誤差を最小にする。各因子ローディングは各画素に対する値を持っており、そ れゆえに「固有の画」といってもよく、対応する因子スコアは、各フレームに対 する値を持つ。この Karhunen-Loeve システムは唯一の領域、すなわち輝度領域 においてのみ因子を利用するのに対し、本発明では、輝度、アドレス及び確率領 域のような多様な領域において因子を利用することに注意されたい。 上記のような圧縮システムは、ある状況では、例えば、画素の組が、あるイメ ージから他のイメージまで固定パターンにおいて相互に関係づけられた輝度変化 を表示する場合には、非常に効率的である。例えば、画素ａ，ｂ，ｃがより暗く 、ｄ，ｅ，ｆがより明るくなる場合、或いはこれと逆の場合でも、画素ａ，ｂ， ｃ，ｄ，ｅ，ｆの全てが、ａ，ｂ，ｃについて正の値、ｄ，ｅ，ｆについて負の 値を持つ固有の画像輝度ローディングから成る単一の因子によって、効果的にモ デル化される。このとき、画素のグループは、各イメージに対して一つのスコア 数としてモデル化される。また、相互に関連した他の画素パターンも因子を追加 する。 最初のイメージを表すためにほとんど因子が使用されないならば、このタイプ の手法は、復元されたイメージに視党的に分裂したエラーを生じさせる結果とな る。更に、動くオブジェクトのように、イメージからイメージへの変化が空間で の系統的な大きい変化を含む場合には、これに対応して、良好な視覚的表現のた めに要求される固有画像の数が多くなる。その結果、圧縮率はかなり低くなる。 かくして、イメージ輝度の因子モデル化としての Karhunen-Loeve システムは、 映像への適用のために必要な圧縮を提供することができない。 映像のコーディング（符号化）に関する４番目の手法は、オブジェクト指向の 符号変換法（codecs）の使用である。この手法は、かなり簡単で容易に圧縮でき る方法で一緒に移動したり輝度を変えたりする画素の「自然な」グループ（「オ ブジェクト」）を同定することに向けられている。このオブジェクト指向方式の 更に進化したバージョンは、個々のオブジェクトの形状と輝度に関してフレキシ ビリティ、例えば、翻訳、縮小、回転及び分割などのアフィン形状変換や一因子 輝度変化、を導入するものである。しかしながら、このオブジェクト指向の手法 は、一般に単一の因子しか使用しないことに注意する必要がある。 従来技術の方式では、運動は２つの方法のうちの１つで近似される。第一の方 法は、増進する運動を短時間で補償することであり、これは本質的に、あるフレ ームｎにおける画素とその前のフレームｎ−１における画素との差を、差イメー ジとして送信する差コーディングである。ＭＰＥＧは、このタイプの方式の一例 である。この手法によれば、新しい特徴が単に差イメージの一部として表される ので、新しい特徴を比較的簡単に導入できる。しかしながら、この手法には、動 的適応や学習が非常に難しいという大きな欠点がある。例えば、イメージにおい てオブジェクトが動いている時、位置と輝度の変化が、系統的なデータ変化の抽 出を非常に困難にする。結果として、最も簡単な運動形式さえ広範囲のモデル化 を必要としている。 増進する運動を補償するもう一つの手法は、共通の基準フレームに基づく表面 模様（テクスチャー）マッピングであり、この手法によれば、共通の基準フレー ムに関して運動が計算され、画素は共通の基準フレームから移動して新しいフレ ームを合成する。これは、大部分のワイヤフレーム・モデルによって一般的に用 いられている手法である。この手法の利点は、いくつかの場合、非常に効率的で コンパクトな表現が可能であるということである。しかしながら、この手法の大 きな問題点は、動くオブジェクトがそれらの最初の輝度又はテクスチャーを保持 する限りにおいて効率が維持されるのみということである。既存の方式では、輝 度とアドレスのいずれかで一次元の変化モデルだけを組み込むので、輝度と特徴 の変化は容易に導かれない。 従って、本発明の目的は、多量の先行モデル化情報を必要としないが、それら が存在するならば利用して、非常に効率的でコンパクトなデータ表現を与えるデ ータ分析方法及び装置を提供することにある。 次の目的は、経験的適応性を有すると共に、分析されているデータの種々の領 域での短い範囲及び長い範囲の系統的冗長部に基づいて動的に更新できるデータ 分析方法及び装置を提供することにある。 別の目的は、輝度領域に加えてアドレス領域や確率領域のような多くの領域で 因子分析を使用するデータ分析方法及び装置を提供することにある。さらに、因 子分析は、例えば別々の空間的オブジェクトのような、データのサブグループそ れぞれに対して行われる。 更なる目的は、モデルオブジェクトに対して多くの領域で多様な因子を使用す るデータ分析方法及び装置を提供することにある。これらの「ソフト」モデル（ アドレス、輝度、スペクトル特性、透光性、テクスチャー、型式及び時間）は、 「ハード」モデルと組み合わされ、映像イメージのような入力データの系統的変 化パターンのより効率的な学習及びモデル化を可能にする。そのような「ハード 」モデル化の例は、次のとおり。（ａ）動くオブジェクトに対する従来のアフィ ン運動のモデル化，ｗ．ｒ．ｔ．変換、回転、尺度構成（スケーリング）、分割 （上下左右にカメラを動かすことやズーム効果を含む）、及び（ｂ）乗法信号補 正（ＭＳＣ）とこれの拡張、即ち乗法及び加法の複合した輝度効果のモデル化（ H．Martens及び T．Naes「多変量キヤリブレーション（Multivariate Calibrati on）」第 345〜350 頁（John Wiley & Sons，１９８９年））。 本発明の更に別の目的は、空間領域以外の領域におけるオブジェクトのモデル 化である。例えば、局所的な時間変化パターンを時間的なオブジェクトにグルー プ分けすること、及びスペクトル・パターンをスペクトル・オブジェクトにグル ープ分けすることである。従って、物理的オブジェクト又はオブジェクト指向プ ログラミングと関連した、好ましくない過度の簡略化を避けるために、「ホロン (holon)」という用語を代わりに用いる。 本発明の更にもう１つの目的は、個々のフレームを１又は複数の基準フレーム に関連づけるが、先行するデータフレームには関連づけないように、種々の領域 における変化データを使用することである。発明の概要 本発明のデータ分析方法及び装置は、分析されているデータの入力シーケンス における変化に見出される１又は複数の系統的なデータ構造を抽出することによ ってデータを分析する。これらの変化は、種々の領域でグループ化且つパラメー タ化されて、これらの領域で変化モデルを持つ基準データ構造を形成する。これ は、分析されている入力データのモデル化で使用される。このタイプのパラメー タ化は、圧縮、相互活動及び解釈を可能にする。各データ入力は、基準データ構 造で維持された、パラメータ化された１又は２以上のデータ構造の複合として近 似され或いは再構成される。この手法のフレキシビリティは、多数の入力データ に対する個々の系統的なデータ構造のフレキシビリティと応用性を保証するため に、基準データ構造を作成する系統的なデータ構造及びこれに関連した変化モデ ルパラメータを、適当なパラメータ変化によって修正できるという点にある。パ ラメータ化は、種々のホロン(holon)に関して種々の領域での「ソフト」な多変 量因子のモデル化から成り、これは、可能なエラー補正残差に加えて種々の領域 での「ハード」な因果的モデル化と任意に組み合わされる。本発明の好適な実施 例においては、映像のようなイメージ・シーケンスのコーディングについて説明 するが、この場合、最も重要な領域は輝度、アドレス及び確率の各領域である。 本発明は、エンコード（符号化）、編集及びデコード（復号化）のための方法 と装置を含む。基本的なモデル化又は符号化の方法（“ＩＤＬＥ”モデル化法） を他の公知のモデル化法と組み合わせてもよく、また、基本的なモデル化方法を 使用するいくつかの方法を組み合わせ、与えられたデータの組について実行して もよい。 本発明の符号化の部分は、種々の領域でのパラメータ評価を平均化するための 方法を含む。また、本発明によるモデル化を繰り返して段階的なモデル化及びメ タモデル化を生成することができる。図面の簡単な説明 前述した簡単な説明及び本発明の目的、特徴及び利点は、以下で図面を参照し て説明する実施例から、よりよく理解されるであろう。 図１は、本発明によるエンコード及びデコードのプロセスの高レベル演算を示 すフローチャートである。 図２は、スコア行列とローディング行列との積に残差行列を加算した和として 表わされるデータ行列の特異値分解を示すブロック図である。 図３ａは、基準イメージにおける各画素に対するデータ形式の絵図である。 図３ｂは、基準フレームがどのような起源を持つかを表す絵図である。 図４ａから４ｎは、輝度（赤面）領域でのモデル化を示す絵図であり、 図４ａから４ｃは、入力イメージにおける様々な赤面の輝度を表す。 図４ｄから４ｆは、エンコーダ内の基準フレームに関する輝度変化フィール ドを表す。 図４ｇから４ｈは、エンコーダ内のいくつかのフレームの変化フィールドを 要約した赤面因子ローディングを示す。 図４ｉから４ｋは、デコーダ内における変化フィールドの再構成を表す。 図４ｌから４ｎは、デコーダ内における変化フィールド及び基準イメージか ら実際のイメージ輝度を再構成した結果を表す。 図５ａから５ｎは、アドレス（スマイル）領域でのモデル化の絵図であり、 図５ａから５ｃは、種々のスマイル度数（画素に対する動作又はアドレスの 変化）を表す。 図５ｄから５ｆは、基準イメージに対する種々の動作度に対応する変化フィ ールドを表す。 図５ｇは基準輝度イメージ、図５ｈはスマイル因子ローディングを表す。 図５ｉから５ｋは、再構成されたアドレス変化フィールドを表す。 図５ｌから５ｎは、スマイルのイメージ輝度の再構成結果を表す。 図６は、本発明におけるエンコーダのブロック図である。 図７は、図６のエンコーダにおけるモデル評価部のブロック図である。 図８は、図７のモデル評価部における変化フィールド評価部のブロック図であ る。 図９は、図８の変化フィールド評価部における予測及び局所変化フィールド評 価部を使用する動作を示す図である。 図９ａは、予測及び局所変化フィールド評価部の使用ステップを示す図である 。 図９ｂは、図９ａの動作を要約して示す図である。 図１０は、図８の変化フィールド評価部の詳細なブロック図である。 図１１は、図８及び図１０の変化フィールド評価部内における局所変化フィー ルド評価部のブロック図である。 図１２は、図７のエンコーダ部分のインタープリタのブロック図である。 図１３は、図８のエンコーダの一部として、また独立（スタンドアロン）のデ コーダとしても使用されるデコーダのブロック図である。好ましい実施例の詳細な説明 本発明のデータ分析方法及び装置は、映像イメージのシーケンスの種々のデー タ領域におけるデータ冗長部の効率的なモデル化により、映像イメージのシーケ ンスを圧縮し編集し圧縮解除するために、エンコード回路及びデコード回路を含 むデータ圧縮システムの一部として使用することができる。種々の領域及びサブオペランドにおける冗長部の自己モデル化 本発明のシステムは入力データ（又は変換された入力データ）の冗長度をモデ ル化する。これらの冗長度は、種々の領域や「オペランド」（座標アドレス、輝 度、確率などの領域）と、これらの領域の、個々の座標の方向及び色彩のような 種々の副属性（「サブ・オペランド」）において見出される。画素とフレーム間 の時間及び空間、更に色のチャンネル間の時間及び空間にわたる輝度の共変動（ covariation）をモデル化することができる。また、画素間の時間及び空間、そ して異なる座標チャンネルの間の時間及び空間にわたる運動の共変動もモデル化 される。これらの運動共変動は、オブジェクトがイメージを横切って動くとき、 その運動を記述する。オブジェクト又はホロンは、物理的な対象物である必要は ない。むしろ、それらは、空間のゆがみ、輝度変化、色変化、透光性変化などの 種々の領域における系統的な変化を簡略化した多変量モデルを持つ結合構造を表 すものである。 モデル化することができる他の冗長度は、色輝度と同じ方法で時間と空間にわ たってモデル化することができる不透光性のような確率的特性を含む。更に、種 々のデータ領域からの種々の低レベルの統計的モデルパラメータを、画素間及び フレーム間の時間と空間にわたってモデル化することができる。 本発明では、連続する入力フレームは、種々の領域における多数の特徴や因子 を含むように選ばれる基準フレームからの変化又は「ずれ」として、モデル化さ れる。例えば、輝度変化、運動、ゆがみを示す因子は、基準フレームに含まれる ので、入力フレームは基準フレームに含まれる因子の尺度構成（スケーリング） された組合せとしてモデル化することができる。述語因子とローデイングは、基 準フレームに含まれる系統的なデータ構造を参照して、互換性をもって使用され る。抽出冗長部のモデル化 本発明のシステム及び方法は、種々のモデル構造と評価原理を組み合わせ、い くつかの異なる領域におけるデータを利用して、高レベルの豊富さを持つと共に イメージ要素を再構成できるモデルを作成する。モデルは、種々のレベルの深度 で表現することができる。 本発明でモデル化された特徴は、外部的に確立されたモデルパラメータを使う ことにより、以前のイメージから更に強調される。この手順では、予め定められ た空間及び／又は時間的な変化のパターンを使用し、これらのパターンは、新し い場面をモデル化するように調整される。更なる強調は、モデルパラメータ自体 の冗長度をモデル化すること、すなわち、モデルパラメータの組について主コン ポーネント分析を行うことによって得られる。これはメタ・モデル化と称する。 本発明は、入力データ及び／又は出力データのフォーマットと異なる内部的デ ータ表現を使用できる。例えば、映像データの入出力フォーマットがＲＧＢであ っても、内部的パラメータの評価、記憶、伝達あるいは編集では異なる色空間を 使用することができる。同様に、座標アドレスの方式は、ある解像度（例えば、 ＰＡＬフォーマット）でデカルト座標であるのに対し、内部の座標方式は、例え ば、ＮＴＳＣフォーマット、或いは規則的又は不規則的、密又は疎の座標方式で あってもよく、これらが逆でもよい。エンコーダ 本発明の実施に使用するエンコーダは、入力データの流れにおける系統的な構 造を表すためのモデルを与える。新規なモデルパラメータ評価は多変量であり、 いかなる従来のモデル情報も必要とせずに自動的な自己モデル化を可能にする。 しかしながら、このシステムは、既存の確立されたモデル情報が利用できる場合 には、それを効果的に使用する。また、このシステムは、無関連あるいは信頼性 がないとみられるモデル構成要素を更新または除去する動的な機構をも提供する 。更に、このシステムは、異なるレベルのモデルを異なる時間に使用できるとい う点で柔軟性を有する。例えば、時には浅い輝度に基づく圧縮を使用することが 有利になることもあるが、別の場合には、拡張した先行分析を含む深くハードな モデルを使用することが望ましいこともある。 更に、本システムは、圧縮モデルの自動初期設定と動的な修正を含む。加えて 、本発明は、例えば、テレビ電話、映像圧縮、映画編集、対話式ゲーム、医用イ メージのデータベースなどで使用される圧縮、格納、伝送、編集及び制御を任意 に組み合わせるのに用いられる。 更に、本発明は因子モデル化を使用し、映像シーケンスにおける個々のフレー ム間のような、入力データの種々の局所的な部分の間で、構造的情報を伝える予 備的な因子モデルを使用することにより、エンコーダ内のモデルパラメータ評価 を簡単化し強調することができる。この構造的情報は、各局所部分（例えばフレ ーム）をモデル化するために使用される可能なパラメータ値の数を制限するため に、パラメータ評価で統計的に使用される。これは、運動評価の場合に使用する ことができ、その場合、１つのフレームに対する運動フィールドは、同じシーケ ンスの他のフレームから導かれた低次元の因子運動モデルを使うことで安定化さ せられる。 本発明によるエンコーダは、種々のモデルに従って個々の段階でデータを圧縮 することにより、映像データの流れのような大量の入力データを圧縮する。一般 に、映像のシーケンスあるいはフレームは、空白のイメージから最初のフレーム までの変化と引き続くフレーム間の変化とを含むフレームからフレームへ、つま りフレーム相互間の変化によって表すことができる。このエンコーダでは、最初 のフレームを表現するのに必要なデータ量まで減らすために、空間的、時間的及 び確率的モデルパラメータに関して、フレーム間の変化を検出し分析してモデル 化する。得られたモデルパラメータは、更に圧縮されて、最初のイメージの表現 に必要なデータの流れを減少させる。この更なる圧縮は、連(run)の長さコーデ ィング、ハフマン(Huffman)・コーディング又は他の任意の統計的な圧縮技術によ り、実行することができる。圧縮されたデータは、編集され（例えば、ユーザー によりコントロールされるビデオゲームや映画編集方式の一部として）、格納さ れ（例えば、ＣＤ−ＲＯＭ又は他の記憶媒体に）、あるいは伝送され（例えば、 衛星、ケーブルまたは電話回線を経由して）、デコーダで圧縮解放されて使用さ れる。デコーダ 本発明は、本質的にエンコーダの逆の機能を達成する受信或いは圧縮解除の局 面で、デコーダをも提供する。このデコーダは、エンコーダによって生成された 圧縮モデルパラメータを受けて、それらを圧縮解除し、元のモデルパラメータを 得る。得られたモデルパラメータは、エンコーダに初めに入力されたデータの流 れを再構成するために使用される。エンコーダにおけるパラメータ評価 基準モデルの拡張、拡大及び深化 本発明のエンコーダでは、イメージのシーケンスあるいはフレームの入力デー タの流れを表すために、拡張された１又は２以上の基準イメージを、他のモデル パラメータに対する基礎として生成する。かくして、全てのイメージは、拡張さ れた基準イメージに対する変化として表される。基準イメージは、イメージのシ ーケンスに見られる多数の空間要素が表わされるように選択される。この基準イ メージは、イメージ・シーケンスのモデル化に使用される追加要素を包含するた めに、イメージまたはフレームに対して基準イメージの大きさが空間的に拡張で きるという意味で「拡張」される。概念的に、好適な実施例の基準フレームは、 絵の要素または構成要素のコラージュまたは図書館に似ている。 かくして、長いイメージ・シーケンスは、アドレス、輝度、歪曲、透光性その 他の変数で系統的なイメージ変化をモデル化するために若干のパラメータを足し た拡張基準イメージから成る簡単なモデルにより、表現することができる。各フ レームに対する個々の時間パラメータと組み合わされたとき、これらの空間パラ メータは、デコーダ内の基準イメージ輝度をどのようにしてそのフレームの輝度 の再構成に変換すべきかを定義する。再構成には、一般的に２つの段階がある。 第一に、基準フレーム輝度を、輝度、透光性などに関して、基準座標系とその表 現から出力フレーム座標系とその表現へ、どのようにして空間的に変化させるべ きかを決定しなければならない。第二に、基準フレーム輝度は、イメージのゆが みを使用して、出力フレーム輝度へ変えなければならない。システムの動作 図１は、本発明の高レベル演算のブロック図で、エンコード演算とデコード演 算の両方の動作を示している。エンコーダでは、初めに、映像の入力データ１０ ２がステップ１０４でシステムに入力され、変化がステップ１０６で検出され、 １０８でモデル化されて、適当なモデルパラメータ１１０になる。 モデルパラメータ１１０は、最初の入力データを表すのに必要な情報量を更に 減らすために、ステップ１１１で圧縮される。この圧縮は、モデルパラメータ１ １０に存在する系統的なデータ冗長部分を利用する。また、これらの時間パラメ ータは、他の種類の冗長部分を示す。例えば、基準フレームにおけるローディン グ又は系統的なデータ構造に適用されるスコア又は尺度構成（スケーリング）要 素は、時間的な自己相関を有し、それ故に、例えば、時間次元に沿って予測的に 符号化することにより、圧縮することができる。更に、双線形モデル化を行い、 その後更にモデルパラメータと残差の圧縮及び伝送を行うことで利用できるスコ アの間には、相関がある。同様に、例えば色の相互相関あるいはパラメータの冗 長部分の間にあるような冗長部分も、モデル化できる。 これらのモデルパラメータ１１０は、本発明によるデコーダに使用される。こ こでは、モデルパラメータは、初めにステップ１２０で圧縮解除され、次にステ ップ１２２で元の入力イメージに再構成され、イメージ出力あるいは映像出力１ ２４を生成する。 ステップ１２０での圧縮解除手順は、本質的に圧縮ステップ１１１で行われた ものと逆の手順である。本発明によるエンコーダとデコーダは、テレビ電話のよ うな実時間映像または疑似実時間映像の伝送システムの一部となることができる 点に注意されたい。あるいは、エンコーダとデコーダは、記憶型のシステムの一 部であってもよく、その場合、エンコーダは、記憶のために映像イメージその他 のデータを圧縮し、その後回復と圧縮解除を行う。例えば、映像のシーケンスは 、フロッピーディスク、テープまたは別の携帯可能な媒体に格納できる。更に、 このシステムは、ゲーム、対話式の映像や仮想現実アプリケーションに使用する ことができ、その場合、デコーダ内の時間的なスコアが対話式に改変される。ま た、このシステムは、医用イメージのようなデータベース操作に使用することも 可能であり、その場合、パラメータは、圧縮と効果的な検索ないし研究のアプリ ケーションの両方を与える。異なる領域とサブ・オペランドの因子分析によるソフトなモデル化 本発明は、因子分析を利用する。それは、基準フレームに含まれる種々の因子 を決定するために、主コンポーネント分析または特異値分解によって決定するこ とができる。本発明への入力である映像シーケンスは、フレームの系列として表 わすことができ、各フレームは、特定の時点における映像シーケンスを表す。更 に、各フレームは多数の画素で構成され、各画素は、フレーム内の特定位置にお ける映像情報を表すデータを含むものである。 本発明によれば、入力フレームは、種々の領域及びサブ・オペランドにおける １組のスコアまたは重みに分解され、これらのスコアまたは重みは、基準フレー ム内に含まれる１又は複数の因子に適用される。図２に示すように、それぞれＭ 個の変数、例えば画素で構成されたＮ個の入力フレームは、Ｎ×Ｍ行列２０２に 整理できる。ここで、画素は、従来の２次元行列表現に代えて、各フレームにつ き１行として配置される。そして、行列２０２は、次のように分解されて表現さ れる。すなわち、各フレームについて時間スコア因子ｆ＝１，２，．．．Ｆによ って形成されるＮ×Ｆ行列２０４に、Ｆ個の因子につきそれぞれＭ個の各画素の 値を持つ空間ローディングから成る空間的基準モデルを形成するＦ×Ｍローディ ング行列２０６を掛け算する。因子の数ＦがＮとＭの小さい方よりも小さいなら ば、残差行列（２０８）を用いて、データのモデル化されない部分を要約するこ とができる。これは、H．Martens及び T．Naes「多変量キャリブレーション（Mu ltivariate Calibratlon）」第３章（John Wiley & Sons,１９８９年）に、詳細 に記述されている。このタイプの、仮定が弱い自己モデル化、すなわち「ソフト なモデル化」は、三次元固体の運動及びＭＳＣモデル化とこれの拡張による輝度 の乗法／加法複合型の輝度モデル化（H．Martens 及び T．Naes「多変量キャリ ブレーション（Multivarlate Calibration）」第 345〜350 頁（John Wiley & S ons,１９８９年））のような、他の領域で仮定が強い「ハードなモデル化」と任 意に組み合わせることができる。 図３ｂは、映像シーケンスの数種のフレームからいくつかのオブジェクトをど のようにして因子として抽出し、どのように組み合わせて基準フレームを形成す るかを示す。図３に示すように、フレーム１は、タクシー及び建築物であるオブ ジェクト１１及び１２を含んでいる。フレーム４は建築物１２だけを含むのに対 し、フレーム７は建築物１２及び自動車１３を含んでいる。本発明に従ってこれ らのフレームを分析すると、オブジェクト１１，１２及び１３を含む基準フレー ム２０が得られる。ここで、ホロン（holon）は家や自動車のような固体のオブ ジェクトである必要はないことに注意されたい。むしろ、同じ原理を用いて、話 す頭部のような、多くの可塑性あるいは変形可能なオブジェクトをも、空間的に 表現することができる。但し、他の領域における変化因子が必要になる。 図３ａは、基準イメージにおける個々の画素に対するデータ形式を表わす図で ある。モデル表現には、従来の画素以外の座標系、例えばピラミッド表現、極座 標、或いは非正則な疎座標系をも使用することができる。 図３ａに示すように、各画素は、色空間で与えられる色彩情報、例えばＲＧＢ の形で表される輝度情報と、垂直（Ｖ）、水平（Ｈ）及び深さ（Ｚ）の情報の形 で表されるアドレス情報の他に、確率、セグメントその他の情報を含んでおり、 確率値の数は、エンコーダでのパラメータ評価の期間とパラメータ評価の後とで 異なる。これらの情報コンポーネントは各々、種々の段階で、１又は複数の情報 サブ・コンポーネントで構成され、サブ・コンポーネントは、更に別の１又は複 数の情報サブ・コンポーネントで構成されることもある。例えば、図３ａにおい て示されるように、赤（Ｒ）色輝度情報は、幾つかの赤色情報構成要素Ｒ（０） 、Ｒ（１）、Ｒ（２）..... を含んでいる。同様に、Ｒ（２）は、パラメータ値 、不確定性その他の統計的情報を示す１又は複数の情報サブ・コンポーネントを 含んでいる。 基準イメージを構成するために使用されるオブジェクトの選択は、アプリケー ションの種類に依存する。例えば、以前に記録された映像イメージのフレームの オフラインエンコードの場合、フレームの長いシーケンスに対し、基準イメージ を表現することが可能な位にオブジェクトが選択されることになる。これに対し 、テレビ電話またはテレビ会議のような、オンラインあるいはリアルタイムのエ ンコード・アプリケーションの場合、オブジェクトは、基準イメージがフレーム ・シーケンスの早い方のイメージに密接に対応するように選択される。その後、 新しいフレーム・シーケンスが作られ、古いものが除去される時、基準フレーム が新しいオブジェクトをもって改良あるいは改変される。 以下で、時間情報（「スコア」）は、文字ｕの後に、スコアのタイプを示す２ 番目の文字を付けることによって表される。例えば、アドレス・スコアはｕＡと 表記する。時折、時間的に特定の時点を示すために添字を付けることもあり、例 えばｕＡ_nでは、フレームｎの時点を示す。 空間情報は、階層的なフォーマットで表される。文字Ｘは、一般に空間情報を 表すために使用され、次のドメイン：Ｉ（輝度），Ａ（アドレス），Ｐ（確率的 特性）のうちの１つ又は複数を含む。これらのドメインは、演算子の間でのデー タ・フローを表し、オペランドと称される。これらのドメイン・オペランドは、 それぞれ１つ又は複数の「サブ・オペランド」を含んでいてもよい。例えば、輝 度Ｉは、特定の色表現を示すためにＲ，Ｇ，Ｂのサブ・オペランド輝度を含む。 同様に、アドレスＡはＶ（垂直）、Ｈ（水平）及びＺ（深度）のサブ・オペラン ドで、特定の座標系を示すために使用される。さらに、確率的特性Ｐは、サブ・ オペランドＳ（セグメント）とＴ（透光性）を含むことができる。異なる画素に 対して異なるフォーマットで空間情報を表しても良い。加えて、データ入力、エ ンコード、記憶、伝送、デコード、出力の各段階において、種々のドメイン及び サブ・オペランドを再公式化し、あるいは再定義することができる。 このようにして、異なるドメインとサブ・オペランドから多数の異なる値によ り、各空間ポイントまたは画素を表すことができる。各サブ・オペランドに対し て、１より多いパラメータまたは「変化因子」があり得る。通常のイメージ情報 （デフォルト輝度及びデフォルトアドレス）を表す０番目の因子をもって、因子 は０からカウントされる。かくして、Ｘ（０）内では、Ｉ（０）は通常の絵輝度 情報を表し、Ａ（０）は暗黙の座標アドレス情報を表し、Ｐ（０）は透光性のよ うな確率的情報を表す。Ｘ（ｆ），ｆ＞０は、異なるドメインにおいて画素が共 に変化する系統的なパターン、すなわち、他の種々の変化モデル・パラメータ又 は因子ローディングを表す。 ある空間位置に従ってオブジェクトについての空間情報が定義される。前者の 場合は文字により、後者の場合は文字と添字の組合せで与えられる。前者の場合 、文字によって基準イメージ位置における空間情報を表す。後者の場合、添字に よって特定のイメージを示し、文字によってそのイメージにおける空間の位置情 報を表す。従って、Ｘ_Refは与えられたシーケンスに対する基準位置における空 間モデルを表すのに対し、Ｘ_nは入力フレームｎに対する空間データを表す。 パラメータ化されない別のイメージである変化フィールドは、異なるドメイン に従って１つのイメージがもう１つのイメージへどのように変化するかを示すた めに使用される。変化フィールドは、一般的に２文字添字を付けて使用される２ 文字記号を用いて表記される。２文字記号の第一の文字は、差又はデルタを示す Ｄ又はｄであるのに対し、第二の文字はドメイン又はサブ・オペランドを示す。 添字をは、開始位置と終了位置を示すために用いられる。例えば、ＤＡ_Ref,_mは 、基準位置で与えられた画素値をフレーム＃ｍの画素値までどのように動かすか を定義し、ｄａ_mnは、フレーム＃ｍからフレーム＃ｎまでどのように画素値を動 かすかを定義する。 より広い範囲での系統的表現を可能にするための基準モデルの拡大 基準イメージは、個々の入力イメージにおいて使用できるよりも多いタイプの 変化情報を含むように「拡大」できる。例えば、個々の画素に関する赤、緑及び 青の色コンポーネントのそれぞれに対して、ＲＧＢ輝度値によって一般的に表さ れる。しかし、拡大された基準イメージの場合、画素のグループを一緒に変化さ せる際、いくつかの系統的な方法がある。個々の色または各色の組み合わせと、 個々のホロン又はホロンのグループに対し、これらの変化因子ローディングを定 義することができる。 さらに、与えられた映像シーケンスに対する基準イメージの「拡大」は、例え ば、アドレス（座標）や、透光性のような種々の確率的特性など、色輝度以外の データ・ドメインに対しても行うことができる。基準イメージの拡大は、特定の 場面に対して使用されたモデルのパラメータ化を参照するために用いられる。デ コーダにおいて、異なる方法で異なるモデル・パラメータを組み合わせることよ り、モデルの異なる個々の表示を作成することができる。これらの出力表現は、 個々の入力データ（個々の映像フレーム）の統計的な近似か、あるいは、仮想現 実アプリケーションにおける全く新しい合成出力を表現することができる。 種々のドメインにおける基準フレームの拡大パラメータ化は、「ソフト」な因 子分析モデル化、伝統的な統計的パラメータ、特に残差モデル化と、「ハード」 な、あるいはより因果的に向けられたモデル化との組み合わせを用いることで得 られる。 拡張あるいは拡大された基準イメージモデルが一度確立されると、動的に修正 したり更新したりして、「深化した」基準イメージのモデルを生成することがで きる。この「深化した」基準モデルは、重要で関連性のあるイメージ情報を表わ す高確率と、重要でない無関係の変化情報を表わす低確率とを有する、より「ハ ード」なモデル・パラメータを含む。 種々のドメインにおける拡大の目的は、コンパクトでフレキシブルな表現で、 シーケンスにおける種々のフレームからの変化イメージ情報を組み合わせること である。自動エンコードの場合、この目的は、与えられたフレームに対する新し い変化情報を以前のフレームから作られた元の変化情報と組み合わせ、系統的で 統計的に安定した共通構造を抽出することによって達成できる。これは、好まし くは、いくつかのフレームの残差コンポーネントを分析し、モデル・パラメータ ・ローディングを抽出することによって達成される。この演算は、残差あるいは 種々の残差クロス積について直接実行できる。H．Martens 及び T．Naes「多変 量キャリブレーション」第 314〜321 頁（John Wiley & Sons，1989 年）に記載 されているように、異なる重み関数を使用して、正確な変化情報の方が不正確な 変化情報より強調されるということを確証できる。異なる形のデータについて、 新しい双線形因子と他のパラメータの抽出を行うこともでき、全て本質的に同じ 結果になる。このデータ形式は、生のイメージ・データ、先に抽出されたモデル ・パラメータを除去した後の残差イメージ情報、あるいは、他の方法か又はエン コード過程における異なる段階で既に抽出されたモデル・パラメータであってよ い。 モデル化可能な構造のいくつかのタイプは、拡大処理の間に抽出することがで きる。１つの一般的なタイプは、時空間的共変動（spatio-temporal covariatio ns）に基づく。すなわち、１又は複数の情報ドメインは、いくつかのフレーム上 でいくつかの画素にわたって系統的に変化する。共変動の典型的な形は、多変量 線形共分散であり、双線形因子モデル化によって近似することができる。このタ イプの因子抽出は、異なるドメイン、例えばアドレス、輝度、確率的なドメイン の各々に適用可能である。また、共変動の非線形あるいは非メトリックな要約で 、拡大動作のための基礎を形成できる。 双線形因子は、例えば、多数のフレームからの残差コンポーネントに適用され る特異値分解を使用して抽出することができる。特異値分解は、因子を抽出する ために使用される加重平方合計を最大にするが、ノイズの均一化又は除去、ある いは後の圧縮の最適化は与えない。非線形反復最小自乗法（ＮＩＰＡＬＳ）のよ うな、より進歩した評価技術を用いることができる。ＮＩＰＡＬＳ法は、必要に 応じて追加基準の使用を可能にするオープンアーキテクチャである。 ＮＩＰＡＬＳ法は、いくつかのフレームから追加因子を抽出して残差行列Ｅａ （ａ個の因子を持つシステム中の残差行列Ｅ）のサイズを減らすために、残差値 行列Ｅ_a-1（ａ−１個の因子を持つシステムの行列Ｅ）に適用される。残差行列 Ｅ_aは、ａ＋１個の因子を見出して残差行列Ｅ_a+1を作るのに使用できる。 このタイプの因子分析は、種々のドメインにおける異なるサブ・オペランドに 適用できるが、イメージ輝度には適用できない。典型的には、例えば、絵フレー ムに対するアドレス情報は、各画素位置に対して水平と垂直のアドレスを特定す るデカルト座標で与えられる。しかし、拡大された基準フレームにおいて、アド レス情報は、各単一入力画素の座標に関する多数の変数を含むことができる。 拡大された基準イメージにおける付加的な変化因子は、多くの付加的な視覚的 性質やパターンを付加的な変化因子や「ローディング」の組合せによって表わす ことができるという意昧で、イメージ・モデルの適用可能性の範囲を拡大するも のである。本発明の好適実施例では、異なるローディングが線形結合される、す なわち、各ローディングは「スコア」によって加重（重み付け）され、加重され たローディングが合計されて全体的なローディングを生成する。加重処理におい て使用されるスコア値は、正負どちらの値でもよく、ローディングや変化因子に 適用される尺度構成（スケール）因子を表す。以下で、サブ・オペランドの赤輝 度をｒ_n，ｎ＝１，２,...，Ｎ、垂直アドレスをｖ_n，ｎ＝１、２,...，Ｎで表わ す。輝度変化をモデル化するときは、ローディングの輝度パターンを上向きにす るか下向きにするためにスコアを使用できる。同様に、アドレスの歪（運動）を モデル化するときは、ローディングをどのくらい大きく又は小さくゆがめるべき かを表わすためにスコアを使用できる。 上述の基準フレーム拡大の原理を使うと、例えば、個々の出力フレームにおけ る赤輝度Ｒ_nは、赤変化因子ローディングの線形結合または和としてモデル化さ れる（以下の式で「hat」は、「再構成」又は「評価」されたという従来の統計 的な意昧で使われることに注意）の線形結合または和としてモデル化される。 ｒ_nhat＝Ｒ_Ref(0)*ｕＲ(0)_n＋Ｒ_Ref(1)*ｕＲ(1)_n＋Ｒ_Ref(2)＊ｕＲ(2)_n ＋.... （１） この式は、因子ｆ＝０，１，２，..... 全体にわたって簡略化できる。すなわち 行列表記を用いて、 ｒ_nhat＝Ｒ_Ref＊ＵＲ_n ここで、Ｒ_Ref＝｛Ｒ_Ref(0)，Ｒ_Ref(1)，Ｒ_Ref(2)，....｝は、この（ホロンに 対する）拡大基準モデルにおける赤色度に対する空間変化因子ローディングを表 す。また、［Ｕ_in＝｛Ｕ₀,_in，Ｕ₁,_in，....｝］，ＵＲ_n＝｛ｕＲ(0)_n,ｕＲ(1)_n ,ｕＲ(2)_n，....｝は、時間的赤色スコアを表し、（ｉで指定された）基準モデ ルに適用し、フレームｎの赤色度を評価するために使用する。このタイプの輝度 変化因子は、いかに顔面が赤いかをモデル化するのに使うこともできるので、「 赤面因子」と呼ぶ。しかし、これらの因子は、映像に関するもの以外の、多くの タイプの信号や現象をモデル化するためにも使用できることに注意されたい。 これらのいわゆる赤面因子の使用は、図４ａから図４ｎに記載されている。図 ４ａから図４ｃは、赤色チャンネルの輝度イメージｒ_n，ｎ＝１，２，３を示し て おり、図４ａでは人が中程度に赤面し、４ｂでは強く赤面し、４ｃでは軽く赤面 している。最初のフレームｒ₁は、ここでは基準フレームとして定義される。従 って、Ｒ(0)_Ref＝ｉ₁である。 図４ｄから図４ｆは、対応する輝度変化フィールドＤＲ_Ref,n，ｎ＝１，２， ３を示す。この移動していない例において、フレームに関する変化フィールドは 、フレームと基準イメージとの差に等しい、すなわちｄｒ_n＝ｒ_n−Ｒ_Ref(0)。さ らに、変化フィールドは、図４ａから図４ｃの赤面する頬を通る一本の直線に対 する曲線として示される。図４ｄから図４ｆに示すように、図４ｃの軽い赤面（ 薄く着色された顔面）が最低の輝度変化フィールド値（図４ｆ）を持ち、図４ａ の中程度に着色された顔面は、この場合基準イメージであるので、輝度変化を持 たず（図４ｄ）、図４ｂの濃く着色された顔面は、最高の輝度変化フィールドを 持つ（図４ｅ）。 本発明の統計的な処理により、一般化した赤面特徴または変化因子ローディン グの組が抽出される。これは、輝度が変化する赤面状態をモデル化するために、 異なるフレームで使用される。図４ａから４ｆは、基準イメージに関する一つの 赤面現象を示している。変化フィールドＤＲ_Ref,n，ｎ＝１，２，３の主コンポ ーネント分析により、この単一赤面因子の使用を説明できる。図４ｈにおいて、 赤面因子のローディングＲ(1)_Refは、以下で与えられるスコア（0，1.0，-0.5） を持つ。この場合、デコード中の赤色輝度のモデル化は、これらのスコアを主着 色因子ローディングＲ(1)_Refに適用して各変化フィールドＤＲ_Ref,n（図４ｉか ら図４ｋ）を生成し、更に、これらのスコアを基準イメージの赤色度（図４ｇ） に適用して再構成赤色度イメージ（図４ｉから図４ｎ）を生成することにより、 達成される。すなわち、 ｒnhat＝Ｒ_Ref(0)＋ＤＲ_Ref,n ここで、赤色度変化フィールドは、 ＤＲ_Ref,n＝Ｒ_Ref(1)＊ｕＲ(1)_n である。 図４ｄから図４ｆに示すように、この場合、基準イメージ（４ａ）に対するス コア値ｕＲ(1)_nは０である。そして、ｒ₁hat＝Ｒ_Ref(0)は、濃く赤面した２番目 のフレーム（４ｂ）では正、例えば 1.0であり、薄く赤面した３番目のフレーム （４ｃ）では負、例えば−0.5 である。ここで、図４ｃの３番目のフレームに対 する負のスコアが、図４ｈの正の赤面ローディングを、基準フレームよりも薄い ３番目のイメージに関する負の変化フィールドＤＲ_Ref,3に変換することに注意 する必要がある。 このシーケンスにおけるイメージの赤色変化に対して１又は複数の現象が寄与 した場合には、モデルは１より多い変化因子を必要とする。例えば、顔の赤面及 び青ざめとは別に、室内の全体照明が変化した場合には、この状況は２つの因子 を用いてモデル化される。ここで、２番目の因子は、基準フレーム自身にスコア ｕＲ(0)_nを適用することを含む。即ち、 ｒ_nhat＝Ｒ_Ref＋ＤＲ_Ref,n ここで、顔面変化フィールドは、 ＤＲ_Ref,n＝Ｒ_Ref(0)＊ｕＲ(0)_n＋Ｒ_Ref(1)＊ｕＲ(1)_n で表される。これは、異なる色及び異なる因子に対しても一般化される。即ち、 ＤＩ_Ref,n＝Ｉ_Ref＊ｕＩ_n （２） 従って、図４ａから図４ｎは、赤面因子ローディング４ｈ（Ｉ_refに含まれる） の効果をどのように増減（スコアｕＩ_nによって適切に尺度構成）して、図４ｄ から図４ｆに示すような種々の赤面変化フィールドを生成するかを示している。 このようにして、単一のローディング（図４ｈ）とより少ない一連のデータ強調 スコアで、かなりの量の輝度情報を圧縮して表すことができる。 透光性Ｔの変化と確率的特性Ｐの変化は、同様の方法でモデル化することがで きる。本発明の好適実施例では、確率的モデル化の場合、双線形モデル化が使用 される。空間ローディングＰ(f)，ｆ＝０，１，２，....に対応するスコアｕＰ( f)_n，ｆ＝１，２,...は、共に確率的変化因子を構成する。 輝度情報を表すために使用される赤面因子と同様、変化因子ローディングの線 形結合によって、アドレス情報をモデル化することができる。例えば、変化因子 ローディングの線形結合又は和に関して、フレームにおける垂直アドレス情報Ｖ_n を、次のようにモデル化することができる。 ＤＶ_n＝Ｖ_Ref(0)＊ｕＶ(0)_n＋Ｖ_Ref(1)＊ｕＶ(1)_n＋Ｖ_Ref(2)＊ｕＶ(2)_n ＋..... （１） さらに、行列表記法における垂直の運動因子ｆ＝０，１，２，....にわたつて要 約することができる。 ＤＶ_n＝Ｖ_Ref＊ＵＶ_n ここで、Ｖ_Ref＝｛Ｖ_Ref(0)，Ｖ_Ref(1)，Ｖ_Ref(2)，....｝は垂直空間的アドレ ス変化因子で、拡大基準モデル（このホロンに対する）における赤色に対応する 。ＵＶ_n＝｛ｕＶ(0)_n，ｕＶ(1)_n，ｕＶ(2)_n，....｝は時間・空間的動作スコア を表し、基準モデルに適用される。ここでは、フレーム内におけるあらゆる画素 に対して、フレームｎの空間的座標を評価して提供する。このタイプのアドレス 変化因子は、表面がスマイルするモデルに使われることもあるので、「スマイル 」因子という。 赤面因子と同様に、基準フレームの内容を動かして入力フレームを近似するた めに必要な垂直アドレス変化フィールドは、ＤＶ_Ref,nと記述する。これは、適 当なスコア（Ｕ_n）によって尺度構成されたアドレス変化因子ローディング（Ｖ_{R ef} ）からの変化貢献度の和としてモデル化される。アドレス変化因子は、オブジ ェクトの運動と歪をモデル化するのに用いられる。オブジェクトの歪のモデル化 に使用されるアドレス変化因子は、例えば、顔がどのようにスマイルするかとい うような「ソフト」な動作をモデル化するのに用いられるので、「スマイル因子 」と称する。しかし、スマイル因子は、映像以外の信号や現象をも同様に良くモ デル化できるものであり、それらは、共通の基本的特性を保持しながら歪を持つ サンプルの複合物としてモデル化される。 本発明に従ったスマイル因子の使用は、図５ａから５ｎにおいて説明する。図 ５ａから５ｃは、スマイルの度合が変化する際の顔の動きを示す。すなわち、図 ５ａは中程度のスマイル、図５ｂは強いスマイル、そして図５ｃは消極的なスマ イル、即ち、しかめた顔を示す。図５ａの中程度にスマイルする顔は、説明のた め、図５ｇの基準フレームにも使用する。図５ａから５ｃに示されるような、基 準イメージに対する口の上下方向の動きに対応するアドレス変化フィールドＤＶ_Ref,n は、図５ｄから５ｆに示されている。図５ｄから５ｆを参照して、基準位 置（図５ｇの基準イメージに対応）の概念は、アドレス変化フィールドＤＶ_{Ref, n} における各画素の数値は、フレームｎ＝１，２，３，．．．（図５ａから５ｃ ）の座標ではなく、図５ｇの基準イメージにおける画素座標で与えられる。この ように、垂直の変化フィールド（動作）は、基準イメージを、図５ａから５ｃに 示される他のフレームに変換する必要があり、３つの矢印によって示す（図５ｇ ）。この３つの矢印は、基準イメージ内の点における口に対応する。矢印の根元 が基準イメージ（図５ｇ）の口の位置であるのに対して、矢印の先は図５ａから ５ｃの他のフレームの口の対応する点に設置される。さらに、完全な変化フィー ルドは、一本の直線に対する連続的な曲線として図５ｄから５ｆに示され、並ん で量的に与えられる。ここで、一本の直線は基準イメージ（図５ｇ）の口に対応 する。 図示の例において、図５ａの最初のフレームでは、個々のフレームと基準イメ ージ（図５ｇ）の両方が機能するので、フレーム１（図５ｄ）に対して、垂直の スマイル変化フィールドＤＶ_Ref,1は全て０となっている。図５ｂにおいて、口 の中央は下方へ、端部は上に動く。したがって、その基準位置におけるスマイル フィールドＤＶ_Ref,2は、口の中央で負で、両端で正である。図５ｃの渋面は、 逆のタイプ・パターンを例証する。このように、これらの変化フィールドは主な 運動の１タイプだけを含んでいる。ひとつのスマイル因子だけを使用して、この ようにモデル化されることもある。図５ｄから５ｆにおける変化フィールドにつ いて、主なコンポーネントを分析することによって抽出されることもある。この 実例において、共通の垂直のスマイル・ローディングが図５ｈで示される場合、 スマイル因子スコアＵＶ_nはフレーム１（図５ａ）では基準イメージ自体が０、 フレーム２（図５ｂ）では正、フレーム３（図５ｃ）では負となる。 図５ａから５ｃに示すような頭部が、スマイル動作に加え、縦に振るように動 いている場合を考える。このような動きがスマイル動作と独立ならば、全ての種 々の動作を精密にモデル化するためには、さらにより複雑な運動モデルが必要と なる。最も簡単な場合、多因子赤面モデル化とほぼ同じ方法で追加の１又は複数 のスマイル因子を使用して、頭部運動をモデル化することができる。各スマイル 因子には、種々の異なる動作をもつ空間ローディングがある。これらの種々の異 なる動作は、わずかな因子スコアの種々の結合を使って簡単にモデル化できる。 ２次元あるいは３次元のイメージオブジェクトの空間回転は、より同じ次元の因 子ローディングが必要になる。あるいは種々の座標の次元にある因子ローディン グを共有することが必要になる。例えば、図５ａから図５ｎの人が横にそれらの 頭部を４５度傾けたならば、完全な垂直の動作だった図５ａから図５ｎのモデル 化されたスマイル動作も、もはや垂直ではない。さらに、むしろ水平のコンポー ネントが垂直のコンポーネントと同じくらいの重要性を持つ。対して、口のスマ イルの変化は、垂直と水平のコンポーネントの両方を持つが、今なお単一因子運 動である。等しいスコアを持つこの場合、垂直と水平の両方のローディングを使 用することができる。一方、垂直と水平の運動は同じローディング（図５ｈ）を 持っていても良いが、傾く頭部の角度によっては異なるスコアを持つ。 より良い制御と簡単なデコード及び圧縮のために、いくらかの運動は別の方法 でモデル化することができる。それは、「うなずき」因子と称するハードな運動 モデルを使う方法である。うなずき因子は、明示のローディングでなく、カメラ のズーミング及び移動を含む、固体物のアフィン変換を参照する。スマイル及び うなずき動作は、種々の方法で組み合わされる。本発明の実施例では、動作の段 階は、いくつかの結合基準に従って作成される。例えば、小さい動作、及び順応 的運動、即ちスマイルする口のような、固定的でない物体は、スマイル因子を使 用してモデル化できる（ソフトなモデル化）一方、大きな動作、即ち頭部のよう な固定的な物体の運動は、うなずき因子を使用してモデル化できる（ハードなモ デル化）。頭部が話す場合には、最初の垂直基準アドレスＶ_Refを基準位置Ｖ_n,_{s miled@Ref} における「スマイル」座標に修正するために、ソフト・モデルが初め に適用される。同じ手順が、水平方向、場合によっては深度の座標に対しても実 行され、Ａ_n,_smiled@Refを形成する。これらのスマイル座標Ａ_n,smiled@Refは、 アフィン変換、すなわち回転、スケーリング、分割などによって修正され、基準 位置Ａ_n@Refで与えられるスマイル及びうなずきの座標値を生成する。最終的な アドレス変化フィールドＤＡ_Ref,nは、ＤＡ_Ref,n＝Ａ_n@Ref−Ａ_Refとして計算さ れる。 エンコード 一般に、エンコード処理は、空間モデル・パラメータＸ_refを１以上の基準イ メ ージまたはモデルに対して評価し、各フレームに対する時間スコアＵ_nと残差Ｅ_n を評価することを含む。エンコード処理は、完全手動、完全自動、あるいは両者 の組み合わせでもよい。エンコード処理は、輝度変化、運動変化、ゆがみ及び確 率統計的な変化に対して実行される。 手動エンコード 本発明による１つの実施例では、映像のシーケンスは手動でモデル化すること ができる。手動モデル化の場合、オペレータは、モデル化を制御し、そして入力 映像データのシーケンスを解釈する。「コーラル・ドロー」や「アルダス・フォ トショップ」のような多数の作図ツール、あるいは他の特別のソフトウエアのど れを使っても、手動モデル化を行なうことができる。 人間はスマイル、赤面、分割（セグメント）を直感的に区別することが得意で あるので、エンコード処理は、これらの複雑な関係をコンピュータ化処理で行う よりも、次の使用のために情報をコンピュータへ搬入することを主題とする。 異なるクリップ間でシーケンスが切り替わる場合のように、別々のモデルを使 用する理由がある場合には、シーケンスの検査によってクリップの境界又はカッ トを決定することができる。関連したクリップは、まとめて１つの場面に分類さ れる。異なる場面は、別々にモデル化される。 与えられた場面に関して、位置または輝度に相関のある変化を示す領域がある ならば、これらの領域は人間のオペレータによって、ホロンとして分離される。 これらの領域は、シーケンスのオブジェクトに対応するものである。加えて、影 あるいは写像のような他の現象もホロンとして選択することができる。複雑なオ ブジェクトの場合には、オブジェクトをいくつかのホロンに分割することが有利 である。例えば、歩いている人の全体を１つのホロンとしてモデル化するよりも 、各部分、例えば手足を別々にモデル化する方が容易である。 各ホロンに対して、検査によって、ホロンを空間的に最良に表すフレームを発 見することができる。これは、基準フレームと称す。良い表現とは、他のホロン から影によって閉がれたり影響されたりせず、運動の不鮮明さによって有意に影 響されず、又、出来る限り多くのシーケンスを表現するということである。シー ケンスのいかなる特定のフレームでも良い表現を発見することができない時は、 いくつかの異なる最初のフレームから良い表現部分を集めるか、あるいはフレー ムを手直しすることによって、ホロン表現を合成することができる。この合成さ れたホロンの場合、基準フレームは合成されたホロンだけで作成される。合成さ れたホロンは、影のようにしばしば円滑な暗いイメージが十分ある部分的に透明 なホロンに対しても、十分適切である。この選択された、あるいは合成されたホ ロンは、基準イメージの一部として含まれることになる。各フレームからホロン の輝度イメージが抽出され、１つの共通基準イメージとして組み立てられる。 各ホロンには、任意の、しかし唯一のホロン番号を割り当てなければならない 。次に、基準イメージと同じサイズに分割したイメージが形成され、これは、全 てのホロンを含む。しかし、ホロン内の各画素の輝度は、特定のホロン番号に置 き換えられる。このイメージは、分割（セグメンテーション）またはＳフィール ドと言われる。 閉塞、透過、その他の深度手がかりを判断することによって、ホロン深度情報 が得られる。これにより深度に応じてホロンを配置するために、深度の整列をい くつか選択できる場合、例えば、シーケンス内の２つのホロンが互いに決して閉 塞せず、同じ深度を持っているように見える場合、任意の配列が選択される。シ ーケンス間で配列が変化するために、単一の深度配列が不可能な場合、例えば、 ある時はホロンＡがホロンＢを閉塞し、別の時はホロンＢがホロンＡを閉塞する ような場合、可能な深度配列の１つが任意に選択される。この深度配列は、０が 無限遠に相当し、最大スケールが本質的に０深度に相当する、すなわちカメラに 最も近い深度スケールに変換される。作図ツールで利用できる輝度スケールを使 用して、深度スケールを適宜特定し、あるいは、表現することができる。それは 、無限遠のオブジェクトには０の輝度を割り当て、至近のオブジェクトには最大 スケール輝度を割り当てるようにする。この深度配列に基づいて、基準イメージ と同じサイズを持つイメージが形成される。しかし、各画素値は、深度値として 機能する輝度値を有する。このイメージは、Ｚフィールドと言われる。 さらに、手動モデル化あるいはエンコードは、ホロン不透光性情報を決定する ことを含む。不透光性は、イメージを初めに形成することによって決定される。 完全に不透明な画素に対しては最大の輝度値、完全に透明な画素に対しては０、 他の画素に対しては中間の値を持つ。一般的に、大部分のオブジェクトは、内側 の部分では最大値（最大の不透明性）を持ち、背景と良く調和させるために縁で 中間の値を持つ狭いゾーンを有する。他方、影や映像は、最大値の約半分の値を 有する。不透光性を示すこのイメージは、Probフィールドと言われる。 ホロン運動情報は、各ホロンに対する基準イメージと基準フレームの間におい で、初めに垂直・水平の変位を決定することによって得られる。これは、ホロン において選択され、かつ容易に認識できる画素について実行される。これらの変 位は、いかなる運動も作図ツールの最大輝度スケールの半分以上に相当しないよ うに尺度構成される。垂直方向は上方、水平方向は左方へ向かうに従って、輝度 値が低下していく。同様に、逆の方向に向かうに従って、輝度値は上昇する。そ のため両方の方向への移動最大値が製図ツールの最大輝度値を超えることはない 。２つの新しいイメージのうち、垂直次元に対するものと水平次元に対するもの は、基準イメージと同じサイズとなり、「第一のスマイル・ロード」としてまと めて形成される。調節された変位は第一のスマイル・ロードに対応するアドレス に位置され、手動または自動の挿入を使用して、残る画素に対する変位が形成さ れる。 デコーダの使用においては、第一のスマイル・ロードをなるべく確かめる必要 がある。第一のスマイル・ロードは、上述のフィールドを全て準備することによ って確かめられる。さらに、デコーダはスコア値のテーブル（このテーブルは「 時系列」と言われる）と一緒に確かめられる。次に、最初のスマイル因子に対す るスコアは、全てのホロンに対して１に設定され、その後テスト・フレームを形 成し、一部はデコードされる。結果として、デコードされたフレームは、それぞ れの基準フレーム（まだアドレス指定されていない赤面効果を除いて）における ホロンを良好に再生する必要がある。これが真でないならば、各特定のエラーの 原因は正確でないスマイル・スコアや正確でないロード（調節しできる）、更に 新しい値を使用して繰り返された処理に帰すると容易に考えることができる。こ の処理によって、基準イメージ位置から基準フレーム位置までホロンをどのよう に動かすかを正確に提供する。 次に、フレーム間のホロンの運動が評価されなければならない。各ホロンに対 し、フレームは、中間フレームと称する基準フレームＩ_mのデコードされた近似 に関して、容易に検出可能な方法によって選択される。デコードされた基準フレ ームから選択された新しいフレームまでの移動が測定されない限りは、第一のス マイル・ロードを決定するのと同じ手法が実行される。そして生じる出力は、「 第二のスマイル・ロード」と言われる。これらの変位は基準イメージにおける適 切な位置に配置されて、残る値は挿入によって得られる。全てのホロンに対して 、第一と第二のスマイル・ロードに対するスマイル・スコアは１に設定される。 そして、選択されたフレームはデコードされる。この結果は、選択されたフレー ム（まだアドレス指定されていない赤面効果を除いて）の良い複製である必要が ある。 既に確立されたスマイル・ロードに基づく試行錯誤を利用したスマイル・スコ アを単に変えることだけによって、シーケンスに残るフレームに対する運動を得 ることができる。既に確立されたスマイル因子だけを使用しても十分に良い運動 の複製を見つけることができない時は、必ず、上記で概説された手段に応じて新 しい因子を導入しなければならない。デコードされた中間のフレームI_m及び最初 のシーケンスに対応するフレームの間の選択された特徴（画素）に対して、それ ぞれ変位は測定され、結果、基準イメージ位置にこの変位は記憶される。挿入に よって残る画素を得て、最終的な結果を確かめ、いかなる必要な訂正を行なった 。 上述の処理によりスマイル因子を計算し、十分に正確な運動再生が生成されれ ば赤面因子を導入することができる。シーケンスの各フレームを通して動くこと によって、この導入を自動的に行うことができ、確立されたスマイル因子を使用 して各フレームをデコードする。さらに、デコードされた最初のシーケンスにお けるフレームと、それに対応する最初のシーケンスにおけるフレームとの差を計 算する。この差は、その時基準位置へ戻され、記憶される。特異値分解は、基準 位置で表される差に対して実行され、これにより、適当な赤面ロードや赤面スコ アを生成することができる。 うなずき因子の追加 うなずき因子とスマイル因子は、いくつかの方法により組み合わせることがで き、そのうち２つにつき説明する。最初の方法においては、移動は２つの寄与が 加算されており、そのうち１つがスマイル因子からの寄与、もう１つがうなずき 因子からの寄与とみなすことができる。２番目の方法においては、画素座標は最 初スマイルし、そして、うなずくことができる。 最初の方法、すなわち、加算されたうなずき因子及びスマイル因子において、 基準イメージの１画素に対するデコード処理は以下のようになる。それぞれ異な るスマイル因子からの寄与を加え、基準イメージにおける最初の位置を使って、 うなずき因子による変位を計算する。これらの２つの寄与が加えられ、最終的な 画素移動を生成する。 ２番目の方法においては、すなわち、うなずきとスマイル因子を段階的に処理 する。デコード処理ではそれぞれ異なるスマイル因子からの寄与のみを最初に加 え、そして、既にスマイルされた画素座標にうなずき因子を適用する。 最初の方法は幾分簡単に実行される一方、２番目の方法はシーケンスの真の物 理的解釈に強く一致するモデルを生成することができる。このシーケンスではう なずき因子は、全体のオブジェクトにおける大きい移動に相当し、スマイル因子 は、大きいオブジェクトの小さな可塑的変形に相当する。 スマイル因子の抽出の処理を拡張することによって、うなずき因子を使用して 固形オブジェクトの移動を表す（アフィン変換）ようにすることもできる。本質 的に、うなずき因子は、スマイル因子の特別な状態である。詳細には、新しいス マイル因子がホロンに対して計算されるたびに、スマイル因子は、うなずき因子 に近づくことになる。スマイル・ロードが垂直及び水平の次元に対して、垂直そ して水平の位置の関数としてみなされる様な特徴を所有しているならば、この概 算は十分に正確になるだろう。ここで、垂直そして水平の位置の関数とは、画素 の運動が３次元の空間を通って特定の面に合わせることのできる関数である。う なずき因子は、本質的に固形オブジェクトの移動に相当する。これが、スマイル 因子の代わりにホロンの可塑的な変形に相当するならば、概算は正確ではなくな るだろう。 スマイル・ロードは拡張され、基準イメージと同じサイズの３つの「うなずき ・ロード」の上に投影される。これにより、うなずき・ロードが確立される。第 一のうなずき・ロードは、各画素値のうち、それぞれの画素の垂直のアドレスへ 設定されるイメージである。第二のうなずき・ロードは、各画素値のうち、それ ぞれの画素の水平のアドレスへ設定されるイメージである。最後に、第三のうな ずき・ロードは、全部の画素値から成るものイメージである。 うなずき因子をスマイル因子に加える場合とは、即ち、上述の手順によって、 スマイル因子に加算的うなずきを加えて新しいスマイル因子を抽出するために利 用することである。しかしながら、段階的に行われるうなずき因子の場合に対し ては、すなわち最初にうなずき因子、次にスマイル因子を使用するため、一つず つステップを加算していかなければならない。うなずき因子を使用して、作成し た中間のフレームＩ_mに基づいて新しいスマイル・ロードを評価する場合は、常 に、変位のＩ_mの位置が基準イメージにマップバックされねばならないだけでな く、うなずき因子の逆関数を使用して、実際の変位がマップバックされねばなら ない。段階的に行われたうなずきとスマイルの場合には、デコーダにおいては、 各フレームはまず「スマイル」し、そして「うなず」くことになる。 深化うなずき ホロン１つにつきうなずき因子１つが対応する一般的な場合、デコーダへ送ら れたうなずき因子は、各フレームの各ホロンに対する１組のうなずきパラメータ から成る。しかし、ホロン間及びフレーム間のうなずきパラメータには強い相互 関係があってもよい。より大きいオブジェクトの個々の部分はかなり組み合わさ れた手段で移動し、ホロンは、そのような部分を表すという事実がある。ホロン 間に相互関係が有る理由は、このような事実のためであるが、ホロンそれ自身と みなされるほど十分に組み合わされていない。加えて、ホロンが物理的オブジェ クトに相当するならば、正確に線形の移動を表す物理的オブジェクトによって、 フレーム間にさらなる相互関係があってもよい。オブジェクトがひとつの方向で 動く場合、次にわずかなフレームが通るコースを、このオブジェクトが大体同じ 方向、速度でしばしば移動し続ける。これらの観点に基づいて、うなずき因子は 、深化することが出来る。 手動エンコードの場合、通常、オペレータはホロンを分類し、各グループのホ ロン間に共通の関係を持たせるようにすることができる。このグループ分けはス ーパーホロンといわれ、そのようなグループ内の個々のホロンはサブ・ホロンと 言われる。このタイプのグループ分けは繰り返すことができる。というのは、あ るスーパーホロンは、自身より高位のスーパーホロンのサブ・ホロンになること もあるからである。サブ・ホロンとスーパーホロンの両方は、ホロンとしての全 ての特徴を保持する。自動エンコードの場合、同様のグループ分けは、うなずき 変換におけるクラスタ分析によって確立することができる。 一個のスーパーホロンにおけるサブ・ホロンに対するうなずき因子は、２つの 構成要素に分離することができ、最初の構成要素はスーパーホロンの運動を表す ために使用され、２番目の構成要素は、そのスーパーホロンに関する個々のサブ ・ホロンの運動を表すために使用される。 フレーム間のうなずき因子の深化には、同じホロンのうなずき因子に対するフ レーム間における限定的関係を含む。ここでは、標準のホロン、スーパーホロン またはサブ・ホロンの全てが当てはまる。これは、うなずき因子を３つの部分に 分割することによってなされる。それは、ホロンに対する起動位置を定義する静 的な部分、ホロンによって定義される軌道部分、そして、与えられたフレームに おける特定のホロンに対する軌道に沿って位置が決まる動的な部分の３つである 。静的部分と軌道部分の両方は、基準イメージ、あるいはスーパーホロンにおけ るうなずき因子によって定義することができる。 深化うなずき因子は、アフィン変換のセットを表し、１組の行列として表すこ とができる。このことは、William M．Newman及びRobert F．Sproullによる「対 話式コンピュータ・グラフィックの原理（Principles of Interactive Computer Graphics）」第57頁（mCGraw Hill，１９８４年）を参照。静的な部分は、ひと つの固有行列に相当する。軌道及び動的な部分は、パラメータ化された行列に相 当し、パラメータが動的な部分、行列が軌道部分にあたる。Newman及びSproull、 第58頁を参照。これらの変換は、静的、軌道および動的部分間の関係に関して組 み合わせることができる。さらに、スーパーホロンとサブ・ホロン間の関係に関 する観点と同様に、この変換を、軌道に沿ういくつかの動きの結合に関する観点 として組み合わせることができる。Newman及びSproull、第58頁を参照。 上述の動作は、人間のオペレータによって以下のように容易に実行することが できる。完全アフィン変換行列をパラメータなしに明示する方法。変換、測定、 回転あるいは分割をそれぞれ明示する１つのパラメータに対して、十分な余地で 変換行列を蓄えるための方法。新たな変換行列を形成するために、どの変換行列 を組み合わせるべきかを明示する方法。そしてどの変換（いくつかの変換の組み 合わせの結果であってもよい）が各ホロンに適用されるべきかを明示する方法。 自動エンコード 自動あるいは半自動エンコードの場合、エンコード処理は反復的である。とい うのは、それぞれ反復することによってエンコードの効率を増大させるためであ る。自動エンコードの重要な目的は輝度変化とアドレス変化と間の正しいバラン スを達成することである。というのは、アドレス変化に対しては非効率的に輝度 変化がモデル化されることがあり、逆も又あり得るからである。このように、領 域をモデル化する場合、アドレス変化モデル化において輝度変化モデル化が非効 率的であり、又はその逆も考えられるので、いかにしてこの処理の非効率性を少 なくしてそれぞれのスコアと残差を評価するかということは、重要な課題である 。単に必要に応じて赤面モデル化が導入されるような方法でシーケンス・モデル を造ることによって、自動エンコードはなされる。また、モデル・パラメータに 多様なフレームへの適用可能性があることを確かめることによってもなされる。 完全シーケンス・モデルを含む適当な実施例、及び、簡素化されたシーケンス・ モデル化を含む別の実施例をここで述べる。本明細書において、エンコーダにお ける個々の構成ブロックは、最初は全体公正で表し、後で、これらの構成ブロッ クの演算と制御をより多くの詳細に説明する。 自動エンコーダの概観 映像のシーケンス・データの場合の本発明における自動あるいは半自動式エン コードは、図６−１３を参考にして詳細に述べられる。図６は、本発明に応じた エンコーダのブロック図である。図７は、図６のエンコーダのモデル評価部分の ブロック図である。図８-１０は、モデル評価部における、変更フィールド評価 部 分の適当な実施例の詳細と原理を示す。 図１１は、変更フィールド評価部の局所的変更フィールド評価部分の詳細を示 す。 図１２は、モデル評価部の解釈部の略図である。 図１３は、独立したデコーダの略図である。 高レベルエンコーダの動作／操作 入力データ（６１０）はデジタル記憶媒体に保存されることもあり、フレーム ｎ＝１、２,...、nのフレームに対する入力イメージを持つ映像のシーケンスＸ_{s eq} から成る。この入力は実際の輝度データｉ_seqを含み、色表現に対する適当な フォーマットに応じた個々の色チャンネル、例えば［Ｒ_seq、Ｇ_seq、Ｂ_seq］及 びある適当な空間解像度フォーマットを持つ。さらに、入力は暗示あるいは明示 の２次元座標アドレス、異なった画素、またはペル(pel)に対する位置データａ_{s eq} から成る。このように、各フレームに対する映像のシーケンスｘ_nは、ｉ_n、ａ_n 及びｐ_nの情報から成る。 さらに、最後に、ｘ_seqは、確率的特質ｐ_seqから成ることもあり、ＩＤＬＥエ ンコードを高めるために使用される。これらのデータは、各フレームにおける前 処理の結果、次のようになる：(a) モデル化能力（先行するあるいは次のフレー ムにおいて、異なる一部のフレームが容易に検出可能である確率の評価）、(b) ヘテロペル（同種のあるいは異成分からなる光学的構造を、ペルが表す確率） 本発明における自動エンコーダは、高レベルのマルチパス・コントローラ６２ ０及びモデル評価部６３０から成る。マルチパス・コントローラ６２０は、フレ ームに関する評価の最適化を繰り返す。与えられたシーケンスの一連のフレーム に対してこの評価が行われる。モデル評価部６３０は、各個々の映像のフレーム ｎのモデル化を最適にする。 適当な実施例において、完全なシーケンスモデルは異なった領域にパラメータ を持ち、シーケンスにおける異なるフレームから出る内包情報によって、徐々に 拡張され（「拡張され」「拡大され」）、改良され（「深化され」あるいは統計 的には「更新され」）る。完全シーケンス・モデルは、シーケンスを通じて連続 の反復パスにより、更に改良される。 対照的に、簡易モデル化を含む別の実施例において、競合する１組の余分なシ ーケンスモデルは、異なる領域において、また、多数の異なるフレームにわたっ て発達する。これは、入力フレームｘ_nにおいてまだモデル化されない部分をモ デル化するためである。ここで、入力フレームｘ_nにおいてモデル化された部分 は、確立シーケンスモデルＸ_Refを使用してモデル化したことに注意する必要が ある。これらの競争する余分なモデルには、それぞれ、唯一の領域におけるパラ メータがある。領域の各パラメータを評価するために使用されたフレーム（パス の長さ）の数は、フレームがどのくらい容易にモデル化されるかに依存する。各 領域のパスの終了部では、競合する余分領域のモデルによる新しい因子または分 割を選択することによって、完全なシーケンスモデルは「拡大」あるいは「拡張 」される。この余分領域モデルは、フレームに対する能力をモデル化することに ついて、最大の増加を示す。この実施例は、付録IIの簡易エンコーダで詳細に述 べられる。 モデル評価部６３０は、各個々のフレームｘ_n（６４０）に対するデータを入 力としてとる。各個々のフレームｘ_n（６４０）に対するデータは、上で定義さ れるように［ｉ_n、ａ_n及びｐ_n］とから成る。さらに、入力、予備手段、以前に 評価されたモデルＸ_Ref（６５０）をシーケンスに対する安定入力としてとる。 モデル評価部６３０は、入力イメージｘ_nhatにおける復元されたバージョン（６ ６０）、適合性の不足に対応する残差ｅ_n=ｘ_n-ｘ_nhat（６６５）、及び、モデル Ｘ_Refの改良されたバージョン（６５５）を出力する。 さらに、モデル評価部６３０は、フレームｎ付近のデータ構造に対する局所的 モデル６７０を入出力する。 更に、モデル評価部６３０は、予め設定されたモデル要素（運動パターンの空 間と時間上のモデルからなっている、例えば人間の顔や体、流水、葉と枝、これ らは外部のモデル基本立体データベース６８０から入力される）、及び、多面体 のオブジェクトモデルのような簡易モデル化要素をとることができる。これは、 Devid W．Murray，David A．Castelow及びBernard F．Buxonによる「イメージ・ シーケンスから認識運動多面体オブジェクトへ（FROM IMAGE SEQUENCES TO RECO GNIZED MOVING POLYHEDRAL OBJECTS）」Internatl Journal of Computer Versio n,３，第181〜208頁（１９８９年）を参照。 さらに、モデル評価部６３０は、コントロール情報６３５そして６３７をマル チパス・コントローラ６２０と交換する。コントロール・パラメータに関しての 詳細は、以下の図では明示していない。 モデル評価部 図６のモデル評価部６３０の完全な実行は、与えられたフレームｎに対する図 ７において示される。モデル評価部６３０は、変更フィールド評価部７１０そし て解釈部７２０を含んでいる。変更フィールド評価部７１０はフレームｘ_nに対 するデータ（６４０に対応し、イメージ輝度データｉ_n、アドレス情報データａ_n と確率情報データｐ_nとから成る）を最初の入力としてとる。さらに、エンコー ド処理の時点から存在する本空間と時間に関するモデルＸ_Ref，Ｕ_seq７６０（６ ５０に対応する）における予備バージョンからの情報を、入力としてとる。予備 のモデル情報７６０によって、評価部７１０の変更フィールド・イメージ・フィ ールドの評価を安定させる。ここで、評価部７１０の変更フィールドは、拡張基 準イメージにおける予備のシーケンス・モデルＸ_Ref，Ｕ_seq（７６０）の輝度お よび他の量を変化させ、入力イメージの輝度ｉ_nにできるだけ近づける。 さらに、変更フィールド評価部７１０は、マルチパス・コントローラ６２０か らの様々なコントロール・パラメータを入力し、そして解釈部７２０で局所的コ ントロール情報７５５と７５６を交換する。 その主な出力部として、変更フィールド評価部７１０は、変更イメージ・フィ ールドＤＸ_Ref,n（７３０）を生じる。ここでは、ＤＸ_Ref,nは、拡張された基準 イメージにおける予備のシーケンス・モデルＸ_RefＵ_seq（７６０）における空間 と時間に関するパラメータを変化させ、入力イメージ輝度ｉ_nに可能な限り密接 に近づける。さらに、ＤＸ_Ref,nは、入力イメージｘ_nhat（６４０）を生ずる。 又、適合性の不足に対応する残差ｅ_n（６４５）において、予備のモデルに基づ いてデコードされた（復元された）バージョンを生ずる。 さらに、変更フィールド評価部７１０は、局所的に、確率的量ｗ_n（７５０、 様 々な警告と案内を次の解釈部７２０に対する統計に含む）を生ずる。任意に、変 更フィールド評価部７１０は、更に局所的なモデル６７０を入力し、更新し、こ のモデルを最適化して、パラメータ評価処理を安定させる。 解釈部７２０は、評価された変更イメージ・フィールドＤＸ_Ref,n７３０を判 定する。これは、予備の予測ｘ_nhatと残差ｅ_n、さらに、評価警告ｗ_n７５０そし てマルチパス・コントローラ６２０がコントロール・パラメータから出力される のと同様である。任意に、解釈部７２０は、モデル基本立体（７８０）の外部の データベースから入力情報を受ける。これらのモデル基本立体は、いくらかのタ イプについてのものである。空間ローディングまたは時間的なスコア・系列のセ ットは他のデータから以前に評価されており、圧縮またはモデル機能性を改良す るために、本ＩＤＬＥモデルに含むことも出来る。空間ローディング・モデルの 使用法の一例は、与えられた一般的な口の動きのモデルが、テレビ電話エンコー ド中における話す人の顔のモデル化に適応する場合である。それによって広い範 囲の口の動きを評価する必要なく利用でき、そして詳細な因子ローディングを記 憶し／伝送する。一般的な口運動ローディングを現実の人面に適応させるための パラメータだけが評価、記憶／伝送されるために必要である。 同様に、映像のゲーム・アプリケーションにおいて、歩いている、及び、走っ ている人の運動に対して予め評価されたスコア時系列を使用することによって、 既にＩＤＬＥモデルに確立された運動パターンを含むことが説明される。この場 合、予定するスコアとそれらの対応するスマイル・ローディングは、本映像ゲー ムの基準イメージにおける人（たち）に適応しなければならないが、走っている 人々及び歩いている人々が評価されなくてもよい。 モデル基本立体の使用の３番目の例は、基準イメージを分解し、基準モデルＸ_Ref における静止イメージ圧縮に対して、より簡単で、予め定義された幾何学的 な形状（例えば多角形）にする例である。 解釈部は、シーケンス・モデルＸ_Ref７６０の内容を修正し、更新された連続の シーケンスモデル（７６５）として出力する。この出力には、修正され、モデル に基づいてデコードされたバージョンの入力イメージの、ｘ_nhat（７７０）及び 適合性の不足に対応する残差ｅ_n（７７５）が一緒に含まれる。収束（マルチパ ス ・コントローラ６２０において決定される）の上でこれらの出力は、全体のモデ ル評価部（６３０）の出力として使用される。 変化フィールド評価部 図８は、本発明の好ましい実施例による変化フィールド評価部７１０のブロッ ク図である。図８で示したように、入力フレームｘ_nは本エンコーダで使用され た正しいフォーマット及び色空間の中に変換されたものであり、変化フィールド 評価部７１０に送られる。シーケンス・モデルＸ_Ref（７６０）はまた、モデル 評価のこの段階に有効などのような形式であっても、変化フィールド評価部７１ ０への入力でもある。変化フィールド評価部７１０からの主な出力は、シーケン ス・モデルＸ_Ref８１０を入力フレームｘ_nの良い評価に変換する変化イメージ・ フィールドＤＸ_Ref,n（８９０）である。 変化フィールド評価部７１０は、２通りの方法のどちらにおいて実行すること ができる。最初に、好ましい実施例において、変化フィールドは各ドメイン（定 義域）について別々に最適化され、最適な組合せは解釈部７２０において反復し て決定される。代りに、変化フィールドは、変化フィールド評価部７１０内の異 なるドメインについて合わせて最適化することができる。これについては、以下 でより詳細に説明する。 追加出力は、予備評価 ｘ_nhat（８９２）、入力とその予備評価との差分ｅ_n （８９４）及び警告ｗ_n（８９６）を含む。 予測位置ｍ 計算的及び統計的な理由のため、変化フィールドの評価を可能な限り簡易にす ることが重要である。これは、変化フィールド評価部の本実施例において、入力 フレームｘ_nに似るべき評価ｘ_mを予測し、それから、より精密に各入力フレーム ｘ_nを表すためにｘ_mからｘ_nまで行くローカル変化を、単に予測することによっ てなされる。 以下でより詳細に説明するように、この好ましい実施例の変化フィールド評価 部７１０は、始めに、入力フレームｘ_nに似せるために、ｘ_m８３５と名づけられ る評価を予測するための内部の予測部８１０及びデコーダ８３０を利用する。予 測部（８１０）は、入力として時間シーケンス・モデルＵ_Seq（８１１）を受け 取り、デコーダ（８３０）にこのとき入力される予測時間スコアｕ_m（８１５） を出力する。デコーダ８３０は、これらのスコアと空間シーケンス・モデルＸ_{Re f} ８３１とを組合せ、必要な予測フレームｘ_m（８３５）を生ずる。デコーダに関 する追加の詳細は、以下で述べる。 ｍから入力レームｎまでのローカル変化フィールドの評価 次に、ローカル変化フィールド評価部（８５０）は、予測されたｘ_mから実際 の入力フレームｘ_nまで行く必要があったローカル変化フィールドを評価するた めに使用される。この変化は、評価されたローカル変化フィールドｄｘ_mn（８５ ５）と言われ、いくつかのドメイン、主に移動及び光度変化における情報を含む 。以下で詳細に説明する。 評価されたローカル変化フィールドｄｘ_mnで、予測ｘ_mの内容をどのように変 えるかというデータが、「ｍ位置」おける各画素、すなわち、予測フレームｘ_m に位置する画素の位置について与えられる。他のフレームについて以前に得られ た対応する変化フィールド・データと共にこれらの新たな変化フィールド・デー タをモデル化することができるようにするため、全てのフレームについての変化 フィールド・データを共通の位置へ移動することが重要である。本実施例におい て、この共通の位置は、基準位置、あるいは基準フレームＸ_Refと言われる。共 通の基準位置へ戻るこの移動は、以下で説明する。拡張された基準イメージモデ ルのこの基準位置に与えられたデータを示すために、大文字が使用される一方、 イメージｘ_nの入力形式と入力イメージｘ_nの近似に与えられたデータを示すため に、小文字が使用されることに注意すること。 デコーダ８３０からの補助出力は、その逆のアドレス変化フィールド、ｄａ_{m, Ref} ８６５であり、これによって、移動部オペレータ８７０が、得られたローカ ル変化フィールド情報ｄｘ_mnを、与えられたｍ位置から共通の基準位置へと戻せ るようになる。ｄｘ_mn出力のこの移動されたバージョンはＤＸ_mn@Ref８７５とい われ、大文字で情報が基準位置に与えられないことを示している。 ローカルな変化フィールド評価部８５０はまた、ｍ位置（ｘ_Ref@m８３６）へ 移動された完全モデルＸ_Ref、加えて、ＤＸ_Ref,m８２５の相応じて移動されたバ ージョン、及び、戻りスマイル・フィールドｄａ_m,Ref８６５をデコーダ８３０ からの入力（図示せず）として、ｄｘ_mn８３５についてのパラメータ評価の内部 の安定化に使用するために受取ることもできる。 フレームｎについての完全な変化フィールドの評価 エンコード処理におけ る次のステップは、基準位置から入力フレームｎの評価された位置まで行くこと における、完全に評価された変化フィールドを決定することである。これは、Ｘ_Ref をｘ_mへ、得られたＤＸ_mn@Refとともに加算部８８０へ、変換し、必要な主な 出力（ＤＸ_Ref,n）を生じるために、始めに使用された変化フィールドＤＸ_Ref,n を表すことによってなされる。 ローカル変化評価の図示 上述の予測位置ｍの使用は、移動中のオブジェクトを表すイメージの既定のペ ルについてのアドレス変化ＤＡの場合を、概念的に図９に示す。ＤＡ_Ref,nの決 定（変化フィールドＤＸ_Ref,nの部分として）は、図９の要素９０２として表さ れる。ＤＡ_Ref,nの評価は、４段階の処理である。 最初のステップでは、基準位置から予測ｍ位置まで空間情報を移動させる予測 変化フィールドを決定し、入力フレームｎの近似を結果で出す。これは、ポイン トRefからポイントｍまでのベクトルで表されたアドレス変化フィールドＤＡ_{Ref ,m} （９０４）に基づいている。このベクトルは、予測によって決定される、ＤＸ_Ref,m の一部である。 ２番目に、予測位置ｍから実際の入力フレーム＃ｎまでのローカル移動フィー ルド、ｄａ_mn（９２６）が決定される。 ３番目に、評価された結果ｄａ_mnは、逆の移動フィールドｄａ_Ref,m（９０５ ）（すなわち（ｍ位置から基準位置までのベクトル）を用い、従ってＤＡ_mn@Ref （９３６）を生じながら、ｍ位置から基準位置まで「移動される」か翻訳されて 戻される。 最後に、基準位置Refに関して与えられた２個のフィールド、すなわち、ＤＡ_{R ef,m} 及びＤＡ_mn@Refが加算されて望ましいＤＡ_Ref,n（９４６）を生ずる。 従って、移動部８７０の機能は、ローカル変化フィールドｄａ_mnを基準イメー ジモデル位置Refに戻すように「移動」することである。従って、ｄｘ_mn（ｄｉ_{m n} 、ｄａ_mn及びｄｐ_mn）における全ての要素は、従ってRef位置へ戻される。移動 部８７０の出力部は、ＤＸ_mn@Ref（８７５）であり、予測フレームｍから入力フ レームｎへ行く上でのローカルな変化情報であるが、基準位置Refに関して配置 される。変化情報は、「移動」して基準位置Refへ戻される。与えられたオブジ ェクトについてフレームｎから得られた変化情報が、同オブジェクトについて他 のフレームから得られた変化情報と共に、配置されることを確実にするためであ る。同じペル位置のオブジェクトに関する全情報を配置することによって、シー ケンスにおいて系統的な変化の簡易モデルを開発することが可能である。このよ うにして、システムは、入力フレームの初期評価を動的に改良することを試みる 。全アドレス変化フィールドＤＡ_Ref,m（９０４）が０に定義される場合、ロー カル変化フィールド評価部８５０は、完全な変化フィールドＤＡ_Ref,nを直接ｄ ａ_mnとして評価しなければならない。これは、例えばエンコード処理の始めに行 うことができる。また、フレームｎについては、基準イメージ・モデルの初期化 に使用されるフレームへ接近する。 ローカルな確率変化情報ｄｐ_mnが、ローカル変化フィールド評価部（８５０） の実行の統計的な記述を含んでいる余分な次元を含むことに注意する必要がある 。これらの次元については、ＤＡ_Ref,m内の対応する変化フィールドは、空であ るとみなされる。これらの追加次元は、解釈部（７２０）によって最適化をエン コードするために使用される。これらの次元は、例えば、入力フレームｘ_nを評 価するのに必要とされるＸ_Refの空間情報のいくつかをｘ_mが失った原因となる、 可能なフォールディングまたは閉塞の問題を反映する。以後の段階でＸ_Refの中 に含まれる必要のあるｘ_nでの空間の新しいものも同様である。 ローカル変化フィールド評価部（８５０）はまた、入力フレーム、ｘ_nhat（８ ９２）の評価、適合性の欠如の残差ｅ_n（８９４）及びある解釈警告ｗ_n（８９６ ）を出力する。また、最適化をエンコードするために使用されるところで、これ ら は解釈部（７２０）へ受け渡される。 ローカル変化フィールド評価部についてのローカル・モデル情報（８９９）の 入出力は、以下で詳細に説明する。 変化フィールド評価部 図８のローカル変化フィールド評価部８５０は、図１０でより詳細に示してあ り、各ドメインＩ，Ａ及びＰを別々に図示してある。これらのドメインの各々が 再びサブドメイン（例えばＩのＲ，Ｇ，ＢそしてＡのＶ，Ｈ，Ｚ）を含んでいる ことに注意する必要がある。簡易にするため、これらは明示しない。 図１０（図８の変化フィールド評価部の主な部分をより詳細に図示した）にお いて、シーケンスについての使用可能な時間スコア評価は、予測部１０１０にて 使用され、３つのドメイン：輝度（ｕＩ_m）、アドレス（ｕＡ_m）及び確率（ｕＰ_m ）におけるフレームｍについての予測因子またはスコアを生ずる。 エンコーダの内部デコーダ部分 変化フィールド作成部 エンコーダの内部デコーダ部分は、変化フィールド作成部１０２０、加算部１ ０３０及び移動部１０４０を含み、関連した入力、出力部及び内部のデータの流 れを操作する。エンコーダの内部デコーダ部分の第１段階（変化フィールド作成 部）において、因子またはスコアは、変化フィールド作成部１０２０内の（予備 ）空間モデルＸ_Refで使用可能な、対応する空間因子ローディングと組合され、 予測変化フィールドが生成される。各ドメインＩ、Ａ及びＰについて、またそれ らの各サブドメインについて、評価された因子スコア及び因子ローディングを掛 け算して結果を累積し、予測変化フィールドＤＩ_Ref,m、ＤＡ_Ref,m、ＤＰ_Ref,m を生成する。 簡易にするため、ハード・モデル化の追加機能性は、エンコーダの内部デコー ダ部分についての図８及び図１０には含まれない。これについては、様々な他の 追加詳細と合わせて、分離したデコーダの図１３と共に以下で説明する。分離し たデコーダは、エンコーダの本内部デコーダ部分と本質的に同一である。 加算部 デコーダの第２段階（加算部）において、変化フィールドは、加算部１０３０ における、すなわち、拡張された基準イメージ輝度Ｉ_Ref(0)（例えばＲＧＢ）、 （暗示）拡張された基準イメージ・アドレスＡ_Ref(0)（例えばＶＨＺ）及び拡張 された基準イメージ確率Ｐ_Ref(0)（例えば不透光性）における、対応する基本的 （予備）空間イメージに加算される。この結果は、Ｉ_m@Ref、Ａ_m@Ref及びＰ_{m@Re f} となる。 移動部 移動部１０４０における予測変化フィールドは、移動フイールドＤＡ_Ref,m（ 図９の９０４）に従って変形される。そして、予測輝度イメージｉ_m（例えばＲ ＧＢ）、予測アドレス・イメージａ_m（例えばＶＨＺ）及び予測確率イメージｐ_m （例えば不透光性）が生ずる。合わせて、これらの予測データ部分は、図８のデ コーダ８３０からの予測出力ｘ_m、（図８の８３５）を形成する。 ローカル変化フィールド評価部 ローカル変化フィールド評価部（８５０）は、入力フレームｘ_nに精密に近づ くために、デコーダ８３０において、１または複数のドメイン、主に輝度ドメイ ンにおいて生成された予測イメージｘ_mをどのように変化させるかを評価する。 その結果生じる評価された変化は、ローカル変化フィールドｄｘ_mnといわれる。 シーケンス・モデルローディングは、基準位置から予測位置Ｘ_Ref@m８３７ま で移動され、統計的なモデル安定化のための入力として使用されることができる 。加えて、ローカル・モデル８９９は、この評価を安定させるために使用される ことができる。ローカル・モデルは、フレームの特定のサブセットについて最適 化された特別な場合のモデルであることができる。 変化フィールド評価における分離対結合ドメイン 変化フィールド評価部７１０におけるローカル変化フィールドの結合ドメイン 評価の場合、いくつかのｍ−ｎ偏差は輝度差分ｄｉ_mnに属する。一方、いくつか のｍ−ｎ偏差は代りに移動ｄａ_mnに属し、追加ｍ−ｎ偏差は、分割及び他の確率 差分ｄｐ_mnに属する。変化フィールド評価部７１０はこのとき、異なるドメイン のバランスを取るための内部論理及び反復処理を要求し、同じｍ−ｎ変化が同時 に１個より多いドメインにおいてモデル化されないようにする。その結果生じる ローカル変化フィールドｄｘ_mnは、異なるドメインからの貢献の適切なバランス を既に含んでいるので、エンコード処理の残る部分を簡易化する。 しかし、結合ローカル変化フィールド・ドメインを扱う場合、様々なドメイン からの貢献のバランスをとるために、ローカル変化フィールド評価部８５０が様 々な内部モデル化機構を反復使用しなければならない。これらの内部機構（因子 スコア評価分割）が（異なるフレームの貢献のバランスを取る）解釈部において 既に要求されているので、この好ましい実施例では、ローカル変化フィールド評 価部８５０における様々な変化フィールド・ドメインの分離モデル化を代りに使 用する。この結果、ローカル変化フィールド評価部８５０の設計がはるかに簡易 化される。しかし、エンコード処理はこのとき、各フレームについて異なるドメ インにおけるモデル化の間で最適なバランスに達するために、各フレームについ て数回、変化フィールド評価部７１０と解釈部７２０の間前後に反復しなければ ならない。従って予測フレームｘ_mは、より良い近似ｘ_nのための各反復の後に変 化され、異なるドメインの逐次的変化は解釈部７２０によって累積される。これ は以下で説明する。 分離ドメイン・モデル化を使用するローカル変化フィールド ローカル変化フィールド評価部８５０の主要な目的は、図１１において詳細に 示してあるが、予測フレームｘ_m１１０１及び入力フレームｘ_n１１０２を用いて 、予測フレームｍから入力フレームｎまで行くのに使用されるローカル変化フィ ールドｄｘ_mn１１０３を評価することである。 ローカル変化フィールド評価部８５０は、異なるドメインの分離した評価を使 用する。評価部 EstSmile１１１０は、ローカル・アドレス変化フィールド（ス マ イル・フィールド）ｄａ_mn１１１５を評価し、一方、分離した評価部 EstBlush １１２０は、ローカル輝度変化フィールド（赤面フィールド）ｄｉ_mn１１２５を 評価する。これらの評価部のいずれも、確率変化フィールドｄｐ_mn１１２６を評 価するために使用することができる。 図１１の実施例は、確率変化フィールドがEstBlush評価部１１２０によって評 価される場合を示す。 加えて、評価部１１１０及び１１２０は、入力データ、残差及び警告から近似 １１１２及び１１１４をそれぞれ供給する。警告は、これらの既定の評価部では モデル化が難しいイメージ領域のために使用される。２個の評価部からの出力ス トリーム１１１２及び１１１４は、出力近似ｘ_nhat、残差ｅｘ_n及び警告ｗ_nの２ 個の分離した組合せとしてこのとき供給される。 EstSmile１１１０動作評価部 EstSmile１１１０動作評価部は、多数の異なる比較基礎のいずれかを用いて、 例えば絶対差分の総和か重み付けされた総和の２乗差分を用いて、予測輝度ｉ_m を実際の入力輝度ｉ_nと比較することにより、主にローカルなアドレス変化フィ ールドｄａ_mnを評価する。種々の動作評価技術は、この目的のために使用される 。例えば、以下で文献として引用する、R．C．Gonzales及びR．E．Woodsによる 「ディジタル画像処理」第465〜478頁（アディソン−ウェズレー出版社、１９９ ２年）において論じられている周波数ドメイン技術、或いは、R．Depolmnier及 びE．Duboisによる「閉塞された領域の検出を用いた動作評価（MOTION ESTIMATI ON WITH DETECTION OF OCCLUDED AREAS）」IEEE紀要、0-7803-0532-9/92、第III 269〜III272頁（１９９２年）で論じられているような、連結されたマルコフ・ ランダム・フィールド・モデルを使用する方法が使用される。 本発明による好ましい実施例は、統計的評価を安定させ、既に確立されたモデ ル情報を使用することによって、新たな空間スマイル・ローディングの必要性を 最小にするように努める動作評価技術を利用する。基準位置からｎ位置まで移動 された空間モデル構造ｘ_Ref@mは、そのようなタイプのモデル情報の１つである 。以下でより詳細に説明するように、このタイプのモデル情報はまた、評価され た 重みＷｇｔｓ Ｘ_Refの移動されたバージョンを含む。 確率ドメインＰ_Ref@mは、ホロン・エッジの領域内の画素が動くホロン内部か ら離れて移動することを許すセグメント情報ｓ_Ref@mを含む。これは、２個のホ ロンが互いに隣接する時、良い動作評価とホロン分離を得るために重要である。 EstSmile評価部１１１０自体は、警告ｗ_nまたは確率特性ｄｐ_mnの部分として解 釈部７２０にこのとき受け渡される新たなローカル・セグメントを見つけてもよ い。ローカル・セグメントは、一般に予測フレームｍからフレームｎまでの固体 の本体として動くように見えるセグメントのサブ・セグメントまたは部分である 。 アドレス・ドメインは、各座標のサブ・オペランドにおいて及び各ホロンにつ いて、空間アドレス因子ローディングａ(f)_Ref@m，f=0,1,2,...を含む。動作評 価は、これらの既に確かに確立されたアドレス因子ローディングの線形組合せで ある動作フィールドｄａ_mnを受け入れることに努めるのが好ましい。このために は、解釈部７２０において使用されるものに類似した内部スコア評価部及び残差 変化フィールド評価部を使用する必要がある。フレームｎ対フレームｎ−１、ｎ ＋１などのスコアの時間平滑度は、このとき、追加安定制約として課される。 また、動作評価は、異なるセグメントについて「ハード」うなずき因子の評価 を含んでもよい。これらのセグメントは（上下左右にカメラを動かすことやズー ムの評価についての）全てのフレーム、予測ｓ_mで定義されたホロンであっても よく、または、それらは動作評価オペレータ自体によって見つけられた新たなロ ーカル・セグメントであってもよい。 輝度の入力不確定変分と様々な入力ｘ_m、ｘ_n、ｘ_Ref@mのアドレスは、一般に 不確定なデータに基づいた動作評価が相対的により確実なデータに基づいた動作 評価によって無効にされることを確実にするような方法において使用される。同 様に、例えばｐ_nによって判断されるように、モデル化が難しいと事前に判定さ れた予測フレームｘ_mまたは入力フレームｘ_nの画素領域に基づいた移動評価は、 モデル化が相対的に容易であると判断された領域からの移動評価によって、一般 に無効にされる。 シーケンスの初期モデル化の間に、いかなる空間モデル構造もまだ決定されて いなくて、かつ抽出された因子がまだ高く信頼性の低い場合、空間及び時間の平 滑度のような他の安定化仮定は、より大きな重みがもてる。 EstSmile１１１０評価部は、その動作評価処理を容易にするために、エンコー ダの残りにおいて使用されるより、異なる座標のシステムにおいて移動評価を行 なってもよい。 EstBlush１１２０輝度変化評価部 EstBlush評価部１１２０はローカル増分赤面フィールドｄｉ_mnを評価し、それ を最も簡単なバージョンにおいて表現すると： ｄｉ_mn = ｉ_n - ｉ_mとなる。 既知のフレームについての評価された変化フィールドを反復改良する間、特定の 反復におけるデコーダ８３０の予測フレームｘ_mを再構成するのに使用される赤 面フィールドは、まさに前の反復からのｄｉ_mn = ｉ_n - ｉ_mに基づかないことが 非常に重要である。こうすれば、予測フレームｍ及び入力フレームｎとの完全な 適合が人工的に生じ、より良いスマイル及び確率変化フィールドの評価処理を早 期に終えるからである。 EstBlush評価部１１２０はまた、中でも現存のホロンｄｐ_mnについての新しい エッジを検出することによって、確率特性におけるローカル変化を検出する。こ れは、標準分割技術のローカル・アプリケーションに基づいてもよい。また、透 光性の変化も、透光性スコアまたは、ｉ_m及びｉ_nとの適合性を改良するｐ_Ref@m で利用できるローディングでの小変化を求めるローカルな試行錯誤の探索に基づ いて検出されてもよく、それ以上の赤面またはスマイル変化は必要でない。 逆移動部 評価されたローカル変化フィールド（図８のｄｘ_mn８５５に対応）は、予測位 置ｍから逆移動部１０６０の基準位置Refまで「移動され」て戻る。ｍからRef、 ｄａ_m,Refまで、デコーダ移動部８７０から、リターン・アドレス変化フィール ドを使用する。これらの出力であるＤＩ_mn@Ref、ＤＡ_mn@Ref及びＤＰ_mn@Refは、 図９のＤＡ_mn@Ref９０８と図８のＤＸ_mn@Refに対応する。 逆加算部 最後に、ＤＸ_mn@Refには、逆加算部１０７０における元の予測変化フィールド 、ＤＸ_Ref,m[ＤＩ_Ref,m、ＤＡ_Ref,m及びＤＰ_Ref,m]が加算され、必要な評価され た変化フィールドを生ずる。これは入力フレームｎ,ｘ_nを評価するための基準モ デルＸ_Refに適用される。ＤＸ_Ref,nのこれらの変化フィールドは、ＤＩ_Ref,n、 ＤＡ_Ref,n及びＤＰ_Ref,nである。 ローカル変化フィールド評価部１０５０はまた、様々なドメインにおけるｅ_n （８９４）及びｘ_nhat（８９２）に対応する残差と予測を生じ、同様に、図８に おいて他の様々な統計的な警告ｗ_n（８９６）も生ずる。 解釈部 解釈部概観 解釈部７２０の主な目的は、評価された変化フィールドと個々のフレームにつ いての他のデータから、データの全体のシーケンスまたはシーケンスの部分につ いての安定したモデル・パラメータを抽出することである。解釈部７２０は変化 フィールド評価部７１０と結合し、予備の内部モデル改良のために、また同様に 最終的なモデル化を終了するために使用される。映像コーディングの場合、解釈 部７２０は、変化フィールド情報をアドレス、輝度及び確率のドメインにおける 空間、時間、色その他のモデル・パラメータに変換する。解釈部７２０及び変化 フィールド評価部７１０は、各個々のフレームｎについて、フレームの各シーケ ンスについて、そしてフレームのシーケンスを通じて繰り返されるパスについて 、マルチパス・コントローラ６２０の制御下で繰り返しアクセスされる。 エンコード処理の既定の段階における既定のフレームｎについて、解釈部７２ ０は、様々なドメインＤＸ_Ref,n７３０（不確定評価を含む）の評価された変化 フィールドを入力として取り、同様に変化フィールド評価部７１０からの追加警 告ｗ_n７５０をも入力として取る。また、解釈部は、個々のフレームｘ_nhat（７ ３５）と、変化フィールド評価部７１０からの残差エラーｅ_n（７４５）につい ての予備のコード化されたデータを受け取る。また、解釈部７２０は、現存モデ ル{Ｘ_Ref，Ｕ_Scq}７６０をも受け取り、ローカルなモデル情報８９９及びローカ ル変化フィ ールド評価ｄｘ_mn及び入力フレーム情報ｘ_nに加えて、任意で、深化モデルにつ いてのモデル原形７８０のデータベースを受け取ってもよい。また、解釈部７２ ０は、マルチパス・コントローラとは、制御信号及びパラメータ６３５と６３７ をやり取りし、そして変化フィールド評価部７１０とは７５５と７５６をやり取 りする。 解釈部７２０は、これらの入出力を処理してモデル{Ｘ_Ref，Ｕ_Seq}７６５の更 新バージョンにする。このモデルの変化は、基準イメージモデルか拡大サブ・オ ペランド・モデルのホロン構造、あるいは、因子ローディングＸ_Refとシーケン ス・スコアＵ_Seqの新たな値または更新値の、空間的な拡張または再定義であっ てもよい。また、解釈部７２０は、様々なドメインのスコア及び各個々のフレー ムｎについてのサブ・オペランドｕ_n（７７２）を出力し、同様に再構成された フレームｘ_nhat（７７０）と残差ｅ_n（７７５）を出力する。解釈部の出力の全 てが信号値及びその関連する不確定評価として表現されることに注意する必要が ある。 解釈部７２０内の動作ブロックは、図１２において詳細に示される。図１２に おいて、解釈部７２０は、スコア評価部１２０２を含み、これが各ホロンと各サ ブ・オペランドについての既知のローディングを用いて因子のスコアｕ_n（１２ ０４）を評価する。また、解釈部７２０は、カメラを上下左右に動かすこと及び ズーム動作による全体のフレームを移動、測定するためのスコアを含んで、アフ ィン変換に対応したうなずきスコアの行列を評価する。これらのスコアは、変化 フィールド入力ＤＸ_Ref,nからこれらの既知の因子の効果を引き出す残差変化評 価部１２１０に供給され、残差あるいはモデル化されない部分ＥＸ_n（１２１２ ）を生成する。残差１２１２（あるいは、実施例による完全変化フィールドＤＸ_Ref,n ）は、このとき、同じシーケンスのいくつかのフレームから得られたこれ らの変化フィールド・データを分析して追加モデル・パラメータを抽出すること を試みるために、空間モデル拡大部１２１４によって使用される。上述のように 、サブシーケンスの異なるフレームからの変化フィールドの全てが基準位置へ戻 されたので、多くの画素及びフレームに共通する時空的変化構造を、これらの変 化フィールド・データの因子分析を用いて、ここで抽出することができる。新し い因子は、２個以上のフレームで検出されたモデル化されない変化を記述する能 力により判 定されるため信頼性が高いと考えられ、次のフレームについての変化フィールド 評価を安定させるために使用される。これに対して、少数のフレーム及び画素だ けに影響する小変化パターンは、統計的安定化については使用されないが、むし ろ、まだ完全に出現していないが、より多くのフレームがモデル化処理にもたら されるほど統計的に重要になるだろうというような出現中の変化パターンを表す 場合に、メモリに累積される。 また、空間モデル拡大部１２１４は、３Ｄソート／構造評価と透光性と影効果 の評価のような追加作業を扱う。また、スコア１２１５は、時間モデル更新部１ ２０６及び空間モデル更新部１２０８に供給され、モデルの統計的精製、単純化 と最適化について使用される。 解釈部７２０において、入力シーケンスＸ_iはまた、各個々のフレームｍから 新たな空間セグメントを抽出するために使用される様々な分割動作を実行する空 間モデル拡張部１２１６に供給される。また、空間モデル拡張部１２１６は、よ り効率的なホロン構造を供給するために、イメージ・セグメントをマージ、分割 する。また、入力シーケンスＸ_Seqは、より効果的なドメインではなく、相当す るモデル・パラメータによる様々なドメインでモデル・パラメータを交換するこ とを試みるモデル深化部１２１８に供給される。これは、例えば、のスマイル因 子のような「ソフト」モデル化因子を「ハード」うなずき因子へ変換したものを 含み、それ以上の明示情報は必要ない。 解釈部動作ブロックの詳細な説明 スコア評価部１２０２は、様々なドメイン（オペランド）内の多くの各個々の フレームｎ、ｕ_n、のスコア、及び、Ｘ_Refの既知のローディングを持つ因子を使 用するための様々なホロンについてのサブ・オペランドを評価する。各スコアは 、値と相対評価不確定性を含んでいる。ロバスト統計的評価は、統計的ノイズ安 定化（ローディングあるいは入力データのノイズによる誤ったスコア評価の最小 化）に対する、統計的ロバスト性（分離した画素による誤ったスコア評価、すな わちイノベーションを伴う画素、すなわち利用可能な空間モデルを用いてまだ正 当に記述されていない変化パターンの最小化）のバランスを取るために使用され る。 分離したものの判定については、以下で文献として引用する、H．Martens及びT ．Naesによる「多変量キャリブレーション」第267〜272頁（John Wiley & Sons 、１９８９年）において、詳細に論じられている。ノイズを最小化するための統 計的安定化は、スコア評価の間により多数の画素の衝撃を組合せることによって なされる。分離した画素の影響を最小化するための統計的安定化は、スコア評価 の間に分離した画素の衝撃を減少させるかまたは除去することによってなされる 。好ましい実施例において、ロバスト評価技術とは、反復して再計測される最小 ２乗最適化であり、明示ローディングを用いて「ソフト・モデル」のスマイル、 赤面及び確率のスコアを評価するためであり、同様に、固体のオブジェクトのア フィン変換のうなずきスコア行列のためでもある。 スコア評価では２つの異なる手法が使用される。第１の手法は、入力イメージ ｘ_nの近似を最適化するためのスコア・パラメータ空間にて、完全に反復の捜索 をすることである。第２の手法は、既知の因子ローディング（Ｘ_Refにおける明 示ローディング及びうなずきアフィン変換に関連した暗示ローディングを含む） 上の評価された変化フィールドＤＸ_Ref,nのより簡単な投射である。加えて、両 方の方法を組合せても使用できる。 スコア・パラメータ空間での反復捜索の場合、非線形の反復最適化は、異なる ドメイン（オペランド）のスコアｕ_n、サブ・オペランド、ホロン及びモデルＸ_{R ef} を評価ｘ_nhatに最適デコード変換した結果になる因子との組合せを検出するの に使用される。最適化基準は、主として輝度ドメインにおける、適合差分（ｘ_n- ｘ_nhat）の不足に基づいている。１または複数の機能の異なる組合せは、個々の ホロンまたは他の空間の副セグメントのための適合性を最適化するために、使用 することができる。これらの機能は、例えば絶対あるいは２乗差分といった計算 によって、異なる画素による適合性の不足を示す。異なる画素貢献は最初に測定 され、それから、各画素の信頼性と重要性に応じて加算される。従って、分離し た画素はより低い重み付けを割り当てられる一方、視覚的にあるいは評価的に重 要な、適合残差の不足に相当する画素は、より高い重みが割り当てられる。 スコア・パラメータ空間での捜索は、全ての因子スコアの完全に全体的な捜索 であってもよく、あるいは特定の捜索戦略を代わりに利用してもよい。好ましい 実施例において、捜索戦略は、前のフレームと反復から予測されたスコア値を初 めに利用する。要求された計算資源を制御するために、異なるイメージ解像度（ 例えば、最初は低い解像度イメージ）または異なる時間解像度で、最適化が個々 の空間の副セグメント（例えば、個々のホロンについて）について実行されても よく、例えば、初めにどのフレームよりも少なく、または異なるカラー・チャン ネル表現（例えば、最初は発光体について、次に他のカラー・チャンネルについ て）についてでもよい。より多くの強調が、信頼性の高いローディングを用いて 主要因子を評価することにとって代わり、小因子のより少ない強調が、信頼性の 低いローディングを用いて評価することにとって代わるべきであることに注意す る必要がある。これは、信頼性の低いスコアを０に向けて送るマルチパス・コン トローラからのスコア・リッジ・パラメータによってコントロールされてもよい Ｘ_Refにおける「既知の」ローディング上の評価された変化フィールドＤＸ_Ref,n の投射によるスコア評価は、基準モデルをデコードするいかなるイメージも必要 としない。その代わりに、Ｘ_Ref（回帰regressors）の既知のローディング上の 得られた変化フィールドＤＸ_Ref,n（回帰regresands）の統計的な投射（多変量 回帰）が使用される。回帰は、最小の２乗倍数multiple線形回帰を用いて、各ド メインの副オペランドの内部で、各ホロンについて、同時に全因子について実行 される。異なる画素の重みが、例えば分離した画素のために変化するならば、ま たは回帰ローディングが高度に直交しなくなるならば、このとき減少したランク 回帰方法が好ましく使用される。さもなければ、統計的モデル化が、特に、低く 重み付けされたローディング貢献を伴う相互相関因子について、非常に不安定に なる。好ましい実施例においては、部分的最小２乗回帰（ＰＬＳＲ）または主な コンポーネント回帰（ＰＣＲ）に偏った標準を用いて、回帰が実行される。これ は、以下で文献として引用する、H．Martens及びT．Naesによる「多変量キャリ ブレーション（Multivariate Calibration）」第73〜166頁（John Wiley & Sons 、１９８９年）において詳細に概説されている。 他の粗野な回帰技術、純粋に非メトリックな回帰または従来のリッジ回帰のよ うに、リッジ・パラメータを使用するもの（以下で文献として引用する、H．Mar tens及びT．Naesによる「多変量キャリブレーション（Multivariate Calibratio n）」第230〜232頁（John Wiley & Sons、１９８９年）を使用できる。リッジ・ パラメータは、小因子のスコア評価を安定させるのに役立つ。また、リッジする ことは、ＰＬＳＲまたはＰＣＲ回帰で潜在的回帰変数を安定させるために使用で きる。代りに、スコア・リッジ・パラメータをコントロールすることにより、ス コアが０に向かってマルチパス・コントローラから偏らされることができ、それ により、主要因子のみが変化フィールドの安定化を行う初期評価処理において使 用される。標準感度分析または線形モデル理論を用いて、スコアの不確定性を計 算できる。これは、以下で文献として引用する、H．Martens及びT．Naesによる 「多変量キャリブレーション（Multivariate Calibration）」第168，206頁（Jo hn Wiley & Sons、１９８９年）において論じられている。 残差変化フィールド評価部 残差変化フィールド評価部１２１０は、様々なサブ・オペランド及びホロンに ついてのそれぞれの変化フィールドＤＸ_Ref,nからスコア評価部１２０２におい て評価された様々なスコアの影響を取り除くことによって、残っているモデル化 されない残差ＥＸ_Ref,nを決定する。好ましい実施例においては、因子の影響（ 例えば適切なスコアで加算された利用可能なローディングの総和）は、変化フィ ールドから簡単に引かれる。例えば、赤輝度の場合： Ｅ_RRef,n = ＤＲ_Ref,n -（Ｒ(0)_Ref*ｕＲ(0)_nR + Ｒ(1)_Ref*ｕＲ(1)_nR + ....） 任意に、この残差構成で使用されるモデル・パラメータは、量子化エラーの影響 が次の訂正を可能ににするためのエンコーダへフィード・バックされることを確 かめるために、量子化されてもよい。 空間モデル拡大部 解釈部の空間モデル拡大部１２１４は、前のフレームからモデル化されない残 差と共にフレームｎについての残差変化フィールドＥＸ_Ref,nを累積する。これ らの残差変化フィールドは、各ホロンと各オペランド（ドメイン）及びサブ・オ ペ ランドについて、まだモデル化されていない情報を表す。これらの残差は、その 不確定性に応じて重み付けされ、新たな因子を抽出するために統計的に処理され る。この因子抽出は、モデル化されない残差の、重み付けされた画素フレーム行 列にてＮＩＰＡＬＳ分析を行なうことによって、好ましく達成される。これは、 例えば、以下で文献として引用する、H．Martens及びT．Naesによる「多変量キ ャリブレーション（Multivariate Calibration）」第97〜116,163頁（John Wile y & Sons、１９８９年）において論じられている。また、フレームごとのクロス 積行列については、以下で文献として引用する、H．Martens及びT．Naesによる 「多変量キャリブレーション（Multivariate Calibration）」第100頁（John Wi ley & Sons、１９８９年）を参照。しかし、この反復ＮＩＰＡＬＳ方法は、必ず しも各因子について完全な収束を反復する必要はない。代りに、モデル化されな い残差の重み付けされた画素フレーム行列からの因子抽出は、特異値分解、Karh unen-Loeve変換、ホテリング変換を用いた固有分解を用いて達成できる。これは 、例えば、以下で文献として引用する、R．C．Gonzales及びR．E．Woodsによる 「ディジタル画像処理」第148〜156頁（アディソン・ウェズレー出版社、１９９ ２年）において、詳細に概説されている。また、以下で文献として引用する、Ca rlo Tomasi及びTakeo Kanadeによる「深度のない形状及び動作（SHAPE AND MOTI ON WITHOUT DEPTH）」IEEE紀要、2934-8/90、第91〜95頁（１９９０年）にも詳 細に概説されている。結果として生じる累積された残差行列の重要な変化構造は 、新しい因子として抽出され、モデル[Ｘ_Ref,Ｕ_Seq]の部分として含まれる。い くつかのフレームに関していくつかの画素を含む変化構造は、重要であるとみな される。解釈部の空間モデル拡大部は、ローカルなモデル６７０について、また 同様により完全なシーケンスあるいはサブシーケンス・モデル６５０についても 使用できる。 実時間エンコードの場合、各個々のフレームからの残っているモデル化されな い残差の影響は、あるレベル以下で立下るならば、時間パスとして縮小され、モ デル化されない残差の累積から取り除くことができる。この方法において、長時 間残っており、いかなる新たな因子の形成に寄付していないままの残差は、本質 的に以後の考慮から除去される。統計上、今後それらが新たな因子に貢献する確 率が大変低いためである。この実施例においては、空間モデル拡大部１２１４は 、 現存のモデルに加えることのできる個々の因子を生成する。その後、この因子の 新たな集合、すなわちモデルは、マルチパス・コントローラの制御下で、時間更 新部１２０６及び空間モデル更新部１２０８において最適化されることができる 。 別の実施例において、現存するモデルは、新たなモデルを生成するために変化 フィールドとともに分析される。この新たなモデルは、新たに導入された変化フ ィールドから追加情報を受け入れる因子を好ましく含む。本質的に、全体のモデ ル[Ｘ_Ref，Ｕ_seq]は、新たなフレームが導入されるたびに、再計算される。これ は、スコア行列Ｕ_Seqが正規直交であるようにスケールされるローディングＸ_Ref とスコアＵ_Seqを使用することで好ましく行われる（以下で文献として引用する 、H．Martens及びT．Naesによる「多変量キャリブレーション（Multivariate Ca libratlon）」48頁（John Wiley & Sons、１９８９年）を参照）。Ｘ_Refにおけ る異なる因子ローディング・ベクトルは、このとき、それらの相対意義を反映す る２乗の異なる総和を持つ。このとき、新たなローディング[Ｘ_Ref]（新）は、 因子分析、例えば特異値分解ｓｖｄを用いて、[Ｘ_Ref（旧），ＤＸ_Ref,n]から成 る行列を生成される。これは簡易化された、２ブロックＰＬＳＲに基づく更新方 法のバーションに基づいた、ある１ブロックｓｖｄである。これは、以下で文献 として引用する、H．Martens及びT．Naesによる「多変量キャリブレーション（M ultivariate Calibration）」162〜123頁（John Wiley & Sons、１９８９年）に おいて、論じられている。また、新たなローディングに対応する新たなスコアは 、この処理において得られる。 三次元の深度評価 空間モデル拡大部１２１４は、フレーム・シーケンスの部分を形成する１画面 における画素の近似立体深度構造ｚ_nを評価するためにも使用される。このタイ プの評価は、互いの前で移動するオブジェクトをモデル化するために、同様に、 水平あるいは垂直に回転するオブジェクトをモデル化するためにも、重要である 。また、深度情報ｚ_nは、それだけで本質的に重要なものにもなる。 深庶モデル化には、閉塞に含まれる画素について、少なくともほぼ、評価され るための深度が必要となる。基準イメージ・モデルに含まれた画素位置で、この 評価された情報を表すことが望ましい。 深度評価は、いくつかの異なる方法のいずれを用いても実行できる。好ましい 実施例においては、いくつかの画素が様々なフレームで他の画素を閉塞する方法 に基づく、画素の位相幾何学的ソートが使用される。潜在的な閉塞が検地される （ローカル変化フィールド評価部からの警告ｗ_nで同様に示されるような）画素 について、異なる深度仮説はいくつかの連続したフレームについて試みられる。 各フレームについて、変化フィールド評価部は、異なる深度仮説について反復動 作され、異なる仮説を用いて入力フレーム輝度ｉ_nをモデル化した結果が累積さ れる。テストされたフレームに関する輝度データｉ_nの最も一貫て正確な表現と いう結果になる深度仮説が受け入れられ、深度モデル情報として使用される。初 めに、この深度情報は、要求されるそれらの画素について基本深度Ｚ(0)_Refを確 立するために、使用することができる。続いて、同じシーケンスのエンコード処 理においては、あるフレームから別のブレームへ変化する深度のためにより複雑 な閉塞パターンを示すそれらの画素について、新しい因子Ｚ(f)_Ref,f=１,２,... で深度変化因子モデルを拡大するために、同じ技術を使用することができる。 別の実施例においては、アドレス変化フィールドＤＡR_ef,nの特異値分解を、 ３Ｄ深度情報を確立するために使用できる。これは、以下で文献として引用する 、Carlo Tomasi及びTakeo Kanadeによる「深度のない形状及び動作（SHAPE AND MOTION WITHOUT DEPTH）」IEEE紀要、2934-8/90、91〜95頁（１９９０年）で概 説されている。 フレームｎのための反復制御 空間モデル拡大部１２１４についての特別モードの動作は、各フレームｎにつ いての反復最適化の間に使用される。ローカル変化フィールドｄａ_mn、ｄｉ_mn、 ｄｐ_mnの分離した（競合）評価が使用される場合、上述のローカル変化フィール ド評価部８５０の好ましい実施例のとおり、空間モデル拡大部１２１４は全ての ドメインについて同時に使用されるように結合妥協ＤＸ_Ref,n（結合）を公式化 しなければならないとき。好ましい実施例においては、ドメインのただ１個から の 情報が、各反復の間に結合変化フィールドＤＸ_Ref,n（結合）の中に受け入れら れる。 各フレームの反復評価の始めに、スマイル変化は、最も確率の高い変化として 受け入れられる。しかし、反復評価にわたって、受け入れられたスマイル・フィ ールドが十分に平滑であり、次の反復で間違った閉塞を与えないように注意しな ければならない。一般に、Ｘ_Ref（スコア評価部１２０２において決定されるよ うな）で既に確立された因子ローディングに適合する変化フィールド情報が、モ デル化されない残差ＥＸ_Ref,n（残差変化フィールド評価部１２１０において決 定されるような）のために受け入れられる。これは単に、各フレームについて反 復処理の終了のための変化フィールド情報して受け入れられる。従って、変化フ ィールドは、特定のエンコード段階、及び、以前の反復での変化フィールドに比 較されたこの反復での変化フィールドの品質の応じて修正される。各反復で、結 果として生じる受け入れられた変化フィールド情報は、結合変化フィールドＤＸ_Ref,n （結合）として累積される。 各反復の間に、解釈部７２０は、次の反復で更なる精製を行うために、この結 合変化フィールドＤＸ_Ret,n（結合）を変化フィールド評価部７１０へ伝えなけ ればならない。これは、結合変化フィールドＤＸ_Ref,n（結合）を、Ｘ_Ref（常に １であるスコアを持つ）中のある特別な因子として含むことによってなされる。 従って、この特別な因子は、各新たな反復からフレームｎについての変化フィー ルドへの逐次的変化を累積する。反復処理の終りに、この特別な因子は、累積さ れた結合変化フィールドを表し、そして上述のように、スコア及び残差評価、拡 大、深化、更新、拡張上について使用されることが可能である。 モデル更新部 ２個のモデル更新部、モジュール、時間モデル更新部１２０６及び空間モデル 更新部１２０８は、アプリケーションによって、様々な基準に関して時間及び空 間のモデルを最適化するのに役立つ。実時間映像コーディング、ビデオ会議アプ リケーションのような場合には、時間モデル更新部１２０６は、各ドメイン内で の異なる因子のスコア間の共分散行列の固有値構造を、時間パスとして、計算す る。もはや動的でない変化現象（例えば、ビデオ会議室を去った人）は、インタ ・スコア共分散行列の低い固有値に対応する次元として識別され、従って時間モ デル更新部１２０６のスコア・モデルから除去される。対応するローディング次 元は、空間モデル更新部１２０８のローディングから除去される。また、インタ ・スコア共分散行列の結果生じる固有値・固有ベクトル構造も、その他のなお活 動的な因子の時間パラメータの量子化及び伝送制御を最適化するために、使用す ることができる。 映像データを（実時間及びオフラインで）エンコードする間に、信頼性の低い 因子次元は、ローディングの因子回転とインタ・スコア共分散行列またはインタ ・ローディング共分散行列の特異値分解、及び、低い固有値に対応する除去する 次元に基づく、２個のモデル更新部１２０６及び１２０８のスコアによって、シ ーケンスを通じて反復して行われるエンコード処理同様に除去される。 時間モデル更新部１２０６の因子スコアの固有分析と、空間モデル更新部１２ ０８の因子ローディングの固有分析は、あるタイプのメタ・モデル化に相当する 。これについては以下でより詳細に説明する。空間モデル更新部１２０８は、空 間モデル拡張部１２１６のホロン・分割での変化の必要性を示す、ローディング 空間で空間画素クラスタ・パターンを調べることもできる。 モデル更新部１２０６及び１２０８はまた、圧縮や修正、メモリ使用を改良す る目的で、時間モデル更新部１２０６又は（空間モデル更新部１２０８の場合に は）ローディングの場合の因子スコアの「簡易構造」を得るために、バリマック ス回転のような、従来の因子分析回転を行なうこともできる。因子分析的「簡易 構造」は、次の例によって理解できる。まず、２種類の変化パターンを想定する 、例えば赤面パターン「Ａ」（赤面する頬）及び「Ｂ」（部屋の照明）が２つの 赤面因子を用いてモデル化されたが、赤面因子は因子１が「Ａ」及び「Ｂ」をモ デル化し、そして因子２が「Ａ」及び「−Ｂ」をモデル化するという方法で、こ のパターンを組合せた。簡易構造への因子回転は、この場合、２ｘ２回転行列ｇ で２つのローディングを乗算し、ローディングの新しい組み合わせを計算するこ とを意味する。行列乗算の後に、パターン「Ａ」だけがある因子で表され、パタ ーン「Ｂ」だけが他の因子において表されるようにするためである。対応する新 た なスコアは、行列ｇの逆行列で元のスコアを乗算することによって得られる。ま たは、元のスコアが使用される。しかし、新たなローディングは、ｇの逆行列に よってこのとき乗算されなければならない。 しかし、時間モデル更新部１２０６の別の機能は、様々なモデル・パラメータ 、例えばスマイル及び赤面因子の、「共同発生」の多次元なヒストグラムを累積 することである。このヒストグラムは、様々なドメインのスコア値の様々な組合 せが同時発生する回数の累算計算を出す。共同発生の特定のパターンが現れるな らば、これはモデルを深化する、例えば赤面因子情報をスマイル因子情報に変換 することによって深化する必要があることを示すものである。 空間モデル拡張部 空間モデル拡張部１２１６は、セグメントまたはホロンの中にデータを組織し て再編成する。映像コーディングの場合、セグメントは主に空間のホロンであり 、従って、拡張部は「空間」モデル拡張部といわれる。空間モデル拡張部１２１ ６は入力として１組のホロンを受け取り、各々が画素ローディングＸ_Ref、シー ケンス・フレーム・スコアＵ_Seq、変化フィールドＤＸ_Ref,n、及びモデル化され ない変化フィールド残差ＥＸ_Ref,nにより表される。また、空間モデル拡張部１ ２１６は、入力として、変化フィールド評価部７１０ｗ_nからの異常警告、実際 の入力フレームｘ_nを、様々な入力制御パラメータの他に受け取る。空間モデル 拡張部１２１６は、これらの入力を処理し、そして更新された組合せのホロンを 、それぞれ画素ローディングＸ_Ref、シーケンス・フレーム・スコアＵ_Seq、モデ ル化されない残差ＥＸ_Ref,n及び様々な出力制御パラメータと共に出力する。 空間モデル拡張部１２１６は、変化フィールド評価部からの警告出力ｗ_nから の累積された信号が新しいフレームｘ_nのモデル化されない空間情報の有効総和 を示す場合は常に、マルチパス・コントローラ６２０によって動作される。まだ モデル化されていない領域の新しいホロンへの分割は、評価されたアドレス変化 フィールドＤＡ_Rcf,nを用いて実行される。例えば、これは、以下で文献として 引用する、John Y．A．Wang及びEdward H．Adelsonによる「イメージ・シーケン ス・コーディングの層表現（LAYERED REPRESENTATION FOR IMAGE SEQUENCE CODI NG）」IEEE ICASSP紀要、第５巻、221〜224頁（ミネアポリス、ミネソタ州、１ ９９３年） において論じられている。入ってくる警告ｗ_nが分割の必要性を示す領域では、 これは特に重要である。そのような領域における画素は、同種の移動パターンを 持つセグメントの捜索において、特に高い重みをもたらす。 別の、あるいは追加でもある分割の方法として、Ｘ_Refの様々な因子ローディ ング構造を用いて、セグメントを決定することができる。この構造とは、因子ロ ーデイング空間での標準クラスタ分析を用いて決定された、因子ローディング・ ベクトル空間（ｆ=１，２，...）における画素のクラスタのようなものである。 簡易な内部構造を持つクラスタは、関連する方法において変化してセグメントの 可能な候補である画素を示す。加えて、アドレス空間Ａ_Ref(0)で互いに隣接する それらの画素は、分割のより強力な候補として識別される。この方法で、新しい セグメントが形成される。一方、新しいセグメントが現存のセグメントに隣接し て位置し、同様の時間移動動作を持っているように見えるならば、現存のセグメ ントは拡張あるいはマージされる。エッジに沿って異質の移動を示す現存のセグ メントは、より小さい空間領域に縮小されてもよく、その空間内部での異質な移 動を示すセグメントは、独立したホロンに分割されてもよい。 確率特性Ｐ_Refの１つは、セグメント形状変化の特に高い確率または現存のセ グメント・エッジに沿った拡張を示すために、使用される。すなわち、表面上、 新しいセグメントは、実際は単にセグメント・エッジで拡張された現存のセグメ ントの拡張であるという可能性がある。同様に、この確率特性は、イメージ・エ ッジに現れるその新しいオブジェクトを、セグメントに分類するために使用する ことができる。加えて、この特性はまた、ホロン・エッジで半透光性を導入する ためにも使用することができる。 空間モデル拡張部１２１６は、マルチパス・コントローラ６２０によって作動 され、時間ホロンやセグメントの両方を生成し、これらが初期安定化あるいはエ ンコード処理での試験的なモデル化に使用される。これらのホロンは、反復エン コード処理の間にマージあるいは削除でき、その結果、エンコード処理の終りに 各個々のシーケンスをモデル化するのに使用される最終的なホロンとなる。図３ に示したように、新しいホロンの導入があるため、拡張された基準イメージは個 々の入力フレームより大きくなり、ホロンは、互いにオーバーラップしないため に、拡張された基準イメージ・モデルＸ_Refに空間的に記憶されなければならな い。または、以下で文献として引用する、JohnY．A．Wang及びEdward H．Adelso nによる「イメージ・シーケンス・コーディングの層表現（LAYERED REPRESENTAT ION FOR IMAGE SEQUENCE CODING）」IEEE ICASSP紀要、第５巻、221〜224頁（ミ ネアポリス、ミネソタリ州 １９９３年）において論じられている多層構造のよ うな記憶方法も使用できる。 モデル深化部 解釈部７２０のモデル深化部１２１８は、モデル化効率を改良する様々な機能 を提供する。これらの機能の１つは、透光性変化フィールドを、確率ドメインＤ Ｐ_Ref,nのサブ・オペランドとして評価することである。これは、以下で文献と して引用する、Masahiko Shizawa及びKenji Maseによる「固有エネルギー分析に 基づく移動透光性及び移動境界の単一化計算理論（UNIFIED COMPUTATIONAL THEO RY FOR MOTION TRANSPARANCY AND MOTION BOUNDARIES BASED ON EIGENENERGY AN ALYSIS）」IEEE紀要、2983-5/91、289〜295頁（１９９１年）において論じられ た技術を用いて行なうことができる。 更に、ホロンの赤面モデル化の総和およびタイプが、モデル移動に赤面モデル 化を使用すると非能率的であると示唆する場合は常に、モデル深化部１２１８は 、赤面因子をスマイル因子に変換するために使用される。これは、例えば、特定 のホロンを再構成（デコード）してから、赤面因子よりもスマイル因子の選択に 対して増加された偏りを用いて分析（エンコード）することによってなされる。 同様に、スマイル因子ローディングが、固体のオブジェクトのアフィン変換、す なわち、解釈、回転、スケーリングまたは切取り（shearing）と一致した空間パ ターンを持っているホロンを示す場合は常に、スマイル因子がうなずき因子に変 換されることができる。これは、ホロンについてアドレス変化フィールドＤＡ_{Re f,n} を決定してから、様々なアフィン変換に対応する擬似スマイル・ローディン グでそれらをモデル化することによってなされる。 デコーダ 本発明は、空間モデル・パラメータ・ローディングＸ_Ref及び時間モデル・パ ラ メータ・スコアＵからイメージを再構成するデコーダを含む。映像の圧縮、記憶 及び伝達などのアプリケーションにおいては、デコーダの主要な機能は、シーケ ンス[ｘ_n,ｎ=１,２,....]=ｘ_Seqのエンコードの間に評価されたスコア[ｕ_n,ｎ= １,２,....]=Ｕ_Seqを用いて、フレームの入力シーケンス[ｘ_n,ｎ=１,２,...]=ｘ_Seq を再生することである。ビデオ・ゲームや仮想現実のような他のアプリケー ションにおいては、［ｕ_n,ｎ=ｎ₁,ｎ₂,...]=Ｕの時間の異なるポイントでのスコ アは、例えば、ユーザがジョイスティックを動かすことにより、実時間で生成す ることができる。 本明細書においては、各フレームｎの予測結果は、予測フレームｍとして示さ れる。従って、ｘ_mはｘ_nhatに等しい。 デコーダ１３００の好ましい実施例を、図１３でブロック図形式で示す。この デコーダ１３００は、エンコーダの変化評価部７１０（図８）の内部デコーダ８ ３０に実質上相当する。しかし、図１３のデコーダ１３００は、いくつかの追加 機能的な要素を含む。これらの追加要素は、添付した付録（デコーダ付録）にお いて詳細に説明する。 結果として生じる変化フィールドＤＸ_Ref,m１３５８は、Ｘ_m@Ref１３６２、す なわち基準位置に出されるフレームｍの予測値を生成するため、基本基準イメー ジＸ(0)_Ref１３６０に加算される加算部１３３０に、このとき受け渡される。こ れには、基準イメージの様々なホロンが予測フレームの出力上で仮定するであろ う変化値が含まれる。しかし、この情報は、まだ基準位置に与えられる。 基準位置に与えられたこれらの変化値、Ｘ_m@Ref１３６２は、アドレス変化フ ィールドＤＡ_Ref,m１３６４によって供給された移動パラメータを用いて、この とき基準位置からｍ位置まで移動部１３４０にて「移動」される。エンコーダ６ ００の内部デコーダ８３０の場合、移動部１３４０は、戻りフィールドｄａ_{m,Re f} １３６６を供給し、これが値をm位置から基準位置まで戻すのに使用される。 移動部１３４０の主に出力するのは、エラー訂正ｅｘ_m１３６８が任意で加算 できる予測結果ｘ_mである。結果として生じる信号は、例えば最終結果ｘ_m１３７ ０を生ずる目的でエッジ効果を高めるため、ポスト・プロセッサ１３５０内でこ のときろ波することができる。加算部１３３０、移動部１３４０及びポスト・プ ロ セッサ１３５０は、以下で文献として引用する、George Wolbergによる「ディジ タル・イメージ・ワーピング」第７章、IEEE紀要（Computer Society Press、１ ９９０年）において概説されているような標準デコード技術に使用できる。 また、デコーダ１３００は、（コンピュータ画像表示端末またはテレビ画面の ような）出力媒体への通信、及び、その分野の技術を持つ人間には容易に理解さ れる他の機能について、外部通信、解読及び反復使用されるモデル・パラメータ のローカルな記憶と回復を制御し、取扱うための追加機能性を含むこともできる 。 移動部オペレータ１０４０（１３４０）及び１０１０（８７０）が、同座標の 位置に置かれる２個以上の情報を組合せるのに、異なる方法を使用できることに 注意する必要がある。映像のエンコード及びデコードにおける好ましい実例にお いては、異なる情報が３Ｄ閉塞を用いて組合され、様々なオーバレイされた媒体 の透光性に応じて修正される。蛋白質分析のための双方向の電気泳動ゲルのイメ ージ分析のような他アプリケーションについては、異なるホロンの貢献度は、簡 単に加算することができる。 エンコーダ動作・マルチパス・コントローラ エンコーダ・システム制御及び動作 上記で詳細に説明したエンコーダ／デコーダ・システムの動作を、オフライン で映像をエンコードするアプリケーションについて説明する。最初に、簡易エン コーダ（別の実施例）と完全エンコーダ（好ましい実施例）を比較する。簡易エ ンコーダを始めに説明し、続いて完全エンコーダを説明する 映像エンコード・システムは、十分に関連したイメージ情報のシーケンスを検 出しなければならない。これらがシーケンス・モデルによってモデル化されるよ うにするためである。そのようなシーケンスの各々について、十分な再構成品質 、効率的な圧縮、及び編集力を与えるような方法で、モデルを開発しなければな らない。これは、エンコードシステム、格納／転送、及びデコード・システムの 物理的束縛内で達成されなければならない。 簡潔で極度に要約したシーケンスのモデル化を達成するには、シーケンスでの 変化が適切なドメイン・パラメータに帰する必要がある、すなわち、移動は主に スマイル及びうなずき因子によってモデル化される必要があり、輝度変化は主に 赤面因子によってモデル化される必要があり、また透光性効果は主に確率因子に よってモデル化される必要がある。様々な変化タイプを適切なドメイン・パラメ ータへ効果的にモデル化するには、様々なモデル・ドメインの良い分離に加えて 、モデル・パラメータ評価の統計的な安定化が必要である。これは、順番に多く のフレームに関してモデル化を要する。２つのエンコーダの実施例は、この仕事 を達成する方法において異なる。 簡易エンコーダは、簡易シーケンス制御、及び、パラメータ評価の間の適当な フレーム・シーケンスの識別に帰する移動機構を使用する。しかし、それは、様 々なドメインにおける同時統計的モデル化を最適化することを試みるのでない。 一方、完全エンコーダは、分離した前処理段階の一部としてシーケンス識別を必 要とする。また、この前処理段階は、多重ドメイン・モデル化のノイズ及びエラ ー強性を最適化するエンコード処理にわたって更新され、使用される様々な統計 的重み付け機能を初期設定する。 簡易エンコーダは、スマイルドメインの新しい因子、赤面ドメイン、または新 たな空間イメージ分割のうちいずれかとしてモデル化される、関連したモデル化 されない変化構造を、映像のフレーム・シーケンスを通じて反復して捜す。潜在 的なスマイル、赤面及び分割変化の中からの最適な選択は、スマイルまたは赤面 モデルの拡大か、ホロンの拡張または再編成のいずれかのようなシーケンス・モ デルに含まれる。このとき捜索処理は、十分なモデル化がなされるまで繰り返さ れる。 他のフレームのモデル化対応するモデル化と最も一貫するような方法で、３つ のドメインの各フレームをモデル化しようとするたびに、完全エンコーダは、反 対に、数回シーケンスを通過することでもたらされるシーケンスのモデルを徐々 に拡大し、拡張し、深化する。 各ドメインが別々にモデル化されるので、簡易エンコーダで、各フレームにつ いてのモデル化されない変化フィールドを評価するのは比較的簡単である。スマ イル変化フィールドＤＡ_Ref,n,ｎ＝ｎ１,ｎ２,...は抽出されて１個のパスにモ デル化され、フレームのシーケンス全体より短くなりうる。また、輝度変化フィ ー ルドＤＩ_Ref,n,ｎ=ｎ１,ｎ２,...は抽出されて２番目のパスにモデル化され、フ レームのシーケンス全体より同様に短くなりうる。逐次的にモデル化情報が獲得 したものがモデル化複雑性によって重みがかけられるまで、各々のパスは続けら れる。完全エンコーダでは、各フレームについてのモデル化されない変化フィー ルドの対応する評価は、更に複雑にされる。各フレームについての変化フィール ドが結合してモデル化され、従って相互に互換性があるに違いないからである。 この互換性は、各フレームについての異なるドメインでの変化フィールドの反復 開発によって得られる。 簡易エンコーダ・システムの制御及び動作 各フレームについて、簡易エンコーダは、Ｘ_Refの既に確立された因子につい ての因子スコアｕ_nを評価するために、解釈部７２０のスコア評価部１２０２を 使用する。モデルは、モデル化されるドメインで仮に確立された新たな因子で、 時間的に拡大できる。その後、変化フィールド評価部７１０は、モデル化されな いスマイル変化フィールドＤＡ_Ref,nまたはモデル化されない赤面変化フィール ドＤＩ_Ref,nの、いずれかの評価を生成するために使用される。それぞれの場合 で、試験的な新たな因子は、空間モデル拡大部１２１４において開発される。ま た、解釈部７２０は、空間モデル拡張部１２１６における可能な分割改良を調べ る。マルチパス・コントローラ６２０は空間モデル拡大部１２１４に結合して、 新たな因子で赤面あるいはスマイル・モデルのいずれかを拡大するか、その代り に、空間モデル拡張部１２１６における空間の拡張／再編成を課する。また、マ ルチパス・コントローラ６２０は、変化フィールドが劇的な変化を示す場合は常 に、新しいシーケンス・モデルの開始を起こす。満足なモデル化が得られるまで 、この処理は反復される。 完全エンコーダ・システムの制御及び動作 前処理 発光体と色度のより良い分離を確実にするため、入力データは始めに入力色空 間（例えばＲＧＢ）から異なるフォーマット（ＹＵＶのような）に変換される。 この変換は、既知の、標準の技術を用いて実行される。ＨＶＺアドレス空間にお けるＹＵＶのＶ色コンポーネントとＶ（垂直）座標との混乱を回避するために、 この説明は、ＲＧＢ色空間の点から行う。それぞれの変換されたフレームｎの輝 度は、ｉ_nといわれる。また、入力空間座標システムは、エンコード及びデコー ド処理の様々な段階に変えることもできる。特に、標準の技術を用いて、水平及 び垂直の両方向における２つの因子により、入力フォーマット（垂直及び水平の ペル、アドレスａ_n）を連続して減少させることによって、空間の解像度を前処 理の間に変えることができる。これは、同じ入力イメージでも異なる空間の解像 度の、いわゆる「ガウス・ピラミッド」表現という結果になる。より小さい、低 い解像度イメージは予備のパラメータ評価について使用でき、モデルとして増大 した空間の解像度はますます信頼性及び安定性を増す。 続いて、入力データの予備モデル化可能性が、最初に評価される。連続した空 間解像度の各々について、個々の画素についての輝度データが数理的にモデルし やすくなるかどうかの確率を評価するために、各フレームについての輝度データ ｉ_nが分析される。この分析は、ｐ_nといわれる異なる確率の決定を含む。以下で 詳細に説明する。 予備モデル化可能性は、入力データの２次元認識可能性の決定、すなわち、イ メージの異なる領域がいかに「エッジ」であるかの評価を含む。「エッジ」領域 は、連続した領域よりも、検出しやすく移動に関して後続しやすい。特に、明確 な２Ｄ空間の輪郭を表す画素と空間のコーナー構造の画素とには、１に近い値が 割り当てられる一方、連続した領域の画素には０に近い値が割り当てられるよう に、空間的に認識可能な構造ｐ(1)_nの程度の評価が計算される。他の画素には、 ０と１の中間値が割り当てられる。これは、以下で文献として引用する、Carlo Tomasi及びTakeo Kanadeによる「深度のない形状及び動作（SHAPE AND MOTION W ITHOUT DEPTH）」IEEE紀要、2934-8/90、91〜95頁（１９９０年）において行わ れた特定の手続を用いて実行することができる。また、これは、以下で文献とし て引用する、Rolf VoldenとJens G．Balchenによる「２次元イメージのシーケン スからの三次元オブジェクトの座標の決定」（無人のつなぎを解かれた潜水艇テ クノロジー（Unmanned Untethered Submersible Technology）についての第８回 国際シンポジウム（１９９３年９月）の議事録、359〜369頁）にも含まれている 。 同様に、予備モデル化可能性は、１次元認識可能性の決定、すなわち、イメー ジを通じた水平または垂直いずれかのラインに沿った輝度変化の指摘を含む。こ の手続には、水平あるいは垂直に明瞭な輪郭の程度の評価を公式化することが含 まれる。水平あるいは垂直に明瞭な輪郭（例えば水平及び垂直方向における空間 の微分の絶対値から検出されたような）の一部である画素には、値ｐ(2)_n=１が 割り当てられる一方、連続した領域の画素には０の値が割り当てられ、他の画素 にはその間の値が割り当てられる。 また、予備モデル化可能性には、各画素について開口問題の確率をｐ(3)_nとし て評価することによって、開口問題を決定することが含まれる。平滑なローカル 移動、すなわち、いくつかの連続したフレームのコースに関して線形に移動する ように見える空間構造には、１の最大値が割り当てられる一方、そのような構造 が見つからない画素には、０の値が割り当てられる。同様に、いくつかの連続し たフレームのコースに関してまったく動かないように見える構造は、ほぼ同じ方 法で扱われる。ひとまとめにして、表面上平滑な移動または不動のこの評価は、 ｐ(4)_nといわれる。また、この特性は、いくつかの連続したフレームのコースに 関して、平滑な輝度変化（あるいは不変化）を評価するのにも使用できる。 境界エッジで生じる、異なる輝度空間のエリアの平均であるために信頼性が低 く本当の輝度を表さないような、半分の画素の確率は計算され、ｐ(5)_nといわれ る。 共に、輝度、アドレス及び確率のデータはｘ_nによって象徴化され、ｐ(1)_nか らｐ(5)_nのように、アドレス特性、輝度特性、及び、異なる確率特性を含む。 また、前処理には、シーケンス長及びサブシーケンスの限界の決定が含まれる 。これは、全体のシーケンスに関して変化特性ｐ(4)_n及び輝度ｉ_nを分析して、 少数のコンポーネントを抽出するために低い解像度の輝度の多変量分析を実行す ることによってなされる。これは、高相対フレームを共にモデル化するためのシ ーケンスに分類するために、因子スコアのクラスタ分析によってフォローされる 。ある場面がとても長いかまたはとても異質ならば、ローカル・モデルを用いた 簡易された分析のために、より短いサブシーケンスへと時間的に分割することも できる。エンコード処理の後期で、そのようなサブシーケンス・モデルは、１個 の完 全なシーケンス・モデルに結合してマージできる。シーケンスの初期分割におい て、サブシーケンスが、いずれかの方向におけるわずかなフレームによってオー バーラップすることは重要である。 サブシーケンスの熱ノイズ・レベルは、輝度チャンネルの各々に関連した全体 的ランダム・ノイズ差分を累積して、ｉ_nの実際値と共にこの値を初期不確定差 分ｓ²ｉ_nとして記憶することによって、評価される。 また、前処理は、各サブシーケンスについて初期基準イメージＸ_Refを生成す る。初めに、各サブシーケンスのあるフレームｎ_Refが、基準イメージへの出発 点として選択される。このフレームは、低い解像度の輝度の主なコンポーネント 分析に基づいて選択され、サブシーケンスで最も典型的なフレームを因子スコア 空間で探索することによってフォローされる。中間のフレームにはサブシーケン スの両方向に近隣するフレームがあるので、サブシーケンスの中間部内のフレー ムは、サブシーケンスのフレーム初めはあるいは終りのフレームよりも好ましい 。 初期値設定 初期値設定には、様々なコントロール・パラメータの初期値のセットが含まれ る。初めに、スコア・リッジは、全ドメイン及び全サブ・オペランドに対し高い 初期値に設定される。このパラメータは、小さい因子のスコアを安定させるため に、スコア評価部１２０２において使用される。（因子を抽出するため、特異値 分解（主なコンポーネント分析など）が使用される時、個々の因子のサイズはそ れらの相対固有値のサイズによって定義され、小さい因子は小さい固有値を持つ 。より一般的な場合では、小さい因子は、スコアｘローディング積行列が２乗画 素値の低い総和を持つ因子として、ここで定義される。因子のサイズは、含まれ る画素の数、及び、その因子のローディングによって画素がどれだけ強く影響を 受けるかにより決定される。） 強い赤面は、各フレームについて高い初期値にセットされる。これは、スマイ ル・フィールドの評価が、移動効果を間違ってピックアップする予備の赤面フィ ールドによって誤って反対にならないことを確かめるためである。同様に、強い スマイルは、各フレームについて高い初期値にセットされる。これは、赤面フィ ールドの適切な評価が、予備のスマイル・フィールドの擬似の矛盾によって逆に 影響されないことを確かめるためである。強い赤面及び強いスマイルを用いて、 イメージ変化を最適にモデル化するスマイル及び赤面変化フィールド間の、適切 なバランスを達成するように設計された反復処理が行われる。また、初期値設定 には、完全な基準イメージＸ_Refを１個の単一ホロンとして始めに確立し、非常 に平滑な移動フィールドを仮定することが含まれる。 空間モデル・パラメータＸ_Refと時間モデル・パラメータＵ_Seqは、サブシーケ ンスを通じていくつかのパスを反復実行することによって、評価される。各パス について、初期基準フレームから始まって、フレームは、十分に満足なモデルが 獲得されるまで、フレームｎ_Refのどちらかの側のサブシーケンスを通じて双方 向に探索される。 各フレームについて、各画素、各反復及び各フレームについての統計的な重み が決定される。これらの統計的あるいは信頼性の重みは、既定のフレームにおけ る画素の本モデル化可能性の徴候である。フレームｎ、ｘ_nの各画素、様々なサ ブ・オペランドについてのこれら信頼性の重みｗｇｔｓ ｘ_nは、次の関数で表さ れる。 ａ_n：ｗｇｔｓ ａ_n =ｆ（ｐ_n,ｓ²ａ_n,ｗ_n） ｉ_n：ｗｇｔｓ ｉ_n =ｆ（ｐ_n,ｓ²ｉ_n,ｗ_n） 信頼性の重みは、確率特性ｐ_nに比例し、差分ｓ²ａ_n及び警告ｗ_nに反比例して いている。同様に、予備モデルＸ_Refにおける各画素、各サブ・オペランド、各 因子及び各ホロンについての、信頼性の重みＷｇｔｓ Ｘ _Refは、 Ａ_Ref：Ｗｇｔｓ Ａ_Ref：各サブ・オペランドの各因子についての反比 例機能（Ｓ²Ａ_Ref）。 Ｉ_Ref：Ｗｇｔｓ Ｉ_Ref：各サブ・オペランドの各因子についての反比 例機能（Ｓ²Ｉ_Ref）。 一般に、十分な数のフレームに適用可能であるように検出されるこれらの因子 だけが保持される。抽出された因子の多重フレーム適用性は、クロス妥当性検査 またはてこ入れされた訂正によってテストされる。これは、以下で文献として引 用する、H．Martens及びT．Naesによる「多変量キャリブレーション（Multivari ate Calibration）」237〜265頁（John Wiley & Sons、１９８９年）において、 論じられている。特に、マルチ・パスまたは反復評価の場合、これは、以前のパ スの間のモデルへのそれ自体の貢献に基づいた多重フレーム因子として、人為的 に妥当とされることから、本フレームｎによる貢献を防止することを含んでもよ い。 変化フィールドＤＸ_Ref,nの評価、及び、サブシーケンスに関連した各フレー ムｎについてのモデル{Ｘ_Ref,Ｕ_Seq}への次の貢献、または、それが属する完全 なシーケンス・モデルへの次の貢献は、反復処理であり、これから詳細に説明す る。初めのパスでサブシーケンスを通じて遭遇する初めのわずかなフレームにつ いては、いかなる信頼性の高いモデルも、まだ開発されていなかった。従って、 これらの初めのわずかなフレームについての変化フィールドの評価は、次に続く フレームについて評価するよりも難しく、不確定である。更に発展するに従い、 モデルは、より後のフレームについての変化フィールドの評価の安定化及び簡易 化を、ますます援助する。従って、始めのわずかなフレームを通る初期パスの間 に、ある高段階のモデル化可能性を持つイメージ領域だけが使用される。加えて 、移動に関して、平滑な変化フィールドについての強い仮定が、初めのわずかな フレームについて変化フィールドを評価するのに自由になる可能な程度を制限す るために、使用される。同様に、赤面因子に関して、平滑度と多重フレーム適用 性についての強い仮定が、単独で赤面因子に対する不要な信頼を防止するために 、課される。エンコード処理が反復するとき、真の小変化パターンが変化因子に よって適切にモデル化されるように、これらの仮定及び要求は緩められる。 好ましい実施例によるシーケンスのエンコード処理には、結合変化フィールド ＤＸ_Ref,nが各フレームについて評価されることが必要である。すなわち、異な るドメイン変化フィールドＤＡ_Ref,n、ＤＩ_Ref,n及びＤＰ_Ref,nを、受け入れ可 能なデコード結果ｘ_mを渡すために、同時に使用することができる。上で説明し たように、これには、各フレームについて異なるドメイン変化フィールドの反復 修正が必要となる。アドレス及び輝度について定義された重み、ｗｇｔｓ ｘ_n及 びＷｇｔs Ｘ_Refは、ローカル変化フィールドｄｘ_mnの評価の最適化のために使 用される。この反復処理の間に、解釈部７２０は、上述のように、ＤＸ_Ref,n（ 結合）で変化フィールド情報を累積するために、主に使用される。既に確立され たシーケ ンス・モデルＸ_Ref、Ｕ_Seqにおける値は、修正されない。 変化フィールド情報ＤＸ_Ref,n（結合）の反復逐次的評価において、モデル評 価は、個々の反復結果のトラックを維持し、選択された増分が満足なモデル化安 定性を生成するのに不足する数組の反復をバックトラックする。 一度、結合変化フィールドＤＸ_Ref,n（結合）が既定のフレームについて評価 されれば、ＤＸ_Ref,n（結合）に基づくシーケンス・モデルＸ_Ref、Ｕ_Seqを最適 化するために、これは解釈部７２０において分析される。 シーケンス・モデルの開発 フレームｎについて、及び、モデルについての信頼性の重みは更新される。続 いて、スコアｕ_n及び残差ＥＸ_Ref,nが評価され、変化フィールド情報が、新たな 妥当な変化因子での基準モデルの可能拡大のために累積される。分割を用いて基 準モデルが拡張され、３Ｄ構造の改良が試みられ、モデル深化の機会がチェック されるの。これらの動作の全ては、以下で詳細に説明する。 サブシーケンスの全フレームが、パスが完成されるようにこのように分析され た時、より簡単な因子構造を達成するために任意で統計的に回転される獲得モデ ルで、次のパスの間に評価を高めるために、重みと確率の特性は更に更新される 。加えて、他のサブシーケンスでの既定のサブシーケンスのマージの確率が調査 され、更にパスが必要かどうかがチェックされる。更にパスが必要でないならば 、これまでに得られたパラメータ結果は、ある最終的な時間にシステムを通じて 、量子化されたパラメータで、動かすことができる。 完全エンコード処理の制御及び移動を、より詳細に説明する。初めに、重みは 、ＤＸ_Ref,nにおける様々なサブ・オペランドの獲得不確定差分に応じて修正さ れる。既定のサブ・オペランド変化フィールドにおける不確定性の高い画素は、 このサブ・オペランドについての次の統計的な動作のため、より低い重みを与え られる。これらの重みは、解釈部７２０において、多変量統計処理を最適化する ために、このとき使用される。 様々なドメインとサブ・オペランドのためのスコアｕ_nは、スコア評価部１２ ０２の異なるホロンについて評価される。また、関連する不確定共分散は、従来 の線形最小２乗方法論の仮定、例えば、残差にて正常分配されたノイズを用い、 ロ ーディングを重み付けされた様々な因子間の相互相関のための訂正を供給するこ とによって、評価される。総和信号効果が小さいスコアは、統計的な安定化のた め、スコア・リッジ・パラメータを用いて、０に向かって偏らされる。 残差変化フィールドＥＸ_nは、既知の因子の効果を削除した後に、残差変化フ ィールド評価部１２１０において評価される。 次に、様々なドメイン、サブ・オペランド及びホロンについての現存のモデル Ｘ_Ref Ｕ_Seqの拡大は、空間モデル拡大部１２１４において試みられる。これは 、高い確実性を持つデータ要素が優位を占めることを確かめるために、不確定差 分及び入力の一部としての重みを用いて実行される。ローディングの不確定差分 は、標準線形最小２乗方法論の仮定、例えば、正常分配されたノイズを用いて、 評価される。 拡大処理の一部として、基本的な３Ｄ構造Ｚ(0)及び結合した関連した変化因 子Ｚ(f)，f=１,２,...は、その段階で利用可能なデータに応じて評価される。特 に、ｗ_nにおけるモデル化されない画素のための警告は、試験的な３Ｄモデル化 を示唆する。 分割の修飾は、様々なドメイン・データ、特に、隣接したフレームについての 同様のモデル化されないデータに対して、「モデル化不能」警告ｗ_n及びｉ_nの関 連したデータを、モデル化されない関連エリアの累積された発展を検出するため に、チェックすることによってなされる。イメージのモデル化されない部分は、 空間モデル拡張部１２１６において分析され、それにより、新たなホロンを生成 するか、またはＳ_Refでの現存するホロンを修正する。分割経過の間に、分割変 化のより高い確率が、現存のホロンに沿って、及び、他の場所のｘ_n及びＸ_Refの エッジに沿って沿って予期される。基準イメージにおいて空間的に隣接し時間的 に関連するホロンが、マージされる。反対に、矛盾した空間及び時間モデル構造 を表示するホロンは、分割される。 影及び透光性のオブジェクトは、拡大処理の一部としてモデル化される。これ には、ホロンの基本的な確率の透光性を評価することが含まれる。移動する影を 識別するための好ましい実施例において、色空間における光の系統的な低次元の 喪失を異なるフレームに比較し、フレームｎにおいて表示する隣接した画素のグ ループは、影ホロンに選定される。影ホロンは、暗い色輝度を持っている半透光 性のものとして、定義される。 明瞭な因子構造を持たない、すなわち、ＡあるいはＩドメインにおいてわずか な高エネルギー因子ではなく多くの低エネルギー因子を持つ基準イメージにおけ るエリアは、時空的な構造について分析される。これらのエリアは、流水のよう な準ランダムなシステムのモデル化のような、特別なモデル化技術でモデル化す るようにマークされる。エンコーダのこの部分は、ある特定の特別技術を選択す る点については、多少人間が間に入る必要があるかもしれない。このような特別 なエリアの効果は、次のパラメータ評価において最小化される。 説明したエンコードの動作は、より複雑なローカル変化フィールド評価ｄｘ_mn と使用することができる。好ましい実施例においては、予測フレームｍの各サブ ・オペランドの各画素について、ローカル変化フィールド評価部１０５０により 、（その関連した不確定性を持つ）ただ１個の変化値が評価され、出力される。 別の実施例においては、各ドメインまたはサブ・オペランドについてのローカル 変化フィールド評価部１０５０によって評価された多様な代替変化値（それぞれ 関連した不確定性を持つ）があってもよい。例えば、２個以上の代替的潜在的に 受入可能な水平、垂直及び深度への数グループの画素の移動は、ローカル変化フ ィールド評価部８５０によってｄｘ_mn８５５におけるｄａ_mnの部分として示すこ とができる。これらの代替物の各々は、このときＤＸ_Ref,n８９０の部分として 基準位置へ戻される。続いて、解釈部は、代替物の異なる組合せをモデル化する ことを試み、一番良い結果を生成するものを選択する。ローカル・モデル化への 同様に柔軟な代替手法では、好ましい実施例のように、ローカル変化フィールド 評価部８５０に、各副オペランドのための各画素についてただ１個の値を出力さ せる。しかし、その代わりに、変化代替物の最も可能性ある組合せを記述するロ ーカルな統計的共分散モデルにより、不確定性（例えば、不確定差分ｓ²ｄｘ_mn ）を置換する。これらの共分散モデルはこのとき累積され、解釈部によって、モ デルの拡大、拡張及び深化の、最も受入可能な組合せを検出するために使用でき る。 ＩＩ．更新モデル 現存のサブシーケンスの全モデルが特定のパスの間に分析され、このシステム がシーケンスの安定したモデルにたどり着いた後、解釈部７２０において、モデ ルはそれぞれ時間及び空間モデル更新部１２０６及び１２０８において更新され 、従って、より小さく容易な圧縮可能／編集可能因子の構造さえもが認められる 。 ＩＩＩ．サブシーケンスのマージ マルチパス・コントローラ６２０において、メタ・モデル化、または付録マー ジ・サブシーケンスに示した技術によって、現存のサブシーケンスを別のサブシ ーケンスとマージさせる試みがなされる。これは、個々のサブシーケンスよりも 、シーケンスのより多くのフレームについて表現しているモデルへ、ローカルな サブシーケンス・モデルを変換するものである。 ＩＶ 収束制御 各パスの終わりで、マルチパス・コントローラ６５０は収束を調べる。収束が 達成されなかったならば、より多くのパスが要求される。従って、マルチパス・ コントローラ６５０は、コントロール・パラメータを修正し、次のパスを開始す る。また、マルチパス・コントローラは、様々なパスにおける様々なモデル開発 の性質及び結果のトラックを維持し、あるモデル開発の選択が不満足な結果とな りそうな場合は、バック・トラックすることもできる。 Ｖ 最終モデル最適化 特定のアプリケーションでは、パラメータ圧縮による量子化エラーは、モデル ・パラメータの評価に導入される。シーケンスのモデル化は、従来のパラメータ から導入された量子化エラーについて訂正する機会を次のパラメータに与えるた めに、もう一度再び繰り返される。最後に、Ｘ_Ref及びＵ_Seqのパラメータ及びエ ラー訂正残差ＥＸ_Refが圧縮され、デコーダによって使用されるために格納及び ／または伝達の準備がされる。 内部のモデル・データは、入力データより多くの精度を用いて、格納すること ができる。例えば映像コーディングにおいて、関連するが移動するオブジェクト のいくつかの入力フレームからの累積情報のモデル化によって、最終的な内部モ デルＸ_Refは個々の入力フレームより高い空間の解像度を持つことができる。一 方、入力または出力データよりも完全に異なる解像度を用いて、例えば、使用可 能な画素の完全な組合せの中からモデル深化部によって選択された、不規則に配 置されたキー画素の小さいサブセットとして、内部モデルを蓄えることができる 。このため、デコーダの移動部部分での画素間の補間によって、良い出力イメー ジ品質が得られる。また、本発明は、入力のものとは異なる表現のデコード結果 を出力できる。例えば、時間及び空間パラメータの補間と補外を用いて、色空間 の変化と共に、システムは、ＮＴＳＣ方式とＰＡＬ映像形式の間で変換できる。 本発明のＩＤＬＥモデル化法は、入力または出力データ要素の順序をソートす るために使用できる。映像の暗号化設計の部分として、個々の入力または出力フ レームの列がそれらの共通順序に相対して変化するように、この種のソートを適 用できる。 入力データにおける喪失、または特にノイズの多いデータ要素による有害な影 響を、このシステムでは扱うことができる。各個々の入力データ要素のモデル化 貢献は、エンコーダ・システム自体によって評価される個々の重みで、他のデー タ要素のモデル化貢献に関連して重み付けすることができるからである。 本発明の好ましい実施例では、様々な相方向の双線形因子モデルを使用し、そ れぞれが因子貢献の総和（従って「線形」という）から成り、各因子は２つのタ イプのパラメータ、スコア及びローディング（従って「双線形」という）の積と して定義される。これらのパラメータは、例えば、それぞれ時間及び空間の変化 情報を記述する。このタイプのモデル化は、一般化、あるいは、拡張される。そ のような一般化は、各因子貢献が２つだけでなく３つのタイプのパラメータの積 である３線形モデルのような、より高い方法モデルに使用される。または、双線 形因子の各々は、それ自体の双線形モデルによって更にモデル化することができ る。 メタモデル化 シングル・シーケンス・メタ・モデル化 上述のシステム及び方法に応じて獲得されたＩＤＬＥモデル・パラメータには 、 既に、取り除かれた個々の副オペランド内で冗長部分がある。しかし、モデル・ パラメータには、なお、ドメイン及び副オペランドを横切って残る冗長部分があ ってもよい。例えば、オブジェクトがどのように色輝度を変えるかの空間パター ンは、そのオブジェクトがまたどのように移動するかの空間パターンに似ていて もよい。従って、Ｘ_Refにおけるある色と移動ローディングとの間に空間の相互 関係がある。同様に、１個のオブジェクトがどのように時間にわたって色を変え るかの時間パターンは、そのオブジェクトまたはある他のオブジェクトがどのよ うに時間にわたって移動するかに似ていてもよい。後者の場合、ある色と移動ス コアＵ_Seqとの間には時間相互関係がある。入力が１組の入力フレームというよ りむしろモデル・パラメータの組合せであるという以外は、メタ・モデル化は本 質的にＩＤＬＥモデル化法と同じである。 空間メタ・モデル化 空間メタ・モデル化は、本質的にＩＤＬＥモデル化法と同じである。しかし、 モデルへ入力されるのは、現在、初めのＩＤＬＥモデルの部分として決定された 個々のロードである。初期モデルＸ_Refの各ホロンについて、全色の因子ローデ ィング全てを選択できる。例えば、ＲＧＢ表現の場合、赤ローディングＲ(f)_Ref ,ｆ=０,１,２,...、緑ローディングＧ(f)_Ref,ｆ=０,１,２,...、及び青ローディ ングＢ(f)_Ref,ｆ=０,１,２,...の全てが選択でき、Ｆ因子を、Ｆ輝度「フレーム 」からなる同値の単一メタ・シーケンスに統合し、各フレームは、拡張された基 準フレームのホロンと同じサイズを持つ輝度ローディングとなる。解釈部の空間 拡大部でのように、各ローディングが１列に配列される時、Ｍ画素をそれぞれ持 つＦ輝度ローディングの総和で、色輝度ローディングがＦｘＭ行列を形成する。 この行列の特異値分解（ｓｖｄ）は、Ｍ画素の各々についてのメタ・ローディン グと、Ｆの元の因子の各々についてのメタ・スコアを持つ、メタ・ファクターを 生成する。メタ・ファクターの数がＭまたはＦよりも小さいものに等しいならば 、ｓｖｄは元のローディングの完全な再構成を生ずる。しかし、元のローディン グに重要な中間色の空間の相互関係があるならば、これらはメタ・ファクターに 累積されることになり、適切な再構成に必要なＭあるいはＦ因子より小数という 結果に なる。メタ・スコアは、Ｆの元の色因子ローディングが相互に関連する方法を示 し、メタ・ローディングは、これらの相関関係がＭ画素に関して空間的に分配さ れる方法を示す。 同様に、１個のホロンが３つの座標方向に移動する方法に、空間の相互相関が あるならば、水平、垂直及び深度の方向へのスマイル・ローディングの空間のメ タ・モデル化によって、これらの相互相関が明らかになるだろう。同様に、１個 のホロンが２個以上の確率の特性に関して変化する方法に、空間の相互相関があ るならば、これらの確率の冗長度は、様々な確率特性のローディングの空間メタ ・モデル化を用いて、強化することができる。 最後に、その代りに空間メタ・モデル化が、各ホロンまたはホロンのグループ について同時に、色輝度、移動及び確率変化ローディングで、実行することがで きる。再び、空間のメタ・ローディングは、元のＩＤＬＥモデル内での空間の相 互関係冗長度を表し、空間のメタ・スコアは元のＩＤＬＥ因子ローディングが互 いに空間の相互関係に関して関連づけられる方法を計量する。標準的な主なコン ポーネント分析のように、元の入力ローディング行列が標準化されるならば、ｓ ｖｄからの固有値の分配は、検出された相互関係の程度を示す。以下で文献とし て引用する、H．Martens及びT．Naesによる「多変量キャリブレーション（Multi variate Calibration）」第３章（John Wiley & Sons、１９８９年）。 空間ローディングのそのような直接ｓｖｄは、メタ・レベルでの空間の赤面モ デル化と同等のものとみなすことができる。同様に、メタ赤面因子のみを用いた 空間メタ・モデル化は、メタ基準、メタ赤面、メタ・スマイル及びメタ確率のモ デルで、完全なＩＤＬＥモデル化法に拡張することができる。元のローディング の１つは、メタ基準として用いることができる。空間のメタ・スマイル因子は、 異なる元のローディングの領域が、それらの空間の冗長度を最適化するため、ど のように移動される必要があるかをこのとき定義する。メタ・ホロンは、元のホ ロンと同じである必要はない。空間のメタ・ホロンは、同様の系統的空間のイン タ・ローディング相互関係パターンを持つ領域を持った、元のホロンの部分また は元のホロンのグループのいずれかとして、定義することができる。空間のメタ 透光性のような他の確率の空間のメタ・副オペランドは、異なる空間のメタ・ホ ロンと混合することを可能にする。 時間メタ・モデル化 時間メタ・モデル化は、本質的にＩＤＬＥモデル化と同じである。しかし、モ デルへ入力するものは、現在、初めのＩＤＬＥモデルの部分として決定されたス コアである。Ｘ_Refにおける元の空間の変化因子ローディングのメタ・モデル化 とほぼ同じ方法において、ＩＤＬＥメタ・モデル化は、Ｕ_Seqのシーケンス・ス コアに適用できる。時間メタ分析は、シーケンス・フレームの一部または全てに わたる、ホロンの一部または全てについての副オペランド因子の一部または全て について実行することができる。 時間メタ因子ローディングは、即ち、元の映像シーケンスにおける異なるフレ ームｎ=１,２,...Ｎがどのように互いに関連するかを示し、時間メタ因子スコア ｆ=１,２,...Ｆ（どのような副オペランド及びホロンが共にメタ分析されても） は、元のＩＤＬＥモデルの異なる因子のスコアがどのように互いに関連するかを 示す。スコアのＮｘＦ行列の簡易ｓｖｄは、このとき、どのような時間冗長部分 が元のＩＤＬＥモデルの因子間に存在するかをモデル化する。 因子スコアのこのような簡易ｓｖｄは、時間メタ赤面モデル化に相当する。標 準ＩＤＬＥモデル化である場合のように、完全な時間のＩＤＬＥメタ・モデル化 は、空間の関数より、時間の関数に関して表される。この状態で、メタ・ホロン は時間にわたってイベントまたは行動を表し、メタ・スマイル因子はイベントま たは行動の時間シフトを表し、メタ赤面因子はイベントまたは行動の範囲を表す 。メタ基準は、映像シーケンスを通じた元の因子スコア・シリーズの一つである ように選択できる。 従って、時間メタ・スマイル因子は、系統的でしかも複雑な時間偏差を、元の ＩＤＬＥモデルによって表された他の変化パターンのメタ基準パターンから離し てモデル化するために用いることができる。例えば、元のシーケンスのひとつの オブジェクト（例えば、後続する車）の移動が別のオブジェクト（例えば、先行 する自動車のブレーキ・ライト）の移動及び色変化に間に合うように後続したが 、しかし、さまざまな系統的な遅延（例えば、加速パターンを変化させることに よ る）を示したならば、これは、時間メタ・スマイル因子のもとになるだろう。時 間メタ・スマイル因子のローディングは、互いに方法に、元の入力シーケンスの 異なるフレームがどのように互いに関連するかを示し、時間メタ・スマイル・ス コアは、元のＩＤＬＥモデルの異なる因子がどのように互いに関連するかを示す 。 時間メタ・ホロンは、一般的に、互いに別々に最善にモデル化される、別々の 時間の出来事に相当する。このとき、メタ透光性因子は、異なる時間ホロンを平 滑に組合せるために用いることができる。順番にてもよい上述のメタ・モデル化 処理のモデル・パラメータは、次にそれら自体をメタ・モデル化することができ る。 メタ・モデル化がエンコーダ（「メタ・エンコード」）で用いられる時、デコ ーダ・システムには対応する逆行列メタ・モデル化（「メタ・デコード」）があ ってもよい。 マルチ・シーケンス・メタ・モデル化 上述のシングル・シーケンス・メタ・モデル化は、更にマルチ・シーケンス・ メタ・モデル化に適用できる。マルチ・シーケンスメタ・モデル化の主なアプリ ケーションには、映像コーディングがあり、異なるが関連付け可能な映像シーケ ンスにから、ＩＤＬＥモデルを関連付けるのに用いられる。関連する２個以上の ＩＤＬＥをマージするための１つの方法は、それらのローディングまたはスコア を直接、上述のようにメタ・モデル化することである。空間構造のそのような直 接メタ・モデル化は、拡張された基準イメージが同じまたは非常に類似するなら ば、有効である。しかし、シーケンスが異なるサイズに拡張された基準イメージ を持つならば、直接の空間メタ・モデル化を達成するのは難しい。その上、物理 的に目的を達することはできても、拡張された基準イメージのサイズが同一でも ホロンが異なっているならば、結果はむしろ無意昧である。 上で説明した先行する／後続する自動車の例のように、シーケンスが同じ長さ であって関連する出来事を反映するならば、直接の時間メタ・モデル化は同様に 有効である。シーケンスが同じ長さのサブシーケンスに分離されず、シーケンス が関連するイベントを反映しないならばむしろ無意味になる場合、メタ・モデル 化の実行は難しい。 間接的なマルチ・シーケンスメタ・モデル化 間接的なシーケンス・メタ・モデル化は、メタ・モデル化の２以上の段階を用 いるものである。ある段階は、２個以上のモデル・パラメータの組合せを互換さ せていることであり、第２の段階は互換可能な組合せを生じるメタ・モデル化の である。間接的なマルチ・シーケンス・メタ・モデル化は上述のメタ・モデル化 より柔軟であり、そのため、より大きいクラスの現象のモデル化ために単一のモ デルを許す。 空間メタ・モデル化の予備の位相において、１または複数のシーケンスの拡張 された基準イメージ及び関連する因子ローディングは、新たに拡張された基準イ メージを、例えば簡易ＩＤＬＥモデル化によって、確立するために用いられる。 新たに拡張された基準イメージを形成するために、２個の空間のサブシーケンス ・モデルを共に結合する別の方法は、後の付録マージ・サブシーケンスにて更に 詳細に説明する。サブシーケンスが少なくとも１個のフレームによって互いにオ ーバーラップするならば、この後の手法が適用可能である。 予備の時間メタ・モデル化は、別のサブシーケンスの時間基準サブシーケンス で、１または複数の時間基準サブシーケンス及び関連する因子スコアの時間互換 性を達成する。これは、時間のドメインをモデル化するための簡易ＩＤＬＥモデ ルを用いてできる。 互換性が空間及び／または時間のドメインにおいて達成されれば、このとき、 異なるサブシーケンス・モデルは、単一のサブシーケンスに属したかのように、 結合してメタ・モデル化することができる。 メタ・モデル化を用いたモデル組合せ 異なるモデルからのスコア及びローディングは、異なるモデルからのローディ ング及びスコアと組合せることができる。あるいは、１個のモデルのスコアまた はローディングは、代替の資源、例えば実時間のジョイスティック入力からの他 のスコアまたはローディングで置換することもでき、メタ・モデル化を用いて組 合せることができる。映像のダビングにおける音と映像データの間の唇同期は、 メタ・モデル化を用いたモデル組合せの一例である。特に、スマイル・スコアは 、 既に確立されたＩＤＬＥイメージ口移動モデルから評価することができる。これ らのスコアは、このとき、話す口によって生成された音を表現する、対応する時 間シリーズに調和することができる。唇同期は、このとき、イメージ・データと 音時間シリーズの最適な共変動を提供する。既に確立されたモデルからのイメー ジ・スコア及び音時間シリーズ・ローディングのメタ・モデル化を用いて、達成 することができる。 ＩＤＬＥパラメータのメタ・モデル化を用いたモデル組合せの別のアプリケー ションには、既に確立されたモデルのＩＤＬＥパラメータ及び外部データとの間 の共変動のモデル化がある。例えば、データベースで、大きい組合せの関連する 医用イメージをモデル化するために、ＩＤＬＥモデル化が使用されたならば、選 択されたイメージについてのＩＤＬＥスコアは、対応するイメージのオブジェク トの各々についての特定の薬物治療及び医学の歴史に関連づけられてもよい。こ の共変動分析を実行するためのある方法は、部分的最小２乗回帰（Partial Leas t Squares Regression）＃２（「PLS2」）である。これは、以下で文献として引 用される、H．Martens and T．Naesによる「多変量キャリブレーション」146〜1 63頁（John Wiley & Sons、１９８９年）において論じられている。異なるイメージ入力チャンネルのための結合対分離移動モデル化 色映像シーケンスのための典型的な入力には、６つの入力量がある：３つの暗 示の位置次元（垂直、水平及び深度）及び３つの明示輝度（例えばＲ、Ｇ、Ｂ） である。基本的なＩＤＬＥシステムの好ましい実施例においては、３つの輝度チ ャンネルは、同じカメラからの入力、よって同じオブジェクトへ関連づけられた 情報を表すと仮定される。従って、同じ分割及び移動（Ｓ及び不透光性、スマイ ル及びうなずき）は、全３つの色または輝度チャンネルについて仮定される。色 チャンネルは、赤面モデル化において分離されるだけである。更なるモデル冗長 部分は、上述のように、様々なローディングの結合多変量モデル化によってこの とき除去される。 代りに、各赤面因子が各フレームについてある共通のスコアを持ち、各色チャ ンネルについて異なるローディングを持つように要求することによって、基本的 なＩＤＬＥシステムは、同時に入力量の間でより強い接続性を持つように、すな わち、異なる色チャンネルでのモデル赤面情報を同時に持つように修正されるこ とができる。これにより、１個ホロンまたは１グループのホロンについて全ての 色チャンネルで同じ時間の力学を持つ輝度変化が選択に与えられ、例えば、編集 や圧縮と同様に、因子の評価を安定させるために用いることができる。その代わ りに、基本的なＩＤＬＥシステムは、入力量の間でより弱い接続性を持つように 修正することができ、この場合、移動は各色チャンネルについて別々に、多少分 離するようにモデル化される。これにより、計算上では有効となり、異なるチャ ンネルが異なる空間情報を実際に表す場合により多くの柔軟性が与えられる。 独立移動モデル化の一例は、異なるセンサを備えた１組の監視衛星からの、マ ルチ・センサ地理的入力イメージの場合である。異なる位置から異なる時間に同 じ地理的エリアを１度以上繰り返し記録すること、及び異なる光の異常、異なる 記録回数及び異なる解像度を可能に表示することに基づいて、ＩＤＬＥシステム は、幾分一致しない入力イメージの効果的な正常化、圧縮及び解釈に用いること ができる。異なるセンサ・チャンネルは、異なる空間構造及び現象に対し、全く 異なる感度を示す。例えば、レーダー及び磁力測定をイメージ化するセンサは陸 及び海水面の高度変化に対して感度が高いが、一方、光子に基づいてイメージ化 するセンサ、例えばＵＶ、可視及び赤外線カメラには、短期の天気状態と同様に 、様々な長期の気候の変化及び植物変化に対して様々な感度を持つものもあるだ ろう。この状態では、ＩＤＬＥシステムは、無関係に観測されたチャンネルにつ いて、別々の分離した移動及び赤面モデル化を必要とするだろう。 このタイプのシステムの別の例は、一定期間にわたって、癌成長、血管変化ま たは他の時間変化現象を監視するために既定のオブジェクトを繰り返し走査する 、いくつか医用イメージ化装置（ＭＲＩ、ＰＥＴ、ＣＴ）から得られる入力デー タである。各装置が分離した次元を必要とするので、オブジェクトは、測定が繰 り返される経過にわたって、各異なる装置及び各走査のためにわずかに位置を変 えて配置されるだろう。生物組織の移動は、アフィン変換を典型的にフォローし ない。従って、ＩＤＬＥスマイル因子は、柔軟ではあるがまだ十分に制限的な方 法で本体移動を表し、要求された正常化を許すだろう。各イメージ化装置は、様 々 なイメージ化装置からの各個々の組の走査について、その拡張された基準位置か ら結果までのスマイル因子のその装置自体のサブセットをこのとき持つことがで きる。結果として生じる正常化において、組織変化を発達させるのが遅いという 早期警告を与える赤面因子及びローカル・スマイル因子を検出することができる 。最大空間を調和するため、異なるイメージ化装置について、拡張された基準位 置が例えばメタ・モデル化によって標準化されるならば、これは特に効果的であ る。この方法においては、例えば全チャンネルについての赤面因子スコアが同一 で、ローディングだけが異なるように要求することによって、ノイズの測定に対 してモデル化を安定させるために、異なるイメージ化装置の全チャンネルからの 結合信号を使用することができる。 ２次元入力（イメージ）の分析からの汎化 上述のＩＤＬＥモデル化システムは、従来の２次元映像イメージとは異なる形 式の入力記録について用いることができる。例えば、ライン・カメラからのライ ンの時系列や、あるいは静止イメージの中での個々の列のような、１次元データ に用いることもできる。 ＩＤＬＥシステムは、後の場合では静止イメージ圧縮システムの部分として用 いることができる。この形式のアプリケーションにおいては、静止イメージ・エ ンコーダへの入力情報は、２次元フレーム・データの代りに、ペルのラインまた は列である。各入力レコードは、２次元イメージにおいて垂直の列を表すことが できる。従って、静止イメージＩＤＬＥローディング・パラメータは、２次元イ メージの代りに列形になる。映像シーケンス（フレームｎ=１,２,..）の時間次 元は、この場合、イメージの水平ペル索引（列番号）に置換される。 異なる入力次元のための同時モデル化 静止イメージＩＤＬＥ符号変換回路への入力が、ＲＧＢ静止イメージであるな らば、このとき３つの色チャンネル（あるいはこれらをＹＵＶように変換したも の）を別々にまたは結合してコードできる。これは、映像ＩＤＬＥ符号変換回路 について上記で説明した通りである。同様に、静止イメージＩＤＬＥ符号変換回 路への入力が、映像ＩＤＬＥ符号変換回路からの拡張されたイメージ・モデルの １組の空間のパラメータであるならば、異なる入力次元（赤面因子、スマイル因 子、確率因子）を別々にまたは結合してコードできる。 映像圧縮のアプリケーションの文脈で上述した本発明は、多数の情報処理及び ／または取得のアプリケーションのいずれにも適用される。例えば、白黒または カラーの映像シーケンス（１組の関連したイメージ）をモデル化あるいは編集す るために、イメージ・シーケンスあるいは映像シーケンスを処理する場合、モデ ル化は、モデル・パラメータの編集有用性を最適化するような方法で、ＩＤＬＥ パラメータに関して実行される。モデル・パラメータは、次に確立されたパラメ ータの組に関連づけられ、他の既知の編集モデル要素はモデルの中に押しやられ る。パラメータのグループは、互いに階層的な型において関連づけられる。シー ケンスは、時間及び／または空間パラメータが変化することにより編集される。 関連した映像シーケンスの組合せは、マルチ・シーケンス・メタモデル化によっ て結合してモデル化される。すなわち、各関連したシーケンスは特別なＩＤＬＥ メタ・モデルによって「基準シーケンス」の上にマッピングされる。 また、本発明は、記憶または伝達のための圧縮にも適用される。このアプリケ ーションにおいては、映像シーケンスはＩＤＬＥエンコードによってモデル化さ れ、その結果生じるモデル・パラメータが圧縮される。デコード・システムの帯 域幅と記憶容量次第で、異なる圧縮及び表現戦略が使用される。変化因子の時間 のソート、及び、空間パラメータのピラミッド形の表現及び伝達が、伝達帯域幅 限界にかかわらないシステムの強性を増大させるために使用される。 同様に、本発明は、白黒映画の色付け（colorization）に適用される。この場 合、白黒映画シーケンスは、ＩＤＬＥエンコードによってモデル化される。Ｉ_{Re f} における空間のホロンは手動または自動で彩色され、これらの色はシーケンス にわたって自動的に分配される。関連するシーケンスの組合せは、一貫した着色 のために認識される。 加えて、本発明は、シミュレータ、仮想現実、ゲーム及び他の関連するアプリ ケーションで用いられる。関連のあるイメージ・シーケンスは、記録され、圧縮 される。デコード時、記録されたスコアを用いる代りに、少々の選択されたスコ アがユーザにより制御される。同様に、他のスコアは、ユーザに制御されたスコ アに応じて変化させられる。例えば、交通シミュレータの場合では、自動車内部 及び道と地形の内部の記録シーケンスが、どのように自動車が移動するかに直接 相当するそれらのスコア、おそらくうなずきスコアを識別し、それらのうなずき スコアに基づいて間接的に変化するそれらのスコア、例えば照明、影、全体像等 についてのスマイル／赤面因子のようなものを決定し、そしてハンドル、アクセ ル・ペダル、ブレーキ・ペダル等のような制御入力の一定の移動に対し、どのよ うに自動車が反応するかを定義する数学的モデルをセットアップする。そして、 ユーザは、前方及びおそらくは両側にもディスプレイがついた、シミュレートさ れた自動車内部に座ることができる。シミュレートされたコントローラは、この とき「直接」因子に接続され、次に「間接」因子をコントロールするために用い られる。その結果生じるイメージは、非常に自然な効果を与えるだろう。 また、本発明は、テレビ電話、テレビ、及びＨＤＴＶのような実時間システム においても使用される。新たなシーケンスの手始めに空間情報のバーストがある こともあるが、非常に長いシーケンスのために極端な圧縮比を達成することがで きる。また、このアプリケーションには、実時間デコード及びエンコードが含ま れる。使用可能な計算力次第で、ＩＤＬＥアルゴリズムの複雑度が異なる程度に 実行される。例えば、空間ドメインの情報は、特定のアプリケーションの可能性 及び必要性次第で変化するイメージ・サイズでＩＤＬＥエンコーダ・アルゴリズ ムを動作し、標準のガウス・ピラミッド（ref）によって表される。拡大、拡張 または深化のためのエンコーダ解釈部の部分は、各フレームについて完全に実時 間でなくてもよい。場面の複雑度とイメージのサイズは、このとき圧縮比及び得 られるコーディング品質を定義する。 また、本発明は、遠隔カメラ監視においても用いることができる。イメージ情 報資源で遠隔実時間エンコーダを使用することによって、カメラ・データの解釈 と伝達は簡易化される。一般的な赤面因子は、様々な標準の照明変化のような標 準の系統的変化をモデル化する。一方、一般的なスマイル因子及びうなずき因子 は、標準の移動（例えば、動いている木の枝）を修正する。自動分離物検出及び 空間モデル拡張部は、モデル化されない残差の系統的な冗長部分を検出し、自動 エラー警告が出る前にオブジェクトのデータベースで検索することによって次に 順番に解釈される新たなホロンを生成する。データベースの各オブジェクトには 、それ自体のスマイル、赤面及び確率因子ローディング及び／または移動モデル があってもよい。圧縮されたパラメータは、例えば銀行等の防犯カメラから出力 されたテレビ・カメラのツイスト・ペア銅電話線伝送などの狭い帯域幅のシステ ムを通じて、格納あるいは伝送される。または、例えば深海または宇宙空間伝送 において見られるような非常に狭い帯域幅システムを通じて、格納あるいは伝送 される。 専門のカメラからのイメージ、すなわち、直接の人間の目視を目的としないイ メージは、ＩＤＬＥ技術を用いてモデル化／圧縮される。「色」チャンネルが多 くなるほど、空間ＩＤＬＥモデルのメタ・モデル化圧縮が効果的になる。このア プリケーションの例には、近赤外線（Near Infrared）（ＮＩＲ）の生物学的処 理、または紫外線／可視光線波長範囲（例えば、蛍光を記録するため）を監視す るために用いられるマルチ波長チャンネル・カメラ・システムが含まれる。 また、ＩＤＬＥシステムは、マルチ・チャンネル衛星及び／または航空写真に 結合して使用することもできる。異なる状況で異なる時間に同じ地理的エリアを 繰り返しイメージ化することを、ＩＤＬＥエンコードによってモデル化できる。 そのようなパラメータ化は、記憶及び伝達のための効果的な圧縮をもたらす。ま た、系統的な輝度変化及び移動、またそれらが時間にわたってどのように変化す るかを示す、効果的な解釈ツールを供給する。同じ地理的エリアを、わずかに異 なる位置あるいは異なる測定状態のもとでイメージ化する場合、このとき特別な ＩＤＬＥ前処理モデルが、地理的エリアを目にみえて全く異なる（例えば日光の 多少）ようにして、改良された整列のために使用され、まだ正確な識別の余地が ある。 また、本発明のＩＤＬＥ手法は、映画制作及び音のダビングにおける、クロス ・ドメイン調整または唇同期のアプリケーションでも利用できる。「多変量キャ リブレーション（Multivariate Calibration）」については、話す人の口領域の ＩＤＬＥ映像モデルからの時間パラメータ・スコアは、スピーチ音モデルのため の時間パラメータ（例えばサブバンドまたは Celp 符号変換回路、またはＩＤＬ Ｅ音符号変換回路）に、例えばＰＬＳ２回帰によって関連づけられる。この回帰 モデル化は、様々な既知のイメージ／音同期で話す人々の１組の映画シーケンス からのデータに基づいてもよく、従って、唇・音同期を最適化するために、ロー カルな唇同期遅延をモデル化する。唇同期に問題がある各新たなシーケンスにつ いて、同じイメージ及び音のモデル・スコア・パラメータが評価される。一度評 価されると、このローカルな唇同期遅延は、時間ＩＤＬＥパラメータ及び／また は音パラメータの修正によって、訂正されるかあるいは補われる。 また、ＩＤＬＥ原理は、データベースの圧縮及び／または探索にも適用される 。レコードは互いに関連づけられているが、これらの関係が幾分複雑で、従来の モデル化によって表現するには難しいというデータベースは多い。このようなア プリケーションの例には、人の顔面（「人相写真」）の警察写真、様々な医用イ メージ、例えば、ＭＲＩ身体走査、生物標本の写真、自動車の写真等が含まれる 。そのような場合には、データベースの内容は、ＩＤＬＥモデル・パラメータを 利用して分析され、格納される。データベース内の関連づけられてはいるが複雑 な情報のＩＤＬＥ表現は、いくつかの利点、すなわちデータベースにおける個々 のレコード表現に関する、高圧縮、改良された検索可能性及び柔軟性を提供する 。達成されるであろう圧縮は、どれだけの数のレコードがモデル化でき、どのほ ど簡単にＩＤＬＥモデル化が用いられるかということ、すなわちデータベースの 内容のサイズ及び複雑さに依存する。 改良された検索可能性（及び解釈可能性）は、因子スコア（例えば、少数のう なずき、スマイル及び赤面スコア）に対応し、多量の元の入力データ（例えば、 １イメージにつき２００，０００画素）に反対となるパラメータの低次元の組合 せを用いて、ＩＤＬＥ表現の場合にデータベース捜索を行なうことができるとい う事実から生じる。フラクタルまたはＤＣＴを使用した圧縮技術では、同様の検 索可能なパラメータを生じない。ほとんどＩＤＬＥスコア変数は、例えば医用イ メージ及び医学治療の場合での、より大きく一般的なパターンを探索する可能性 を提供するデータベースにおける外部変数へと、次に統計的に関連づけられるこ とがない。データベースのレコード表現により改良された柔軟性は、双線形ＩＤ ＬＥ因子が、いかなる柔軟性が要求されようと認めるという事実から生じる。わ ずかなスマイル及び赤面因子を持つホロン・モデルに備えることによって、統計 的なオーバーパラメータ化をせずに、パターン認識の間に、系統的に未知の変化 が計量されることが認められる。 データベース表現におけるＩＤＬＥモデル化は、例えば医用のものや犯人のよ うな人の顔面、不動産販売資料、あるいは技術図面を含むイメージ・データベー スのように、種々のレコード型がデータベースで使うことについて用いられる。 このような状態では、ＩＤＬＥモデル化は、各図面における各ホロンの多重利用 を認める。この特別な場合、ホロンは、幾何学的な原形になることができる。さ らなるアプリケーションには、音（音楽、声）、出来事（時空的パターン）、状 態（例えば、特定の時間長における、様々な天気構成または地理的な位置のため に様々な気象データを組合せる天気状態）が含まれる。 また、ＩＤＬＥ原理は、改良されたパターン認識についても用いられる。未知 のレコードを様々な既知のパターンに対して調和させることにおいて、既知のパ ターンが、そのスコアが調和処理の間に評価されるようなわずかなスマイル及び 赤面因子ローディングを含む時、付加的な柔軟性が得られる。既定のパターンの 存在のための入力イメージの探索において、そのスコアが探索処理の間に評価さ れるようなわずかなスマイル及び赤面ローディングを、ホロンが含むのを認める ことによって、付加的な柔軟性が得られる。このタイプのパターン認識手法は、 スピーチ認識に適用される。 ＩＤＬＥ原理はまた、ノイズのろ波、自動警告及び改良された解釈を提供する ため、超音波、ＭＲＩ、ＣＴ等の医用及び産業的なイメージ化装置に適用される 医用の超音波イメージ化においては、ノイズは、大問題である。ノイズが非常に 強いので、ノイズを減少する個々のフレームでろ波すると、必要な信号の重要な 部分も共に破壊することがある。ノイズの多くはランダムで、０の期待値で付加 的であり、また多くのサンプルを同じオブジェクトの同じ部分から集めることが できる場合、このときノイズは、サンプルを平均することによって減少すること ができる。測定オブジェクトあるいは主題を安定して維持することはしばしば不 可能であり、観察される移動は、かなり複雑であるように見えることがある。し かし、観察される移動は限られた数の理由に帰すものであるため、偏位は比較的 ほとんどのＩＤＬＥスマイル及びうなずき因子を必要としないだろう。基準位置 において、ノイズは平均されて消える。スマイル及び赤面因子は、そのようなシ ーケンスの解釈についても同様に有益であることが可能である。最後に、超音波 シーケンスは、格納するのが難しいような非常に大量の生データを表す。唯一ま たは少々の静止イメージは、大抵、格納される。本発明の圧縮アスペクトは、そ れゆえに適用可能性が高い。 また、本発明のＩＤＬＥ原理は、クレジット・カード及び他のイメージ・デー タベース圧縮のアプリケーションにも使用できる。例えば、圧縮の場合、類似し た特徴を持つイメージの組がある場合は常に、このイメージの組は１個のシーケ ンスとみなすことができ、ＩＤＬＥ技術で圧縮することができる。これは、顔面 イメージのデータベースに容易に適用できる。全ロードがエンコーダ及びデコー ダの両側で知られているならば、これは、スコアだけが各個々のために格納され る必要があることを意味する。これらのスコアは、クレジット・カードの磁石ス トライプの記憶容量に合うようになり、従って照合システムのための基礎を形成 できる。 ＩＤＬＥ原理の他のアプリケーションには、静止イメージ圧縮、レーダー（ノ イズろ波、パターン認識及びエラー警告）、自動の動的視覚芸術（美術館や広告 における、例えば、ＩＤＬＥモデルからの出力を表示するフラット・カラーのＬ ＣＤ画面を備えた２つ以上のコンピュータ（一方のコンピュータ上のＩＤＬＥモ デルのスコア・パラメータが、もう一方のコンピュータ上の画面出力、及び自己 編成システムの他センサの機能を果たす）、消費製品あるいは広告（例えば、フ ラット・カラーのＬＣＤ画面を備えた１つのコンピュータであり、その画面は、 乱数発生器及び観察者の行動の組合せに影響されるようなスコア及びローディン グを持つ１個のＩＤＬＥモデルからの出力を表示する）、解体検知及びメタ観測 （イメージが単に上乗せされないようにするため十分に異なる回数で、異なるイ メージ化センサによって移動中の場面の特性が表された場合、ＩＤＬＥモデル化 は移動中の場面をより簡易に上乗せするために標準化するのに用いられる）が含 まれる。 また、ＩＤＬＥシステムは、データ記憶装置正常化（磁気、光）にも用いられ る。特に、書込み処理の物理的位置またはフィールド輝度が変化する場合、ある いは読取り処理あるい媒体それ自体が変化しており従来のモデル化によってモデ ル化及び修正するのが難しい場合、うなずき、スマイル及び／または赤面因子を 用いたＩＤＬＥモデル化は、系統的だが未知の変化について訂正する。多層読出 し／書取り処理を制御するため、これは特に批判的であるだろう。そのようなア プリケーションにおいては、既に書込まれた層が、潜在的スマイル及び赤面因子 を安定化するための入力データとして使われてもよい。 また、本発明のＩＤＬＥ原理は、多数の音のアプリケーションに使用できる。 例えば、音楽、音声または電気機械の振動のような音が、様々なドメイン（例え ば、時間、周波数）の固定された翻訳／うなずき、系統的なシフト／スマイル、 輝度／赤面及びオーバーラップ／不透光性によるパラメータ化を利用して、モデ ル化及び圧縮される。音のホロンは、時間及び／または周波数のドメインにおけ る１つに繋がった音パターンでありうる。更なる音のアプリケーションには、産 業の処理及び監視、自動車、船、航空機の音修正／編集が含まれる。また、探索 が、音データベース（上述のイメージまたは映像のデータベースでの探索と同様 ）にて実行することもできる。従って、時間及び周波数の両ドメインにおける音 のモデル化のように、異なるドメインにおけるＩＤＬＥモデル化を組合せること が可能である。 また、ＩＤＬＥ原理は、天気予報にも使用することができる。機械（カメラを 全体で独立したセンサとして用い、ＩＤＬＥシステムに自分の標準動作を学習さ せ、摩滅と破損、及び異常な動作を警告させて、ロボット品質管理を監視するも の）、古典的なロボット接続の「ハード」なうなずきの木を「ソフトに」定義さ れた移動のためのＩＤＬＥスマイル・モデルと組合せるロボット・モデル化、及 び、人体の動きをモデル化する赤面因子と共にそのような「ソフト」及び「ハー ド」ロボット・モデル化を使用すること、がある。 また、本発明のＩＤＬＥ原理は、指紋、声紋、及び、顔写真イメージの領域で 、法廷調査にも使用することができる。 本発明を、特に好ましい実施例について図示し、説明したが、本発明の精神と 範囲とにそむくことのない、形式と詳細についての様々な変更は当業者によって 了承されよう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＧＥ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ， ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＲＯ，ＲＵ，ＳＤ，Ｓ Ｅ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＳ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．多サンプルのレコードに組織化され、各々がそのレコード内に唯一の位置を 占める複数のデータサンプルから成る入力信号のサンプルを、異なる領域で当該 入力信号の特徴を表わす複数のコンポーネント信号から成るコード化信号に変換 する方法において、 前記コンポーネント信号はそれぞれ複数の因子の組合わせとして形成され、各 因子は、前記データサンプルの或るレコードから別のレコードへの変化を定義す るスコア信号と、１つのレコードの複数の異なる位置におけるサンプルのサブグ ループの相対的変化を定義するロード信号との積であることを特徴とする方法。 ２．請求項１記載の方法において、サンプルの基準パターンを表わす１組の基準 コンポーネント信号が生成され、各レコードにおいて、各々が前記サンプル基準 パターンと前記レコードとの差に等しい複数のコンポーネント変化信号値によっ て前記入力信号が表わされることを特徴とする方法。 ３．請求項２記載の方法において、各レコードは、多次元アレイに配列された同 数のサンプルを有し、前記コンポーネント信号のうちの第１のものはサンプルの 絶対値を表わし、前記コンポーネント信号のうちの第２のものは前記アレイにお けるサンプルの位置を表わすことを特徴とする方法。 ４．請求項３記載の方法において、前記コンポーネント変化信号は、フレームの １つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセルとな り、前記共通ピクセルの輝度は、当該基準イメージのピクセルの輝度の重み付け した和に等しいことを特徴とする方法。 ５．請求項１記載の方法において、少なくとも１組のロード信号と１組のスコア 信号が、全てのレコードの中の対応する特徴の変化を統計的に表わすように各コ ンポーネント信号について選択されることを特徴とする方法。 ６．請求項３記載の方法において、要求される格納領域が予め定義した量を越え ないように前記因子の数及び精度が選択されることを特徴とする方法。 ７．請求項３記載の方法において、更に、前記コンポーネント信号にそれぞれ対 応し、対応するコンポーネント信号が、予め定義した範囲内で前記入力信号の対 応する特徴を表わさない程度まで補正する複数のエラー信号を生成することを特 徴とする方法。 ８．請求項７記載の方法において、予め定義した閾値より下の値に留まるエラー 信号を生成するように前記因子の数及び精度が選択されることを特徴とする方法 。 ９．請求項８記載の方法において、要求される格納領域が予め定義した量を越え ないように前記因子の数及び精度が選択されることを特徴とする方法。 １０．請求項１記載の方法において、更に、前記コンポーネント信号にそれぞれ 対応し、対応するコンポーネント信号が、予め定義した範囲内で前記入力信号の 対応する特徴を表わさない程度まで補正する複数のエラー信号を生成することを 特徴とする方法。 １１．請求項１０記載の方法において、サンプルの基準パターンを表わす１組の 基準コンポーネント信号が生成され、各レコードにおいて、各々が前記サンプル 基準パターンと前記レコードとの差に等しい複数のコンポーネント変化信号値に よって前記入力信号が表わされることを特徴とする方法。 １２．請求項１記載の方法において、各レコードは、多次元アレイに配列された 同数のサンプルを有し、前記コンポーネント信号のうちの第１のものはサンプル の絶対値を表わし、前記コンポーネント信号のうちの第２のものは前記アレイに おけるサンプルの位置を表わすことを特徴とする方法。 １３．請求項１２記載の方法において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、前記共通ピクセルの輝度は、当該基準イメージのピクセルの輝度の和に 等しいことを特徴とする方法。 １４．請求項１２記載の方法において、前記入力信号は慣用のビデオ信号、各サ ンプルはビデオ映像のピクセル、各レコードはビデオフレームであり、前記第１ のコンポーネント信号はピクセルの輝度を表わし、前記第２のコンポーネント信 号はフレームにおけるピクセルの位置を表わすことを特徴とする方法。 １５．請求項１４記載の方法において、更に、前記コンポーネント信号にそれぞ れ対応し、対応するコンポーネント信号が、予め定義した範囲内で前記入力信号 の対応する特徴を表わさない程度まで補正する複数のエラー信号を生成すること を特徴とする方法。 １６．請求項１記載の方法において、サンプルの基準パターンを表わす１組の基 準コンポーネント信号が生成され、各レコードにおいて、各々が前記サンプル基 準パターンと前記レコードとの差に等しい複数のコンポーネント変化信号値によ って前記入力信号が表わされることを特徴とする方法。 １７．請求項１６記載の方法において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、前記共通ピクセルの輝度は、当該基準イメージのピクセルの輝度の重み 付けした和に等しいことを特徴とする方法。 １８．請求項１６記載の方法において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、前記共通ピクセルの輝度は、定数と当該いくつかの基準イメージのピク セルの輝度の和との差に等しいことを特徴とする方法。 １９．請求項１６記載の方法において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、更に、当該いくつかの基準イメージのピクセル毎に深さを定義し、前記 共通ピクセルの輝度を、当該いくつかの基準イメージのピクセルの中で最小の深 さを有するピクセルの輝度に等しくすることを特徴とする方法。 ２０．請求項１９記載の方法において、前記ピクセルの深さは、第３のコンポー ネント信号によって表わされる別の領域として定義されることを特徴とする方法 ２１．請求項１６記載の方法において、前記基準イメージは、前記入力信号の全 てのフレームの中に現れる全ての異なるホロンを含むホロンの集合を具備するこ とを特徴とする方法。 ２２．請求項２１記載の方法において、前記基準イメージ内のピクセルの位置は 第１の座標系で表わされ、前記ホロンの少なくとも１つで異なる座標系で表わさ れることを特徴とする方法。 ２３．請求項２１記載の方法において、異なるホロン内のピクセルの位置は異な る座標系で表わされることを特徴とする方法。 ２４．請求項２１記載の方法において、前記ホロンは、少なくとも１つのドメイ ンで整合した行為を示す１組のピクセルを含み、少なくとも１つのコンポーネン ト信号のロード信号及びスコア信号のうちの少なくとも１つは、当該１組のピク セルに対してのみ作用することを特徴とする方法。 ２５．請求項２の方法で使用するロード信号とスコア信号の組を生成する方法で あって、 ａ．前記複数のコンポーネント変化信号値を、各レコードとサンプルの基 準パターンとの差として定義し、 ｂ．前記複数のコンポーネント変化信号値について主コンポーネント分析 を実行して複数のロードを抽出し、 ｃ．前記複数のコンポーネント変化信号値を前記複数のロード上に投影し て、近似レコードを生成するために前記複数のロードに適用する１組のスコア値 を生成し、 ｄ．前記近似レコードと各レコードとの差を決定し、 ｅ．前記近似レコードと各レコードとの差が所定値よりも小さくなるまで 上記ステップｃ及びｄを繰り返す ことから成ることを特徴とする方法。 ２６．請求項２５の方法で使用するロード信号とスコア信号の組を生成する方法 であって、前記主コンポーネント分析は重み付けした主コンポーネント分析であ ることを特徴とする方法。 ２７．請求項１６の方法で使用するロード信号とスコア信号の組を生成する方法 であって、前記１組の基準コンポーネント信号を付加的なコンポーネント信号を 含むように拡張するステップを備えることを特徴とする方法。 ２８．異なる領域で複数のコンポーネント信号から成るコード化信号を、多サン プルのレコードに組織化され、各々がそのレコード内に唯一の位置を占める複数 のデータサンプルから成る入力信号に復号化する方法であって、前記コード化信 号はそれぞれ複数の因子の組合わせとして表現され、各因子は、前記データサン プルの或るレコードから別のレコードへの変化を定義するスコア信号と、１つの レコードの複数の異なる位置におけるサンプルのサブグループの相対的変化を定 義するロード信号との積であり、サンプルの基準パターンを利用する方法におい て、 ａ．各ロード信号にこれと関連するスコア信号を乗算して前記各因子を生 成し、 ｂ．上記ステップａで生成した因子を組み合わせ、 ｃ．上記ステップｂで生成した因子の組合せに従って１組の基準コンポー ネント信号を改変し、再生した入力信号のレコードを生成すること から成ることを特徴とする方法。 ２９．請求項２８記載のコード化信号を復号化する方法において、前記ロード信 号及びスコア信号のうちの少なくとも１つは記憶媒体上に生成されることを特徴 とする方法。 ３０．請求項２８記載のコード化信号を復号化する方法において、前記基準コン ポーネント信号の値が記憶媒体上に生成されることを特徴とする方法。 ３１．請求項２８記載のコード化信号を復号化する方法において、前記ロード信 号及びスコア信号のうちの少なくとも１つを通信媒体上で遠隔地から受信するス テップを備えることを特徴とする方法。 ３２．請求項３１記載の方法において、前記基準コンポーネント信号の値も前記 通信媒体上で受信されることを特徴とする方法。 ３３．異なる領域で複数のコンポーネント信号から成るコード化信号を、多サン プルのレコードに組織化され、各々がそのレコード内に唯一の位置を占める複数 のデータサンプルから成る入力信号に編集する方法であって、前記コード化信号 はそれぞれ複数の因子の組合わせとして表現され、各因子は、前記データサンプ ルの或るレコードから別のレコードへの変化を定義するスコア信号と、１つのレ コードの複数の異なる位置におけるサンプルのサブグループの相対的変化を定義 するロード信号との積であり、サンプルの基準パターンを利用する方法において 、 ａ．少なくとも１つのスコア信号を改変して所望の編集を達成し、 ｂ．各ロード信号にこれと関連する改変されたスコア信号を乗算して各因 子を生成し、 ｃ．上記ステップａで生成した因子を組み合わせ、 ｄ．上記ステップｂで生成した組合せ因子に従って１組の基準コンポーネ ント信号を改変し、再生した入力信号のレコードを生成すること から成ることを特徴とする方法。 ３４．多サンプルのレコードに組織化され、各々がそのレコード内に唯一の位置 を占める複数のデータサンプルから成る入力信号のサンプルを、異なる領域で当 該入力信号の特徴を表わす複数のコンポーネント信号から成るコード化信号に変 換する装置において、 各レコードを１つの組み合わせとしてコード化する手段を具備し、前記コンポ ーネント信号はそれぞれ複数の因子の組合わせから成り、各因子は、前記データ サンプルの或るレコードから別のレコードへの変化を定義するスコア信号と、１ つのレコードの複数の異なる位置におけるサンプルのサブグループの相対的変化 を定義するロード信号との積であることを特徴とする装置。 ３５．請求項３４記載の装置において、サンプルの基準パターンを表わす１組の 基準コンポーネント信号を発生する手段と、各レコードについて前記入力信号を 表わす複数のコンポーネント変化信号値を生成する手段とを具備し、各コンボー ネント変化信号値は前記サンプル基準パターンと前記レコードとの差に等しいこ とを特徴とする装置。 ３６．請求項３５記載の装置において、各レコードは、多次元アレイに配列され た同数のサンプルを有し、前記コンポーネント信号のうちの第１のものはサンプ ルの絶対値を表わし、前記コンポーネント信号のうちの第２のものは前記アレイ におけるサンプルの位置を表わすことを特徴とする装置。 ３７．請求項３６記載の装置において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、更に、前記共通ピクセルの輝度を前記いくつかの基準イメージのピクセ ルの輝度の重み付けした和に等しくさせる手段を具備したことを特徴とする方法 。 ３８．請求項３６記載の装置において、更に、前記コンポーネント信号にそれぞ れ対応し、対応するコンポーネント信号が、予め定義した範囲内で前記入力信号 の対応する特徴を表わさない程度まで補正する複数のエラー信号を生成する手段 を備えたことを特徴とする装置。 ３９．請求項３４記載の装置において、更に、前記コンポーネント信号にそれぞ れ対応し、対応するコンポーネント信号が、予め定義した範囲内で前記入力信号 の対応する特徴を表わさない程度まで補正する複数のエラー信号を生成する手段 を備えたことを特徴とする装置。 ４０．請求項３４記載の装置において、サンプルの基準パターンを表わす１組の 基準コンポーネント信号を発生する手段と、各レコードについて前記入力信号を 表わす複数のコンポーネント変化信号値を生成する手段とを具備し、各コンポー ネント変化信号値は前記サンプル基準パターンと前記レコードとの差に等しいこ とを特徴とする装置。 ４１．請求項３４記載の装置において、各レコードは多次元アレイに配列された 同数のサンプルを有し、前記コード化する手段は、前記コンポーネント信号のう ちの第１のものでサンプルの絶対値を表わし、前記コンポーネント信号のうちの 第２のもので前記アレイにおけるサンプルの位置を表わすようにすることを特徴 とする装置。 ４２．請求項４１記載の装置において、前記入力信号は慣用のビデオ信号、各サ ンプルはビデオ映像のピクセル、各レコードはビデオフレームであり、前記第１ のコンポーネント信号はピクセルの輝度を表わし、前記第２のコンポーネント信 号はフレームにおけるピクセルの位置を表わしていることを特徴とする装置。 ４３．請求項４２記載の装置において、サンプルの基準パターンを表わす１組の 基準コンポーネント信号を発生する手段と、各レコードについて前記入力信号を 表わす複数のコンポーネント変化信号値を生成する手段とを具備し、各コンポー ネント変化信号値は前記サンプル基準パターンと前記レコードとの差に等しいこ とを特徴とする装置。 ４４．請求項４３記載の装置において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、前記共通ピクセルの輝度は、当該基準イメージのピクセルの輝度の重み 付けした和に等しいことを特徴とする装置。 ４５．請求項４３記載の装置において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、更に、前記共通ピクセルの輝度を定数と当該いくつかの基準イメージの ピクセルの輝度の和との差に等しくなるように制御する手段を具備したことを特 徴とする装置。 ４６．請求項４３記載の装置において、前記コンポーネント変化信号は、フレー ムの１つの共通ピクセルにマッピングされたいくつかの基準イメージのピクセル となり、更に、当該いくつかの基準イメージのピクセル毎に深さを定義する手段 と、前記共通ピクセルの輝度を当該いくつかの基準イメージのピクセルの中で最 小の深さを有するピクセルの輝度に等しくなるように制御する手段とを具備した ことを特徴とする装置。 ４７．請求項４３記載の装置において、前記基準イメージは、前記入力信号の全 てのフレームの中に現れる全ての異なるホロンを含むホロンの集合を具備してい ることを特徴とする装置。 ４８．請求項４７記載の装置において、前記ホロンは、少なくとも１つのドメイ ンで整合した行為を示す１組のピクセルを含み、前記コード化する手段は、当該 １組のピクセルに対してのみ作用する少なくとも１つのコンポーネント信号のロ ード信号及びスコア信号のうちの少なくとも１つを生成することを特徴とする装 置。 ４９．異なる領域で複数のコンポーネント信号から成るコード化信号を、多サン プルのレコードに組織化され、各々がそのレコード内に唯一の位置を占める複数 のデータサンプルから成る入力信号に復号化するための装置であって、前記コー ド化信号はそれぞれ複数の因子の組合わせとして表現され、各因子は、前記デー タサンプルの或るレコードから別のレコードへの変化を定義するスコア信号と、 １つのレコードの複数の異なる位置におけるサンプルのサブグループの相対的変 化を定義するロード信号との積であり、サンプルの基準パターンを利用する装置 において、 ａ．各ロード信号にこれと関連するスコア信号を乗算して前記各因子を生 成する手段と、 ｂ．上記ステップａで生成した因子を組み合わせる手段と、 ｃ．上記ステップｂで生成した因子の組合せに従って１組の基準コンポー ネント信号を改変し、再生した入力信号のレコードを生成する手段と を具備したことを特徴とする装置。 ５０．請求項４９記載の装置において、前記ロード信号及びスコア信号のうちの 少なくとも１つを含む記憶媒体を具備したことを特徴とする装置。 ５１．請求項４９記載の装置において、前記記憶媒体は前記基準コンポーネント 信号の値をも含むことを特徴とする装置。 ５２．請求項４９記載の装置において、前記ロード信号及びスコア信号のうちの 少なくとも１つを通信媒体上で遠隔地から受信する手段を具備したことを特徴と する装置。 ５３．請求項５２記載の装置において、前記基準コンポーネント信号の値も前記 通信媒体上で受信されることを特徴とする装置。 ５４．異なる領域で複数のコンポーネント信号から成るコード化信号を、多サン プルのレコードに組織化され、各々がそのレコード内に唯一の位置を占める複数 のデータサンプルから成る入力信号に編集する装置であって、前記コード化信号 はそれぞれ複数の因子の組合わせとして表現され、各因子は、前記データサンプ ルの或るレコードから別のレコードへの変化を定義するスコア信号と、１つのレ コードの複数の異なる位置におけるサンプルのサブグループの相対的変化を定義 するロード信号との積であり、サンプルの基準パターンを利用する装置において 、 ａ．少なくとも１つのスコア信号を改変して所望の編集を達成する手段と 、 ｂ．各ロード信号にこれと関連する改変されたスコア信号を乗算して各因 子を生成する手段と、 ｃ．上記ステップａで生成した因子を組み合わせる手段と、 ｄ．上記ステップｂで生成した組合せ因子に従って１組の基準コンポーネ ント信号を改変し、再生した入力信号のレコードを生成する手段と を具備することを特徴とする装置。 ５５．読取装置と、請求項２８乃至３２のいずれか記載の方法に従って復号化さ れるデータを含むデータキャリアとを具備することを特徴とするシステム。 ５６．読取装置と、請求項１乃至２８のいずれか記載の方法によって生成された コード化信号を含むデータキャリアとを具備することを特徴とするシステム。 ５７．読取装置と、請求項４９乃至５３のいずれか記載の装置によって復号化さ れるデータを含むデータキャリアとを具備することを特徴とするシステム。 ５８．読取装置と、請求項３４乃至４８のいずれか記載の装置によって生成され たコード化信号を含むデータキャリアとを具備することを特徴とするシステム。 ５９．記録装置と、データキャリアと、読取装置とを具備し、前記データキャリ アは、請求項１乃至２８のいずれか記載の方法に従って生成され、請求項２８乃 至３２のいずれか記載の方法によって復号化されるコード化信号を含んでいるこ とを特徴とするシステム。 ６０．記録装置と、データキャリアと、読取装置とを具備し、前記データキャリ アは、請求項３４乃至４８のいずれか記載の装置によって生成され、請求項４９ 乃至５３のいずれか記載の装置によって読み取られるコード化信号を含んでいる ことを特徴とするシステム。 ６１．記録され且つ請求項２８乃至３２のいずれか記載の方法によって復号化さ れるコード化信号を含むデータキャリア。 ６２．請求項１乃至２８のいずれか記載の方法によって生成されたコード化信号 を含むデータキャリア。 ６３．請求項１乃至２８のいずれか記載の方法によって生成されたコード化信号 を含む伝送信号を生成する装置。 ６４．請求項１乃至２８のいずれか記載の方法によって生成され、記憶媒体と伝 送媒体のうちの１つに備えられるコード化された信号。