JPH06511339A - センサの動きとシーン構造を決定する方法及びイメージ処理システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 センサの動きとシーン横道を決定する方法及びイメージ処理システム本発明は、 ｌシーンにおけるイメージセンサの動きとシーン構造をそのシーンの２以上のイ メージから決定する方法に関する０本発明はまた、そのシーンにおけるイメージ センサの動きとシーン横道を決定するシステムに関する。

発明の背景 この分野では、イメージデータ内に画像的に表されている対象物のパターン形状 を認識する手法が知られている。この分野では更に、予め選択された角度を有す る、動いている対象物と静止している対象物、或いは他の特徴を有する対象物を 区別する手法も知られている。

イメージ化されたシーンの動画の連続する各フレーム内に含まれる単一の動体を 位置づける公知の方法では、連続する２つのフレーム間において空間的に対応す るイメージデータの各画素の基準値が抽出されて、そのシーンにおける静止物を 定義する画素が除去され、そのシーンにおける単一の動体を定義する画素のみが 差分イメージデータとして残される。更に、フレームレートと、この差分イメー ジデータにおける単一の動体の画素の置き換えを知ることにより、この単一の動 体の速度を計算することができる。しかしながら、連続するフレームのイメージ データが２つの動きを定義する場合、例えばそのシーンを記録するカメラの動き （例えば並進、回転及びズーム）に従っである全体的な速度パターンで動く背景 領域の動きを定義する場合には問題が非常に困難となる。この場合、背景領域に 対して局部的に動く前景により占められるシーン領域は、その動画において背景 領域とその背景領域の全体的な速度パターンの両方に対するそれ自身の速度の関 数である速度で動く。イメージセンサの動きによる全体的な速度パターンは、シ ーンの構造に依存するので非常に複雑である。

問題は、動画の一連の連続するフレーム内のイメージデータをリアルタイムで用 い、（１）全体的な動きの影Ｗ（視差によるものを含む）を測定及び除去し、（ ２）この全体的な動きを除いて局部的に動いている前景の対象物を検出及びトラ ッキングすることにある。従来の一般的なイメージ動き解析法では、各ビデオシ ーケンスの各画素に対する異なる置換ベクトルが分離して算出される。これは、 各画素がお互いに異なって動いているフレーム間でパターンマンナングを行うこ とを必要とするので、挑戦的な課題である。特に、上記問題点をリアルタイムで 解決するために開発された「多数的な動き」手法として、パート（Ｂｕｒｔ）等 のｒ　”Ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　ｔｈｅ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｖｉ ｓｕａｌ　Ｍｏｔｉｏｎ″、　Ｉｒｖｉｎ、Ｃａ１ｉｆｏｒｎ奄＝AＭａｒ ｃｈ、　１９８９Ｊとｒ　”Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｆｏｒ 　Ａｄｖａｎｃｅｄ　Ｍｉｓｓｉｌｅ　Ｓｙｓｔｅｍｓ　Ｃ盾獅■■窒■ ｎｃｅ”、　Ｈｕｎｔｓｖｉｌｌｅ、　Ｎｏｖｅｍｂｅｒ、　１９８８Ｊが開示 されている。

パート等により開示されたこの特別な手法では、各フレームのほぼ全領域内に含 まれるイメージデータを多数の別個の連続した小さな局部的解析ウィンドウ領域 にセグメント化している。このセグメント化は、各局部的解析ウィンドウにおけ る動きが、それ自身の計算された単一の並進的な動きの速度のみを有すると仮定 する範囲では望ましい、（セグメントより大きい）単一の画素により占められる 各局部的解析ウィンドウのサイズがより近くなるにつれて、この仮定はより正し くなる。しかしながら、実際には各局部的解析ウィンドウのサイズは、単一の画 素により占められるそれより実質的に大きく、したがって、１つの局部的解析ウ ィンドウにおいて計算される単一の並進的な動きの速度は、実際にはそのウィン ドウ内の全ての画素の平均速度である。このセグメント化手法は、連続する各フ レームにおいて局部的に動いている対象物の周辺が、そのフレーム内で占められ る局部的解析ウィンドウの境界とは関係がないという点で人工的である。もしあ る特定のウィンドウの全領域を占める場合には、そのウィンドウにおいて計算さ れる単一の並進的な動きの速度は正しい。しかしながら、もしある特定のウィン ドウのある未決定の部分のみを占める場合には、そのウィンドウにおいて計算さ れる単一の並進的な動きの速度は正しくない。しかも、その問題にもかかわらず 、パート等により開示されてセグメント化法を用いた「多数的な動き」や他の手 法は、あるダイナミックな２つの動きのイメージ解析には有用である。例えば全 体的な動きによる影響が除去され、局部的に動く前景の対象物が検出されてトラ ッキングされる。

コンピュータ映像における多くの問題として、異なる視点から記録されたり、或 いは異なる時間で記録された２以上のイメージを用いてイメージセンサの動きを 決定することが重要である。環境に対して動くイメージセンサの動きは、移動中 の障害物の検出と航行のような課題に有用な情報を提供する。移動中の障害物を 検出する場合に、イメージセンサの動きモデルにおける局部的な不一致を用いて 幾つかの潜在的な障害物をつき止めることができる。航行の場合には、道路や壁 のように近づいてくる対象物の表面的な方向を推定するためにイメージセンサの 動きを用いることができる。

従来の手法は、イメージセンサの動きとシーン構造を有し、これらはイメージセ ンサの動きのモデルと、あるシーンの２つのイメージ間において予め決定された 流れ場に対する深さのシーンのモデルを一敗させることにより回復される。流れ 場を計算する手法は数多く存在し、また、各手法はイメージ内において対応する 点を回復するようにしている。流れ場の回復による問題点は、十分に抑制されず 、計算された流れ場が正確でないことにある。その結果、イメージセンサの動き の推定値と３次元構造が不正確である。

イメージセンサの動きを回復する１つの手法は、全体的なイメージセンサの動き モデルを、イメージ対から計算される流れ場に一致させることである。イメージ の流れ情報と局部的なイメージ勾配情報の両方を用いたイメージセンサ動き回復 方向が提案された。イメージセンサの動きモデルに対する各流れベクトルの貢献 度が局部的イメージ勾配により重み付けされ、開口の問題によりイメージの流れ における局部的あいまいさから発生する、回復されたイメージセンサの動きの推 定値における誤差が減少される。

しかしながら、イメージセンサに対するシーン内の動きが不均一な場合には、イ メージセンサの動きを正確に決定する方法及び装置が必要となる。また、イメー ジシステムにより提供されるイメージからシーンの構造を正確に決定する方法及 び装置が必要となる。これらの２つの能力を有するシステムは、障害物を有する 環境を自動的に航行することができる。

発明の概要 本発明は、例えばイメージ対の明るさ導関数のような局部的なシーンの特徴を用 い、シーンにおけるイメージセンサの動きを正確に決定する方法である。全体的 なイメージセンサの動きの抑制が局部的なシーンの特徴の抑制に結合され、局部 的な表面構造が全体的なイメージセンサの動きモデルと局部的なシーンの特徴に 関係付けされて抑制される。ある与えられた解像度におけるｌシーンの２以上の イメージからそのシーンにおけるイメージセンサの動きモデルとそのシーンのシ ーン構造モデルを決定する方法は、 （ａ）局部的なシーンモデル及びイメージセンサの動きモデルの初期推定値をセ ットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルにより予測される誤差の間 の差を最小化することにより前記モデルの１つの新しい値を決定する工程と、（ Ｃ）前記（ｂ）の工程で決定される前記モデルの１つの新しい値を用い、局部的 シーンモデルとイメージセンサの動きモデルの各初期推定値を再セットする工程 と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの新しい推定値を用い、前記イ メージ内で測定された誤差と前記モデルにより予測される誤差の間の差を最小化 することにより前記モデルの第２番目の新しい値を決定する工程と、（ｃ）前記 与えられたイメージ解像度における前記モデルの現在の推定値を用い、イメージ の１つを他のイメージに対してワープする工程と、（「）前記モデルの新しい値 及び前回の繰り返し処理で決定された値の差がある値より小さくなるまで、又は 所定数の繰り返し処理が行われるまで前記（ｂ）、（Ｃ）、（ｄ）及び（ｅ）の 工程を繰り返す工程と、より成る。

本発明はまた、イメージセンサの動きと１シーンの構造を決定するイメージ処理 システムであり、このシステムは、 １ンーンの１以上のイメージを得るためのイメージセンサ手段と、第１のイメー ジ解像度における局部的シーンモデルの初期推定値とイメージセンサの動きモデ ルをセットする手段と、前記局部的シーンモデルとイメージセンサの動きモデル を繰力返して正確化する手段と、 前記局部的シーンモデルとイメージセンサの動きモデルの正確化された現在の債 を用いて前記第１のイメージを第２のイメージにワーブする手段とを有する。

図面の簡単な説明 図１は、従来の「多数的動き」手法に用いられ、■フレーム領域を局部的解析ウ ィンドウにセグメント化したことを示す。

図２は、従来の「多数的動き」手法を具体化した従来のフィードバックループを 示すブロック図である。

図３は、本発明を具体化したフィードバックループを示すブロック図である。

図４ａは、既知の深さマツプと既知のイメージセンサの動きパラメータから合成 され、再サンプリングされたイメージ対を示す。

図４ｂは、原イメージ対の間の差分イメージを示す。

図４０は、回復された深さマツプと実際の深さマツプの間の差分パーセンテージ の絶対値を示す。

図４ｄは、明るい点が暗い点よりイメージセンサに近い場合の局部的表面パラメ ータ（逆深さ）のイメージを示す。

図４ｅは、各解像度において回復されたイメージセンサの動きと実際のイメージ センサの動きを示す。

図５ａ−ｅは、イメージの中心が推定されかつ正確なイメージセンサの動きが未 知の場合の自然のイメージ対の第２のイメージの結果を示す。

図６ａ−ｅは、イメージ組織が殆ど無い道路シーケンスの結果を示す。

図７ａ−ｅは、他の道路シーケンスの結果を示す。

望ましい実施例の説明 図１及び図２は、本発明の理解に役立つ従来の動き検出方法を示している。図１ において、移動中のイメージセンサ（例えばビデオカメラ）が航空機内から下の 地面を逼像し、地面に対して局部的に動いている例えば自動車のような目的物を 探し、この地面に対して局部的に動いている目的物とその動きをリアルタイムで トラッキングすると仮定する。この場合、盪像される領域が連続するフレーム間 で僅かな量だけ変化するように、カメラは地面領域の一連の映像フレームを比較 的高い速度（例えば１秒当たり３０フレーム）で生成する。連続する各映像フレ ームのフレーム領域１００は、航空機のコヒーレントな動きにより決定される全 体的な速度で移動する多数的領域と、地面上で局部的に動く自動車により占めら れる少数的領域に分割される。境界領域１０２を除く、連続する１対のフレーム の各フレーム領域１００は小領域ウィンドウ１０４−１１・・・１０４ｍｎのア レイに分割され、これらの小領域ウィンドウの各局部的速度（図１においてベク トルで示す）が計算される。この計算は、連続する１対のフレームの１つの各小 領域ウィンドウにおけるイメージデータを、連続する１対のフレームの他の各小 領域ウィンドウにおいて対応するイメージデータに置き換えてその間で整合をと ることにより達成することができる。境界領域１０２は境界線の問題を避けるた めに除外される。更に、１つのフレームの１つの小領域ウィンドウ内に含まれる イメージデータは、そのフレームの隣接する小領域ウィンドウ内に含まれるイメ ージデータに対しである程度オーバラップしてもよい。如何なる場合にも、各小 領域ウィンドウのサイズは、連続する１対のフレームの間のイメージデータの最 大の置換値と比較して大きい。

全ての局部的速度の平均速度が計算され、各局部的速度とこの平均速度の差分誤 差のサイズが決定される。一般に、これらの誤差は小さく、また視差効果と、移 動中のカメラにより撮影される地面が平坦ではないという事実に起因する。しか しながら、図１に示すように、局部的に移動中の自動車１０１を含む２つの小領 域ウィンドウの誤差は極めて大きい。その理由は、計算された速度が航空機に搭 載された移動中のカメラの全体的な速度と、地上の移動体の局部的な速度を含む からである。したがって、局部的に移動している自動車１０１を含む２つの小領 域ウィンドウは、それぞれの誤差が所定の闇値を越えるという事実により除外さ れ、また、残りの小領域ウィンドウのみから平均速度が再計算される。この再計 算された平均速度は、カメラの動きに依る動画の全体的な速度の初期推定値を構 成する。全体的な速度の初期推定値のみが引き出されるので、その計算に用いら れる各小領域ウィンドう１０４−１１・・・１０４ｍｎのイメージデータは、連 続する１対のフレームの対応する多数の各小領域ウィンドウ１０４−１１・・・ Ｉ０４ｍｎに対して必要なマツチングを行うために望ましくは比較的小さな解像 度のものである。

図２には、従来技術の方法を寓現するフィードバンクループが一般的な形式で示 されている。このフィードバックループは、動きモデル２００（これはこのフィ ードバンクループの動作により全体的に又は少なくとも部分的に引き出される） と、残留動き推定器２０２と、加算器２０４と、イメージワープ器２０６と、フ レーム遅延器２０８．２１０と、現フレームとイメージワープ器２０６によりシ フトされた前フレームからのイメージデータにより構成されている。残留動き推 定器２０２は、現フレームとシフトされた前フレームからのイメージデータが人 力すると現在の残留動きを引出す、この残留動きは加算器２０４により、動きモ デル２００から出力される前の推定値に加算され、次いでワーブ制御人力として イメージワープ器２０６に印加される。フレーム遅延器２０８により遅延された 現フレームのイメージデータはイメージワープ器２０６の人力として印加される 。イメージワープ器２０６はこのｌフレーム分遅延された現フレームのイメージ データをワープ制御入力に従ってシフトし、次いで次のシフトされた前フレーム を引き出すためにフレーム遅延器２１０に出力する。

図２のフィードバックループは、全体的速度による少数的領域の各小領域ウィン ドウの実質的に全ての速度が除去される点で、全体的速度の初期推定値を正確に するための繰り返しプロセスを遂行する。この繰り返しプロセスは、連続して発 生ずる１対の連続フレームの小領域ウィンドウ１０１１−１１・・・１０４ｍｎ のそれぞれの局部的残留速度を引出し、次いでこれらの各残留速度を使用して全 体的残留速度の現在の推定値を引き出す。特に、各１対の連続フレームのそれぞ れの局部的速度が計算され、そして、全体的速度の前の推定値が抽出された後、 全体的残留速度の現在の推定値が上記繰り返しプロセスの各サイクルで計算され る。第１のサイクルにおける全体的速度の前回の初期値は設定されていないので ゼロである。したがって、この場合には残留速度自体が前述した全体的速度の初 期推定値を構成している。

この繰り返しプロセスの効果は、サイクルが後になるにつれて残留速度の大きさ が徐りに小さくなることにある。したがって、残留動き推定器２０２は、各連続 サイクルにおけるイメージデータをマツチングするために必要な精度を最小化す るために、この繰り返しプロセスの第１のサイクルの間では解像度が最も低いイ メージデータを用い、また、連続した各サイクルでは直前のサイクルより高い解 像度のイメージデータを用いることが望ましい。

残留動き推定器２０２は、ハードウェアとソフトウェアの両方又は一方により構 成することができる。残留動き推定器２０２の幾つかの代わりの具体例が前記パ ート等に開示されている。これらの各別は、一般的な目的の計算要素と特定の目 的の計算要素の間の計算負荷を効果的に分割している。それぞれの小領域ウィン ドウ内の局部的動きを突き止める第１のステップは、カスタムハードウェアに好 適である。データレートは、この解析法がリアルタイムなビデオレートのイメー ジデータに基いているので高いが、プロセスは、局部的並進のみが推定されるの で簡単かつ均一である。全体的モデルが全ての小領域ウィンドウの全体の局部的 動きベクトルに−敗しななければならない第２のステップは、マイクロプロセッ サ内のソフトウェアに好適である。何故ならば、その計算が比較的複雑かつ全体 的であるが、局部的動きベクトルのデータセットが比較的小さいからである。

更に、前述したパート等の記載に示されているように、繰り返しプロセスの異な るサイクルにおいて望ましくは用いられているイメージデータの解像度の調整は 、例えばアンダーソン等の米国特許４，６９２，８０６号やパン・デル・フルの 米国特許４，７０３．５１４号においてイメージ処理技術として知られているラ プラス及びガウスのピラミッド手法により効果的に達成される。

ハート等には、窩手法を用いた「多数的動き」手法の改良が記載されている。

この手法では、前述した繰り返しプロセスの各サイクルが終了すると、そのサイ クルの間で決定され、かつ全体的な動きを定義していない全ての解析領域の少数 的の部分（例えば自動車１０１はこの少数的部分に含まれている。）が、繰り返 しプロセスの次のサイクルの間において全ての解析領域として用いられる。更に 各小領域ウィンドウのサイズは、連続する各サイクルでは減少され、連続する各 サイクルにおける解析領域が小領域ウィンドウと同一の数になるように小さく分 割される。

ｌシーンの一連のイメージを解析することによりイメージセンサの動きを決定す る従来例では、イメージセンサがシーン全体を航行することができることが必要 とされる。しかしながら、イメージセンサがシーン全体を航行すると、センサ（ ノーン構造）からの距離と方向が変化する目的物が異なる速度（速度と方向）で 移動するという複雑さが発生する。これらの不均一性により、解析が実質的に複 雑化し、また、前述したパート等に開示されている手法とは異なる手法が必要と なる０本発明者は、局部的なシーン構造と全体的なイメージセンサの動きを決定 するために、イメージセンサの動きとそのイメージに対するシーン構造モデルを 直接に一致させる方法と装置を開発した。全体的なイメージセンサの動きの制約 は局部的シーンの特徴の制約に結合され、局部的表面モデルが全体的なイメージ センサの動きモデルと局部的シーンの特徴に関係付けされる。繰り返しプロセス では、最初にイメージセンサの動きを制約として用いることにより局部的表面モ デルが正確化され、次いで、局部的表面モデルを制約として用いることによりイ メージセンサの動きモデルが正確化される。ある与えられた解像度におけるイメ ージセンサの動きとシーン構造の各推定値が繰り返しプロセスにより正確化され 、イメージセンサの動きとシーン構造のより正確な各推定値が得られる。すなわ ちイメージを連続してワーブすることにより、シーンの特徴の局部的モデルと全 体的なイメージセンサのモデルとの間で［ピンポン」動作が行われ、お互いに許 容可能な調和が取られる。この正確化プロセスは、初期のイメージセンサ及び局 部的シーン構造のモデルの推定で開始され、これは前フレーム又は前回の推定値 の他のソースから推定される。次いでこの繰り返しプロセスは、許容可能な正確 さが得られるまで徐々に高い解像度で繰り返される。特に、これらのモデルは、 粗い解像度で表されるイメージ対に整合され、次いで、その結果であるモデルは 、同一の整合プロセスを用いて次の最も高い解像度で正確化される。

イメージの流れは、局部的なシーンの特徴の変化と全体的なイメージセンサの動 きの制約の間の中間としてバイパスされる。局部的なシーンの特徴の定常性の抑 制はイメージセンサの動きの制約に結合され、局部的に平坦なすなわち局部的に 一定の深さのモデルがイメージセンサの動きモデル及び局部的なシーンの特徴の 導関数に関係付けされる。局部的に平坦なモデルは、局部的なシーンが例えば壁 のような平坦な表面の形状を有することを仮定する。局部的に一定の深さの表面 モデルは局部的に平坦なモデルの特別な場合である。この平坦な表面はセンサの 表面に対して平行に方向付けされるものと仮定する。イメージセンサの動きと局 部的な表面のパラメータの各初期推定値に始まり、局部的な表面モデルは、全体 的なイメージセンサの動きモデルを抑制として用いることにより正確化される０ 次いで、全体的なイメージセンサの動きモデルは、局部的な表面モデルを抑制と して用いることにより正確化される。

次に示す解析では、本発明の詳細な説明するために局部的な明るさの変化を局部 的なシーンの特徴として用いている。他の局部的なシーンの特徴は、エツジと、 コーナと、陸標と他の特徴を含む、イメージの明るさは、以下に示すように局部 的な表面モデルとイメージセンサの動きモデルに関係付けされる。明るさが一定 と仮定した場合の第一次テーラ−展開式から、明るさの抑制方程式は、ｌ’　ｄ ｕ＝ＩＬ　（１） で表すことができる。但し、１７はイメージの明るさの値の勾配ベクトル、ｄＵ は増分イメージ動きベクトル、ＩＬはイメージの明るさの値の時間導関数である 。投影式イメージセンサモデルと移動中の目的物の３次元位置の導関数を用いる と、静止状態の目的物のイメージの動きＵは、イメージセンサの並進値下とイメ ージセンサの回転角度Ωを用いて次のように表すことができる。

ｕ＝ＫＴＺ−’＋ＡΩ　（２） 但し、Ｚは目的物の深さ、 ｘ、ｙはイメージの座標、「はイメージセンサの焦点距離である。

局部的な平坦なパンチモデルとして、 Ｒ’Ｐ＝ｌ　Ｒ＝（Ｘ、Ｙ、Ｚ）Ｔ　Ｐｍ（ａ、ｂ、ｃ）”　（４）但し、Ｒ４ は世界座標の点、Ｐは平面の方向及び深さを表している。式（４）と標準の投影 式方程式ｘ＝Ｘｆ／Ｚ、ｙ＝Ｙｆ／Ｚを組み合わせ、更にＸ、Ｙを除去すること により、 Ｚ”＝Ｆ’　Ｐ　Ｆ＝　（ｘ／ｆ、ｙ／ｒ、１）Ｔ　（５）式（５）を弐（２） に代入することにより、イメージセンサの動きと、局部的表面の方向及び深さに 対するイメージの動きは、ｕ＝ＫＴＦ’　Ｐ＋ＡΩ　（６） 前の解像度すなわち繰り返しにより、全体的なセンサの動きのパラメータＴ。

、Ω。の推定値と、各局部的な表面モデルの推定値Ｐａが存在してもよい０式（ ６）は増分イメージセンサ動き方程式を表すために用いることができる。すなわ ち、 ｄｕ＝　（ＫＴＦＴＰ＋ＡΩ）−ｕ０ ＝　（ＫＴＦ’　Ｐ＋ＡΩ）　（ＫＴｏ　Ｆ”　Ｐａ　＋ＡΩ。）　（７）但し 、ｕ６は局部的表面及びイメージセンサの動きモデルの前回の各推定値に対応す るイメージの動きである。この増分イメージセンサ動き方程式を明るさの抑制方 程式（式１）に代入すると、 Ｉ’　ＫＴＦ”　Ｐ＋Ｉ’ＡΩ −Ｔ”　ＫＴ６　Ｆ”　Ｐ、　−Ｉ丁ＡΩ。＋Ｉｔ＝Ｏ（８）この式の誤差は、 局部的な表面モデルと全体的なイメージセンサの動きモデルの両方を正確化する ために用いられる。特に、式（８）における最小２乗誤差は、各局部領域を越え る局部的表面パラメータに関して最小化される。次いで、この最小２乗誤差は、 全ての局部領域におけるイメージセンサの動きパラメータに関して最小化される 。各局部的イメージ領域では、この最小２乗誤差の度合いがＰに関して以下のよ うに最小化される。

弐（９）をＰい１．に関して微分すると、最小値では、ｄｅ／ｄＰはゼロであり 、ｐ＠ｉ、ｌはＰｍ１ｍ　−４”ΣＶＦＫＴＦ［ＶＦＡＱ−’７ＦＫＦＴＰ６− ＶＦＡＱ６＋Ｉｔ］　（１１）Ｇ−Σ（Ｖ　ＩＴＴＦＦＦ　（１２） 平坦なバッチモデルは、Ｐｍ　（０，０，ｃ）’になるように一定の深さモデル に簡略化され、したがって、式（１１）は次のようになる。

但し、ＣＤは前回のスケールすなわち繰り返しからの局部的な深さの推定値であ る。

全体的なイメージ領域では、最小化された最小２乗誤差の度合いは、Ｔ及びΩに 関して次のようになる。

但し、各局部的傾城のＣｈｉ。は式（１３）により与えられる。弐（１４）は局 部的な一定の深さモデルに対してのみ有効である。このような式で表すと、誤差 はΩについては二次であるがＴについては二次ではなく、非線形最小化手法が必 要となる。現在の方法では、初期の開始値としてΩ。、Ｔ、を用いることにより ガウス−ニュートンの最小化方法が用いられる。なお、他の最小化方法を用いる ことができることは勿論である。もし例えば一連のフレームの前回のフレームか らΩ。、Ｔｏの初期の推定値が不明な場合には、試行的な並進値が式（１４）に 代入され、Ω−Ω。の値がめられ（式１４がΩ−Ω。に関して二次であるので閉 じた形式で請求めるべき初期推定値として式（１４）において最小誤差を与える ＴおよびΩ−Ω。が選択される。望ましくは局部的及び全体的な最小化法がマル チ解像度ピラミッド手法の範囲内で用いられる。

本発明は、与えられたイメージの解像度においてｌシーンの２以上のイメージか らそのシーンに対するイメージセンサの動きのモデルと、そのシーンの構造モデ ルを決定する方法であって、その方法は、（ａ）局部的なシーンモデル及びイメ ージセンサの動きモデルの初期推定値をセットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルにより予測される誤差の間 の差を最小化することにより前記モデルの１つの新しい値を決定する工程と、（ Ｃ）前記（ｂ）の工程で決定される前記モデルの１つの新しい値を用い、局部的 シーンモデルとイメージセンサの動きモデルの各初期推定値を再セットする工程 と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの新しい推定値を用い、前記イ メージ内で測定された誤差と前記モデルにより予測される誤差の間の差を最小化 することにより前記モデルの第２番目の新しい値を決定する工程と、（ｅ）前記 与えられたイメージ解像度における前記モデルの現在の推定値を用い、イメージ の１つを他のイメージに対してワープする工程と、（ｆ）前記モデルの新しい値 及び前回の繰り返し処理で決定された値の差がある値より小さくなるまで、又は 所定数の繰り返し処理が行われるまで前記（ｂ）、（Ｃ）、（ｄ）及び（ｅ）の 工程を繰り返す工程と、（ｇ）イメージを高い解像度に伸長する工程と、（ｈ） 前記モデルの現在の推定値を初期の開始値として用い、前記高い解像度において 前記（ｂ）、（ｃ）、（ｄ）、（ｅ）及び（ｆ）の工程を繰り返す工程より成る 。

本発明はまた、１シーンのイメージセンサの動き及び構造を決定するイメージ処 理システムであって、 １シーンの１以上のイメージを得るためのイメージセンサ手段と、第１のイメー ジ解像度における局部的シーンモデル及び前記イメージセンサ手段の動きの初期 推定値をセントする手段と、第１のイメージ解像度における局部的シーンモデル 及び前記イメージセンサ手段の動きの初期推定値を用い、第１のイメージを第２ のイメージに対してワーブする手段と、 １つの最小化工程により全ての局部的シーンモデルを正値化する共に、イメージ センサの動きモデルを正確化する手段と、前記（ｂ）及び（ｃ）の工程を数回繰 り返す繰力返し手段とを有するシステムである。

局部的な最小化処理では、全体的なイメージセンサの動きの抑制は、表面パラメ ータを局部的に正確化することを抑制している。逆に、全体的な最小化処理では 、局部的なイメージ構造により与えられる局部的な抑制は、全体的なイメージセ ンサの動きパラメータを正確化することを抑制している。

前記方法の第１の部分では、各局部的な表面パラメータＣを正確化するために、 イメージセンサの動きの抑制と局部的なイメージの明るさ導関数が用いられる、 増分イメージセンサ動きの方程式（図７）は、より簡単な局部的な一定の深さモ デルに書き換えることができる。すなわち、ｄｕｅ　（ＫＴｃ＋ＡΩ）　−（Ｋ Ｔ６　Ｃｏ　＋ＡΩ、）　（１５）Ω＝Ω。、Ｔ＝Ｔ、では ｄｕｅ　＝ＫＴ、（ｃ−Ｃｏ　）　（１６）但し、ｄｕｏはパラメータＣを増加 した場合の増分動きである。したがって、局部的な動きにおける増分は、速度空 間における１ラインに沿ってベクトルＫＴ。

の方向に抑制される（このラインはイメージセンサの動き抑制ライン）、ベクト ルＫＴ、はイメージ対の焦点伸長の現在の推定値を示している。

１つのエフ２二状のイメージ構造を含む局部的領域内においては、明るさ抑制方 程式：よ、速度空間におけるｌラインに沿ってエツジの方向（■に垂直）に存在 する動きを抑制している。イメージセンサの動きと明るさの動き抑制を結合する ことにより、表面パラメータＣが正確化され、正確化により導かれる増分動きは 、イメージセンサの動き抑制ラインと局部的な明るさ抑制ラインが交差する点に 存在する。この場合、開口の問題に起因する局部的動きの不明確さは、イメージ センサの動き抑制のみを用いることにより解決される。しかしながら、イメージ センサの動き抑制ラインと局部的な動きの抑制ラインが平行な場合には、局部的 動きの不明確さは、イメージセンサの動き抑制を用いても解決されない、この場 合、Σ１゜Ｃ１，（ＩＴＫＴ、）”　＝０であり、図１３における分母はゼロに 近づく。物理的な解釈では、局部的なエツジ構造は焦点伸長の現在の推定値の方 向に配列されている。この局部的な表面パラメータは、信輔できるほど正確化す ることができない、何故ならば、イメージセンサの動きの推定値は局部的な明る さの抑制に対して殆ど或いは全く抑制していないからである。現在の方法では、 式１３の分母が闇値より低い場合には局部的な表面パラメータは正確化されない 。

コーナ状のイメージ構造を含む局部的領域内では、両方の動きの要素は局部的な 情報から解決することができ、また、局的な明るさの抑制は、増分動きが速度空 間における１点に存在するように抑制する。しかしながら、イメージセンサの動 きの推定値は、増分動きが速度空間におけるイメージセンサの動きの抑制ライン に存在するように抑制する。もし点とラインが速度空間において交差する場合に は、正確化により導かれる増分動きは速度空間における点に対応している。もし 点とラインが交差しない場合には、増分動きは速度空間における点とラインの間 に存在する。

１個のエツジ状のイメージ構造を含む局部的領域内では、明るさ抑制方程式（弐 ｌ）は、弐ｌにおける誤差がエツジの勾配ベクトル（■）に垂直な如何なるｄｕ に対しても一定のままであることを示している。その結果、エツジに対して正常 な局部的動き要素のみが全体的なイメージセンサの動きの推定値を正確化するた めに用いられる。エツジの方向に沿った動き要素は何ら貢献しないので、全体的 なイメージセンサの動きの推定値における誤差は、開口の問題に起因する局部的 動きの不明確さにより発生しない。

コーナ状のイメージ構造を含む局部的領域内では、両方の動き要素は如何なる局 部的な情報からも解決することができ、また、両方の動き要素は全体的なイメー ジセンサの動きの推定値を正確化する際に貢献する。

本発明者は、ガウスまたはラプラスのピラミッド手法を用い、イメージセンサの 動きの推定値と局部的な表面パラメータを複数の（マルチ）解像度で正確化する ようにしている。このピラミッド手法では、元のイメージの解像度では大きな画 素を置き換えて代表し、粗い解像度では小さな画素を置き換えて代表させる。

したがって、明るさ定常性抑制の第一次テーラ−展開式（式１は小さなｄｕに対 してのみ略正しい）は、イメージの動きが元の解像度において大きい場合であっ ても粗い解像度においては有効となる。前の解像度から得られる局部的な深さの 推定値が用いられ、イメージ対が次の最も高い解像度においてより近くなるよう に登録される。その結果、第一次テーラ−展開式は、ピラミッド手法では全ての 解像度において有効でなければならず、また、例えば閉塞境界で発生する明るさ の仮定における基本的な妨害を無視する。加えて、シーン内で独立して移動する 目的物はまた、イメージセンサの動きの抑制を妨害する。予備的な結果では、イ メージセンサの動きの回復された推定値は、モデルが不良であってもそれ程敏感 ではないことが示されている。

ここに記載されているイメージセンサの動きの回復方法では、ガウスまたはラプ ラスにより導かれ、ピラミッド内で不明瞭なイメージの明るさの付加的な変化は 未だ決定されていない。イメージセンサの動きの回復された推定値は、各解像度 において同様であることが多く、また、流れに基づくマルチ解像度のイメージセ ンサの動きの回復方法を用いてイメージセンサ並進の関数として計算される誤差 表面は、全ての解像度において同様である。

図３において、本発明を構成するフィードバンクルー１３００はビデオカメラの ようなイメージセンサ３０２を有し、このイメージセンサ３０２の出力はある解 像度の１シーンの一連のイメージである。他のイメージセンサ３０２としては、 レーダ探知機、光学的ラインセンサ、１を磁式又は音波式の探知機、他の信号源 を含む。このイメージは第１のピラミッドプロセッサ３０６に対し、また、フレ ーム遅延器３０８を介して第２のピラミッドプロセッサ３１０に対して、スイッ チ３０４により交互に印加される。このようなピラミッドプロセッサは、例えば アンダーソン等の米国特許４，６９２．８０６号とパン・デル・フルの米国特許 ４．７０３．５１４号に示されているイメージ処理技術において知られている。

この２つのピラミッドプロセッサの出力イメージは、フレーム遅延器３０８によ る遅延により時間的に分離されており、また、現フレームに対応しているが現フ レームの解像度より低い解像度ｒである。この時間的に遅延されたイメージは、 ワーブ器３１２を介して推定器３１４に印加される。このワーブ器３１２は時間 的に遅延されたイメージに対して動作するように示されているが、他のイメージ に対して同等に動作する。他のイメージは直接に推定器３１４に印加される。推 定器３１４では、第１のステップとして実際のイメージの動きとイメージセンサ の動きモデルとのミスマツチによる誤差が機能し、また、全体的なイメージセン サの動きの現在の推定値を一定にしたままで局部的なシーン構造が各局部的なシ ーンモデルに対して最小化される。

第２の工程では、全体的なイメージセンサの動きとイメージセンサの動きモデル とのミスマツチによる誤差が機能し、また、局部的シーンモデルの現在の推定値 を一定にしたままで局部的シーン構造が全体的なイメージセンサの動きに対して 最小化される。推定器３１４は全体的な動きモデルの推定値と、局部的シーン構 造すなわちそのイメージの局部的な深さモデルを出力する。初期化器３１５は推 定器３１４に対して、局部的シーン構造と全体的な動きモデルに関する初期の抑 制値を出力する。この情報は初期化器３１５内に内蔵してもよく、また、他のセ ンサから供給するようにしてもよい。推定器３１４の出力は、全体的なセンサ・ 　の動きと局部的シーン構造モデルの新しい各推定値である。この新しい推定値 はシンセサイザ３１６に印加され、シンセサイザ３１６によりワーブ制御信号が 引き出されてワーブ器３１２に印加される。ワープ器３１２は時間的に遅延され たイメージを歪ませ、他のイメージと一致するように接近させる。このサイクル は、必要な数の繰り返しが完了するまで又は２つのイメージ間の差がある値以下 に減少するまで繰り返される０局部的な深さモデルの情報はポート３１８で与え られ、また、全体的動きモデルの情報は図示３１９で与えられる。これらのイメ ージはより高い解像度で再び計算され、繰り返しサイクルが繰り返される。ある 与えられた解像度レベルにおける繰り返しとより高い解像度における繰り返しの シーケンスは、各繰り返し処理におけるモデル間の差がある値より小さくなるま で、すなわち解像度ＲＥの十分なレベルが達成されるまで繰り返される。

このイメージセンサの動きを用いた方法は、自然のイメージとコンピュータによ るイメージの両方のシーケンスについてテストされた。イメージシーケンスにお ける動きは、元の解像度では略４ないし８画素の範囲にあり、したがって、動き が増分動き推定器の範囲外であるので、元の解像度のみにおける解析は不正確で ある。ここでは４つの解像度が用いられている。他に記載されていない限り、Ｔ ＝（０，０，１）’及びΩ＝　（０，０，０）丁がイメージセンサの動きの初期 推定値として用いられている。逆の局部的深さの推定値は全てゼロに初期化され ている。

次に、２５６Ｘ２５６画素のサイズのコンピュータイメージと、２５６Ｘ２４０ 画素のサイズの自然画像を用いた本方法を以下に示す、ラプラスのピラミッドは 、上記コンピュータイメージに対して解像度を減少した１２８Ｘ１２０．６４× ６４．３２×３２画素のサイズのイメージと、上記自然画像に対する１２８×１ ２０．６４Ｘ６０．３２×３０画素のサイズのイメージを生成するために用いら れた０局部的表面モデルは、イメージ内の各点の中心に位置する５×５画素のウ ィンドウに一致し、また、イメージセンサの動きモデルがイメージ内の各点に一 致するようにした０例えば車両航行システムの一部では、前方の道路や近づく目 的物のようなイメージ領域を直接目的とする多数のより大きな局部的ウィンドウ に対して解析が制限される。全体的なイメージセンサモデルは、イメージ内の各 点に一敗するようにされる。

本発明者は、本方法では非常に粗い解像度（ここではイメージサイズに対して＋ ６Ｘ１６画素に対応する）で解析を開始した時に不正確な解決点に収束したり、 全く収束しないことを発見した。これは、非常に粗いスケールにおけるイメージ 強度が過度にぼやけたり、非常に粗い解像度におけるサンプル点の数が限られて いるためと思われる。

図４８は既知の深さマツプと既知のイメージセンサの動きパラメータから合成さ れ、再サンプルされたイメージ対を示している。このイメージ対のために、最も 粗い解像度における１７ｘ１７＝２８９の並進値をサンプルすることにより、イ メージセンサの動きの初）ＩＪＩｌｉＬ定価が回復された０図４ｂは元のイメー ジ対の間の差分イメージを示している０図４０は回復された深さマツプと実際の 深さマツプの差のパーセンテージの絶対値を示している０図４０は深さの誤差測 度パーセンテージ（１００（真の深さ一計算された深さ）／真の深さ〕を示し、 これはシーンの前景において回復された深さマツプにおける誤差が全く均一であ り、また、上記前景における１８０Ｘ１００画素のウィンドウにおける実際の測 定値が略１％のｒｍｓ誤差を有することを示している。（稜線を丁度越えた）シ ーンの前景部分では誤差は非常に大きく、１００Ｘ１５画素のウィンドウにおけ る測定値が略８％のｒｍｓ誤差を有する。この差は、両方の領域における実際の 動きと回復された動きの差が略０．０５−０．１画素であるのに対し、実際の動 きが前景では略４−８画素、背景では略１画素であることを観測することにより 説明される。本発明者は、イメージの前景部分と背景部分において回復された動 きの正確さを期待する。何故ならば、このイメージは重く組織化されているが、 組織が全くないイメージ最上部では回復された深さと動きが大きな誤差を有する からである。

図４ｄは局部的表面パラメータ（逆の深さ）のイメージにおいてイメージセンサ に対して明るい点が暗い点より近いことを示している。イメージの底の部分は、 「カメラ」から深さが会速に変化する稜線に対して傾斜している表面を示してい る。このイメージの最上部は、組織が全くないイメージ空白部分において回復さ れたパラメータを示している。

図４ｅは各解像度における回復されたイメージセンサの動きと実際のイメージセ ンサの動きを示している。明るさが一定と仮定することが損なわれるイメージ中 心を閉塞境界が横切るにもかかわらず、最終の解像度におけるイメージセンサの 動き要素の推定値は、「カメラ」の実際のイメージセンサの動きに非常に近い。

一般に、最終２乗法による手法は、モデル内の偏差により導かれるかもしれない 孤立値に敏感でなければならない、同一の増分動き推定器（図１）を粗い精度の 解析手法内において用いる他の動き一致手法において、孤立点が正確に観測され た。

図５ａは、イメージ中心が既に推定され、また、正確なイメージセンサの動きが 未知の自然イメージ対の第２イメージを示している。前景におけるイメージの動 きはイメージセンサに対して略５画素である０図５ｂは最も高い解像度で回復さ れた逆の深さイメージを示している。この回復された深さは、イメージ境界と回 復されたフォーカス伸長近く（イメージ中心のゲート近く）を除く、殆ど全ての 場所で尤もらしい、逆の深さマツプの右手側の底における明るいドツトは、地面 上でイメージセンサの方に風が吹いている原イメージの葉っばかもしれない。

発明者は、全ての場所で重く組織化されているシーンから上記光もらしい結果が 得られることを期待してもよい０図５ｃは、各解像度において計算されたイメー ジセンサの動きを示している。このイメージセンサの動きの推定値は、２つの最 も精密なスケールにおいて回復された推定値に近いが、この回復された推定値は 未だ、２つの最も粗い解像度における場合とは異なる。この粗い解像度では、不 正確な推定値を導く誤差表面において低い勾配の不正確な方向に続いて最小化処 理が行われた。これは、推定処理が如何に次の不正確な最小化バスから回復する ことができるかを示しており、また、イメージのぼけにより導かれる差により、 解像度間では誤差表面が如何に殆ど差がないことを示している０図５ｅは各解像 度において回復されたイメージセンサの動きと実際のイメージセンサの動きを示 している。

図６８はイメージ組織が殆ど存在しない道路シーケンスの第２のイメージを示す 、この前景におけるイメージの動きはイメージセンサに対して略９画素である。

図６ｂは最も高い解像度において回復された逆の深さイメージを示す。この場合 にはイメージの上部（空）に対応する逆の深さパラメータは全く不正確である。

また、事実、局部的表面パラメータはたぶん、このような小さなイメージ勾配を 含むイメージ領域では正確化すべきではないが、同一の理由によりこの領域は、 回復されたイメージセンサの動きの推定値に関して最小限の効果しかない０図６ ｃはこの場合、回復された解決策が、各解像度におけるイメージセンサの動きの 初期推定価に近く存在することを示している０本発明者は、道路中央における２ 道路の可視部分の端部に焦点伸長が存在することを計算した。図６ｅは各解像度 において回復されたイメージセンサの動きと実際のイメージセンサの動きを示し ている。

図７は他の道路シーケンスの結果を示している。この場合、回復された解決策が 、各解像度におけるイメージセンサの動きの初期推定値に近く存在する。イメー ジ（空）の最上部に対応する逆の深さパラメータは全く不正確であり、また、事 実、局部的表面パラメータは、そのような小さな勾配を含むイメージ領域ではた ぶん正確化すべきではないが、同一の理由によりその領域は、回復されたイメー ジセンサの動きの推定値に関しては最小の効果しかない。本発明者は、道路中央 における道路の可視部分の端部に焦点伸長が存在することを決定した。

２つのイメージにおけるイメージ勾配から直接にイメージセンサの動きを推定す る繰り返し的マルチ解像度による方法が開示され、また、局部的イメージ構造と は異なる抑制がイメージセンサの動きの抑制に対して如何に関係があるかが開示 される。イメージセンサの動きと深さは、コンピュータによる例では全く正確に 回復され、また、この回復されたイメージセンサの動きと深さは、真値が得られ ない自然イメージのシーケンスにおいて尤もらしいと見えた。

現在の単一解像度による解析法に対する、マルチ解像度による解析法の主要な効 果は次の通りである。

（ａ）動き範囲の増大：原イメージの解像度では、一致するイメージを制限する ことは、略１画素より大きな動きを正確に測定することができないことを示して いる。マルチ解像度による解析法を用いることにより、動き範囲は原イメージの 解像度における略１６（又はそれ以上の）画素まで増大する。これにより、イメ ージセンサの動きとシーン構造回復の方法は、単一解像度による解析法では適用 することができない応用範囲にも用いることができる。事実、イメージの違いす なわちイメージの動きは、多くの（全てではなくとも）応用範囲においては１画 素以上である。

（ｂ）動き推定値の正確さ：前の解像度からの結果を用いて次の最も高い解像度 ではイメージセンサの動きとシーン構造の推定値を最新化するので、最も高い解 像度（原イメージの解像度）におけるイメージセンサの動きとシーン構造の各推 定値は、前の推定値を正確化することなく原イメージの解像度のみで推定値を計 算する単一解像度の解析法より全く正確である。

（ｃ）方法の効率性：粗い解像度ではこの方法が非常に早（動作するのでイメー ジ表示が小さい、もしイメージセンサの動きとシーン構造の正確化された推定値 が目的によっては十分正確な場合には、粗い解像度で処理を停止することができ る、したがって、単一解像度の解析法と比べて、ハードウェアソース及び／又は 計夏力と、イメージセンサの動き及びシーン構造の推定値の関係において柔軟性 がある。

要約すると、深さとイメージセンサの動きの推定値をマルチ解像度（単一解像度 で正確化する場合も同様に）で正確化するので、ワーブされる深さ手法は、他の 方法より非常に正確である。また、マルチ解像度の解析法により、この方法が動 作する許容可能な動き範囲は他の方法より非常に広い、この結果、ワーブされる 深さ法は、他の方法を用いることができない多くの応用例に用いることができ、 この方法が効果的である。この結果、ハードウェア及びソフトウェアのリアルタ イムな具体例が比較的簡単である。

イメージセンサの動きとシーン構造モデルはイメージ全体に一致する必要がなく 、特定の領域を選択してその領域でのみ処理を行えばよい、イメージセンサの動 き及びシーン構造の推定値を粗い一精密な解像度で正確化する処理は、イメージ 対よりもむしろイメージンーケンスにおける推定値を正確化するまで延長するこ とができる。この方法は、２以上のイメージ対からシーン構造及び／又はイメー ジセンサの動きを推定することが必要な多くの問題に適用することができる。

適用例としては車両航行、障害物検出、深さ回復及びイメージ安定化を含む。

ここに開示されている方法は、局部的なイメージの明るさ及びイメージの明るさ の導関数の他に、局部的なイメージの特徴すなわち抑制に有用であった。他のイ メージの特徴も本発明の方法に用いることができることは理解されるべきである 。また、局部的なシーンの特徴をより高い解像度に拡張する他のピラミッド処理 を用いることができることも理解されるべきである。

Ｆｉｇ、　４　（ａ）　Ｆｉｇ、　４　（ｂ）Ｆｉｇ、　４　（ｅ） Ｆｉｇ、　５　（ａ）　Ｆｉｇ、　５　（ｂ）Ｆｉｇ、　５　（Ｃ）　Ｆｉｇ、 　５　（ｄ）Ｆｉｇ、　５　（ｅ） Ｆｉｇ、　６　（ａ）　Ｆｉｇ、　６　（ｂ）Ｆｉｇ、　６　（ｃ）　Ｆｉｇ、 　６　（ｄ）Ｆｉｇ、　７　（ａ）　Ｆｉｇ、　７　（ｂ）ｒ’ｉｇ、　７　（ ｃｌ　Ｆｉｇ、　７　（ｄ）Ｆｉｇ、　７　（ｅ）

Claims (8)

【特許請求の範囲】
1. １．ある与えられたイメージの解像度において１シーンの２又はそれ以上のイメ ージからそのシーンに対するイメージセンサの動きのモデルと、そのシーンのシ ーン−構造モデルを決定する方法であって、（ａ）局部的なシーンモデル及びイ メージセンサの動きモデルの初期推定値をセットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルにより予測される誤差の間 の差を最小化することにより前記モデルの１つの新しい値を決定する工程と、（ ｃ）前記（ｂ）の工程で決定される前記モデルの１つの新しい値を用い、局部的 シーンモデルとイメージセンサの動きモデルの各初期推定値を再セットする工程 と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの推定値を用い、前記イメージ 内で測定された誤差と前記モデルにより予測される誤差の間の差を最小化するこ とにより前記モデルの第２番目の新しい値を決定する工程と、（ｅ）前記与えら れたイメージ解像度における前記モデルの現在の推定値を用い、イメージの１つ を他のイメージに対してワープする工程と、そして（ｆ）前記モデルの新しい値 及び前回の繰り返し処理で決定された値の差がある値より小さくなるまで、又は 所定数の繰り返し処理が行われるまで前記（ｂ）、（ｃ）、（ｄ）及び（ｅ）の 工程を繰り返す工程と、を有する方法。
2. ２．請求項１記載の方法において、 （ｇ）イメージをより高い解像度に伸長する工程と、そして（ｈ）前記モデルの 現在の推定値を初期の開始値として用い、前記より高い解像度において前記（ｂ ）、（ｃ）、（ｄ）、（ｅ）及び（ｆ）の工程を繰り返す工程とを更に有する方 法。
3. ３．請求項１記載の方法において、前記（ｂ）の工程は、２又はそれ以上のイメ ージ間において測定されたシーンの特徴の変化分と前記モデルにより予測される 変化分との間の差を前記第１のモデルに関して最小化することにより、前記モデ ルの１つの新しい値を決定する工程を有する方法。
4. ４．請求項１記載の方法において、前記（ｄ）の工程は、２又はそれ以上のイメ ージ間において測定されたシーンの特徴の変化分と前記モデルにより予測される 変化分との間の差を前記第２のモデルに関して最小化することにより、前記モデ ルの１つの新しい値を決定する工程を有する方法。
5. ５．ある与えられたイメージの解像度において１シーンの２又はそれ以上のイメ ージからそのシーンのシーソー構造モデルのためのモデルを決定する方法であっ て、 （ａ）局部的なシーンモデル及びイメージセンサの動きモデルの初期推定値をセ ットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルにより予測される誤差の間 の差を最小化することにより前記シーン構造モデルの１つ又はイメージセンサの 動きモデルの新しい値を決定する工程と、（ｃ）前記（ｂ）の工程で決定される 前記モデルの１つの新しい値を用い、局部的シーンモデルとイメージセンサの動 きモデルの各初期推定値を再セットする工程と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの新しい推定値を用い、前記イ メージ内で測定された誤差及び前記モデルにより予測される誤差の間の差を最小 化することにより前記モデルの第２番目の新しい値を決定する工程と、（ｅ）前 記与えられたイメージ解像度における前記モデルの現在の推定値を用い、イメー ジの１つを他のイメージに対してワープする工程と、そして（ｆ）前記モデルの 新しい値及び前回の繰り返し処理で決定された値の間の差がある値より小さくな るまで、又は所定数の繰り返し処理が行われるまで前記（ｂ）、（ｃ）、（ｄ） 及び（ｅ）の工程を繰り返す工程と、を有する方法。
6. ６．請求項５記載の方法において、 （ｇ）イメージを高い解像度に伸長する工程と、そして（ｈ）前記モデルの現在 の推定値を初期の開始値として用い、前記高い解像度において前記（ｂ）、（ｃ ）、（ｄ）、（ｅ）及び（ｆ）の工程を繰り返す工程とを更に有する方法。
7. ７．イメージセンサの動きと１シーンの構造を決定するイメージ処理システムで あって、 １シーンの１以上のイメージを得るためのイメージセンサ手段と、第１のイメー ジ解像度において局部的シーンモデルの初期推定値とイメージセンサの動きモデ ルをセットする手段と、最小化工程を繰り返すことにより全ての局部的シーンモ デルとイメージセンサの動きモデルを正確化する手段と、そして第１のイメージ 解像度において前記局部的シーンモデルとイメージセンサの動きモデルの正確化 された現在の推定値を用いて前記第１のイメージを第２のイメージに対してワー プする手段と、 前記（ｂ）及び（ｃ）を繰り返す繰り返し手段と、を有するシステム。
8. ８．請求項７記載の装置において、イメージを第１の解像度からより高い解像度 に伸長する処理装置を更に有する装置。