JP3253962B2 - センサの動きとシーン構造を決定する方法及びイメージ処理システム - Google Patents

センサの動きとシーン構造を決定する方法及びイメージ処理システム

Info

Publication number
JP3253962B2
JP3253962B2 JP50698193A JP50698193A JP3253962B2 JP 3253962 B2 JP3253962 B2 JP 3253962B2 JP 50698193 A JP50698193 A JP 50698193A JP 50698193 A JP50698193 A JP 50698193A JP 3253962 B2 JP3253962 B2 JP 3253962B2
Authority
JP
Japan
Prior art keywords
image
motion
stored
estimate
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP50698193A
Other languages
English (en)
Other versions
JPH06511339A (ja
Inventor
ハンナ，キース・ジエームズ
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JPH06511339A publication Critical patent/JPH06511339A/ja
Application granted granted Critical
Publication of JP3253962B2 publication Critical patent/JP3253962B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

【発明の詳細な説明】 本発明は、１シーンにおけるイメージセンサの動きと
シーン構造をそのシーンの２以上のイメージから決定す
る方法に関する。本発明はまた、そのシーンにおけるイ
メージセンサの動きとシーン構造を決定するシステムに
関する。
発明の背景 この分野では、イメージデータ内に画像的に表されて
いる対象物のパターン形状を認識する手法が知られてい
る。この分野では更に、予め選択された角度を有する、
動いている対象物と静止している対象物、或いは他の特
徴を有する対象物を区別する手法も知られている。
イメージ化されたシーンの動画の連続する各フレーム
内に含まれる単一の動体を位置づける公知の方法では、
連続する２つのフレーム間において空間的に対応するイ
メージデータの各画素の基準値が抽出されて、そのシー
ンにおける静止物を定義する画素が除去され、そのシー
ンにおける単一の動体を定義する画素のみが差分イメー
ジデータとして残される。更に、フレームレートと、こ
の差分イメージデータにおける単一の動体の画素の置き
換えを知ることにより、この単一の動体の速度を計算す
ることができる。しかしながら、連続するフレームのイ
メージデータが２つの動きを定義する場合、例えばその
シーンを記録するカメラの動き（例えば並進、回転及び
ズーム）に従ってある全体的な速度パターンで動く背景
領域の動きを定義する場合には問題が非常に困難とな
る。この場合、背景領域に対して局部的に動く前景によ
り占められるシーン領域は、その動画において背景領域
とその背景領域の全体的な速度パターンの両方に対する
それ自身の速度の関数である速度で動く。イメージセン
サの動きによる全体的な速度パターンは、シーンの構造
に依存するので非常に複雑である。
問題は、動画の一連の連続するフレーム内のイメージ
データをリアルタイムで用い、（１）全体的な動きの影
響（視差によるものを含む）を測定及び除去し、（２）
この全体的な動きを除いて局部的に動いている前景の対
象物を検出及びトラッキングすることにある。従来の一
般的なイメージ動き解析法では、各ビデオシーケンスの
各画素に対する異なる置換ベクトルが分離して算出され
る。これは、各画素がお互いに異なって動いているフレ
ーム間でパターンマッチングを行うことを必要とするの
で、挑戦的な課題である。特に、上記問題点をリアルタ
イムで解決するために開発された「多数的な動き」手法
として、バート（Burt）等の「“Proceeding of the Wo
rkshop on Visual Motion",Irvin,California,March,19
89」と「“Pattern Recognition for Advanced Missile
Systems Conference",Huntsville,November,1988」が
開示されている。
バート等により開示されたこの特別な手法では、各フ
レームのほぼ全領域内に含まれるイメージデータを多数
の別個の連続した小さな局部的解析ウィンドウ領域にセ
グメント化している。このセグメント化は、各局部的解
析ウィンドウにおける動きが、それ自身の計算された単
一の並進的な動きの速度のみを有すると仮定する範囲で
望ましい。（セグメントより大きい）単一の画素により
占められる各局部的解析ウィンドウのサイズがより近く
なるにつれて、この仮定はより正しくなる。しかしなが
ら、実際には各局部的解析ウィンドウのサイズは、単一
の画素により占められるそれより実質的に大きく、した
がって、１つの局部的解析ウィンドウにおいて計算され
る単一の並進的な動きの速度は、実際にはそのウィンド
ウ内の全ての画素の平均速度である。このセグメント化
手法は、連続する各フレームにおいて局部的に動いてい
る対象物の周辺が、そのフレーム内で占められる局部的
解析ウィンドウの境界とは関係がないという点で人工的
である。もしある特定のウィンドウの全領域を占める場
合には、そのウィンドウにおいて計算される単一の並進
的な動きの速度は正しい。しかしながら、もしある特定
のウィンドウのある未決定の部分のみを占める場合に
は、そのウィンドウにおいて計算される単一の並進的な
動きの速度は正しくない。しかも、その問題にもかかわ
らず、バート等により開示されてセグメント化法を用い
た「多数的な動き」や他の手法は、あるダイナミックな
２つの動きのイメージ解析には有用である。例えば全体
的な動きによる影響が除去され、局部的に動く前景の対
象物が検出されてトラッキングされる。
コンピュータ映像における多くの問題として、異なる
視点から記録されたり、或いは異なる時間で記録された
２以上のイメージを用いてイメージセンサの動きを決定
することが重要である。環境に対して動くイメージセン
サの動きは、移動中の障害物の検出と航行のような課題
に有用な情報を提供する。移動中の障害物を検出する場
合に、イメージセンサの動きモデルにおける局部的な不
一致を用いて幾つかの潜在的な障害物をつき止めること
ができる。航行の場合には、道路や壁のように近づいて
くる対象物の表面的な方向を推定するためにイメージセ
ンサの動きを用いることができる。
従来の手法は、イメージセンサの動きとシーン構造を
有し、これらはイメージセンサの動きのモデルと、ある
シーンの２つのイメージ間において予め決定された流れ
場に対する深さのシーンのモデルを一致させることによ
り回復される。流れ場を計算する手法は数多く存在し、
また、各手法はイメージ内において対応する点を回復す
るようにしている。流れ場の回復による問題点は、十分
に抑制されず、計算された流れ場が正確でないことにあ
る。その結果、イメージセンサの動きの推定値と３次元
構造が不正確である。
イメージセンサの動きを回復する１つの手法は、全体
的なイメージセンサの動きモデルを、イメージ対から計
算される流れ場に一致させることである。イメージの流
れ情報と局部的なイメージ勾配情報の両方を用いたイメ
ージセンサ動き回復方向が提案された。イメージセンサ
の動きモデルに対する各流れベクトルの貢献度が局部的
イメージ勾配により重み付けされ、開口の問題によりイ
メージの流れにおける局部的あいまいさから発生する、
回復されたイメージセンサの動きの推定値における誤差
が減少される。
しかしながら、イメージセンサに対するシーン内の動
きが不均一な場合には、イメージセンサの動きを正確に
決定する方法及び装置が必要となる。また、イメージシ
ステムにより提供されるイメージからシーンの構造を正
確に決定する方法及び装置が必要となる。これらの２つ
の能力を有するシステムは、障害物を有する環境を自動
的に航行することができる。
発明の概要 本発明は、例えばイメージ対の明るさ導関数のような
局部的なシーンの特徴を用い、シーンにおけるイメージ
センサの動きを正確に決定する方法である。全体的なイ
メージセンサの動きの抑制が局部的なシーンの特徴の抑
制に結合され、局部的な表面構造が全体的なイメージセ
ンサの動きモデルと局部的なシーンの特徴に関係付けさ
れて抑制される。与えられたある解像度における１シー
ンの２以上のイメージからそのシーンにおけるイメージ
センサの動きモデルとそのシーンのシーン構造モデルを
決定する方法は、 （ａ）局部的なシーンモデル及びイメージセンサの動き
モデルの初期推定値をセットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルに
より予測される誤差の間の差を最小化することにより前
記モデルの１つの新しい値を決定する工程と、 （ｃ）前記（ｂ）の工程で決定される前記モデルの１つ
の新しい値を用い、局部的シーンモデルとイメージセン
サの動きモデルの各初期推定値を再セットする工程と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの新し
い推定値を用い、前記イメージ内で測定された誤差と前
記モデルにより予測される誤差の間の差を最小化するこ
とにより前記モデルの第２番目の新しい値を決定する工
程と、 （ｅ）前記与えられたイメージ解像度における前記モデ
ルの現在の推定値を用い、イメージの１つを他のイメー
ジに対してワープする工程と、 （ｆ）前記モデルの新しい値及び前回の繰り返し処理で
決定された値の差がある値より小さくなるまで、又は所
定数の繰り返し処理が行われるまで前記（ｂ）、
（ｃ）、（ｄ）及び（ｅ）の工程を繰り返す工程と、 より成る。
本発明はまた、イメージセンサの動きと１シーンの構
造を決定するイメージ処理システムであり、このシステ
ムは、 １シーンの１以上のイメージを得るためのイメージセ
ンサ手段と、 第１のイメージ解像度における局部的シーンモデルの
初期推定値とイメージセンサの動きモデルをセットする
手段と、 前記局部的シーンモデルとイメージセンサの動きモデ
ルを繰り返して正確化する手段と、 前記局部的シーンモデルとイメージセンサの動きモデ
ルの正確化された現在の値を用いて前記第１のイメージ
を第２のイメージにワープする手段とを有する。
図面の簡単な説明 図１は、従来の「多数的動き」手法に用いられ、１フ
レーム領域を局部的解析ウィンドウにセグメント化した
ことを示す。
図２は、従来の「多数的動き」手法を具体化した従来
のフィードバックループを示すブロック図である。
図３は、本発明を具体化したフィードバックループを
示すブロック図である。
図4aは、既知の深さマップと既知のイメージセンサの
動きパラメータから合成され、再サンプリングされたイ
メージ対を示す。
図4bは、原イメージ対の間の差分イメージを示す。
図4cは、回復された深さマップと実際の深さマップの
間の差分パーセンテージの絶対値を示す。
図4dは、明るい点が暗い点よりイメージセンサに近い
場合の局部的表面パラメータ（逆深さ）のイメージを示
す。
図4eは、各解像度において回復されたイメージセンサ
の動きと実際のイメージセンサの動きを示す。
図5a−ｅは、イメージの中心が推定されかつ正確なイ
メージセンサの動きが未知の場合の自然のイメージ対の
第２のイメージの結果を示す。
図6a−ｅは、イメージ組織が殆ど無い道路シーケンス
の結果を示す。
図7a−ｅは、他の道路シーケンスの結果を示す。
望ましい実施例の説明 図１及び図２は、本発明の理解に役立つ従来の動き検
出方法を示している。図１において、移動中のイメージ
センサ（例えばビデオカメラ）が、地面に対して局部的
に動いている目的物とその動きをリアルタイムでトラッ
キングするために、地面に対して局部的に動いている例
えば自動車のような目的物を探して、航空機内から下の
地面を撮影すると仮定する。この場合、撮影される領域
が連続するフレーム間で僅かな量だけ変化するように、
カメラは地面領域の一連の映像フレームを比較的高い速
度（例えば１秒当たり30フレーム）で生成する。連続す
る各映像フレームのフレーム領域100は、航空機のコヒ
ーレントな動きにより決定される全体的な速度で移動す
る多数的領域と、地面上で局部的に動く自動車により占
められる少数的領域に分割される。境界領域102を除
く、連続する１対のフレームの各フレーム領域100は小
領域ウィンドウ104−11・・・104mnのアレイに分割さ
れ、これからの小領域ウィンドウの各々に対する局部的
速度（図１においてベクトルで示す）が計算される。こ
の計算は、連続する１対のフレームの１つの各小領域ウ
ィンドウにおけるイメージデータを、連続するこの１対
のフレームの他の対応する各小領域ウィンドウにおいて
イメージデータに関して変位させ、その間で整合をとる
ことにより達成することができる。境界領域102は境界
線の問題を避けるために除外される。更に、１つのフレ
ームの１つの小領域ウィンドウ内に含まれるイメージデ
ータは、そのフレームの隣接する小領域ウィンドウ内に
含まれるイメージデータに対してある程度オーバラップ
してもよい。如何なる場合にも、各小領域ウィンドウの
サイズは、連続する１対のフレームの間のイメージデー
タの最大の変位値と比較して大きい。
全ての局部的速度の平均速度が計算され、各局部的速
度とこの平均速度の差分誤差のサイズが決定される。一
般に、これらの誤差は小さく、また視差効果と、移動中
のカメラにより撮影される地面が平坦ではないという事
実に起因する。しかしながら、図１に示すように、局部
的に移動中の自動車101を含む２つの小領域ウィンドウ
の誤差は極めて大きい。その理由は、計算された速度が
航空機に搭載された移動中のカメラの全体的な速度と、
地上の移動体の局部的な速度を含むからである。したが
って、局部的に移動している自動車101を含む２つの小
領域ウィンドウは、それぞれの誤差が所定の閾値を越え
るという事実により除外され、また、残りの小領域ウィ
ンドウのみから平均速度が再計算される。この再計算さ
れた平均速度は、カメラの動きに依る動画の全体的な速
度の初期推定値を構成する。全体的な速度の初期推定値
のみが導き出されるので、その計算に用いられる各小領
域ウィンドウ104−11・・・104mnにおいてイメージデー
タの必要なマッチングを容易に行うために望ましくは比
較的小さな解像度のものである。
図２には、従来技術の方法を実現するフィードバック
ループが一般的な形式で示されている。このフィードバ
ックループは、動きモデル200（これはこのフィードバ
ックループの動作により全体的に又は少なくとも部分的
に導き出される）と、残留動き推定器202と、加算器204
と、イメージワープ器206と、フレーム遅延器208,210
と、イメージワープ器206によりシフトされた前フレー
ムと現フレームとからのイメージデータにより構成され
ている。残留動き推定器202は、これに対応する入力と
して加えられたシフトされた前フレームと現フレームと
からのイメージデータに応答して現在の残留動き推定値
を導き出す。この残留動き推定値は加算器204により、
動きモデル200から出力される前の推定値に加算され、
次いでワープ制御入力としてイメージワープ器206に印
加される。現フレームのイメージデータは、フレーム遅
延器208により遅延された後に、イメージワープ器206の
入力として加えられるイメージワープ器206はこの１フ
レーム分遅延された現フレームのイメージデータをワー
プ制御入力に従ってシフトし、次いで次のシフトされた
前フレームを導き出すためにフレーム遅延器210によっ
て出力をフレーム遅延する。
図２のフィードバックループは、少数的領域の各小領
域ウィンドウの計算された速度の全体的速度による部分
の全てが実質的に除去される点に全体的速度の初期推定
値を正確化するために繰り返しプロセスを遂行する。こ
の繰り返しプロセスは、連続して発生する各対の連続フ
レームの小領域ウィンドウ104−11・・・104mnのそれぞ
れの局部的残留速度を導き出し、次いでこれらの各残留
速度を使用して全体的残留速度の現在の推定値を導き出
す。特に、連続フレームの各対のそれぞれの局部的速度
が計算され、そして、全体的速度の前の推定値が差し引
かれた後、全体的残留速度の現在の推定値が上記繰り返
しプロセスの各サイクルで計算される。第１のサイクル
においては、全体的速度の前回の推定値は設定されてい
ないのでゼロである。したがって、この場合には残留速
度自体が前述した全体的速度の初期推定値を構成してい
る。
この繰り返しプロセスの効果は、サイクルが後になる
につれて残留速度の大きさが徐々に小さくなることにあ
る。したがって、残留動き推定器202は、各連続サイク
ルにおけるイメージデータをマッチングするために必要
な精度を最小化するために、この繰り返しプロセスの第
１のサイクルの間では解像度が最も低いイメージデータ
を用い、また、引き続き各サイクルでは直前のサイクル
より高い解像度のイメージデータを用いることが望まし
い。
残留動き推定器202は、ハードウエアとソフトウエア
の両方又は一方により構成することができる。残留動き
推定器202の幾つかの代わりの具体例が前記バート等に
開示されている。これらの各例は、一般的な目的の計算
要素と特定の目的の計算要素の間の計算負荷を効果的に
分割している。それぞれの小領域ウィンドウ内の局部的
動きを突き止める第１のステップは、カスタムハードウ
エアに好適である。データレートは、この解析法がリア
ルタイムなビデオレートのイメージデータに基いている
ので高いが、プロセスは、局部的並進のみが推定される
ので簡単かつ均一である。全体的モデルが全ての小領域
ウィンドウの局部的動きベクトルの組全体に一致しなけ
ればならない第２のステップは、マイクロプロセッサ内
のソフトウエアに好適である。何故ならば、その計算が
比較的複雑かつ全体的であるが、局部的動きベクトルの
データセットが比較的小さいからである。更に、前述し
たバート等の記載に示されているように、繰り返しプロ
セスの異なるサイクルにおいて望ましくは用いられてい
るイメージデータの解像度の調整は、例えばアンダーソ
ン等の米国特許4,692,806号やバン・デル・ワルの米国
特許4,703,514号においてイメージ処理技術として知ら
れているラプラス及びガウスのピラミッド手法により効
果的に達成される。
バート等には、窩手法を用いた「多数的動き」手法の
改良が記載されている。この手法では、前述した繰り返
しプロセスの各サイクルが終了した後に、そのサイクル
中で決定され、かつ全体的な動きを決定していない解析
領域全体の少数的な部分（例えば自動車101はこの少数
的部分に含まれている。）が、繰り返しプロセスの次の
サイクル中において解析領域全体として用いられる。更
に各小領域ウィンドウのサイズは、連続する各サイクル
中において減少され、連続する各サイクル中における解
析領域が小領域ウィンドウと同一の数に分割される。
１シーンの一連のイメージを解析することによりイメ
ージセンサの動きを決定する従来例では、イメージセン
サがシーン全体を航行することができることが必要とさ
れる。しかしながら、イメージセンサがシーン全体を航
行すると、センサ（シーン構造）からの距離と方向が変
化する目的物が異なる速度（速度と方向）で移動すると
いう複雑さが発生する。これらの非一様性により、解析
が実質的に複雑化し、また、前述したバート等に開示さ
れている手法とは異なる手法が必要となる。本発明者
は、局部的なシーン構造と全体的なイメージセンサの動
きとを決定するために、イメージセンサの動きモデルと
そのイメージに対するシーン構造モデルとを直接にシー
ンに一致させる方法と装置を開発した。イメージセンサ
の全体的動きの制約条件は局部的シーンの特徴の制約条
件に組み合わされ、局部的表面モデルを全体的なイメー
ジセンサ動きモデル及び局部的シーンの特徴に関係付け
る。繰り返しプロセスでは、最初にイメージセンサの動
きを制約として用いることにより局部的表面モデルが正
確化され、次いで、局部的表面モデルを制約として用い
ることによりイメージセンサの動きモデルが正確化され
る。与えられたある解像度におけるイメージセンサの動
きとシーン構造の各推定値が繰り返しプロセスにより正
確化され、イメージセンサの動きとシーン構造のより正
確な各推定値が得られる。すなわち、シーンの特徴の局
部的モデルと全体的なイメージセンサの動きモデルとの
間で「ピンポン」動作が行われ、イメージを連続してワ
ープすることによりお互いに許容可能な調和がもたらさ
れる。この正確化プロセスは、初期のイメージセンサ及
び局部的シーン構造のモデルの推定値で開始され、これ
は前フレーム又は前回の推定値の他のソースから推定さ
れる。次いでこの繰り返しプロセスは、許容可能な正確
さが得られるまで徐々に高い解像度で繰り返される。特
に、これらのモデルは、粗い解像度で表されるイメージ
対に整合され、次いで、その結果であるモデルは、同一
の整合プロセスを用いて次の最も高い解像度で正確化さ
れる。
イメージの流れは、局部的なシーンの特徴の変化と全
体的なイメージセンサの動きの制約条件の間の媒介物と
してバイパスされる。局部的なシーンの特徴不変の制約
条件はイメージセンサの動きの制約条件と組み合わさ
れ、局部的に平坦なモデル、または局部的に一定の深さ
のモデルがイメージセンサの動きモデル及び局部的なシ
ーンの特徴の導関数に関係付けられる。局部的平坦モデ
ルは、シーンが例えば壁のような平坦な表面の形状を局
部的に有することを仮定する。局部的一定深さ表面モデ
ルは、局部的な平坦なモデルの特別の場合である。この
平坦な面はセンサ面に対して平行に方向付けされている
ものと仮定する。イメージセンサの動きと局所的な表面
のパラメータとの各初期推定値に始まり、局部的表面モ
デルは、イメージセンサの全体的な動きモデルを制約条
件として用いることにより正確化される。次いで、イメ
ージセンサの全体的な動きモデルは、局部的表面モデル
を制約条件として用いることにより正確化される。
次に示す解析では、本発明の原理を説明するために局
部的な明るさの変化を局部的なシーンの特徴として用い
ている。他の局部的なシーンの特徴は、エッジと、コー
ナと、陸標と他の特徴を含む。イメージの明るさは、以
下に示すように局部的な表面モデルとイメージセンサの
動きモデルに関係付けされる。明るさが一定と仮定した
場合の第一次テーラー展開式から、明るさの制約方程式
は、 ▽ITdu＝It （１） で表すことができる。但し、▽ITはイメージの明るさの
値の勾配ベクトル、duはイメージ動き増分ベクトル、It
はイメージの明るさの値の時間導関数である。投影式イ
メージセンサモデルと移動中の目的物の３次元位置の導
関数を用いると、静止状態の目的物のイメージの動きｕ
は、イメージセンサの並進値Ｔとイメージセンサの回転
角度Ωを用いて次のように表すことができる。
ｕ＝KTZ-1＋ＡΩ （２） 但し、Ｚは目的物の深さ、 x,yはイメージの座標、ｆはイメージセンサの焦点距離
である。
局部的な平坦なパッチモデルとして、 RTP＝１ Ｒ＝（X,Y,Z）Ｔ Ｐ＝（a,b,c）Ｔ （４） 但し、RTは世界座標の点、Ｐは平面の方向及び深さを表
している。式（４）と標準の投影式方程式ｘ＝Xf/Z、ｙ
＝Yf/Zを組み合わせ、更にX,Yを除去することにより、 Z-1＝FTP Ｆ＝（x/f,y/f,1）Ｔ （５） 式（５）を式（２）に代入することにより、イメージ
センサの動きと、局部的表面の方向及び深さに対するイ
メージの動きは、 ｕ＝KTFTP＋ＡΩ （６） 前の解像度すなわち繰り返しにより、全体的なセンサ
の動きのパラメータT0,Ω０の推定値と、各局部的な表
面モデルの推定値P0が存在してもよい。式（６）はイメ
ージセンサ動き増分方程式を表すために用いることがで
きる。すなわち、 du＝（KTFTP＋ＡΩ）−u0 ＝（KTFTP|AΩ）−（KT0FTP0＋ＡΩ０） （７） 但し、u0は局部的表面及びイメージセンサの動きモデル
の前回の各推定値に対応するイメージの動きである。こ
の増分イメージセンサ動き方程式を明るさの制約方程式
（式１）に代入すると、 ▽ITKTFTP＋▽ITAΩ −▽ITKT0FTP0−▽ITAΩ０＋It＝０ （８） この式の誤差は、局部的な表面モデルと全体的なイメ
ージセンサの動きモデルの両方を正確化するために用い
られる。特に、式（８）における最小２乗誤差は、各局
部領域を越える局部的表面パラメータに関して最小化さ
れる。次いで、この最小２乗誤差は、全ての局部領域に
おけるイメージセンサの動きパラメータに関して最小化
される。各局部的イメージ領域では、この最小２乗誤差
の度合いがＰに関して以下のように最小化される。
式（９）をPminに関して微分すると、 最小値では、de/dPはゼロであり、Pminは 但し、 平坦なバッチモデルは、Ｐ＝（0,0,c）Ｔになるよう
に一定の深さモデルに簡略化され、したがって、式（1
1）は次のようになる。
但し、C0は前回のスケールすなわち繰り返しからの局
部的な深さの推定値である。
全体的なイメージ領域では、最小化された最小２乗誤
差の度合いは、Ｔ及びΩに関して次のようになる。
但し、各局部的領域のcminは式（13）により与えられ
る。式（14）は局部的な一定の深さモデルに対してのみ
有効である。このような式で表すと、誤差はΩについて
は二次であるがＴについては二次ではなく、非線形最小
化手法が必要となる。現在の方法では、初期の開始値と
してΩ0,T0を用いることによりガウス−ニュートンの最
小化方法が用いられる。なお、他の最小化方法を用いる
ことができることは勿論である。もし例えば一連のフレ
ームの前回のフレームからΩ0,T0の初期の推定値が不明
な場合には、試行的な並進値が式（14）に代入され、Ω
−Ω０の値が求められ（式（14）がΩ−Ω０に関して二
次であるので閉じた形式で）、求めるべき初期推定値と
して式（14）において最小誤差を与えるＴおよびΩ−Ω
０が選択される。望ましくは局部的及び全体的な最小化
法がマルチ解像度ピラミッド手法の範囲内で用いられ
る。
本発明は、与えられたイメージ解像度において１シー
ンの２以上のイメージからそのシーンに対するイメージ
センサの動きのモデルと、そのシーンの構造モデルを決
定する方法であって、その方法は、 （ａ）局部的なシーンモデル及びイメージセンサの動き
モデルの初期推定値をセットする工程と、 （ｂ）前記イメージ内で測定された誤差と前記モデルに
より予測される誤差の間の差を最小化することにより前
記モデルの１つの新しい値を決定する工程と、 （ｃ）前記（ｂ）の工程で決定される前記モデルの１つ
の新しい値を用い、局部的シーンモデルとイメージセン
サの動きモデルの各初期推定値を再セットする工程と、 （ｄ）前記（ｂ）の工程で決定される前記モデルの新し
い推定値を用い、前記イメージ内で測定された誤差と前
記モデルにより予測される誤差の間の差を最小化するこ
とにより前記モデルの第２番目の新しい値を決定する工
程と、 （ｅ）前記与えられたイメージ解像度における前記モデ
ルの現在の推定値を用い、イメージの１つを他のイメー
ジに対してワープする工程と、 （ｆ）前記モデルの新しい値及び前回の繰り返し処理で
決定された値の差がある値より小さくなるまで、又は所
定数の繰り返し処理が行われるまで前記（ｂ）、
（ｃ）、（ｄ）及び（ｅ）の工程を繰り返す工程と （ｇ）イメージを高い解像度に伸長する工程と、 （ｈ）前記モデルの現在の推定値を初期の開始値として
用い、前記高い解像度において前記（ｂ）、（ｃ）、
（ｄ）、（ｅ）及び（ｆ）の工程を繰り返す工程に成
る。
本発明はまた、１シーンのイメージセンサの動き及び
構造を決定するイメージ処理システムであって、 １シーンの１以上のイメージを得るためのイメージセ
ンサ手段と、 第１のイメージ解像度における局部的シーンモデル及
び前記イメージセンサ手段の動きの初期推定値をセット
する手段と、 第１のイメージ解像度における局部的シーンモデル及
び前記イメージセンサ手段の動きの初期推定値を用い、
第１のイメージを第２のイメージに対してワープする手
段と、 １つの最小化工程により全ての局部的シーンモデルを
正確化すると共に、イメージセンサの動きモデルを正確
化する手段と、 前記（ｂ）及び（ｃ）の工程を数回繰り返す繰り返し
手段とを有するシステムである。
局部的な最小化処理では、全体的なイメージセンサの
動きの制約条件は、表面パラメータを局部的に正確化す
ることを拘束している。逆に、全体的な最小化処理で
は、局部的なイメージ構造により与えられる局部的な制
約条件は、全体的なイメージセンサの動きパラメータを
正確化することを拘束している。
上記方法の最初の部分では、各局部的な表面パラメー
タｃを正確化するために、イメージセンサの動き制約条
件と局部的なイメージの明るさ導関数とが用いられる。
イメージセンサ動きの増分方程式（図７）は、より簡単
な局部的な一定の深さモデルに書き換えることができ
る。
すなわち、 du＝（KTc|AΩ）−（KT0c0＋ＡΩ０） （15） Ω＝Ω０、Ｔ＝T0では du0＝KT0（ｃ−c0） （16） 但し、du0はパラメータｃを増加した場合の増分動きで
ある。したがって、局部的な動きにおける増分は、速度
空間における１ラインに沿ってベクトルKT0の方向に拘
束される（このラインはイメージセンサの動き拘束ライ
ン）。ベクトルKT0は、イメージ対の焦点伸長の現在の
推定の向きを示している。
１つのエッジ状のイメージ構造を含む局部的領域内に
おいては、明るさ制約方程式は、速度空間における１ラ
インに沿ってエッジの方向（▽Ｉに垂直）に存在する動
きを拘束している。イメージセンサの動きと明るさの動
き制約条件を組み合わせることにより、表面パラメータ
ｃが正確化され、この正確化により導かれる増分動き
は、イメージセンサの動き制約条件ラインと局部的な明
るさ制約条件ラインとが交差する点に存在する。この場
合、開口の問題に起因する局部的動きの不明確さは、イ
メージセンサの動き制約条件のみを用いることにより解
決された。しかしながら、イメージセンサの動き制約条
件ラインと局部的な動き制約条件ラインとが平行な場合
には、局部的動きの不明確さは、イメージセンサの動き
制約条件を用いても解決されない。この場合、ΣLOCAL
（▽ITKT0）２≒０であり、図13における分母はゼロに
近づく。物理的な解釈では、局部的なエッジ構造は焦点
伸長の現在の推定の方向に配列されている。この局部的
な表面パラメータは信頼できるほど正確化することがで
きない。何故ならば、イメージセンサの動きの推定値は
局部的な明るさの制約条件に対して殆ど、或いは全く、
制約条件を加えていないからである。現在の方法では、
式13の分母がある閾値より低い場合には、局部的な表面
パラメータは正確化されない。
コーナ状のイメージ構造を含む局所的領域内では、両
方の動き要素は局部的な情報から解決することができ、
また、局部的な明るさの制約条件は、増分動きが速度空
間における１点に存在するように拘束される。しかしな
がら、イメージセンサの動きの推定値は、速度空間にお
けるイメージセンサの動きの制約条件ラインに存在する
ように増分動きを拘束する。もし点とラインが速度空間
において交差する場合には、正確化により導かれる増分
動きは速度空間における点に対応している。もし点とラ
インが交差しない場合には、増分動きは速度空間におけ
る点とラインの間に存在する。
１個のエッジ状のイメージ構造を含む局所的領域内で
は、明るさ制約方程式（式１）は、式１における誤差が
エッジの勾配ベクトル（▽Ｉ）に垂直な任意のduに対し
ても一定のままであることを示している。その結果、エ
ッジに対して垂直な局部的動き要素のみがイメージセン
サの全体的な動きの推定値を正確化するために用いられ
る。エッジの方向に沿った動き要素は何ら貢献しないの
で、イメージセンサの全体的な動きの推定値における誤
差が、開口の問題に起因する局部的動きの不明確さによ
って殆ど引き起こされない。
コーナ状のイメージ構造を含む局部的領域内では、両
動き要素は単に局部的な情報から分解されることがで
き、また、両動き要素は全体的なイメージセンサの動き
の推定値を正確化する際に役立つ。
本発明者は、ガウスまたはラプラスのピラミッド手法
を用い、イメージセンサの動きの推定値と局部的な表面
パラメータを複数の（マルチ）解像度で正確化するよう
にしている。このピラミッド手法では、元のイメージの
解像度おいては画素の大きな変位は、粗い解像度おいて
は画素の小さな変位として表示される。したがって、明
るさ不変の制約条件の第一次テーラー展開式（式１は小
さなduに対してのみ略正しい）は、イメージの動きが元
の解像度において大きい場合であっても粗い解像度にお
いて有効となる。前の解像度から得られる局部的な深さ
の推定値は、イメージ対が次の最も高い解像度において
より精密に登録されるように用いられる。その結果、第
一次テーラー展開式は、ピラミッド手法では全ての解像
度において正当であるはずであり、また、例えば閉塞境
界で発生する明るさの仮定における基本的な違反を無視
する。加えて、シーン内で独立して移動する目的物はま
た、イメージセンサの動きの制約条件を違反する。予備
的な結果では、イメージセンサの動きの回復された推定
値は、モデルにおけるそのような不良にそれ程敏感でな
いことが示されている。
ここに記載されているイメージセンサの動きの回復方
法では、ピラミッド内におけるガウス又はラプラスのぼ
かしにより導かれたイメージの明さの追加変化は、未だ
決定されていない。イメージセンサの動きの回復された
推定値は、各解像度において類似であることが多く、ま
た、流れに基づくマルチ解像度のイメージセンサの動き
回復方法を用いてイメージセンサ並進の関数として計算
される誤差表面は、全ての解像度において似ている。
図３において、本発明を構成するためのフィードバッ
クループ300はビデオカメラのようなイメージセンサ302
を有し、このイメージセンサ302の出力はある解像度の
１シーンの一連のイメージである。他のタイプのイメー
ジセンサ302としては、レーダ探知機、光学的ラインセ
ンサ、電磁式又は音波式の探知機、他の信号源を含む。
このイメージは第１のピラミッドプロセッサ306に対
し、また、フレーム遅延器308を介して第２のピラミッ
ドプロセッサ310に対して、スイッチ304により交互に印
加される。このようなピラミッドプロセッサは、例えば
アンダーソン等の米国特許4,692,806号とバン・アル・
ワルの米国特許4,703,514号に示されているイメージ処
理技術において知られている。この２つのピラミッドプ
ロセッサは、フレーム遅延器308により遅延により時間
的に分離され、かつ、元フレームの解像度より低い解像
度ｒにおいて元フレームに対応している出力イメージを
有する。この時間的に遅延されたイメージは、ワープ器
312を介して推定器314に印加される。このワープ器312
は時間的に遅延されたイメージを操作するように示され
ているが、他のイメージにも同じように働く。他のイメ
ージは直接に推定器314に印加される。推定器314では、
第１のステップにおいて実際のイメージの動きとイメー
ジセンサの動き及び局所的なシーン構造のモデルとのミ
スマッチに関する誤差関数が、全体的なイメージセンサ
の動きの現在の推定値を一定に保ちながら、各局所的な
シーンモデルに関して最小化される。
第２の工程では、イメージセンサの全体的な動きとイ
メージセンサの動きおよび局所的シーン構造のモデルと
のミスマッチに関する誤差関数は、局所的なシーンモデ
ルの現在の推定値を一定に保ちながらイメージセンサの
全体的な動きに関して最小化される。推定器314は、全
体的な動きモデルの推定値と、局所的シーン構造モデル
またはイメージ（画像）の局所的な深さモデルとを出力
する。初期化器315は推定器314に対して、局部的シーン
構造と全体的な動きモデルに関する初期の制約値を出力
する。この情報は初期化器315内に内蔵してもよく、ま
た、他のセンサから供給するようにしてもよい。推定器
314の出力は、全体的なセンサの動きと局所的シーン構
造モデルとの新しい各推定値である。これらの新しい推
定値はシンセサイザ316に印加され、シンセサイザ316に
よりワープ制御信号が導き出されてワープ器312に印加
される。ワープ器312は時間的に遅延されたイメージを
歪ませ、他のイメージと一致するように近づける。この
サイクルは、必要な数の繰り返しが完了するまで又は２
つのイメージ間の差がある値以下に減少するまで繰り返
される。局部的な深さモデルの情報はポート318で与え
られ、また、全体的動きモデルの情報は図示319で与え
られる。これらのイメージはより高い解像度で再び計算
され、繰り返しサイクルが繰り返される。与えられたあ
る解像度レベルにおける繰り返し、および引き続く高い
解像度における繰り返しのシーケンスは、各繰り返し処
理におけるモデル間の差がある値より小さくなるまで、
すなわち解像度REの十分なレベルが達成されるまで繰り
返される。
このイメージセンサの動きを用いた方法は、自然のイ
メージとコンピュータによるイメージの両方のシーケン
スについてテストされた。イメージシーケンスにおける
動きは、元の解像度では略４ないし８画素の範囲にあ
り、したがって、動きが増分動き推定器の範囲外である
ので、元の解像度のみにおける解析は不正確である。こ
こでは４つの解像度が用いられている。他に記載されて
いない限り、Ｔ＝（0,0,1）Ｔ及びΩ＝（0,0,0）Ｔがイ
メージセンサの動きの初期推定値として用いられてい
る。局部的な深さの逆数の推定値は全てゼロに初期化さ
れている。
次に、256×256画素のサイズのコンピュータイメージ
と、256×240画素のサイズの自然画像を用いた本方法を
以下に示す。ラプラスのピラミッドは、上記コンピュー
タイメージに対して解像度を減少した128×120、64×6
4、32×32画素のサイズのイメージと、上記自然画像に
対する128×120、64×60、32×30画素のサイズのイメー
ジを生成するために用いられた。発明者は、局部的表面
モデルをイメージ内の各点の中心に位置する５×５画素
のウィンドウに一致させ、また、イメージセンサの動き
モデルがイメージ内の各点に一致するようにした。例え
ば車両運行システムの一部では、前方の運動や近づく目
的物のようなイメージ領域に目的に合うように向けられ
た多数のより大きな局部的ウィンドウに対して解析が制
限される。全体的なイメージセンサモデルは、イメージ
内の各点に一致するようにされる。
本発明者は、本方法では非常に粗い解像度（ここでは
イメージサイズに対して16×16画素に対応する）で解析
を開始した時に不正確な解決点に収束したり、全く収束
しないことを発見した。これは、非常に粗いスケールに
おけるイメージ強度が過度にぼやけたり、非常に粗い解
像度におけるサンプル点の数が限られているためと思わ
れる。
図4aは既知の深さマップと既知のイメージセンサの動
きパラメータから合成され、再サンプルされたイメージ
対を示している。このイメージ対のために、最も粗い解
像度における17×17＝289の並進値をサンプルすること
により、イメージセンサの動きの初期推定値が回復され
た。図4bは元のイメージ対の問題の差分イメージを示し
ている。図4cは回復された深さマップと実際の深さマッ
プの差のパーセンテージの絶対値を示している。図4cは
深さの誤差測度パーセンテージ［100（真の深さ−計算
された深さ）／真の深さ］を示し、これはシーンの前景
において回復された深さマップにおける誤差が全く均一
であり、また、上記前景における180×100画素のウィン
ドウにおける実際の測定値が略１％のrms誤差を有する
ことを示している。（稜線を丁度越えた）シーンの前景
部分では誤差は非常に大きく、100×15画素のウィンド
ウにおける測定値が略８％のrms誤差を有する。この差
は、両方の領域における実際の動きと回復された動きの
差が略0.05−0.1画素であるのに対し、実際の動きが前
景では略４−８画素、背景では略１画素であることを観
測することにより説明される。本発明者は、イメージの
前景部分と背景部分において回復された動きの正確さを
期待する。何故ならば、このイメージは重く組織化され
ているが、組織が全くないイメージ最上部では回復され
た深さと動きが大きな誤差を有するからである。
図4dは、局部的表面パラメータ（深さ逆数）のイメー
ジにおいてイメージセンサに対して明るい点が暗い点よ
り近いことを示している。イメージの底の部分は、深さ
が急激に変化する稜線に向けて「カメラ」から傾斜にし
ている表面を示している。このイメージの最上部は、組
織が全くないイメージ空白部分において回復されたパラ
メータを示している。
図4eは各解像度における回復されたイメージセンサの
動きと実際のイメージセンサの動きを示している。明る
さが一定であるという仮定が損なわれる閉塞境界がイメ
ージ中心を横切るにもかかわらず、最終の解像度におけ
るイメージセンサの動き要素の推定値は、「カメラ」の
実際のイメージセンサの動きに非常に近い。一般に、最
小２乗法による手法は、モデル内の偏差により導かれる
かもしれない部外測定値に敏感でなければならない。同
一の増分動き推定器（図１）を粗い精度の解析手法で用
いる他の動き一致手法において、部外測定値に対する強
靱さが正確に観測された。
図5aは、イメージ中心が既に推定され且つ正確なイメ
ージセンサの動きが未知である自然イメージ対の第２イ
メージを示している。前景におけるイメージの動きはイ
メージセンサに対して略５画素である。図5bは最も高い
解像度で回復された逆の深さイメージを示している。こ
の回復された深さは、イメージ境界と、回復されたフォ
ーカス伸長近く（イメージ中心のゲート近く）とを除い
た殆ど全ての場所で尤もらしい。深さ逆数マップの右手
側の底における明るいドットは、地面を横切ってイメー
ジセンサの方に風に吹かれている原イメージ内の葉っぱ
かもしれない。発明者は、ほとんど全ての場所で重密に
組織化されているシーンから上記尤もらしい結果を期待
できるかもしれない。図5cは、各解像度において計算さ
れたイメージセンサの動きを示している。このイメージ
センサの動きの推定値は、２つの最も精密なスケールに
おいて回復された推定値に近いが、この回復された推定
値は未だ、２つの最も粗い解像度における場合に近い
が、この粗い解像度では、不正確な推定値を導く誤差面
における小さい勾配の不正確な方向に最小化処理が続い
て行われた。これは、推定処理が如何に次の不正確な最
小化パスから回復することができるかを示しており、ま
た、イメージのぼけにより導かれる差により、解像度間
では誤差表面が如何に殆ど差がないことを示している。
図5eは各解像度において回復されたイメージセンサの動
きと実際のイメージセンサの動きを示している。
図6aはイメージ組織が殆ど存在しない道路シーケンス
の第２のイメージを示す。この前景におけるイメージの
動きはイメージセンサに対して略９画素である。図6bは
最も高い解像度において回復された逆の深さイメージを
示す。この場合にはイメージの上部（空）に対応する逆
の深さパラメータは全く不正確である。また、事実、局
部的表面パラメータはたぶん、このような小さなイメー
ジ勾配を含むイメージ領域では正確化すべきでないが、
同一の理由によりこの領域は、回復されたイメージセン
サの動き推定値に関して最小の影響を有する。図6cはこ
の場合、回復された解は、各解像度におけるイメージセ
ンサの動きの初期推定値に近いままであることを示して
いる。本発明者は、道路中央における道路の可視部分の
端部に存在するように焦点伸長を計算した。図6eは各解
像度において回復されたイメージセンサの動きと実際の
イメージセンサの動きを示している。
図７は他の道路シーケンスの結果を示している。この
場合、回復された解決策が、各解像度におけるイメージ
センサの動きの初期推定値に近く存在する。イメージ
（空）の最上部に対応する逆の深さパラメータは全く不
正確であり、また、事実、局部的表面パラメータは、そ
のような小さな勾配を含むイメージ領域ではたぶん正確
化すべきではないが、同一の理由によりその領域は、回
復されたイメージセンサの動きの推定値に関しては最小
の効果を有する。本発明者は、道路中央における道路の
可視部分の端部に焦点伸長が存在することを決定した。
２つのイメージにおけるイメージ勾配から直接にイメ
ージセンサの動きを推定するマルチ解像度によ繰り返し
方法が開示され、また、異なる局部的イメージ構造から
の制約条件がイメージセンサの動きの制約条件に対して
如何に関係があるかが開示される。イメージセンサの動
きと深さは、コンピュータによる例では全く正確に回復
され、また、この回復されたイメージセンサの動きと深
さは、基礎なる真値が利用できない自然イメージのシー
ケンスにおいて尤もらしいと見えた。
現在の単一解像度による解析法に対する、マルチ解像
度による解析法の主要な効果は次の通りである。
（ａ）動き範囲の増大：原イメージの解像度では、一致
するイメージを制限することは、略１画素より大きな動
きを正確に測定することができないことを示している。
マルチ解像度による解析法を用いることにより、動き範
囲は原イメージの解像度における略16（又はそれ以上
の）画素まで増大する。これにより、イメージセンサの
動きとシーン構造回復の方法は、単一解像度による解析
法では適用することができない応用範囲にも用いること
ができる。事実、イメージの違いすなわちイメージの動
きは、多くの（全てではなくとも）応用範囲においては
−１画素以上である。
（ｂ）動き推定値の正確さ：前の解像度からの結果を用
いて次の最も高い解像度ではイメージセンサの動きとシ
ーン構造の推定値を最新化するので、最も高い解像度
（原イメージの解像度）におけるイメージセンサの動き
とシーン構造の各推定値は、前の推定値を正確化するこ
となく原イメージの解像度のみで推定値を計算する単一
解像度の解析法より全く正確である。
（ｃ）方法の効率性：粗い解像度ではこの方法が非常に
早く動作するのでイメージ表示が小さい。もしイメージ
センサの動きとシーン構造の正確化された推定値が目的
によっては十分正確な場合には、粗い解像度で処理を停
止することができる。したがって、単一解像度の解析法
と比べて、ハードウエアソース及び／又は計算力と、イ
メージセンサの動き及びシーン構造の推定値の関係にお
いて柔軟性がある。
要約すると、深さとイメージセンサの動きの推定値を
マルチ解像度（単一解像度で正確化する場合も同様に）
で正確化するので、ワープされる深さ手法は、他の方法
により非常に正確である。また、マルチ解像度の解析法
により、この方法が動作する許容可能な動き範囲は他の
方法より非常に広い。この結果、ワープされる深さ方法
は、他の方法を用いることができない多くの応用例に用
いることができ、この方法が効果的である。この結果、
ハードウエア及びソフトウエアのリアルタイムな具体例
が比較的簡単である。
イメージセンサの動きとシーン構造モデルはイメージ
全体に一致する必要がなく、特定の領域を選択してその
領域でのみ処理を行えばよい。イメージセンサの動き及
びシーン構造の推定値を粗い−精密な解像度で正確化す
る処理は、時間にわたる正確化を含むように拡張でき
る、つまりイメージ対よりもむしろイメージシーケンス
にわたる推定値を正確化する。この方法は、２以上のイ
メージ対からシーン構造及び／又はイメージセンサの動
きを推定することが必要な多くの問題に適用することが
できる。適用例としては車両航行、障害物検出、深さ回
復及びイメージ安定化を含む。
ここに開示されている方法は、局部的なイメージの明
るさ及びイメージの明るさの導関数の他に、局部的なイ
メージの特徴すなわち抑制に有用であった。他のイメー
ジの特徴も本発明の方法に用いることができることは理
解されるべきである。また、局部的なシーンの特徴をよ
り高い解像度に拡張する他のピラミッド処理を用いるこ
とができることも理解されるべきである。
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 H04N 5/232 H04N 7/32

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項１】フィードバックループを用いるディジタル
    画像処理方法であって、 イメージセンサのための動きモデルによって表されるグ
    ローバル運動と、シーンモデルによって表される、局所
    的なシーン構造における固有の変化と、の両方に伴って
    シーンの構造的な画像特徴が変化するグローバルに運動
    するシーンを表しディジタル形式での画像フレームの連
    続した対のシーケンスに応答して、該方法は、（１）前
    記グローバル運動の実際の値と、（２）局所的なシーン
    構造における実際の固有の変化との少なくとも一方を決
    定するものであり、前記フィードバックループは、前記
    動きモデルおよび前記シーンモデルを正確化するための
    正確化手段と、ワープ制御入力として加えられる前記正
    確化手段の出力値及び前記正確化手段への第１の入力と
    して加えられる出力値を持つワープ手段とを備え、前記
    正確化手段は、前記グローバル運動の値と前記局所的な
    シーン構造における固有の変化との推定を可能にするも
    のであり、前記方法は、 ａ） 所定の解像度で、前記ワープ手段を通して前記連
    続した各対のうちの一方の画像フレームの画像構造を前
    記正確化手段への前記第１の入力として加え、 ｂ） 前記所定の解像度で、前記連続した各対のうちの
    他方の画像フレームの画像構造を前記正確化手段への第
    ２の入力として直接に加え、 ｃ） 前記局所的なシーン構造における前記固有の変化
    と、前記グローバル運動の値との初期推定値を前記正確
    化手段に格納し、 ｄ） 前記正確化手段を用いて、前記局所的なシーン構
    造における前記固有の変化と前記グローバル運動の値と
    の現在格納されている推定値のうちの一方の推定値を修
    正して該一方の推定値の格納された推定値にし、この格
    納された推定値は、前記ステップ（ａ）及び（ｂ）によ
    って前記正確化手段へ実際に加えられる第１および第２
    の入力によって規定され画像構造における測定された変
    化と、前記格納された推定値から計算された画像構造に
    おけるこれらの変化の予測との間の差が最小化されたも
    のであり、これにより、前記格納された推定値の一方で
    ある格納された修正推定値と、前記格納された推定値の
    他方である現在格納された推定値とが前記正確化手段か
    らの出力として導き出され、 ｅ） 前記正確化手段を用いて、前記正確化手段からの
    前記出力によって決定される前記ワープ手段へのワープ
    制御入力を導き出し、これによって、前記ステップ
    （ａ）によって前記正確化手段への前記第１の入力とし
    て前記ワープ手段を介して加えられる前記連続した各対
    のうちの前記一方の画像フレームの画像構造は、前記ワ
    ープ手段への前記ワープ制御信号に従ってワープされ
    て、ステップ（ｂ）により前記正確化手段への前記第２
    の入力として直接に加えられる前記連続の各対のうちの
    前記他方の画像フレームの画像構造とより密接に対応す
    るようになり、 ｆ） 前記正確化手段を用いて、前記局所的なシーン構
    造における前記固有の変化と前記グローバル運動の値と
    の現在格納されている推定値のうちの他方の推定値を修
    正して該他方の推定値の格納された推定値にし、この格
    納された推定値は、前記ステップ（ａ）及び（ｂ）によ
    って前記正確化手段へ実際に加えられる第１および第２
    の入力によって規定され画像構造における測定された変
    化と、前記格納された推定値から計算された画像構造に
    おけるこれらの変化の予測との間の差が最小化されたも
    のであり、これにより、前記格納された推定値の他方で
    ある格納された修正推定値と、前記格納された推定値の
    一方である現在格納されている推定値とが前記正確化手
    段からの出力として導き出され、 ｇ） 前記ステップ（ｅ）を繰り返す 方法。
  2. 【請求項２】前記グローバル運動は前記格納された推定
    値のうちの一方である、請求項１に記載の方法。
  3. 【請求項３】前記局所的なシーン構造における前記固有
    の変化は前記格納された推定値のうちの一方である、請
    求項１に記載の方法。
  4. 【請求項４】ｈ） ステップ（ｄ）の繰り返しにおいて
    導かれた前記格納された推定値のうちのいずれか一方の
    前記格納された修正推定値が、ステップ（ｄ）の該繰り
    返しにおける現在格納されている推定値と実質的に同じ
    になるまで、あるいは繰り返し回数が所定の最大数にな
    るまで、前記ステップ（ｃ）〜（ｇ）を反復的に繰り返
    す、請求項１に記載の方法。
  5. 【請求項５】ｈ） ステップ（ｄ）の繰り返しにおいて
    導かれた前記格納された推定値のうちのいずれか一方の
    前記格納された修正推定値が該ステップ（ｄ）における
    現在の格納推定値と実質的に同じになり、且つ該ステッ
    プ（ｆ）において導かれた前記格納された推定値のうち
    の他方の前記格納された修正推定値が該ステップ（ｆ）
    における該現在格納されている推定値と実質的に同じに
    なるまで、あるいは、繰り返し回数が所定の最大値にな
    るまで、前記ステップ（ｃ）〜（ｇ）反復的に繰り返
    す、請求項１に記載の方法。
  6. 【請求項６】前記所定の構造的な画像特徴は、前記画像
    の前記所定の解像度における画像ピクセルの輝度であ
    る、請求項１に記載の方法。
  7. 【請求項７】イメージセンサのための動きモデルによっ
    て表されるグローバル運動と、シーンのシーンモデルに
    よって表される局所的なシーン構造における固有の変化
    との両方に伴ってシーンの構造的な画像特徴が変化する
    グローバルに運動するシーンを表す画像フレームの連続
    した対のシーケンスに応答を示すディジタル画像処理装
    置であって、該画像フレームはディジタル形式の第１の
    解像度であり、 第１および第２のピラミッドプロセッサを備え、 スイッチおよびフレーム遅延器を備え、該スイッチおよ
    び該フレーム遅延器は、前記第１および第２のピラミッ
    ドプロセッサの一方への入力として前記連続した対の各
    々である２つの画像フレームうちの第１番目のものを直
    接に加えると共に、前記第１および第２のピラミッドプ
    ロセッサの他方への入力として前記連続した対の各々で
    ある２つの画像フレームうちの第２番目のものを前記フ
    レーム遅延器を介して加えるために使用されるものであ
    り、これによって、前記第１および第２のピラミッドプ
    ロセッサの各々は、その入力に加えられる各画像フレー
    ムの前記第１の解像度をその出力において第２の解像度
    に下げることができ、 前記動きモデルおよび前記シーンモデルを正確化するた
    めの正確化手段とワープ手段とを有するフィードバック
    ループを備え、前記正確化手段は、その中に格納された
    前記局所的なシーン構造における前記固有の変化と前記
    グローバル運動の値との推定値それぞれを表わす出力、
    並びに第１および第２の入力を有しており、前記ワープ
    手段は、ワープ制御入力として加えられる前記正確化手
    段の出力値を持つと共に前記正確化手段への第１の入力
    として加えられる該ワープ手段からの出力値を持つもの
    であり、 前記第１および第２のピラミッドプロセッサの出力の一
    方は、前記ワープ手段を介して前記正確化手段の前記第
    １の入力として加えられており、前記第１および第２の
    ピラミッドプロセッサの出力の他方は、前記正確化手段
    の前記第２の入力として直接に加えられており、 前記正確化手段は、その中に格納されている２つの現推
    定値を用いて、第２の入力に直接に加えられた画像構造
    から、第１の入力に加えられる画像構造の予測をまず計
    算し、その後に、前記正確化手段へ実際に加えられる第
    １および第２の入力によって規定される画像構造におけ
    る測定された変化と、画像構造におけるこれらの変化の
    前記計算された予測との差を最小化するように前記格納
    された２つの現推定値のうち選択可能なものを修正する
    ものであり、 前記正確化手段は、前記ワープ手段へのワープ制御入力
    を導くものであり、該ワープ制御入力は前記正確化手段
    からの前記出力によって決定されものであり、該ワープ
    手段により、前記ワープ手段を介して前記第１の入力と
    して前記正確化手段に加えられる画像構造が、前記正確
    化手段への前記第２の入力として直接に加えられる画像
    構造とより密接に対応するように、前記ワープ制御信号
    に従ってワープされるものであり、 前記正確化手段において前記局所的なシーン構造におけ
    る前記固有の変化と前記グローバル運動の値との初期推
    定値をそれぞれ設定するための設定手段と備える、ディ
    ジタル画像処理装置。
  8. 【請求項８】前記第１および第２のピラミッドプロセッ
    サの各々は、前記第２の解像度よりも高く前記第１の解
    像度以下である所定の解像度で、あるいは前記第２の解
    像度で、各ピラミッドプロセッサの入力に加えられる各
    画像フレームを各ピラミッドプロセッサの出力に選択的
    に提供できる、請求項７に記載のディジタル画像処理装
    置。
JP50698193A 1991-10-04 1992-10-02 センサの動きとシーン構造を決定する方法及びイメージ処理システム Expired - Fee Related JP3253962B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/771,715 US5259040A (en) 1991-10-04 1991-10-04 Method for determining sensor motion and scene structure and image processing system therefor
US771,715 1991-10-04

Publications (2)

Publication Number Publication Date
JPH06511339A JPH06511339A (ja) 1994-12-15
JP3253962B2 true JP3253962B2 (ja) 2002-02-04

Family

ID=25092745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50698193A Expired - Fee Related JP3253962B2 (ja) 1991-10-04 1992-10-02 センサの動きとシーン構造を決定する方法及びイメージ処理システム

Country Status (5)

Country Link
US (1) US5259040A (ja)
EP (1) EP0606385B1 (ja)
JP (1) JP3253962B2 (ja)
DE (1) DE69231812T2 (ja)
WO (1) WO1993007585A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI398720B (zh) * 2009-03-09 2013-06-11 Mediatek Inc 影像擷取方法與裝置

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement
US5627586A (en) * 1992-04-09 1997-05-06 Olympus Optical Co., Ltd. Moving body detection device of camera
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
US6236682B1 (en) * 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
KR100268311B1 (ko) * 1993-06-04 2000-10-16 윌리암 제이. 버크 전자적 화상 안정화 장치 및 방법
DE69433074D1 (de) * 1993-07-02 2003-10-02 Siemens Corp Res Inc Hintergrundrückgewinnung in monokularer Bildverarbeitung
JP2725599B2 (ja) * 1994-06-21 1998-03-11 日本電気株式会社 隆線方向抽出装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JPH11509064A (ja) 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
JPH09168152A (ja) * 1995-10-26 1997-06-24 Hyundai Electron Ind Co Ltd 動画像処理における動きの推定装置及びその方法
US5706054A (en) * 1995-12-01 1998-01-06 Intel Corporation Method and apparatus for adjusting video data to limit the effects of automatic focusing control on motion estimation video coders
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5799113A (en) * 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5751838A (en) * 1996-01-26 1998-05-12 Nec Research Institute, Inc. Correction of camera motion between two image frames
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US5778098A (en) * 1996-03-22 1998-07-07 Microsoft Corporation Sprite coding
US5764814A (en) * 1996-03-22 1998-06-09 Microsoft Corporation Representation and encoding of general arbitrary shapes
US8107015B1 (en) 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
GB2317525B (en) 1996-09-20 2000-11-08 Nokia Mobile Phones Ltd A video coding system
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US6088472A (en) * 1996-12-20 2000-07-11 Siemens Corporate Research, Inc. Global models with parametric offsets for object recovery
US6160907A (en) * 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
US6084590A (en) * 1997-04-07 2000-07-04 Synapix, Inc. Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage
US6130707A (en) * 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
US6219462B1 (en) 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
AU8434298A (en) * 1997-07-28 1999-02-22 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for multiresolution object-oriented motion estimation
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
JPH11213174A (ja) * 1998-01-28 1999-08-06 Hitachi Denshi Ltd 動画像編集方法
US6823013B1 (en) * 1998-03-23 2004-11-23 International Business Machines Corporation Multiple encoder architecture for extended search
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
IL138808A0 (en) 1998-04-02 2001-10-31 Kewazinga Corp A navigable telepresence method and system utilizing an array of cameras
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6266053B1 (en) 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
US6249285B1 (en) 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
US6297825B1 (en) 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
GB2340327A (en) * 1998-07-29 2000-02-16 Nokia Mobile Phones Ltd Motion estimation in a video coding system
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
WO2000042771A1 (en) * 1999-01-12 2000-07-20 Koninklijke Philips Electronics N.V. Camera motion parameters estimation method
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6353678B1 (en) 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
EP1727089A3 (en) * 1999-11-26 2007-09-19 MobilEye Technologies, Ltd. System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
WO2001039120A2 (en) * 1999-11-26 2001-05-31 Mobileye, Inc. System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
WO2001045422A1 (de) * 1999-12-17 2001-06-21 Koninklijke Philips Electronics N.V. Bewegungsschätzung in videobildern
US6516087B1 (en) 2000-01-10 2003-02-04 Sensar, Inc. Method for real time correlation of stereo images
US20010043721A1 (en) * 2000-03-21 2001-11-22 Sarnoff Corporation Method and apparatus for performing motion analysis on an image sequence
US6718317B1 (en) * 2000-06-02 2004-04-06 International Business Machines Corporation Methods for identifying partial periodic patterns and corresponding event subsequences in an event sequence
JP3679988B2 (ja) * 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
US6445832B1 (en) * 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence
WO2002045003A1 (en) * 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
JP2002224982A (ja) * 2000-12-01 2002-08-13 Yaskawa Electric Corp 薄型基板搬送用ロボットおよび薄型基板検出方法
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
WO2003001788A2 (en) * 2001-06-25 2003-01-03 Redhawk Vision Inc. Video event capture, storage and processing method and apparatus
DE10133761A1 (de) * 2001-07-11 2003-01-30 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
CN1235172C (zh) * 2002-02-20 2006-01-04 佳能株式会社 图像输入装置
EP1483909B1 (en) * 2002-03-13 2010-04-28 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US7631261B2 (en) * 2002-09-12 2009-12-08 Inoue Technologies, LLC Efficient method for creating a visual telepresence for large numbers of simultaneous users
US7577636B2 (en) * 2003-05-28 2009-08-18 Fernandez Dennis S Network-extensible reconfigurable media appliance
TWI225622B (en) * 2003-10-24 2004-12-21 Sunplus Technology Co Ltd Method for detecting the sub-pixel motion for optic navigation device
US7346226B2 (en) * 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7650016B2 (en) * 2004-07-30 2010-01-19 Lockheed Martin Corporation System and method for tracking motion of an object image
US7715589B2 (en) * 2005-03-07 2010-05-11 Massachusetts Institute Of Technology Occluding contour detection and storage for digital photography
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
EP1979874B1 (en) * 2005-09-12 2011-10-26 Carlos Tapang Frame and pixel based matching of model-generated graphics images to camera frames
US7801335B2 (en) * 2005-11-11 2010-09-21 Global Rainmakers Inc. Apparatus and methods for detecting the presence of a human eye
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US8842730B2 (en) 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US8364646B2 (en) 2006-03-03 2013-01-29 Eyelock, Inc. Scalable searching of biometric databases using dynamic selection of data subsets
US20070208904A1 (en) * 2006-03-03 2007-09-06 Wu-Han Hsieh Wear leveling method and apparatus for nonvolatile memory
US7697725B2 (en) * 2006-04-03 2010-04-13 Sri International Method and apparatus for autonomous object tracking
US8340349B2 (en) * 2006-06-20 2012-12-25 Sri International Moving target detection in the presence of parallax
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8604901B2 (en) 2006-06-27 2013-12-10 Eyelock, Inc. Ensuring the provenance of passengers at a transportation facility
EP2076871A4 (en) 2006-09-22 2015-09-16 Eyelock Inc COMPACT BIOMETRIC DETECTION SYSTEM AND CORRESPONDING METHOD
WO2008042879A1 (en) 2006-10-02 2008-04-10 Global Rainmakers, Inc. Fraud resistant biometric financial transaction system and method
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
WO2008131201A1 (en) 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
WO2009029757A1 (en) 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
WO2009158662A2 (en) 2008-06-26 2009-12-30 Global Rainmakers, Inc. Method of reducing visibility of illimination while acquiring high quality imagery
US8306279B2 (en) * 2008-09-15 2012-11-06 Eyelock, Inc. Operator interface for face and iris recognition devices
US8195044B2 (en) 2009-03-30 2012-06-05 Eyelock Inc. Biometric camera mount system
CN102326394B (zh) * 2009-09-08 2014-06-11 株式会社东芝 图像处理方法以及装置
TWI416073B (zh) * 2009-11-16 2013-11-21 Ind Tech Res Inst 移動攝影機對路景影像的處理方法及系統
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US10043229B2 (en) 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
BR112013021160B1 (pt) 2011-02-17 2021-06-22 Eyelock Llc Método e aparelho para processar imagens adquiridas usando um único sensor de imagens
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
EP2700041A4 (en) 2011-04-19 2015-04-08 Eyelock Inc BIOMETRIC ORIGINAL CHAIN
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
RU2623795C2 (ru) 2011-08-22 2017-06-29 АЙЛОК ЭлЭлСи Системы и способы для захвата безартефактных изображений
US9736456B1 (en) * 2012-09-28 2017-08-15 Pixelworks, Inc. Two dimensional to three dimensional video conversion
US9495526B2 (en) 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
CN105934764A (zh) 2013-12-23 2016-09-07 眼锁有限责任公司 用于功率高效的虹膜识别的方法和装置
CN105981047A (zh) 2014-01-06 2016-09-28 眼锁有限责任公司 用于重复虹膜识别的方法和设备
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
CN106796655A (zh) 2014-09-12 2017-05-31 眼锁有限责任公司 用于引导用户在虹膜识别系统中的视线的方法和设备
EP3221835A4 (en) 2014-11-19 2018-04-18 Eyelock Llc Model-based prediction of an optimal convenience metric for authorizing transactions
BR112017015375A2 (pt) 2015-01-20 2018-01-16 Eyelock Llc sistema de lentes para aquisição de imagem visível e aquisição de imagem de íris infravermelha de alta qualidade
BR112017019362A2 (pt) 2015-03-12 2018-06-05 Eyelock Llc métodos e sistemas para gestão de atividade de rede usando biometria
CN108141606B (zh) * 2015-07-31 2022-03-01 港大科桥有限公司 用于全局运动估计和补偿的方法和系统
US10311299B2 (en) 2015-12-21 2019-06-04 Eyelock Llc Reflected optic camera module for iris recognition in a computing device
EP3458997A2 (en) 2016-05-18 2019-03-27 Eyelock, LLC Iris recognition methods and systems based on an iris stochastic texture model
US10091435B2 (en) * 2016-06-07 2018-10-02 Disney Enterprises, Inc. Video segmentation from an uncalibrated camera array
US10534969B2 (en) 2017-02-24 2020-01-14 Eyelock Llc Systems and methods for providing illumination for iris biometric acquisition
EP3373249A1 (en) 2017-03-08 2018-09-12 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method of detecting moving objects from a temporal sequence of images
CA3015802C (en) 2017-08-31 2021-06-22 Eyelock, Llc Systems and methods of biometric acquistion using positive optical distortion
US11159798B2 (en) * 2018-08-21 2021-10-26 International Business Machines Corporation Video compression using cognitive semantics object analysis

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835532A (en) * 1982-07-30 1989-05-30 Honeywell Inc. Nonaliasing real-time spatial transform image processing system
JPS59133667A (ja) * 1983-01-20 1984-08-01 Hitachi Ltd 画像補正処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI398720B (zh) * 2009-03-09 2013-06-11 Mediatek Inc 影像擷取方法與裝置

Also Published As

Publication number Publication date
US5259040A (en) 1993-11-02
EP0606385B1 (en) 2001-05-02
EP0606385A1 (en) 1994-07-20
EP0606385A4 (en) 1994-10-19
DE69231812D1 (de) 2001-06-07
DE69231812T2 (de) 2001-11-15
WO1993007585A1 (en) 1993-04-15
JPH06511339A (ja) 1994-12-15

Similar Documents

Publication Publication Date Title
JP3253962B2 (ja) センサの動きとシーン構造を決定する方法及びイメージ処理システム
Bensrhair et al. A cooperative approach to vision-based vehicle detection
Irani et al. Computing occluding and transparent motions
Hanna Direct multi-resolution estimation of ego-motion and structure from motion
US5777690A (en) Device and method for detection of moving obstacles
US6307959B1 (en) Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6628715B1 (en) Method and apparatus for estimating optical flow
KR101961001B1 (ko) 단일-카메라 거리 추정
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
JP2009151761A (ja) 動的な視覚的シーンからの画像シーケンスにおける連続図地分離のための方法および装置
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
JP2543505B2 (ja) 時空間微分法を用いた信号処理装置および計測装置
TW200535724A (en) Robust camera pan vector estimation using iterative center of mass
EP3633617A2 (en) Image processing device
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP3914973B2 (ja) 画像の動き検出装置
Koch Automatic reconstruction of buildings from stereoscopic image sequences
JP2002163647A (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
Heel Direct dynamic motion vision
Neumann et al. Integration of region tracking and optical flow for image motion estimation
JPWO2020244717A5 (ja)
Yacoob et al. Temporal multi-scale models for flow and acceleration
Davy et al. Detection of Small Anomalies on Moving Background
Pauwels et al. Fixation as a mechanism for stabilization of short image sequences

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees