JP3734829B2 - 電子画像安定化システム及び方法 - Google Patents
電子画像安定化システム及び方法 Download PDFInfo
- Publication number
- JP3734829B2 JP3734829B2 JP50187595A JP50187595A JP3734829B2 JP 3734829 B2 JP3734829 B2 JP 3734829B2 JP 50187595 A JP50187595 A JP 50187595A JP 50187595 A JP50187595 A JP 50187595A JP 3734829 B2 JP3734829 B2 JP 3734829B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- displacement
- image frame
- frame
- image frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、フレームからフレームに移るときの望ましくない要素を取り除くデジタル画像処理を用いた、画像シーケンスの電子安定化方法および装置に関する。
本発明の背景
画像安定化は、映画産業、テレビニュースカメラマン、揺れたり回転する台上又は動いている車に取り付けられた監視カメラからのビデオ、及び移動している車からのビデオを含んだ多くの用途において必要となっている。映画産業では、ソースビデオの連続フレーム間の望ましくないジッターを取り除かなければならない。テレビニュースカメラマンは、屋外で作られたニュース放送ではハンドヘルドカメラからのビデオを安定化しなければならない。監視カメラからのビデオは、コンピュータ分析の前または人間の監視者に表示する前に安定化されなければならない。移動車からのビデオは、画像圧縮の前、又は遠隔オペレータ（遠隔操作）への伝送もしくは自動運転用コンピュータ視覚システムへの伝送の前に安定化されなければならない。
監視においては、種々のタイプの機械的に安定化した台が用いられて、画像ではなく画像機の動きを補償している。図１では、画像機１０が機械的に安定化された台１２の上に据えられている。画像機１０のリード線１４上の出力Iin(t)がモニタ１６上に表示される。台１２は一般にジャイロスコープを用いて台の回転を感知し、モーターを使ってその回転を補償する。利用者は、電子制御信号１８と台１２にあるモーター駆動機を介して、画像機の撮る方向（パノラマやティルティング）及びズーミングを操作できる。
画像機動きセンサーを用いた電子安定化が、画像の動きではなく画像機の動きを補償するのに使用することができる。図２では、機械的に安定化された台１２の上に据えられた画像機１０は、リード線１４上に出力Iin(t)を送る。台１２の除去できない動きがセンサー２０を用いて測定される。リード線２２上の感知された変位d(t)は、変換モジュール２６により変換パラメータP(t)変換されリード２４に送られる。パラメータP(t)２４は画像歪み装置２８で使用され、モニタ１６での表示用の安定化された出力画像Iout(t) ３０を作り出す。この出力画像は画像機の動きが補償されている。
図３には、画像の動きを感知するデジタル処理を用いた電子安定化用システムが示されている。このシステムは出力Iin(t) １４を有する画像機１０を含む。適当な歪みパラメータが計算されて安定化用画像歪み装置２８に送られるまで、出力Iin(t) １４は画像フレームストア３２に記憶されて画像を保持する。（もし、１フレーム時間に発生する歪みがその前のフレーム時間で計算されたパラメータに基づいているならば、このフレームストアは必要ない。）メモリを減らすために、一組の特徴をモジュール３４によってソースビデオから抽出してもよい。前の画像が現在の画像と比較できるように、第２画像フレームストア３６が設けられて前の画像から抽出された特徴を保持する。時間ｔに抽出されたリード線３８上の特徴f(t)は、変位概算器４２において時間t-1に抽出されたリード線４０上の特徴f(t-1)と比較される。変位概算器４２はデジタル画像処理を行い、画像から画像への動きを求めてリード線４４上に変位d(t)を出力する。市販品の一つのカメラが、フレーム間で比較された特徴として３６画素のアレイを用いる。リード線４４上の感知された変位d(t)は、画像歪み装置２８で用いられて安定化された出力画像Iout(t) ３０をモニタ１６に表示するため出力する。この出力画像は、画像の動きが補償されたものとなっている。本発明者にも既知のこのようなシステムは、ズーミング、回転、視差、及び／又はレンズ歪みを補償できない。図４では、電子目標追跡システムは、相関を用いて目標を画像機の視野内に置き、画像機を調節して目標を中心に置き、少なくとも大まかには目標パターンを安定化する。このシステムは、出力画像Iin(t) １４を有する画像機１０を含む。出力画像は、相関モジュール４６において比較され、そこに記憶された参照パターンを画像１４に適合させる。参照パターンはビデオシーケンスモジュール４８にある前のフレームから選択され、メモリ５０に記憶されている。参照パターンは、場面の中の静止した対象物または動いている対象物を表すことができる。画像Iin(t)と参照パターンの間の差は、変換モジュール２６に変位情報を与える。変換モジュール２６は、この情報を変換して台１２を安定化する信号を出力する。
図５には、変化する検出する電子目標追跡システムが示されている。現在の画像Iin(t)とフレームストア６０にある前の画像In(t-1)の間の差が減算器６２により求められ、大きな変化の領域が探される。モジュール６４により与えられる位置情報x(t)は、画像機１０を再び指示して表示画像の特定の場所に、または特定のトラック上に画像を維持するのに用いられる。目標が非常に小さくてパターンの一致に基づいて検出することができないが、目標が動いていてこの動きに基づいて検出が可能なときには、パターンを基にしたアプローチが好適である。このシステムは、背景場面の動きが小さくて目標の動きが検出できることを要求する。
バード(Burt)らによる、ビジュアルモーションについてのワークショップのプロシーディング(Proceedings Of The Workshop On Visual Motion)、アービン(Irvine)、カルフォルニア、１９８９年３月２０日〜２２日、１〜１２頁に、反覆精密化を通じて正確な画像整列を行う手順が開示されている。そのような手順は、地勢形状の回復及び動いている目標の検出のような用途に用いられてきた。ズーミング、回転、視差、及び／又はレンズ歪みは改善されてきてはいるが、これらを補償できかつ電子的に画像を安定化するための方法やシステムが望まれている。改良された安定化プロセスの副産物として発生される情報を用いることによりノイズが減少され、又は変化が強調された画像シーケンスを得るために、画像安定化システムの機能を拡張することもまた望まれている。
本発明の概略
本発明は画像の電子的安定化のための装置と方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの画像フレーム、又はコンピュータディスクメモリ、ビデオテープ、若しくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームのいかなるシーケンスでもとりうる。システムの出力は修正された画像シーケンスであり、画像の動きの望ましくない要素が減じられ又は取り除かれ、又は所望の形式の新しい動きが導入されている。出力としては、概算されたフレーム間変位ベクトルやモーションフローフィールドのような入力シーケンスから導かれた情報や、ノイズが感じられ変化が強調された画像シーケンスを含むことができる。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化方法であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含んだ反覆操作されるフィードバックループを用い、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるステップ、（ｂ）前記変位の最終概算を前記メモリに記憶するステップ、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するステップ、及び、（ｄ）第２画像歪み器を用いて、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるステップを含んだ上記電子式画像安定化方法である。
本発明では、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのその時の画像フレームの直前の画像フレームに対応し、そして前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化方法である。
本発明では、前記シーケンス中の前記連続した対をなす画像フレームの各々が、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で利用でき、そして、前記ステップ（ａ）が、（ｅ）前記所与の最低分解能画像フレームから開始し、前記反覆操作されるフィードバックループを各々の連続したより高い分解能画像フレームに順に用いて、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期の概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の少ない最終の概算に変えるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ａ）が、（ｅ）前記シーケンス中の現在の対の画像フレームに先行する一対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として用いるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）部分を対象とした線形経路を形成する出力変形パラメータを導出する所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）ローパスフィルタリングが滑らかな画像差に適用される所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化装置であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含み、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるための、反覆操作されるフィードバックループ、（ｂ）前記変位の前記最終概算を前記メモリに記憶するための手段、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するための手段、及び、（ｄ）第２画像歪み器を用い、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるための手段を含んだ上記電子式画像安定化装置である。
本発明は、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームを記憶するための第１画像フレームストア、及び前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームを記憶するための第２画像フレームストアをさらに含んだ、電子式画像安定化装置である。
本発明では、前記第１画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームの直前の画像フレームに対応し、そして前記第２画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化装置である。
本発明は、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で前記シーケンス中の前記連続した対をなす画像フレームの各々を与えるためのピラミッド手段、前記所与の最低分解能画像フレームを操作することから開始して、連続してより高い分解能の画像フレームの各々を順に操作して、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の小さい最終概算に変える手段を含んだ、前記反覆して操作されるフィードバックループをさらに含む、電子式画像安定化装置である。
本発明は、（ｅ）前記反覆して操作されるフィードバックループに、前記シーケンス中の現在の対の画像フレームに先行する１対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として与えるための手段をさらに含む、電子式画像安定化装置である。
本発明では、所与の画像変化モデルに従って前記メモリに記憶された変位の前記最終概算を出力変形パラメータに変換するための前記手段が、部分を対象とする線形経路を形成する出力変形パラメータを導出する手段と、画像差を平滑化するのに効率的な出力変形パラメータを導出するローパスフィルター手段を含む、電子式画像安定化装置である。
本発明は基準に対して画像を安定化するための方法であり、（ａ）画像と基準の間の変位の初期概算を用いて基準を歪ませ、（ｂ）歪ませた基準と画像を比較して残存変位を得て、（ｃ）残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得て、（ｄ）変位の修正された概算を用いて基準を歪ませ、（ｅ）ステップ（b）、（c）、及び（d）をＫ回繰り返し、それにより変位の最終概算d(t;K)を形成し、（ｆ）変位の最終概算d(t;K)から出力変形パラメータp(t)を形成し、そして（ｇ）出力変形パラメータp(t)を用いて画像を歪ませて出力画像を形成する、一連のステップを含む。
本発明はまた、基準に対して画像を安定化するための装置であり、基準と画像の間の変位の概算に応じて基準を歪ませるための手段、歪ませた基準と画像を比較して残存変位を得るための手段、残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得るための手段、変位の修正された概算を用いて基準を歪ませるための手段、ステップ（ｂ）、（ｃ）、及び（ｄ）をＫ回繰り返してそれにより変位の最終概算d(t;K)を形成するための手段、変位の最終概算d(t;K)から出力変形パラメータp(t)を形成するための手段、及び出力変形パラメータp(t)を用いて画像Iin(t)を歪ませて出力画像を形成するための手段を含む。
【図面の簡単な説明】
異なる図面において共通の要素は、各図面において同じ数字で示されている。
図１は、機械的に台を安定化する従来システムの概略図である。
図２は、画像機動きセンサーを有する、従来の電子式安定化システムの概略図である。
図３は、デジタル処理を行う、従来の電子式安定化システムの概略図である。
図４は、電子式に目標を追跡する従来システムの概略図である。
図５は、変化検出を通じて電子式に目標を追跡する従来システムの概略図である。
図６は、本発明の電子式安定化システムの概略図である。
図７は、本発明のもう一つの電子式安定化システムの概略図である。
図８は、動きに適応したフレーム間処理のためのシステムの概略図である。
図９は、分離基準パターンＲを用いたもう一つの安定化システムの概略図である。
図１０は、２つの画像シーケンスを用いたもう一つの安定化システムの概略図である。
図１１は、目標を探索するためのシステムの概略図である。
図１２と１３は、変形パラメータを得る方法を示している。
図１４は、ガウシアン(Gaussian)及びラプラシアン(Laplacian)ピラミット(pyramids)を形成するための方法を示している。
図１５は、ＰＹＲ−１回路の概略図である。
図１６は、図６の電子式安定化システムと代わりうる例の概略図である。
詳細な説明
本発明は、電子画像化装置により作られた画像を電子式に安定化するためのシステムと方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの、又はコンピュータディスクメモリ、ビデオテープ、もしくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームIin(t)のいかなるシーケンスであってもよい。複数のソースからの画像を互いに安定化しなければならないときにも、一つの画像が安定化されて他の画像が基準を与えることで、本発明はこれらの画像を扱うことができる。本発明は、正確な画像整列を変位概算プロセスの一部として達成するために、フィードバックループと第２の画像歪みステージトを利用する。安定化システムの出力は、修正された画像シーケンスIout(t)であり、この画像シーケンスIout(t)では画像の動きの望ましくない要素は減じられ若しくは取り除かれ、又は所望の形式の新しい動きが導入されている。出力としてはまた、概算されたフレーム間変位ベクトル又はモーションフローフィールド(motion flow field)のような入力シーケンスから導かれた情報、及びノイズが減じられた又は変化が強調された画像シーケンスを含むことができる。
図６では、本発明の電子安定化システム１００は、出力Iin(t)を有する画像機１０、画像Iin(t)を記憶するための画像フレームストア３２、及び前の画像Iin(t-1)を記憶するための第２フレームストア３６を含む。フレームストア３６内の内容Ｉｉｎ(ｔ−１)は、破線の箱で示されたフィードバックループ１０４により与えられる初期変位概算ｄ(ｔ；０)を用いて前フレーム画像のための歪み器１０２において歪まされて、歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)になる。歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)は、変位を概算するための手段１０６において、残存変位Δ(ｔ；ｋ)の概算を得るために、元の画像Ｉｉｎ(ｔ)と比較される。この残存変位の概算は、変位概算器１０６からフィードバックループ１０４に入力される。残存変位Δ(t;k)はそれから加算器１０８で変位の先行概算に加えられメモリ１１０で保持されて精密化された変位概算d(t;k)=d(t;k-1)＋Δ(t;k)を算出する。残存変位が与えられた値より小さい間はＫ回、さもなくば、オペレータ又は他の手段により選ばれた固定回数だけこれらのステップを繰り返し、それにより変位の最終概算が形成される。端子１１２は、変位の最終概算d(t;k)を出力変形パラメータp(t)に変換するための手段１１４に接続されている。これは、ズーミング、視差、並進、回転、拡大、及びレンズ歪みを含めて、モデル化できるいかなる画像変化をも含む。手段１１４の出力は、現画像歪み器１１６に接続されている。現画像歪み器１１６は、現画像Iin(t)を歪ませて端子１１８にIout(t)を出力する。フィードバックループ１０４におけるＫ回の反覆を経た変位の精密化された概算d(t;K)もまた、出力端子１２０で利用可能となる。画像と基準間の概算又は画像変位の概算は、例えば目標パターンを含んだ画像領域のほんの一部について計算した変位量に基づくことができる。
本発明の方法においては、反覆ｋはIin(t-1)からIin(t)までの変位の先行概算d(t;k-1)から始まる。画像Iin(t-1)はd(t;k-1)だけ歪まされて歪み画像Iwarp(t-1;k-1)が形成される。変位概算プロセスは現Iin(t)と歪み画像Iwarp(t-1;k-1)に適用されて残存変位の概算Δ(t;k)を得る。残存変位Δ(t;k)はそれから変位の前の概算に加えられて変位の精密化された概算d(t;k)=d(t;k-1)＋Δ(t;k)を得る。画像歪みステップが繰り返されてより正確にIin(t)に調整されたIwarp(t-1;k)を形成する。これらのステップはＫ回繰り返されてフレームIin(t-1)からフレームIin(t)の変位の最終概算を得る。このプロセスの最初の反覆において用いられる前の概算d(t;0)は、前のフレーム時間に得られた最終概算に基づくことができる。例えば、d(t;0)=d(t-1;K)である。時間tでのサイクルは、Iin(t)のコピーをフレームストア３２からフレームストア３６へ送ることにより完了する。
この実施例では、前の即ち基準のフレームIin(t-1)は歪まされ現在のフレームIin(t)と記憶されて変位情報を与える。もしくは、同じか又は他のソースからの基準は変位情報を与えるのに用いることができて、現在のフレームを歪ませて記憶する。一般的に、時間ｔでの変位の初期d(t;0)は、時間t-1での最終概算d(t-1;K)に等しく設定される。もしフレームからフレームへの加速が小さいならば、フレーム時間毎に概算プロセスの一回の反復K=1を行って連続した精密化を達成する必要があるかもしれない。
提案された安定化方法は２つの別個の歪みステップを利用しているが、実際には、これらはしばしば歪み器入力と出力をマルチプレクシングすることにより同一の歪みハードウエアー装置で実行され得る。例えば、フレームストア３６とループ１０４からの出力は入力であり、概算器１０６への歪み器出力は出力である。代わりの入力は現在の画像と変形パラメータであり、歪み器出力は出力画像である。
画像Iin(t)とIwarp(t-1;k-1)はフィルタリングされ、さもなければ図７に示されるように変位概算の前に処理され得る。より好ましい実施例では、ラプラシアンピラミッド(Laplacian pyramid)がピラミッドプロセッサー１３０において現在の入力画像Iin(t)に対して構築され、メモリ１３２に記憶される。Iwarp(t-1;k-1)に対するラプラシアンピラミッドが、歪みステップの後にピラミッドプロセッサー１３４において各反覆ｋで再発生される。そこで、概算プロセスの連続した精密化ステップは、非常に高い分解能のピラミッドレベルで残存変位の概算を基礎づけることができる。
図８には、本発明の画像安定化システムの一部としての、動き適応フレーム間処理用システム１５０が、現在の画像Iin(t)と歪まされた画像Iwarp(t-1;k-1)を画素毎に合計して、画像ノイズの減じられた合成物
A(t)=Iin(t)＋Iwarp(t-1;k-1)
を得る（一時的なローパス）ための手段１５２を含む。システム１５０はまた、現在の画像と歪まされた画像を画素毎に引き算して（一時的なハイパス）、場面中の変化や動きを検出する（動いている目標の検出）、差画像
B(t)=Iin(t)-Iwarp(t-1;k-1)
を形成する。
安定化された出力Iout(t)に加えて、又はその代わりに、和及び差画像が安定化システムの出力として直接与えられ得る。導出された画像シーケンスは図６で画像が安定化されたのと同じ方法で歪ませることによって安定化され得る。
２つ以上の画像が、ノイズ低減（一時的ローパスフィルター）用または変化検出（一時的ハイパス）用として整列され得る。選択として、ノイズの低減された画像が、例えば鮮明にすることやノイズを取り除くことを通じて更に強められ得るか、又は変化画像が更に処理され得て、例えば変化エネルギー画像（又はピラミッド）を形成する。画像整列の方法および一時的フィルタリングの方法は既知であることに留意すべきである。従って、本発明はまた、画像安定化のステップとして整列された画像のフレーム間処理を組み込んでいる。特に、整列された入力画像の一時的ローパス及びハイパスのフィルタリング夫々を通じて、ノイズの低減された又は変化の強調された画像シーケンスの発生、及びシステムからの出力前のこれらの導出シーケンスの安定化はそうである。
図９では、システム１６０はソースシーケンスの各画像を前の画像とよりむしろ分離された基準パターンＲに整列している。基準パターンは種々のソースから得ることができる。一般的には、基準パターンＲはソースビデオの初期のフレームからの利用者コントロールの下でセレクター１６２により選択される。又は、それは単にソースビデオの前の画像の又はその一片であり得る（例えば、すべてのｎ番目のフレームが基準として選択され使用され得て、次のn-1番目のフレームを整列する。）または、それは記憶された目標パターンの組から選択され得る。フレームストア３６に記憶されたパターンＲは歪み器１０２で歪まされて、基準と現在の画像Iin(t)間のパターンＲの変位概算に応じて出力Rwarp(k-1)を出力する。システムの出力は歪まされた現在の画像Iin(t)であり、これは固定基準パターンによって一致された領域を保持し、その領域を任意の所望の経路に沿って動かす。さもなくば、一つの目標パターンを検索するよりむしろ、システムは例えば階層構造検索を用いて要素パターンの組を検索できる。
図１０には、画像機１０で発生しフレームストア３２に記憶された特定の画像I1n(t)を画像ソース１８２からの２番目の画像シーケンスI2n(t)に位置決めすることにより、例えばＩＲや可視画像機のような異なるソースからの画像を安定化するためのシステム１８０は、特別な変位概算手順を要求している。第２画像シーケンスI2n(t)はフレームストア１８４に記憶される。一つのソース内の画像が他のソースからの画像に整列される。即ち、一つのソースからの画像が基準パターンとして働いて他のソースからの画像を安定化するために用いられる。歪まされた画像Iwarp(t;k-1)は、差を概算するための手段１０６において画像I1n(t)と比較され、現在の差d(t;k)を求める。現在の差d(t;k)は、前の概算d(t;k-1)に加えられて新しい概算を歪み器１０２に与える。差の最終概算は変形パラメータを発生するための手段１１４により使用されてIin(t)を安定化するために必要な情報を歪み器１１６に与えて端子１１８に画像Iout(t)を出力する。画像I2n(t)はまた、システム出力として端子１８６で利用可能である。
種々のプロセスが、画像機の視野内の目標物の位置を検出するのに使用され得る。これらのプロセスには、相関の一致（例えば、基準パターンとの位置合わせ）、モーションフローフィールド（運動流れ場）での動作領域の検出、及び一時的変化画像における動作領域の検出が含まれる。従来のシステムは、電子的に目標を検出することを用いて画像機を操作する。これらは相関パターン一致やフレーム間変化を信頼しており、電子的な整列の後の画像モーションフローやフレーム間変化を利用していない。その結果、もし画像機が背景を追跡しており、背景画像が実質的に静止していれば、動いている目標を検出するように、そのようなシステムはフレーム間変化を使用される。
本発明の方法では、背景は電子式に整列され、目標が検出され、目標の位置が画像機および／または電子安定化プロセスを指揮して出力画像シーケンス中の背景ではなく目標を追跡し安定化する。本発明は導出された変化や動きの情報を用いて背景に対する目標の動きを検出し、目標の動きと背景の動きの両方を概算する。また、本発明は、電子的に検出された目標の位置や背景の動きの情報を用いて画像機の操作や出力画像シーケンスの安定化の両方を制御する。
図１１では、システム２００は、差Iin(t)-Iwarp(t-1)をとるためのハイパスフィルター手段２０２、及び目標の位置、即ち画像中ですばやく変化するいかなる対象物の位置を求めるための手段２０４を含む。手段２０４の出力は位置情報を出力し、これは手段１１４及び変形パラメータを発生するための第２手段２０６に送られる。手段２０６の出力は、画像機の台２０８を制御して画像機を操作するために、例えば、目標を追跡したり中心に捕らえたり、目標を電子的に安定化したり中心に捕らえたりするために用いられる。手段２０６への入力は、例えば出力画像中のすばやく動いている対象を中心に捕らえるのに用いられ得るオフセットモーションを画像に与える。もっと一般的には、目標位置情報は、画像機を操作すると共に残存動きを電子的に補償するために用いられることができる。この場合には、歪みパラメータはフレーム間変位d(t;K)と目標位置パラメータx(t)の両方に基づいている。フィルター手段２０２と位置決め手段２０４との組み合わせたものは、他の対の画像からのフィルタリングされた差を受け入れることができる。これらの画像は空間的及び一時的に整列され目標検出を改善しノイズを減らす。
画像安定化システムの機能は、入力シーケンスの動きを求めて、観測された動きを出力シーケンス中の所望の動きに置き換えることである。手段１１４で用いられて観測された変位d(t)を要求された歪みパラメータp(t)に変換できる種々の変形が存在する。ここでは、そのような３つの方法を記載する。図１２では、xin(t)をｔ番目の入力フレームの位置とする。一般には、これはｘ，ｙ，θ，大きさ（又は、以下に記載の安定化に基づいてモデルの場合のより高いオーダーのパラメータ）を含んだベクトル量である。Δxin(t)=d(t;K)を観測されたフレーム間変位とする。Xdesired(t)を、ある所望の出力経路Ｐ上のｔ番目の画像の位置とする。手段１１４は、観測された入力位置から所望の出力位置へ画像をシフトするために要求される変位.Xshift(t)を求める。変形モジュールもまた観測された入力変位に基づいた所望の経路Ｐを求める。観測されたΔxinからP(xdesired)を得るための方法を以下に記載する。
変位概算を変形するための「ローパス」方法において、位置の出力シーケンスは単に位置の入力シーケンスを平滑化することにより得られる。即ち、
Δxshift(t)=Δxin(t)-w*Δxin(t)
である。ここで、ｗは一般にIIRローパスフィルターである。異なるフィルターが動きの異なるパラメータを得るのに適用され得る。例えば、並進運動(x,y)は適当に平滑化され、大きさは全く平滑化されないが、回転運動．は大きく平滑化され得る。実際、非線形ローパスフィルターが使用され得る。例えば、変位xshift(t)をどれくらいとることが許容されているかの制限があり得る。本発明はまた、ローパスフィルターを入力位置のシーケンスに適用して所望の出力位置を求めることにより、動きを減衰する。
図１３に示されているような変位概算を変形するための、夫々の部分に関しての連続した方法において、出力経路は、一連の連結された直線の線分（又は他の滑らかなセグメント）として定められる。これらのセグメントは入力画像位置における予期された傾向に従うように選択される。シフトが所定の制限を越える時間ｔ１に達するまで、全ての出力フレームは線分（セグメント）Ａにシフトされ得る。それから、新しい線分が開始され、出力画像が出力表示器の中心に戻すのに役立つ。ｔ１での速度の概算は、例えばｔ１の前の時間の周期の間で観測された入力変位の平均に基づいている。もしくは、所望の経路は外部から特定され得る。この速度とフレームIin(t1)の位置は、次の入力フレームの位置を予測する経路Ｂを定める。出力経路Ｐは、時間t1-1での線分Ａの終わりからt2での線分Ｂへと構成された遷移線分Ｃに従うようにされる。要求されるシフトのような時間が所与の制限を越えるまで、ＰはＢに従う。方向を当然変えるかもしれない入力の動きにおける傾向に出力を従わせる間、この方法は入力シーケンスの一時的な高い周波数成分の動きを除去する。
図１１に示すように目標追跡プロセスが画像整列プロセスと共に用いられているとき、画像整列プロセスが画像を経路Ｐにシフトするのに使用されている間、検出された目標位置は出力経路Ｐを求めるのに使用され得る。場面中で目標が小さいか幾分不規則に動くときは、２プロセス・アプローチが必要とされるかもしれない。部分を対象とする画像平滑安定化（画像をスムーズにする安定化）により、背景場面の望ましくない高周波動きが出力では除去される。目標追跡が用いられて、目標を一般的に出力表示器内の中心に置くように保つ経路を定める。
目標パターンは、オペレータにより指定された背景場面の一部分、又は観測者により指定された場面もしくは動き検出モジュールにより検出された場面における動いている対象であり得る。観測者により指定されたパターンの場合には、システムは次の追跡で基準として使用されるべきパターンを記憶する。この基準は規則的な間隔、例えばnフレーム毎に自動的に更新され得る。一旦、基準パターンとの最高の一致を与える位置が場面中に見つけられたなら、その位置でのパターンが基準の代わりとして記憶される。このようにしてシステムは目標パターンにおけるゆるやかな変化に適応できる。もし目標パターンの検出された位置が目標シーケンスを安定化するのに直接使用されたならば、基準パターンが更新される度に、僅かな飛躍（出力経路Ｐにおける不連続性）が生じる傾向が出るであろう。背景の正確な整列プロセスが図１１中のシフトx(t)とP(t)を定める間、観測された目標パターン位置を用いて経路Ｐ内に線分を定めることによりこの飛躍は避けられる。本発明はまた、分離した背景と安定化における目標追跡プロセスを使用する。目標パターンを出力表示器内の所望の位置に滑らかに動かすために、目標追跡プロセスが出力動き経路の線分を決める間、背景プロセスは部分を対象とした平滑安定化を行う。
機械的安定化装置の存在により、画像機の２つ又は３つの回転軸が安定化される。電子式装置の存在により、画像機の視野内での画像の並進が補償される。ここで提案されている電子式アプローチの重要な利点は、画像機の制御を介しては補償され得ない動き要素を補償するのに使用できることである。例えば、パターンが画像機の視野を越えて動くときに、電子式歪みがレンズ歪みを補償できる。より重要には、画像機が場面内の表面に対して動くときに、電子式安定化が視差動きを補償するのに用いられ得る。安定化は、その動きの数学的モデルや上記概略述べた正確な整列方法を通じて概算されたパラメータに基づいている。例えば、画像機の撮像方法に対して傾斜しえる平らな表面の動きを、２次歪みは補償できる。
電子式安定化は、場面中に存在する面（例えば、自動車の前の道路面）または、画像機に対して相対的に規定される面（例えば、動いている車から所定の距離だけ離れた垂直面）の動きを補償するのに用いられ得る。前者の方法では、それらの表面が安定化されることと共に、動きを概算するための手段と場面中の面までの距離が与えられる。一方、後者の方法は、対象が画像機からの上記距離における「表に現れていない障壁」を越えるときに、対象を検出するための手段を与える。（検出は、動いている車両の前の面を安定化することに基づくことができる。この安定化は、残存動きモデルに基づいている。この安定化の後に、一時的ローパスフィルターが続く。このローパスフィルターにより、その面の近くに無く場面中にある全ての対象物に関して動きが不鮮明なるという結果になる。対象物は、それらが「表に現れていない障壁」を通過するときに、鮮明に現れることになる。）
安定化に基づくモデルは、道路自体の表面のような場面中の表面を安定化するのに用いられ得る。この場合には、画像機に対する表面の動きが決められなければならない。このことは、変位概算手順に基づく既知のモデルを用いて行われ得る。このような技術は、表面形状や距離を決めるための手段として過去に提案されてきている。ここでは、画像シーケンスの安定化においてこれらの技術を使用することを提案する。
画像化手段１０は、外部の発光体により照らされた視野内の対象から反射された放射を受ける構造から成り得る。さもなくば、画像化手段１０は、視界内の対象を放射で照らすための手段とそのような対象からの反射された反射波を受け取るための手段を含む構造を為し得る。（このような反射波はまた対象の距離情報を与えることができる。）さらに、画像化手段１０は、電磁気的、超音波的、及び／又は他のいかなるタイプの波長を有するエネルギースペクトルのうちの所定のどんな波長部分の放射にも応答できる。アナログ−デジタル（Ａ／Ｄ）変換器は、各連続したフレーム中の画像データをデジタルプロセッサーで処理するためにデジタル形式に変換する。
画像歪み器１０２と１１６は、好ましくは、TRW社で製造されたTMC230イメージ・マニピュレーション・シーケンサー(Imagae Manipulation Sequencer)とTMC2246イメージ・フィルター(Image Filter)から形成される。イメージ・マニピュレーション・シーケンサーは、出力画像におけるアドレスを用いてソース画像におけるアドレスを発生するために使用される。イメージ・フィルターは、特定の入力画像アドレスの近隣の入力画像素を用いて出力画素値を内挿補間する。入力画像は標準のメモリに記憶される。このメモリは分割されて補間器に必要な近隣全ての画素を同時に読み出すことができる。
変形ユニットは観測された画像変位と外部から特定された制御情報を変換する。変形モジュールは、テキサスインスツルメント社、ダラス、テスサスで製造されたTMS320C30デジタル信号処理チップのような汎用計算装置および幾つかのメモリとすることができる。変形モジュールは幾つかの異なる安定化制御モードを含むことができる。その各々は、そのメモリに記憶されたコンピュータコードにより特定される。例えば、これらは減衰動き安定化、部分を対象にした線形安定化、及び目標中心化と結合した安定化を含むことができる。どんなときに用いられるモードでも、通常はシステムへの外部入力により特定される。変形モジュールへの他の入力は、変位概算器により計算されるフレーム毎変位、及び位置決めモジュールにより計算された目標位置を含む。フレーム時間毎に、変形モジュールはまず所望の出力動き経路を決め、要求される変位を決めて入力フレームをその経路に動かす。変位パラメータはシステムの出力として歪み器に与えられる。入力は、変位概算器からのフレーム間変位情報や外部モードまたは他の制御仕様を含む。
第１の数の画素を有するわりあい高い分解能の画像が処理されて第１数より小さい第２数の画素を有する広い視界と低い分解能の画像が導出される、画像分解による画像分析が、バート(Burt)によるマルチレゾルーション・イメージ・プロセッシング・アンド・アナリシス(Multiresolution Image Processing And Analysis)、第１６巻、２０〜５１、８８１頁、および画像分解技術が示されたアンダーソン(Anderson)らによる米国特許第４，６９２，８０６号に開示されている。
ラプラシアン変形は、多くのサイズのガウシアンのような基本関数の規則的なアレイに各ソース画像を分解するのに使用される。この関数は、しばしばピラミッド変形の基本関数として、又はウェーブレット(wavelets)として参照される。画像に対する複数分解能ピラミッドにより、低い分解能で分析される粗い特性と高い分解能で分析される細かい特性が許容される。ピラミッドの各サンプル値は、対応する基本関数に関する大きさを表す。図１４には、ソース画像のガウシアン及びラプラシアンピラミッドの発生についてのフローチャートが示されている。ガウシアンG(0)はソース画像であり、ガウシアン・ロールオフ(Gaussian rolloff)を有するローパスフィルターのＦ１でフィルタリングされ、各列中の一つ置きの画素と一つ置きの列を取り除くＦ２により準サンプリングされて、第１レベルガウシアンG(1)を形成する。より低いレベルのガウシアンG(n)が同じ方法で連続して形成される。ピラミッドの各レベルでのガウシアンに対応したラプラシアンL(n)は、準サンプリングされたデータをガウシアンピラミッドの次の最低レベルに戻すこと（与えられたサンプルＦ２’間にゼロ値をとるサンプルを挿入して補間フィルターＦ１を適用すること）、及び与えられたレベルのガウシアンから引くことにより形成される。このように形成されたラプラシアンは、リデュース−エキスパンド(Reduce-Expand)（ＲＥ）ラプラシアンとして知られている。さもなくば、ラプラシアンは破線で示されているように準サンプリングや再補間することなく形成され得る。これはフィルター・サブトラクト・デシメイト(filter-subtract-decimate)（ＦＳＤ）ラプラシアンと言われる。
画像が分解してより低い分解能の画像を作るためのプロセスメモリは、一般にガウシアン・ロールオフ(Gaussian roll-off)を有し異なるバンド幅の複数のローパスフィルターを用いて実行される。また、このプロセスは、米国特許出願第０７／８０５１４９号、及びWorkshop For Machine Vision、パリ、１９８９年１０月、並びに一般には米国特許第４，７０３，５１４号に記載されていて、センサー社(Sensar, Inc.)、PO Box, Princeton, NJ 08540で販売されているＰＹＲ−１で回路を用いて効果的に行うことができる。ＰＹＲ−１ピラミッド回路は３つまでの入力信号を受け入れ、２つまでの出力信号を出力する。入力及び出力データチヤンネルは、パイプライン処理を制御するタイミング信号を組み込む。これらのタイミング信号は自動的に回路の遅延処理に調整されて、パイプラインシステムにおいて自動遅延制御を可能にする。２次元フィルターを実現するのに用いられる水平遅延線の効果的な長さは、タイミング信号により制御されるので、プログラミングされる必要はない。この回路は、連続して可変の水平及び垂直ブランキング回数を有する信号を受け入れて処理する。ビデオカメラからの画像に対して、水平及び垂直同期信号がタイミング信号を与える。これらの信号がデジタル化されてデジタルデータ信号に結合されて入力信号を作る。さもなくば、デジタルデータ信号がフレームストアにより発生され得て、タイミング信号はフレームストア又は補助装置により加えられる。この回路は２つの平行経路を有する。これらの経路は、ガウシアンローパスフィルタリングされた画像及び入力画像のラプラシアン関数（入力画像とガウシアンの差）を同時に計算するのに使用され得る。２つの平行経路はまた、逆ピラミッド変形を計算するのに用いられる。
図１５では、例示したPYR-1回路は３つまでの入力信号IN1,IN2及びIN3を受け入れることができ、２つまでの出力信号OUT1,OUT2を与えることができる。これらの信号の各々は、少なくとも８つのデータビットと２つのタイミングビットを含んだ複数ビットのデジタル信号である。この２つのタイミングビットは夫々のタイミング信号を運ぶ。一つの信号HAは、ラインのデータが有効であるとき（即ち、ピクチャインターバルがアクティブである期間中）論理ハイ状態にあり、その他のとき（即ち、水平ブランキングインターバル中）は論理ロー状態にある。もう一方の信号VAは、フィールド内のデータが有効なときは論理ハイ状態にあり、その他のとき（即ち、垂直ブランキングの間隔の間）は論理ロー状態にある。
本回路は５つの基本的な要素である、入力算術論理ユニット(ALU)１１０４、フィルター１１１０（図１で破線内で示されている。）マルチプレクサー１１２０、クリッププロセッサー１１２２、及び出力ALU１１２４を含む。入力遅延要素１０２により等しく遅延された信号IN1とIN2は、ALU１１０４により結合させられて信号INを発生してフィルター１１１０にかけられる。この信号は、信号IN1かIN2のうちの一つでもよいし、それらの和(IN1+IN2)でもよいし、それらの差(IN1-IN2)でもよい。
フィルター１１１０は２次元フィルターを通じてALU１１０４により与えられる信号を処理する。この２次元フィルターは、その２つの次元の各々において１から５までのタップを有するように構成され得る。フィルターは垂直端プロセッサー１１０６と水平端プロセッサー１１０８を含む。これらのプロセッサーにより、種々の異なるタイプの画像値が実際の画像データを取り囲むものとして意味されるようになる。これらのうちには、最初の水平もしくは垂直ライン又は最後の水平もしくはは垂直ラインの繰り返しおよび定数がある。プロセッサー１１０８は入力信号を処理し境界画素のラインを上や下の端で画像に効果的に加える。さらに、それは３ステートゲート１１１２ａ−１１１２ｄやメモリ１１１４と協力して動作して、タップ遅延ライン(tapped delay line)を働かせる。タップ遅延ラインは、４つのライン遅延画像信号を重畳プロセッサー１１１８の垂直フィルター部分に与えるのに用いられる。
メモリ１１１４は４つ又は８つのライン遅延を２次元フィルターの垂直部分に対して与える。遅延ラインは重畳プロセッサー１１１８内で垂直および水平両方に結合されてフィルター１１１０を完全する。フィルター１１１０により与えられた出力信号はクリッププロセッサー１１２２により処理される。クリッププロセッサーは精度信号のために丸めたりスケーリングしたりし、最上位ビット(MSB)位置としてのフィルタリングされたデータを、入力IN3を介して与えられる、最下位ビット(LSB)を表すフィルタリングされたデータに結合して、倍精度出力信号を発生する。
プロセッサー１１２２の出力信号やALU１１０４の出力信号はプロセッサー１１０６により処理されるときに、出力信号OUT1として選択され得る。出力信号OUT2は、クリッププロセッサー１１２２の出力信号やマルチプレクサー１１２０の出力信号やこれらの２つの信号を結合したALU１１２４の出力とすることができる。マルチプライヤー１１２０により与えられる信号は、定数値K2、入力信号IN2、又は水平端プロセッサー１１０８により与えられる遅延水平ライン信号のうちの一つであり得る。マルチプレクサー１１２０は内部補償遅延（図示されてない。）を含む。この内部補償遅延は、入力信号の各々をクリッププロセッサー１１２２により与えられた信号に整列する。回路用のタイミング信号はタイミング回路１１２８により発生される。タイミング回路１１２８は、２位相入力クロック信号CLKとCLK2から２相のメモリクロックとシステムクロック信号CKを作る。
本回路の機能は制御回路１１３０を介して制御される。制御回路１１３０は制御入力チャンネルCBUSからユーザーコマンドを受け取り、出力ポートCONTを介して信号とデータ値を回路の他の要素に送る。
本発明は画像化システムの具体化したものとしてここでは説明され記載されているが、本発明は記載されている詳細に制限されるものではない。例えば、本発明は一つのソースからの画像、又は複数のソースからの画像のシーケンスを含む。むしろ、様々な変更が特許請求の範囲と同等の範囲内で本発明の趣旨から逸脱することなく詳細に行い得る。
本発明は基準になるものを歪ませて画像内の変位の概算を求めるという観点により説明されているが、画像自身は概算器内の基準との比較のため歪まされることができた。それから、変位の最終概算は画像を歪ませて安定化された出力画像を形成するのに用いられる。図１６のシステムは、歪み器の位置が変えられて基準よりむしろ現在の画像が歪まされて変位の概算を得ていることを除いては、図６のシステムと同じである。
本発明の背景
画像安定化は、映画産業、テレビニュースカメラマン、揺れたり回転する台上又は動いている車に取り付けられた監視カメラからのビデオ、及び移動している車からのビデオを含んだ多くの用途において必要となっている。映画産業では、ソースビデオの連続フレーム間の望ましくないジッターを取り除かなければならない。テレビニュースカメラマンは、屋外で作られたニュース放送ではハンドヘルドカメラからのビデオを安定化しなければならない。監視カメラからのビデオは、コンピュータ分析の前または人間の監視者に表示する前に安定化されなければならない。移動車からのビデオは、画像圧縮の前、又は遠隔オペレータ（遠隔操作）への伝送もしくは自動運転用コンピュータ視覚システムへの伝送の前に安定化されなければならない。
監視においては、種々のタイプの機械的に安定化した台が用いられて、画像ではなく画像機の動きを補償している。図１では、画像機１０が機械的に安定化された台１２の上に据えられている。画像機１０のリード線１４上の出力Iin(t)がモニタ１６上に表示される。台１２は一般にジャイロスコープを用いて台の回転を感知し、モーターを使ってその回転を補償する。利用者は、電子制御信号１８と台１２にあるモーター駆動機を介して、画像機の撮る方向（パノラマやティルティング）及びズーミングを操作できる。
画像機動きセンサーを用いた電子安定化が、画像の動きではなく画像機の動きを補償するのに使用することができる。図２では、機械的に安定化された台１２の上に据えられた画像機１０は、リード線１４上に出力Iin(t)を送る。台１２の除去できない動きがセンサー２０を用いて測定される。リード線２２上の感知された変位d(t)は、変換モジュール２６により変換パラメータP(t)変換されリード２４に送られる。パラメータP(t)２４は画像歪み装置２８で使用され、モニタ１６での表示用の安定化された出力画像Iout(t) ３０を作り出す。この出力画像は画像機の動きが補償されている。
図３には、画像の動きを感知するデジタル処理を用いた電子安定化用システムが示されている。このシステムは出力Iin(t) １４を有する画像機１０を含む。適当な歪みパラメータが計算されて安定化用画像歪み装置２８に送られるまで、出力Iin(t) １４は画像フレームストア３２に記憶されて画像を保持する。（もし、１フレーム時間に発生する歪みがその前のフレーム時間で計算されたパラメータに基づいているならば、このフレームストアは必要ない。）メモリを減らすために、一組の特徴をモジュール３４によってソースビデオから抽出してもよい。前の画像が現在の画像と比較できるように、第２画像フレームストア３６が設けられて前の画像から抽出された特徴を保持する。時間ｔに抽出されたリード線３８上の特徴f(t)は、変位概算器４２において時間t-1に抽出されたリード線４０上の特徴f(t-1)と比較される。変位概算器４２はデジタル画像処理を行い、画像から画像への動きを求めてリード線４４上に変位d(t)を出力する。市販品の一つのカメラが、フレーム間で比較された特徴として３６画素のアレイを用いる。リード線４４上の感知された変位d(t)は、画像歪み装置２８で用いられて安定化された出力画像Iout(t) ３０をモニタ１６に表示するため出力する。この出力画像は、画像の動きが補償されたものとなっている。本発明者にも既知のこのようなシステムは、ズーミング、回転、視差、及び／又はレンズ歪みを補償できない。図４では、電子目標追跡システムは、相関を用いて目標を画像機の視野内に置き、画像機を調節して目標を中心に置き、少なくとも大まかには目標パターンを安定化する。このシステムは、出力画像Iin(t) １４を有する画像機１０を含む。出力画像は、相関モジュール４６において比較され、そこに記憶された参照パターンを画像１４に適合させる。参照パターンはビデオシーケンスモジュール４８にある前のフレームから選択され、メモリ５０に記憶されている。参照パターンは、場面の中の静止した対象物または動いている対象物を表すことができる。画像Iin(t)と参照パターンの間の差は、変換モジュール２６に変位情報を与える。変換モジュール２６は、この情報を変換して台１２を安定化する信号を出力する。
図５には、変化する検出する電子目標追跡システムが示されている。現在の画像Iin(t)とフレームストア６０にある前の画像In(t-1)の間の差が減算器６２により求められ、大きな変化の領域が探される。モジュール６４により与えられる位置情報x(t)は、画像機１０を再び指示して表示画像の特定の場所に、または特定のトラック上に画像を維持するのに用いられる。目標が非常に小さくてパターンの一致に基づいて検出することができないが、目標が動いていてこの動きに基づいて検出が可能なときには、パターンを基にしたアプローチが好適である。このシステムは、背景場面の動きが小さくて目標の動きが検出できることを要求する。
バード(Burt)らによる、ビジュアルモーションについてのワークショップのプロシーディング(Proceedings Of The Workshop On Visual Motion)、アービン(Irvine)、カルフォルニア、１９８９年３月２０日〜２２日、１〜１２頁に、反覆精密化を通じて正確な画像整列を行う手順が開示されている。そのような手順は、地勢形状の回復及び動いている目標の検出のような用途に用いられてきた。ズーミング、回転、視差、及び／又はレンズ歪みは改善されてきてはいるが、これらを補償できかつ電子的に画像を安定化するための方法やシステムが望まれている。改良された安定化プロセスの副産物として発生される情報を用いることによりノイズが減少され、又は変化が強調された画像シーケンスを得るために、画像安定化システムの機能を拡張することもまた望まれている。
本発明の概略
本発明は画像の電子的安定化のための装置と方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの画像フレーム、又はコンピュータディスクメモリ、ビデオテープ、若しくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームのいかなるシーケンスでもとりうる。システムの出力は修正された画像シーケンスであり、画像の動きの望ましくない要素が減じられ又は取り除かれ、又は所望の形式の新しい動きが導入されている。出力としては、概算されたフレーム間変位ベクトルやモーションフローフィールドのような入力シーケンスから導かれた情報や、ノイズが感じられ変化が強調された画像シーケンスを含むことができる。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化方法であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含んだ反覆操作されるフィードバックループを用い、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるステップ、（ｂ）前記変位の最終概算を前記メモリに記憶するステップ、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するステップ、及び、（ｄ）第２画像歪み器を用いて、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるステップを含んだ上記電子式画像安定化方法である。
本発明では、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのその時の画像フレームの直前の画像フレームに対応し、そして前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化方法である。
本発明では、前記シーケンス中の前記連続した対をなす画像フレームの各々が、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で利用でき、そして、前記ステップ（ａ）が、（ｅ）前記所与の最低分解能画像フレームから開始し、前記反覆操作されるフィードバックループを各々の連続したより高い分解能画像フレームに順に用いて、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期の概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の少ない最終の概算に変えるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ａ）が、（ｅ）前記シーケンス中の現在の対の画像フレームに先行する一対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として用いるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）部分を対象とした線形経路を形成する出力変形パラメータを導出する所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）ローパスフィルタリングが滑らかな画像差に適用される所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化装置であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含み、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるための、反覆操作されるフィードバックループ、（ｂ）前記変位の前記最終概算を前記メモリに記憶するための手段、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するための手段、及び、（ｄ）第２画像歪み器を用い、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるための手段を含んだ上記電子式画像安定化装置である。
本発明は、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームを記憶するための第１画像フレームストア、及び前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームを記憶するための第２画像フレームストアをさらに含んだ、電子式画像安定化装置である。
本発明では、前記第１画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームの直前の画像フレームに対応し、そして前記第２画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化装置である。
本発明は、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で前記シーケンス中の前記連続した対をなす画像フレームの各々を与えるためのピラミッド手段、前記所与の最低分解能画像フレームを操作することから開始して、連続してより高い分解能の画像フレームの各々を順に操作して、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の小さい最終概算に変える手段を含んだ、前記反覆して操作されるフィードバックループをさらに含む、電子式画像安定化装置である。
本発明は、（ｅ）前記反覆して操作されるフィードバックループに、前記シーケンス中の現在の対の画像フレームに先行する１対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として与えるための手段をさらに含む、電子式画像安定化装置である。
本発明では、所与の画像変化モデルに従って前記メモリに記憶された変位の前記最終概算を出力変形パラメータに変換するための前記手段が、部分を対象とする線形経路を形成する出力変形パラメータを導出する手段と、画像差を平滑化するのに効率的な出力変形パラメータを導出するローパスフィルター手段を含む、電子式画像安定化装置である。
本発明は基準に対して画像を安定化するための方法であり、（ａ）画像と基準の間の変位の初期概算を用いて基準を歪ませ、（ｂ）歪ませた基準と画像を比較して残存変位を得て、（ｃ）残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得て、（ｄ）変位の修正された概算を用いて基準を歪ませ、（ｅ）ステップ（b）、（c）、及び（d）をＫ回繰り返し、それにより変位の最終概算d(t;K)を形成し、（ｆ）変位の最終概算d(t;K)から出力変形パラメータp(t)を形成し、そして（ｇ）出力変形パラメータp(t)を用いて画像を歪ませて出力画像を形成する、一連のステップを含む。
本発明はまた、基準に対して画像を安定化するための装置であり、基準と画像の間の変位の概算に応じて基準を歪ませるための手段、歪ませた基準と画像を比較して残存変位を得るための手段、残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得るための手段、変位の修正された概算を用いて基準を歪ませるための手段、ステップ（ｂ）、（ｃ）、及び（ｄ）をＫ回繰り返してそれにより変位の最終概算d(t;K)を形成するための手段、変位の最終概算d(t;K)から出力変形パラメータp(t)を形成するための手段、及び出力変形パラメータp(t)を用いて画像Iin(t)を歪ませて出力画像を形成するための手段を含む。
【図面の簡単な説明】
異なる図面において共通の要素は、各図面において同じ数字で示されている。
図１は、機械的に台を安定化する従来システムの概略図である。
図２は、画像機動きセンサーを有する、従来の電子式安定化システムの概略図である。
図３は、デジタル処理を行う、従来の電子式安定化システムの概略図である。
図４は、電子式に目標を追跡する従来システムの概略図である。
図５は、変化検出を通じて電子式に目標を追跡する従来システムの概略図である。
図６は、本発明の電子式安定化システムの概略図である。
図７は、本発明のもう一つの電子式安定化システムの概略図である。
図８は、動きに適応したフレーム間処理のためのシステムの概略図である。
図９は、分離基準パターンＲを用いたもう一つの安定化システムの概略図である。
図１０は、２つの画像シーケンスを用いたもう一つの安定化システムの概略図である。
図１１は、目標を探索するためのシステムの概略図である。
図１２と１３は、変形パラメータを得る方法を示している。
図１４は、ガウシアン(Gaussian)及びラプラシアン(Laplacian)ピラミット(pyramids)を形成するための方法を示している。
図１５は、ＰＹＲ−１回路の概略図である。
図１６は、図６の電子式安定化システムと代わりうる例の概略図である。
詳細な説明
本発明は、電子画像化装置により作られた画像を電子式に安定化するためのシステムと方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの、又はコンピュータディスクメモリ、ビデオテープ、もしくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームIin(t)のいかなるシーケンスであってもよい。複数のソースからの画像を互いに安定化しなければならないときにも、一つの画像が安定化されて他の画像が基準を与えることで、本発明はこれらの画像を扱うことができる。本発明は、正確な画像整列を変位概算プロセスの一部として達成するために、フィードバックループと第２の画像歪みステージトを利用する。安定化システムの出力は、修正された画像シーケンスIout(t)であり、この画像シーケンスIout(t)では画像の動きの望ましくない要素は減じられ若しくは取り除かれ、又は所望の形式の新しい動きが導入されている。出力としてはまた、概算されたフレーム間変位ベクトル又はモーションフローフィールド(motion flow field)のような入力シーケンスから導かれた情報、及びノイズが減じられた又は変化が強調された画像シーケンスを含むことができる。
図６では、本発明の電子安定化システム１００は、出力Iin(t)を有する画像機１０、画像Iin(t)を記憶するための画像フレームストア３２、及び前の画像Iin(t-1)を記憶するための第２フレームストア３６を含む。フレームストア３６内の内容Ｉｉｎ(ｔ−１)は、破線の箱で示されたフィードバックループ１０４により与えられる初期変位概算ｄ(ｔ；０)を用いて前フレーム画像のための歪み器１０２において歪まされて、歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)になる。歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)は、変位を概算するための手段１０６において、残存変位Δ(ｔ；ｋ)の概算を得るために、元の画像Ｉｉｎ(ｔ)と比較される。この残存変位の概算は、変位概算器１０６からフィードバックループ１０４に入力される。残存変位Δ(t;k)はそれから加算器１０８で変位の先行概算に加えられメモリ１１０で保持されて精密化された変位概算d(t;k)=d(t;k-1)＋Δ(t;k)を算出する。残存変位が与えられた値より小さい間はＫ回、さもなくば、オペレータ又は他の手段により選ばれた固定回数だけこれらのステップを繰り返し、それにより変位の最終概算が形成される。端子１１２は、変位の最終概算d(t;k)を出力変形パラメータp(t)に変換するための手段１１４に接続されている。これは、ズーミング、視差、並進、回転、拡大、及びレンズ歪みを含めて、モデル化できるいかなる画像変化をも含む。手段１１４の出力は、現画像歪み器１１６に接続されている。現画像歪み器１１６は、現画像Iin(t)を歪ませて端子１１８にIout(t)を出力する。フィードバックループ１０４におけるＫ回の反覆を経た変位の精密化された概算d(t;K)もまた、出力端子１２０で利用可能となる。画像と基準間の概算又は画像変位の概算は、例えば目標パターンを含んだ画像領域のほんの一部について計算した変位量に基づくことができる。
本発明の方法においては、反覆ｋはIin(t-1)からIin(t)までの変位の先行概算d(t;k-1)から始まる。画像Iin(t-1)はd(t;k-1)だけ歪まされて歪み画像Iwarp(t-1;k-1)が形成される。変位概算プロセスは現Iin(t)と歪み画像Iwarp(t-1;k-1)に適用されて残存変位の概算Δ(t;k)を得る。残存変位Δ(t;k)はそれから変位の前の概算に加えられて変位の精密化された概算d(t;k)=d(t;k-1)＋Δ(t;k)を得る。画像歪みステップが繰り返されてより正確にIin(t)に調整されたIwarp(t-1;k)を形成する。これらのステップはＫ回繰り返されてフレームIin(t-1)からフレームIin(t)の変位の最終概算を得る。このプロセスの最初の反覆において用いられる前の概算d(t;0)は、前のフレーム時間に得られた最終概算に基づくことができる。例えば、d(t;0)=d(t-1;K)である。時間tでのサイクルは、Iin(t)のコピーをフレームストア３２からフレームストア３６へ送ることにより完了する。
この実施例では、前の即ち基準のフレームIin(t-1)は歪まされ現在のフレームIin(t)と記憶されて変位情報を与える。もしくは、同じか又は他のソースからの基準は変位情報を与えるのに用いることができて、現在のフレームを歪ませて記憶する。一般的に、時間ｔでの変位の初期d(t;0)は、時間t-1での最終概算d(t-1;K)に等しく設定される。もしフレームからフレームへの加速が小さいならば、フレーム時間毎に概算プロセスの一回の反復K=1を行って連続した精密化を達成する必要があるかもしれない。
提案された安定化方法は２つの別個の歪みステップを利用しているが、実際には、これらはしばしば歪み器入力と出力をマルチプレクシングすることにより同一の歪みハードウエアー装置で実行され得る。例えば、フレームストア３６とループ１０４からの出力は入力であり、概算器１０６への歪み器出力は出力である。代わりの入力は現在の画像と変形パラメータであり、歪み器出力は出力画像である。
画像Iin(t)とIwarp(t-1;k-1)はフィルタリングされ、さもなければ図７に示されるように変位概算の前に処理され得る。より好ましい実施例では、ラプラシアンピラミッド(Laplacian pyramid)がピラミッドプロセッサー１３０において現在の入力画像Iin(t)に対して構築され、メモリ１３２に記憶される。Iwarp(t-1;k-1)に対するラプラシアンピラミッドが、歪みステップの後にピラミッドプロセッサー１３４において各反覆ｋで再発生される。そこで、概算プロセスの連続した精密化ステップは、非常に高い分解能のピラミッドレベルで残存変位の概算を基礎づけることができる。
図８には、本発明の画像安定化システムの一部としての、動き適応フレーム間処理用システム１５０が、現在の画像Iin(t)と歪まされた画像Iwarp(t-1;k-1)を画素毎に合計して、画像ノイズの減じられた合成物
A(t)=Iin(t)＋Iwarp(t-1;k-1)
を得る（一時的なローパス）ための手段１５２を含む。システム１５０はまた、現在の画像と歪まされた画像を画素毎に引き算して（一時的なハイパス）、場面中の変化や動きを検出する（動いている目標の検出）、差画像
B(t)=Iin(t)-Iwarp(t-1;k-1)
を形成する。
安定化された出力Iout(t)に加えて、又はその代わりに、和及び差画像が安定化システムの出力として直接与えられ得る。導出された画像シーケンスは図６で画像が安定化されたのと同じ方法で歪ませることによって安定化され得る。
２つ以上の画像が、ノイズ低減（一時的ローパスフィルター）用または変化検出（一時的ハイパス）用として整列され得る。選択として、ノイズの低減された画像が、例えば鮮明にすることやノイズを取り除くことを通じて更に強められ得るか、又は変化画像が更に処理され得て、例えば変化エネルギー画像（又はピラミッド）を形成する。画像整列の方法および一時的フィルタリングの方法は既知であることに留意すべきである。従って、本発明はまた、画像安定化のステップとして整列された画像のフレーム間処理を組み込んでいる。特に、整列された入力画像の一時的ローパス及びハイパスのフィルタリング夫々を通じて、ノイズの低減された又は変化の強調された画像シーケンスの発生、及びシステムからの出力前のこれらの導出シーケンスの安定化はそうである。
図９では、システム１６０はソースシーケンスの各画像を前の画像とよりむしろ分離された基準パターンＲに整列している。基準パターンは種々のソースから得ることができる。一般的には、基準パターンＲはソースビデオの初期のフレームからの利用者コントロールの下でセレクター１６２により選択される。又は、それは単にソースビデオの前の画像の又はその一片であり得る（例えば、すべてのｎ番目のフレームが基準として選択され使用され得て、次のn-1番目のフレームを整列する。）または、それは記憶された目標パターンの組から選択され得る。フレームストア３６に記憶されたパターンＲは歪み器１０２で歪まされて、基準と現在の画像Iin(t)間のパターンＲの変位概算に応じて出力Rwarp(k-1)を出力する。システムの出力は歪まされた現在の画像Iin(t)であり、これは固定基準パターンによって一致された領域を保持し、その領域を任意の所望の経路に沿って動かす。さもなくば、一つの目標パターンを検索するよりむしろ、システムは例えば階層構造検索を用いて要素パターンの組を検索できる。
図１０には、画像機１０で発生しフレームストア３２に記憶された特定の画像I1n(t)を画像ソース１８２からの２番目の画像シーケンスI2n(t)に位置決めすることにより、例えばＩＲや可視画像機のような異なるソースからの画像を安定化するためのシステム１８０は、特別な変位概算手順を要求している。第２画像シーケンスI2n(t)はフレームストア１８４に記憶される。一つのソース内の画像が他のソースからの画像に整列される。即ち、一つのソースからの画像が基準パターンとして働いて他のソースからの画像を安定化するために用いられる。歪まされた画像Iwarp(t;k-1)は、差を概算するための手段１０６において画像I1n(t)と比較され、現在の差d(t;k)を求める。現在の差d(t;k)は、前の概算d(t;k-1)に加えられて新しい概算を歪み器１０２に与える。差の最終概算は変形パラメータを発生するための手段１１４により使用されてIin(t)を安定化するために必要な情報を歪み器１１６に与えて端子１１８に画像Iout(t)を出力する。画像I2n(t)はまた、システム出力として端子１８６で利用可能である。
種々のプロセスが、画像機の視野内の目標物の位置を検出するのに使用され得る。これらのプロセスには、相関の一致（例えば、基準パターンとの位置合わせ）、モーションフローフィールド（運動流れ場）での動作領域の検出、及び一時的変化画像における動作領域の検出が含まれる。従来のシステムは、電子的に目標を検出することを用いて画像機を操作する。これらは相関パターン一致やフレーム間変化を信頼しており、電子的な整列の後の画像モーションフローやフレーム間変化を利用していない。その結果、もし画像機が背景を追跡しており、背景画像が実質的に静止していれば、動いている目標を検出するように、そのようなシステムはフレーム間変化を使用される。
本発明の方法では、背景は電子式に整列され、目標が検出され、目標の位置が画像機および／または電子安定化プロセスを指揮して出力画像シーケンス中の背景ではなく目標を追跡し安定化する。本発明は導出された変化や動きの情報を用いて背景に対する目標の動きを検出し、目標の動きと背景の動きの両方を概算する。また、本発明は、電子的に検出された目標の位置や背景の動きの情報を用いて画像機の操作や出力画像シーケンスの安定化の両方を制御する。
図１１では、システム２００は、差Iin(t)-Iwarp(t-1)をとるためのハイパスフィルター手段２０２、及び目標の位置、即ち画像中ですばやく変化するいかなる対象物の位置を求めるための手段２０４を含む。手段２０４の出力は位置情報を出力し、これは手段１１４及び変形パラメータを発生するための第２手段２０６に送られる。手段２０６の出力は、画像機の台２０８を制御して画像機を操作するために、例えば、目標を追跡したり中心に捕らえたり、目標を電子的に安定化したり中心に捕らえたりするために用いられる。手段２０６への入力は、例えば出力画像中のすばやく動いている対象を中心に捕らえるのに用いられ得るオフセットモーションを画像に与える。もっと一般的には、目標位置情報は、画像機を操作すると共に残存動きを電子的に補償するために用いられることができる。この場合には、歪みパラメータはフレーム間変位d(t;K)と目標位置パラメータx(t)の両方に基づいている。フィルター手段２０２と位置決め手段２０４との組み合わせたものは、他の対の画像からのフィルタリングされた差を受け入れることができる。これらの画像は空間的及び一時的に整列され目標検出を改善しノイズを減らす。
画像安定化システムの機能は、入力シーケンスの動きを求めて、観測された動きを出力シーケンス中の所望の動きに置き換えることである。手段１１４で用いられて観測された変位d(t)を要求された歪みパラメータp(t)に変換できる種々の変形が存在する。ここでは、そのような３つの方法を記載する。図１２では、xin(t)をｔ番目の入力フレームの位置とする。一般には、これはｘ，ｙ，θ，大きさ（又は、以下に記載の安定化に基づいてモデルの場合のより高いオーダーのパラメータ）を含んだベクトル量である。Δxin(t)=d(t;K)を観測されたフレーム間変位とする。Xdesired(t)を、ある所望の出力経路Ｐ上のｔ番目の画像の位置とする。手段１１４は、観測された入力位置から所望の出力位置へ画像をシフトするために要求される変位.Xshift(t)を求める。変形モジュールもまた観測された入力変位に基づいた所望の経路Ｐを求める。観測されたΔxinからP(xdesired)を得るための方法を以下に記載する。
変位概算を変形するための「ローパス」方法において、位置の出力シーケンスは単に位置の入力シーケンスを平滑化することにより得られる。即ち、
Δxshift(t)=Δxin(t)-w*Δxin(t)
である。ここで、ｗは一般にIIRローパスフィルターである。異なるフィルターが動きの異なるパラメータを得るのに適用され得る。例えば、並進運動(x,y)は適当に平滑化され、大きさは全く平滑化されないが、回転運動．は大きく平滑化され得る。実際、非線形ローパスフィルターが使用され得る。例えば、変位xshift(t)をどれくらいとることが許容されているかの制限があり得る。本発明はまた、ローパスフィルターを入力位置のシーケンスに適用して所望の出力位置を求めることにより、動きを減衰する。
図１３に示されているような変位概算を変形するための、夫々の部分に関しての連続した方法において、出力経路は、一連の連結された直線の線分（又は他の滑らかなセグメント）として定められる。これらのセグメントは入力画像位置における予期された傾向に従うように選択される。シフトが所定の制限を越える時間ｔ１に達するまで、全ての出力フレームは線分（セグメント）Ａにシフトされ得る。それから、新しい線分が開始され、出力画像が出力表示器の中心に戻すのに役立つ。ｔ１での速度の概算は、例えばｔ１の前の時間の周期の間で観測された入力変位の平均に基づいている。もしくは、所望の経路は外部から特定され得る。この速度とフレームIin(t1)の位置は、次の入力フレームの位置を予測する経路Ｂを定める。出力経路Ｐは、時間t1-1での線分Ａの終わりからt2での線分Ｂへと構成された遷移線分Ｃに従うようにされる。要求されるシフトのような時間が所与の制限を越えるまで、ＰはＢに従う。方向を当然変えるかもしれない入力の動きにおける傾向に出力を従わせる間、この方法は入力シーケンスの一時的な高い周波数成分の動きを除去する。
図１１に示すように目標追跡プロセスが画像整列プロセスと共に用いられているとき、画像整列プロセスが画像を経路Ｐにシフトするのに使用されている間、検出された目標位置は出力経路Ｐを求めるのに使用され得る。場面中で目標が小さいか幾分不規則に動くときは、２プロセス・アプローチが必要とされるかもしれない。部分を対象とする画像平滑安定化（画像をスムーズにする安定化）により、背景場面の望ましくない高周波動きが出力では除去される。目標追跡が用いられて、目標を一般的に出力表示器内の中心に置くように保つ経路を定める。
目標パターンは、オペレータにより指定された背景場面の一部分、又は観測者により指定された場面もしくは動き検出モジュールにより検出された場面における動いている対象であり得る。観測者により指定されたパターンの場合には、システムは次の追跡で基準として使用されるべきパターンを記憶する。この基準は規則的な間隔、例えばnフレーム毎に自動的に更新され得る。一旦、基準パターンとの最高の一致を与える位置が場面中に見つけられたなら、その位置でのパターンが基準の代わりとして記憶される。このようにしてシステムは目標パターンにおけるゆるやかな変化に適応できる。もし目標パターンの検出された位置が目標シーケンスを安定化するのに直接使用されたならば、基準パターンが更新される度に、僅かな飛躍（出力経路Ｐにおける不連続性）が生じる傾向が出るであろう。背景の正確な整列プロセスが図１１中のシフトx(t)とP(t)を定める間、観測された目標パターン位置を用いて経路Ｐ内に線分を定めることによりこの飛躍は避けられる。本発明はまた、分離した背景と安定化における目標追跡プロセスを使用する。目標パターンを出力表示器内の所望の位置に滑らかに動かすために、目標追跡プロセスが出力動き経路の線分を決める間、背景プロセスは部分を対象とした平滑安定化を行う。
機械的安定化装置の存在により、画像機の２つ又は３つの回転軸が安定化される。電子式装置の存在により、画像機の視野内での画像の並進が補償される。ここで提案されている電子式アプローチの重要な利点は、画像機の制御を介しては補償され得ない動き要素を補償するのに使用できることである。例えば、パターンが画像機の視野を越えて動くときに、電子式歪みがレンズ歪みを補償できる。より重要には、画像機が場面内の表面に対して動くときに、電子式安定化が視差動きを補償するのに用いられ得る。安定化は、その動きの数学的モデルや上記概略述べた正確な整列方法を通じて概算されたパラメータに基づいている。例えば、画像機の撮像方法に対して傾斜しえる平らな表面の動きを、２次歪みは補償できる。
電子式安定化は、場面中に存在する面（例えば、自動車の前の道路面）または、画像機に対して相対的に規定される面（例えば、動いている車から所定の距離だけ離れた垂直面）の動きを補償するのに用いられ得る。前者の方法では、それらの表面が安定化されることと共に、動きを概算するための手段と場面中の面までの距離が与えられる。一方、後者の方法は、対象が画像機からの上記距離における「表に現れていない障壁」を越えるときに、対象を検出するための手段を与える。（検出は、動いている車両の前の面を安定化することに基づくことができる。この安定化は、残存動きモデルに基づいている。この安定化の後に、一時的ローパスフィルターが続く。このローパスフィルターにより、その面の近くに無く場面中にある全ての対象物に関して動きが不鮮明なるという結果になる。対象物は、それらが「表に現れていない障壁」を通過するときに、鮮明に現れることになる。）
安定化に基づくモデルは、道路自体の表面のような場面中の表面を安定化するのに用いられ得る。この場合には、画像機に対する表面の動きが決められなければならない。このことは、変位概算手順に基づく既知のモデルを用いて行われ得る。このような技術は、表面形状や距離を決めるための手段として過去に提案されてきている。ここでは、画像シーケンスの安定化においてこれらの技術を使用することを提案する。
画像化手段１０は、外部の発光体により照らされた視野内の対象から反射された放射を受ける構造から成り得る。さもなくば、画像化手段１０は、視界内の対象を放射で照らすための手段とそのような対象からの反射された反射波を受け取るための手段を含む構造を為し得る。（このような反射波はまた対象の距離情報を与えることができる。）さらに、画像化手段１０は、電磁気的、超音波的、及び／又は他のいかなるタイプの波長を有するエネルギースペクトルのうちの所定のどんな波長部分の放射にも応答できる。アナログ−デジタル（Ａ／Ｄ）変換器は、各連続したフレーム中の画像データをデジタルプロセッサーで処理するためにデジタル形式に変換する。
画像歪み器１０２と１１６は、好ましくは、TRW社で製造されたTMC230イメージ・マニピュレーション・シーケンサー(Imagae Manipulation Sequencer)とTMC2246イメージ・フィルター(Image Filter)から形成される。イメージ・マニピュレーション・シーケンサーは、出力画像におけるアドレスを用いてソース画像におけるアドレスを発生するために使用される。イメージ・フィルターは、特定の入力画像アドレスの近隣の入力画像素を用いて出力画素値を内挿補間する。入力画像は標準のメモリに記憶される。このメモリは分割されて補間器に必要な近隣全ての画素を同時に読み出すことができる。
変形ユニットは観測された画像変位と外部から特定された制御情報を変換する。変形モジュールは、テキサスインスツルメント社、ダラス、テスサスで製造されたTMS320C30デジタル信号処理チップのような汎用計算装置および幾つかのメモリとすることができる。変形モジュールは幾つかの異なる安定化制御モードを含むことができる。その各々は、そのメモリに記憶されたコンピュータコードにより特定される。例えば、これらは減衰動き安定化、部分を対象にした線形安定化、及び目標中心化と結合した安定化を含むことができる。どんなときに用いられるモードでも、通常はシステムへの外部入力により特定される。変形モジュールへの他の入力は、変位概算器により計算されるフレーム毎変位、及び位置決めモジュールにより計算された目標位置を含む。フレーム時間毎に、変形モジュールはまず所望の出力動き経路を決め、要求される変位を決めて入力フレームをその経路に動かす。変位パラメータはシステムの出力として歪み器に与えられる。入力は、変位概算器からのフレーム間変位情報や外部モードまたは他の制御仕様を含む。
第１の数の画素を有するわりあい高い分解能の画像が処理されて第１数より小さい第２数の画素を有する広い視界と低い分解能の画像が導出される、画像分解による画像分析が、バート(Burt)によるマルチレゾルーション・イメージ・プロセッシング・アンド・アナリシス(Multiresolution Image Processing And Analysis)、第１６巻、２０〜５１、８８１頁、および画像分解技術が示されたアンダーソン(Anderson)らによる米国特許第４，６９２，８０６号に開示されている。
ラプラシアン変形は、多くのサイズのガウシアンのような基本関数の規則的なアレイに各ソース画像を分解するのに使用される。この関数は、しばしばピラミッド変形の基本関数として、又はウェーブレット(wavelets)として参照される。画像に対する複数分解能ピラミッドにより、低い分解能で分析される粗い特性と高い分解能で分析される細かい特性が許容される。ピラミッドの各サンプル値は、対応する基本関数に関する大きさを表す。図１４には、ソース画像のガウシアン及びラプラシアンピラミッドの発生についてのフローチャートが示されている。ガウシアンG(0)はソース画像であり、ガウシアン・ロールオフ(Gaussian rolloff)を有するローパスフィルターのＦ１でフィルタリングされ、各列中の一つ置きの画素と一つ置きの列を取り除くＦ２により準サンプリングされて、第１レベルガウシアンG(1)を形成する。より低いレベルのガウシアンG(n)が同じ方法で連続して形成される。ピラミッドの各レベルでのガウシアンに対応したラプラシアンL(n)は、準サンプリングされたデータをガウシアンピラミッドの次の最低レベルに戻すこと（与えられたサンプルＦ２’間にゼロ値をとるサンプルを挿入して補間フィルターＦ１を適用すること）、及び与えられたレベルのガウシアンから引くことにより形成される。このように形成されたラプラシアンは、リデュース−エキスパンド(Reduce-Expand)（ＲＥ）ラプラシアンとして知られている。さもなくば、ラプラシアンは破線で示されているように準サンプリングや再補間することなく形成され得る。これはフィルター・サブトラクト・デシメイト(filter-subtract-decimate)（ＦＳＤ）ラプラシアンと言われる。
画像が分解してより低い分解能の画像を作るためのプロセスメモリは、一般にガウシアン・ロールオフ(Gaussian roll-off)を有し異なるバンド幅の複数のローパスフィルターを用いて実行される。また、このプロセスは、米国特許出願第０７／８０５１４９号、及びWorkshop For Machine Vision、パリ、１９８９年１０月、並びに一般には米国特許第４，７０３，５１４号に記載されていて、センサー社(Sensar, Inc.)、PO Box, Princeton, NJ 08540で販売されているＰＹＲ−１で回路を用いて効果的に行うことができる。ＰＹＲ−１ピラミッド回路は３つまでの入力信号を受け入れ、２つまでの出力信号を出力する。入力及び出力データチヤンネルは、パイプライン処理を制御するタイミング信号を組み込む。これらのタイミング信号は自動的に回路の遅延処理に調整されて、パイプラインシステムにおいて自動遅延制御を可能にする。２次元フィルターを実現するのに用いられる水平遅延線の効果的な長さは、タイミング信号により制御されるので、プログラミングされる必要はない。この回路は、連続して可変の水平及び垂直ブランキング回数を有する信号を受け入れて処理する。ビデオカメラからの画像に対して、水平及び垂直同期信号がタイミング信号を与える。これらの信号がデジタル化されてデジタルデータ信号に結合されて入力信号を作る。さもなくば、デジタルデータ信号がフレームストアにより発生され得て、タイミング信号はフレームストア又は補助装置により加えられる。この回路は２つの平行経路を有する。これらの経路は、ガウシアンローパスフィルタリングされた画像及び入力画像のラプラシアン関数（入力画像とガウシアンの差）を同時に計算するのに使用され得る。２つの平行経路はまた、逆ピラミッド変形を計算するのに用いられる。
図１５では、例示したPYR-1回路は３つまでの入力信号IN1,IN2及びIN3を受け入れることができ、２つまでの出力信号OUT1,OUT2を与えることができる。これらの信号の各々は、少なくとも８つのデータビットと２つのタイミングビットを含んだ複数ビットのデジタル信号である。この２つのタイミングビットは夫々のタイミング信号を運ぶ。一つの信号HAは、ラインのデータが有効であるとき（即ち、ピクチャインターバルがアクティブである期間中）論理ハイ状態にあり、その他のとき（即ち、水平ブランキングインターバル中）は論理ロー状態にある。もう一方の信号VAは、フィールド内のデータが有効なときは論理ハイ状態にあり、その他のとき（即ち、垂直ブランキングの間隔の間）は論理ロー状態にある。
本回路は５つの基本的な要素である、入力算術論理ユニット(ALU)１１０４、フィルター１１１０（図１で破線内で示されている。）マルチプレクサー１１２０、クリッププロセッサー１１２２、及び出力ALU１１２４を含む。入力遅延要素１０２により等しく遅延された信号IN1とIN2は、ALU１１０４により結合させられて信号INを発生してフィルター１１１０にかけられる。この信号は、信号IN1かIN2のうちの一つでもよいし、それらの和(IN1+IN2)でもよいし、それらの差(IN1-IN2)でもよい。
フィルター１１１０は２次元フィルターを通じてALU１１０４により与えられる信号を処理する。この２次元フィルターは、その２つの次元の各々において１から５までのタップを有するように構成され得る。フィルターは垂直端プロセッサー１１０６と水平端プロセッサー１１０８を含む。これらのプロセッサーにより、種々の異なるタイプの画像値が実際の画像データを取り囲むものとして意味されるようになる。これらのうちには、最初の水平もしくは垂直ライン又は最後の水平もしくはは垂直ラインの繰り返しおよび定数がある。プロセッサー１１０８は入力信号を処理し境界画素のラインを上や下の端で画像に効果的に加える。さらに、それは３ステートゲート１１１２ａ−１１１２ｄやメモリ１１１４と協力して動作して、タップ遅延ライン(tapped delay line)を働かせる。タップ遅延ラインは、４つのライン遅延画像信号を重畳プロセッサー１１１８の垂直フィルター部分に与えるのに用いられる。
メモリ１１１４は４つ又は８つのライン遅延を２次元フィルターの垂直部分に対して与える。遅延ラインは重畳プロセッサー１１１８内で垂直および水平両方に結合されてフィルター１１１０を完全する。フィルター１１１０により与えられた出力信号はクリッププロセッサー１１２２により処理される。クリッププロセッサーは精度信号のために丸めたりスケーリングしたりし、最上位ビット(MSB)位置としてのフィルタリングされたデータを、入力IN3を介して与えられる、最下位ビット(LSB)を表すフィルタリングされたデータに結合して、倍精度出力信号を発生する。
プロセッサー１１２２の出力信号やALU１１０４の出力信号はプロセッサー１１０６により処理されるときに、出力信号OUT1として選択され得る。出力信号OUT2は、クリッププロセッサー１１２２の出力信号やマルチプレクサー１１２０の出力信号やこれらの２つの信号を結合したALU１１２４の出力とすることができる。マルチプライヤー１１２０により与えられる信号は、定数値K2、入力信号IN2、又は水平端プロセッサー１１０８により与えられる遅延水平ライン信号のうちの一つであり得る。マルチプレクサー１１２０は内部補償遅延（図示されてない。）を含む。この内部補償遅延は、入力信号の各々をクリッププロセッサー１１２２により与えられた信号に整列する。回路用のタイミング信号はタイミング回路１１２８により発生される。タイミング回路１１２８は、２位相入力クロック信号CLKとCLK2から２相のメモリクロックとシステムクロック信号CKを作る。
本回路の機能は制御回路１１３０を介して制御される。制御回路１１３０は制御入力チャンネルCBUSからユーザーコマンドを受け取り、出力ポートCONTを介して信号とデータ値を回路の他の要素に送る。
本発明は画像化システムの具体化したものとしてここでは説明され記載されているが、本発明は記載されている詳細に制限されるものではない。例えば、本発明は一つのソースからの画像、又は複数のソースからの画像のシーケンスを含む。むしろ、様々な変更が特許請求の範囲と同等の範囲内で本発明の趣旨から逸脱することなく詳細に行い得る。
本発明は基準になるものを歪ませて画像内の変位の概算を求めるという観点により説明されているが、画像自身は概算器内の基準との比較のため歪まされることができた。それから、変位の最終概算は画像を歪ませて安定化された出力画像を形成するのに用いられる。図１６のシステムは、歪み器の位置が変えられて基準よりむしろ現在の画像が歪まされて変位の概算を得ていることを除いては、図６のシステムと同じである。
Claims (12)
- 連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化方法であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含んだ反覆操作されるフィードバックループを用い、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるステップ、（ｂ）前記変位の最終概算を前記メモリに記憶するステップ、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するステップ、及び（ｄ）第２画像歪み器を用いて、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるステップを含んだ上記電子式画像安定化方法。
- 前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのその時の画像フレームの直前の画像フレームに対応し、そして前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、請求項１に記載の電子式画像安定化方法。
- 前記シーケンス中の前記連続した対をなす画像フレームの各々が、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で利用でき、そして、前記ステップ（ａ）が、（ｅ）前記所与の最低分解能画像フレームから開始し、前記反覆操作されるフィードバックループを各々の連続したより高い分解能画像フレームに順に用いて、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期の概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の少ない最終の概算に変えるステップを含む、請求項１に記載の電子式画像安定化方法。
- 前記ステップ（ａ）が、（ｅ）前記シーケンス中の現在の対の画像フレームに先行する一対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として用いるステップを含む、請求項１に記載の電子式画像安定化方法。
- 前記ステップ（ｃ）が、（ｅ）部分を対象とした線形経路を形成する出力変形パラメータを導出する所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、請求項１に記載の電子式画像安定化方法。
- 前記ステップ（ｃ）が、（ｅ）ローパスフィルタリングが滑らかな画像差に適用される所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、請求項１に記載の電子式画像安定化方法。
- 連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化装置であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含み、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるための、反覆操作されるフィードバックループ、（ｂ）前記変位の前記最終概算を前記メモリに記憶するための手段、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するための手段、及び（ｄ）第２画像歪み器を用い、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるための手段を含んだ上記電子式画像安定化装置。
- 前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームを記憶するための第１画像フレームストア、及び前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームを記憶するための第２画像フレームストアをさらに含んだ、請求項７に記載の電子式画像安定化装置。
- 前記第１画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームの直前の画像フレームに対応し、そして前記第２画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、請求項８に記載の電子式画像安定化装置。
- 所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で前記シーケンス中の前記連続した対をなす画像フレームの各々を与えるためのピラミッド手段、前記所与の最低分解能画像フレームを操作することから開始して、連続してより高い分解能の画像フレームの各々を順に操作して、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の小さい最終概算に変える手段を含んだ、前記反覆して操作されるフィードバックループをさらに含む、請求項７に記載の電子式画像安定化装置。
- （ｅ）前記反覆して操作されるフィードバックループに、前記シーケンス中の現在の対の画像フレームに先行する１対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として与えるための手段をさらに含む、請求項７に記載の電子式画像安定化装置。
- 所与の画像変化モデルに従って前記メモリに記憶された変位の前記最終概算を出力変形パラメータに変換するための前記手段が、部分を対象とする線形経路を形成する出力変形パラメータを導出する手段と、画像差を平滑化するのに効果的な出力変形パラメータを導出するローパスフィルター手段を含む、請求項７に記載の電子式画像安定化装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7181493A | 1993-06-04 | 1993-06-04 | |
| US08/071,814 | 1993-06-04 | ||
| PCT/US1994/006032 WO1994030007A1 (en) | 1993-06-04 | 1994-06-02 | System and method for electronic image stabilization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08511137A JPH08511137A (ja) | 1996-11-19 |
| JP3734829B2 true JP3734829B2 (ja) | 2006-01-11 |
Family
ID=22103762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50187595A Expired - Fee Related JP3734829B2 (ja) | 1993-06-04 | 1994-06-02 | 電子画像安定化システム及び方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5629988A (ja) |
| EP (2) | EP0986252B1 (ja) |
| JP (1) | JP3734829B2 (ja) |
| KR (1) | KR100268311B1 (ja) |
| DE (2) | DE69434657T2 (ja) |
| ES (2) | ES2258311T3 (ja) |
| WO (1) | WO1994030007A1 (ja) |
Families Citing this family (119)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0654765B1 (en) * | 1993-11-23 | 2002-10-09 | Hewlett-Packard Company, A Delaware Corporation | Ink rendering |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| DE69616031T2 (de) * | 1995-12-21 | 2002-06-20 | Koninkl Philips Electronics Nv | Rauschreduzierung in einem bild |
| KR100188116B1 (ko) * | 1995-12-28 | 1999-06-01 | 김광호 | 손떨림 영상 안정화 회로 |
| US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| US6249616B1 (en) | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
| US6396961B1 (en) | 1997-11-12 | 2002-05-28 | Sarnoff Corporation | Method and apparatus for fixating a camera on a target point using image alignment |
| US6320624B1 (en) | 1998-01-16 | 2001-11-20 | ECOLE POLYTECHNIQUE FéDéRALE | Method and system for combining video sequences with spatio-temporal alignment |
| US7843510B1 (en) | 1998-01-16 | 2010-11-30 | Ecole Polytechnique Federale De Lausanne | Method and system for combining video sequences with spatio-temporal alignment |
| US6211913B1 (en) | 1998-03-23 | 2001-04-03 | Sarnoff Corporation | Apparatus and method for removing blank areas from real-time stabilized images by inserting background information |
| US6522325B1 (en) | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| US6067373A (en) * | 1998-04-02 | 2000-05-23 | Arch Development Corporation | Method, system and computer readable medium for iterative image warping prior to temporal subtraction of chest radiographs in the detection of interval changes |
| IL138808A0 (en) | 1998-04-02 | 2001-10-31 | Kewazinga Corp | A navigable telepresence method and system utilizing an array of cameras |
| US6459822B1 (en) | 1998-08-26 | 2002-10-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Video image stabilization and registration |
| AU2119201A (en) | 1999-10-20 | 2001-04-30 | Trustees Of The University Of Pennsylvania, The | Mosaicing and enhancement of images for ophthalmic diagnosis and documentation |
| WO2001039130A1 (en) * | 1999-11-24 | 2001-05-31 | Dartfish Ltd. | Coordination and combination of video sequences with spatial and temporal normalization |
| JP2003515827A (ja) * | 1999-11-26 | 2003-05-07 | モービルアイ インク | 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 |
| US6099124A (en) * | 1999-12-14 | 2000-08-08 | Hidaji; Faramarz | Ophthalmological system and method |
| US6809758B1 (en) | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
| US6993719B1 (en) | 2000-02-11 | 2006-01-31 | Sony Corporation | System and method for animated character photo-editing interface and cross-platform education icon |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| US7136528B2 (en) | 2000-02-11 | 2006-11-14 | Sony Corporation | System and method for editing digital images |
| US6757027B1 (en) | 2000-02-11 | 2004-06-29 | Sony Corporation | Automatic video editing |
| WO2001069930A1 (en) | 2000-03-10 | 2001-09-20 | Sensormatic Electronics Corporation | Method and apparatus for object surveillance with a movable camera |
| US7019773B1 (en) * | 2000-05-25 | 2006-03-28 | Prc Inc. | Video mosaic |
| US6826292B1 (en) * | 2000-06-23 | 2004-11-30 | Sarnoff Corporation | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation |
| JP2002224982A (ja) * | 2000-12-01 | 2002-08-13 | Yaskawa Electric Corp | 薄型基板搬送用ロボットおよび薄型基板検出方法 |
| CA2430591C (en) * | 2000-12-01 | 2011-04-19 | Imax Corporation | Techniques and systems for developing high-resolution imagery |
| US6423720B1 (en) * | 2001-02-01 | 2002-07-23 | Duquesne University Of The Holy Ghost | Pyrimidine compounds and methods for making and using the same |
| US6901173B2 (en) * | 2001-04-25 | 2005-05-31 | Lockheed Martin Corporation | Scene-based non-uniformity correction for detector arrays |
| US6973218B2 (en) * | 2001-04-25 | 2005-12-06 | Lockheed Martin Corporation | Dynamic range compression |
| US7103235B2 (en) * | 2001-04-25 | 2006-09-05 | Lockheed Martin Corporation | Extended range image processing for electro-optical systems |
| US6965379B2 (en) | 2001-05-08 | 2005-11-15 | Koninklijke Philips Electronics N.V. | N-view synthesis from monocular video of certain broadcast and stored mass media content |
| FR2828314B1 (fr) * | 2001-07-31 | 2003-12-12 | Sagem | Procede de stabilisation electronique des images d'une scene d'un appareil de prise de vues d'un systeme d'imagerie et procede d'harmonisation electronique de deux appareils de prise de vues de deux systemes d'imagerie |
| FR2828315B1 (fr) * | 2001-07-31 | 2005-08-05 | Sagem | Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images |
| CN100359923C (zh) * | 2001-09-07 | 2008-01-02 | 英特图形软件技术公司 | 使用颜色匹配的图像稳定化 |
| US7006665B2 (en) * | 2002-01-18 | 2006-02-28 | Lockheed Martin Corporation | Adaptive, product control and stabilization sub-system for camera-based optical character recognition, and a method of operating the same |
| AU2003209553A1 (en) * | 2002-03-13 | 2003-09-22 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
| US6925195B2 (en) * | 2002-05-28 | 2005-08-02 | Eastman Kodak Company | Stabilization of three-dimensional images in a scannerless range imaging system |
| US7119837B2 (en) | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| AU2002328437A1 (en) * | 2002-09-17 | 2004-04-08 | Fujitsu Limited | Biological information acquiring apparatus and authentication apparatus using biological information |
| US20040100565A1 (en) * | 2002-11-22 | 2004-05-27 | Eastman Kodak Company | Method and system for generating images used in extended range panorama composition |
| US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| US7876359B2 (en) * | 2003-01-17 | 2011-01-25 | Insitu, Inc. | Cooperative nesting of mechanical and electronic stabilization for an airborne camera system |
| US7602415B2 (en) * | 2003-01-17 | 2009-10-13 | Insitu, Inc. | Compensation for overflight velocity when stabilizing an airborne camera |
| US7298869B1 (en) * | 2003-07-21 | 2007-11-20 | Abernathy Donald A | Multispectral data acquisition system and method |
| JP2005078528A (ja) * | 2003-09-02 | 2005-03-24 | Honda Motor Co Ltd | 物体検出装置及び方法 |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7561186B2 (en) * | 2004-04-19 | 2009-07-14 | Seiko Epson Corporation | Motion blur correction |
| US9210312B2 (en) * | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
| US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
| US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
| JP3901173B2 (ja) * | 2004-06-07 | 2007-04-04 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US20050285947A1 (en) * | 2004-06-21 | 2005-12-29 | Grindstaff Gene A | Real-time stabilization |
| US7463753B2 (en) | 2004-09-15 | 2008-12-09 | Raytheon Company | FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker |
| GB0423578D0 (en) * | 2004-10-22 | 2004-11-24 | Greenparrotpictures Ltd | Dominant motion estimation for image sequence processing |
| DE102005000820B4 (de) | 2004-12-08 | 2007-07-05 | Carl Zeiss Ag | Verfahren zum Verbessern der Sehfähigkeit einer sehbehinderten Person und Sehhilfe |
| US7961966B2 (en) * | 2005-01-04 | 2011-06-14 | Etron Technology, Inc. | Digitized image stabilization using energy analysis method |
| ATE426218T1 (de) * | 2005-01-12 | 2009-04-15 | Koninkl Philips Electronics Nv | Tiefenwahrnehmung |
| US7489341B2 (en) * | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
| JP2008529151A (ja) * | 2005-01-31 | 2008-07-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数解像度の画像フィルタリングに関するピラミッド分解 |
| GB2426074A (en) * | 2005-05-05 | 2006-11-15 | Vitec Group Plc | Camera mounting with gyroscopic stablizer |
| GB2425907A (en) * | 2005-05-05 | 2006-11-08 | Vitec Group Plc | Improvements in or relating to camera mounting |
| US7755667B2 (en) * | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
| WO2007053075A2 (en) * | 2005-11-04 | 2007-05-10 | Autoliv Development Ab | Infrared vision arrangement and image enhancement method |
| GB2432071A (en) * | 2005-11-04 | 2007-05-09 | Autoliv Dev | Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question |
| CA2636858C (en) * | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| CA2653815C (en) | 2006-06-23 | 2016-10-04 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| FR2903200B1 (fr) * | 2006-06-29 | 2008-12-19 | Thales Sa | Stabilisation hybride d'images pour camera video |
| US8432448B2 (en) | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
| US8047075B2 (en) | 2007-06-21 | 2011-11-01 | Invensense, Inc. | Vertically integrated 3-axis MEMS accelerometer with electronics |
| US8462109B2 (en) * | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US7934423B2 (en) * | 2007-12-10 | 2011-05-03 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
| US20100071467A1 (en) * | 2008-09-24 | 2010-03-25 | Invensense | Integrated multiaxis motion sensor |
| US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US8250921B2 (en) * | 2007-07-06 | 2012-08-28 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| US7796872B2 (en) * | 2007-01-05 | 2010-09-14 | Invensense, Inc. | Method and apparatus for producing a sharp image from a handheld device containing a gyroscope |
| US8141424B2 (en) | 2008-09-12 | 2012-03-27 | Invensense, Inc. | Low inertia frame for detecting coriolis acceleration |
| US20090262074A1 (en) * | 2007-01-05 | 2009-10-22 | Invensense Inc. | Controlling and accessing content using motion processing on mobile devices |
| US20080165280A1 (en) * | 2007-01-05 | 2008-07-10 | Deever Aaron T | Digital video stabilization with manual control |
| US8508039B1 (en) | 2008-05-08 | 2013-08-13 | Invensense, Inc. | Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics |
| US20090265671A1 (en) * | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
| US8020441B2 (en) * | 2008-02-05 | 2011-09-20 | Invensense, Inc. | Dual mode sensing for vibratory gyroscope |
| US20080212895A1 (en) * | 2007-01-09 | 2008-09-04 | Lockheed Martin Corporation | Image data processing techniques for highly undersampled images |
| US8457410B2 (en) * | 2007-02-14 | 2013-06-04 | Technion Research And Development Foundation Ltd. | Over-parameterized variational optical flow method |
| US7995800B2 (en) * | 2007-02-28 | 2011-08-09 | Imec | System and method for motion detection and the use thereof in video coding |
| JP4389956B2 (ja) * | 2007-04-04 | 2009-12-24 | ソニー株式会社 | 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム |
| JP4926920B2 (ja) | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
| JP5213237B2 (ja) * | 2008-04-17 | 2013-06-19 | パナソニック株式会社 | 撮像位置判定方法及び撮像位置判定装置 |
| US8081224B2 (en) * | 2008-05-07 | 2011-12-20 | Aptina Imaging Corporation | Method and apparatus for image stabilization using multiple image captures |
| DE102009011032A1 (de) | 2009-03-02 | 2010-09-09 | Epiret Gmbh | Mobile Video Trainingseinheit |
| US8314816B2 (en) * | 2009-06-08 | 2012-11-20 | Honeywell International Inc. | System and method for displaying information on a display element |
| WO2011094346A1 (en) * | 2010-01-26 | 2011-08-04 | Hobbs Barry L | Integrated concurrent multi-standard encoder, decoder and transcoder |
| US8896715B2 (en) * | 2010-02-11 | 2014-11-25 | Microsoft Corporation | Generic platform video image stabilization |
| JP2012054911A (ja) * | 2010-08-05 | 2012-03-15 | Panasonic Corp | 撮像装置 |
| US20120076403A1 (en) * | 2010-09-23 | 2012-03-29 | Oscar Nestares | System and method for all-in-focus imaging from multiple images acquired with hand-held camera |
| US8711248B2 (en) | 2011-02-25 | 2014-04-29 | Microsoft Corporation | Global alignment for high-dynamic range image generation |
| CA2780595A1 (en) * | 2011-06-22 | 2012-12-22 | Roman Palenychka | Method and multi-scale attention system for spatiotemporal change determination and object detection |
| US9824426B2 (en) | 2011-08-01 | 2017-11-21 | Microsoft Technology Licensing, Llc | Reduced latency video stabilization |
| US8761439B1 (en) | 2011-08-24 | 2014-06-24 | Sri International | Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit |
| US8760513B2 (en) | 2011-09-30 | 2014-06-24 | Siemens Industry, Inc. | Methods and system for stabilizing live video in the presence of long-term image drift |
| US9338352B2 (en) * | 2011-12-30 | 2016-05-10 | Flir Systems Ab | Image stabilization systems and methods |
| US8774513B2 (en) | 2012-01-09 | 2014-07-08 | General Electric Company | Image concealing via efficient feature selection |
| WO2013117959A1 (en) * | 2012-02-06 | 2013-08-15 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | System and method for stabilizing digital image sequences |
| JP6087671B2 (ja) * | 2013-03-12 | 2017-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| US10554965B2 (en) | 2014-08-18 | 2020-02-04 | Google Llc | Motion-compensated partitioning |
| US20170069103A1 (en) * | 2015-09-08 | 2017-03-09 | Microsoft Technology Licensing, Llc | Kinematic quantity measurement from an image |
| US10084962B2 (en) | 2015-11-16 | 2018-09-25 | Google Llc | Spherical video stabilization based on accelerometer data |
| FR3047103B1 (fr) * | 2016-01-26 | 2019-05-24 | Thales | Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee |
| US10397600B1 (en) | 2016-01-29 | 2019-08-27 | Google Llc | Dynamic reference motion vector coding mode |
| US10462457B2 (en) | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
| CN108510520B (zh) * | 2018-02-13 | 2019-03-08 | 视辰信息科技(上海)有限公司 | 一种图像处理方法、装置及ar设备 |
| CN110072064B (zh) * | 2019-06-12 | 2020-07-03 | 睿魔智能科技（深圳）有限公司 | 一种图像拍摄方法、装置、设备以及存储介质 |
| US10937232B2 (en) | 2019-06-26 | 2021-03-02 | Honeywell International Inc. | Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames |
| CN113923369B (zh) * | 2021-12-13 | 2022-03-15 | 北京海兰信数据科技股份有限公司 | 一种用于船舶的视频防抖方法和系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835532A (en) * | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
| GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| GB2220319B (en) * | 1988-07-01 | 1992-11-04 | Plessey Co Plc | Improvements in or relating to image stabilisation |
| US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
| GB9001468D0 (en) * | 1990-01-23 | 1990-03-21 | Sarnoff David Res Center | Computing multiple motions within an image region |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| US5251271A (en) * | 1991-10-21 | 1993-10-05 | R. R. Donnelley & Sons Co. | Method for automatic registration of digitized multi-plane images |
-
1994
- 1994-06-02 DE DE69434657T patent/DE69434657T2/de not_active Expired - Fee Related
- 1994-06-02 EP EP99204323A patent/EP0986252B1/en not_active Expired - Lifetime
- 1994-06-02 JP JP50187595A patent/JP3734829B2/ja not_active Expired - Fee Related
- 1994-06-02 ES ES99204323T patent/ES2258311T3/es not_active Expired - Lifetime
- 1994-06-02 ES ES94919278T patent/ES2151550T3/es not_active Expired - Lifetime
- 1994-06-02 WO PCT/US1994/006032 patent/WO1994030007A1/en active IP Right Grant
- 1994-06-02 DE DE69426232T patent/DE69426232T2/de not_active Expired - Fee Related
- 1994-06-02 EP EP94919278A patent/EP0701758B1/en not_active Expired - Lifetime
- 1994-06-02 KR KR1019950705473A patent/KR100268311B1/ko not_active IP Right Cessation
- 1994-10-28 US US08/328,783 patent/US5629988A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR100268311B1 (ko) | 2000-10-16 |
| US5629988A (en) | 1997-05-13 |
| ES2151550T3 (es) | 2001-01-01 |
| JPH08511137A (ja) | 1996-11-19 |
| DE69434657D1 (de) | 2006-05-04 |
| ES2258311T3 (es) | 2006-08-16 |
| DE69434657T2 (de) | 2007-02-15 |
| EP0986252B1 (en) | 2006-03-08 |
| EP0701758A1 (en) | 1996-03-20 |
| EP0701758B1 (en) | 2000-11-02 |
| WO1994030007A1 (en) | 1994-12-22 |
| DE69426232D1 (de) | 2000-12-07 |
| DE69426232T2 (de) | 2001-05-17 |
| EP0986252A1 (en) | 2000-03-15 |
| KR960702974A (ko) | 1996-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3734829B2 (ja) | 電子画像安定化システム及び方法 | |
| KR101830804B1 (ko) | 적응 필터링을 이용한 디지털 이미지 안정화 방법 | |
| US5920657A (en) | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method | |
| US8508651B2 (en) | Image stabilizing apparatus, image pick-up apparatus and image stabilizing method | |
| Morimoto et al. | Evaluation of image stabilization algorithms | |
| Ertürk | Real-time digital image stabilization using Kalman filters | |
| EP1570652B1 (en) | Image stabilisation system and method | |
| US8385418B2 (en) | Dominant motion estimation for image sequence processing | |
| US7729563B2 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
| Erturk | Digital image stabilization with sub-image phase correlation based global motion estimation | |
| US5506912A (en) | Imaging device capable of tracking an object | |
| US5943445A (en) | Dynamic sprites for encoding video data | |
| Morimoto et al. | Fast 3D stabilization and mosaic construction | |
| Ben-Ezra et al. | Jitter camera: High resolution video from a low resolution detector | |
| KR101161706B1 (ko) | 화상 처리 장치와 학습 장치와 계수 생성 장치 및 방법 | |
| JPH04151982A (ja) | 動きベクトル検出装置 | |
| JP2007179211A (ja) | 画像処理装置、画像処理方法、およびそのプログラム | |
| EP1636987B1 (en) | Spatial signal conversion | |
| JP2900709B2 (ja) | 動画像フィルタ | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| Amanatiadis et al. | An integrated dynamic image stabilizer applied to zooming systems | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| Tajbakhsh | Real-time global motion estimation for video stabilization | |
| Sibiryakov et al. | Real-time multi-frame analysis of dominant translation | |
| JP3304426B2 (ja) | 画像変換方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051020 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |