JP4745388B2 - 二重経路画像シーケンス安定化 - Google Patents

Description

本発明は、一般に、ディジタルカメラ及びディジタル撮像に関し、特に、画像シーケンス安定化方法並びにディジタル画像シーケンスからのジッタを検出して、取り除くための二重経路を有するカメラ及び方法に関する。

ディジタルスチルカメラ又はビデオカメラのような装置により捕捉される画像シーケンスはしばしば、画像間のジッタと呼ばれる不所望の動きを有する。例としては、可搬型ビデオカメラにより捕捉される映像にはしばしば、ユーザがカメラを安定に維持しようと最善を尽くしているにも拘わらず、フレーム毎に部分的に揺らぎ又はジッタが現れる。

ディジタル画像シーケンスからのジッタの除去のために、幾つかの異なる方法が提案されてきた。手ぶれ補正機構は捕捉に先だって光像に作用する。例えば、米国特許第５，５８１，４０４号明細書においては、カメラにおける角速度を検出し、補正する機構の一部として用いられる振動ジャイロ及び回転プリズムレンズについて記載されている。光安定化は有効であるが、付加的なカメラの重さ、付加的な構成要素及び所用の電力の代償を払う必要がある。

安定化はまた、電気的か又はディジタル的のどちらかでカメラの動きを決定することにより得られ、例えば、ＣＣＤ又はＣＭＯＳイメージャ等のオーバーサイズ化電子イメージャ又は画像センサから適切なオフセット画像領域を選択することによりこの動きは補償される。電子イメージャは、そのイメージャが、出力画像において供給されることに比べて大きい視野を捕捉する。縮小化された大きさの画像は、捕捉中に電子ビューファインダ又は他のカメラディスプレイにおけるアーカイブストレージ及びディスプレイのために供給されることが可能である。

電子安定化システムは、実際のカメラの動きを検出するために動き検知トランスジューサを用い、そのカメラの動きは、その場合、オーバーサイズ化イメージャにより生成された画像に関連して出力ウィンドウを位置付けるように用いられる。電子安定化は、典型的には、カメラ内で実行され、トランスジューサの重さ及びコストについての短所を有する。

ディジタル安定化に伴って、実際のカメラの動きは、捕捉された画像シーケンスにより推定されなければならない。この方法は、付加的な動きセンサを必要としないために安価である。ディジタル安定化は、ディジタル安定化が大きいコンピュータの負荷を与え、そして画像コンテンツは安定化のために、必要なディジタル動き推定を混乱させる可能性がある。

ディジタル安定化は、カメラ内で又はオフラインで実行されることが可能である。各々の方法には、それら自体の有利点及び不利点がある。カメラ内のディジタル安定化は、利用可能な処理能力の点で制約がある。オフラインのディジタル安定化は、コンピュータ資源はあまり制約されそうにないことが有利点である。

カメラ内ディジタル安定化は、安定化段階がカメラ内で実行され、画像シーケンス捕捉中に撮影者に対して出力を与えることができるために、容易に自動化できる。オフライン安定化はあまり都合がよくない。典型的には、ユーザは、安定化された映像を得るために適切なソフトウェアによる付加手順を実行する必要がある。更なる問題点は、安定化のために必要な画像シーケンスは１つ又はそれ以上の圧縮−伸長サイクルを通る可能性が高いことである。

オフラインディジタル安定化により、出力画像は転送され、安定化の間に、視野は縮小される。このことは、視野の縮小の前にユーザは出力画像を見る必要があるために、ユーザ予想の問題を引き起こす。特に、ユーザ予想についての付加的な問題は、安定化に続いて付加補間手順が与えられない場合に、解像度がまた、減少されることである。

カメラ内安定化は、画像シーケンスの捕捉中に、ビューファインダに安定化画像を供給することができるが、そうすることにおいて、未来のフレームを用いないアルゴリズムに限定される。このことは、カメラパンのような意図的な動きの特定化における悪い性能に繋がる。オフラインディジタル安定化により、全体の画像シーケンスが安定化時に利用可能である。このことは、所定フレームを安定化しているときに、未来のフレーム及び過去のフレームの両方からデータを利用するアルゴリズムを用いることを可能にする。

ディジタル安定化により、実際のカメラの動きは、捕捉された映像ストリームから推定される必要がある。これは、オブジェクトの動きをカメラの動きと区別する必要があるために、困難である。このことは、軌道推定により後続され、その軌道推定は、好ましいカメラの動きの推定を演算する（通常、手振れはその好ましい動きに比べて大きい振動数を有する）。ジッタは、全体の動き及び好ましいカメラの動きの推定に基づいて推定され、その場合、画像シフト又はワープ関数により補償される。

多くの又は殆どのディジタル安定化技術は、動き推定について、あるブロックマッチングのフォームを用いる。ブロックマッチングは画像をブロックの収集に分割し、各々のブロックについて、先行画像における最良のマッチング領域を見つける。一旦、動き推定が各々のブロックについて得られると、ルールの集合が、それらの局所推定を動きの単一な全体的な推定に変換するように適用される必要がある。ブロックに基づく動き推定は、画像の全体を通して異なる領域からの局所動き推定を得るために、シーンにおける独立して動いているオブジェクトに対して非常にロバストであることが可能である。不適切な動き推定を取り除くために用いられる一技術は、局所動き推定の全てのヒストグラムを作り、希にしか得られない全ての値を取り除くようにする。他の局所推定は、繰り返しパターンを有する又は殆どエッジがないブロックのような理由によって信頼性が低い場合には、取り除かれることが可能である。信頼性が高い推定のみが残るように、一旦、それらの局所推定において余分なものが取り除かれると、典型的には、全体的な動き推定として中央値又は平均値が選択される。

文献“Ａｕｔｏｍａｔｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｉｎｇ Ｓｙｓｔｅｍ ｂｙ Ｆｕｌｌ−Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ”，ｂｙ Ｕｏｍｏｒｉ ｅｔ ａｌ．，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓ，３６（３），Ａｕｇｕｓｔ １９９０，ｐａｇｅｓ ５１０−５１９に、ディジタル安定化及びジッタの除去における特定の時間フィルタについて開示されている。他には、ディジタルフィルタリング技術については、米国特許第５，１７２，２２６号明細書、米国特許第５，７４８，２３１号明細書、米国特許第５，６４８，８１５号明細書、米国特許第５，５１０，８３４号明細書及び米国特許第５，２８９，２７４号明細書に開示されている。米国特許第５，７４８，２３１号明細書においては、動きベクトルの失敗条件に関する技術について開示されている。それらの技術の全ては、シーケンスにおいて画像間で全体的な動きを推定するためのディジタル動き推定ユニットと、推定される動きのどの成分が意図されたパンではなくジッタであるかを判定するためのジッタ演算アルゴリズムとを用いている。

上記のブロックに基づくディジタル安定化技術及び関連技術は多くの観点からの満足のいくものである。それらの方法は、アルゴリズムが全くソフトウェアに基づくものであるために、安価である。ブロックに基づく技術は、比較的大きい量の局所情報を補足し、シーンにおける独立して動いているオブジェクトのような要素に対して比較的ロバストであるという有利点を有する。他方、ブロックに基づく技術は演算が複雑である。これは、光学的又は電気的安定化に対する性能の挑戦であり、今日利用可能であり、手頃な価格のディジタルカメラのような特定のコンピュータ資源を有するアプリケーションにおける実用性を制限する。

上記の技術の幾つかは、回転、ワーピング及び動きの推定における一般的なアフィン変換を考慮する。それらの方法においては、動きの演算と、演算されるジッタの動きに基づいて画像をオフセットするために必要な後続の補間の両方において、大規模なコンピュータ資源が必要である。

米国特許第６，１３０，９１２号明細書及び米国特許第６，１２８，０４７号明細書において、動き推定のための積分投影の使用について開示されている。文献“ｅｆｆｉｃｉｅｎｔ ｂｌｏｃｋ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ Ｉｎｔｅｇｒａｌ Ｐｒｏｊｅｃｔｉｏｎｓ”，ｂｙ Ｋ．Ｓａｕｅｒ ａｎｄ Ｂ．Ｓｃｈｗａｒｔｚ，ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，６（５），１９９６，ｐａｇｅｓ ５１３−５１８にブロックに基づく動き推定について開示されている。積分投影はブロックマッチングのフレームワーク内にあり、ブロックに基づく技術の限界の影響を受けるものである。

ブロックに基づく動き推定の全体的な拡張の演算におけるフルフレーム積分投影の使用については、文献“Ｒｅａｌ−ｔｉｍｅ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｓｔａｂｉｌｉｚａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ”，ｂｙＫ．Ｒａｔａｋｏｎｄａ，ＩＥＥＥ Ｉｎｔ‘ｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，１９９８，ｖｏｌ．４，ｐａｇｅｓ ６９−７２に開示されている。フルフレーム積分投影は、２つの一次元ベクトル、即ち、１つの水平方向のベクトル及び１つの垂直方向のベクトルに投影することにより機能する。これは、水平方向の投影を形成するように各々の列における要素を加算し、そして垂直方向の投影を形成するように各々の行における要素を加算することにより達成される。フルフレーム積分投影は、二次元の全体の動き推定の問題を２つの独立した一次元動き推定の問題に減少させる。Ｒａｔｏｋｏｎｄａの論文においてはまた、サブサンプリング及び補間に基づく半画素の精度によるフルフレーム積分投影の使用における演算の改善について開示している。それらの技術は、非因果フィルタが用いられる短所を有する。

多くの点で満足できているにも拘わらず、既知のディジタル及び電子画像シーケンス安定化アルゴリズムは、不適切な性能及び付加的な演算の複雑性を含む多くの短所に関連している。

それ故、限定された演算資源により画像シーケンスの改善されたディジタル安定化が与えられる方法及びカメラが与えられることが要請されている。
米国特許第５，１７２，２２６号明細書 米国特許第５，７４８，２３１号明細書 米国特許第５，６４８，８１５号明細書 米国特許第５，５１０，８３４号明細書 米国特許第５，２８９，２７４号明細書 "Ａｕｔｏｍａｔｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｉｎｇ Ｓｙｓｔｅｍ ｂｙ Ｆｕｌｌ−Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ"，ｂｙ Ｕｏｍｏｒｉ ｅｔ ａｌ．，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓ，３６（３），Ａｕｇｕｓｔ １９９０，ｐａｇｅｓ ５１０−５１９ "ｅｆｆｉｃｉｅｎｔ ｂｌｏｃｋ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ Ｉｎｔｅｇｒａｌ Ｐｒｏｊｅｃｔｉｏｎｓ"，ｂｙ Ｋ．Ｓａｕｅｒ ａｎｄ Ｂ．Ｓｃｈｗａｒｔｚ，ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，６（５），１９９６，ｐａｇｅｓ ５１３−５１８ "Ｒｅａｌ−ｔｉｍｅ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｓｔａｂｉｌｉｚａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ"，ｂｙＫ．Ｒａｔａｋｏｎｄａ，ＩＥＥＥ Ｉｎｔ‘ｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，１９９８，ｖｏｌ．４，ｐａｇｅｓ ６９−７２

本発明については、請求項に記載されている。本発明は、広汎な特徴における、入力ディジタル画像のシーケンスが捕捉される画像シーケンス安定化方法及びカメラを提供している。入力ディジタル画像のシーケンスは、対応するアーカイブ画像のシーケンス及び対応する表示画像のシーケンスを与えるように複製される。アーカイブ画像シーケンスは、安定化アーカイブ画像シーケンスを供給するように自動的に安定化される。表示画像シーケンスは、安定化表示画像シーケンスを供給するように自動的に安定化される。それらの２つのシーケンスに対して用いられる安定化方法は、両方がディジタルであることが可能であるが、異なっている。

本発明の有利な効果は、比較的低い演算要求度により良好な性能を達成するディジタル画像シーケンス安定化を有する改善された方法及び装置が提供されることである。

本発明の有利な効果はまた、二重安定化経路を用いることにより限定されたコンピュータ資源により画像シーケンスの改善されたディジタル安定化を備えた改善されたカメラ及び方法が提供されることである。

本発明の上記の特徴及び他の特徴及び目的並びにそれらを達成する方法については、以下の、添付図と関連付けられる本発明の実施形態の詳述を参照することにより、更に理解することができる。

本発明の上記の特徴及び他の特徴及び目的並びにそれらに到達する方法は、添付図に関連付けられている、以下の本発明の実施形態の詳述を参照することにより、明らかになり、理解することができる。

以下、２つの異なる安定化経路を用いて画像シーケンスの安定化を与える、本発明の実施形態に関連付けた方法及び装置について、詳述する。安定化経路の１つは、適度な処理資源を用いる画像シーケンスの拘束ディジタル安定化方法を用いることができる。ディジタル安定化は、捕捉されたオーバーサイズ化画像フレームシーケンスにおいて機能する。画像フレーム間の全体の動きの推定が決定される。動き推定は、例えば、パニング動きのために、動きのどの部分が要求されているか、及び動きのどの部分が意図的でないジッタであるかを判定するように解析される。各々の画像フレームは、所定のサイズのウィンドウを用いてクロッピングされる。各々のオーバーサイズ化された画像フレームに関連するウィンドウの位置は、必要に応じて、演算されたジッタを補償するように調整される。

以下の特定の部分において、コンピュータメモリのデータビットにおける動作のアルゴリズム及び記号表記について与えられる。それらのアルゴリズム記述及び表記は、データ処理技術分野の熟達者によって、他の分野の熟達者に彼等の仕事の内容を最も有効に伝わるように用いられる。アルゴリズムは、ここでは、一般に、好ましい結果に繋がる動作の自己無撞着シーケンスであるように考えられる。それらの動作は、物理量の物理操作を必要とする動作である。アルゴリズムは、ここでは、一般に、好ましい結果に繋がる自己矛盾のない動作のシーケンスであると考えられる。それらの動作は、物理量の物理的操作を必要とする動作である。通常、必ずしもではないが、それらの量は、記憶、転送、結合、比較又は操作されることができる電気又は磁気信号の形をとる。便宜上、それらの信号はときどき、ここでは、ビット、値、要素、記号、文字、項、数字等の基準を用いる基本的情報に関連付けて言及される。

しかしながら、それらの全て及び類似する用語は、適切な物理量と関連付けられるようになっていて、それらの量に適用される単なる便利なラベルである。そうではなく、具体的に記載されない場合、以下の説明から明らかであるように、その説明の全体を通して、“処理する”、“を有する”、“演算する”、“決定する”、“生成する”等は、コンピュータシステムメモリ、レジスタ又は情報記憶、送信又は表示装置において、物理量として同様に表される他のデータにコンピュータシステムのレジスタ及びメモリにおける物理（電気）量として表されるデータを操作する及び変換するコンピュータシステム又は類似するデータ処理装置の機能及び過程のことをいうように用いられる。

特定の実施形態は、ここでは、カメラである。本発明の方法はまた、他のシステムを用いて実行されることが可能である。両方の場合、それらのシステムは、ここで説明する動作を実行するために特定の装置を有することが可能である。カメラ又はプログラム可能コンピュータのような装置は、要求される目的のために特に構成されることが可能であり、又は、記憶されているコンピュータプログラムにより選択的にアクティブにされる又は再構成される汎用システムを有することが可能である。

ここで提供する方法は、何れかの特定のコンピュータ、カメラ又は他の装置に限定されるものではない。種々の汎用システムは、ここでの教示にしたがったプログラムを伴って用いられることが可能であり、又は、本発明の方法を実行するように更に専用の装置を構成することは都合がよい。多様なそれらのシステムの構造は、以下の説明により明らかになる。更に、本発明については、何れかの特定のプログラミング言語に関連付けて説明していない。ここで説明する本発明の教示を実施するためには、種々のプログラミング言語を用いることが可能であることが理解できるであろう。

以下の説明においては、本発明の一部の実施形態は、ソフトウェアプログラムとして説明されている。当業者は、そのようなソフトウェアと同等のものがハードウェアにおいて構成されることがまた、可能であることを容易に認識することができるであろう。画像操作アルゴリズム及びシステムは既知であるために、本明細書おいては、特に、本発明にしたがった方法の一部を構成する又はその方法とより直接的に協働するアルゴリズム及びシステムを提供する。含まれる画像信号を生成する又は処理するためのアルゴリズム及びシステム、ハードウェア及び又はソフトウェアのような他の特徴は、当業者に知られているシステム、アルゴリズム、構成要素及び要素から選択されることが可能である。下記の実施形態における説明の場合、ソフトウェアの実施の全ては従来通りであり、当業者に知られているものである。

本発明の方法を実行するコンピュータプログラムは、コンピュータ読み取り可能記憶媒体に記憶されていることが可能である。この媒体は：例えば、磁気ディスク（ハードディスク又はフロッピー（登録商標）ディスク）又は磁気テープのような磁気記憶媒体；光ディスク、光学テープ又は機械読み取りバーコードのような光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）のような固体電子記憶装置；若しくは、コンピュータプログラムを記憶するために用いられる何れかの他の物理装置又は媒体；を有することが可能である。本発明の方法を実行するためのコンピュータプログラムはまた、ローカルネットワーク、リモートネットワーク又は他の通信媒体を介して画像処理器に接続されているコンピュータ読み出し可能記憶媒体において記憶されていることが可能である。当業者は、そのようなコンピュータプログラムと同等のものがまた、特定用途向け集積回路（ＡＳＩＣ）として知られているハードウェア又はファームウェアにおいて構成されることが可能である。ＡＳＩＣは、本発明の方法を実行するように単独のシリコンチップにおいて設計されることが可能である。ＡＳＩＣは、論理を実行するための回路と、マイクロプロセッサと、本発明の方法を実行するために必要なメモリとを有することが可能である。複数のＡＳＩＣが、本発明のために考え出され、採用されることが可能である。

コンピュータ又は機械読み出し可能媒体は、機械（例えば、コンピュータ）により読み出されることが可能である形式で情報を記憶する又は送信するために何れかのアイテムを有する。例えば、機械読み出し可能媒体は、読み出し専用メモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置、伝搬信号の電気、光、音響又は他の形（例えば、搬送波、赤外線信号、ディジタル信号等）を有する。

本発明の実施形態は、コンピュータハードウェア、ディジタルカメラ、ディジタルスキャナのようなコンピュータ化された装置及びパーソナルコンピュータにおいて実施されることが可能である。図１４を参照するに、本発明を実施するためのコンピュータシステム１１０を示している。本発明は、図示しているコンピュータシステムに限定されるものではない。本発明の実施形態は、ディジタル画像の処理のためのディジタルカメラ、家庭用コンピュータ、キオスク、小売店又は大型店の現像又は何れかの他のシステムにおいて用いられることが可能である。コンピュータシステム１１０は、ソフトウェアプログラムを受信する及び処理するための及び他の処理機能を実行するためのマイクロプロセッサに基づくユニット１１２を有する。ディスプレイ１１４は、例えば、グラフィカルユーザインターフェースにより、ソフトウェアに関連するユーザ関連情報を表示するためにマイクロプロセッサに基づくユニット１１２に電気的に接続されている。キーボード１１６はまた、ユーザがそのソフトウェアに情報を入力することを可能にするためにマイクロプロセッサに基づくユニット１１２に接続されている。入力についてキーボード１１６を用いることの代替として、当業者に知られているように、マウス１１８が、ディスプレイ１１４におけるセレクタ１２０を動かすために及びセレクタ１２０が重なるアイテムを選択するために用いられることが可能である。

ソフトウェアプログラムを典型的に有するコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又は他の可搬型メモリ媒体は、マイクロプロセッサに基づくユニット１１２にソフトウェアプログラム及び他の情報を入力する手段を提供するためにマイクロプロセッサに基づくユニットに挿入される。同様に、フロッピー（登録商標）ディスク１２６はまた、ソフトウェアプログラムを有することが可能であり、ソフトウェアプログラムを入力するためにマイクロプロセッサに基づくユニットに挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、代替として、マイクロプロセッサに基づくユニット１１２に接続されている外部に位置しているディスク駆動ユニット１２２に挿入されることが可能である。更に、マイクロプロセッサに基づくユニット１１２は、当業者に知られているように、内部にソフトウェアプログラムを記憶するためにプログラムされることが可能である。マイクロプロセッサに基づくユニット１１２はまた、ローカルエリアネットワーク又はインターネットのような外部のネットワークに対する電話回線のようなネットワーク接続１２７を有することが可能である。プリンタ１２８はまた、コンピュータシステム１１０からの出力のハードコピーを印刷するためにマイクロプロセッサに基づくユニット１１２に接続されることが可能である。

画像はまた、カード１３０に電気的に実施されるディジタル化画像を有するパーソナルコンピュータカード（ＰＣカード）１３０又は他のメモリカード等を介してディスプレイ１１４に表示されることが可能である。カード１３０は、最終的に、ディスプレイ１１４において画像の視覚表示を実行するためにマイクロプロセッサに基づくユニット１１２に挿入される。代替として、カード１３０は、マイクロプロセッサに基づくユニット１１２に接続される外部に位置しているカードリーダ１３２に挿入されることが可能である。画像シーケンスはまた、コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６又はネットワーク接続１２７を介して入力されることが可能である。カード１３０、フロッピー（登録商標）ディスク１２６、コンパクトディスク１２４において記憶されている、又はネットワーク接続１２７を介して入力される何れかの画像シーケンスは、ディジタルカメラ（図示せず）又はスキャナ（図示せず）等の種々のソースから得られていることが可能である。画像シーケンスはまた、マイクロプロセッサに基づくユニット１１２に接続されているカメラドッキング部品１３６を介してディジタルカメラ１３４から直接、若しくは、マイクロプロセッサに基づくユニット１１２へのケーブル接続１３８を介して又はマイクロプロセッサに基づくユニット１１２への無線接続１４０を介してディジタルカメラ１３４から直接、入力されることが可能である。

出力装置は、変換された最終画像を供給することができる。出力装置は、ハードコピーの最終画像を与えるプリンタ又は他の出力装置であることが可能である。出力装置はまた、ディジタルファイルとして最終画像を供給する出力装置であることが可能である。出力装置はまた、印刷画像、及びＣＤ又はＤＶＤ等のメモリユニットにおけるディジタルファイルのような出力の組み合わせを有することが可能である。

本発明は、ディジタル画像を生成する複数捕捉装置と共に用いられることが可能である。例えば、図１４は、画像捕捉装置が、カラーネガ又は反転フィルムを捕捉するために従来の写真フィルム用カメラ、及びフィルムにおいて現像画像を走査し、ディジタル画像を生成するためのフィルム走査装置であるディジタル現像システムを表している。捕捉装置はまた、電荷結合装置又はＣＭＯＳイメージャ等の電子イメージャを有する電子捕捉ユニット（図示せず）であることが可能である。電子捕捉ユニットは、電子イメージャから信号を受信する、信号をディジタル形式に変換する及び増幅する、並びにマイクロプロセッサに基づくユニット１１２に画像信号を送信するアナログ−ディジタル変換器／増幅器を有することが可能である。

マイクロプロセッサに基づくユニット１１２は、意図された出力装置又は媒体において心地よさそうな画像を生成するようにディジタル画像を処理するための手段を備えている。本発明は、ディジタル写真プリンタ及びソフトコピーディスプレイを有することが可能であるが、それに限定されない、種々の出力装置と共に用いられることが可能である。マイクロプロセッサに基づくユニット１１２は、心地よさそうな画像が画像出力装置により生成されるにようにディジタル画像の全体的な輝度、トーンスケール、画像構造等についての調整を行うためにディジタル画像を処理するように用いられることが可能である。当業者は、本発明がまさに上記のそれらの画像処理機能に限定されないことを認識することができるであろう。

ディジタル画像は、１つ又はそれ以上のディジタル画像チャネル又は色成分を有する。各々のディジタル画像チャネルは画素の二次元アレイである。各々の画素値は、画素の物理領域に対応する画像捕捉装置により受け取られる光の量に関連する。カラー撮像アプリケーションに対して、ディジタル画像はしばしば、赤色、緑色及び青色ディジタル画像チャネルを有する。動き撮像アプリケーションは、ディジタル画像のシーケンスとみなされることが可能である。当業者は、本発明が、ここで説明するアプリケーションの何れかについてのディジタル画像チャネルに適用されることが可能であるが、それらに限定されるものではないことを理解することができるであろう。ディジタル画像チャネルは行及び列により配列されている画素値の二次元アレイとして説明されているが、当業者は、本発明が同じ効果を有する四角形でないアレイに適用されることが可能であることを理解することができるであろう。当業者はまた、ディジタル画像について、オリジナルの画素値を処理された画素値と置き換えるように下記で説明される処理段階は、処理された画素値により新しいディジタル画像を生成する一方、オリジナルの画素値を維持する処理段階同じ処理段階に機能的に相当することをまた、認識することができるであろう。

図１４に示す一般制御コンピュータは、コンピュータ読み出し可能記憶媒体に記憶されているプログラムを有するコンピュータプログラムとして本発明の一部の実施形態を記憶することができ、そのコンピュータ読み出し可能記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク）又は磁気テープのような磁気記憶媒体；光ディスク、光学テープ又は機械読み取りバーコードのような光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）のような固体電子記憶装置；を有することが可能である。本発明の関連コンピュータプログラムはまた、オフラインメモリ装置により指示されたコンピュータプログラムを記憶するように用いられる何れかの他の物理装置又は媒体において記憶されることが可能である。本発明のコンピュータプログラムは、パーソナルコンピュータのような何れかの既知のコンピュータシステムにおいて利用されることが可能である。

本発明の実施形態は、ソフトウェア及び／又はハードウェアの組み合わせで実行されることが可能であるが、それらの装置に限定されず、それらの装置は物理的に接続されている及び／又は同じ物理的位置において位置している。例えば、それらの装置の１つ又はそれ以上若しくは図１４に示す装置の一部は、遠いところに位置していることが可能であり、ネットワークを介して接続されていることが可能である。それらの装置の１つ又はそれ以上若しくはそれらの装置の一部は、例えば、無線周波数リンクにより無線で、直接に、又はネットワークを介して接続されることが可能である。

図示され、説明されている回路は、当業者に既知の種々の方式で変更されることが可能であることが理解できるであろう。また、ここで、物理回路に関連して説明されている種々の特徴は、代替として、ファームウェア又はソフトウェア機能又はそれらの組み合わせとして与えられることが可能である。

本発明の実施形態は、種々のユーザコンテキスト及び環境において用いられることが可能である。例示としてのコンテキスト及び環境は、大規模ディジタル現像、小規模ディジタル現像ソフトウェア（ディジタル画像にアルゴリズムを適用するソフトウェア）、ディジタル実行（媒体におけるディジタル形式、ウェブにおけるディジタル形式又は他の形式で、媒体から又はウェブにおける、ディジタル処理におけるディジタル画像）、キオスク、携帯用装置、インターネット等のローカル又はラージエリアネットワークを介して提供されるサービスを有する。

画像捕捉及び安定化は、同じ装置又は構成要素若しくは個別の装置又は構成要素におけるものであることが可能である。例えば、画像捕捉及び安定化は全て、携帯電話又は他の携帯端末におけるものであることが可能である。同様に、画像捕捉及び表示経路安定化は携帯電話におけるものであることが可能であり、アーカイバル安定化は、電話／データネットワーク又は画像化サービスプロバイダにおいてどこかで提供されることが可能である。

何れにしても、本発明は、独立したものであることが可能であり、又は、大きいシステムの構成要素であることが可能である。更に、例えば、走査又は入力、ディジタル処理、ユーザに対する表示（必要に応じて）、ユーザの要求又は処理指令の入力（必要に応じて）、出力等のヒューマンインタフェースは各々、同じ又は異なる装置及び物理的位置にあることが可能であり、装置間及び位置間の通信は、公開ネットワーク接続又は秘密ネットワーク接続を介したもの、若しくは媒体に基づく通信であることが可能である。本発明の上記説明と一貫性を有している場合、本発明の方法はフルオートマチックであることが可能であり、ユーザ入力を有する（フルマニュアルで又は一部がマニュアルで）ことが可能であり、結果を受け入れる／受け入れないユーザ又はオペレータのレビューを有することが可能であり、若しくは、メタデータ（例えば、カメラにおいて）が供給される、又はアルゴリズムにより決定されるユーザであることが可能であるメタデータ）により支援されることが可能である（測定装置により。更に、アルゴリズムは、種々のワークフローユーザインタフェーススキームと対話することが可能である。

本発明においては、ここでは一般に、ディジタルビデオカメラにおいて捕捉された画像シーケンスの安定化について説明されている。これは便宜的なものである。同様の考慮を、携帯用マルチメディア通信装置により捕捉される又はフィルムシーケンスから走査される画像シーケンス等の他の実施形態に適用することが可能である。

本発明においては、ここで説明する実施形態の組み合わせを有する。“特定の実施形態”の参照等は、本発明の少なくとも１つの実施形態に存在する特徴を参照する。“実施形態”又は“特定の実施形態”の別個の参照等は、必ずしも同じ実施形態を参照しないが、そのように示されていない場合又は当業者に容易に理解できるときには、そのような実施形態は、互いに排他的である。

二重経路安定化
ここで、図１乃至４を参照するに、特定の実施形態においては、画像シーケンスは、２つの異なる安定化経路を用いて安定化される。１つの安定化経路（以下、“アーカイバル経路”という）は、結果的に第２安定化画像シーケンスを記憶する。他の安定化経路（以下、“表示経路”という）は、例えば、画像シーケンスの捕捉中に、カメラの背面の液晶ディスプレイ（ＬＣＤ）において、結果的に第１安定化画像シーケンスの表示を記憶する。それら２つの経路の安定化手順は異なり、入力に依存し、それ故、結果的に安定化画像シーケンスが得られる。下記においては、一般に、両方の経路がディジタル安定化を用いる実施形態に導く。代替として、両方の経路の何れかは、光学的安定化のような画像安定化の１つ又はそれ以上の他の種類を利用することが可能である。例えば、光学的安定化においては、回転プリズムレンズが、画像センサに入射する光を調整することによりジッタを補償するように用いられることが可能である。結果として得られる安定化シーケンスは複製される。一の複製は、直接、用いられる。他の複製は、ディジタル安定化により更に安定化される。アーカイバル経路においては、幾つかの画像フレームがバッファリングされることが可能であり、所定のフレームについては、過去の、現在の及び未来のフレームから演算される動き予測は、安定化が符号化されるべきセンサデータの更なるオフセットにより改善されるかどうかを判定するように、既知のレンズ調整と共に解析されることが可能である。同様に、第２安定化経路が、最初の電子安定化段階以降に、更なる安定化補正を与えるように用いられることが可能である。

両方の経路におけるディジタル安定化を用いる場合、各々の経路により与えられる安定化は、他の経路により与えられる安定化に対して完全に独立していることは好適である。このことは、意図された目的のために各々の経路、即ち、速度及び低い演算必要度についての表示経路、品質についてのアーカイバル経路、の最適化における自由度を与える。

下記においてはまた、一般に、両方の安定化経路が、携帯用マルチメディア通信装置のようなディジタルビデオカメラ又はカメラが搭載されている携帯装置に備えられている実施形態に案内する。二重経路安定化は、そのような内蔵型携帯装置について特に有利であるが、それらに限定されるものではない。例えば、表示経路は携帯装置において備えられ、アーカイバル経路は、有線又は無線ネットワークを介する携帯装置との通信の他の装置において、自動的に備えられることが可能である。

ここで、図１を参照するに、本発明の方法の実施形態においては、入力ディジタル画像１２のシーケンス１０が捕捉され（１４）、アーカイバル画像２０及び表示画像２２の対応するシーケンス１６、１８が生成される（１５）。アーカイバル画像シーケンス１６は、安定化アーカイバル画像シーケンス２６を与えるように、自動的に安定化される（２４）。表示画像シーケンス１８は、安定化表示画像シーケンス３０を与えるように、別に、自動的に安定化される（２８）。安定化アーカイバル画像シーケンス２６はエンコーダ３２により符号化され、次いで、メモリ３４に記憶される。安定化表示画像シーケンス３０は、カメラ３８のカメラディスプレイ３６において表示される。表示後、安定化表示画像シーケンス３０の画像は破棄される（４０）。

表示画像シーケンスの安定化は、アーカイバル画像シーケンスの安定化に比べて速い。表示画像シーケンスの安定化は、アーカイバル画像シーケンスの安定化に比べて正確である。それら２つの安定化経路は複数の特徴を共有することができるが、これは好ましくない。アーカイバル経路は、表示経路に課せられた時間の制約とは無関係であり、表示経路は、アーカイバル経路に課せられた品質の制約とは無関係であることが好ましい。

カメラの使用については、表示画像シーケンス安定化は、捕捉と同時に安定化画像シーケンスを与えるように非常に高速である、即ち、リアルタイム又は略リアルタイムにある。一部の実施形態においては、表示画像シーケンスの安定化のための処理時間は、画像捕捉のフレーム時間に等しいか又はそれより短い。これより長い時間は、安定化表示画像を提供する上で大きい遅延をもたらし、そのことは、ユーザにとって明らかになり、画像シーケンス捕捉中に増加する遅延としてかなり乱すものである。

捕捉中に安定化表示画像シーケンスを表示する制限は、それらのフレームは、未だに捕捉されていないために、安定化で用いるために利用可能ではない。このことは、シーケンスの各々のフレームの安定化で、過去及び現在のフレームを用いるような実施形態において、表示画像シーケンス安定化を制限し、その実施形態において、安定化表示画像シーケンスが画像シーケンス捕捉中にカメラを目的として用いる撮影者に対して与えられる。

二重経路安定化は何れのシステムにおいても有用であり、それらのシステムにおいて、より低速で、より正確な安定化と共に、高速で、比較的正確でない画像シーケンス安定化を与えることは有利である。例えば、コンピュータプログラムは、低速でより高い品質のアーカイバル画像シーケンス安定化に先だって及び／又はその間に、安定化の結果の高速の予測を表示することができる。そのような非捕捉の実施形態においては、フレームが安定化において用いられる経路間の区別が存在する又は存在しないことが可能である。

第２安定化経路は、結果的に安定化画像シーケンスデータを記憶する。圧縮が、メモリに保存するように与えられることが可能である。第２安定化経路は、厳しい時間制約下にはない。結果的に、圧縮について用いられる符号化ルーチンの効率性並びに記憶及び検索の方式は便利である。第２安定化には、捕捉中にビューファインダ又はカメラのディスプレイにおいて、時間臨界的な操作、表示がない。

それらの２つの安定化経路は特徴を共有することができるが、これは好ましくない。アーカイバル経路は、表示経路において課せられる時間の制約とは無関係であり、表示経路は、アーカイバル経路において課せられる品質の制約とは無関係であることが好ましい。アーカイバル経路においては、所定フレームのカメラのジッタは、過去の、現在の及び未来のフレームからの動き予測に基づいて演算される。安定化画像を表すセンサ画像データの領域は、演算されたジッタを補償するようにオフセットされる。第２安定化経路における安定化領域は、ジッタ及び意図的なカメラの動きの両方に応じて、一部の場合には、第１安定化経路における表示のために選択された安定化領域とは異なる。

アーカイバル画像シーケンスの安定化のために利用可能なより長い時間が、より高い正確度のために可能である。特定の実施形態においては、アーカイバル画像安定化は将来見通し及び過去振り返りの両方である一方、表示画像安定化は過去振り返りのみである。それらの安定化の違いの結果として、安定化表示画像シーケンスは、安定化アーカイバル画像シーケンスとぴったりとは適合しない。例えば、安定化表示画像シーケンスは、安定化アーカイバル画像シーケンスに対するパニングの開始時に一部のジャーキネスを与える可能性がある。このような違いは、プロのカメラマン又は熟達したアマチュア等の一部のユーザにとって不快であるが、殆どのユーザはその違いを気にしないことが予想される。

安定化表示画像シーケンスにおける画像の各々は、表示が反復される可能性がない場合に、それらの表示の後に破棄される。安定化表示画像シーケンスの反復表示は、安定化アーカイバル画像シーケンスが利用可能でない場合にのみ、好ましい。このことは、アーカイバル画像シーケンス安定化が非常に遅くない、又は安定化アーカイバル画像シーケンスがロジスティクスの制約のために利用可能でない場合には、ありそうもない。安定化表示画像シーケンスが示され（殆どが破棄された）後に、アーカイバル画像は、表示又は他の使用のために利用可能になる。破棄は、ファイルコンテンツの消去を含むことが可能であるが、汎用コンピュータシステムと同様に、新しいデータによる上書きを可能にするファイル名における変化に制限されることが可能である。

カメラにおいて、両方の画像シーケンスの安定化は同時に開始することが可能である。アーカイバル画像シーケンスの画像フレームは、利用可能なメモリに基づいてバッファリングされることが可能である。代替として、アーカイバル画像シーケンスの画像フレームは全て、メモリに記憶されることが可能であり、アーカイバル画像シーケンスの安定化は、更なる演算資源が利用可能になるまで、遅延されることが可能である。例えば、アーカイバル画像シーケンス安定化は、一部の又は全ての安定化表示画像シーケンス画像が表示される、又は表示されて破棄されるまで、遅延されることが可能である。何れにしても、アーカイバル画像シーケンスの安定化は、表示画像シーケンスの安定化に自動的に後続することはかなり好ましい。また、アーカイバル画像シーケンスの安定化が失敗し、その結果としての最終的な画像シーケンスがユーザの予想に適合しないというリスクが存在する。

画像フレームは、捕捉されたオーバーサイズ化される画像に対して出力ウィンドウを移動させることにより安定化される。安定化経路の各々においては、クロッピングされる画像部分はそれらの経路において再使用されないため、クロッピングは不可逆的である。このことは、各々の経路において、オリジナルのオーバーサイズ化画像シーケンスの複製のサイズに対して記憶する必要度を低減する。表示経路における画像フレームはまた、意図された表示のために必要な解像度に対してサブサンプリングされることが可能である。画像フレームが、安定化に先だってサブサンプリングされる場合、安定化のための処理の必要度はまた、減少される。

図２は、ディジタルカメラ３８の実施形態を示している。カメラ３８は、電子捕捉ユニット４４を保持する本体４２を有する。本体４２は、他の構成要素のために構造的に支持し、保護する。カメラ３８の本体４２は、特定の使用及びスタイルの考慮についての要求に適合するように変更されることが可能である。電子画像捕捉ユニット４４は、本体４２に組み込まれる電子アレイイメージャ４６を有する。カメラ３８は、本体３８内に組み込まれている１つ又はそれ以上のレンズ要素４９の撮影レンズユニット４８を有する。撮影レンズユニット４８が、破線及び２つのレンズ要素の群で示されている。これは例示であって、それに限定されないことを理解する必要がある。

図２に示している実施形態を再び参照するに、撮影レンズユニット４８は、ズームドライバ５０により、静止している要素に対して、移動可能要素が駆動されるモータ駆動のズームレンズである。図２の実施形態の撮影レンズユニット４８はまた、オートフォーカスである。オートフォーカスシステム５２は、レインジャ５４に信号を送信するセンサ５３を有し、そのレインジャは、その場合、撮影レンズユニット４８の１つ又はそれ以上のフォーカシング可能要素（別個に図示せず）を動かすように焦点ドライバ５５を動作させる。オートフォーカスは、受動的、能動的又はそれら２つの組み合わせであることが可能である。撮影レンズユニット４８はまた、単一の焦点長、及びマニュアルフォーカシング又は固定焦点を有する等、単純であることが可能である。ディジタルズーミング（光学ズームと同等のディジタル画像の拡大）がまた、光学ズーミングに代えて又はそれに付加して用いられることが可能である。

シャッタ５６は、イメージャ４６に対する光路を閉める。ダイアフラム／開口板５８等がまた、光路中に備えられることが可能である。シャッタ５６は、開状態と閉状態との間で切り替え可能である。用語“シャッタ”は、画像捕捉についてフィルムストリップ又はイメージャまでの光路に沿った光の通過を許可し、他のときにはその通過を却下する機能を備えている物理及び／又は論理要素のことをいうように広い意味で用いられる。“シャッタ”は、画像化操作が開始される及び停止されるようにする電子アレイイメージャのコンピュータソフトウェア及びハードウェアの特徴を有することが可能である。

イメージャ４６は、光画像（対象物の画像）を受信し、その光画像をアナログ電子信号、即ち、画像シーケンスの１つのフレームである電子画像に変換する。電子イメージャ４６は、イメージャドライバ６０により操作される。複製及び処理後、電子画像は、最終的に、画像ディスプレイドライバ６２により操作される画像ディスプレイ３６に送信され、メモリ３４にまた、送信される。

ここで、図２乃至４を参照するに、カメラ３８は、データ操作及び一般プログラム実行のためのＲＡＭを有する内蔵型マイクロプロセッサのような適切に構成されたマイクロプロセッサの形にある画像処理器／制御器６６を有する制御ユニット６４を有する。制御ユニット６４は、カメラの他の構成要素を制御し、画像処理機能を実行する。図２に示している制御ユニット６４は、制御器６６と、アナログ−ディジタル（Ａ／Ｄ）変換器６８と、ビデオエンコーダ３２と、複製器（図示せず）と、第１及び第２安定化器７０、７２とを有する。制御ユニット６４は、バッファメモリ７４に動作可能であるように接続されている。制御ユニット及び他の構成要素について適切なハードウェア及びソフトウェアは、当業者には既知であり、ここで説明する特徴を備えるように変更されることが可能である。制御ユニットは、単独の構成要素として、又は割り当てられた位置における同じ機能の複数構成要素として備えられることが可能である。同じ考慮が、処理器及び他の構成要素に適用される。同様に、ここで、別個のユニットとして示されている構成要素は、都合よく結合される又は幾つかの実施形態において分担されることが可能である。

制御ユニットはまた、ディスプレイに対して検査画像を較正するディジタル処理を備えている。その較正は、異なる構成要素の特徴における差を適合させるように電子画像の変換を有することが可能である。例えば、電子捕捉ユニットのディスプレイ、イメージャ及び他の構成要素の階調、色域及び白色点について異なる性能を適合させるように、各々の画像を修正する変換部が備えられることが可能である。較正は、それ故、画像毎に変わらない構成要素の特徴に関連している。電子画像はまた、エッジ強調のように、画像を強調するように他のディジタルカメラにおけるのと同じ方式で修正されることが可能である。較正及び他の画像処理は、複製の前又は後に存在し、２つの経路において異なることが可能である。例えば、処理及び較正は、表示経路では、処理時間を短縮するように備えられる機能及び精度の両方において制限されることが可能である一方、より正確で完全な較正及び処理が、アーカイバル経路において与えられることが可能である。アーカイバル経路におけるディジタル処理はまた、ＪＰＥＧ圧縮及びファイルフォーマット化等のファイル変換に関連する変更を有することが可能である。

制御ユニットは、メモリに動作可能であるように接続される。“メモリ”とは、半導体メモリ又は磁気メモリ等に備えられている物理メモリの１つ又はそれ以上の適切にサイズ決めされた論理ユニットのことをいう。例えば、メモリは、フラッシュＥＰＲＯＭメモリのような内部メモリ、コンパクトフラッシュ（登録商標）カードのような代替の取り外し可能メモリ、又は何れかの形式における両方の組み合わせであることが可能である。制御ユニット６４は、画像記憶のために用いられる同じ物理メモリに記憶されているソフトウェアにより制御されることが可能であり、又は、図２に示すように、別個のメモリが、画像記憶及びバッファのために備えられることが可能であり、そしてファームウェアが、例えば、ＲＯＭ又はＥＰＲＯＭファームウェアメモリにおける専用メモリ７３に記憶されることが可能である。

種々の種類の画像ディスプレイ３６を用いることが可能である。例えば、ディスプレイは、液晶ディスプレイ（“ＬＣＤ”）、有機エレクトロルミネッセントディスプレイ（“ＯＥＬＤ”、又は有機光発光ディスプレイ（“ＯＬＥＤ”）ともいわれる）であることが可能である。画像ディスプレイ３６は、スイッチ（別個に図示せず）により又は画像捕捉のためのカメラトリガ７５の作動により要求に応じて動作することが可能であり、画像ディスプレイ３６は、タイマー又はカメラトリガの開放によりオフに切り替えられることが可能である。ディスプレイ３６は、本体の後側又は上部に備えられる、又は、写真撮影中に撮影者が容易に見ることができるように、ビューファインダ（図示せず）内部にある。１つ又はそれ以上のディスプレイ（図示せず）はまた、撮影者に対してカメラ情報を提供するように、本体に備えられることが可能であり、又は、この情報は、例えば、画像に重ね合わされて、画像ディスプレイにおいて提供されることが可能である。

アーカイバル画像シーケンスにより供給されるのと実質的に同じ安定化画像フレームの幾何学的範囲をイメージャが捕捉する及び画像ディスプレイが示すことは好ましい。この理由のために、ディスプレイが、安定化画像フレームの８５乃至１００％を、より好適には、安定化画像フレームの９５乃至１００％を表示することは好ましい。

最初の電子画像は、アナログ−ディジタル（Ａ／Ｄ）変換器−増幅器６８により増幅され、ディジタル電子画像に変換され、その場合、そのディジタル電子画像は複製され、画像処理器６６において処理され、表示され、そして画像メモリに記憶される。データバス７６で示されている信号線は、イメージャ４６、制御ユニット６４、ディスプレイ３６及び他の電子構成要素を電気的に接続している。制御ユニット６４は、タイミング関係にある電子構成要素全てについて制御信号を供給するタイミング発生器（図示せず）を有する。個々のカメラについての較正値は、ＥＥＰＲＯＭ等の較正メモリ（図示せず）に記憶され、制御ユニットに供給される。制御器は、ズームドライバ５０、焦点ドライバ５５、開口ドライバ７８及びシャッタドライバ８０を有するドライバ及びメモリを操作する。カメラ３８は、トリガ７５及び他のユーザ制御部８２により操作される。環境センサ８４及び環境センサドライバ７５（破線で示されている）は、露光条件の決定で用いるために、捕捉ユニット４４の一部として又は別個の構成要素として備えられることが可能である。

図示し且つ説明している回路は、当業者に知られている種々の方式で修正されることが可能であることが理解できるであろう。また、物理回路に関連してここで説明している種々の特徴は、代替として、ファームウェアの機能、ソフトウェアの機能又はそれら２つの組み合わせとして備えられることが可能である。同様に、別個のユニットとして示されている構成要素は、ここでは、一部の実施形態において、都合よく結合される又は共有されることが可能である。

画像は、画像を共に捕捉する、画像のピクチャ要素に対応するフォトサイトの二次元アレイを有する。カラーフィルタアレイはフォトサイトにおいて位置付けられ、それ故、電子画像捕捉ユニットは複数色付き画像を捕捉する。単独の画像は３つのカラーフィルタと共に用いられるが、異なる１つのカラーフィルタを各々有する複数単色画像を用いることができるように、異なるカラーフィルタアレイを用いることが可能である。適切なカラーフィルタアレイについては、当業者によく知られている。カラーフィルタアレイは、一部の場合には、一体的な構成要素を備えるように、イメージャと一体化される。

ここで、特定の実施形態を参照するに、線形赤色、緑色及び青色（ＲＧＢ）画像データがイメージャにより捕捉される。そのデータは、完全なＲＧＢ画像であることが可能である、又は、ベイヤーパターンカラーフィルタアレイからの画像データの赤色、緑色及び青色プレーンであることが可能である。同一出願人による米国特許第３，９７１，０６５号明細書に記載されているように、ベイヤー幾何学的カラーフィルタアレイを用いて、各々の色は、イメージャのフォトサイト又はピクチャ要素（画素）を覆う。

画像センサは、アナログ画像電荷情報がそれぞれのフォトサイトにおいて生成されるように画像光に対して露光される。電荷情報は出力ダイオードに適用され、その出力ダイオードは、電荷情報をそれぞれのピクチャ要素に対応するアナログ画像信号に変換する。アナログ画像信号はＡ／Ｄ変換器に適用され、そのＡ／Ｄ変換器は、各々のピクチャ要素についてアナログ画像信号からディジタル画像信号を生成する。

ディジタル画像信号は複製される。複製の前又は後に、ディジタル画像信号は処理器に入力され、その処理器は、ホワイトバランス、補間、色補正、自己フォーカシング及びセンサ欠陥の補正等の適切な画像処理アルゴリズムを適用することが可能である。画像安定化が備えられ、出力画像シーケンスが、ディスプレイ及びメモリの両方に送信される。後者は、先ず、例えば、ＭＰＥＧ又はＨ．２６３圧縮規格を用いる符号化のためにビデオエンコーダに送信されることが可能である。符号化映像ストリームは、次いで、メモリに記憶される。

安定化方法は、画像のもう１つのチャネルからの画像データを用いて実行されることが可能である。安定化のために用いられる画像データがカラーチャネル全てからの情報を有することは好ましい。特定の実施形態においては、画像は、前記カラーチャネルの全ての組み合わせ又は輝度値に基づいて安定化される。

画像安定化は、表示画像シーケンスにおいて機能する第１安定化器及びアーカイバル画像シーケンスにおいて機能する第２安定化器により与えられる。オーバーサイズ化イメージャを用いて捕捉され、次いで、複製される画像のシーケンスは、２つの異なる出力画像シーケンスについて好ましいサイズにクロッピングされる。両方の場合、出力ウィンドウは、クロッピングされるべき領域を規定する。出力ウィンドウは、オーバーサイズ化イメージャにより捕捉されたオリジナルの画像の限界の範囲内で、ジッタを補償するように動かされる。第１安定化器は、現在のフレームに存在している不所望のカメラの動きを判定し、ディスプレイに送信される安定化画像を出力として生成する。アーカイバル画像シーケンスの画像は、先ず、画像バッファに送信される。第２安定化器は、バッファリングされたフレームにおいて存在している不所望のカメラの動きを判定し、このバッファリングされた画像は、ビデオエンコーダにより符号化され、最終的には、メモリに記憶される。

捕捉された画像は、異なる色空間に変換され、次いで、安定化されることが可能である。例えば、図３は、第１及び第２安定化を用いる安定化が、ＹＣ_ｂＣ_ｒ又はＲＧＢ色空間へのイメージャにより捕捉されたカラーフィルタアレイ（ＣＦＡ）データの変換後に実行される実施形態を示している。安定化器は、複数色付き画像データに関して動作することができる、又は、１つ又は両方の安定化器が、画像データのＹ成分又はＧ成分のそれぞれにおいて動作することができる。

捕捉された画像は、即座に安定化されることが可能である。その安定化は、イメージャにより捕捉されたカラーフィルタアレイ（ＣＦＡ）データ又はそのＣＡＦデータの１つ又はそれ以上の成分により機能することが可能である。例えば、図４は、第１及び第２安定化を用いる安定化が、イメージャにより捕捉されたカラーフィルタアレイ（ＣＦＡ）データに関して実行される実施形態を示している。カラーフィルタアレイデータの実施例は、知られているベーヤーパターンアレイからのデータであり、そのことについては、米国特許第３，９７１，０６５号明細書において記載されている。ＣＦＡデータを用いることにより、後に異なる色空間に変換される出力画像シーケンスは入力画像シーケンスに比べて小さいために、処理の必要度が低減される。ベイヤーパターンＣＡＦデータにおいて、各々の画素位置は、１つの色チャネル、即ち、赤色、緑色又は青色についてのデータを有する。それらの安定化は、複数色付き画像データにおいて動作することができる、又は１つ又は両方の安定化は、画像データの緑色成分において動作することができる。

両方の安定化は、同じ画像データ、即ち、ＣＦＡ又は変換された色空間において動作することができる、又は、それらの安定化の一はＣＦＡデータにおいて動作することができ、他は異なる色空間に変換された画像データにおいて動作することができる。

安定化画像データの両方は、例えば、ＭＰＥＧ又はＨ．２６３圧縮規格を用いる符号化映像ストリームを生成し、それをメモリに記憶するビデオエンコーダに、及び、カメラの後部における液晶ディスプレイのようなディスプレイに送信される。

図５においては、第１安定化器７０の実施形態が示されている。第２安定化器７２は同じ特徴を有することが可能である。図１及び５を参照するに、第１安定化器７０は動き予測ユニット２０１を有し、その動き推定ユニットは、表示画像シーケンス１８の２つの表示画像間の動きを演算する。

ここで詳細に説明する特定の実施形態においては、その動きは、そのシーケンスにおける連続画像間で演算される。しかしながら、当業者は、十分な演算及びメモリ資源が与えられる場合に、複数フレームにおいて捕捉される動き推定は、個々のフレーム毎の動き推定のロバスト性及び精度を高めるように、同様な方式で結合されることが可能であることを認識するであろう。特定の実施形態においては、動き推定ユニットは、水平成分及び垂直成分を有する単一の全体的な並進移動の動き予測を与える。

再び、図１及び５を参照するに、動き推定は、その場合、ジッタに原因がある動きの成分を判定するようにジッタ推定ユニット２０２により処理される。一般に、推定された動きは、カメラパンのような意図的な動き、及びカメラジッタによる非意図的な動きの両方を有する。

ジッタが演算された後、画像シフト／ワープユニット２０３は、安定化表示画像シーケンス３０の出力画像２０４を与えるように用いられるようになっているセンサ画像データ（出力ウィンドウ）を示す。好適な実施形態においては、動きは全体的な並進移動値として推定され、ジッタは、単一の全体的な並進移動の水平及び垂直オフセットとして演算される。当業者は、十分な演算資源が与えられている場合に、用いられることが可能である回転又は一般アフィン変換を推定するより複雑な動きモデルは、後続のより一般的な画像ワーピングが非意図的なジッタを補正することを可能にすることを認識するであろう。

特定の実施形態においては、画像シフト／ワープユニット２０３は、例えば、切り上げ又は切り捨てにより、累積ジッタ値を整数値に調節する。整数値化されたオフセットはオーバーサイズ化センサデータが与えられる場合に容易に演算される。非整数オフセットは、補償及び付加演算資源を必要とする。図６乃至８は、全体的な並進移動ジッタオフセットについての安定化器７０の一般的な挙動を示している。センサデータ（オリジナルのディジタル画像３０１）は、映像の最終的な解像度について必要な更なる画素を有する。

図６を参照するに、何れかの安定化に先行して、出力ウィンドウ３０２はセンタリングされ、それ故、センサデータの中央に位置している内側領域は、出力画像シーケンスにおいて用いられる画像データとして与えられる。安定化中に、出力ウィンドウ３０２は、利用可能な画像データの境界の範囲内において、左右及び上下にシフトされる。上下方向及び左右方向における最大可能オフセットは、矢印３０４及び３０３のそれぞれにより示されている。図７は、下方に進んだ出力ウィンドウ３０２の位置、垂直方向オフセット４０４及び右方向の水平オフセット４０３を示している。図８は、最大可能ジッタ補正が用いられる境界の場合について示している。この場合、下方の垂直方向オフセット５０４及び右方向の水平方向オフセット５０３は最大であり、利用可能な画像データを用いる更なるジッタ補正は可能ではない。累積した水平方向及び垂直方向ジッタの項は、利用可能なセンサデータの画像データ出力の要求を回避するように、最大可能値にクリップされる。

動き推定においては、２つ又はそれ以上の画像が、ジッタを判定するように解析される。便宜上、以下の説明では、一般に、シーケンスにおける２つの連続画像について説明している。同様の考慮が、後続の画像の対、３つ又はそれ以上の群の画像及び非連続画像の解析に適用することができることを理解することができる。

２つの画像間の相対的ジッタは複雑である可能性があり、そのジッタの完全な補正は、回転、ワーピング及び一般阿品変換を含む１つ又はそれ以上の画像の並進移動を必要とする。それらの方法については、ここでは、限定された演算資源の条件について説明されている。単純化した動き推定は、撮影者の不安定さのためにジッタの多くを除去する上で有利であることが判明した。その単純化した動き推定は、水平成分及び垂直成分を有する１つのグローバル動きベクトルを有する。

本発明の特定の実施形態においては、出力ウィンドウは、それぞれの入力画像の境界の範囲内に十分に入るように調節される。換言すれば、出力画像は、それぞれの入力画像の視野の範囲内に十分に維持される。これは、入力ウィンドウの制限された視野のために出力ウィンドウにおいて現れる部分画像の状態を回避する。初期のフレーム等からの付加情報が、米国特許第５，２８９，２７４号明細書に記載されているように、画像を補うように用いられることが可能であるが、そのような方法は、付加される複雑性及びそのような情報を処理するために必要な時間のために好ましくない。

出力ウィンドウは、境界に達したとき、又はジッタ補正が境界の方への出力ウィンドウの移動を抑えるように調節されることが可能であるときにのみ、止められることが可能である。前者の場合は、累積ジッタの最大の大きさにおける境界として与えられることが可能である。これは２つの目的を果たす。第１の目的は、視野の限界に対応する物理的制約を課すことである。第２の目的は、累積ジッタの境界付けが、ジッタの動きの位相遅れ分類ミスのために、ジッタ補正された映像が意図的なパンの間にかなり遅れて範囲内に収まることを回避することである。

境界はまた、又はそれに代えて、先行フレームに対して、単一フレームについての最大ジッタ補正において位置付けられることが可能である。既知である人間の握手の振幅の物理的特性及びカメラの特徴が与えられる場合、最大推定ジッタ振幅（画素における）が演算されることが可能である。この制限は、個々のフレームについての過剰のジッタ補正を回避することによりロバスト性を高めることが可能である。

積分投影は、種々の条件下で動き推定技術としては失敗する可能性がある。幾つかの条件については、一部の失敗は、学習的に予め決定された閾値に対するジッタ補正又は補償を演算することにより緩和されることが可能である。

１つのそのような条件は、シーンが反復パターンを有するときであり、それ故、複数の異なる動き推定が類似するコストをもたらすときである。この場合は、最良の動き推定ばかりでなく、第２及び第３の最良の動き推定を確かめることにより特定されることが可能である。通常の状況下では、それらの３つの最良の動き推定は共にクラスター化される。それらの間の差が所定の閾値に比べて大きい場合、反復パターンが存在する。その場合、反復ジッタ成分はゼロ設定されることが可能である。

積分投影に基づく動き推定が失敗する可能性がある他の条件は、シーンに殆どコントラスト又はコンテンツがないときである。この場合、全ての動き推定は類似する精度を有し、最良のオフセットは、ノイズのために正確に決定されない可能性がある。この場合は、全ての動き推定の平均コストを追跡すること及び最良のコストを追跡することにより特定される。平均コストと最良のコストの比が小さ過ぎる場合、それは、殆どコンテンツのないシーンであることを示唆し、それぞれのジッタ成分はゼロ化される。

動き推定の失敗がもたらされる他の状況は、１つの画像から独立して動いているオブジェクトの次の画像への移行である。この場合、低いコストをもたらす何れかの動きオフセットが存在しない可能性がある。この場合は、最良の動き推定のコストを閾値と比較することにより特定されることが可能である。閾値を超える場合、ジッタ成分はゼロ化される。

積分投影の失敗がもたらされる他の状況は、１つのフレームから次のフレームへの照度変化である。この状況は、各々のベクトルについて全体的な強度値を得るように積分投影ベクトルにおける値を加算することにより対処することができる。それらの値は、種々の動き推定オフセットの評価に先だって投影ベクトルを正規化するように用いられることが可能である。

演算資源が制限される実施形態においては、ジッタ補正項は、補間の必要性を回避するように最も近い整数に丸められる。クロミナンス成分が水平方向において２つの係数によりサブサンプリングされるＹＣｂＣｒデータについては、クロミナンスデータが適切に並べられるように、最も近い２の倍数にジッタ補正を丸めることがまた、必要である。丸めは、種々の方法で与えられることが可能である。１つの解決方法は、各々のフレームについてのオフセットとして累積ジッタ（Ａ［ｎ］）の丸め値を単純に用いることである。この方法は単純であるが、連続フレーム間にジッタをもたらす可能性がある。上記の問題を回避するより好ましい方法は、先行フレームに対して各々のフレームについて個々のジッタを演算し、次いで、この値を丸めることである。ゼロ平均についての結果として得られた値のふらつきは、個々の丸め操作を量子化誤差を減少させる方向に強制することにより、減少されることが可能である。

表示画像安定化
図１、３及び５乃至８を参照するに、表示経路における画像２２は第１安定化器７０により受け入れられる。入力画像２２は、決定されるジッタに対して解析される（入力画像の解析は、必要に応じて、両方の経路について一度、与えられることが可能である）。出力ウィンドウ３０２は、決定されたジッタに基づいて入力画像に対してマッピングされる。そのマッピングは、ジッタについて、少なくとも一部が補償される。入力画像は、対応する出力画像を生成するように出力ウィンドウに対してクロッピングされる。そのクロッピングは、画像シーケンスの捕捉と同時に起こり、出力画像は撮影者に対して好適に表示される。クロッピングは、メモリにおける入力画像を対応する出力画像に置き換える、又は、メモリに入力画像及び出力画像の両方を保つことができる。典型的なメモリ記憶により、画像情報は、ラスタスキャン方式で配列されているバッファに記憶される。その方法は、データの整数シフトにおいてこのデータを水平方向及び垂直方向に移動させる。このシフトは、画像データに歪みを導入せず、非常に高速で行われることができる。

第１安定化器の安定化方法は、中程度の処理資源を用いて、画像シーケンスの高速ディジタル安定化を可能にし、そのことは、カメラにおける画像シーケンスの安定化についてそれらの画像シーケンスを特に適切にする。その方法は、捕捉中のリアルタイムの使用に適用可能である。その場合、その方法は過去振り返りであり、即ち、過去及び現在の画像フレームのみが画像安定化において用いられる。その方法はまた、画像シーケンス捕捉後の処理のために用いられることが可能である。その場合、その方法は、過去振り返り及び将来見通しの両方であり、即ち、過去、現在及び未来の画像フレームが画像安定化において用いられる。

捕捉時の安定化は、幾つかの理由のために有利である。ビューファインダ又はカメラディスプレイにおいて備えられている安定化出力画像シーケンスは、撮影者に対してより良好なフィードバックを与える。安定化出力画像シーケンスは記憶するのが容易である。ディジタル安定化においては、典型的には、オーバーサイズ化電子イメージャが画像捕捉のために用いられる。用語“オーバーサイズ化”とは、出力画像において与えられるものより大きい視野を有する入力画像を捕捉するイメージャのことをいう。付加画素が安定化において用いられ、又は出力画像が生成されるときに破棄される。出力画像は、記憶するには、入力画像より小さい。捕捉時の安定化は、入力画像ではなく、出力画像の記憶を可能にする。捕捉時の安定化の更なる有利点は、安定化が１つ又はそれ以上の圧縮／伸長サイクルに予め供されていない画像シーケンスを用いることである。そのようなサイクルは、後のディジタル安定化の間にアーティファクトの原因になる可能性がある。

安定化においては、出力ウィンドウの動きは、２つの直交する方向における２つの異なる画像間の動きの合成投影ベクトルの比較に基づいている。第１安定化器は、そのシーケンスの２つの画像間の動きを演算する動き推定ユニットを有する。各々の画像の合成投影ベクトルは、それぞれの方向におけるそれらの画像の重なっていない部分投影ベクトルの合成である。特定の実施形態においては、動きは、シーケンスの連続画像間のみにおいて演算される。しかしながら、当業者は、十分な演算及びメモリ資源が与えられる場合に、複数フレームにおいて捕捉された動き推定がまた、個々のフレーム毎の動き推定のロバスト性及び精度を高めるように演算されることが可能である。

特定の実施形態においては、動き推定ユニットは、水平成分及び垂直成分を有する単一の全体的な並進移動の動き推定を与える。動き推定は、その場合、ジッタの原因である動きの成分を決定するようにジッタ推定ユニットにより処理される。推定された動きは、カメラジッタのために非意図的な動きに限定されることが可能であり、又は、カメラジッタのための非意図的な動き、及びカメラのパンのような意図的な動きの両方を有することが可能である。

特定の実施形態においては、積分投影ベクトルが、全体的な動きベクトルの生成において用いられる。フルフレームの積分投影は、２つの直交する方向の２つの一次元ベクトルに対して二次元画像を投影することにより機能する。それらの２つの方向は、入力画像の画素のアレイにおいて反復する単位とアライメントされる。これは、典型的には、電子イメージャにおける画素のアレイと対応する。ここでは、便宜上、説明は、一般に、２つの方向が“水平方向”及び“垂直方向”といわれる矩形状アレイにおいて反復する単位を有する実施形態に限定されている。それらの用語は互いに対して相対的であり、画像及びイメージャの主な寸法に必ずしも対応しないことが理解できる。

水平方向及び垂直方向のフルフレームの積分投影ベクトルは、水平方向の投影ベクトルを生成するように各々の列における画像要素を加算し、垂直方向の投影ベクトルを生成するように各々の行における画像要素を加算することにより生成される。この概念及びサブサンプリングについては、図９及び１０に示されている。

図９においては、垂直方向の投影ベクトル６０３は、全体的なＹ成分の画像データ６０２における種々のデータポイント６０１を加算することにより生成される。特定の実施形態においては、画像データの副集合のみが、水平方向の投影ベクトルを生成するときに用いられる。画像データの副集合のみを用いることにより、動き推定アルゴリズムの演算の複雑度を低減することが可能である。図９においては、画像データの各々の行の６画素毎の画素のみが行の加算に含まれる。更に、２行毎の列のみがその加算において考慮される。

同様に、図１０は、全体的なＹ成分の画像データ７０２における種々のデータポイント７０１の加算としての水平方向の投影ベクトル７０３の生成を示している。特定の実施形態においては、画像データの副集合のみが、水平方向の投影ベクトルを生成するときに用いられる。画像データの副集合のみを用いることにより、動き推定アルゴリズムの演算の複雑度を低減することを可能にする。図７において、画像データの各々の列の４画素毎の画素のみが列の加算に含まれる。更に、２列毎の列のみがその加算において考慮される。

積分投影による動きを推定する負担の多くは、投影ベクトルの初期の演算にある。必要に応じて、この複雑度は２つの方法において低減されることが可能である。先ず、各々の投影の加算に寄与する要素数はサブサンプリングにより減少されることが可能である。例えば、水平方向の投影ベクトルを生成するように列を加算するとき、１つ置きの列の要素のみが加算に含まれる。第２サブサンプリングは、投影ベクトルの密度を減少させることにより達成されることが可能である。この種類のサブサンプリングは、最良のオフセットを求めるように後続の適合化段階の複雑度をまた、減少させるために、更に複雑度を減少させることができるが、動き解像度が低下する犠牲を払うことになる。

水平方向及び垂直方向の投影のために用いられる画像化データの副集合は、画素数の減少は演算負荷を低減するという理解により、学習的に選択されることが可能であるが、また、正確度を低下させる。正確さを期して、全サブサンプリングが、たかだか、４：１乃至６：１だけサンプル数を減少させることは、一般に好ましい。

その方法においては、重なっていない部分投影ベクトルが、画像の各々について演算される。それらは、画像の異なる部分に限定されている投影ベクトルである。動き推定は、それらの部分投影ベクトルから演算される。フルフレーム投影ベクトルではなく、それらの部分投影ベクトルを用いることにより、動き推定に関して画像において独立して動いているオブジェクトの影響を低減することができる。

各々の方向における部分投影ベクトルの数は良好な結果のためには多くは必要ないことが判明した。例えば、図１１に示している特定の実施形態においては、部分投影ベクトルは、同じ方向においてフルフレームの投影ベクトルの４つの象限を表している。

一旦、部分投影ベクトルが２つのフレームについて演算されると、それらのフレーム間の水平方向及び垂直方向の動き推定が独立して評価されることが可能である。

図１１は、２つの画像の対応する部分領域間の対応する部分投影ベクトルの比較を示している。長さＭの水平方向の投影ベクトルを、及びＲ個の画素の調査領域を与える場合、フレームｎ乃至ｌについての投影ベクトルの中心からの長さＭ−２Ｒの部分ベクトル８０１が、種々のオフセット８０２、８０３におけるフレームｎからの部分ベクトルと比較される。最適なマッチングをもたらす比較が、それぞれの方向における動き推定を与えるジッタ成分として選択される。その最良のマッチングは、比較される２つのベクトル間の最小距離をもたらすオフセットとして規定される。共通の距離行列は最小平均絶対誤差（ＭＡＥ）及び最小平均二乗誤差（ＭＳＥ）を有する。特定の実施形態においては、絶対差分の和が、部分ベクトルと比較するようにコスト関数として用いられ、最小のコストを有する比較が最良のマッチングを有する。

図１２を参照するに、フレームｎ乃至ｌについての統制ベクトルの中心からの距離Ｍ−２Ｒの部分ベクトル９０１が、オフセット９０２におけるフレームｎからの部分ベクトルと比較される。それらの部分ベクトルはまた、出力ウィンドウを部分に分割する、より小さい部分ベクトルに分割される。このことは、４つの四分の一の大きさの部分ベクトル９０３に分割された部分ベクトル９０２を伴って図１２に示されている。個々のコストは、各々の部分ベクトル９０３及び別個に演算されるフルフレームについて、又はそれぞれの部分フレームベクトルを合成ベクトルに合成することにより、演算されることが可能である。それらの４つの四分の一の全てからの差分（絶対値又は二乗）が結合され、フルフレームの積分投影距離の指標が得られる。最終的な全体的な動き推定が、最良の推定全ての中から選択されることが可能である。このような自由度は、画像のより小さいセグメントが非常に良好なマッチングを有する場合でさえ、全体的な画像が先行する画像において良好なマッチングを有しないようにする可能性があるシーンにおいて独立して動いているオブジェクトに対して、積分投影動き推定技術をよりロバストにする。

特定の実施形態においては、それらの四分の一は、画像の半分の領域についての距離の指標をもたらすように結合される。

第１及び第２の四分の一は、画像の左半分についての距離の指標をもたらす。

第３及び第４の四分の一は、画像の右半分についての距離の指標をもたらす。

第１及び第４の四分の一は、外側の“半分”についての距離の指標をもたらす。

第２及び第３の四分の一は、内側の“半分”についての距離の指標をもたらす。

４つの四分の一全てにおける最良のマッチングのためのオフセットを演算することに付加して又はそれに代えて、個々のオフセットが、半分の領域の各々のための最良のマッチングについて演算されることが可能である。それらの付加オフセットは、例えば、有効な５つの間の中間のオフセットを選択することにより、又は、フル領域オフセットが、信頼性が低いと判断される場合に、最良の半分の領域のオフセットによりフル領域のオフセットを置き換えることにより、動き推定のロバスト性を高くすることが可能である。このことは、スポーツイベントを示すシーケンスにおいてファンが挙げた手のような、厄介な独立して動いているオブジェクトが存在する場合に有用である。そのファンの手は、フルフレーム積分投影演算を混乱させるが、外側の半分の領域からの測定においては存在しない。

動き推定処理における改善された正確度は、投影ベクトルの補間により達成されることが可能である。図１３は補間処理を示している。サイズｎの投影ベクトル１００１は、補間ベクトルの偶数の指数全てにおいて存在している要素を複製し、隣接する偶数値の指数の平均に等しい奇数値の指数における要素に値を割り当てることにより、サイズ２ｎ−ｌ（参照番号１００２）に対して補間される。この処理は、加算及びシフトによりハードウェア又はソフトウェアにおいて効果的に達成されることが可能である。

積分投影において用いられる加算関数は一次関数であるため、投影ベクトルの補間は、オリジナルの画像データを補間し、次いで、投影ベクトルを生成することに相当する。しかしながら、投影ベクトルを補間することの複雑度は、かなり低い。

特定の実施形態においては、補間は、半画素オフセットを与える。投影演算は線形であるため、投影ベクトルは補間されることが可能であり、そのことは、全体の画像を補間し、補間された画像データから半画素投影ベクトルを生成することに比べてかなり演算効率が高い。図１３を参照するに、ベクトルは、存在する隣接ポイントの平均である中間点の新しい値を演算することにより補間される。２による除算は、１ビットだけの右方向のシフトとして容易に実行される。結果として得られるベクトルのトリプレットが最良のマッチングのために評価される。

補間ベクトルは、何れかの動き推定オフセット比較に先行して構成されることが可能であり、最良のオフセットが、比較のための補間ベクトルを用いて得られる最低のコストに基づいて決定される。代替として、２つの画像からの非補間ベクトルが、先ず、動きの最良の粗い推定を決定するように比較される。続いて、補間ベクトルが、動き推定の正確度の改善を与えるように、最良の現在の推定に隣接するオフセットにおいてのみ比較される。

最良のオフセット及びそれに隣接する２つのオフセットと関連する距離が与えられる場合、動きのより正確な推定をもたらすように、連続距離関数がモデル化されることが可能である。距離測定のために選択されるモデルは、平均絶対誤差（ＭＡＥ）又は平均二乗誤差（ＭＳＥ）が距離メトリックとして用いられるかどうかに依存する。ＭＳＥが距離メトリックとして用いられる場合、連続距離関数は二次式としてモデル化される。３つの選択されたオフセット及びそれらの関連距離に対して放物線が適合されることが可能である。ＭＡＥが距離メトリックとして用いられる場合、連続距離関数は区分的一次関数としてモデル化される。

一旦、動き推定が演算されると、例えば、動きのどの成分がカメラパンのために好ましいか、及び、動きのどの成分がカメラジッタの原因であるかを決定する必要がある。好ましい動きがゼロであるとして知られている単純な場合には、推定された動きの全ては、ジッタとして分類され、シーケンスから取り除かれることが可能である。一般には、しかしながら、不所望のカメラジッタと共に一部の好ましいカメラの動きが存在する可能性がある。代表的な意図的なカメラの動きは低周波数、即ち、１乃至２Ｈｚに過ぎないものである一方、握手においては、一般に、２乃至１０Ｈｚである。それ故、高周波数のジッタを除去するように動き推定に対して時間ローパスフィルタリングを適用することが可能である。

高周波数のジッタ情報を除去する特定周波数の応答を有することに加えて、この安定化経路のための理想的なローパスフィルタはまた、最小の位相遅延を有する必要がある。意図的なパニング動きの間の過剰な位相遅延は、ジッタとして分類ミスされた初期のパニング動きの多くをもたらす可能性がある。この場合、安定化シーケンスは、そのシーケンスの好ましいパニング動きから遅れる。ゼロ位相のフィルタは原因とならないフィルタリングを必要とし、画像の捕捉とカメラの背面のディスプレイとの間の時間的遅延の原因になる。好適な実施形態においては、カメラディスプレイにおける安定化画像の表示に先行して何れかの時間的遅延を導入することなく、位相遅延を最小にする原因となるフィルタリングスキームが用いられる。

特定の実施形態においては、動き推定は、パニング、即ち、意図的なカメラの動きの影響を取り除くように時間的にローパスフィルタリングされる。このフィルタリングは、何れかの好ましいカメラの動きは非常に低い周波数、即ち、たかだか１又は２Ｈｚを有すると仮定することは妥当であるという判断に基づいている。これは、２乃至１０Ｈｚにおいて通常、起こるとして知られている手振れとは異なる。時間ローパスフィルタリングは、それ故、何れかの意図的な低周波数のカメラの動きが続いている間に、高周波数のジッタ情報を削除するように動き推定に適用されることが可能である。

好適な実施形態においては、安定化画像シーケンスは、捕捉中に見るために利用可能である。このことは、そのような実施形態において、画像シーケンスの捕捉とそのシーケンスの表示との間の時間遅延をもたらす非因果的な時間ローパスフィルタリングを好ましくないものにする。（非因果的な時間ローパスフィルタリングは、シーケンスにおいて前の画像及び後の画像からのデータを用いる。因果的な時間ローパスフィルタリングは前のフレームに限定される。）
非因果的な時間的フィルタと異なる因果的な時間的フィルタは、過度な位相遅延を示す傾向にある。このことは、何れかの実施形態においては好ましくない。意図的なパニング動きの間に、過度な位相遅延は、ジッタとして分類ミスされる初期のパニング動きの多くをもたらす可能性がある。この場合、安定化シーケンスは、そのシーケンスの好ましいパニング動きから遅れる。

特定の実施形態においては、全体的な動き予想は、巡回型フィルタ（無限インパルス応答フィルタ）に入力され、そのフィルタは、知られている手振れの周波数に対して良好な周波数応答、及び安定化画像シーケンスの位相遅延を最小化するための良好な位相応答を有するように設計されている。そのフィルタは次式により与えられ、
Ａ［ｎ］＝αＡ［ｎ−１］＋αν［ｎ］
ここで、Ａ［ｎ］はフレームｎについての累積ジッタであり、ν［ｎ］はフレームｎについての演算された動き推定であり、そしてαは０と１との間の値を有するダンピングファクタである。

フレームｎについては、安定化シーケンスで用いられるセンサ画像データの周りの境界ボックス（ここでは、“出力ウィンドウ”ともいう）は、最初の位置に対してＡ［ｎ］だけシフトされる。累積ジッタは、ｘ方向及びｙ方向について独立して追跡され、項ν［ｎ］は、それらの２つの方向のそれぞれの方向における一における動きを一般に表す。より演算的に複雑な代替のものとして、同時に両方の方向における動きを追跡するようにフィルタが改善されることが可能である。好適には、この式は、水平方向及び垂直方向の動き推定に対して独立して適用される。

ダンピングファクタαは、動きが存在しなときに、累積ジッタを０の方に導くように用いられ、それは、フィルタの周波数及び位相応答を制御する。ダンピングファクタαは、推定された動きにおける増加又は減少を説明するようにフレーム毎に適切に変えられることが可能である。一般に、αについての値の近傍の値は、ジッタとして分類される推定された動きの大部分をもたらす。αが０の方に減少するにつれて、より一層多くの推定された動きが保持される。αの適切な値、領域又は離散値が、特定のユーザ又はユーザの分類若しくは類似するジッタを表す使用のために学習的に決定されることが可能である。典型的には、手振れは少なくとも２Ｈｚであり、２Ｈｚ又はそれより高い周波数全てはジッタとみなされる。例えば、たとえカメラが安定している場合であっても、通り過ぎる自動車のような動いているオブジェクトが誤って追跡されるときに、動き予推定が信頼できないものであるかどうかについての判定がまた、なされることが可能である。その場合、ジッタ累積手順が、現在のフレームについて何れかの付加ジッタを演算しないように、ユーザ入力により又は自動的に、修正される。累積されたジッタは、好適には、動き推定が、信頼性が低く決定される場合には、一定に保たれる。

最大許容ジッタ補正はまた、図６乃至８に示されているように考慮される。この制限を実施するように、この限界より大きいＡ［ｎ］の値は、オリジナルの捕捉された画像の境界を越えた補正の試みを防止するようにクリップされる。

演算資源が制限されている好適なアプリケーションにおいては、ジッタ補正項は、補間の必要性を回避するように最も近い整数に丸められる。クロミナンス成分が水平方向において２倍にサブサンプリングされたＹＣｂＣｒデータについては、クロミナンスデータが適切に並べられるように、最も近い２の倍数にジッタ補正を丸めることがまた、必要である。

アーカイバル画像安定化
第２安定化器について、ここで詳細に説明する。フレームｎについての動きのジッタ成分が演算されるときに、現在及び過去の動き推定のみに依存する第１安定化器に比較してより正確なジッタの演算を可能にするように、過去及び未来のフレームからの動き推定が存在する。

特定の実施形態においては、第２安定化器により用いられるバッファリング及びジッタ演算スキームは、フレームｎに対応するジッタの演算においてフレームｎ−ｋ乃至ｎ＋ｋについて推定する。フレームｎ＋ｋが処理のために利用可能になるとき、動き推定技術が、現在のフレームについての動きを演算し、それを動き推定のアレイに加算するように用いられる。ジッタが非因果的なローパスフィルタを用いて演算されることは好ましいことである。フレームｎにおいてローパスフィルタリングされた動き推定は、高周波数のジッタに対応する動きの成分を生成するように、フレームｎにおけるオリジナルの動き推定から減算される。累積されたジッタの演算は次式により与えられ、

（数１）
Ａ［ｎ］＝Ａ［ｎ−１］＋ｊ［ｎ］
ここで、ｊ［ｎ］はフレームｎについて演算されたジッタである。その式は、オリジナルの動き推定ν［ｎ］と、フィルタタップｈ［］を動き推定ν［］に関係付けることにより与えられるローパスフィルタリングされた動き推定との間の差である。累積ジッタＡ［ｎ］は、過去の累積ジッタに現在のジッタ項を加算することにより与えられる。Ａ［ｎ］は、フレームｎについての好ましいジッタを表す。

好ましいジッタ補正項Ａ［ｎ］が与えられる場合、フレームｎは、フレームｎからフレームｎ＋ｋまでの全ての画像を保持する画像バッファからアクセスされる。符号化されるべきフレームｎのセンサデータ領域はＡ［ｎ］に基づいて調整される。このデータは、圧縮を伴わない記憶のためにメモリに直接又はビデオエンコーダに渡される。

フィルタリング及びバッファリングスキームにより用いられるｋの特定の値は、画像及び他の基準を記憶するために利用可能であるバッファ空間の量に基づいて選択されることが可能である。一般に、利用可能な動き推定のフレームが多くなればなる程、フィルタリングスキームは好ましい周波数応答を達成することができるようになる。ｈ［］により与えられるフィルタタップの特定の値は、フィルタの好ましい周波数応答に依存し、その周波数応答はまた、動きのジッタ成分の仮定された周波数範囲及び画像シーケンスの捕捉フレームに依存する。

ここで開示している特定の安定化技術は、上記のようなカメラ及びシステムにおいて用いられることが可能であるが、それは、二重経路安定化を与えるものではない。

特徴
特徴については、以下の番号付けした表現において更に説明している。
１．画像シーケンス安定化方法は：入力画像のシーケンスを捕捉する段階；前記シーケンスの第１及び第２入力画像の各々の、複数の重なっていない水平方向の部分投影ベクトルを演算する段階；前記シーケンスの前記第１及び第２入力画像の各々の、複数の重なっていない垂直方向の部分投影ベクトルを演算する段階；水平方向においてジッタ成分を与えるように前記第１及び第２画像のそれぞれの前記水平方向の部分投影ベクトルを評価する段階；垂直方向においてジッタ成分を与えるように前記第１及び第２画像のそれぞれの前記垂直方向の部分投影ベクトルを評価する段階；並びに、前記ジッタ成分２からジッタ補正を決定する段階；を有する。２．表現１の方法においては前記の評価する段階は各々：、それぞれの前記ベクトルから動き推定を演算する段階；及び、それぞれの前記ジッタ成分を与えるようにぞれぞれの前記動き推定を時間的にフィルタリングする段階；を更に有する。３．表現２の方法においては、前記演算する段階は：前記第１入力画像のそれぞれの前記部分投影ベクトルを複数の異なる第１成分ベクトルに結合する段階；前記第２入力画像のそれぞれの前記部分投影ベクトルを複数の異なる第２成分ベクトルに結合する段階；並びに、それぞれの前記第１及び第２成分ベクトルを異なる相対オフセットで比較する段階；を更に有する。４．表現３の方法においては、前記演算する段階は、それぞれの前記オフセットの最良のマッチングを選択する段階を更に有する。５．表現４の方法においては、前記演算する段階は、フル画素より少ないインクリメントにおいてそれぞれの前記部分投影ベクトルの前記オフセットを補間する段階を更に有する。６．表現４の方法においては、前記選択する段階は、それぞれの前記最良のマッチングの中央値を決定する段階を更に有する。７．表現３の方法においては、各々の方向において各々の画像の前記部分投影ベクトルは各々、フルフレーム投影ベクトルの異なる四分の一であり、前記成分ベクトルは、それぞれの前記部分投影ベクトルの対の複数の異なる組み合わせを有する。８．表現７の方法においては、前記成分ベクトルは、前記方向の各々においてフルフレームベクトルを規定するそれぞれの前記部分投影ベクトルの組み合わせを有する。９．表現２の方法においては、前記フィルタリングする段階は、時間ローパスフィルタリングする段階を更に有する。１０．表現１の方法においては、前記評価する段階は各々：前記ベクトルの各々について動き推定を演算する段階；及び、前記第１画像について前記ジッタ成分を与えるように前記動き推定の各々を時間フィルタリングする段階であって、前記フィルタリングは、式Ａ［ｎ］＝αＡ［ｎ−１］＋αν［ｎ］により与えられるフィルタを用い、ここで、Ａ［ｎ］は前記第１画像ｎについての前記累積ジッタであり、ν［ｎ］は前記第１画像ｎについてのそれぞれの前記動き推定であり、そしてαは、０と１との間の値を有するダンピングファクタである、段階；を有する。１１．表現１の方法においては：第１出力画像を与えるように所定の出力ウィンドウに前記第１入寮画像をクロッピングする段階；調整されたウィンドウを与えるように前記ジッタ補正により前記ウィンドウをシフトさせる段階；及び、第２出力画像を与えるように前記調整されたウィンドウに前記第２入力画像をクロッピングする段階；を更に有する。１２．表現１１の方法においては、前記第１及び第２入力画像の前記クロッピングは前記捕捉する段階中のものである。１３．表現１１の方法においては、前記捕捉中に前記出力画像を表示する段階を更に有する。１４．表現１１の方法においては、前記画像はカラーフィルタアレイデータとして捕捉され、前記方法は、前記クロッピングする段階に後続して、前記カラーフィルタアレイデータからイメージャに依存しない色空間に前記画像を変換する段階を更に有する。１５．表現１の方法においては、前記評価する段階は互いに独立している。１６．表現１の方法においては、前記決定する段階は、前記第２入力画像の境界の範囲内に前記出力ウィンドウを維持する値に前記ジッタ補正を制限する段階を更に有する。１７．表現１の方法においては、前記演算する段階の各々は、サブサンプルを与えるように前記入力画像をサブサンプリングする段階と、前記サブサンプルから前記ベクトルを演算する段階とを更に有する。１８．画像シーケンス安定化のためのコンピュータプログラムであって、そのコンピュータプログラムは、表現１の段階を実行するために記憶されているコンピュータプログラムを有するコンピュータ読み出し可能記憶媒体を有する。１９．画像シーケンス安定化方法は：入力画像のシーケンスを捕捉する段階；前記シーケンスの第１及び第２入力画像の各々の、複数の重なっていない水平方向の部分投影ベクトルを演算する段階；前記第１入力画像の前記水平方向の部分投影ベクトルを複数の異なる水平方向の第１合成ベクトルに、そして前記第１入力画像の前記垂直方向の部分投影ベクトルを複数の異なる垂直方向の第１合成ベクトルに合成する段階；前記第２入力画像の前記水平方向の部分投影ベクトルを複数の異なる水平方向の第２合成ベクトルに、そして前記第２入力画像の前記垂直方向の部分投影ベクトルを複数の異なる垂直方向の第２合成ベクトルに合成する段階；異なる相対的オフセットにおいて対応する前記第１及び第２合成ベクトルを比較する段階；それぞれの前記オフセットの最良のマッチングを選択し、それぞれの最良のマッチングから前記方向の各々において動き推定を演算する段階；それぞれのジッタ成分を与えるようにそれぞれの前記動き推定を時間フィルタリングする段階；及び、前記ジッタ成分からジッタ補正を決定する段階；を有する。２０．表現１９の方法においては、前記合成ベクトルは、前記方向の各々においてフルフレームベクトルを規定するそれぞれの前記部分投影ベクトルの組み合わせを有する。２１．表現１９の方法においては、前記水平方向及び垂直方向のジッタ成分は独立して決定される。２２．表現１９の方法においては、第１出力画像を与えるように所定の出力ウィンドウに前記第１入力画像をクロッピングする段階；調整されたウィンドウを与えるように前記ジッタ補正により前記ウィンドウをシフトさせる段階；第２出力画像を与えるように前記調整されたウィンドウに対して前記入力画像をクロッピングする段階；及び前記捕捉中に前記出力画像を表示する段階；を更に有する。２３．表現２２の方法においては、前記決定する段階は、それぞれの前記画像の境界の範囲内に前記出力ウィンドウを維持する値に前記ジッタ補正を制限する段階を更に有する。２４．表現１９の方法においては、それぞれの前記マッチングが所定の閾値を超えるとき、前記ジッタ成分の一をゼロ化する段階を更に有する。２５．表現１９の方法においては、前記最良のマッチングベクトルのそれぞれとそれぞれの前記ベクトルの残りの平均の差が所定の閾値より小さいときに、前記ジッタ成分の一をゼロ化する段階を更に有する。２６．表現１９の方法においては、前記第１及び第２入力画像のそれぞれの前記合成ベクトルの第２及び第３の最良のオフセットを確認する段階；並びに、それぞれの前記最良のマッチングベクトル、第２の最良のマッチングベクトル及び第３の最良のマッチングベクトルの間の差が閾値を超えるとき、前記ジッタ成分の一をゼロ化する段階；を更に有する。２７．表現１９の方法においては、前記演算する段階は各々、補間部分投影ベクトルを与えるように、前記第２画像の前記部分投影ベクトルの１つ又はそれ以上を補間する段階を更に有する。２８．表現２７の方法においては、前記補間部分投影ベクトルは、前記第２画像のそれぞれの前記部分投影ベクトルに対して＋１／２画素及び−１／２画素のオフセットにある。２９．表現１９の方法においては、前記確認する段階に続いて、水平方向の部分投影ベクトルのトリプレットを与えるように前記第１画像の前記水平方向の部分投影ベクトルに対して＋１／２画素及び−１／２画素の付加オフセットにおいて前記最良のマッチングを有する前記第２画像の前記水平方向の部分投影ベクトルを補間し、前記第１画像の前記水平方向の部分投影ベクトルに対して前記ベクトルトリプレットの前記部分投影ベクトル間の最良のマッチングを再決定する段階；並びに、前記確認する段階に続いて、水平方向の部分投影ベクトルのトリプレットを与えるように前記第１画像の前記垂直方向の部分投影ベクトルに対して＋１／２画素及び−１／２画素の付加オフセットにおいて前記最良のマッチングを有する前記第２画像の前記垂直方向の部分投影ベクトルを補間し、前記第１画像の前記垂直方向の部分投影ベクトルに対して前記ベクトルトリプレットの前記部分投影ベクトル間の最良のマッチングを再決定する段階；を更に有する。３０．表現２９の方法においては、前記確認する段階の各々は、距離関数に対してそれぞれの前記ベクトルトリプレットを適合させる段階を更に有する。３１．捕捉装置は：入力画像のシーケンスを捕捉する電子イメージャ；前記イメージャから前記入力画像を受信する画像処理器であって、前記画像処理器は、前記シーケンスの前記入力画像の各々の複数の重なり合っていない、水平方向の及び垂直方向の部分ベクトルを演算し、それぞれの方向においてジッタ成分を与えるように、各々の方向において、前記第１及び第２画像のそれぞれの前記部分投影ベクトルを評価し、前記ジッタ成分からジッタ補正を決定し、前記ジッタ補正に基づいて前記入力画像に出力ウィンドウをマッピングする、画像処理器；並びに、前記捕捉の間に前記出力画像を表示するディスプレイ；を有する。３２：表現３１の方法においては、前記マッピングは、前記電子イメージャのパニングに反応しない。

二重経路安定化の実施形態を示す図である。 図１の二重経路安定化を与えるカメラの実施形態を示す図である。 図２のカメラの動作を示す図である。 図３と同じ図であるが、修正されたカメラを示す図である。 図２のカメラの安定化器の１つの動作を示す図である。 図２のカメラのオーバーサイズ化イメージャにより捕捉されたオリジナルの画像において位置付けられた出力ウィンドウを示す図である。出力ウィンドウは未調整の位置にある。 図６と同じ図であるが、出力ウィンドウは、ジッタを補償するようにシフトされた位置にある。 図６及び７と同じ図であるが、他のシフト位置に対して右方及び下方の両方に最大にシフトされ、そのような他のシフト位置は、それらの方向における最大利用可能ジッタ補正を表している。 図２のカメラの安定化器の一により与えられる二重安定化において水平方向の投影ベクトルを生成するように用いられる画像データを示す図である。 水平方向の投影ベクトルを生成するように用いられる画像データを示す、図９に対応する図である。 異なる動きオフセットに関連するコストを演算するように、図９の暗帯かにおいて用いられる画像データを示す図である。 図１１に対応しているが、修正された安定化方法を用いる図であって、動きオフセットに関連するコストを演算するように用いられる画像データはセグメントに分割されている、図である。 図１１の安定化方法の他の修正において、補間された水平方向の投影ベクトルの構成を示す図である。 システムの実施形態を示す図である。

Claims (2)

1. 入力ディジタル画像のシーケンスを捕捉する段階；
   前記入力ディジタル画像から、対応するアーカイバル画像のシーケンス及び同じ対応する表示画像のシーケンスを生成する段階；
   安定化アーカイバル画像シーケンスを与えるように、前記アーカイバル画像シーケンスを自動的に安定化する段階；
   安定化表示画像シーケンスを与えるように、前記アーカイバル画像の前記安定化と異なる前記表示画像シーケンスを自動的に安定化する段階；
   を有する画像シーケンス安定化方法であって、
   前記表示画像シーケンスの前記安定化は前記アーカイバル画像シーケンスの前記安定化より速く、前記アーカイバル画像シーケンスの前記安定化は前記表示画像シーケンスの前記安定化より正確であり；
   前記アーカイバル画像シーケンスを自動的に安定化する段階、及び前記アーカイバル画像の前記安定化と異なる前記表示画像シーケンスを自動的に安定化する段階は、前記捕捉する段階と同じ期間中に又は略同じ期間に、実行される；
   画像シーケンス安定化方法。
2. 画像のシーケンスを捕捉する手段；
   第１コピー及び同じ第２コピーを与えるように前記画像シーケンスを複製する手段；
   表示シーケンスを与えるように前記第１コピーを自動的に、ディジタル的に安定化し、アーカイバルシーケンスを与えるように前記第１コピーと異なる前記第２コピーを自動的に、ディジタル的に安定化する手段；
   前記捕捉する段階と同時に前記表示画像シーケンスを表示するディスプレイ；並びに
   前記アーカーバルシーケンスを自動的に圧縮するエンコーダ；
   を有する二重経路画像シーケンス安定化システムであって、
   前記表示画像シーケンスの前記安定化は前記アーカイバル画像シーケンスの前記安定化より速く、前記アーカイバル画像シーケンスの前記安定化は前記表示画像シーケンスの前記安定化より正確であり；
   前記アーカイバル画像シーケンスを自動的に安定化する段階、及び前記アーカイバル画像の前記安定化と異なる前記表示画像シーケンスを自動的に安定化する段階は、前記捕捉する段階と同じ期間中に又は略同じ期間に、実行される；
   二重経路画像シーケンス安定化システム。

Images