JP7049383B2 - 視運動するシーンのための撮像デバイス - Google Patents

Description

本願は、視運動するシーンのための撮像デバイスに関する。

関連出願
本願は、２０１４年５月６日に出願され、「Ｄｅｖｉｃｅ ｆｏｒ Ｍｕｌｔｉ－ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｖｉｄｅｏ ｗｈｅｎ ｏｂｓｅｒｖｅｄ ｓｃｅｎｅ ｉｓ ｉｎ ａｐｐａｒｅｎｔ ｍｏｔｉｏｎ」と題された米国特許仮出願第６１／９８９，１６５号の優先権を主張し、その内容全体が参照により全体で組み込まれる。

シーンが撮像デバイスに対して視運動するとき、適切なダイナミックレンジを達成するために十分な光を収集し、一方、動きのぼけおよびアーチファクトを防止することは、困難になり得る。衛星または航空機ベースの観測システムの場合、これは特に問題である。露出時間が短いほど、不十分な露光をもたらす可能性がある。露出時間を増大することは、ぼけをもたらす。従来の衛星撮像システムでは、この問題は、所与の露出時間中により多くの光を収集するために光学系の有効口径を増大することによって解決され得る。しかし、これを行うことは、光学系のサイズと重量を共に増大し、これは、特に衛星システムに関連するコストを非常に増大する。

様々な従来の撮像システムが様々な方法で、様々な成功の度合いでこれらの問題に対処している。一部のシステムは、視運動を補償するために、細長い画素を有するリニアセンサ、あるいは時間領域積分（ＴＤＩ）センサを使用する。これらの解決策は、撮像デバイスが視運動の方向と位置合わせされることを必要とし、衛星システムがペイロードトルクを補償することをしばしば必要とする。他の撮像システムでは、移動の方向を補償するために、ミラー、レンズ、または撮像センサそれら自体が移動の方向に移動される。他のシステムは、計算集約的な解決策を使用し、運動を計算し、かつ運動を補償するために記録媒体に移動するように指示する。

一般に、これらのシステムは大型で重量があり、計算集約的、複雑、または上記のすべてである。

添付の図を参照して詳細な説明が示される。それらの図では、符号の最も左側の数字は、その符号が最初に現れる図を識別する。異なる図における同じ符号の使用は、同様または同一の項目を示す。

視運動するシーンを撮像するための多軸位置決め機構を有する例示的な撮像デバイスの等角図である。 視運動するシーンを撮像するための例示的な撮像デバイスの上面図である。 視運動するシーンのための例示的な撮像デバイスの正面図である。 視運動するシーンのための例示的な撮像デバイスの側面図である。 エリア撮像デバイス、および視運動するシーンのために撮像デバイスと共に使用するための複数のフィルタバンドを含む多バンド光学フィルタの分解図である。 エリア撮像デバイスおよび多バンド光学フィルタが設けられている例示的な撮像デバイスの等角図である。 視運動するシーンのための撮像デバイスを使用する画像取込みのための例示的な概略プロセスを示すフロー図である。 追跡軸を視運動の方向と位置合わせするための例示的なプロセスを示すフロー図である。 撮像デバイスを視運動の方向と位置合わせするために使用される連続する画像およびグレイプロジェクションを例示する図である。 撮像デバイスを視運動の方向と位置合わせするために使用される連続する画像およびグレイプロジェクションを例示する図である。 撮像デバイスの追跡速さおよび行程長さを決定するための例示的なプロセスを示すフロー図である。 撮像デバイスの移動の速さおよび行程長さを決定するために使用される連続する画像および関連のグレイプロジェクションを例示する図である。 撮像デバイスの移動の速さおよび行程長さを決定するために使用される連続する画像および関連のグレイプロジェクションを例示する図である。 撮像デバイスの移動の速さおよび行程長さを決定するために使用される連続する画像および関連のグレイプロジェクションを例示する図である。 実施形態による視運動するシーンを撮像するための例示的なプロセスを示すフロー図である。 画像取込み段階中、デバイスの動作中に撮られた露光像を時間および空間に対してプロットしたグラフである。 視運動を有するシーンを撮像するために使用可能な例示的な撮像システムのブロック図である。 直線軸および回転軸ではなく複数の直線軸を備える多軸位置決め機構を有する例示的な撮像デバイスの等角図である。 直線軸および回転軸ではなく複数の直線軸を備える多軸位置決め機構を有する例示的な撮像デバイスの側面図である。 直線軸および回転軸ではなく複数の直線軸を備える多軸位置決め機構を有する例示的な撮像デバイスの等角図である。 直線軸および回転軸ではなく複数の直線軸を備える多軸位置決め機構を有する例示的な撮像デバイスの側面図である。

概要
実施形態は、航空または衛星ベースの撮像システムなど、多軸位置決め機構、多バンド光学フィルタを有し、処理ユニット（たとえば、プロセッサまたは他の論理回路）内で様々な計算アルゴリズムを使用し、適切なダイナミックレンジで視運動するシーンの画像を取り込み、処理し、一方、動きのぼけおよび他の視覚的アーチファクトを防止する撮像システムを含む。

実施形態は、多軸位置決め機構を制御し、エリア撮像デバイス（ＡＩＤ）（たとえば、画像取込みデバイスのタイプ）の追跡軸を視運動の方向と位置で位置合わせする。ＡＩＤの追跡速さは、視運動の速さを補償するように決定される。ＡＩＤがその行程長さにわたって移動されている間、１つまたは複数の露光像のための十分な時間を可能にするために、行程長さが決定される。ＡＩＤを追跡軸に沿って複数の行程にわたってサイクルさせることによって、複数の部分的に重なり合う露光像が取り込まれる。１回のサイクルにおいて、多軸位置決め機構は、ＡＩＤを追跡軸に沿って視運動の方向に、決定された行程長さおよび追跡速さに従って移動させてから、開始位置に戻り、次のサイクルを始める。各連続するサイクルにおける露光像は、決定された量の重なり合いを有し、これは、露光像を共につなぎ合わせ、任意の長さの画像を形成することを可能にする。画像の各セグメントは、連続するサイクル中に、多光学フィルタのバンドすべてを通じて露出される。

視運動を補償するために追跡軸を位置合わせし、追跡速さを設定することによって、画像それ自体を取り込む間、ぼけが解消または低減され、それによりシステムの計算の複雑さを低減する。手短に言えば、画像取込みデバイスが、ある速さで、視運動の方向と同じ方向に、十分な露出時間量の間、一時的に移動され、動きのぼけのない適切なダイナミックレンジ画像をもたらす。画像の各セグメントは、多スペクトル画像を可能にするように、多バンド光学フィルタの異なるバンドを通じて露出される。

いくつかの実施形態では、複数の部分的に重なり合う露光像から最終画像（またはビデオフレーム）を生成するために、つなぎ合わせアルゴリズムが使用される。複数の露光像が各サイクル中に取り込まれてもよい。各サイクル内露光像は、異なる露出時間を有し、各フィルタバンドについて有利な、または最適な露出時間を提供し、高ダイナミックレンジ画像を生成し得る。各サイクル中の複数の露光像は、画素の距離未満だけ離れてもよいわずかに異なる水平位置または垂直位置（追跡軸に対して直交する）で取り込まれ、解像度の高められた画像を生成するために使用されるわずかに水平または垂直にオフセットされた露光像を生成し得る。水平にオフセットされた露光像は、水平リニアアクチュエータを使用することによって得ることができ、水平リニアアクチュエータは、撮像デバイスを視運動の方向に対して直交する（すなわち、撮像デバイスの追跡軸に対して直交する）ように移動する。垂直にオフセットされた露光像は、追跡アクチュエータが、前の露光像の元の位置から、画素の１／２に等しい長さなどわずかにオフセットされた位置に位置決めし直されることによって得ることができる。実施形態では、水平および垂直にオフセットされている画像を、さらに改善された解像度のために得ることができる。

本明細書に記載の撮像システムおよび装置のいくつかの実施形態は、地球低軌道（ＬＥＯ）内の衛星など、衛星から地球の画像を撮るために使用されてもよい。ＬＥＯ衛星は、地球上の静止点に対して高速で周回し、これは動きのぼけを重要な問題とする。衛星実施形態では、撮像システムは望遠鏡を含み、ＡＩＤは、望遠鏡の焦点面に配置される。望遠鏡の口径および焦点距離は、典型的な地上のシーンの露出時間が多軸位置決め機構のサイクル時間未満となるように選択される。

実施形態は、撮像デバイスが視運動の方向と位置合わせされることを必要とせず、これは、その運動とは独立に回転しがちである衛星ベースのシステムにおいて特に有用である。実施形態によるシステムは、単純、コンパクト、および軽量であり、一方、観測されているシーンが撮像装置に対して視運動している間、多スペクトル画像およびライブビデオを可能にし、一方、ぼけ、スキュー、ゆらぎ、およびデフォーカス収差など画像アーチファクトを最小限に抑える。また、実施形態は、高ダイナミックレンジ（ＨＤＲ）撮像および空間分解能向上を可能にする。

本明細書に記載のプロセッサ、システム、およびデバイスは、いくつかの方法で実装され得る。例示的な実装が、以下の図を参照して下記で提供される。

例示的な撮像デバイス
図１は、視運動するシーンを撮像するための多軸位置決め機構１０４を有する例示的な撮像デバイス１０２の等角図１００を例示する。図１に示されている例示的実施形態では、多軸位置決め機構１０４は、ｚ軸と位置合わせされた焦点レール１０６を含む。焦点レール１０６は、電気モータなどリニアアクチュエータを含み、撮像デバイス１０２を合焦するために使用される。焦点レール１０６の長さは、実施形態では、撮像デバイス１０２の焦点位置の変動と少なくとも同程度の長さである。撮像デバイス１０２と焦点位置の間の距離が一定のままであること、または十分に小さい変動を有することが予想される実施形態（衛星撮像システムのものなど）では、焦点レール１０６の行程長さは、数ミクロンと数ミリメートルの間など、撮像デバイス１０２の共焦点長よりわずかに長い長さに設定されてもよい。焦点位置の変動が十分に小さいことが予想される場合、焦点は、後処理で、たとえばアルゴリズムで調整されてもよく、それにより、リニアアクチュエータにおける製造公差を比較的緩めることができる。リニアアクチュエータは、高速であり得るが、特に高速であることを必要としない。

スタンド１０８は、幾分Ｌ字形であってもよく、焦点レール１０６のｚ軸に沿ってリニアアクチュエータによって移動されるプラットフォーム１１０を含む。スタンド１０８は、円形レール１１４を含む垂直部材１１２を含む。円板１１６の下にある、または他の形で円板１１６に結合されたロータリアクチュエータによって制御されて、円板１１６が円形レール１１４内で回転する。プラットフォーム１１８は、円板１１６の追跡レール１２０上に位置する。リニアアクチュエータがプラットフォーム１１８を追跡レール１２０に沿って、追跡軸ｙ’に沿って移動させる。いくつかの実施形態では、追跡軸に対して直交する横断方向軸に沿ってプラットフォーム１１８を移動させる横断方向アクチュエータもまた含まれる。

ロータリアクチュエータは、円板１１６を回転させ、それにより追跡レール１２０の追跡軸ｙ’を配向する。実施形態では、追跡軸ｙ’は、この詳細な説明内の他所により詳細に記載されるように、撮像されるシーンの視運動の方向と実質的に平行になるように配向される。円板１１６の可能な回転度は、いくつかの実施形態では、視運動の任意の可能な方向を反映するために、追跡レール１２０の向きを任意の角度にすることができるように少なくとも１８０°である。回転度は、視運動の方向が偶然にも円板１１６の回転限界付近になる潜在的な問題を回避するために、１８０°より大きくてもよい。ロータリアクチュエータは、追跡軸ｙ’と視運動の方向との間の位置ずれをエリア撮像デバイス（図６に示されているようにプラットフォーム１１８上に配置される）の単一の画素未満になるように維持するのに十分精密なものである。回転アクチュエータは、圧電モータもしくはステッパモータ、または他の好適なアクチュエータもしくは位置決め機構であってよい。

追跡レール１２０は、プラットフォーム１１８の下にある、または他の形でプラットフォーム１１８に結合されたリニアアクチュエータを含む。リニアアクチュエータは、撮像されるシーンの視運動を補償するように追跡レール１２０に沿ってプラットフォーム１１８を移動させるように動作可能である。追跡用のリニアアクチュエータは、十分に高速であり、視運動の速さでプラットフォーム１１８を変位させ、連続して取り込まれる露光像間での十分な重なり合いと共に、別の画像露出サイクルを達成することができるように十分に迅速に開始位置に戻り、画像を取り込むために使用可能な露出時間を増大する。追跡用のリニアアクチュエータのジッタ（移動速さの変動性）は、得られる画像のぼけを回避するためにエリア撮像デバイスの画素未満である。追跡用のリニアアクチュエータは、圧電モータ、ステッパモータ、または他の好適なアクチュエータもしくはデバイスであってよい。

改善された解像度の画像は、サイクル内の連続する画像間の垂直にオフセットされた露光像、サイクル内の連続する画像間の水平にオフセットされた露光像、または水平および垂直にオフセットされた露光像（元の露光像から水平および垂直にオフセットされた１つもしくは複数の追加の露光像、または元の露光像から一方が水平にオフセットされ他方が垂直にオフセットされている２つの追加の露光像を含み得る）を共に使用して得ることができる。ある方向への１／２画素の変位、または全画素の整数倍でない他の変位を有する画像など、垂直にオフセットされた画像は、垂直方向に追加の解像度を可能にする。これらの実施形態では、追跡用のリニアアクチュエータは、撮像デバイスを、前に取り込まれた露光像の元の位置から、１／２画素などのオフセット距離内に位置決めし直す。２つの垂直にオフセットされた画像は、この詳細な説明内の他所に記載されているように処理され、より高い解像度の画像を生成する。

いくつかの実施形態では、水平にオフセットされた露光像を生成するために、追跡軸ｙ’に対して直交する横断方向軸に沿ってプラットフォーム１１８を移動させる横断方向アクチュエータも含まれる。横断方向アクチュエータの行程長さは、より高い解像度の画像を生成するために使用される。横断方向アクチュエータは、圧電変位アクチュエータまたは他の好適な高解像度アクチュエータである。

図１に例示されている例では、多軸位置決め機構１０４は、追跡レール１２０を追跡軸ｙ’と実質的に平行になるように回転させる回転アクチュエータと、追跡レールを追跡軸ｙ’の方向に移動させるためのリニアアクチュエータとを含む。図１５Ａ～Ｄに例示されているものなど（実施形態の範囲から逸脱することなく他の例が可能であるが）、代替実施形態では、撮像デバイスが視運動の方向（たとえば、追跡軸ｙ’）を追跡するように２つのアクチュエータ、すなわちｘアクチュエータおよびｙアクチュエータが同時に移動される。ｘアクチュエータおよびｙアクチュエータの追跡の速さを決定することは、実質的に同様に決定される。

図１に例示されている例では、撮像デバイスは、衛星１２２内に含まれる。衛星１２２は、実施形態の範囲から逸脱することなく地球低軌道（ＬＥＯ）衛星または他のタイプの衛星であってよい。他の実施形態では、撮像デバイス１０２は、航空機（有人または無人）、別のタイプの宇宙機（有人または無人）などに搭載されてもよい。

図２は、視運動するシーンを撮像するための例示的な撮像デバイス１０２の上面図２００を示す。図３は、視運動するシーンのための例示的な撮像デバイス１０２の正面図３００を示す。図４は、視運動するシーンのための例示的な撮像デバイス１０２の側面図４００を示す。

ＬＥＯ衛星など衛星内で使用するための撮像デバイス１０２のいくつかの実施形態では、アクチュエータは、圧電モータである（変形形態では、代わりに超音波圧電モータが使用されてもよい）。ロータリアクチュエータは、ｚ軸周りの回転モータであってもよく、デバイスを移動の方向に対して配向するために使用される。ｚ軸に沿って機械的安定化を備えるリニアモータが合焦用に使用されてもよい。合焦用のリニアアクチュエータのための総行程は、熱膨張、機械的作用、波長差などによる焦点の起こり得る変動を補正するために十分なものであり得る。

図５は、エリア撮像デバイス５０２、および視運動するシーンのために撮像デバイスと共に使用するための複数のフィルタバンド５０６、５０８、５１０、５１２を含む多バンド光学フィルタ５０４の分解図５００を示す。実施形態は、図５に示されているものより多いフィルタバンドか、または少ないフィルタバンドを有してもよい。フレーム５１４は、フィルタバンド５０６～５１２を定位置で保持し、ＡＩＤ５０２の上で位置決めされる。

フィルタバンドは、電磁スペクトルの所望の一部分をカバーするように選択され、実施形態は、任意の特定のバンドまたは複数のバンドに限定されない。フィルタバンド５０６～５１２は、たとえば、青、赤外、緑、赤のバンドを、フィルタされないカバレージの別のバンド（すなわち、パンクロマチックバンド）を含んでもよい。フィルタバンドの数、および各フィルタバンド５０６～５１２のスペクトル透過率は、注目の波長の任意の組合せを獲得するように選択される。フィルタバンド５０６～５１２は、吸収フィルタ、干渉フィルタ、または他の種類のフィルタであってよい。

ＬＥＯ衛星など、衛星内で使用するための多バンド光学フィルタ５０４のいくつかの実施形態では、フィルタバンド５０６～５１２は、電磁スペクトルの所望の区間のセットのために５つの位置合わせされたバンドパスフィルタを備える。１つの特定の例では、フィルタのうちの３つは、従来のカラー画像を容易に構成するために可視スペクトルの赤、緑、青（ＲＧＢ）成分に対応し、残りの２つのバンドの１つは、輝度情報（intensity information）を得るために可視光の全スペクトルに対応し、残りの別のバンドは、近赤外に対応する。フィルタの他の数および組合せが、衛星内で使用されようと他のタイプのシステムで使用されようと異なる種類の情報を集めるために有用となり得る。

ＡＩＤ５０２の能動表面５１６は、２次元または３次元空間内に配置された光吸収ダイオード（light-absorbing diode）など複数の画素センサを含む。ＡＩＤは、たとえば電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、または他の好適なアーキテクチャなど、様々なタイプのものであってよい。

図６は、エリア撮像デバイス５０２および多バンド光学フィルタ５０４が設けられている例示的な撮像デバイス１０２の等角図６００を示す。

視運動するシーンを撮像するための例示的な動作
図７、図８、図１０、図１２は、様々な実施形態による例示的なプロセスを示すフローグラフを示す。これらのプロセスの動作が、個々のブロックに例示されており、これらのブロックを参照してまとめられている。これらのプロセスは、ロジカルフローグラフとして示されており、それらの各動作は、ハードウェア、ソフトウェア、またはそれらの組合せで実装され得る動作のセットを表し得る。ソフトウェアのコンテキストでは、これらの動作は、１つまたは複数のプロセッサによって実行されたとき１つまたは複数のプロセッサが列挙された動作を実施することを可能にする、１つまたは複数のコンピュータ記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実施する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、モジュール、コンポーネント、データ構造などを含む。ハードウェアのコンテキストでは、これらの動作は、特定用途向け集積回路（ＡＳＩＣ）など集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などプログラマブルロジックデバイス、または他のデバイスで実施され得る。これらの動作が記載されている順序は、限定として解釈されるものではなく、任意の数の記載の動作を、任意の順序で組み合わせ、下位動作に分離し、および／または並列で実施し、プロセスを実施することができる。本開示の様々な実施形態によるプロセスは、ロジカルフローグラフに示されている動作の一部だけを含んでも、すべてを含んでもよい。

図７は、視運動するシーンのための撮像デバイスを使用する画像取込みのための例示的な概略プロセス７００を示すフロー図である。７０２では、撮像デバイスの制御モジュールが、撮像システムまたは装置の多軸位置決め機構に、その追跡軸を撮像されるシーンの視運動と実質的に平行になるように設定するように指示する。撮像デバイスが視運動の方向（たとえば、追跡軸ｙ’）を追跡するように２つのリニアアクチュエータ、すなわちｘアクチュエータおよびｙアクチュエータが同時に移動される実施形態（図１５Ａ～Ｄなど）では、設定される追跡軸は、「仮想」追跡軸であり、２つのリニアアクチュエータ（ｘおよびｙ）を使用して実施される。実施形態では、これは、この詳細な説明内の他所により詳細に記載されているようにグレイプロジェクションを使用して行われる。

７０４では、制御モジュールは、多軸位置決め機構に、その追跡速さおよび行程長さを少なくともグレイプロジェクションに基づいて設定するように指示する。これは、この詳細な説明内の他所により詳細に記載されているように、追跡速さにより垂直グレイプロジェクションが連続する画像の少なくとも２つの間での変位の閾値レベル未満になるように行われる。

７０６では、制御システムは、多軸位置決め機構に追跡軸に沿って１つまたは複数のサイクルでＡＩＤを移動させるように、またエリア撮像デバイスに、複数の部分的に重なり合う露光像を生成するためにその１つまたは複数のサイクルのそれぞれの間に少なくとも１つの露光像を撮るように指示することによってなど、撮像デバイスに画像を取り込むように指示する。これは、この詳細な説明内の他所により詳細に記載されている。

７０８では、撮像モジュールが、シーンの画像を形成するために複数の重なり合う露光像を共につなぎ合わせることによってなど、露光像を処理し、画像を生成する。この処理は、異なる露出時間の各サイクルからの複数の露光像を使用し、高ダイナミックレンジ画像を生成することを含み得る。この処理は、この詳細な説明内の他所に記載されているように画素より小さい水平変位および／または画素より小さい垂直変位など、単一の画素の整数倍でない変位でそれぞれが撮られた１サイクル当たり複数の露光像からのより高い解像度の画像を含んでもよい。連続的で部分的に重なり合う画像から画像が共につなぎ合わされる。任意の長さの画像を生成するために、十分な数の露光像を得ることができる。

図８は、追跡軸（ｙ’）を視運動の方向と位置合わせするための例示的なプロセス８００を示すフロー図である。８０２では、制御モジュールは、２つ以上の連続する画像を取り込むように撮像デバイスに指示する。撮像デバイスの最大サイズの画像ではなく「関心領域（部分画像）」がこの段階で撮像されてもよいが、最大サイズの画像が使用されてもよい。このプロセスの開始時に、ロータリアクチュエータを使用する実施形態では、多軸位置決め機構のロータリアクチュエータがその行程の中央にあり、追跡用のリニアアクチュエータもまた、その行程の中央（たとえば、「定位置」）にあり、その結果、ＡＩＤの能動エリアの中央がロータリアクチュエータの回転中心に最も近づく。画像は、動きのぼけを低減するために短い露出時間を使用して撮られる。ＡＩＤは、位置合わせプロセス中に撮られるこれらの画像の取り込み中、移動されない。フレームレートは、連続するフレームを離脱し、進入するシーンの部分を削減するためには十分短いものであるが、フレーム間でシーンの適切な変位があるためには十分長いものである。

８０４では、制御モジュールは、連続する画像（この段階では、シーンの最大画像ではなく関心領域を示す部分画像であってもよい）からグレイプロジェクションを得る。グレイプロジェクションでは、垂直プロジェクションを生成するために各列についての画素値が合計され、水平プロジェクションを生成するために各行についての画素値が合計される。これらの合計された画素値は、２次元画像を単一の行または列に凝縮し、２つの画像間の変位を見出すために使用され得る。図９Ａおよび図９Ｂを使用し、これをより詳細に示す。

８０６では、制御モジュールは、連続する画像間の変位を決定する。制御モジュールは、図９Ａ～Ｂに関連してより詳細に示すように、比較するために次の連続する画像のグレイプロジェクションから１つの画像のグレイプロジェクションを相関し、次いで、相関におけるピークを見出すことによって変位を計算する。この相関は、計算について言えばコストがかかる動作である。このタイプの相関は、グレイプロジェクションではなく全画像で行うことができる。そのような全画像相関は、画素の巨大な行列を相関することを含むことになり、これは特に計算コストがかかることになる。したがって、本開示のいくつかの実施形態は、グレイプロジェクションを使用して相関し、これは、この機能を実施するために使用される計算リソースを削減する。いくつかの実施形態では、システムが動作すると、または視運動の方向の何らかの初期推定を使用した（たとえば、航空機または宇宙機の知られている姿勢から）ことに基づいて、システムは、（可能な変位の最大範囲を評価するのではなく）推定変位の近傍に対して相関をさらに変形する。これは、処理時間をさらに削減する。上記の説明では、「姿勢」は、たとえば何らかの基準に対する３つの角度によって定義される、撮像システムが向けられる方向である。

８０８では、制御モジュールは、連続する画像間の水平グレイプロジェクションの水平（ｘ’）変位が変位の閾値レベル未満であるかどうか、および連続する画像間の垂直グレイプロジェクションの垂直（ｙ’）変位が異なる画像間で一定であるかどうか決定する。水平変位が０である、または閾値内であることは、追跡軸がシーンの視運動の方向と実質的に平行であることを示す。

８０８で、水平（ｘ’）変位が閾値変位内でない場合、および／または垂直（ｙ’）変位が画像間で一定でない場合（「いいえ」矢印）、制御モジュールは、８１０で、多軸位置決め機構に、ロータリアクチュエータを使用する実施形態においてＡＩＤの向きを変更することによってなど、追跡軸を変更するように指示する。これを行うために、制御モジュールは、連続する画像内のシーンが画像の左下に向かって移動、右上に移動、左上に移動、または画像の右下に移動することをグレイプロジェクションが示すかどうか決定する。シーンが左下に向かって移動するか、または右上に向かって移動する場合、ＡＩＤの向きは時計回りに回転され、シーンが右下に向かって移動するか、または左上に向かって移動する場合、ＡＩＤの向きは反時計回りに回転される。ＡＩＤの向きを変更するために、制御モジュールは、ロータリアクチュエータにＡＩＤを回転させるように、または何らかの他の措置をとるように指示してもよい。

水平（ｘ’）変位が閾値変位内である場合、および垂直（ｙ’）変位が画像間で一定である場合（「はい」矢印）、制御モジュールは、８１２で、図１０を参照して下記に記載されているように、ＡＩＤの追跡速さを決定するための開始点として使用される画像間の垂直変位の量に基づいて画像の追跡速さを決定する。

図９Ａおよび図９Ｂは、撮像デバイスを視運動の方向と位置合わせするために使用される連続する画像およびグレイプロジェクションを例示する。図９Ａは、第１の画像９００を示し、図９Ｂは、位置合わせ手順中の第２の連続する画像９０２を示す。画像９００の垂直グレイプロジェクション９０４および水平グレイプロジェクション９０６が決定される。画像９０２の垂直グレイプロジェクション９０８および水平グレイプロジェクション９１０も決定される。図９Ｂは、垂直グレイプロジェクション９０８とオーバーレイされた垂直グレイプロジェクション９０４を示し、水平グレイプロジェクション９０６は、水平グレイプロジェクション９１０とオーバーレイされて示されている。

２つの画像間の水平変位９１２（ｘ’）が、水平グレイプロジェクションに基づいて決定される。２つの画像間の垂直変位９１４（ｙ’）が、垂直グレイプロジェクションに基づいて決定される。制御モジュールは、８０８でこれらの変位を使用し、ＡＩＤの向きをさらに調整するかどうか決定する。たとえば、撮像されるシーンに対する撮像システムの方向および移動は、ベクトル９１６に沿うものであり、垂直からのその角度は、角度９１８である。この例では、ベクトル９１６は、移動の方向（ｙ）と十分に平行ではなく、その結果、制御モジュールは、多軸位置決め機構に、追跡軸を角度９１８だけ回転されるように配向するように指示し、これは、ロータリアクチュエータが使用される場合、ＡＩＤを回転させることによって、または２つのリニアアクチュエータを使用する実施形態では、２つのリニアアクチュエータの速さおよび移動距離をこのように（図１５Ａ～Ｄのように）して設定することによって行われてもよい。

図１０は、撮像システムの追跡速さおよび行程長さを決定するための例示的なプロセス１０００を示すフロー図である。１００２では、撮像システムの制御モジュールは、多軸位置決め機構に、推定追跡速さでＡＩＤを移動させ、複数のサイクルにわたって開始位置に戻るように指示する。推定追跡速さは、図８の８１２でなど、位置合わせ手順中に決定されてもよい。ＡＩＤは、追跡に使用されるリニアアクチュエータの最高の速さで開始位置に戻されてもよい。行程長さの終点および開始点は、速さ調整手順中にアクチュエータの適切に長い使用可能な行程を有するように、「原位置」または追跡軸の中央位置（たとえば、追跡レール１２０に沿った中点）から等しい距離になるように設定されてもよい。

１００４では、連続する画像が取り込まれ、制御モジュールは、連続する画像のグレイプロジェクションを決定する。ＡＩＤの移動は、この点では、（図８に例示されているように）位置合わせ手順中に運動を補償するように調整されるので、１００４における画像取込みのフレームレートは、位置合わせ段階におけるものより長くなるように設定されてもよい。

１００６では、制御モジュールは、図８を参照して上記で論じられているものと同じまたは同様にして、垂直グレイプロジェクション変位および水平グレイプロジェクション変位を決定する。

１００８では、制御モジュールは、連続する画像の水平グレイプロジェクションに基づいて、水平変位（ｘ’）（または水平変位の速さ）が０であるか、または連続する画像間の閾値変位内にあるかどうか決定する。

水平変位が閾値内にない場合（「いいえ」矢印）、制御モジュールは、１０１０で、ロータリアクチュエータが使用される場合、ロータリアクチュエータを回転させるように指示することによってなど、図８の８１０に関して記載された手順と同様に、ＡＩＤに向きを変更するように指示することによってなど、追跡軸の向きを変更する。２つのリニアアクチュエータが使用される場合（図１５Ａ～Ｄなど）、２つのリニアアクチュエータについて新しい速さおよび移動距離を設定することによって、追跡軸が再配向される。これは、ＡＩＤの向きを微調整する。

１０１２では、制御モジュールは、連続する画像の垂直グレイプロジェクションに基づいて、連続する画像の垂直速さ（または垂直変位）が０であるか、または連続する画像間の閾値速さ内にあるかどうか決定する。垂直速さが閾値内にない場合（「いいえ」矢印）には、制御モジュールは、１０１４で、ＡＩＤに、視運動を補償するために追跡に使用されるリニアアクチュエータの速さを変更するように指示する。

１０１６では、制御モジュールは、ＡＩＤを、次のサイクルのためにその開始位置に戻す。１０１８では、制御モジュールは、垂直グレイプロジェクションから、垂直変位（Δｙ’）が連続する画像間で所望の値にあるかどうか決定する。実施形態では、制御モジュールはこれを、サイクル時間（たとえば、開始位置から行程長さに沿ったＡＩＤの移動の開始から、ＡＩＤが開始位置に戻されたときまでの時間）を測定、計算、または他の方法で決定することによって決定し、追跡速さがサイクル時間で乗算され、サイクル間の垂直変位を決定する。垂直変位は、所望の変位と比較される。実施形態では、所望の変位は、多バンド光学フィルタの単一のバンドの長さから、連続するサイクルにおいて撮られた露光像間の所望の重なり合いを引いたものに基づく。

垂直変位（Δｙ’）が連続する画像間の許容される値にない場合（「いいえ」矢印）には、制御モジュールは、１０２０で、撮像デバイスにＡＩＤの行程長さを調整するように指示する。行程長さは、連続するサイクルにおいて撮られた露光像間の重なり合いが、画素の所定の範囲（たとえば、３００画素または他の画素数）など、所定の変位範囲内であるように調整される。

１０２２では、制御モジュールは、パラメータが撮像に許容されるかどうか決定する。パラメータは、上記で論じられているように、垂直変位（Δｙ’）、水平変位（Δｘ’）、および連続するサイクルにおいて撮られた露光像から決定された垂直速さを含む。

パラメータが許容される値にない場合（「いいえ」矢印）には、制御モジュールは、パラメータが許容されるものになるまで（または、撮像サイクルの閾値数が達成されるまで）、プロセスを繰り返す。パラメータが許容される値にある場合（「はい」矢印）には、制御モジュールは、１０２４で、撮像のためにパラメータを設定し、これらは、図１２に関連して記載されているように、後で撮像段階中に使用される。

図１１Ａ～Ｃは、それぞれ連続する画像１１００、１１０２、１１０４を、また、撮像デバイスの移動の速さおよび行程長さを決定するために使用される関連のグレイプロジェクションを例示する。画像１１００、１１０２、１１０４は、ＡＩＤが連続するサイクルにおいてその行程長さに沿って移動される間に撮られる。制御モジュールは、画像１１００の垂直グレイプロジェクション１１０６および水平グレイプロジェクション１１０８と同様に、画像１１００の垂直グレイプロジェクション１１１０および水平グレイプロジェクション１１１２とを決定する。図１１Ｂは、垂直グレイプロジェクション１１０６が垂直グレイプロジェクション１１１０とオーバーレイすること、および水平グレイプロジェクション１１０８が水平グレイプロジェクション１１１２とオーバーレイすることを示す。図１１Ａ～Ｂに例示されている例では、撮像デバイスの向きが撮像されるシーンの視運動の方向を補償するように変更されたとき水平変位（Δｘ’）はない。（図１０に戻ると、この決定は、１００８でなされる。）

図１１Ａ～Ｂに例示されている例では、連続する画像間に少量の垂直変位１１１４がある。したがって、制御モジュールは、視運動の速さを補償するために、追跡速さを調整する。（図１０に戻ると、この決定は、１０１２でなされ、調整は１０１４でなされる。）

図１１Ｃに例示されている例では、第３の連続する画像１１０４が、その垂直グレイプロジェクション１１１６が画像１１０２の垂直グレイプロジェクション１１１０とオーバーレイされた状態で、またその水平グレイプロジェクション１１１８が画像１１０２の水平グレイプロジェクション１１１２とオーバーレイされた状態で示されている。垂直変位１１２０が画素の所望の範囲（たとえば、３００画素）より大きい、または小さい場合には、追跡行程長さが調整され、変位をテストするためにさらなるグレイプロジェクションが得られる。（図１０に戻ると、この決定は、１０１８でなされ、調整は１０２０でなされる。）

図１２は、実施形態による視運動するシーンを撮像するための例示的なプロセス１２００を示すフロー図である。１２０２では、撮像デバイスの制御モジュールは、画像を合焦するために、多軸位置決め機構を制御し、光学系から撮像デバイスまでの距離（ｚ）を設定する。制御モジュールは、撮像デバイスの焦点長を設定するようにリニアアクチュエータを動作させてもよい。

１２０４では、制御モジュールは、多バンド光学フィルタの光学フィルタバンドの異なるバンドが異なる量の光を通過させることを考慮して、各サイクルについて１つまたは複数の露出時間を設定する。異なる露出時間で画像を撮ることもまた、システムが高ダイナミックレンジ撮像（たとえば、異なるパラメータで撮られたいくつかの画像を単一の画像に組み合わせること）を実施することを可能にする。たとえば、撮像されるシーンが、ある部分では照明過剰、別の部分では照明不足である場合には、撮像システムは、異なる露出時間で撮られた２つ以上の画像を組み合わせ、すべての部分で適正に照らされたか、またはより均一に照らされたように見える画像を生成してもよい。

１２０６では、制御モジュールは、１２０４で計算された露出時間が撮像デバイスの行程長さの時間（たとえば、サイクル時間から多軸位置決め機構がＡＩＤを開始位置に戻すためにかかる時間を引いたもの）未満であるかどうか決定する。サイクル時間は、多軸位置決め機構がＡＩＤを開始位置から行程長さに沿って終了位置に移動し、次いでＡＩＤを開始位置に戻すためにかかる時間量である。したがって、サイクル時間は、追跡速さ、行程長さ、および多軸位置決め機構がＡＩＤを開始位置に戻すように構成されている速さに依存する。少なくとも追跡速さと行程長さは、図１０に関連して記載されているように、事前に決定される。

露出時間が行程長さの時間未満でない場合（「いいえ」矢印）、制御モジュールは、１２０８で、露出時間を、サイクル時間から多軸位置決め機構がＡＩＤを開始位置に戻すためにかかる時間を引いたもの以下になるように設定する。

１２１０では、制御モジュールは、多軸位置決め機構に、追跡するためのリニアアクチュエータを制御することによってなど、追跡軸に沿って追跡速さおよび行程長さで移動するように指示する。これによりサイクルが始まる。

１２１２では、制御モジュールは、ＡＩＤに、１２０４または１２０８で決定された露出時間の間、露光像を撮るように指示する。各フィルタバンドからの得られた画像データが保存される。１２１４では、制御モジュールは、現在のサイクル中に撮られることになる追加の露光像を、サイクル時間により可能かどうか、および／または撮像ジョブのための動作パラメータにより指定されるかどうか決定する。

可能とされ、指定される場合（「はい」矢印）、１２１６で、制御モジュールは、新しい露出時間を設定する。追加の露光像が高ダイナミックレンジ（ＨＤＲ）画像を生成するために使用されることになる場合、１２１６で設定された露出時間は、１２０４で決定された露出時間とは異なってもよく、それより長くても、短くてもよい。たとえば、第２の露出時間は、１２０４で決定された露出時間の２倍長くてもよい。露出時間は、１２０４で決定された露出時間と同じになるように設定されても、異なるように設定されてもよい。

１２１８では、追加の露光像が、単一の画素の整数倍でない連続する画像間の水平変位または垂直変位に基づいて高解像度画像を生成するためのものである場合、制御モジュールは、多軸位置決め機構に、ＡＩＤを水平または垂直にオフセットされるように位置決めするように指示する。そのような水平変位または垂直変位は、７．５画素の変位または他の非整数の変位など、そのような変位が単一の画素の正確な整数倍でない限り、画素より小さい変位であってもよく、また単一の画素より大きい変位であってもよい。水平にオフセットされた位置は、ＡＩＤの２つの隣接する、もしくは隣り合う画素間の距離未満、または２つの画素間の距離の何らかの他の非整数倍など、ある距離だけ追跡軸に対して直交する横断方向軸に沿ってＡＩＤを移動させることによって得ることができる。垂直にオフセットされた位置は、前の露光像の初期位置から画素より小さい距離または２つの隣り合う画素間の他の非整数長さだけオフセットされている位置で連続する露出をＡＩＤに開始させることによって得ることができる。初期露光像に対して水平に変位された露光像および垂直に変位された露光像の一方または両方（または水平および垂直に変位された露光像）が、比較的高い解像度の画像をもたらすために得られてもよい。

追加の露出が指定されない場合、または追加の露出が現在のサイクル中の残り時間によって可能でない場合（「いいえ」矢印）、１２２０で、撮像システムの制御モジュールは、追加のサイクルが現在の撮像ジョブ内に残っているかどうか決定する。サイクルの数は、多バンド光学フィルタ内のバンドの数、画像の所望のサイズ、および連続する露出サイクル間で指定される重なり合いの量を含む様々な要因に基づいて決定される。

より多くのサイクルが実施される場合（「はい」矢印）、１２２４で、制御モジュールは、多軸位置決め機構に、ＡＩＤを開始位置に戻すように指示する。次のサイクルが実施され、１つまたは複数の追加の露光像が各後続のサイクル中に取り込まれる。

１２２２では、すべてのサイクルが完了した後（「いいえ」矢印）、撮像システムの撮像モジュールが１つまたは複数の露光像を処理し、画像またはビデオフレームを生成する。ＨＤＲ画像を得るために、撮像モジュールは、同じサイクル中、異なる露出時間で撮られた露光像など、露光像にトーンマッピングアルゴリズムを適用する。高解像度画像を生成するために、撮像モジュールは、２つの画素間の距離の非整数倍の垂直変位または水平変位を互いに有する同じサイクル中に撮られた露光像に解像度向上アルゴリズムを適用する。複数のサイクルが使用される場合、連続するサイクルからの画像が、任意の長さを有する画像を得るために共につなぎ合わされる。多バンド光学フィルタのすべてのバンドが同じシーンに使用され、しかし互いに垂直に変位されるので、いくつかの実施形態では、つなぎ合わせ機構を使用し、多スペクトル画像を得るために各バンドからのピクチャを位置合わせする。

適切なつなぎ合わせアルゴリズムは、（異なるサイクルからの）各画像内で一致する特徴を突き止め、連続する画像間でのこれらの特徴の変位および回転を決定し、変位および回転を最大画像に適用し、両画像をそれらが重なり合うところで混合する。本開示の実施形態では、変位は事前に（ａ ｐｒｉｏｒｉ）知られており、多バンド光学フィルタのバンドの長さから所望の重なり合いを引いたものに基づく。また、多軸位置決め機構の追跡方向を視運動の方向と以前に位置合わせしているため、回転は予想されない。本開示のいくつかの実施形態は、回転が０であるという仮定に基づき、また一定の重なり合いを仮定してもよく、これは、つなぎ合わせアルゴリズムの計算の複雑さを単純化し、これは、つなぎ合わせアルゴリズムを実施するために使用されることになるデバイスの電力消費および計算要件を削減し得る。また、追跡するためのリニアアクチュエータの追跡方向および速さが撮像されることになるシーンの視運動を補償するように設定されるので、いくつかの実施形態では、ぼけを解消するために後処理が使用されないか、または削減され、計算の複雑さおよび処理中に消費される電力をさらに削減する（しかし、ぼけを低減するためのそのような後処理は、実施形態の範囲から逸脱することなく使用されてもよい）。

パンクロマチックビデオの場合、２つのモードが使用可能である。最初に、ビデオの所望の持続時間が単一の追跡運動の持続時間より短い場合、ビデオは、追跡が活動状態である間、複数の画像を撮ることによって得ることができる。得られるビデオのサイズは、パンクロマチックストリップのサイズになる。追跡サイクルが非常に短い場合、多スペクトル画像が上記のように撮られ、各多スペクトル画像がビデオの単一のフレームとして使用される。シーンが追跡に使用されるリニアアクチュエータの行程長さより長いとき、撮像装置は、ビデオ記録されるシーンの回転を補償するために回転されることを必要とすることがある。

撮像プロセス１２００中、追跡軸および追跡速さの微調整が、図１０の要素１００８、１０１０、１０１２、１０１４と同様または同じにグレイプロジェクションを使用して実施される。これは、（衛星ベースのシステム内の撮像システムを使用する実施形態では）衛星の残留ヨー運動（residual yaw motion）を補正する助けとなり得る。

図１３は、画像取込み段階中、デバイスの動作中に撮られた露光像を時間および空間に対してプロットしたグラフ１３００である。図１３に例示されている例では、一連のサイクル１３０２が複数の露光像をもたらす。各サイクル１３０２内で、３つの露光像１３０４、１３０６、１３０８が作られる。撮像されるシーンの視運動の方向および速さを補償する速さおよび方向でＡＩＤが移動されるので、各露光像１３０４、１３０６、１３０８は、同じシーンのものであり、異なる時間に行われるにもかかわらず、露光像間に変位はない。各サイクルの終了時、ＡＩＤは、時間セグメント１３１０中に開始位置に戻され、この時点で次のサイクルが始まる。連続するサイクル内に撮られる露光像は、事前に決定された量だけ互いにオフセットされる。各サイクル１３０２からの各水平画像バンド１３１２は、ＡＩＤの上に位置決めされた多光学フィルタの光学フィルタバンドの異なるバンドに対応する画像バンドを表わす。各連続するサイクルは、画像のセグメントがフィルタバンドの異なるバンドを通じて露出される露光像をもたらす。図１３に例示されている例では、各露光像について５つのバンドがある（多バンド光学フィルタ上の４つのフィルタバンドと１つのフィルタなしバンドに対応し得る）。図１３に例示されている例では、画像１３１４の一部分が５つのフィルタバンドすべてを通じて露出されている。連続する露光像間にわずかなオフセットがあるので、すべてのフィルタバンドを通じて単一のバンド画像１３１４を完全に撮像するために５つより多いサイクルがかかる。６サイクル後、単一のバンドのサイズに等しい単一のバンド画像１３１４が共につなぎ合わされ得る。１１サイクル後、ＡＩＤの能動エリアに等しい多バンド最大画像１３１６が共につなぎ合わされ得る。より多くのサイクルを使用すると、任意の長さの画像ストライプを構成することが可能である。より長い画像ストリップは、より多くのストレージ、追加の伝送時間または帯域幅、より高い圧縮率などを使用する可能性がある。

グラフ１３１８は、複数のサイクルにわたる追跡用のリニアアクチュエータ、またはＡＩＤの運動をグラフ化する。第１の部分１３２０では、ＡＩＤは、追跡軸に沿って追跡速さで前方へ移動され、次いで第２の部分１３２２では、追跡速さより高いものとなり得る速さで開始位置に戻される。

ＬＥＯ衛星撮像で使用するための例
ＬＥＯ衛星の軌道は、たとえば、典型的な状況において高さ７００ｋｍとなり得る。この高度では、軌道周期は９８分３７秒、地上に対する投影速度（projected velocity）は６７６４ｍ／秒である。望遠鏡は、３０ｃｍの口径および２．５ｍの焦点長を有するカセグレンであり得る。したがって、地上の各１ｍは、焦点面上に３．６μｍ画像として投影されることになり、２４．２ｍｍ／秒で移動していることになる。追跡用のリニアアクチュエータは、画像の移動を補償するために、少なくともこの速度で移動することが可能である。追跡用のリニアアクチュエータの最速は、追跡用のリニアアクチュエータを開始位置に戻すのにかかる時間を削減するために、数倍高くてもよい。最後に、カメラが、５つのフィルタバンドおよび２０００×２０００画素、それぞれ幅５μｍを有し、画像間の所望の重なり合いが１００画素である場合には、追跡のためのリニアアクチュエータの行程長さは、１．２ｍｍとなり得る。各サイクルは、約５０ｍｓかかることになる。近似的な光分析は、各サイクル中にいくつかの露光像を撮るのに十分な時間があるために、露出時間は約１０ｍｓになることを示す。前述のように、これをＨＤＲおよび／またはより高解像度の画像を得るために使用することができる。

この例では、サイクル時間は、２つの反対の極端な条件について計算され得る。第１の極端な条件では、衛星は、最も低いＬＥＯ軌道（１６０ｋｍ）にあり、４ｍの焦点長さを有する望遠鏡を有する。サイクル時間は、約２０ｍｓとなる。２０ｍｓのサイクル時間を提供することは、航空機および宇宙機に搭載された撮像システムなど本明細書に記載の撮像システムを実装するのにほどよく適したものとなる、エレクトロニクス、モータ、他の機械部品、およびソフトウェアを含む使用可能なハードウェアおよびソフトウェア構成要素の能力内に十分収まる。５０ｃｍ以下の口径が必要とされる。

第２の極端な条件では、衛星は、最も高いＬＥＯ軌道（２０００ｋｍ）にあり、１．５ｍの焦点長さを有する望遠鏡を有する。そのサイクル時間は、約１秒となる。１０ｃｍ程度の小さい口径の場合でさえ、露出時間は、サイクル時間より数分の１である。これもまた、使用可能な構成要素の能力内に十分収まる。

例示的な撮像システム
図１４は、視運動を有するシーンを撮像するために使用可能な例示的な撮像システム１４００のブロック図である。撮像システム１４００は、ＬＥＯ衛星など衛星１２２のような航空機または宇宙機にすべて、または部分的に搭載されてもよい。いくつかの実施形態では、撮像システム１４００の構成要素のいくつかは、地上ベースの、または別個の航空機もしくは宇宙機に搭載されてもよく、そのような地上ベースの、または別個の航空機もしくは宇宙機は、実際の光学システム（とりわけ、望遠鏡、多軸位置決め機構１０４、およびＡＩＤ５０２）を含むシステムと通信する。撮像システム１４００は、任意の好適なコンピューティングデバイスまたはシステムとして構成される。メモリ１４０２は、１つまたは複数のプロセッサ１４０４上でロード可能かつ実行可能であるプログラム命令およびプログラムモジュール、ならびに画像データ、画像など、これらのプログラムの実行中に生成され、および／またはこれらのプログラムと共に使用可能であるデータを記憶することができる。

メモリ１４０２は、少なくとも制御モジュール１４０６および撮像モジュール１４０８を含む。制御モジュールは、本開示の実施形態による画像を取り込むことに関連付けられた制御機能の一部またはすべてを実施してもよい。制御モジュール１４０６は、１つまたは複数の電子コントロール１４１２（１つまたは複数のリミットスイッチ、チェック、閉ループアクチュエータコントロールなどを通じてアクチュエータ１４１０を順に動作させ得るコントローラなど）を通じてアクチュエータ１４１０を制御し、多軸位置決め機構１０４の様々な機械面を移動、位置決め、または他の方法で操作することを含めて、１つまたは複数の入力／出力インターフェースを通じてなど、多軸位置決め機構１０４を制御するように１つまたは複数のプロセッサによって実行可能である。アクチュエータ１４１０は、たとえば、合焦用のリニアアクチュエータ、ロータリアクチュエータ、追跡用のリニアアクチュエータ、画素より小さい横断方向アクチュエータ、ならびに本開示の様々な実施形態による他のアクチュエータおよびそれらのバリエーションを含む。

制御モジュール１４０６は、１つまたは複数の入力／出力インターフェースを通じてなど、ＡＩＤ５０２を制御するように１つまたは複数のプロセッサ１４０４によって実行可能である。ＡＩＤ５０２は、本開示の様々な実施形態による、撮像されるシーンの視運動を補償するためにＡＩＤが移動されている間、露光像を取り込むための多軸位置決め機構１０４の制御と同期されてなど、１つまたは複数の露光像を取り込むように制御され得る。

エリア撮像デバイス５０２は、ＡＩＤ５０２の様々な機能を実施するか、または他の方法で制御するために、１つまたは複数のプロセッサ１４１４およびファームウェア１４１６（好適な非一時的コンピュータ可読記憶媒体に記憶される）を含み得る。ファームウェア１４１６は、露光時間を制御し、露光像取込みを計時し、グレイプロジェクションを決定し、画像データ１４１８をメモリ１４０２上に記憶するなどのために１つまたは複数のプロセッサ１４１４によって実行可能であり得る。

ＡＩＤ５０２は、たとえば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、または他の好適なセンサアーキテクチャをＡＩＤ５０２の能動表面５１６上に実装するのに適した半導体構成要素など、感光センサ１４２０をも含む。

撮像モジュール１４０８は、ＨＤＲ画像を生成するためのトーンマッピング、高解像度画像を生成するための解像度向上アルゴリズム、および複数の部分的に重なり合う露光像から画像を生成するためのつなぎ合わせアルゴリズム、ならびにぼけ除去、アーチファクト除去、色向上、クロッピング、画像変換、画像圧縮、データ暗号化など他の処理機能を含む、撮像システム１４００の様々な画像処理機能を実施する。

実施形態では、ＡＩＤ５０２のファームウェア１４１６は、制御モジュール１４０６および撮像モジュール１４０８の一方または両方の延長と考えられてもよく、制御モジュール１４０６および／または撮像モジュール１４０８の機能の一部またはすべてが、１つまたは複数のプロセッサ１４１４上で実行されるファームウェア１４１６上で、またはそれによって実施される。いくつかの実施形態では、制御モジュール１４０６、撮像モジュール１４０８の機能の一部もしくはすべての機能、および／またはファームウェア１４１６の他の機能は、１つまたは複数のプロセッサ１４０４上の論理機能として実装されてもよい。たとえば、いくつかの実施形態では、１つまたは複数のプロセッサ１４０４は、制御モジュール１４０６の様々な制御機能および／または撮像モジュール１４０８の画像処理機能を含む様々な機能を実施するために、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などプログラマブルロジックデバイス、または他の論理回路を含むことができる。

コンピュータ可読媒体
使用されるコンピューティングデバイスの構成およびタイプに応じて、図１４における撮像システム１４００のメモリ１４０２、ならびにＡＩＤ５０２内でファームウェア１４１６を記憶するための媒体は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）など）、および／または不揮発性メモリ（読取り専用メモリ（ＲＯＭ）、フラッシュメモリなど）を含むことができる。メモリ１４０２、ならびにＡＩＤ５０２内でファームウェア１４１６を記憶するための媒体は、それだけには限らないが、コンピュータ可読命令、データ構造、プログラムモジュール、および撮像システム１４００のための他のデータの不揮発性ストレージを提供することができるフラッシュメモリ、磁気ストレージおよび／もしくは光学ストレージ、ならびに／またはテープストレージを含む追加の取外し可能ストレージおよび／または取外し不可ストレージをも含むことができる。

メモリ１４０２、ならびにＡＩＤ５０２内でファームウェア１４１６を記憶するための媒体は、非一時的コンピュータ可読媒体の一例である。非一時的コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなど、情報を記憶するための任意のプロセスまたは技術で実装される揮発性媒体および不揮発性媒体、取外し可能媒体および取外し不可媒体を含む。コンピュータ記憶媒体は、それだけには限らないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去・プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ（１つまたは複数の不揮発性メモリカードに含まれ、シングルレベルセル技術およびマルチレベルセル技術でのフラッシュを含むＮＡＮＤフラッシュメモリなど）もしくは他のメモリ技術、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、またはコンピューティングデバイスによるアクセスに対して情報を記憶するために使用することができる任意の他の非伝送媒体を含む。

他の例
図１５Ａ～Ｄは、撮像デバイスを追跡するための複数の直線軸を有する多軸位置決め機構を有する例示的な多軸位置決め機構１５００の等角図および側面図を示す。撮像デバイス１５００は、ＡＩＤ５０４が配置されて示されているが、ＡＩＤ５０４の他に、実施形態の範囲から逸脱することなく異なる画像取込みデバイスが使用されてもよい。図１５Ａは、第１の構成にある撮像デバイス１５００の等角図を示し、図１５Ｂはその側面図を示す。ＡＩＤ５０４は、摺動プラットフォーム１５０２上に配置され、摺動プラットフォーム１５０２は、レール部１５０４上に位置する。レール部分１５０４は、それ自体、摺動プラットフォーム１５０６上に位置し、摺動プラットフォーム１５０６は、レール部１５０８上に位置する。レール部１５０８はウェッジ１５１６上に位置し、ウェッジ１５１６は、摺動プラットフォーム１５１０上に位置する。摺動プラットフォーム１５１０は、レール部１５１２上に位置する。レール部１５１２は、ウェッジ１５１４上に位置する。リニアアクチュエータが、レール部分１５０４、１５０８、１５１２に沿って、それぞれ摺動プラットフォーム１５０２、１５０６、１５１０の摺動を制御する。

図１に例示されている位置では、レール部分１５０４、１５１２が同じ軸上で位置合わせされており、ｘ軸に沿って位置合わせされると考えることができる。レール部分１５０８は、レール部分１５０４、１５１２に対して直交しており、ｙ軸に沿って位置合わせされると考えることができる。

最上部のレール部分１５０４、およびその対応するアクチュエータは、ある緩い公差（たとえば、５°から１０°、またはいくつかの他の範囲の許容度）で（宇宙機または航空機の向きを調整することによってなど）視運動の方向と位置合わせされる。最上部のレール部分１５０４および中間のレール部分１５０８に取り付けられたアクチュエータは、制御モジュール（制御モジュール１４０６など）によって共に対象シーンの見かけの移動の方向で、たとえば追跡軸ｙ’に沿って、移動（および速さ）を構成するように制御される。制御モジュール１４０６は、最上部のレール部分１５０４および中間のレール部分１５０８にそれぞれ結合された最上部のアクチュエータおよび中間のアクチュエータを使用して、プラットフォーム１５０２、１５０６を移動させるようにＡＩＤ５０４の移動を制御する。制御モジュールは、先に論じた実施形態（図１～６で論じたものなど）のように１つまたは複数のサイクルを通じてＡＩＤ５０４を移動させる。図７～１２で論じられているものと同じまたは同様の手順が撮像デバイス１５００と共に使用され、追跡軸を位置合わせし、各アクチュエータの移動の速さを決定し、１つまたは複数のサイクルを通じて１つまたは複数の露光像を生成し、上記で論じたように画像を生成する。

下部のレール部分１５１２、およびその対応するアクチュエータは、アクチュエータを合焦するために制御モジュールによって制御される。下部のレール部分１５１２は、ウェッジ１５１４上で（ある角度で）位置決めされ、したがってその移動により、ＡＩＤ５０４がｘ方向およびｚ方向に変位することになり、いくつかの実施形態では、ｚ方向の移動は、合焦のためのものである。ｘ方向の移動は、ｘステージ（たとえば、最上部のレール部分１５０４に沿って最上部のプラットフォーム１５０２）を移動させることによって補償され得る。第２のウェッジ１５１６を使用し、傾きを補償し、ＡＩＤ５０４を多軸位置決め機構１５００の下部に対して実質的に水平位置に戻す。

図１５Ｃは、プラットフォーム１５０２、１５０６、１５１０のそれぞれが、それらのそれぞれのレール部分１５０４、１５０８、１５１２に沿って移動された多軸位置決め機構１５００の等角図を示す。図１５Ｄは、図１５Ｃと同じ構成の側面図を示す。

終わりに
本開示は、構造上の特徴および／または方法上の行為に特有の文言を使用しているが、本発明は、記載の特定の特徴または行為に限定されない。そうではなく、特定の機能および行為は、本発明を実施する例示的な形態として開示されている。

Claims (10)

1. シーンを撮像するための衛星ベースの撮像システムであって、
   複数の画素センサを有するエリア撮像デバイスと、
   複数のフィルタバンドを含む多バンド光学フィルタであって、各フィルタは異なるスペクトル透過率を有する、該多バンド光学フィルタと、
   前記エリア撮像デバイスを追跡軸に沿って移動させるように動作可能な位置決め機構と、
   前記エリア撮像デバイスを１つまたは複数のサイクルにおいて移動させるように前記位置決め機構に指示し、
   各サイクルについて１つまたは複数の露出時間を設定し、および、
   前記１つまたは複数のサイクルの各々の間中に１つまたは複数の露光像を撮るように前記エリア撮像デバイスに指示し、前記１つまたは複数の露光像の各々は、前記１つまたは複数の露出時間の１つの露出時間を有し、それによって、前記１つまたは複数の露光像の各露光像は、前記多バンド光学フィルタの前記複数のフィルタバンドを通して前記エリア撮像デバイスを露光することによって生成された複数のバンドを含む、
   ように構成された制御モジュールと、
   を備えたことを特徴とする衛星ベースの撮像システム。
2. 少なくとも前記１つまたは複数の露光像に基づいて、前記シーンの画像又はビデオを形成するように構成された撮像モジュールをさらに備え、前記撮像モジュールは、地上ベースであり、衛星に搭載、又は、別個の航空機若しくは宇宙機に搭載されることを特徴とする請求項１に記載のシステム。
3. 前記制御モジュールは、前記１つまたは複数のサイクルの各々の間中に少なくとも１つの第１の露光像および少なくとも１つの第２の露光像を撮るように、前記エリア撮像デバイスに指示するようにさらに構成され、前記少なくとも１つの第１の露光像は第１の露光時間を有し、および前記少なくとも１つの第２の露光像は第１の露光時間とは異なる第２の露光時間を有し、
   前記撮像モジュールは、前記１つまたは複数のサイクルの共通サイクルの間中に撮られた前記少なくとも１つの第１の露光像および前記少なくとも１つの第２の露光像の部分画像又は最大画像に基づいて画像を生成するようにさらに構成されたことを特徴とする請求項２に記載のシステム。
4. 前記シーンのセグメントは、前記複数のフィルタバンドの異なるバンドを通じて、前記１つまたは複数の露光像の連続する露光像で露出されることを特徴とする請求項２又は３に記載のシステム。
5. 前記１つまたは複数の露出時間は、前記多バンド光学フィルタに基づいて設定されることを特徴とする請求項４に記載のシステム。
6. 前記制御モジュールは、
   前記１つまたは複数のサイクルの各々において１つまたは複数の露光像を撮るように前記エリア撮像デバイスに指示し、それによって、１つまたは複数の露光像の各々は、前記多バンド光学フィルタの前記複数のフィルタバンドを通じて、前記エリア撮像デバイスを露光することによって生成された複数のバンドを含み、
   前記シーンのセグメントは、連続するサイクルの間中に撮られた前記１つまたは複数の露光像における前記多バンド光学フィルタの前記複数のフィルタバンドを通じて露光され、
   それによって、１つのサイクル中に撮られた１つまたは複数の露光像における前記複数のフィルタバンドの第１のフィルタバンドを通じて露光された前記シーンのセグメントは、後続のサイクル中に撮られた前記１つまたは複数の露光像における前記複数のフィルタバンドの前記第１のフィルタバンドとは異なる前記複数のフィルタバンドの第２のフィルタバンドを通じて少なくとも部分的に露光され、および、後続のサイクル中に撮られた前記１つまたは複数の露光像は、前の１つまたは複数の露光像に対して前記シーンの部分的空間的な重なりを有する
   ようにさらに構成され、
   前記撮像モジュールは、前記１つまたは複数のサイクルの各々の間中に撮り込まれた、空間的に重なり合う露光像と共につなぎ合わせることによって、前記シーンの多スペクトル画像又はビデオフレームを形成するようにさらに構成されたことを特徴とする請求項４に記載のシステム。
7. 前記制御モジュールは、
   前記１つまたは複数のサイクルの各々の間中に前の露光像の初期位置からオフセットされた位置に、前記エリア撮像デバイスを移動させるように前記位置決め機構に指示し、前記オフセットは、前記エリア撮像デバイスの前記複数の画素センサの画素間での１つのサブ画素距離又は複数のサブ画素距離であり、
   前記エリア撮像デバイスに、前記１つのサブ画素距離又は前記複数のサブ画素距離で１つまたは複数の露光像を撮らせる、
   ようにさらに構成され、および、
   前記撮像モジュールは、前記１つまたは複数のサイクルの各々から、前記１つまたは複数の露光像に基づいて画像又はビデオを形成するようにさらに構成されたことを特徴とする請求項２ないし６のいずれか１つに記載のシステム。
8. 前記オフセットは、サブ画素水平オフセットを獲得するように、前記追跡軸に対して直交する横断方向軸に沿っており、
   前記オフセットは、サブ画素垂直オフセットを獲得するように、前記追跡軸に沿っており、
   前記オフセットは、サブ画素垂直および水平オフセットを獲得するように、前記横断方向軸および前記追跡軸の両方に沿っている、
   ことを特徴とする請求項７に記載のシステム。
9. 前記制御モジュールは、部分的に重なり合う複数の露光像を生成するために、前記１つまたは複数のサイクルの各々の間中に前記１つまたは複数の露光像を撮るように前記エリア撮像デバイスに指示するようにさらに構成され、
   前記撮像モジュールは、前記１つまたは複数のサイクルの各々の間中に撮り込まれた、部分的に重なり合う複数の露光像に基づいて前記シーンの画像又はビデオを形成するようにさらに構成されたことを特徴とする請求項２ないし８のいずれか１つに記載のシステム。
10. 前記制御モジュールは、連続するサイクルにおいて撮られた前記１つまたは複数の露光像の間の重なりが所定の画素の範囲内であるように、行程長を調整するようにさらに構成されたことを特徴とする請求項９に記載のシステム。

Images