JP6573959B2 - マルチスペクトルデータの幾何学的参照付けのための方法およびシステム - Google Patents

Description

発明の分野
本発明は、例えばエアリアルイメージングまたはインダストリアルイメージングにおける画像取り込みの分野に関する。より特定的には、本発明は、マルチスペクトル画像を取得するための検知システム、対応する画像化システムおよびそれらの使用方法に関する。

発明の背景
ハイパースペクトルイメージングは、スペクトルイメージングの一形態であり、ハイパースペクトルイメージングでは、電磁スペクトルからの情報が多くの狭スペクトル帯域で収集されて処理される。収集されたさまざまなスペクトル画像から、画像化される物体の情報を導き出すことができる。例えば、特定の物体は、物体の状態に左右される場合さえある固有のスペクトルシグネチャを画像に残すので、マルチスペクトルイメージングによって取得される情報は、画像化される領域内の物体の存在および／または状態に関する情報を提供することができる。画像化される予定のスペクトル領域の選択後にこの完全なスペクトル領域内のスペクトル画像を取得することができるので、物体の詳細な予備知識を持つ必要がなく、後処理によって全ての入手可能な情報を取得することが可能になるであろう。元来、ハイパースペクトルリモートセンシングは主に採鉱および地質学で使用されていたが、生態学、農業およびサーベイランスなどの他の用途もその画像化技術を活用する。

ハイパースペクトルリモートセンシングが使用されるいくつかの農業的および生態学的用途が知られており、例えば作物の発育および健康のモニタリング、ブドウ品種の検出、個々の樹冠のモニタリング、植物の化学組成の検出および病気の発生の早期発見、環境汚染および他の環境要因の影響のモニタリングなどは、対象の農業的用途の一部である。ハイパースペクトルイメージングは、生物物理学的特性を検出するための内陸および沿岸水域の調査にも用いられる。鉱物学では、金またはダイヤモンドなどの貴重な鉱物の検出がハイパースペクトルセンシングを用いて実行可能であるが、パイプラインおよび天然井戸からの石油およびガスの漏出の検出も想定される。地球上またはさらには他の惑星、小惑星または彗星での土壌組成の検出も、ハイパースペクトルイメージングの考えられる用途である。サーベイランスでは、例えば生き物の検出のためにハイパースペクトルイメージングを実行することができる。

いくつかの用途では、対象の１つのスペクトル域において領域の完全な二次元画像を収集し、その後、対象の他のスペクトル域において当該領域の他の完全な二次元画像を収集し、その際に合間にスペクトルフィルタを切り換えることによって、マルチスペクトルデータを取得することができる。しかし、このデータ収集方法は、特に関心領域および画像化システムが互いに対して大きく相対的に移動する場合には、必ずしも可能であるとは限らない。

相対的移動に鑑みて、位置情報の正確な決定が、収集された異なるスペクトルデータの正しい解釈に重要である。公知のシステムは、グローバルポジショニングシステム（global positioning system：ＧＰＳ）および／または慣性計測装置（inertial measurement unit：ＩＭＵ）を活用する。

本出願人の名の下における国際特許出願公開番号第ＷＯ２０１１／０７３４３０ Ａ１号は、検知装置に対する相対的移動の際に関心領域の幾何学的に参照付けられたマルチスペクトル画像データを取得するための検知装置を開示している。当該検知装置は、第１の二次元センサ要素を備えている。当該検知装置は、第１のセンサのさまざまな部分を用いて、検知装置に対する関心領域の上記相対的移動中に後続のマルチスペクトル画像を取得し、それによって、関心領域のさまざまな部分についてのスペクトル的に別個の情報を提供するように適合されている。当該検知装置は、第２の二次元センサ要素も備え、第２のセンサ要素を用いて、別個のスペクトル情報に結び付けられるべき幾何学的参照付け情報を生成するために関心領域の画像を提供するように適合されている。

公知のセンサ装置は、（第１のセンサ要素による）スペクトルデータと（第２のセンサ要素による）幾何学的データとを同一のフレームレートで、例えば１秒当たり５０フレームで取得する。

フレームレートをさらに増加させると、公知のセンサ装置は、処理するのが困難であろう大量のデータを生成し、スペクトルデータと幾何学的データとの位置合わせが計算的に厳しくなる。

この不利な点は、公知のセンサ装置を、多数のスペクトルチャネルを必要とする用途に適さなくする可能性がある。そして、スペクトルの全ての関連する帯域において完全な空間的カバレージを保証するためには非常に高いフレームレートが必要とされる。

発明の概要
本発明の実施例の目的は、先行技術のセンサ装置の不利な点を少なくとも部分的に克服することである。

より特定的には、本発明の実施例の目的は、スペクトル検知要素のフレームレートを増加させた状態で効率的に使用できるセンサ装置を提供することである。

本発明のある局面によれば、検知装置が提供され、上記検知装置は、上記検知装置に対する相対的移動の際に関心領域の幾何学的に参照付けられたマルチスペクトル画像データを取得するためのものであり、上記検知装置は、少なくとも第１の二次元センサ要素を備え、上記検知装置は、上記第１のセンサ要素を用いて、上記検知装置に対する上記関心領域の上記相対的移動中に後続のマルチスペクトル画像を取得し、それによって、関心領域のさまざまな部分についての別個のスペクトル情報を提供するように適合され、上記検知装置はさらに、第２の二次元センサ要素を備え、上記検知装置は、上記第２のセンサ要素を用いて、上記別個のスペクトル情報に結び付けられるべき幾何学的参照付け情報を生成するために上記関心領域の画像を提供するように適合され、上記第１の二次元センサ要素は、第１のフレームレートで第１の一連のフレームを取り込むように動作可能であり、上記第２の二次元センサ要素は、第２のフレームレートで第２の一連のフレームを取り込むように動作可能であり、上記第１のフレームレートは、上記第２のフレームレートよりも高く、上記検知装置は、上記第２の一連のフレームからの同期フレームを利用できない上記第１の一連のフレームのフレームに対して結び付けられるべき中間幾何学的参照付け情報を生成するように構成されたプロセッサをさらに備え、上記中間幾何学的参照付け情報は、上記第２の一連のフレームからの１つ以上の時間的にほぼ同じフレームから導き出される。

本発明の利点は、フレームレートを減少させた状態で第２の画像センサを動作させることができ、その結果、それほど大量でない量のデータが生成されることである。したがって、この構造により、スペクトルセンサのフレームレートの増加が可能になり、ひいてはより多くの波長チャネルを有するスペクトルセンサの使用が可能になる。このようにして、非常に効率的なハイパースペクトル検知装置を提供することができる。

本発明に係る検知装置の実施例において、上記第２のフレームレートは、上記第２の一連のフレームの連続的なフレームによって画像化されるそれぞれの領域間の予め定められた重なりの量を保証するように選択される。

この実施例の利点は、適切な幾何学的参照付けを可能にするのに必要な重なりの量を提供するように第２のフレームレートを調整することができる一方、全ての関連する波長チャネルを完全に空間的にカバーするのに必要な値に第１のフレームレートを設定できることである。第１のフレームレートは、例えば少なくとも１０％、より有利に少なくとも２５％、さらに有利に少なくとも５０％、例えば６０％の前の画像との画像の重なりが確定され、その結果、後続の画像間の機器の向きの相対的変化に関する情報を検出できるようなものであってもよい。

本発明に係る検知装置の実施例において、上記第１のセンサ要素の一部を用いて第１の波長または波長域におけるスペクトル情報を取得し、上記第１のセンサ要素の別の部分を用いて第２の波長または波長域におけるスペクトル情報を取得するように、スペクトルフィルタおよび上記第１のセンサ要素が配置される。

これは、本発明に係るシステムにおいて第１のセンサ要素を実現する特に有利な態様である。

本発明に係る検知装置の実施例において、上記第１のセンサ要素および第２のセンサ要素は、同一の基板上に集積される。

この実施例の利点は、第１のセンサ要素と第２のセンサ要素との間の空間的関係が固定され、ジオレファレンス処理を容易にし、検知装置の頻繁な再校正の必要性を取除くことである。この実施例のさらなる利点は、同一のチップ上での集積および作製により、少なくとも２つのセンサの同様の熱挙動をもたらすことができ、これは、軽量ＵＡＶでは極めて重要であり得て、システムに対する熱負荷の補償は、重量の観点から一般には行われないことである。また、熱負荷の補償が全くまたはほとんど必要とされないので、センサの同様の熱挙動は他の用途でも有利であり得る。

本発明のある局面によれば、上記の検知装置を備える画像化システムが提供される。
本発明のある局面によれば、上記の画像化システムを備えるエアリアルビークルが提供される。

本発明のある局面によれば、検知装置に対する相対的移動の際に関心領域の幾何学的に参照付けられたマルチスペクトル画像データを取得するための方法が提供され、上記検知装置は、第１のセンサ要素を用いて、上記検知装置に対する上記関心領域の上記相対的移動中に後続のマルチスペクトル画像を取得し、それによって、関心領域のさまざまな部分についての別個のスペクトル情報を提供するステップと、第２のセンサ要素を用いて、上記別個のスペクトル情報に結び付けられるべき幾何学的参照付け情報を生成するために上記関心領域の画像を提供するステップとを備え、上記第１の二次元センサ要素は、第１のフレームレートで第１の一連のフレームを取り込み、上記第２の二次元センサ要素は、第２のフレームレートで第２の一連のフレームを取り込み、上記第１のフレームレートは、上記第２のフレームレートよりも高く、上記方法は、上記第２の一連のフレームからの同期フレームを利用できない上記第１の一連のフレームのフレームに対して結び付けられるべき中間幾何学的参照付け情報を生成するステップをさらに備え、上記中間幾何学的参照付け情報は、上記第２の一連のフレームからの１つ以上の時間的に隣接するフレームから導き出される。

本発明のある局面によれば、上記の方法をプロセッサに実行させるように構成されたコード手段を備えるコンピュータプログラム製品が提供される。

本発明に係る画像化システム、エアリアルビークル、方法およびコンピュータプログラム製品の実施例の技術的効果および利点は、しかるべき変更を加えた上で、本発明に係る検知装置の対応する実施例の技術的効果および利点に対応する。

ここで、本発明の実施例のこれらのおよび他の技術的局面および利点について、添付の図面を参照してより詳細に説明する。

本発明の実施例において使用され得るジオレファレンス処理されたマルチスペクトルデータを取得するための検知装置の概略図を示す。 本発明に従って向上させることができる、ＷＯ２０１１／０７３４３０ Ａ１号に開示されているジオレファレンス処理されたマルチスペクトルデータを取得するための検知装置上でのセンサ要素のレイアウトの概略図を示す。 本発明の実施例に係るシステムにおいて使用可能な複数のハイパースペクトル画像を示す。 本発明の実施例に係るジオレファレンス処理されたマルチスペクトル画像データを取得するための検知装置を備える画像化システムを示す。 本発明の実施例に係るスペクトルフレーム（Ｓ）および幾何学的フレーム（Ｇ）の取り込みのタイミング図を示す。 本発明の実施例のフローチャートを示す。 本発明の実施例において使用されるアルゴリズムのフローチャートを示す。 本発明の実施例において使用されるフィルタ処理および補間アルゴリズムを示す第１のグラフである。 本発明の実施例において使用されるフィルタ処理および補間アルゴリズムを示す第２のグラフである。

該当する場合、異なる図面において同一の参照符号は同一または類似の要素を指す。
実施例の説明
例示の目的で、上記の国際特許出願公開番号第ＷＯ２０１１／０７３４３０ Ａ１号の検知装置を参照して本発明を説明するが、これは一般性を失うことなくなされる。本発明の特徴部分は、以下の説明により詳細に記載されているように公知の検知装置のさまざまな実施例の特徴と組み合わせられてもよい。公知の検知装置の詳細については、本発明の理解に不必要であるので省略されており、ＷＯ２０１１／０７３４３０ Ａ１号の記載は、本発明の対応する実施例の実現を導く目的で、引用によって本明細書に援用される。

本発明において二次元マルチスペクトル画像に言及する場合、ｍ×ｎの画素化された画像に言及し、当該画像は、１つの波長またはスペクトル領域において画像化された関心領域の一部に関する情報を備え、異なる波長またはスペクトル領域において画像化された関心領域の少なくとも別の部分に関する情報を備える。１つのスペクトル領域内の取得されたスペクトル情報は、画素の列であってもよく、画素の群であってもよく、または画素のサブマトリックスであってもよいが、基礎をなす画素化されたセンサ全体は、一般に二次元スペクトルセンサである。本発明に係る実施例は、電磁放射の幅広いスペクトル域において適用可能であり得る。カバーされ得る特定の領域は、一般に４００ｎｍ〜１０００ｎｍの範囲内であると考えられる可視および近赤外域（visual and near IR：ＶＮＩＲ）、短波赤外域、熱赤外域などであるが、本発明の実施例は、記載されている例示的な領域に限定されるものではない。本発明の実施例においてマルチスペクトル画像またはマルチスペクトル画像データに言及する場合、少なくとも２つの異なる波長または波長領域についての関心領域に関する別々の情報を備えるデータに言及する。ハイパースペクトル画像または画像データは、多数の波長または波長領域についての別々の情報を備えるデータを指す。特記しない限り、マルチスペクトル画像への言及は、ハイパースペクトル画像を含む。

本発明に係る実施例において関心領域内の地点または物体のジオレファレンス処理（geo-referencing）または幾何学的参照付け（geometric referencing）に言及する場合、物理的空間における関心領域内の当該地点または物体の存在に言及する。それは、地図投影または座標系の観点から位置を確定することを指す。これは、例えば、位置情報、例えば相対的位置情報を含み得る。このような位置情報は、（ｘ，ｙ）関連の位置情報であってもよいが、高さまたは相対的高さなどのｚ関連の位置情報であってもよい。それは、空中写真、エアリアルイメージングまたはサテライトイメージング（それはしばしばジオレファレンス処理と称される）に適用可能であるだけでなく、例えば工業検査などの他の用途にも適用可能である。

第１の局面において、本発明は、幾何学的に参照付けられたマルチスペクトル画像データを取得するための検知装置に関する。当該検知装置は、ハイパースペクトルイメージングに特に適しているであろうが、本発明の実施例はそれに限定されるものではない。本発明の実施例に係る検知装置は、検知装置と関心領域とを用いて、互いに対する相対的移動の際に幾何学的に参照付けられたマルチスペクトル画像データを取得することに特に適しており、これは、例えば空中からの画像化が行われる場合または上面視を用いた画像化が行われる場合である。本発明の実施例に係る検知装置は、単一の基板、例えば単一のチップを備える。当該基板は、例えばガラス基板、ポリマー基板、半導体基板などの任意のタイプの基板であってもよい。いくつかの有利な実施例では、当該基板は、半導体チップであってもよく、半導体処理ステップを用いてセンサ要素の集積を行う可能性を提供する。単一のチップは、少なくとも第１の二次元センサ要素を備え、それによって、検知装置は、第１の二次元センサ要素を用いて関心領域のさまざまな部分についてのスペクトル的に異なる情報を提供するように適合される。また、単一のチップは、第２の二次元センサ要素を備え、それによって、検知装置は、第２のセンサ要素を用いて関心領域の幾何学的参照付け情報を提供するように適合される。幾何学的参照付け情報は、有利には、検知装置によって取得されたスペクトル情報に結び付けられ得る。本発明に係る実施例の利点は、少なくとも１つの第１および第２のセンサ要素が同一のチップ上で処理されることである。これによりセンサ要素の正確なアライメントが可能になり、その結果、センサ要素を互いに対して位置決めするための後続のアライメントはほとんどまたは全く不要になる。

例示として、本発明はそれらに限定されるものではないが、図１〜図３を参照して例示的な検知装置およびこのような検知装置を備える画像化システムについてさらに説明するが、本発明の実施例はそれらに限定されるものではない。

本発明の実施例に係る検知装置１００が図１に示されており、検知装置１００は、同一のチップ上で処理される、すなわち同一の基板１０２上で処理される少なくとも１つの第１のセンサ要素１１２と第２のセンサ要素１２２とを備える。したがって、第１のセンサ要素１１２および第２のセンサ要素１２２および任意のさらなるセンサ要素は、同一の基板１０２上で処理される均一または不均一に処理されたセンサ要素であってもよい。有利には、センサ要素は、同一の基板１０２上で均一に処理されたセンサ要素１１２，１２２である。センサ要素１１２，１２２は、同一の基板１０２上に集積され得て、それによって、異なるセンサ要素を構成する異なる層は、例えばＣＭＯＳ処理技術であるがそれに限定されない同一の処理技術を用いて、両方のセンサ要素１１２，１２２のために処理される。センサ要素は、一般に複数の画素を備え得る。画素は、一般に、複数の列および行のマトリックスの形態で配置され得るが、本発明はそれに限定されるものではない。センサ要素は、例えばｍ×ｎのセンサ画素のマトリックスを備える二次元センサ要素であるので、フレームセンサ要素と称されてもよい。２つのセンサ要素は、行における複数の画素または列における複数の画素のうちの少なくとも１つが両方のセンサにとって同じものであるように選択され得る。有利な実施例では、センサ要素は、比較的高い空間分解能で比較的広い関心領域を同時に画像化するために、一方向に多数の画素を備え得る。例えば検知装置がＵＡＶを用いて関心領域を検出またはモニタリングすることに用いられる場合、好ましい走査幅は、少なくとも１０００ｍ、より有利に少なくとも２０００ｍ、さらに有利に少なくとも３０００ｍであってもよい。少なくとも１ｍ、より有利に少なくとも５０ｃｍ、さらに有利に少なくとも３０ｃｍの好ましい地上分解能を考慮に入れると、一方向の画素の数は、いくつかの例では少なくとも１０００個であってもよく、他の例では少なくとも４０００個であってもよく、さらに他の例では１００００個であってもよい。例示として、本発明の実施例はそれによって限定されるものではないが、基板上のセンサ要素１１２，１２２のレイアウトの一例が図２に示されている。センサ要素１１２，１２２は、有利には、表面整列されている。２つのセンサ間の距離は、１ｍｍよりも小さくてもよいが、本発明の実施例はそれによって限定されるものではない。

検知装置１００は、センサ要素１１２，１２２を駆動するための駆動および読出回路をさらに備える。駆動および読出回路１３０は、センサ要素１１２，１２２を互いに異なって駆動するように適合され得る。駆動および読出回路１３０は、先行技術から公知の駆動および読出回路であってもよく、それによって、駆動および読出回路は、増幅器、スイッチ、バスなどのコンポーネントを備え得る。いくつかの実施例では、バスに続くマルチプレクサを回避して画質を向上させることができるように、画素設計、カラム構造およびバスドライバがレイアウトされる。また、駆動および読出回路は、センサ要素１１２，１２２を読出すように適合され得る。読出しは、効率的かつ高速の読出し用に最適化され得る。例えば、１００００×１２００センサでは、フル解像度でのフレームレートは、１秒当たり少なくとも３５フレーム、例えば１秒当たり少なくとも５０フレームであってもよい。また、駆動および読出は、異なるコンポーネントによって実行されてもよく、すなわち別の駆動回路および別の読出回路が設けられてもよい。センサは、高速シャッティング、例えば電子シャッティングを得ることができるようにシャッタを備え得る。センサ要素と駆動および読出回路とは、例えばＣＭＯＳ技術などの半導体処理を用いて同一のチップまたはダイ上で処理され得るが、本発明の実施例はそれに限定されるものではない。

本発明の実施例によれば、検知装置は、第１の二次元センサ要素を用いて関心領域のさまざまな部分についての異なるスペクトル情報を提供するように適合される。したがって、検知装置は、マルチスペクトル画像を生成するように適合され得る。いくつかの実施例では、検知装置は、ハイパースペクトルデータを、すなわち多くの狭スペクトル帯域で生成するように適合され得る。本発明の実施例に係る第１のセンサ要素が二次元センサ要素であり、異なるスペクトル情報が取り込まれるべきであるので、一般に、センサ要素の一部は、関心領域のある部分についての第１の波長または第１の波長領域におけるスペクトル情報を取得するのに使用され得て、センサ要素の少なくとも１つの他の部分は、関心領域の少なくとも別の部分についての少なくとも第２の波長または少なくとも第２の波長領域におけるスペクトル情報を取得するのに使用され得る。いくつかの実施例では、センサ要素のさまざまな行（line）が、異なるスペクトル波長または異なるスペクトル波長領域におけるデータを収集するのに使用されてもよい。他の実施例では、例えば、センサ要素のさまざまなブロックが、異なるスペクトルデータを検知するのに使用されてもよく、またはさまざまな列（column）が、異なるスペクトルデータを検知するのに使用されてもよい。異なるスペクトル情報を取り込むために、マルチスペクトルフィルタ１１４、有利にはハイパースペクトルフィルタが存在し得る。マルチスペクトルフィルタ１１４は、第１のセンサ要素１１２および第１のセンサ要素１１２を制御するための駆動および読出回路またはその一部とともに、第１のセンサを構成する。マルチスペクトルフィルタは、第１のセンサ要素に直接適用され、例えば単一の要素として機械的に挙動し得る。代替的に、２つのコンポーネントは、互いに別々であってもよいが、適切なフィルタ処理が得られるように構成または配置され得る。ここで、例示として、マルチスペクトルセンサのいくつかの例について説明する。

例示として、本発明の例示的な実施例に係るセンサを用いて取得可能な一組のハイパースペクトルデータが図３に示されている。ハイパースペクトルデータに言及するが、マルチスペクトルデータにも当てはまる。図３は、ｍ個の後続のタイムスパン中に記録された複数の後続のハイパースペクトル画像を示し、それによって、関心領域と検知または画像化システムとの間の相対的移動についてスペクトルが記録され、当該相対的移動は、合計後続タイムスパン中に移動した距離ｘｍ〜ｘ１にわたる合計シフトと一致する。

図３は、ｍ個のハイパースペクトル画像を示し、各画像は、ｍ個の行で構成され、行Ｌ_ｊは、波長λ_ｊまたは例えばスペクトル帯域λ_ｊ〜λ_ｊ−１の情報を備える。ｍ個の後続の期間内に異なる画像が記録される。例示として、異なるハイパースペクトル画像全体にわたって、関心領域の座標ｘ_ｐおよびｙ_ｑにおける物理的位置の画像化が示されている。例えば、関心領域の異なるｙ_ｑ座標についての座標ｘ_１における物理的位置に関する情報は、行１に見られる第１のハイパースペクトル画像ＨＩ_１、行２に見られる第２のハイパースペクトル画像ＨＩ_２、行３に見られる第３のハイパースペクトル画像ＨＩ_３、および行ｍに見られるｍ番目のハイパースペクトル画像ＨＩ_ｍ内にあることが分かる。これらのハイパースペクトル画像の各々において、この情報は、異なる波長または波長領域について画像化される。代替的に見ると、波長λ_ｍまたは対応するスペクトル帯域λ_ｍ〜λ_ｍ−１において画像化される関心領域に関する情報は、隣接する画像行として後続のハイパースペクトル画像の行ｍにおける情報を組み合わせることによって見つけることができ、ｍ個のハイパースペクトル画像にわたる集合体は、波長λ_ｍまたは対応するスペクトル帯域λ_ｍ〜λ_ｍ−１において画像化される関心領域のｍ×ｎ画像を構成する。同様に、ｍ個の後続のハイパースペクトル画像の他の行は、異なる波長または異なるスペクトル帯域における関心領域に関する情報を含む。これは、ハイパースペクトル画像がさまざまなスペクトル波長またはさまざまなスペクトル帯域に関する情報をどのようにして提供するか、および、関心領域および検知システムの相対的移動中に記録される後続のハイパースペクトル画像がさまざまな波長またはさまざまなスペクトル帯域についての関心領域全体の画像をどのようにして提供できるかを示している。さまざまな波長をカバーする後続の行について原理が示されているが、本発明の実施例はそれに限定されるものではなく、さまざまなスペクトル情報、例えば後続の列についてのさまざまなスペクトル情報も他の方向で取得できる、ということに注目すべきである。さらに、各々の行が異なる波長またはスペクトル領域と一致するセンサについて原理が示されているが、本発明の実施例はそれに限定されるものではなく、スペクトル画像のいくつかの行は、同一の波長またはスペクトル領域と一致してもよい。画像が少なくとも２つの異なる波長またはスペクトル領域に関する情報を備えることは、スペクトル画像の特性である。上記の原理を用いた情報の取り込みは、二次元センサ要素を用いてさまざまな波長またはスペクトル領域において二次元画像が記録され、すなわち三次元情報（２つの位置次元、１つのスペクトル次元）がもたらされるという利点を有する。言い換えれば、本発明に係るいくつかの実施例では、スペクトルデータのためのセンサ要素は、各々が所与の波長またはスペクトル領域についての位置情報を記録する一組の行またはブロック検知サブ要素として使用されてもよく、それによって、センサ要素に対する関心領域の相対的移動中の経時的な記録は、関心領域のさまざまな位置の走査と一致する。上記のように、検知装置１００は、第２の二次元センサ要素１２２をさらに備え、第２の二次元センサ要素１２２は、第２の二次元センサ要素１２２を駆動するための駆動および読出回路またはその一部とともに、第２のセンサ１２０を構成する。第２のセンサ１２０は、ジオレファレンス処理情報を取得することができる関心領域の画像を取得するように適合され得る。第２のセンサ１２０は、高分解能画像を提供し、関心領域に関する詳細な幾何学的情報、例えば地理情報を提供するように適合され得る。第２のセンサ１２０によって取得される画像は、画像化された関心領域内のタイポイントを導き出すことを可能にすることができる。

第２のセンサを用いて画像を取り込む頻度は、例えば少なくとも１０％、より有利に少なくとも２５％、さらに有利に少なくとも５０％、例えば６０％の前の画像との画像の重なりが確定され、その結果、後続の画像間の機器の向きの相対的変化に関する情報を検出できるようなものであってもよい。取得された回転に関する情報は、第１のセンサ１１０を用いて取得されたマルチスペクトルデータに結び付けてジオレファレンス処理されたマルチスペクトルデータを取得することができるようにするための、本発明の実施例に係る幾何学的参照付け情報として使用され得る。

本発明によれば、第２のセンサを用いて画像を取り込む頻度は、第１のセンサを用いて画像を取り込む頻度よりも低い。好ましくは、第２のセンサの画像取得頻度は、第１のセンサの画像取得頻度の整数分の１であり、そのため、第１のセンサを用いて取得される画像は、第２のセンサを用いて取得される画像と時間の点で周期的に一致する。第２のセンサの同期画像が存在しない第１のセンサの画像では、補間された幾何学的データを使用しなければならない。この補間された幾何学的データは、ターゲットの第１のセンサ画像に取得時間の点で最も近い第２のセンサ画像、好ましくはターゲットの第１のセンサ画像の直前および直後の第２のセンサ画像から取得される。このような画像取得頻度の差は、図５に概略的に示されている。

本発明の実施例では、プラットフォーム姿勢補間に特に適した補間アルゴリズムが使用される。補間されるパラメータは、検知装置の姿勢を表わすさまざまな角度を含む。したがって、特定の実施例では、少なくとも部分的に、角度座標における姿勢データの補間が用いられる。

本発明の実施例では、補間アルゴリズムは、検知装置および検知装置が取り付けられるプラットフォーム（例えばエアリアルビークル）の動きを支配する力学の法則を考慮に入れて、取り込まれた画像と画像との間の瞬間における検知装置の姿勢を予測するために、第１の導関数（角速度および／または線速度）および第２の導関数（角速度および／または線速度）を使用する。これらの第１および第２の導関数は、（ＧＰＳ、ジャイロスコープ、加速度計などを含む）慣性計測装置から取得され得る。

補間アルゴリズムの目的は、（少ない頻度で取得される）第２のセンサ画像に基づいて、第１のセンサ画像（スペクトル画像）ごとにプラットフォームの位置および外部標定についての正確な推定値を取得することである。これのための入力は、以下の２つの独立した供給源から取得され得る。

・フィルタ処理されたＧＰＳ／ＩＭＵ（短い時間間隔）
（位置の場合には）ＧＰＳを使用し、（姿勢の場合には）ＩＭＵを使用する：それらは、小さい時間間隔で「生の」測定データを提供する。このデータは一般にノイズが多く、個々の測定値は非常に正確ではない。「カルマンフィルタ処理」（このタイプのデータには最適なフィルタである）を用いてデータをフィルタ処理して、全ての時点において平滑な「最も妥当な」推定値を達成することが慣例である。このフィルタ処理は、「静的訂正」として図７の図に示されている。

・画像ベース（高精度）
画像データを使用する：（高品質で高空間分解能の第２のセンサ画像）。画像内の専用の点が特徴を用いてマッチングされる（地上基準点）。これは、Ｇフレームを利用できる時点についての位置および姿勢の非常に正確な推定値をもたらすことができる。

全ての第１のセンサ画像（すなわち全ての時点）についての最適な結果は、２つの情報源を組み合わせることによって取得可能である。考えられる３つの方法を列挙する。

１．訂正：フィルタ処理された結果が使用され、画像ベースの結果が利用可能になるたびに、単純なオフセットを適用することによって、フィルタ処理された結果は画像ベースの値に訂正される。このオフセットは、次のフィルタ処理された結果でも一定に保たれる。次の画像ベースの結果が利用可能になると、取得された結果を有するエラーが計算される。これはループ内でフィードバックされて、新たなオフセットが設定される。当該プロセスは、図７に示されている。

単一変数の場合の例示的な結果が、図８に提示されるグラフに示されている。測定データは丸い点であり、後続の点の間には相当なノイズがあることを示している。最下部の点線曲線は、カルマンフィルタ処理された結果を表わす。点１，１１および２１には、画像ベースの結果もある。点１においてオフセットが設定され、当該オフセットは点１０まで適用される。点１１において新たなオフセットが計算され、当該新たなオフセットは点２１まで適用される。結果は、実線曲線で示されている。点１１および２１において新たなオフセットが適用され、これは曲線に鋭い跳びを生じさせる。

２．補間：フィルタ処理されたＧＰＳ／ＩＭＵ結果を、利用可能な時点について画像ベースの結果の値に調整する。従前の方法のように固定されたオフセットを適用する代わりに、可能であれば全ての点においてオフセットが計算され、合間の全ての点について補間される。単純な線形補間を想定することができる。

この例は、図９に提示されるグラフに示されている。ここで、破線曲線は、オフセット間の線形補間を示す。最終結果において、フィルタ処理された結果の線形挙動は、補間された画像ベースの結果によって置換される。それは、グラフの中で実線で示されている。これは、画像ベースの点をマッチングさせ、合間にフィルタ処理された曲線のフィルタ処理された形状をたどる。利点は、結果の中の跳びが回避されることである。不利な点は、次の画像ベースの結果が利用可能になった後は中間結果しか計算できないことである。

３．カルマンフィルタ処理への画像ベースの結果の追加：画像ベースの結果は、一組のＧＰＳ／ＩＭＵ生データに単純に追加することができる。より高い精度を認識するために適切な重みが付与されると、カルマンフィルタ処理は、これを考慮に入れて、情報を最適に使用する。これにより、原理上は優れた結果が得られる。

また、本発明の実施例は、画像化システムに関する。本発明の実施例に係る検知システムを備える画像化システム２００の概略図が、一例として図４に示されている。画像化システム２００は、例えば上記の検知装置１００を備える。画像化システム２００は、検知装置１００の２つの検知要素に放射線を導くための光学要素をさらに備える。このような光学要素は、例えば、収集されるべき放射線を取り込んで放射線の焦点をセンサ要素上に合わせるための少なくとも１つのレンズ２１０を備え得る。いくつかの実施例では、両方のセンサ要素のための放射線の収集に単一のレンズ２１０が使用されてもよく、他の実施例では、異なるセンサ要素のために異なるレンズが使用されてもよい。本発明に係るいくつかの実施例では、収集された放射線は、例えばビームスプリッタ２２０などの放射線スプリッタを用いて２つのセンサ要素に分割されてもよい。代替的にまたはそれに加えて、同一の基板１０２上で処理されるセンサ要素１１２，１２２の構成は、２つのセンサ要素を用いて取得された画像を相関付ける際にセンサ要素間の位置情報を考慮に入れることを可能にすることができる。

画像化システムは、第１のセンサ１１０および第２のセンサ１２０を用いて取得された画像を相関付けるための画像プロセッサ２３０をさらに備え得る。画像プロセッサは、例えば、正確なハイパースペクトル情報が取得されるように、第２のセンサ１２０を用いて取得された幾何学的情報、例えば位置情報を、第１のセンサ１１０においてさまざまなスペクトルチャネルで取得されたスペクトル情報と相関付け得る。このような画像処理は、単一のプロセッサにおいて実行されてもよく、または複数のプロセッサにおいて実行されてもよい。当該処理は、完全な一組の画像が取り込まれた後に実行されてもよいが、いくつかの実施例では、同一の関心領域に関する全ての情報が両方のセンサ１１０，１２０に取り込まれるとすぐに実質的に直接的な処理が実行されてもよい。本発明の実施例に係るプロセッサ２３０によって実行され得る画像処理のより詳細な説明は、図６を参照しながら以下にさらに記載されており、図６は、本発明の実施例に係る検知方法の一例の標準的かつ任意のステップを示す。

画像化装置は、ＧＰＳデータを提供するためのグローバルポジショニングシステムおよび／または画像化システムに関する慣性データを提供するための慣性計測装置を備え得る。このようなコンポーネントは、近似ジオレファレンス処理データの提供を支援することができ、第２のセンサ１２０を用いて取得された画像に基づいて、ジオレファレンス処理されたスペクトルデータを導き出すことを支援することができる。

したがって、一局面において、本発明は、上記の検知装置を備える上記の画像化システムにも関する。また、別の局面において、本発明は、モニタリング、画像化または検査のためのこのような画像化システムを備える産業システムまたは無人航空機（unmanned aerial vehicle：ＵＡＶ）に関する。その結果、本発明に係る実施例の利点は、検知装置が同一のセンサ上に２つの検知要素を備え、そのため、温度変化による熱負荷または環境条件が取得結果に対して及ぼす影響が小さくなることである。さらに別の局面において、本発明は、関心領域に関する画像データを取得するための方法に関する。その結果、本発明に係る実施例の利点は、高い幾何学的精度、例えば地理的精度、例えばグローバルポジショニングおよび／または慣性測定システムだけを用いて取得可能な幾何学的精度よりも大幅に高い幾何学的精度で関心領域のマルチスペクトルデータを取得できることである。当該方法は、例えばエアリアルイメージングが例えば可動製品の工業検査中に実行される場合などの、関心領域に対する相対的移動を受ける検知装置を用いて関心領域のマルチスペクトルデータが取得される用途に特に適している。エアリアルイメージングの場合、当該方法はさらに、無人航空機（ＵＡＶ）での使用にも特に適している。なぜなら、当該方法は、軽量のコンポーネントを用いて実行可能であり、これは、無人航空機が使用される場合または無人航空機が長期間にわたって使用される場合の主要な要件である。より特定的には、担持される重量が軽くなればなるほど、必要な電力消費量が少なくなり、無人航空機で得られる飛行時間が長くなる。

本発明の実施例に係る方法の標準的かつ任意の特徴をさらに示すために、図６は、画像データを取得するための例示的な方法の詳細なフローチャートを示す。その結果、当該例示的な方法は、幾何学的参照付け情報を導き出すための関心領域の少なくとも１つの二次元画像を取り込み、上記のシステムを用いてハイパースペクトル画像を取り込むように適合される。より特定的には、この例では、画像化システムに対する関心領域の相対的移動中にさまざまなハイパースペクトル画像が取得される。ハイパースペクトル画像は、幾何学的参照画像よりも速い速度で取得され、当該速度は、好ましくは整数の倍数であり、一般的な同期ブロック４０５から導き出され得る。１つのセンサを用いて、ステップ４３０において、関心領域の二次元画像を取得するための画像取得が実行される。このような画像取得は、一組のフレーム画像ＦＩ_１，ＦＩ_２，...ＦＩ_ｎの取得を含み、それによって、ステップ４３２に示されるようにｎ個の画像が取り込まれる。有利には、画像は相当な重なりを有し、そのため、１つの画像についての幾何学的情報、例えば地理情報を、その後に取り込まれる画像または以前に取り込まれた画像に転送することができ、向きの相対的変化を検出することができる。重なりは、一般に約６０％であるように選択され得るが、本発明の実施例はそれに限定されるものではない。ステップ４３４に示されるように、少なくとも２つの画像の重なりからタイポイントを生成することができる。このようなタイポイントは、画像の重なりの中に生じ、そのため後続の画像の取得間の機器の向きの変化を判断することを可能にする点である。さらに、いくつかの地上基準点が利用可能であり、関心領域内の複数の物体と二次元画像でのそれらの画像との間の地理的相関関係を示す地理情報を、例えばＧＰＳ、以前に記録された画像のリストなどによって提供することができる。当該方法は、校正ステップを備え得て、当該ステップでは、４３８に示される生成されたタイポイント、４４０に示されるグローバルポジショニング座標および初期カメラパラメータ４３６に基づいて、４４２に示されるようにバンドル調整が実行される。この後処理ステップは、４４４に示されたより正確な外部標定（exterior orientation）を得ることを可能にし、当該外部標定は、ステップ４６０に示される正確な外部標定を有する訂正されたフレーム画像の取得に使用され得る。任意に、正確な物体点およびフレームカメラパラメータも使用されてもよい。正確な物体点および正確な校正フレームカメラパラメータならびに標準的な数値標高モデル（Digital Elevation Model：ＤＥＭ）製品は、ステップ４４６，４４８，４８０に示されるように取得され得る。

一方、別のセンサを用いて、ステップ４１０において、スペクトルカメラ画像取得、例えばハイパースペクトルカメラ画像取得が実行され、その結果、ステップ４１２に示される一組のスペクトル画像がもたらされ、それによって、この例では、各々のスペクトル画像は複数の行で構成され、各々の行は特定のスペクトル帯域の情報を含む。図３を参照して説明したように、所与の波長または所与の波長領域についての関心領域に関する完全なスペクトル情報は、異なる、一般にその後に画像化されるハイパースペクトル画像に分散されており、４１４によって示されるスペクトル分割を用いて、ステップ４１６ａ，４１６ｂに示されるスペクトル面情報が関心領域全体について取得される。ステップ４６０において取得された幾何学的参照付け情報を用いて、例えば標定情報を含む幾何学的参照付け情報を、４６２に示される校正されたハイパースペクトルカメラパラメータを任意に含むスペクトル面データに結び付けることによって、幾何学的に参照付けられたマルチスペクトル情報を取得することができる。これにより、４１８ａ，４１８ｂに示される幾何学的に参照付けられたスペクトル情報がもたらされる。

前述の補間ステップは、幾何学的参照付け４６２の前、すなわちステージ４４４で行われる。補間は、図７のより詳細なフローチャートに概略的に示されている。

取得したデータを用いて、ステップ４２０および４５０に示されるように、マルチスペクトル画像および従来の二次元画像についてそれぞれに画像のオルソ補正（orthorectification）が実行され、ステップ４２２および４５２にそれぞれ示されるようにマルチスペクトル画像および従来の二次元画像の両方についての正射写真がもたらされ得る。オルソ補正は、例えばセンサ外部標定パラメータ、フレームカメラパラメータ（内部標定（interior orientation）とも称される）および標準的な数値標高モデル（ＤＥＭ）製品を用いた画像の地形補正幾何学的参照付けを意味する。このオペレーションの結果は、正射写真である。これらの正射写真画像を組み合わせることにより、ステップ４７０に示されるマルチスペクトルデータのパンシャープン処理を実行することが可能になり、その結果、ステップ４７２に示されるパンシャープン処理されたハイパースペクトル正射写真を取得することができる。従来の二次元画像のオルソ補正は、ステップ４５４に示される数値表面モデルを生じさせることができる。

上記の概略的概要には、本発明の実施例に係るいくつかの標準的かつ任意の特徴および利点が記載されている。

発明者等は、任意の事前再正規化ステップを設けることによってさまざまなスペクトル画像からの情報に依拠する処理ステップの性能を向上させることができることをさらに発見した。この事前再正規化ステップは、スペクトル画像を、同様に配置されたエリアに分割し、各エリアごとに、上記画像セット全体にわたる予め定められた特性を計算し、各画像ごとに、上記エリアの予め定められた特性の関数として各エリアの輝度値を再正規化することを備え得る。上記エリアでは、輝度値の１つ以上の代表的特性を計算することができる。エリアの平均輝度値は、１つのこのような特性である。別の有用な特性は、輝度値の標準偏差であり、これは、測定される予定のコントラストを示す。より一般的には、輝度値の分布が計算され、より大きな特性セットで表わされ得る。エリア当たりの取得した特性セットは、正規化係数として使用可能である。当該特性を用いて正規化を適用した後、それらの特性の値は、結果として生じる画像内のさまざまなエリアにわたって均一になる。

正規化係数を求める手順は、画像コンテンツの効果を平均化するために十分に大きな画像セットにわたって平均化を行うことによって実行される。その後、同一の画像に対して、または同一の機器を用いて同様に取得された他の画像に対して、確立された係数を用いて正規化を実行することができる。この手順は、新たな画像セットごとに新たな係数を計算する必要がないので、作業方法を単純化する。

前処理の使用は、異なる波長帯域において物理的特徴を表わす同一の取得シリーズの異なるスペクトル画像間の所与の物理的特徴の強度差については、２つの要素がある、すなわち（１）物理的特徴は、異なる波長帯域において異なる反射率を有し得て、（２）センサは、異なる波長帯域において異なる感度を有し得る、という発明者等の見識にとりわけ基づく。第２の要因は、各々のそれぞれの部分を代表する平均値に対して画像のさまざまな部分を正規化することによって補償されることができる。第１の要因を補償することはできないが、発明者等は、驚くべきことに、第２の要因だけを補償した後に位置合わせアルゴリズム（registration algorithm）などの効率が既に大きく向上していることを発見した。当該効果は、実世界の物理的物体が、一般に対象のスペクトルの大部分にわたって波長の関数としてゆっくりと変化する反射率を示すという事実によるものであると考えられる。

予め定められた特性は、平均輝度であってもよく、再正規化は、平均輝度値に対して各エリアの輝度値を再正規化することを備えていてもよい。

エリアは、個々の画素に対応してもよい。この実施例の利点は、センサが画素ベースで効果的に校正され、その結果、個々の画素とフィルタとの組み合わせの感度のばらつきを、（製造公差またはフィルタ内の不純物を含む）このようなばらつきの原因にかかわらず考慮に入れることができる、ということである。これにより、アーチファクトが最大限抑制される。光学系を画素とフィルタとの組み合わせに追加することによって、完全な画像化システムが得られる。画像化システムは、光学系によって引き起こされる感度のばらつきを含んでそれらを修正するように選択されてもよく、またはそれらを除外して当該光学系がさまざまな光学系に対して引き続き汎用のままであるように選択されてもよい。

代替的に、エリアは、別個の波長帯域に対応してもよい。この実施例の利点は、画素のブロック当たりに再正規化を実行できることであり、ブロックは、一般にセンサの長方形ストリップまたは複数の長方形エリアの組み合わせを表わす。

上記のように、本発明の実施例の例は、主に空中写真、エアリアルイメージングまたはサテライトイメージングのための幾何学的参照付けに言及するが、本発明の実施例はそれに限定されるものではなく、例えば工業検査などにも使用されてもよい。例えば、一例では、検知装置は、例えば物品間の異物を検出するため、または逸脱する物品を検出するために、コンベヤベルト上で物品を検査することに使用されてもよい。このような異物または逸脱する物品は、一般に、予期されるスペクトル画像から逸脱するスペクトル画像を示すであろう。幾何学的参照付け情報は、物体または材料の横方向位置であってもよいが、高さまたは相対的高さであってもよい。このような物体の高さまたは相対的高さは、例えば画像化される物体に対する幾何学的参照付けセンサの視野角に基づいて幾何学的参照付け情報から判断され得る。画像化される関心領域全体に対する既知のセンサ位置および視野角に基づいて画像データから高さ情報を導き出すことは、当業者によって公知である。

一局面において、本発明は、上記の局面の実施例に記載された検知もしくは画像化方法またはこのような方法の一部がソフトウェアベースの態様で実現される処理システムにも関する。このような処理システムは、少なくとも１つの形態のメモリ、例えばＲＡＭ、ＲＯＭなどを含むメモリサブシステムに結合された少なくとも１つのプログラム可能なプロセッサを含み得る。なお、プロセッサは、汎用プロセッサであってもよく、または専用プロセッサであってもよく、デバイスに含まれるもの、例えば他の機能を実行する他のコンポーネントを有するチップであってもよい。したがって、本発明の実施例の１つ以上の局面は、デジタル電子回路で実現されてもよく、またはコンピュータハードウェア、ファームウェア、ソフトウェアで実現されてもよく、またはそれらの組み合わせで実現されてもよい。処理システムは、少なくとも１つのディスクドライブおよび／またはＣＤ−ＲＯＭドライブおよび／またはＤＶＤドライブを有するストレージサブシステムを含み得る。いくつかの実現例では、ユーザが手動で情報を入力できるように、ディスプレイシステム、キーボードおよびポインティングデバイスがユーザインターフェイスサブシステムの一部として含まれてもよい。データを入出力するためのポートも含まれてもよい。ネットワーク接続、さまざまなデバイスへのインターフェイスなどのより多くの要素が含まれてもよい。処理システムのさまざまな要素は、バスサブシステムを介したものを含むさまざまな方法で結合され得る。メモリサブシステムのメモリは、処理システムで実行されたときに本明細書に記載されている方法の実施例のステップを実行する一組の命令のうちの一部または全てを、ある時点で保持し得る。

また、本発明は、コンピューティングデバイスで実行されたときに本発明に係る方法のうちのいずれかの機能を提供するコンピュータプログラム製品を含む。このようなコンピュータプログラム製品は、プログラム可能なプロセッサによって実行される機械読取可能なコードを担持するキャリア媒体で有形に実施されてもよい。したがって、本発明は、コンピューティング手段で実行されたときに上記の方法のうちのいずれかを実行するための命令を提供するコンピュータプログラム製品を担持するキャリア媒体に関する。「キャリア媒体」という用語は、命令をプロセッサに提供して実行することに関係する任意の媒体を指す。このような媒体は、不揮発性媒体および伝送媒体を含むがそれらに限定されない多くの形態をとってもよい。不揮発性媒体は、例えば、大容量記憶装置の一部である記憶装置などの光または磁気ディスクを含む。コンピュータ読取可能な媒体の一般的な形態は、ＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスクもしくはフロッピー（登録商標）ディスク、テープ、メモリチップ、またはカートリッジ、またはコンピュータが読取ることができるその他の媒体を含む。コンピュータ読取可能な媒体のさまざまな形態は、１つ以上の命令の１つ以上のシーケンスをプロセッサに搬送して実行することに関与し得る。また、コンピュータプログラム製品は、ＬＡＮ、ＷＡＮまたはインターネットなどのネットワーク内の搬送波によって伝送されてもよい。伝送媒体は、電波および赤外線データ通信中に生成されるような音波または光波の形態をとってもよい。伝送媒体は、コンピュータ内にバスを備えるワイヤをはじめとする同軸ケーブル、銅線および光ファイバを含む。

図面および上記の説明の中で本発明を詳細に図示し、説明してきたが、このような図示および説明は、例証的または例示的なものであると考えられるべきであり、限定的なものであると考えられるべきではない。本発明は、開示されている実施例に限定されるものではない。開示されている実施例に対する他の変形例も、クレームされている発明を実施する際に当業者によって理解され、達成され得る。上記の説明では、本発明の特定の実施例が詳述されている。しかし、本文中で上記がどれほど詳細であったとしても、本発明はさまざまに実施可能であり、したがって開示されている実施例に限定されるものではない、ということが理解されるであろう。なお、本発明の特定の特徴または局面を説明する際の特定の用語の使用は、当該用語が関連付けられる本発明の特徴または局面のいかなる特定の特性も含むように限定されるように当該用語が本明細書において再定義されていることを暗に示すものと解釈されるべきではない。

単一のプロセッサまたは他のユニットは、請求項に記載されているいくつかの要素の機能を発揮し得る。相互に異なる従属請求項に特定の手段が記載されているという事実だけでは、これらの手段の組み合わせを有利に使用できないことは示されない。コンピュータプログラムは、他のハードウェアとともにまたは他のハードウェアの一部として供給される光学式記憶媒体またはソリッドステート媒体などの好適な媒体上に記憶／配信されてもよいが、インターネットまたは他の有線もしくは無線テレコミュニケーションシステムなどの他の形態で配信されてもよい。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

以上、特定の実施例を参照しながら本発明を説明してきたが、これは、本発明を明らかにするためになされたことであり、本発明を限定するためになされたわけではない。当業者は、開示されている特徴のさまざまな変形例およびさまざまな組み合わせが本発明の範囲を逸脱することなく可能であることを理解するであろう。

Claims (8)

1. 検知装置（１００）であって、前記検知装置（１００）は、前記検知装置（１００）に対する相対的移動の際に関心領域の幾何学的に参照付けられたマルチスペクトル画像データを取得するためのものであり、前記検知装置（１００）は、
   少なくとも第１の二次元センサ要素（１１２）を備え、前記検知装置（１００）は、前記第１のセンサ要素（１１２）を用いて、前記検知装置に対する前記関心領域の前記相対的移動中に後続のマルチスペクトル画像を取得し、それによって、関心領域のさまざまな部分についての別個のスペクトル情報を提供するように適合され、前記検知装置（１００）はさらに、
   第２の二次元センサ要素（１２２）を備え、前記検知装置（１００）は、前記第２のセンサ要素（１２２）を用いて、前記別個のスペクトル情報に結び付けられるべき幾何学的参照付け情報を生成するために前記関心領域の画像を提供するように適合され、
   前記第１の二次元センサ要素（１１２）は、第１のフレームレートで第１の一連のフレームを取り込むように動作可能であり、前記第２の二次元センサ要素（１２２）は、第２のフレームレートで第２の一連のフレームを取り込むように動作可能であり、
   前記第１のフレームレートは、前記第２のフレームレートよりも高いことを特徴とし、
   前記検知装置（１００）は、前記第２の一連のフレームからの同期フレームを利用できない前記第１の一連のフレームのフレームに対して結び付けられるべき中間幾何学的参照付け情報を生成するように構成されたプロセッサをさらに備え、前記中間幾何学的参照付け情報は、前記第２の一連のフレームからの１つ以上の時間的に隣接するフレームから導き出されることを特徴とする、検知装置。
2. 前記第２のフレームレートは、前記第２の一連のフレームの連続的なフレームによって画像化されるそれぞれの領域間の予め定められた重なりの量を保証するように選択される、請求項１に記載の検知装置。
3. 前記第１のセンサ要素（１１２）の一部を用いて第１の波長または波長域におけるスペクトル情報を取得し、前記第１のセンサ要素（１１２）の別の部分を用いて第２の波長または波長域におけるスペクトル情報を取得するように、スペクトルフィルタおよび前記第１のセンサ要素が配置される、請求項１または２に記載の検知装置。
4. 前記第１のセンサ要素（１１２）および第２のセンサ要素（１２２）は、同一の基板上に集積される、請求項１〜３のいずれか１項に記載の検知装置。
5. 請求項１〜４のいずれか１項に記載の検知装置を備える画像化システム。
6. 請求項５に記載の画像化システムを備えるエアリアルビークル。
7. 検知装置（１００）に対する相対的移動の際に関心領域の幾何学的に参照付けられたマルチスペクトル画像データを取得するための方法であって、前記方法は、
   第１のセンサ要素（１１２）を用いて、前記検知装置に対する前記関心領域の前記相対的移動中に後続のマルチスペクトル画像を取得し、それによって、関心領域のさまざまな部分についての別個のスペクトル情報を提供するステップと、
   第２のセンサ要素（１２２）を用いて、前記別個のスペクトル情報に結び付けられるべき幾何学的参照付け情報を生成するために前記関心領域の画像を提供するステップとを備え、
   前記第１の二次元センサ要素（１１２）は、第１のフレームレートで第１の一連のフレームを取り込み、前記第２の二次元センサ要素（１２２）は、第２のフレームレートで第２の一連のフレームを取り込み、
   前記第１のフレームレートは、前記第２のフレームレートよりも高いことを特徴とし、
   前記方法は、前記第２の一連のフレームからの同期フレームを利用できない前記第１の一連のフレームのフレームに対して結び付けられるべき中間幾何学的参照付け情報を生成するステップをさらに備え、前記中間幾何学的参照付け情報は、前記第２の一連のフレームからの１つ以上の時間的に隣接するフレームから導き出されることを特徴とする、方法。
8. 請求項７に記載の方法をプロセッサに実行させるように構成されたコード手段を備えるコンピュータプログラム。

Images