JP6307553B2 - ナビゲーション調整のためのクロススペクトル特徴相関 - Google Patents

Description

本開示は、ナビゲーションシステムに関し、特に、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整するシステム及び方法に関する。

慣性ナビゲーションシステム（ＩＮＳ：Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）が、航空機などのビークルを誘導するナビゲーションソリューションを提供するために用いられ、且つナビゲーションソリューションを生成するために慣性測定ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）から入力を受信しても良い。ナビゲーションソリューションは、例えば、ビークル制御用に位置、速度及び姿勢を含む。全地球測位システムもまた、ＩＮＳにおいてナビゲーションソリューションを補正又は較正するために用いることができる。慣性ナビゲーションシステムは、通常、短期間用の正確なソリューションを提供することができる。例えば、ＩＭＵにおけるＩＮＳ加速度計は、純粋な特定の力として現れる未知のバイアス信号を生成する。これは、２回積分されても良く、位置における誤差を生成する。更に、ＩＮＳソフトウェアは、この積分を行う場合に、加速度計の角位置の推定値を用いる。典型的には、角位置は、ＩＭＵにおけるジャイロセンサからの角速度の積分を通して追跡される。これらはまた、ユニットの位置を生成するために、積分に影響する未知のバイアスを生成することができる。ＧＰＳは、ＩＮＳソリューションをリセットするために利用できるか又はカルマンフィルタ（Kalman Filter）などの数学アルゴリズムの利用によってＩＮＳソリューションと混合することができる絶対的なドリフトフリー（drift-free）の位置値を提供する。ユニットの角度方向は、ＧＰＳからの一連の位置更新から推測することができる。ＧＰＳに対する位置の誤差における変化は、未知の角度誤差を推定するために用いることができる。

ＩＮＳと共にＧＰＳを用いる利益は、ＩＮＳが、ＧＰＳ信号によって較正され得ること、及びＩＮＳが、ＧＰＳより迅速に位置及び角度更新を提供できることである。ミサイル及び航空機などの高動的ビークル用に、ＩＮＳは、ＧＰＳ位置間のギャップを満たす。更に、ＧＰＳは、その信号を失う可能性があり、ＩＮＳは、失われたＧＰＳ信号の期間中の位置及び角度を計算し続けることができる。２つのシステムは、相補的であり、一緒に用いられることが多い。ＩＮＳに対するＧＰＳ補正を用いてさえ、ＩＮＳの位置推定は、やはり時間と共にドリフトする可能性がある。場合によっては、ドリフトは、例えば、１０分の期間において１００メートルを超える誤差の原因となり得る。

米国特許出願公開第２０１３／０２３６０５４号明細書 米国特許出願公開第２０１３／０２５０１２３号明細書 米国特許出願公開第２０１３／０１５３７８８号明細書

本開示は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整するシステム及び方法に関する。一態様において、システムが、第１の二次元画像の画素データセットを有する第１の画像を生成するセンサを含む。データベースが、第２の二次元画像の画素データセットにおける各画素のナビゲーション位置を示す三次元位置データセットを含む、第２の二次元画像の画素データセットを有する第２の画像を提供する。視覚モジュールが、第１の二次元画像の画素データセットから画像エッジ特徴を抽出し、第２の二次元画像の画素データセットから画像エッジ特徴を抽出するエッジ抽出器を含む。視覚モジュールは、第１及び第２の二次元画像の画素データセットからの抽出されたエッジ特徴の画像エッジ特徴比較に基づいて、第１の二次元画像の画素データセットにおける各画素のナビゲーション位置を決定する特徴相関器を含む。特徴相関器は、画像エッジ特徴比較に基づいて、第２の画像からの三次元位置データセットの一部分を第１の画像における相関特徴の一部分に割り当てる。

別の態様において、方法は、第１の画像の画素データセットを第１の画像エッジ領域に変換することを含む。方法は、第２の画像の画素データセットを第２の画像エッジ領域に変換することを含む。第２の画像の画素データセットにおける各画素は、三次元位置データと関連付けられる。方法は、第１及び第２の画像エッジ領域を第１の平滑な画像領域及び第２の平滑な画像領域に変換するために、第１及び第２の画像エッジ領域をフィルタリングすることを含む。これは、第１及び第２の平滑な画像領域間の方向を決定するために、第１及び第２の平滑な画像領域のそれぞれのためのヒストグラムを計算することを含む。方法は、第２の画像の画素データセットと関連する三次元位置データを抽出するために、第２の画像の画素データセットに対する相関に基づいて、第１の画像の画素データセットにおける画素サブセットのナビゲーション位置を決定するように、第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算することを含む。

更に別の態様において、非一時的なコンピュータ可読媒体が、センサからの赤外線画像の画素データセットを第１の画像エッジ領域に変換するように構成されたコンピュータ実行可能命令を含む。命令は、データベースからの可視画像の画素データセットを第２の画像エッジ領域に変換する。可視画像の画素データセットにおける各画素は、三次元位置データと関連付けられる。命令は、第１及び第２の画像エッジ領域を第１の平滑な画像領域及び第２の平滑な画像領域に変換するために、第１及び第２の画像エッジ領域をフィルタリングする。命令は、第１及び第２の平滑な画像領域間の方向を決定するために、第１及び第２の平滑な画像領域のそれぞれのためのヒストグラムを計算する。命令は、可視画像の画素データセットと関連する三次元位置データを抽出するために、可視画像の画素データセットに対する相関に基づいて、赤外線画像の画素データセットにおける画素サブセットのナビゲーション位置を決定するように、第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算する。

異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整するシステムの例を示す。 異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整する視覚モジュールの例を示す。 画像間のクロススペクトル特徴相関を用いる視覚モジュールを介して調整可能なナビゲーションシステムの例を示す。 可視画像と赤外線画像との間の相関画像エッジ特徴の例を示す。 グリッドに整列され、且つ捕捉赤外線画像との相関のために検索され得るデータベース画像の例を示す。 異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整する方法の例を示す。 異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整する並列処理方法の例を示す。

本開示は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関（cross spectral feature correlation）を介してナビゲーションシステムを調整するシステム及び方法に関する。一態様において、本明細書で説明されるシステム及び方法は、異なるスペクトル内容（例えば赤外線対可視スペクトル）を有する画像からのクロススペクトル特徴抽出と、１つの画像から三次元（３Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）情報を抽出し、且つ抽出情報を別の画像の相関特徴と関連させる相関（例えば照合）アルゴリズムとを提供する。次に、抽出３Ｄ情報は、経時的にドリフトした可能性があるナビゲーションシステムの位置を更新及び補正するために用いることができる。可視画像及び電気光学／赤外線画像を含む本明細書で開示されるような撮像システムは、例えば、移動ビークル（moving vehicle）の下又はまわりの地形の写真を捕捉し、且つＧＰＳ信号と無関係にナビゲーション補正を提供するための記憶された撮像データベースと比較することができる。従って、ＧＰＳが利用可能でない場合に、撮像又は視覚支援システムは、自由な慣性ナビゲーションドリフトを低減することができる。

１つの具体例において、システムは、二次元（２Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）特徴を有する搭載赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）カメラ画像を基準可視帯域マップと相関させる。搭載ＩＲカメラ画像と可視帯域マップとの間の相関後に、システムは、可視マップからの３Ｄ位置を２Ｄ ＩＲ画像特徴位置に移すことができる。赤外線画像を取得するために電気光学（ＥＯ：ｅｌｅｃｔｒｉｃａｌ ｏｐｔｉｃａｌ）センサを用いることができる。ＥＯセンサベースのナビゲーション（EO sensor based navigation）において、システムは、３Ｄ基準マップと関連する外部２Ｄ可視画像データベースが存在すると仮定する。この３Ｄ基準マップは、可視カメラ画像データベース（例えば可視画像のＵＳＧＳデータベース）上に構築することができる。従って、基準マップは、２Ｄ（画像の画素）及び３Ｄ（緯度、経度及び高度）情報の両方をその中に埋め込む。

搭載カメラデータ収集システムは、ＩＲカメラとすることができ、ＩＲカメラは、ナビゲーションシステムの視覚ベース部分（vision-based portion）用の画像源である。例えば、曇りの条件下では、赤外線データのみが視覚ベース部分によって検出される。例えば、特に、分散開口システム（ＤＡＳ：ｄｉｓｔｒｉｂｕｔｅｄ ａｐｅｒｔｕｒｅ ｓｙｓｔｅｍ）センサは、航空機又は地上車両に搭載されて３６０度から捕捉される赤外線帯域の画像を提供する。３Ｄ基準マップデータが、可視帯域において利用可能であるため、本明細書で説明されるシステム及び方法は、例えば、可視及びＩＲ帯域において生成された画像間の特徴のクロススペクトル抽出及び相関を実行する。搭載ＩＲカメラ画像と可視帯域マップとの間の相関後に、２Ｄ搭載ＩＲシステムにおける特徴画素位置は、クロススペクトル特徴照合を介して、３Ｄジオロケーション（例えば緯度、経度及び高度）と関連付けることができる。次に、この３Ｄジオロケーションデータは、ナビゲーションシステム用のナビゲーションソリューション更新を実行するために用いることができる。

図１は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステム１１０を調整するシステム１００の例を示す。システム１００は、第１の二次元画像の画素データセットを有する第１の画像ＩＭＡＧＥ１を生成する１つ（又は複数）のセンサ１２０を含む。データベース１３０が、第２の二次元画像の画素データセットにおける各画素のジオロケーション（geo-location）（例えば緯度、経度及び高度）を示す三次元ジオロケーションデータセットを含む、第２の二次元画像の画素データセットを有する第２の画像ＩＭＡＧＥ２を提供する。データベース１３０は、例えば、航空機又は地上車両に搭載されて存在することができ、且つ／又は通信ネットワークを通じて遠隔からアクセスすることができる。データベース１３０は、合衆国大陸全体のデータなど大きな面積をカバーすることができる。最初の行動は、データベース１３０におけるどの領域が、搭載センサのＩＲ画像と比較されるかを発見することである。第２のＩＭＡＧＥ２（候補領域画像）は、ナビゲーションシステム１１０から一般的な位置座標を知ることにより、画像検索モジュール１３４を介してデータベース１３０から抽出することができる。一般座標は、ＩＭＡＧＥ１が捕捉された座標の近くに一般に存在する（例えば誤差と共に）ＩＭＡＧＥ２を検索するために、画像検索モジュール１３４（例えば以下の図５を参照）によってｋ次元（ＫＤ：ｋ−ｄｉｍｅｎｓｉｏｎａｌ）検索において用いることができる。

視覚モジュール（vision module）１４０は、第１の二次元画像の画素データセットから画像エッジ情報（image edge information from）を、且つ第２の二次元画像の画素データセットから画像エッジ特徴を抽出するエッジ抽出器１５０（edge extractor）を含む。視覚モジュール１４０は、第１及び第２の二次元画像の画素データセットからの抽出されたエッジ特徴の画像エッジ特徴比較に基づいて、第１の二次元画像の画素データセットにおける各画素のナビゲーション位置を決定する特徴相関器１６０を含む。特徴相関器１６０は、画像エッジ特徴比較に基づいて、第２の画像ＩＭＡＧＥ２からの三次元位置データセットの一部分を第１の画像ＩＭＡＧＥ１における相関特徴の一部分に割り当てる。一例において、第１の画像ＩＭＡＧＥ１は、赤外線周波数センサ１２０から捕捉することができ、第２の画像ＩＭＡＧＥ２は、可視周波数センサ（図示せず）からデータベース１３０に記憶することができる。

エッジ抽出器１５０は、勾配演算（gradient operation）を実行し、所定の閾値を超える勾配の大きさを選択してエッジ点画素位置（edge point pixel position）を識別することによって第１及び第２の画像のエッジ点画素位置を識別する。勾配演算は、例えば、ロバーツ演算子（Roberts operator）、プルウィット演算子（Prewitt operator）、ソーベル演算子（Sobel operator）、及び等方性演算子（Isotropic operator）の少なくとも１つを含む勾配演算子を適用することを含む。フィルタ１７０が、第１及び第２の画像の画素データセットからの抽出されたエッジ特徴を第１の平滑な画像領域及び第２の平滑な画像領域に変換する。本明細書で用いられているように、平滑な（smooth）という用語は、画像における特徴のぼかし（blurring）を指す。例えば、赤外線画像におけるハイウェイの特徴（highway feature）は、可視画像のハイウェイの特徴とは異なる厚さ（thickness）であり、平滑化は、画像間のより正確な比較を可能にする。

１つの具体例において、フィルタ１７０は、第１及び第２の画像の画素データセットからの抽出されたエッジ特徴を第１の平滑な画像領域及び第２の平滑な画像領域に変換するガウスフィルタを実行する。方向計算機（orientation calculator）１８０は、第１の平滑な画像領域及び第２の平滑な画像領域のエッジ特徴間の方向を決定するためにヒストグラムを用いる。本明細書で用いられているように、ヒストグラムという用語は、数値データの分布の表現を指す。それは、連続変数（量的変数）の確率分布の推定値である。ヒストグラムを構成するために、第１のステップは、値の方向性（orientation of value）を「ビニング（bin）」すること、即ち、値の方向全体を一連の小さな間隔に分割し、次に、どれだけ多くの値が各間隔に入るかを数えることである。総数に比例した高さ及びビンサイズ（bin size）と等しい幅を備えた矩形が引かれ、その結果、矩形は互いに整列する。相対度数を表示するヒストグラムもまた正規化されても良い。

特徴相関器（feature correlator）１６０は、第２の画像の画素データセットの一部分に対する計算された距離に基づいて、第１の画像の画素データセットにおける画素の一部分に対して第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算する。次に、特徴相関器１６０は、第２の画像の画素データセットと関連する三次元ジオロケーションデータを抽出するために、第１及び第２の平滑な画像領域の方向性エッジ特徴間の計算された距離をランキングし、且つランキングに基づいて第１の画像の画素データセットにおける画素の一部分のナビゲーション位置を決定する。次に、ナビゲーションシステム１１０は、ナビゲーションシステムのナビゲーションソリューションを補正するために、相関特徴１９０において、補正された２Ｄ／３Ｄ（ジオロケーション）位置を受信する。ワーピングモジュール（warping module、例えば図２を参照）は、エッジ抽出器１５０が処理を開始する前に、第１の画像の約４５度の予想図からトップダウンビューへと第１の画像ＩＭＡＧＥ１の角度予想を変更するために用いることができる。

上記のように、本明細書で説明されるシステム及び方法は、例えば、可視画像と、赤外線（ＩＲ）画像からの特徴のクロススペクトル照合に基づいて、ドリフトに対してビークル（例えば航空機又は地上車両）のナビゲーションシステム１１０を調整するように用いることができる。システム１１０は、所与のシーン（例えば地理的位置の空中写真）のＩＲ画像を捕捉するためのＩＲセンサ１２０、及び複数の可視画像（例えば地理的位置のアメリカ地質調査所画像（ＵＳＧＳ：Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｇｅｏｌｏｇｉｃａｌ Ｓｕｒｖｅｙ Ｉｍａｇｅｓ））を記憶するためのデータベース１３０を利用し、複数の画像の１つは、所与のシーンの可視画像に対応する。データベース１３０に記憶された複数の可視画像は、各可視画像の各所与の画素を特徴づける二次元（２Ｄ）可視画素情報（画像強度データ）及び関連三次元（３Ｄ）情報（緯度、経度及び高度データ）を有する。

システム１００は、データベース１３０における複数の可視画像からシーンの可視画像を特定するための画像検索モジュール１３４を含む。画像検索モジュール１３４は、視覚モジュール１４０内に示されているが、視覚モジュールから遠隔に位置することができる。画像検索モジュール１３４は、可視画像を受信するように構成される視覚モジュール１４０に可視画像ＩＭＡＧＥ２を提供する。視覚モジュール１４０は、本明細書で説明されるようなクロススペクトル特徴相関に従い、可視画像における目立つ画素（prominent pixel）の三次元情報に基づいて、所与のシーンの可視及びＩＲ画像を利用して、ＩＲ画像の特徴の目立つ画素位置の三次元情報を取得する。

一例において、クロススペクトル特徴相関は、エッジ抽出器１５０を含むシーンの可視及びＩＲ画像におけるエッジ領域特徴照合（目立つ画素の識別方法）及び特徴相関器１６０を介したスペクトル照合（ＳＭ：ｓｐｅｃｔｒａｌ−ｍａｔｃｈｉｎｇ）方法である。エッジ抽出器１５０は、共通の勾配演算子（例えばソーベル演算子）に基づいて、可視及びＩＲ画像の勾配画像を生成すること、各勾配画像の各画素の勾配値を所定の閾値と比較して最大値の変化を経験する勾配画像内の画素（目立つ画素）を識別すること、最大値の変化を経験する各勾配画像において識別された画素に基づいて、２値エッジ画像（binary edge images）を生成することを含む。このことは、各２値エッジ画像をぼかす（平滑にする）ようにガウス平滑化フィルタ１７０を用いて、各２値エッジ画像内に示されたエッジの可視厚さを増加させ、且つ可視及びＩＲ画像の平滑な２値エッジ画像（ＳＢＥＩ：ｓｍｏｏｔｈ ｂｉｎａｒｙ ｅｄｇｅ ｉｍａｇｅ）を生成する。

特徴相関器１６０によって用いられるスペクトル照合（又はスペクトル相関）は、（ｉ）それぞれの画像記述子に従い、各ＳＢＥＩの各画素用の方向計算機１８０を介して方向ヒストグラムを計算することを含む。特徴相関器１６０は、（ｉｉ）ＩＲ画像のＳＢＥＩの各画素の方向ヒストグラム（orientation histogram）と、可視画像のＳＢＥＩの候補画素（例えば画素の一部又は全て）との間の距離を計算すること、（ｉｉｉ）複数の画素ペアを生成するために、２つの間の計算された距離に従って、ＩＲ画像のＳＢＥＩの各画素を所与の候補画素と関連付ける（ペアにする）こと、（ｉｖ）計算された距離に基づいて複数の画素ペアをランキングすること、複数の画素ペアの所与の割合（例えば上位２０％）を選択すること、及び選択された所与の割合を所定の閾値と比較して最も高い信頼度を示す一致する画素ペア（一致／相関特徴）を識別することを更に含む。

視覚モジュール１４０は、それぞれの画素がペアにされる可視画像における特徴のそれぞれの画素位置と関連する３Ｄ情報に基づいて、ＩＲ画像の特徴の画素位置に対応する、一致した画素ペアのそれぞれの画素の３Ｄ情報を決定するように構成することができる。視覚モジュール１４０は、ＩＲ画像における特徴の画素位置に対する可視帯域の画素の３Ｄジオロケーションをドリフト用にナビゲーションシステム１１０を調整するためのカルマンフィルタ（例えば図３を参照）に送信するように更に構成することができる。

図２は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介して、ナビゲーションシステムを調整する視覚モジュール２００の例を示す。図示されているように、視覚モジュールは、ナビゲーションソリューション２２０及びＩＲ画像２３０（例えば１ヘルツの周波数で捕捉される）からデータを受信するワーピングモジュール２１０を含む。可視画像がトップダウンビュー画像である場合に、第１の処理行動は、４５度の予想角度から取得されたＩＲ画像をトップダウンビューＩＲ画像に変更するために、２１０においてＩＲ画像をワープすることである。データベース２４０からの可視画像は、２Ｄ画像の画素情報、及び３Ｄ緯度、経度及び高度情報の両方を有する。ワーピング２１０後に、特徴照合（又は相関）が、トップダウンビューＩＲ画像対データベース２４０からのトップダウン可視カメラ画像間で２５０において実行される。前述のように、特徴照合方法は、エッジ領域など、特徴照合用にＩＲ及び可視画像を或る共通領域にマップするように適用することができる。図示されているように、次に、２５０における特徴照合後に、２Ｄ／３Ｄ位置が、ナビゲーションシステムを補正するように利用される２７０のカルマンフィルタ（ＫＦ：Ｋａｌｍａｎ Ｆｉｌｔｅｒ）へと適用され得る、２６０の一致した特徴用に生成される。カルマンフィルタ２７０を利用するナビゲーションシステムが、図３と関連して以下で示され説明される。

図３は、画像間のクロススペクトル特徴相関を用いる視覚モジュール３１０を介して調整可能なナビゲーションシステム３００の例を示す。システム３００は、ナビゲーション補正をナビゲーションコントローラ３３０に発行するカルマンフィルタ３２０を含む。ナビゲーションコントローラ３３０は、ビークル制御に利用される位置、速度及び姿勢情報を生成する。コントローラは、カルマンフィルタ３２０に同様に誤差モデル出力を提供する慣性測定ユニット３４０から速度及び角度データを受信する。カルマンフィルタ３２０への入力は、ＧＰＳモジュール３５０からの全地球測位データ及び気圧高度計３６０からの高度計データを含むことができる。ＧＰＳ３５０及び高度計３６０からのデータは、カルマンフィルタ３２０における観察マトリックス３７０を介して処理することができる。図示されているように、補正された２Ｄ／３Ｄ一致特徴位置データ３８０は、観察マトリックス３９０を介してカルマンフィルタ３２０を調整するために、視覚モジュール３１０によって生成される。補正された位置データ３８０が、カルマンフィルタ３２０に提供されるため、補正された位置情報データは、ナビゲーションコントローラ３３０に提供され、そのそれぞれのナビゲーションソリューション出力を調整する。

図４は、可視画像４１０と赤外線（ＩＲ）画像４２０との間の相関画像エッジ特徴の例を示す。画像４１０は、２Ｄ可視画素情報を有する画像データベースから検索され、各画素は、例えば、３Ｄ緯度、経度及び高度データと関連付けられる。ＩＲ画像４２０は、搭載ＩＲセンサから捕捉されたワープ図（warped view）を表す。出力図４３０に示されているように、可視画像４１０を表す４４０のぼかしエッジ特徴は、ＩＲ画像４２０を表す４５０のぼかしエッジ特徴と関連付けられる。例えば、照合ライン４６０は、４４０のぼかしエッジ特徴が、４５０のぼかしエッジ特徴と相関される場合を示す。本明細書で説明されるように、点がその間で相関又は照合されるため、可視画像からの３Ｄ位置情報データが抽出されて、例えば、赤外線センサなどのセンサから誘導されるナビゲーションシステムを補正することができる。４４０及び４５０における画像間の複数のかかる照合点を同様に決定することができる。

図５は、グリッドに分割される、且つ捕捉赤外線画像との相関のために検索されるデータベース画像５００の例を示す。画像データベース５００は、画像内の各グリッド位置が中央検索点と関連付けられる検索グリッドと整列させることができる。例えば、５１０におけるグリッド位置は、所定の寸法（例えば１００×１００メートル）の可視視域を包含することができる。各グリッド位置は、各グリッドの中心における検索点を割り当てられ、検索点は、ナビゲーションシステムの現在位置に最も近いデータベースにおける画像を発見するために検索される。前述のように、ｋ次元（ＫＤ）木（tree）が用いられて可視画像のデータベース５００を検索して、前に説明したようにドリフトのために誤差がある現在のナビゲーションシステムソリューションによって決定されるような現在のビークル位置及び位置の共分散に最も近いグリッド又は幾つかのグリッドを特定することができる。グリッド５１０が特定された後で、５２０における捕捉赤外線画像は、グリッドの可視画像と比較することができる。５１０における可視画像グリッド及び赤外線画像が、現在のナビゲーションの座標に基づいて一般的に整列された後で、前述のように、エッジ検出、フィルタリング、ヒストグラム方向及び特徴相関は、５２０における捕捉２Ｄ赤外線画像のより正確な３Ｄ位置情報データを決定するために用いることができる。

上記で説明したような前述の構造及び機能的特徴を考慮すれば、例示的な方法が、図６及び図７と関連してより良く理解されよう。説明を単純にするために、方法は、連続的に実行されるように図示され説明されるが、方法が、示された順序によって限定されないことを理解及び認識されたい。何故なら、方法の一部が、本明細書で示され説明されるものと異なる順序で且つ／又は同時に行われ得るからである。かかる方法は、例えば、ＩＣ又はプロセッサに構成された様々なコンポーネントによって実行することができる。

図６は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整する方法６００の例を示す。６１０において、方法６００は、第１の画像の画素データセットを（例えば図１のエッジ抽出器１５０を介して）第１の画像エッジ領域に変換することを含む。６２０において、方法６００は、第２の画像の画素データセットを（例えば図１のエッジ抽出器１５０を介して）第２の画像エッジ領域に変換することを含む。第２の画像の画素データセットにおける各画素は、三次元位置データと関連付けられる。６３０において、方法６００は、第１及び第２の画像エッジ領域をフィルタリングして、第１及び第２の画像エッジ領域を（例えば図１のフィルタ１７０を介して）第１の平滑な画像領域及び第２の平滑な画像領域に変換することを含む。６４０において、方法６００は、第１及び第２の平滑な画像領域のそれぞれのためのヒストグラムを計算して、（例えば図１の方向計算機１８０を介して）第１及び第２の平滑な画像領域間の方向を決定することを含む。６５０において、方法６００は、（例えば図１の特徴相関器１６０を介して）第２の画像の画素データセットと関連する三次元位置データを抽出するために、第２の画像の画素データセットに対する相関に基づいて、第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算して、第１の画像の画素データセットにおける画素の一部分のナビゲーション位置を決定することを含む。

図示されていないが、方法６００はまた、エッジ点画素位置を識別するために、勾配演算を実行すること、所定の閾値を超える勾配の大きさを選択することによって、第１及び第２の画像のエッジ点画素位置を識別することを含むことができる。勾配演算は、例えば、ロバーツ演算子、プルウィット演算子、ソーベル演算子、及び等方性演算子の少なくとも１つを含む勾配演算子を適用することを含むことができる。方法６００はまた、ガウスフィルタを実行して、第１及び第２の画像の画素データセットからの抽出されたエッジ特徴を第１の平滑な画像領域及び第２の平滑な画像領域に変換することを含むことができる。方法６００は、第２の画像の画素データセットと関連する三次元位置データを抽出するために、第１及び第２の平滑な画像領域の方向性エッジ特徴間の計算された距離をランキングし、且つランキングに基づいて第１の画像の画素データセットにおける画素の一部分のナビゲーション位置を決定することを含むことができる。方法６００はまた、ナビゲーションシステムのナビゲーションソリューションを補正するために、ナビゲーション位置を用いてナビゲーションシステムを更新することを含むことができる。

図７は、異なるスペクトル内容を有する画像間のクロススペクトル特徴相関を介してナビゲーションシステムを調整する並列処理方法７００の例を示す。７１０で始まって、方法７００は、可視画像処理を含む。７１０において、方法は、２Ｄ可視画像と関連する３Ｄ位置情報を有する２Ｄ可視画像を取得する。例えば、２Ｄ可視画像における各画素は、画素の画素強度データと関連する緯度、経度及び高度データ（例えば画素と関連する別個のメモリ位置における）を有することができる。７１４において、方法７００は、前述のように、可視画像の２Ｄエッジ画像を抽出することを含む。７２０において、方法７００は、ガウスフィルタを用いて可視画像のぼかし画像を生成することを含む。７２４において、方法７００は、ぼかし可視画像の方向のヒストグラムを計算することを含む。

７３０で始まる方法７００の別の処理経路は、赤外線画像処理を含む。７３０において、方法は、２Ｄ赤外線画像を取得する。７３４において、方法７００は、前述のように、赤外線画像の２Ｄエッジ画像を抽出することを含む。７４０において、方法７００は、ガウスフィルタを用いて赤外線画像のぼかし画像を生成することを含む。７４４において、方法７００は、ぼかし（又は平滑な）赤外線画像の方向のヒストグラムを計算することを含む。

それぞれ７２４及び７４４としてのヒストグラム計算からの出力は、方法７００の７５０において処理される。７５０において、赤外線画像のぼかし画像エッジ特徴に対するぼかし可視画像の画像エッジ特徴の１つ又は複数間の距離が計算される。距離は、例えば、それぞれの特徴を分離する画素を数えることによって決定することができる。７６０において、方法７００は、７５０からの計算された距離（例えば上位２０の最も近い距離）をランキングすること、エッジ特徴間の上位の一致（又は相関）を選択すること、可視画像からのエッジ特徴が、赤外線画像からのエッジ特徴と一致する（例えばほぼ同じか又は相関する）かどうかを決定するために、距離を所定の閾値と比較することを含む。相関特徴用に、次に、可視画像と関連する３Ｄ情報が抽出され、且つ赤外線画像の相関エッジ特徴に割り当てられる。次に、相関３Ｄ情報は、ナビゲーションシステムを更新して、そのナビゲーションソリューションを補正するために用いることができる。例えば、その予期した座標から１００メートルを超えてドリフトしたソリューションは、本明細書で説明されるクロススペクトル相関を介して、約＋／−３メートル内（又は画像データベース精度に依存してより少なく）に補正することができる。

上記で説明したものは、例である。当然のことながら、コンポーネント又は方法論の全ての考えられる組み合わせを説明することは不可能であるが、しかし当業者は、多くの更なる組み合わせ及び置き換えが可能であることを理解されよう。従って、本開示は、添付の特許請求の範囲を含む本出願の範囲内に入る全てのかかる変更形態、補正形態及び変形形態を包含するように意図されている。本明細書で用いられているように、用語「含む」は、含むことを意味するが、しかしそれに限定されず、用語「含んでいる」は、含んでいることを意味するが、しかしそれに限定されない。用語「〜に基づいて」は、少なくとも部分的に基づくことを意味する。更に、本開示又は特許請求の範囲が、「１つの（ａ）」、「１つの（ａｎ）」、「第１の」若しくは「別の」要素、又はそれらの均等物を挙げる場合、それは、１つ又は複数のかかる要素を含むが、２つ以上のかかる要素を要求も排除しないと解釈されるべきである。

１００ システム
１１０ ナビゲーションシステム
１２０ センサ
１３０ データベース
１３４ 画像検索モジュール
１４０ 視覚モジュール
１５０ エッジ抽出器
１６０ 特徴相関器
１７０ フィルタ
１８０ 方向計算機
２００ 視覚モジュール
２１０ ワーピングモジュール
２２０ ナビゲーションソリューション
２３０ ＩＲ画像
２４０ データベース
２７０ カルマンフィルタ
３００ ナビゲーションシステム
３１０ 視覚モジュール
３２０ カルマンフィルタ
３３０ ナビゲーションコントローラ
３４０ 慣性測定ユニット
３５０ ＧＰＳモジュール
３６０ 気圧高度計
３７０ 観察マトリックス
３８０ 位置データ
３９０ 観察マトリックス
４１０ 可視画像
４２０ 赤外線画像
４３０ 出力図
４６０ 照合ライン
５００ 画像データベース
５１０ グリッド位置
５２０ 赤外線画像

Claims (13)

1. システムであって、
   第１の二次元画像の画素データセットを有する第１の画像を生成するセンサと、
   第２の二次元画像の画素データセットにおける各画素のナビゲーション位置を示す三次元位置データセットを含む前記第２の二次元画像の画素データセットを有する第２の画像を提供するデータベースと、
   視覚モジュールと、を備え、
   前記視覚モジュールは、
   前記第１の二次元画像の画素データセットから画像エッジ特徴を抽出し、且つ前記第２の二次元画像の画素データセットから画像エッジ特徴を抽出するエッジ抽出器と、
   前記第１及び第２の二次元画像の画素データセットからの抽出されたエッジ特徴の画像エッジ特徴比較に基づいて、前記第１の二次元画像の画素データセットにおける各画素のナビゲーション位置を決定する特徴相関器と、
   前記第１及び第２の二次元画像の画素データセットからの抽出されたエッジ特徴を第１の平滑な画像領域及び第２の平滑な画像領域に変換するフィルタと、
   ヒストグラムを用いて、前記第１の平滑な画像領域及び前記第２の平滑な画像領域のエッジ特徴間の方向を決定する方向計算機と、を含み、
   前記特徴相関器は、前記画像エッジ特徴比較に基づいて、前記第２の二次元画像からの前記三次元位置データセットの一部分を前記第１の画像における相関特徴の一部分に割り当て、
   前記特徴相関器は、前記第１及び第２の平滑な画像領域の方向性エッジ特徴間の計算された距離をランク付けする、システム。
2. 前記第１の二次元画像が、赤外線周波数センサから捕捉され、前記第２の二次元画像が、可視周波数センサから前記データベースに記憶される、請求項１に記載のシステム。
3. 前記エッジ抽出器は、
   勾配演算を実行して、所定の閾値を超える勾配の大きさを選択してエッジ点画素位置を識別することによって前記第１及び第２の二次元画像のエッジ点画素位置を識別する、請求項１に記載のシステム。
4. 前記勾配演算は、
   ロバーツ演算子、プルウィット演算子、ソーベル演算子、及び等方性演算子の少なくとも１つを含む勾配演算子を適用することを含む、請求項３に記載のシステム。
5. 前記フィルタが、ガウスフィルタを実行して、前記第１及び第２の二次元画像の画素データセットからの抽出されたエッジ特徴を前記第１の平滑な画像領域及び第２の平滑な画像領域に変換する、請求項１に記載のシステム。
6. 前記特徴相関器は、
   前記第２の二次元画像の画素データセットの一部分への計算された距離に基づいて、前記第１の二次元画像の画素データセットにおける画素の一部分に、前記第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算する、請求項５に記載のシステム。
7. 前記特徴相関器は、
   前記ランク付けに基づいて、前記第１の二次元画像の画素データセットにおける画素の一部分のナビゲーション位置を決定して、前記第２の二次元画像の画素データセットと関連する前記三次元位置データを抽出する、請求項６に記載のシステム。
8. 方法であって、
   プロセッサが、第１の画像の画素データセットを第１の画像エッジ領域に変換すること、
   前記プロセッサが、第２の画像の画素データセットを第２の画像エッジ領域に変換することであって、前記第２の画像の画素データセットにおける各画素が、三次元位置データと関連付けられる、前記第２の画像エッジ領域に変換すること、
   前記プロセッサによって、前記第１及び第２の画像エッジ領域をフィルタリングして、前記第１及び第２の画像エッジ領域を第１の平滑な画像領域及び第２の平滑な画像領域に変換すること、
   前記プロセッサが、前記第１及び第２の平滑な画像領域のそれぞれのヒストグラムを計算して前記第１及び第２の平滑な画像領域間の方向を決定すること、
   前記プロセッサを介して、前記第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算して、前記第２の画像の画素データセットに対する相関に基づいて、前記第１の画像の画素データセットにおける画素の一部分のナビゲーション位置を決定し、前記第２の画像の画素データセットと関連する前記三次元位置データを抽出すること、
   前記第１及び第２の平滑な画像領域のエッジ特徴間の距離をランク付けすること、を備える、方法。
9. 勾配演算を実行して、所定の閾値を超える勾配の大きさを選択してエッジ点画素位置を識別することによって前記第１及び第２の画像のエッジ点画素位置を識別することを更に備える請求項８に記載の方法。
10. 前記勾配演算は、ロバーツ演算子、プルウィット演算子、ソーベル演算子、及び等方性演算子の少なくとも１つを含む勾配演算子を適用することを含む、請求項９に記載の方法。
11. ガウスフィルタを実行して、前記第１及び第２の画像の画素データセットからの抽出されたエッジ特徴を前記第１の平滑な画像領域及び第２の平滑な画像領域に変換することを更に備える請求項１０に記載の方法。
12. コンピュータ実行可能命令を記憶した非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令が、
    センサからの赤外線画像の画素データセットを第１の画像エッジ領域に変換すること、
    データベースからの可視画像の画素データセットを第２の画像エッジ領域に変換することであって、前記可視画像の画素データセットにおける各画素が、三次元位置データと関連付けられる、前記第２の画像エッジ領域に変換すること、
    前記第１及び第２の画像エッジ領域をフィルタリングして、前記第１及び第２の画像エッジ領域を第１の平滑な画像領域及び第２の平滑な画像領域に変換すること、
    前記第１及び第２の平滑な画像領域のそれぞれのヒストグラムを計算して、前記第１及び第２の平滑な画像領域間の方向を決定すること、
    前記可視画像の画素データセットに対する相関に基づいて、前記赤外線画像の画素データセットにおける画素の一部分のナビゲーション位置を決定するように、前記第１及び第２の平滑な画像領域の方向性エッジ特徴のヒストグラム間の距離を計算し、前記可視画像の画素データセットと関連する前記三次元位置データを抽出すること、
    前記第１及び第２の平滑な画像領域のエッジ特徴間の距離をランク付けすること、を行うように構成される、非一時的なコンピュータ可読媒体。
13. 勾配演算を実行して、所定の閾値を超える勾配の大きさを選択してエッジ点画素位置を識別することによって第１及び第２の画像のエッジ点画素位置を識別するコンピュータ実行可能命令を更に備える請求項１２に記載の非一時的なコンピュータ可読媒体。