JP5815562B2 - 自動化された三次元マッピング法 - Google Patents

Description

本発明は、複数の画像を利用して三次元モデルを推定する、自動化された三次元マッピング法に関する。

立体写真測量法からの三次元（３Ｄ）モデルの推定は、立体ゴーグルの手動利用と関連して一般に知られている。コンピュータを利用する解決策もあり、かかるコンピュータ化された解決策の例は、特に我々の特許出願ＰＣＴ／ＥＰ２００７／０５６７８０及びＰＣＴ／ＳＥ２０００／０００７３９で見い出される。従来、結果は、世界の同じ領域をカバーする異なる位置からの二つの画像に基づいている。

ＵＳ５８０８６２６及びＵＳ２００２／０１０１４３８Ａ１から、多数の重複する画像を使用する方法が知られている。これらの方法は、キーポイントの同定及び選択に基づく。重複する画像を使用する方法の他の例は、ＵＳ６６５８２０７Ｂ１、ＵＳ２００４／０１０５０９０Ａ１、ＵＳ２００２／０１６３５８２Ａ１、及びＵＳ５１０４２１７から知られている。

自動化された推定における精度を得るために、通常、ある種の平滑化法を導入することが要求される。かかる平滑化の欠点は、深さの急激な変化が平滑化され、３Ｄモデルの全体の品質が極めて不明瞭になることである。

本発明の目的は、平滑化の必要性を低下し、より安定した３Ｄモデルをもたらし、後平滑化が全く要求されないか又は極めて少なくしか要求されない方法を得ることである。

本発明の目的は、少なくとも一つのカメラについての位置及び姿勢が、画像がとられるときに記録されること、少なくとも一つのカメラが、画像における各画素の方向を示すために幾何学的に較正されること、ステレオ視差が、各ステレオ視差について視差及び確実性の程度の推定値を設定して同じ領域位置をカバーする複数の画像対について計算されること、異なるステレオ視差推定値が一緒に重み付けされて３Ｄモデルを形成すること、及びステレオ視差推定値が、推定された３Ｄモデルに基づいて自動的にかつ適応させて（ａｄａｐｔｉｖｅｌｙ）再重み付けされることを特徴とする方法によって得られる。

我々のマッピング法は、３Ｄモデルが、キーポイントの選択又は物体のセグメント化なしで収集された画像によってカバーされる全領域をカバーすることにある。

前述のパラグラフによる同じ領域位置をカバーする複数の画像対についてステレオ視差を計算することによって、安定した３Ｄモデルを得るために後平滑化が全く実施されないか又はわずかしか後平滑化が実施されない。選出（ｖｏｔｉｎｇ）又は重み付け法の後に異なる角度からとられた複数の異なる画像を使用することによって、街路上のように周囲が平滑である場合に平滑であり、同時に急激な深さの変化の場所では急激さを保持できる三次元モデルに立体対からの結果を組み合わせることが可能である。ステレオ視差推定値は、例えば推定された３Ｄモデルの法線ベクトルに基づいて再重み付けされることができる。さらに、異なるステレオ視差推定値は一緒に重み付けされて３Ｄ高さモデルを形成することができる。

本発明の方法の好ましい発展例によれば、ステレオ視差は、各可能な画像対について計算される。できるだけ多くの画像対を利用することによって、３Ｄモデルは精度に関して最適化される。

本発明の方法のさらに好ましい発展例によれば、飛行方向の画像は、約６０〜９０％の重複を伴なってとられる。

本発明の方法の別の好ましい発展例によれば、隣接飛行間の画像は、約６０〜８０％の重複を伴なってとられる。

飛行方向及び隣接飛行間に関する上で提案されたような重複の選択は、領域の各点についての推定値への寄与のために少なくとも１０個の画像のカバー範囲が利用可能であることをもたらす。

利用可能な画像の数をさらに増加するために、本発明の方法のさらに別の好ましい発展例によれば、画像が、二つの本質的に垂直な飛行方向における重複を伴なってとられる。

視差推定値の重み付けは、多くの様々な方法で実施されることができる。本発明の方法の一つの提案によれば、ステレオ視差の重み付けは、平均化に基づく。不確実な測定を避けるために、ステレオ視差の重み付けがアウトライアーの除外を含むことが提案される。

各ステレオ視差についての確実性の程度の推定値は、低コントラスト、例えば不明瞭化もしくは解像度によって影響される可視性を考慮して、又はこれらの考慮の組み合わせで設定されることができる。

本発明は、添付図面を参照してより詳細に記載されるだろう。

図１は、上からの画像の取得を概略的に示す。

図２ａは、データを収集するために使用される既知の立体写真法の一例を示す。図２ｂは、データを収集するために使用されるべき提案される立体写真法を示す。

図３は、データを収集するために使用されるべき別の提案される方法を概略的に示す。

図４は、本発明による３Ｄマッピング法に関係する画像処理を概略的に示す。

図１によれば、カメラ２を与えられた飛行機１が第一位置では破断していない線によって示され、第二位置では破線によって地形３上に示されている。図に示されるように、地形は高さが異なり、家のような切り立った構成４及び波状の丘のような波状構成５がある。第一位置におけるカメラの位置はｘ，ｙ，ｚによって示され、姿勢はα，β，γによって示される。従って、全て六つの回転度及び位置が利用可能である。示された第二カメラ位置に対する対応する位置及び姿勢はｘ′，ｙ′，ｚ′及びα′，β′，γ′によって示される。少なくとも一つのカメラは、画像における各画素の方向を示すために幾何学的に較正される。カメラ１による地形のカバー範囲は第一位置に対しては線６，７によって示され、第二位置に対しては線６′，７′によって示される。第一位置からとられた地形の画像を第二位置からとられた画像と比較するとき、重複部分８が同定されることができる。もし重複部分８が観察されるなら、第一位置からとられた画像が切り立った構成４の垂直な右部分４．１についての画像情報を欠き、一方、同じ垂直右部分４．１が第二位置から容易に撮像されることがわかる。従って、同じ領域位置をカバーする複数の画像を持っているので、現実の世界に密接に一致する三次元画像を作り上げる可能性を増加する。

図１では、約２５％の重複が示されている。もちろんこの重複は例えば７５％のようにずっと多くすることができる。

図２ａは、既知の立体写真法の一例を示す。かかる方法は、飛行方向に約５０〜６０％の重複があり、隣接飛行に対しては主に重複はないが、実際には穴を避けるために約１０％の重複があるように、地形の上で下方に向けたカメラを与えられた飛行機又は他の飛行物体を飛ばすことによって得られる。図では、上部灰色ストリップ９は第一飛行の足跡を示し、下部灰色ストリップ１０は第二飛行の足跡を示す。ストリップ９，１０では、一つおきの画像からの足跡が立体矩形１３−２０として示され、一方、それらの間の一つおきの画像からの足跡が飛行方向１２に垂直な破線によって画定される矩形２１−２６として示されている。示された方法によって地面上の各地点は二つの画像でカバーされ、これらの画像から立体的な推定値が計算されることができる。

図２ｂは、我々の提案される発明において使用されることができる立体写真法の例を示す。提案される方法では、上部及び下部ストリップ９，１０は飛行方向１２において８０％の重複を示し、隣接飛行間で６０％の重複を示す。飛行方向における好適な提案される重複は約６０〜９０％であり、隣接飛行間では約６０〜８０％である。異なるストリップ９，１０では、飛行方向に沿って繰り返し存在する五つの連続する足跡を示す五つの異なる矩形２７〜３１を同定することができる。五つの矩形は、飛行方向に垂直な五つの異なる境界線（実線、ダッシュドット線、短いダッシュ線、長いダッシュ線、及びダッシュダブルドット線）によって示される。示されかつ図２ｂを参照して記載された方法によって、地面上の各地点は少なくとも１０個の画像でカバーされ、全てのこれらの画像は、領域の各地点に対する立体的な推定値に寄与することができる。数は、側方で６７％の重複を伴なって少なくとも１５であることができる。

図３は、さらに多く重複を与える方法の一例を概略的に示す。この場合において、画像は、一つの第一飛行方向３２の本質的に平行な飛行経路からだけでなく、第一飛行方向に本質的に垂直な第二飛行方向３３においても収集される。飛行は、ここでは、第一飛行方向３２では矢印３４．１〜３４．５として、第二飛行方向３３では矢印３８．１〜３８．５として示されているだけである。たとえ矢印が飛行方向について同じ方向を指して示されているとしても、それらの幾つか、例えば一つおきに反対方向を指すことができる。隣接する平行な飛行間の重複及び飛行方向の重複は図３に特に示されていないが、広い枠内で図２ｂを参照して記載されているように変化させることができる。例えば、地面上の各点は、領域中の各点についてのステレオ視差の推定値に寄与しうる少なくとも２０個の画像によってカバーされることができる。

本発明の３Ｄマッピング法に関係する画像処理は、図４を参照して記載される。

図１，２ｂ及び３を参照して上記に従って収集されかつ記憶ユニット４５で利用可能であることができる画像４４は、同じ領域位置をカバーする各可能な画像対ｎに対するステレオ視差を計算するステレオ視差ブロック４２に適用される。関係する各画像に対して画像がとられる位置ｘ，ｙ，ｚ及び姿勢α，β，γが知られている。即ち、全ての六つの回転度及び位置が知られている。さらに、各ステレオ視差の確実性の程度が推定される。この確実性の程度は局所コントラスト、可視性及び／又は解像度に基づくことができる。

ステレオ視差ブロック４２で計算されたステレオ視差は、推定された確実性の程度に注目して重み付けブロック４３において重み付け工程に供される。重み付け後に重み付けブロック４３の出力として利用可能なものは、格子として視覚化されることができる高さモデル４６である。この第一モデルから、元の立体的な推定値が、可視性、局所コントラスト、解像度のような情報及び不明瞭性のような可視性を考慮して、推定された３Ｄモデルの法線ベクトルに基づいて自動的にかつ適応して再重み付けされる。この関連において、例えば建物の上にまっすぐとられた画像は屋根構造（建物の側面ではない）を推定するために使用される。別の例は、建物の前側及び後側の混合を避けることであることができる。そばからの画像及び接続された測定を利用する反復法によって、隠された部分を明らかにする信頼性のある３Ｄモデルが得られる。重み付け法では、アウトライアーは区別されることができ、簡単な例として領域に対して残っているステレオ視差は、同様のステレオ視差の集中を見い出すために平均化又は他の算術的方法によって一緒に重み付けされる。

重み付けブロック４３の出力の３Ｄモデル４６に基づいて、三角形のワイヤーモデル４７が作り上げられ、三角形は、観察方向に適合する画像で覆われる。

本発明は、上で例示した方法に限定されず、添付の特許請求の範囲内で変更可能である。

Claims (10)

1. 複数の画像を利用して三次元モデルを推定する自動化された三次元マッピング法であって、少なくとも一つのカメラについての位置及び姿勢が、画像が経路に沿ってとられるときに記録される方法において、少なくとも一つのカメラが、画像における各画素の方向を示すために幾何学的に較正されること、画素基準のステレオ視差が、各ステレオ視差について視差及び確実性の程度の推定値を設定して同じ領域位置をカバーする複数の画像対について計算されること、異なるステレオ視差推定値が確実性の程度に基づいて一緒に重み付けされて３Ｄモデルを形成すること、及びステレオ視差推定値が、可視性、局所コントラスト、及び解像度を含む情報を考慮して、推定された３Ｄモデルの法線ベクトルに基づいて自動的にかつ適応させて再重み付けされることを特徴とする方法。
2. 異なるステレオ視差推定値が一緒に重み付けされて３Ｄ高さモデルを形成することを特徴とする請求項１に記載の方法。
3. ステレオ視差が各可能な画像対について計算されることを特徴とする請求項１又は２に記載の方法。
4. 経路の方向の画像が６０〜９０％の重複を伴なってとられることを特徴とする請求項１〜３のいずれかに記載の方法。
5. 隣接経路間の画像が６０〜８０％の重複を伴なってとられることを特徴とする請求項１〜４のいずれかに記載の方法。
6. 画像が、二つの本質的に垂直な経路の方向で重複を伴なってとられることを特徴とする請求項１〜５のいずれかに記載の方法。
7. ステレオ視差の重み付けが、他のステレオ視差とは明らかに異なるステレオ視差を除外することを含むことを特徴とする請求項１〜６のいずれかに記載の方法。
8. ステレオ視差の重み付けが平均化に基づくことを特徴とする請求項１〜７のいずれかに記載の方法。
9. 各ステレオ視差についての確実性の程度の推定値が、局所コントラストを考慮して設定されることを特徴とする請求項１〜８のいずれかに記載の方法。
10. 各ステレオ視差についての確実性の程度の推定値が、可視性を考慮して設定されることを特徴とする請求項１〜９のいずれかに記載の方法。

Images