JP6155091B2 - モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム - Google Patents

Description

本発明は、移動するカメラによって撮影された複数枚の時系列画像データから、広範囲の画像を生成するモザイク画像生成装置及び生成方法並びにプログラムに係り、特に、撮影対象が起伏や大きな高低差がある被写体に用いるのに適したモザイク画像生成方式に関する。

近年、被災地での情報収集や農耕地や山林などの観測のために航空機が情報収集に利用されている。航空機が収集する情報の中でも特に地上を撮影した画像情報はさまざまな用途に利用される。中でも時系列的に連続する複数の撮影画像を繋ぎ合わせることで生成できるモザイク画像は、撮影地域全体を俯瞰する事ができるため撮影地域全体の状況把握に有効である。

そのため、航空機に搭載したカメラで撮影した時系列的に連続する複数の撮影画像を繋ぎ合わせて広域かつ高解像度な広域モザイク画像を生成する技術が重要となっている。なおモザイク画像生成技術の用途は広範囲の空撮画像生成に限らず、風景画像を合成したパノラマ画像生成などにも利用でき応用範囲は広い。

次に、従来の一般的なモザイク画像の生成方法を説明する。
図１８はモザイク画像生成処理の概念を示す図である。モザイク画像生成では、まず図１８の（ａ）に示す通りカメラで撮影した時系列的に連続する２枚の画像（Ｉｍ−１），（Ｉｍ−２）に対してコーナー特徴などの画像的特徴を利用して特徴点を検出する。次に、図１８の（ｂ）に示す通り、二枚の画像（Ｉｍ−１），（Ｉｍ−２）の特徴点情報から、特徴点同士の対応付けを行い、対応する特徴点のペアを対応点とする。次に、二枚の画像内の撮影対象の全体を平面と仮定し、画像間の対応点から画像平面の幾何関係の推定を行い、幾何関係情報を得る。

幾何関係情報のうち一般的に利用されるのは、平面間の透視投影変換を表すホモグラフィ行列であり、二枚の画像内の対応点の座標をそれぞれ[u v]としたときに、次の式の通り画像間の対応点の座標変換を表す次式として表現される。

最後に、図１８の（ｃ）に示す通り、二枚の画像（Ｉｍ−１），（Ｉｍ−２）間の幾何関係から、二枚の画像が重なる様に新しい方の画像を変形させて作成済みのモザイク画像に重ね合せることで、モザイク画像の更新を行う。

しかし、この従来の方法では、起伏のある地形や画面内に大きな高低差のある物体が写っている場合に、撮影対象の全体に関して、平面仮定が成立せず、ズレや歪が発生し高精度なモザイク画像を生成できないという課題があった。

図１９、図２０および図２１は、このズレや歪が発生する要因を示した図である。
図１９では、航空機１００に搭載されたカメラを頂点とする例えば四角錐の撮影対象領域５０内が撮影対象になるものとする。撮影対象領域５０内において、地面４０及び道路４５はほぼ平坦であり、この道路４５に沿って背の低いポスト４６があり、その後方に高さの高いビル３０があるものと仮定する。図１９の様に、撮影対象に、起伏や大きな高低差がある場合、所定の高度を水平に飛行する航空機１００上で二つの異なる地点Ｐ２０およびＰ１０から撮影された空撮画像を取得すると、図２０に示す様な空撮画像（ａ）および（ｂ）が撮影される。地点Ｐ２０（ｔ＝ｔ０）で撮影された空撮画像（Ｉｍ−２０）が図２０（ｂ）、地点Ｐ１０（ｔ＝ｔ１）で撮影された空撮画像（Ｉｍ−１０）が図２０（ａ）であるとする。なお、図２０（ａ）の符号３１と図２０（ｂ）の符号３２は同じビル、図２０（ａ）の符号４１と図２０（ｂ）の符号４２は同じ地面を、示している。

図２０（ａ）と図２０（ｂ）の差異は、二つの別々の地点Ｐ１０およびＰ２０から同一の地形を撮影した空撮画像（Ｉｍ−１０），（Ｉｍ−２０）において、カメラから遠い距離の停止物体（地面４１，４２）およびポスト４６は画像間での動きが小さいのに対して、カメラに近い距離の停止物体（高いビル３１および３２）は画像間での動きが大きくなる、視差という現象に起因している。

従って、図２１に示す様に、撮影対象に起伏や大きな高低差がある場合、図２１（ａ）に示す様に、撮影対象の全体にわたって、平面仮定に基づいて２枚の撮像画像（Ｉｍ−１０），（Ｉｍ−２０）の特徴点同士（Ｐ９０−Ｑ９０，Ｐ４００−Ｑ４００等）を対応付けたとしても、地形の起伏により図２１（ｂ）に示す様に視差（例えば、△Ｐ９０と△Ｐ４００）が発生しているため、全体を重ね合せ繋ぎ合わせたモザイク画像（（Ｉｍ−１００），（Ｉｍ−２０）には、図２１（ｃ）に示す様にズレや歪が生じてしまうという問題があった。

この問題は、衛星写真など高高度から撮影された画像に比べて、撮影対象とカメラ間の距離が比較的小さい航空写真などで、より顕著に発生する。

この様な問題に対して、特許文献１や特許文献２では、撮影対象に大きな起伏があっても、高精度なモザイク画像生成を行う方法が提案されている。

特許文献１では、撮影対象の時系列画像データから自動的に対象の三次元形状を検出し復元しながらパノラマ画像を生成することで高精度なモザイク画像を生成している。

特許文献２には、位置姿勢センサや飛行計画から求まる位置姿勢情報に基づいて地面平面の動きベクトルを推定、実際の画像内の動きベクトルと比較して地面平面を判定して画像間の位置合わせを行っている。

特開２００２−２５９９５２号公報 特開２００２−１５０２６４号公報

上記のとおり、従来の技術においても、撮影対象に平面仮定が成立しない程の大きな起伏があっても、時系列的に連続する複数の撮影画像を繋ぎ合わせて高精度なモザイク画像生成を行う方法が開示されている。

しかし、特許文献１の方法では、三次元地形形状の復元の演算量が多く実時間でのモザイク画像生成が困難となり、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行えないという問題がある。

また、特許文献２の方法では、別途位置姿勢センサ情報が必要になる上に、位置姿勢センサが非常に高精度でなければ高精度なモザイク画像は生成できないという問題がある。

本発明は上記の問題を鑑みて行われたもので、平面仮定が成立しない程の起伏のある被写体を撮影した画像であっても、パノラマ画像を生成したり、別途位置・姿勢センサを使用したりすることなく、高精度なモザイク画像を実時間で作成することのできるモザイク画像生成方式を提供することを目的としている。

本発明の代表的な物の一例を示すと、次のとおりである。モザイク画像生成装置は、時系列的に連続した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、前記複数枚の画像において特定平面を追跡する平面追跡手段と、画像更新手段とを備え、前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成することを特徴とする。

本発明によると、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏のある場合でも、別途位置・姿勢センサを使用することなく、高精度なモザイク画像を実時間で生成することができる。

本発明の第一の実施例に係るモザイク画像生成装置の構成例を示す図。 図１のモザイク画像生成装置を含む、モザイク画像生成・利用システムの構成例を示す図。 図１の対応点検出部の構成例を示す図。 図３の特徴点抽出部の処理フローを示す図。 図１のモザイク画像生成装置の運用形態の一例を示す図。 第一の実施例の特徴点抽出処理の概念を示す図。 第一の実施例の対応点探索処理の概念を示す図。 図３の平面追跡部の構成例を示す図。 追跡平面内対応点抽出部の処理フローを示す図。 追跡平面新規対応点抽出部の処理フローを示す図。 図３の画像更新部の構成例を示す図。 モザイク画像更新部の処理フローを示す図。 モザイク画像生成結果の例を示す図。 本発明の第二の実施例に係る平面追跡部の構成例を示す図。 第二の実施例の複数平面抽出処理の概念を示す図。 第二の実施例の複数平面抽出部の処理フローを示す図。 第二の実施例の追跡平面判定部の処理フローを示す図。 一般的なモザイク画像生成処理の概念を示す図。 撮影対象に起伏や大きな高低差がある場合を説明する図。 撮影対象に起伏や大きな高低差がある場合の撮影画像例を示す図。 撮影対象に起伏や大きな高低差がある場合にモザイク画像に生じる歪の例を示す図。

本発明は、時系列的に連続した複数の撮影画像内から画像特徴に基づいて特徴点を検出し、同一領域を撮像した２枚の撮影画像の対から特徴点に基づいて画像間における同一点の対応関係を対応点として検出、特定の平面を追跡対象として、対応点の中から、既に時系列的に前の画像内において追跡平面上に存在すると判定されている対応点を追跡対応点として抽出し、追跡対応点のみから撮影画像間の幾何関係を推定し、撮影画像間の全対応点のうち、前記幾何関係を満足する対応点を追跡平面上に存在すると判定し、一方で、前記幾何関係に基づいて追跡平面が一致する様に撮影画像をモザイク画像に変形・重畳することでモザイク画像を更新する。

これにより、撮影対象に平面仮定が成立しえないほど奥行き方向に対して大きな起伏がある場合においても、撮影対象内の特定平面を追跡し追跡平面で画像を重ねることで、歪みの少ない高精度なモザイク画像を実時間で生成できるようにしたものである。また、モザイク画像を生成する過程で導出された幾何関係からカメラの高精度な位置・姿勢推定を行うことができる。

以下、本発明の第１の実施例に係るモザイク画像生成装置について、図面を参照しながら説明する。
［モザイク画像生成装置］
図１は、本発明の第１の実施例に係るモザイク画像生成装置の構成を示す図である。また、図２は、モザイク画像生成装置を含む、モザイク画像生成・利用システムの構成例を示す図である。

本発明によるモザイク画像生成装置２００は、記憶装置２１０と、対応点検出部２２０と平面追跡部２３０と画像更新部２４０を備える。

モザイク画像生成装置２００は、CPU、メモリ、記憶装置、入出力装置、インターフェイス等を備えたコンピュータにより構成されている。メモリには、各種のプログラムが格納されており、動作時にはCPUがそれらを読み出して実行する。主なプログラムとしては、対応点検出処理プログラム、平面追跡処理プログラム、画像更新処理プログラムがある。これらのプログラムをCPUで実行することにより、コンピュータ(モザイク画像生成装置)を、対応点検出部２２０、平面追跡部２３０、及び、画像更新部２４０として機能させる。

図２に示したように、このモザイク画像生成装置２００は、画像記録・処理装置１２０、第一の記憶装置１４０、及び、表示装置２５０と共に、地上局１１０に設置される。航空機１００等の移動体に搭載されたカメラ１３０により任意の時間間隔でほぼ同じ対象を撮影した少なくとも２枚の撮影画像２６０は、第一の記憶装置１４０やモザイク画像生成装置２００の記憶装置２１０に、時系列画像データとして格納されている。画像データは、画面上の各点の座標値とその点の色情報とがセットになったものを、テーブル化して、保持される。地上局１１０には、モザイク画像を利用するための再生装置１５０が接続されている。さらに、モザイク画像を利用するために、地上局１１０は、さらに、ネットワーク１６０を介して、第二の記憶装置を有するサーバ１７０や端末装置１８０に接続可能に構成されている。

図１に戻って、記憶装置２１０の時系列画像データは、対応点検出部２２０に画像データとして提供される。対応点検出部２２０は、撮影画像２６０を画像解析し、対応点情報２７０を生成して平面追跡部２３０に、歪補正画像３２０を画像更新部２４０に出力する。平面追跡部２３０は、対応点情報２７０を入力し、特定平面の追跡を行い、時系列的に連続した撮影画像間の特定平面での幾何関係推定結果２８０と、追跡に成功したか失敗したかの判定結果を追跡判定結果３４０として画像更新部２４０に出力する。

画像更新部２４０は、幾何関係推定結果２８０と歪補正画像３２０からモザイク画像２９０の更新とカメラの位置姿勢推定を行い、表示装置２５０にモザイク画像２９０と位置姿勢情報３５０を出力する。表示装置２５０は、地上局１１０において、モザイク画像２９０と位置姿勢情報３５０をユーザに提示する。なお、モザイク画像２９０のデータは、記憶装置（フレームバッファ）にも保持される。

［対応点検出部］
図３は、モザイク画像生成装置２００の対応点検出部２２０の構成例を示す図である。対応点検出部２２０は、特徴点抽出部３００と対応点探索部３１０によって構成される。特徴点抽出部３００は、カメラ１３０から入力した撮影画像２６０から特徴点を抽出し、歪補正画像３２０と特徴点情報３３０を出力する。歪補正画像３２０は、画像更新部２４０に入力される。対応点探索部３１０は、歪補正画像３２０と特徴点情報３３０を入力して、時系列的に連続した歪補正画像３２０のペアから対となる特徴点を探索し、対応点情報２７０として平面追跡部２３０に出力する。

［特徴点抽出部］
図４は、特徴点抽出部３００の処理内容を示したフロー図である。特徴点抽出部３００では、処理を開始したら、画像読込ステップ４００を実行する。この画像読込ステップ４００では、特徴点抽出部３００の外部、例えば記憶装置２１０、から撮影画像２６０の読み込みを行い、レンズ歪補正ステップ４１０を実行する。レンズ歪補正ステップ４１０では、外部から設定するレンズ歪補正係数を用いて、撮影画像２６０のレンズ歪補正を行った画像を歪補正画像３２０として出力し、注目点配置ステップ４２０及び特徴点抽出ステップ４３０を実行する。レンズ歪補正係数は、事前にカメラキャリブレーションを行い求めたものを用いる。特徴点抽出ステップ４３０によって得られた特徴点抽出データは、記憶装置２１０等に保持される。

次に、本実施例のモザイク画像生成装置の運用形態について説明する。
図５は、モザイク画像生成装置２００の運用形態の一例を表した図である。本実施例のモザイク画像生成装置の運用形態の一例として、航空機１００にカメラ１３０を搭載し、モザイク画像生成装置２００と表示装置２５０を、図１に示したように、自動車に設置された地上局１１０に設置する構成が考えられる。この例では、道路に沿ったコース６０を飛行する航空機１００のカメラ１３０により、時系列的に連続して撮影された画像２６０−２（（第一の画像、ｔ＝ｔ０）、２６０−１（第二の画像、ｔ＝ｔ１）のデータが、無線通信によりアンテナを備えた地上局１１０に送信される。この例では、地面４０の及び道路４５が比較的平坦であり、この道路４５に沿って背の低いポスト４６があり、その後方に高さの高いビル３０があるものと仮定する。

なお、撮影画像２６０のデータに関しては、カメラ１３０で撮影された時系列的に連続した撮影画像を航空機１００側の記憶装置に一旦保持し、この画像データを、搬送可能な記録媒体等を介して、地上局１１０の記憶装置に移すようにしても良い。また、カメラ１３０モザイク画像生成装置の全体が航空機１００側に搭載される構成や、モザイク画像生成装置２００の機能が航空機１００側と地上局１１０側に分けて搭載される場合も、本発明に含まれるものとする。また、本発明の航空機は、無線操縦される無人航空機（ＵＡＶ）を含む。さらに、本発明における画像は、空撮画像に限定されるものではなく、自動車のような地上を移動する物体に搭載されたカメラ等により、連続的に撮影された画像についても、適用可能である。

図６は、図４の注目点配置処理及び特徴点抽出処理の概念を示した図である。２枚の画像（ａ−１）、（ａ−２）には、異なる地点（時刻ｔ＝ｔ０、ｔ＝ｔ１）から、同一領域、例えば同じ道路や同じビルが、重複して撮像されている。
注目点配置ステップ４２０では、図６の（ａ−１）に示すように、撮影画像２６０−１に対応する歪補正画像３２０の全体に、破線で示したグリッド状の微小な各矩形領域にそれぞれ注目点Ａ０１（座標ｘ＝ａ１，ｙ＝ａ１，色情報ａ１），−，Ａｎ（座標ｘ＝ａｎ，ｙ＝ａｎ，色情報ａｎ）を配置する。同様に、図６の（ａ−２）に示すように、撮影画像２６０−２に対応する歪補正画像の全体にも、グリッド状の微小な各矩形領域にそれぞれ注目点Ｂ０１（座標ｘ＝ｂ１，ｙ＝ｂ１，色情報ｂ１），−，Ｂｎ（座標ｘ＝ｂｎ，ｙ＝ｂｎ，色情報ｂｎ）を配置する。

次に、特徴点抽出ステップ４３０では、重複して撮像されている同じ対象物の特徴点を抽出する。すなわち、歪補正画像３２０内から各注目点Ａ０１、Ｂ０１等を探索開始位置として、図６の（ｂ−１）に示す様に、該注目点の周囲一定範囲内、すなわち各矩形領域から画像特徴を小数画素精度で探索し、画像特徴の小数画素精度の座標位置などを特徴点情報として出力する。例えば、撮影画像２６０−１に対応する歪補正画像３２０において、注目点Ａ９０（座標ｘ＝−，ｙ＝−）を探索開始位置として、同じ矩形領内に道路４５の縁である特徴点Ｐ９０（座標ｘ＝−，ｙ＝−）を抽出する。また、注目点Ａ１００（座標ｘ＝ａ１００，ｙ＝ａ１００）を探索開始位置として、同じ矩形領内にビル３１の地表上の１つのコーナーである特徴点Ｐ１００（座標ｘ＝−，ｙ＝−）を抽出し、さらに、注目点Ａ６００（座標ｘ＝ａ６００，ｙ＝ａ６００）を探索開始位置として、同じ矩形領内にビル３１の屋上のコーナーである特徴点Ｐ６００（座標ｘ＝−，ｙ＝−）を抽出する。そして、これらの各座標位置などを特徴点情報として出力する。同様に、図６（ｂ−２）に示す様に、撮影画像２６０−２に対応する歪補正画像においても、特徴点Ｑ９０（座標ｘ＝−，ｙ＝−），Ｑ１００（座標ｘ＝−，ｙ＝−），Ｑ６００（座標ｘ＝−，ｙ＝−）等を抽出し、それらの座標位置や色情報などを特徴点情報として出力する。

本実施例では画像特徴にはコーナー特徴を用いるが、画像間の対応付けが可能な画像特徴であれば、本発明ではこの方法に限らない。小数画素精度で画像特徴を探索することで、特徴点位置の精度を高め、後述の処理の精度を向上することができる。
また、グリッド状に注目点を配置し各注目点の周囲の画像特徴を探索することで、仮に歪補正画像３２０内で追跡平面以外の領域に大きな画像特徴が偏在していた場合でも、歪補正画像３２０全体から満遍なく画像特徴を抽出することができ、追跡平面以外に偏ることなく、平面追跡を継続することができる。
本発明では画面全体から満遍なく特徴点を検出する方法であれば、それらを採用可能であり、上記方法に限らない。

なお、ある矩形領域の近傍に、ビル３１の外縁等を示す特徴点がない時は、その矩形領域に関する特徴点情報は出力されない。このようにして得られた特徴点抽出データは、例えば、テーブル形式でまとめられ、記憶装置２１０等に保持される。

［対応点探索部］
図７は、図３の対応点探索部３１０の処理の概念を示す図である。
対応点探索部３１０では、特徴点抽出部３００から歪補正画像と図７の（ａ−１）、（ａ−２）に示す様なＰ９０、Ｑ９０等の特徴点情報（特徴点抽出データ）３３０を入力し、時系列的に連続した二枚の歪補正画像３２０およびその特徴点情報３３０から、図７の（ｂ−１）、（ｂ−２）に示す様に、対応点Ｐｉ，Ｑｉの探索を行い、対応点情報２７０として平面追跡部２３０へと出力する。

このとき、時系列上で連続した二枚の歪補正画像３２０のうち、前の歪補正画像３２０の特徴点と一致する次の歪補正画像３２０内の対応点をＰｙｒａｍｉｄＬＫ（ＬｕｃａｓＫａｎａｄｅ）法を用いて探索し、次の歪補正画像３２０の特徴点と一致する前の歪補正画像３２０内の対応点をＰｙｒａｍｉｄＬＫ法を用いて探索するように、両方の歪補正画像３２０から対応点を探索する。例えば、時系列的に連続してほぼ同一領域を撮像した２枚の撮影画像（２６０−２，２０６−１）の歪補正画像から、２つの画像間における同一点の対応関係を対応点として、図７の（ｂ−１）の特徴点Ｐ９０（座標ｘ＝−，ｙ＝−）と、図７の（ｂ−２）の特徴点Ｑ９０（座標ｘ＝−，ｙ＝−）とが、同じ道路の同じ縁に相当する対応点として抽出される。また、図７の（ｂ−１）のＰ４００（座標ｘ＝−，ｙ＝−）と、図７の（ｂ−２）の特徴点Ｑ４００（座標ｘ＝−，ｙ＝−）とが、同じビルの屋上の同じコーナーに相当する対応点として抽出される。これらの各対応点Ｐｉ，Ｑｉとそれらの位置情報等がテーブル化されたものが対応点情報２７０であり、記憶装置２１０等に保持される。

このように、時系列上で連続した両方の歪補正画像３２０から対応点Ｐｉ，Ｑｉを探索することで、後述の平面追跡処理が対応点情報２７０をベースとして行うことが出来る。
本実施の形態では、対応点の探索方法はＰｙｒａｍｉｄＬＫ法を使用しているが、本発明では二枚の画像間の対応関係を導出できる方法であれば、ＰｙｒａｍｉｄＬＫに限らない。

［平面追跡部］
図８は、図１の平面追跡部２３０の構成を示した図である。
平面追跡部２３０は、追跡平面内対応点抽出部５００と追跡平面幾何推定部５１０と追跡平面対応点更新部５２０から構成される。
追跡平面内対応点抽出部５００は、対応点検出部２２０から対応点情報２７０を、追跡平面対応点更新部５２０から前画像における追跡平面内特徴点情報５５０を入力し、対をなす画像間の平面追跡を行い、その判定結果３４０を画像更新部２４０に出力し、また、対をなす画像の追跡平面内に含まれる対応点の抽出を行い、その結果を追跡平面対応点情報５３０として追跡平面幾何推定部５１０に出力する。（追跡平面内対応点抽出部の詳細な動作は図９で説明する。）
追跡平面幾何推定部５１０では、追跡平面内対応点情報５３０を入力し、二枚の画像間の幾何関係を推定し、幾何関係推定結果２８０を追跡平面幾何学的関係結果として追跡平面対応点更新部５２０及び画像更新部２４０に出力する。
追跡平面対応点更新部５２０では、幾何推定結果２８０を入力とし、新規対応点から幾何関係推定結果２８０を満たす対応点を抜き出し、追跡平面内特徴点情報５５０として追跡平面内対応点抽出部５００に出力する（詳細な動作は、図１０で説明する）。

このように、平面追跡部２３０は、時系列的に連続してほぼ同一領域を撮像した２枚の撮影画像（第一、第二の画像）の対応点の中から、既に時系列的に前の画像（第一の画像）内において追跡平面上に存在すると判定されている対応点を追跡対応点として抽出し、追跡対応点のみから２枚の撮影画像（第一、第二の画像）間の幾何関係を推定し、２枚の撮影画像間の全対応点のうち、前記幾何関係を満足する対応点を追跡平面上に存在する対応点と判定する。

本実施例の平面追跡部２３０によると、モザイク画像生成に必要な二枚の画像間の幾何関係推定を利用して特定平面の追跡を行うため、特定平面のための演算量は少なく実時間処理が可能となる。

［追跡平面内対応点抽出部］
図９は、図８の追跡平面内対応点抽出部５００の処理内容を示したフロー図である。追跡平面内対応点抽出部５００は、処理を開始したら平面内特徴点情報読込ステップ６００を実行する。この平面内特徴点情報読込ステップ６００では、前画像（第一の画像）で追跡平面内と判定されている特徴点Ｐ，Ｑの情報を追跡平面内特徴点情報５５０として読み込む。

継続判定ステップ６１０では、追跡平面内特徴点情報５５０の特徴点Ｐ，Ｑの数が平面内特徴点数閾値以上かの判定を行い、閾値以上なら追跡判定結果３４０を真として画像更新部２４０に出力し、第二の画像に対して平面内対応点抽出ステップ６２０を実行し、閾値未満なら追跡判定結果３４０を偽として画像更新部２４０に出力し、新規平面選択ステップ６３０を実行する。

これにより、時系列的に連続した二枚の画像間で平面追跡が実行出来ている間は、追跡平面内特徴点情報５５０の特徴点Ｐ，Ｑの数は十分な数存在するため、平面内対応点抽出ステップ６２０が実行され平面追跡が継続されるが、初回起動時もしくは前フレーム（第一の画像）で平面追跡に失敗した場合は、新規平面ステップ６３０を実行し、第一の画像として新たな平面を抽出して追跡対象とする。

平面内対応点抽出ステップ６２０では、対応点検出部２２０から入力した二枚の画像の対応点情報２７０のうち、追跡平面内特徴点情報５００と一致する特徴点を含む対応点Ｐｉ，Ｑｉを平面内対応点５３０として抽出し出力する。

一方で、新規平面選択ステップ６３０では、
初回動作の場合は、小型のＵＡＶは一般に平坦な地面など平地から離陸するため、最初の画像の撮影時には（第一の画像）の画面全体に平面である平地が撮影されていると仮定し、画面全体を追跡することを意図して、
また、前フレームで平面追跡に失敗した場合には、撮影対象が平地から台地や森林地帯に差し掛かったために画面内から追跡対象の平面が無くなったと仮定し、第一の画像として別の追跡平面を見つけることを意図して、
対応点検出部２２０から入力した対応点情報２７０の全てを平面内対応点５３０として出力する。

なお、本実施例の新規平面選択ステップ６３０では地面平面を追跡することを想定した処理となっているが、用途に応じて処理を変えるべきであり、例えば、他の新規平面選択の方法として、道路面を検出してその面を追跡したり、平面追跡に失敗する度にユーザが追跡平面を再設定する場合も本発明の範囲内である。

［追跡平面の幾何関係推定部］
図８の追跡平面幾何推定部５１０は、追跡平面内対応点抽出部５００から入力した平面内対応点情報５３０から追跡平面の幾何関係を推定し、幾何関係推定結果２８０を追跡平面対応点更新部５２０と画像更新部２４０に出力する。
本実施例の幾何関係推定では、ホモグラフィ推定とＲＡＮＳＡＣ（ＲＡＮｄｏｍＳＡｍｐｌｅＣｏｎｓｅｎｓｕｓ）法を使用する。これにより、平面追跡が実行出来ている場合の対応点探索ミスや移動物体、初回動作時や平面追跡に失敗した場合に次の追跡平面以外の対応点を外れ値として除外して射影変換に基づいた幾何関係を推定することができる。
なお、本発明における幾何関係推定は、ホモグラフィ推定とＲＡＮＳＡＣ法の組み合わせに限定されるものではなく、アフィン推定など他の幾何関係推定方法を使用する場合でも本発明の範囲内である。

［追跡平面対応点更新部］
図８の追跡平面対応点更新部５２０では、対応点探索部から入力した全ての対応点情報（Ｐｉ，Ｑｉ）２７０に対して処理を行う。
図１０は、追跡平面対応点更新部５２０で対応点情報２７０毎に実行される処理内容を示したフロー図である。

追跡平面対応点更新部５２０は処理を開始したら、まず座標変換ステップ７００を実行する。座標変換ステップ７００では、対応点探索部２２０から入力した対応点情報（Ｐｉ，Ｑｉ）２７０のうち次画像の特徴点座標を追跡平面幾何推定部５１０から入力した追跡平面の幾何関係推定結果２８０に基づき座標変換を行い、仮に追跡平面上に存在すると仮定した場合の前画像での対応座標を求め、座標差分ステップ７１０を実行する。座標差分ステップ７１０では、対応点情報２７０の前画像での特徴点座標と対応座標の距離を対応座標間距離（ΔＰ，ΔＱ）として算出し、差分判定ステップ７２０を実行する。

差分判定ステップ７２０では、対応座標間距離が対応座標距離閾値（ΔＺ）以下であれば追跡平面内対応点追加ステップ７３０を実行し、対応座標間距離（ΔＰ，ΔＱ）が座標差分閾値よりも大きければこの対応点情報２７０に対する処理フローを終了する。

例えば、図７の（ｂ−１）の特徴点Ｐ９０と、図７の（ｂ−２）の特徴点Ｑ９０とは、カメラから遠い停止物体、すなわち平坦な地面上の道路の同じ縁に相当する対応点であり、点Ｐ９０とＱ９０の対応座標間距離（ΔＰ９０）は、対応座標距離閾値（ΔＺ）以下となり、幾何関係を満足する対応点となる。一方、図７の（ｂ−１）の特徴点Ｐ４００と、図７の（ｂ−２）の特徴点Ｑ４００とは、カメラから近い停止物体、すなわち高いビルの屋上の同じコーナーに相当する対応点であり、点Ｐ４００とＱ４００の対応座標間距離（ΔＰ４００）は、対応座標距離閾値（ΔＺ）よりも大きく、幾何関係を満足しない対応点となる。

ΔＰ９０（＝Ｐ９０−Ｑ９０）＜ΔＺ
ΔＰ４００（＝Ｐ４００−Ｑ４００）＞ΔＺ
従って、特徴点Ｐ９０とＱ９０は、追跡平面内対応点追加ステップ７３０の対象になるが、点Ｐ４００とＱ４００は、追跡平面内対応点追加ステップ７３０の対象とならない。換言すると、この例では、平坦な地面が特定平面となり、この特定平面上の各特徴点は追跡平面内対応点となるが、高いビルの屋上の平面は特定平面とはならず、屋上の各特徴点は追跡平面内対応点にならない。一方、高さの異なる高層ビル群が多数存在する市街地であっても、高層ビル群の間に連続した平坦な道路がある場合には、この道路を特定平面とし、道路上の各特徴点を追跡平面内対応点とする。

追跡平面内対応点追加ステップ７３０では、追跡平面内対応点に対応点情報２７０の次画像における特徴点情報を追跡平面内特徴点情報５５０に追加して、本対応点に対する処理フローを終了する。追跡平面対応点更新部５２０は、全ての対応点情報２７０に対する処理が終了したら、平面内特徴点情報５５０を追跡平面内対応点抽出部５００に出力する。

［画像更新部］
図１１は、画像更新部２４０の構成の概要を示した図である。
画像更新部２４０は、モザイク画像更新部８００とフレームバッファ８１０によって構成される。モザイク画像更新部８００は、幾何関係に基づいて追跡平面が一致する様に２枚の撮影画像を１枚のモザイク画像に変形・重畳することで、モザイク画像２９０を更新する。すなわち、モザイク画像更新部８００は、平面追跡部２３０の出力３４０と歪補正画像３２０と幾何関係推定結果２８０と、フレームバッファ８１０からのモザイク画像２９０を入力として、位置姿勢情報３５０と更新したモザイク画像２９０を表示装置２５０に出力し、更新したモザイク画像をフレームバッファ８１０に書き込む。

図１２は、画像更新部２４０の処理内容を示したフロー図である。
モザイク画像更新部８００は、処理を開始したらまず更新判定ステップ９００を実行する。更新判定ステップ９００では、平面追跡部２３０から入力した追跡判定結果３４０から、追跡判定結果３４０が真の場合は幾何関係積算ステップ９１０を、偽の場合はモザイク画像クリアステップ９５０を実行する。これにより、平面追跡が失敗した場合は、その都度モザイク画像２９０を生成し直すため、追跡平面の切り替わりによるモザイク画像の歪を抑えることができる。

幾何関係積算ステップ９１０では、平面追跡部２３０から入力した幾何関係推定結果３４０を絶対幾何関係に積算して絶対幾何関係を更新し、画像変形ステップ９２０を実行する。絶対幾何関係は、動作開始時に単位行列に初期化されるものとする。

画像変形ステップ９２０では、平面追跡部２３０から入力した歪補正画像３２０を絶対幾何関係に基づいて変形し、変形撮影画像を生成し、モザイク画像重畳ステップ９３０を実行する。モザイク画像重畳ステップ９３０では、フレームバッファ８１０から読み込んだモザイク画像２９０に変形撮影画像を重畳してモザイク画像の更新を行い、モザイク画像更新ステップ９４０を実行する。

モザイク画像更新ステップ９４０は、更新したモザイク画像２９０をフレームバッファ８１０に書き出し、モザイク画像更新部８００の処理を終了する。モザイク画像クリアステップ９５０では、フレームバッファ８１０上のモザイク画像を消去し、絶対幾何関係を単位行列に、位置姿勢情報３５０を初期化しモザイク画像更新部８００の処理を終了する。位置姿勢推定ステップ９６０では、絶対幾何関係からカメラの位置姿勢推定を行い、計算した位置姿勢情報３５０を出力する。

更新されたモザイク画像２９０は、２枚の画像の一方に、他方の画像が上書きされたものとなる。モザイク画像生成装置の画像更新部２４０の出力は、表示装置２５０や、再生装置１５０等に提供される。これにより、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行える。

図１３は、分かりやすさのために、二枚の画像を透過合成して示した、本実施例によるモザイク画像生成結果の例を示すものである。

本発明によると、図１３の（ａ−１）、（ａ−２）の様に、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏（３１、３２）のある場合でも、時系列上で連続した二枚の撮影画像内の特定平面（例えば平坦な地面４１、４２や平坦な道路４５）を追跡し、追跡平面で撮影画像同士を重ね合せ、繋ぎ合せることにより、別途位置・姿勢センサを使用することなく、図１３（ｂ）の様に地面平面に歪の無い高精度なモザイク画像２９０を実時間で生成することができる。さらに、２枚の画像を上書きする場合でも、図１３（ｃ１）のように、第二の画像を上にしたモザイク画像や、（ｃ２）のように、第一の画像上にしたモザイク画像を生成することもできる。

また、同一領域を撮像した２枚の撮像画像（ａ−１）、（ａ−２）から画像同士の幾何関係を推定し、その幾何関係推定過程で同時に特定平面（例えば平坦な地面や平坦な道路）の追跡を行うため、位置姿勢センサを使用することなく、少ない演算量で実時間にモザイク画像を生成できる。
また、撮影画像内の追跡平面から推定した２枚の画像同士の幾何関係からカメラの位置姿勢推定を行うことで、追跡平面に対する位置姿勢推定を高精度に行うことができる。

以下、本発明の第２の実施例に係るモザイク画像生成装置について、図面を参照しながら説明する。第１の実施例では、撮像対象の地面が比較的平坦であることを想定したが、撮像対象には、地面が起伏に富んでおり広い面積の平坦面を確保し難い場合もある。第２の実施例はこのような状況にも対応できるモザイク画像生成装置を提供するものである。
なお本実施例における装置は、平面追跡部以外は実施例１と同じため説明を省く。

［平面追跡部］
図１４は、本実施例における平面追跡部２３０の構成を示した図である。
平面追跡部は、複数平面抽出部１０００と追跡平面判定部１０１０によって構成される。
複数平面抽出部１０００では、対応点検出部２２０から対応点情報２７０を、複数平面分の幾何関係推定結果とその幾何関係に合致する対応点の組となる平面推定結果である複数平面推定結果１０２０を生成し追跡平面判定部１０１０に出力する（詳細は図１６で説明）。

追跡平面判定部１０１０では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から追跡平面に合致する特定平面を特定し、その特定平面の幾何関係を幾何関係推定結果２８０として、追跡判定結果３４０を画像更新部２４０に出力する（詳細は図１７で説明）。

［複数平面抽出部］
図１５は、複数平面抽出部１０００の処理概念を示した図である。
図１５の（ａ−１，ａ−２）の様に、対応点検出部２４０から２枚の撮影画像の対応点情報２７０が与えられた場合、複数平面抽出部１０００により、図１５の（ｂ）では地面平面１３００とビル平面１３１０の様に、同じ幾何関係が推定される対応点群の領域毎に複数の平面推定結果として特定平面を組分けする。例えば、対応点Ｐ９０，Ｑ９０が含まれる地面平面１３００において、応点Ｐ９０、Ｑ９０間の移動量をΔＰＱ９０とすると、地面平面１３００の他の対応点間の移動量もΔＰＱ９０とほぼ同じ値になっている。すなわち、地面平面１３００内では、同じ幾何関係が推定される。一方、地面平面１３００よりも高い位置（カメラから近い距離）に有るビルの屋上の平面１３１０において、対対応点Ｐ４００、Ｑ４００間の移動量をΔＰＱ４００とすると、ΔＰＱ４００はΔＰＱ９０よりも大きいものの、屋上の平面１３１０の各対応点間の移動量もΔＰＱ４００とほぼ同じ値になっている。すなわち、屋上の平面１３１０内では、同じ幾何関係が推定される。このように、２枚の撮影画像の画面内には、対応する２つの特定平面が存在する。

図１６は、本実施例における複数平面抽出部１０００の処理フローを示した図である。複数平面抽出部１０００では、画面内に複数の特定平面が存在すると仮定して、ＲＡＮＳＡＣ法を用いた幾何関係推定を複数回繰り返すことによって、対応点検出部２２０から入力した対応点情報２７０から、幾何関係推定結果とその幾何関係に合致する対応点の組である平面推定結果を複数平面分求め、これら複数の平面推定結果を複数平面推定結果１０２０として出力する。複数平面抽出部１０００は、平面推定結果１０２０として、例えば、抽出された特定平面毎に、対対応点Ｐ、Ｑの座標等を記録したテーブルを生成する。

複数平面抽出部１０００は処理を開始したらまず対応点読込ステップ１１００を実行する。対応点読込ステップ１１００では、対応点検出部２２０から対応点情報２７０を読み込み、幾何関係推定対応点として幾何関係推定ステップ１１１０を実行する。
幾何関係推定ステップ１１１０では、幾何関係推定対応点からホモグラフィ推定とＲＡＮＳＡＣ法を使用して幾何関係の推定を行い、幾何関係推定結果とその幾何関係に合致する対応点の組を平面推定結果として、終了判定ステップ１１２０を実行する。
この際、画面内に複数の特定平面が存在すると仮定した場合、ＲＡＮＳＡＣ法により最も合致する対応点数の多い特定平面上の幾何関係が推定結果として求められる。

なお、本発明における幾何関係推定はホモグラフィ推定とＲＡＮＳＡＣ法の組み合わせに限定されるものではなく、アフィン推定など他の幾何関係推定方法を使用する場合でも、推定結果の特定平面以外に含まれる対応点が外れ値として除去出来る方法であれば本発明の範囲内である。

終了判定ステップ１１２０では、幾何関係推定ステップ１１１０で求まった平面推定結果の対応点数が対応点数閾値以下になった場合、もしくは終了判定が一定回数実行された場合、または幾何関係推定対応点の対応点数から平面推定結果の対応点数を引いた数が残対応点数閾値以下になった場合に複数平面抽出部１０００の処理を終了し、そうでない場合は対応点更新ステップ１１３０を実行する。

対応点更新ステップ１１３０では、複数平面推定結果１０２０に平面推定結果を追加し、幾何関係推定対応点から平面推定結果の対応点を除いたものを新たな幾何関係推定対応点として幾何関係ステップ１１１０を実行する。

［追跡平面判定部］
図１４に戻って、追跡平面判定部１０１０では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から、前画像のモザイク画像生成処理時に追跡平面内と判定された特徴点の座標を含む特定平面を追跡平面と判定することで、追跡平面に合致する平面を特定し、その特定平面の幾何関係を幾何関係推定結果２８０として、追跡判定結果３４０を画像更新部２４０に出力する。

図１７は、追跡平面判定部１０１０の処理内容を示したフロー図である。
追跡平面判定部１０１０は、処理を開始したら、追跡平面合致特徴点数を０に初期化して、まず平面推定読込ステップ１２００を実行する。平面ステップ読込ステップ１２００では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から平面推定結果を一平面分読み込み、合致特徴点数カウントステップ１２１０を実行する。合致特徴点数カウントステップ１２１０では、前画像のモザイク画像生成処理において特定平面と推定された対応点の前画像の特徴点情報である平面内特徴点情報と、平面推定結果に含まれる対応点のうち前画像の特徴点座標との距離が同一座標閾値以下となる特徴点数をカウントして、合致特徴点数として追跡平面判定ステップ１２２０を実行する。

追跡平面判定ステップ１２２０では、合致特徴点数が追跡平面合致特徴点数以上の場合は追跡平面更新ステップ１２３０を、そうでない場合は、終了判定ステップ１２４０を実行する。追跡平面更新ステップ１２３０では、追跡平面合致特徴点数に合致特徴点数を代入して、幾何関係推定結果にその平面推定結果の幾何関係を設定し、終了判定ステップ１２４０を実行する。終了判定ステップ１２４０では、複数平面推定結果の全ての平面推定結果に対する評価が完了した場合には追跡成否判定ステップ１２５０を、そうでない場合には次の平面推定結果に対する平面推定読込ステップ１２００を実行する。

追跡成否判定ステップ１２５０では、幾何関係を幾何関係推定結果２８０として出力し、その幾何関係を含んだ平面推定結果の対応点数が成否判定閾値以上の場合は追跡判定結果３４０を真として、それ以外の場合は偽として出力する。

モザイク画像生成装置の画像更新部２４０の出力は、表示装置２５０や、再生装置１５０等に提供される。これにより、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行える。

本実施例によると、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏のある場合でも、撮影画像内の特定平面を追跡し、追跡平面で撮影画像同士を重ね合せることにより、別途位置・姿勢センサを使用することなく、地面平面に歪の無い高精度なモザイク画像を実時間で生成することができる。

また、同一領域を撮像した時系列上で連続した２枚の撮像画像から、画像同士の幾何関係を推定し、その幾何関係推定過程で同時に特定平面の追跡を行うため、位置姿勢センサを使用することなく、少ない演算量で実時間にモザイク画像を生成できる。

１０ 撮影地点、２０ 撮影地点、３０ カメラから近い停止物体、３１ カメラから近い停止物体、３２ カメラから近い停止物体、４０ カメラから遠い停止物体、４１ カメラから遠い停止物体、４２ カメラから遠い停止物体、１００ 航空機、１１０ 地上局、２００ モザイク画像生成装置、２１０ カメラ、２２０ 対応点検出部、２３０ 平面追跡部、２４０ 画像更新部、２５０ 表示装置、２６０ 撮影画像、２７０ 対応点情報、２８０ 幾何関係推定結果、２９０ モザイク画像、３００ 特徴点抽出部、３１０ 対応点探索部、３２０ 歪補正画像、３３０ 特徴点情報、３４０ 追跡判定結果、３５０ 位置姿勢情報、４００ 画像読込ステップ、４１０ レンズ歪補正ステップ、４２０ 注目点配置ステップ、４３０ 特徴点抽出ステップ、５００ 追跡平面内対応点抽出部、５１０ 追跡平面幾何推定部、５２０ 追跡平面対応点更新部、５３０ 追跡平面対応点情報、５５０ 追跡平面内特徴点情報、６００ 平面内特徴点情報読込ステップ、６１０ 継続判定ステップ、６２０ 平面内対応点抽出ステップ、６３０ 新規平面選択ステップ、７００ 座標変換ステップ、７１０ 座標差分ステップ、７２０ 差分判定ステップ、７３０ 追跡平面内対応点追加ステップ、８００ モザイク画像更新部、８１０ フレームバッファ、９００ 更新判定ステップ、９１０ 幾何関係積算ステップ、９２０ 画像変形ステップ、９３０ モザイク画像重畳ステップ、９４０ モザイク画像更新ステップ、９５０ モザイク画像クリアステップ、１０００ 複数平面抽出部、１０１０ 追跡平面判定部、１０２０ 複数平面推定結果、１１００ 対応点読込ステップ、１１１０ 幾何関係推定ステップ、１１２０ 終了判定ステップ、１１３０ 対応点更新ステップ、１２００ 平面ステップ読込ステップ、１２１０ 合致特徴点数カウントステップ、１２２０ 追跡平面判定ステップ、１２３０ 追跡平面更新ステップ、１２４０ 終了判定ステップ、１２５０ 追跡成否判定ステップ、１３００ 地面平面、１３１０ ビル平面。

Claims (8)

1. 時系列的に連続して同一領域を撮像した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、
   前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、
   前記複数枚の画像において特定平面を追跡する平面追跡手段と、
   画像更新手段とを備え、
   前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、
   前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成し、
   前記平面追跡手段は、
   前記２枚の画像間の前記対応点から、追跡平面としての前記特定平面に含まれる対応点のみを平面内対応点として抽出する追跡平面内対応点抽出部と、
   前記平面内対応点から前記追跡平面の幾何関係を推定する追跡平面幾何推定部と、
   前記２枚の画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する追跡平面対応点更新部とを備え、
   前記画像更新手段は、
   モザイク画像更新部とフレームバッファとを備え、
   前記モザイク画像更新部は、前記幾何関係に基づいて前記追跡平面が一致する様に前記２枚の撮影画像を１枚の画像に変形・重畳することで、前記モザイク画像を更新し、
   前記追跡平面内対応点抽出部は、
   前記特定平面の追跡に失敗した場合に、別の特定平面に追跡対象を切り替える機能と、作成済みの前記モザイク画像を破棄する機能とを備えることを特徴とするモザイク画像生成装置。
2. 請求項１において、
   前記平面追跡手段は、
   前記２枚の画像間の対応点を異なる幾何関係となる組に分類する複数平面抽出部と、
   前記２枚の画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在すると推定された対応点を含む幾何関係の組を探索する追跡平面判定部とを備えることを特徴とするモザイク画像生成装置。
3. 時系列的に連続して同一領域を撮像した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、
   前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、
   前記複数枚の画像において特定平面を追跡する平面追跡手段と、
   画像更新手段とを備え、
   前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、
   前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成し、
   前記平面追跡手段は、
   前記画像が航空機からカメラで撮影された空撮画像かつ前記特定平面が地面平面である場合に、前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡することを特徴とするモザイク画像生成装置。
4. 請求項３において、
   前記画像更新手段は、
   前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定し、
   表示装置に前記モザイク画像と前カメラの位置姿勢情報を出力する
   ことを特徴とするモザイク画像生成装置。
5. 移動するカメラにより時系列的に連続して同一領域を撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成する方法であって、
   前記モザイク画像生成装置は、対応点検出手段と、平面追跡手段と、画像更新手段とを備えており、
   前記対応点検出手段により、前記複数枚の画像のうち同じ領域が重複して撮像されている２画像から前記同じ領域内の同一点の組である対応点を求める対応点検出工程と、
   前記平面追跡手段により、
   前記複数枚の画像において特定平面を追跡平面として追跡する平面追跡工程と、
   前記対応点のうち前記特定平面上にあるもののみから前記２画像間の幾何関係を推定する幾何関係推定工程と、
   前記画像更新手段により、前記幾何関係に基づき前記２画像から前記モザイク画像を生成するモザイク画像更新工程とを有し、
   前記平面追跡工程は、
   前記２画像間の対応点から前記特定平面に含まれる対応点のみを平面内対応点として抽出する工程と、
   前記平面内対応点から前記追跡平面の幾何関係を推定する工程と、
   前記２画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する工程とを含み、
   前記平面追跡工程は、
   前記特定平面の追跡に失敗した場合に、
   別の特定平面に追跡対象を切り替える工程と、
   作成済みの前記モザイク画像を破棄する工程とを含むことを特徴とするモザイク画像生成方法。
6. 請求項５において、
   前記平面追跡工程は、
   前記２画像間の対応点を異なる幾何関係となる組に分類する工程と、
   前記２画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在する推定された対応点を含む幾何関係の組を探索する工程とを含むことを特徴とするモザイク画像生成方法。
7. 移動するカメラにより時系列的に連続して同一領域を撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成する方法であって、
   前記モザイク画像生成装置は、対応点検出手段と、平面追跡手段と、画像更新手段とを備えており、
   前記対応点検出手段により、前記複数枚の画像のうち同じ領域が重複して撮像されている２画像から前記同じ領域内の同一点の組である対応点を求める対応点検出工程と、
   前記平面追跡手段により、
   前記複数枚の画像において特定平面を追跡平面として追跡する平面追跡工程と、
   前記対応点のうち前記特定平面上にあるもののみから前記２画像間の幾何関係を推定する幾何関係推定工程と、
   前記画像更新手段により、前記幾何関係に基づき前記２画像から前記モザイク画像を生成するモザイク画像更新工程とを有し、
   前記平面追跡工程は、
   前記画像が航空機からカメラにより撮影された空撮画像でかつ前記特定平面が地面平面である場合に、前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡する、ことを特徴とするモザイク画像生成方法。
8. 請求項７において、
   前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定する工程を有することを特徴とするモザイク画像生成方法。

Images