JP4536524B2

JP4536524B2 - モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム

Info

Publication number: JP4536524B2
Application number: JP2005003924A
Authority: JP
Inventors: 聡南部; 啓之新井
Original assignee: NTT Data Corp
Current assignee: NTT Data Corp
Priority date: 2005-01-11
Filing date: 2005-01-11
Publication date: 2010-09-01
Anticipated expiration: 2025-01-11
Also published as: JP2006195540A

Description

本発明は、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術に関する。

従来から、空中から地上を撮影したビデオ映像から広域写真地図を作成すること等を目的として、視野の狭い複数の画像から視野の広い１つの画像（モザイク画像）を合成する技術が開発されてきた。

図９に示すように、上空から地表を撮影する場合のように、被写体が平面と見なせる場合、異なるカメラの位置及び撮影方向（以下では位置・姿勢情報と呼ぶ）によって撮影された複数の画像は互いに射影変換の関係となる。射影変換の関係にある２枚の画像内の点は、位置・姿勢情報の変化量を表す変換パラメータを用いた演算により相互に変換することが可能である。
例えば、位置・姿勢情報を６つのパラメータ（Ｘ、Ｙ、Ｚ、φ、θ、ψ）で表現する場合、変換パラメータは１枚目の画像の撮影時の位置・姿勢情報と２枚目の画像の位置・姿勢情報の各パラメータの差（ΔＸ、ΔＹ、ΔＺ、Δφ、Δθ、Δψ）で表すことができる。

モザイク画像を合成する場合、変換パラメータを用いた演算により、位置・姿勢情報の変化による画像の歪みやずれ等を修正しながら、変換画像を貼り合わせていく。
このとき、合成する画像の全てについて、その撮影時の位置・姿勢情報を計測し、計測値に基づいて変換パラメータを得ることも可能である。しかし、正確な位置・姿勢情報を得るためには、高精度のセンサが必要となる。また、誤差によって画像の歪みやずれ等が十分に修正されず、画像が滑らかに接続されないことがある。

このため、多くの場合、変換パラメータは、２枚の画像に共通して存在する特徴点の移動量に基づいて、推定することにより取得される。変換パラメータの推定方法として、最小二乗法を用いた手法（例えば特許文献１参照）、投票計算による手法（例えば非特許文献１参照）、パターンマッチングによる処理を用いた手法（例えば特許文献２参照）等が提案されている。
特開２００２−１５０２６４号公報特開２０００−２１５３１７号公報金澤靖、金谷健一、「段階的マッチングによる画像モザイク生成」電子情報通信学会論文誌、電子情報通信学会、Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ、Ｎｏ．６、ｐ．８１６−８２４

しかし、上記のいずれの手法を採用したとしても、変換パラメータの推定値が不安定となり正確な変換パラメータが求められなくなる場合がある。この場合、モザイク画像合成の精度や安定性が悪化する。例えば、図１０に例示したように、撮影方向を変化させずに前方に水平移動をして撮影した場合（図１０（ａ））と、撮影位置を変化させず撮影方向を前方に変化さるように回転する場合（図１０（ｂ））とでは、よく似た特徴点の動きを生じさせる。特に、図１０に示した特徴点のうち一列に並んだ特徴点のみを抽出して比較する場合、撮影位置の移動と撮影方向の変化とを区別することができない。

本発明は、上記実情に鑑みてなされたもので、変換パラメータを安定且つ精度良く推定可能なモザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラムを提供することを目的とする。

本発明の第１の観点に係るモザイク画像合成装置は、合成されるモザイク画像の元になる第１の画像及び第２の画像のデータを取得する画像取得手段と、前記第１の画像を撮影した時のカメラの位置・姿勢情報を取得する位置・姿勢情報取得手段と、前記第２の画像と前記第１の画像とに共通に存在する被写体上の位置（以下では当該位置を特徴点と呼ぶ）を抽出し、前記第１の画像における当該特徴点の座標と前記第２の画像における当該特徴点の座標との差分を求め、当該差分と前記位置・姿勢情報取得手段により取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づいて、前記第１の画像撮影時の位置・姿勢情報を前記第２の画像撮影時の位置・姿勢情報に変換するための変換パラメータを推定する推定手段と、前記第１の画像撮影時の位置・姿勢情報と前記推定手段により推定された前記変換パラメータとに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成されるモザイク画像合成装置であって、前記推定手段は、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、ことを特徴とする。

前記推定手段は、前記直交性の評価値が大きいほど多数の票を前記変換パラメータに投票してもよい。

本発明の第２の観点に係るモザイク画像合成方法は、撮影範囲の一部が重複する第１の画像及び第２の画像に対して、前記第１の画像を撮影した時の位置・姿勢情報を取得する取得ステップと、前記第２の画像と前記第１の画像とに共通に存在する複数の特徴点を抽出し、当該特徴点の移動量を求め、当該移動量と前記取得ステップにおいて取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づき、前記第１の画像撮影時の位置・姿勢情報から前記第２の画像撮影時の位置・姿勢情報への変換パラメータを推定する推定ステップと、前記第１の画像撮影時の位置・姿勢情報及び前記推定ステップにおいて推定された前記変換パラメータに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成されるモザイク画像合成方法であって、前記推定ステップは、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、ことを特徴とする。

本発明の第３の観点に係るモザイク画像合成プログラムは、コンピュータに、撮影範囲の一部が重複する第１の画像及び第２の画像に対して、前記第１の画像を撮影した時の位置・姿勢情報を取得する取得ステップと、前記第２の画像と前記第１の画像とに共通に存在する複数の特徴点を抽出し、当該特徴点の移動量を求め、当該移動量と前記取得ステップにおいて取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づき、前記第１の画像撮影時の位置・姿勢情報から前記第２の画像撮影時の位置・姿勢情報への変換パラメータを推定する推定ステップと、前記第１の画像撮影時の位置・姿勢情報及び前記推定ステップにおいて推定された前記変換パラメータに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させるモザイク画像合成プログラムであって、前記推定ステップは、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、ことを特徴とする。

本発明のモザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラムは、変換パラメータの候補値の直交性を評価し、評価値に基づいた投票を行い、投票の結果に基づいて変換パラメータを決定するので、変換パラメータを安定且つ精度良く推定することができる。

本発明の実施の形態を、航空撮影した映像から、写真地図を作成する用途に適用した場合を例に説明する。航空撮影から合成された写真地図の出力までの手順の概略は、以下の２段階に分けることができる。
第１の段階では、航空撮影により映像を得ると同時に、映像と対応付けて位置・姿勢情報を記録する。
第２の段階では、取得した映像から、フレーム画像を切り出し、切り出したフレーム画像を貼り合わせてモザイク画像を合成する。

上記第１の段階で映像及び位置・姿勢情報を記録するための航空撮影用のカメラは、図１に示すように、画像を撮影する撮像部２１と、位置センサ２２と、姿勢センサ２３と、映像及び映像に同期して検出された位置・姿勢情報を記録する記録装置２４とから構成される。
撮像部２１は、例えば、テレビジョンカメラにより構成される。なお、撮像部２１は、撮像管、ＣＣＤ（Charge-Coupled Devices）撮像素子等の撮像手段を採用してもよい。
また、位置センサ２２は、例えば、ＧＰＳ（Global Positioning System）レシーバにより構成される。また、姿勢センサ２３は、例えば、ジャイロスコープにより構成される。
記憶装置２４は、例えば、ハードディスク、磁気テープ等により構成される。

図２に示すように、位置・姿勢情報は地上座標に対するカメラの位置を定義する３つのパラメータ（Ｘ、Ｙ、Ｚ）の情報と、カメラの傾き（撮影方向）を定義する３つのパラメータ（φ、θ、ψ）の情報の計６つのパラメータから構成される。
位置を定義するパラメータ（Ｘ、Ｙ、Ｚ）は、ＧＰＳレシーバにより検出され、映像を構成する各画像に対応付けて記録装置に記録される。
また、傾きを定義するパラメータ（φ、θ、ψ）は、カメラに搭載されたジャイロスコープにより検出され、映像を構成する各画像に対応付けて記録装置２４に記録される。
なお、画像と位置・姿勢情報とは対応付けられて記録されるが、後述する合成処理においては、合成に用いられる複数の画像の中の一枚を撮影したときの位置・姿勢情報をもとに、他の画像を撮影したときの位置・姿勢情報を推定する。合成処理に用いられない、他の画像を撮影したときの位置・姿勢情報は、例えば、推定された位置・姿勢情報の妥当性を検証するために用いられてもよい。

例えば、図２に示すように、位置・姿勢情報Φ１が（Ｘ_１、Ｙ_１、Ｚ_１、φ_１、θ_１、ψ_１）であるカメラの位置及び姿勢は以下のように定義される。図２（ａ）及び（ｂ）に示すように、位置は、Ｘ、Ｙ、Ｚの各座標軸をそれぞれＸ_１、Ｙ_１、Ｚ_１だけ平行移動した座標系（ｘ１、ｙ１、ｚ１軸とする）の原点の位置にカメラが存在すると定義される。また、図２（ｃ）乃至（ｅ）に示すように、傾きは、ｚ１軸の負方向を向き、カメラの上方にｙ１軸が伸び、カメラの右手にｘ１軸が伸びるように設置されたカメラを基準として、ｚ１軸、ｙ１軸、ｘ１軸の正方向に対して左回りに、順にφ_１、θ_１、ψ_１だけ回転させた方向を向いているものと定義される。

航空撮影の際は、上述のような映像及び位置・姿勢情報を記録する記録装置を備えたカメラをほぼ鉛直下向きになるように飛行機、ヘリコプター等の航空機に搭載し、地表を撮影しながら、写真地図を作成する地域の上空を飛行する。

航空撮影により得られた映像は、上述の第２の段階において、モザイク画像合成装置によってモザイク画像へと合成される。モザイク画像合成装置１は、図４に示すように、画像取得部１１と、ＣＰＵ１２と、メモリ１３と、記憶部１４と、出力部１５と、位置・姿勢情報取得部１６とから構成される。

画像取得部１１は、再生ヘッド、デコーダ等から構成される。画像取得部１１は、航空撮影により記録した映像をカメラの有する記録装置から取得する。画像の取得は、カセットテープ等の記録媒体を介して行われてもよいし、無線又は有線の通信手段を用いて行われてもよい。
そして、取得した映像を再生して出力部１５に表示させる。また、画像取得部１１は、再生した映像のうち、利用者により選択されたフレームの画像をメモリ１３に供給する。選択されたフレームの画像は、例えばビットマップ形式の画像データとして、メモリ１３に供給される。なお、図示せぬ入力装置（例えば、操作ボタン、マウス、キーボード等）を操作することより、利用者は、映像の再生、一時停止、コマ送り、画像の選択等を指示できるものとする。

ＣＰＵ１２は、記憶部１４に格納されたプログラムに基づいて、モザイク画像を合成する。
メモリ１３は、ＲＡＭ（Random Access Memory）等から構成される。メモリ１３は、ＣＰＵ１２による各種処理のためのワークエリアとなる。例えば、メモリ１３は、画像取得部から取得した画像を一時的に格納する。また、推定処理において用いられる投票テーブルを格納する。

記憶部１４は、磁気記憶装置等から構成される。記憶部１４は、ＣＰＵ１２による各種処理の手順を定義するプログラムを格納する。例えば、記憶部１４は、後述する合成処理及び推定処理のプログラムを格納する。
出力部１５は、表示制御回路、表示装置、プリンタ等から構成される。出力部１５は、再生映像、処理過程の画像、処理後のモザイク画像等を表示又は印刷する。

位置・姿勢情報取得部１６は、特定の画像が撮影された時の位置・姿勢情報を取得してＣＰＵ１２に供給する。位置・姿勢情報取得部１６は、例えば、画像とともに記憶装置に記録された位置・姿勢情報をＣＰＵ１２からの求めに応じて取得するようにしてもよいし、利用者による手動入力により、位置・姿勢情報を取得するようにしてもよい。

このような構成のモザイク画像合成装置１により、モザイク画像を合成する合成処理が実施される手順を、図５に示すフローチャートを参照して説明する。
合成処理に先立ち、メモリ１３に合成に用いるＮ枚の画像（第１の画像乃至第Ｎの画像）が格納される。第１の画像乃至第Ｎの画像は、一枚前の画像と撮影範囲が一部重複したものが選ばれる。

Ｎ枚の画像を選択してメモリ１３に格納した後、合成処理が実施される。
初めに、ＣＰＵ１２は、メモリ１３から第１の画像を取得する（ステップＳ１００）。次に、ＣＰＵ１２は、位置・姿勢情報取得部１６から第１の画像が撮影された時点の位置・姿勢情報を取得しメモリ１３に格納する（ステップＳ１１０）。続いて、ＣＰＵ１２は、第１の画像を位置・姿勢情報に基づき、第１の画像をモザイク画像平面上に投影されたモザイク画像へと変換する（ステップＳ１２０）。

位置・姿勢情報に基づいて、撮影された画像をモザイク画像平面上に投影された画像へと変換する方法は、例えば以下のように実現される。
ここでは、カメラのピンホールモデルを仮定した中心投影により、画像をモザイク画像平面上に投影された画像に変換する方法を示す。図３に示すように、カメラの位置・姿勢情報を（Ｘ_１、Ｙ_１、Ｚ_１、φ_１、θ_１、ψ_１）、焦点距離をＦ_１で表し、画像上の点（ｕ_１、ｖ_１）が、モザイク画像平面上の点（Ｘ、Ｙ）に投影されるとする。この時、（Ｘ、Ｙ）は（ｕ_１、ｖ_１）を用いて（１）式及び（２）式で求められる（「解析写真測量改訂版」日本写真測量学会参照）。なお、モザイク画像はＺ＝Ｚ_Ｍの平面上に存在するものとする。

上記の各式では、モザイク画像平面の標高Ｚ_Ｍ及び焦点距離Ｆ_１が未知数となっている。これらについて、Ｚ_Ｍは、Ｚ_Ｍ＝０とし、対地高度Ｚ_１−Ｚ_Ｍが、位置検出装置で得られる標高Ｚ_１に等しいと仮定して計算を行えばよい。なお、地表面の平均的な高さが既知である場合には、その高さをＺ_Ｍに採用してもよい。また、焦点距離Ｆ_１はカメラのカタログ値や予め実験により求めた値を使用すればよい。

上記の変換により、撮影された画像（ここでは第１の画像）が、位置・姿勢情報に基づいて、モザイク画像平面上に投影される。

図５に戻って、モザイク画像平面上に投影され合成された画像を表示装置に表示する（ステップＳ１３０）。第１の画像に関しては、第１の画像をモザイク画像平面上に投影した画像がそのまま表示される。第２の画像と第１の画像を合成する際は、貼り合わされたモザイク画像が表示される。

次に、ＣＰＵ１２は、次の画像があるかを判定する（ステップＳ１４０）。次の画像がない場合（ステップＳ１４０；Ｎｏ）、合成処理は終了となる。一方、次の画像がある場合（ステップＳ１４０；Ｙｅｓ）、ＣＰＵ１２は、次の画像を取得する（ステップＳ１５０）。この例では、まだ１枚の画像についてモザイク画像平面上への変換をしただけであるので、第２の画像を取得する。そして、第１の画像と第２の画像とに基づいて、後に詳述する推定処理を実施し、第２の画像撮影時の位置・姿勢情報を求めるための変換パラメータを推定する。（ステップＳ１６０）。

次に、ＣＰＵ１２は、推定処理によって得られた変換パラメータを第１の画像撮影時の位置・姿勢情報に加算し、第２の画像撮影時の位置・姿勢情報を求める（ステップＳ１７０）。そして、ＣＰＵ１２は処理をステップＳ１２０に進め、第２の画像をモザイク画像平面上に投影された画像に変換し、第１の画像との合成をする。以下、同様の手順を繰り返して、順次、位置・姿勢情報を推定しながら第Ｎの画像までモザイク画像を合成する。
以上のような手順により、Ｎ枚の画像を貼り合わせたモザイク画像を合成することができる。

次に、推定処理の実現方法について、説明する。推定処理は、撮影範囲の一部が共通する２枚の画像と、当該２枚の画像の一方を撮影したときの位置・姿勢情報とに基づき、他方の画像を撮影したときの位置・姿勢情報を推定する処理である。以下では、図６に示すフローチャートを参照して、第１の画像と第２の画像と第１の画像の撮影時の位置・姿勢情報とから、第２の画像撮影時の位置・姿勢情報を推定する場合を例に、推定処理の手順を説明する。

推定処理は、上述の合成処理におけるステップＳ１６０で呼び出される処理であり、推定処理の開始時点において、第１の画像、第２の画像、及び、第１の画像撮影時の位置・姿勢情報は既にメモリ１３に格納されている。
推定処理が開始されると、ＣＰＵ１２は、第１の画像撮影時の位置・姿勢情報を初期の座標に設定する（ステップＳ２００）。次に、ＣＰＵ１２は、第１の画像と第２の画像に共通して存在する特徴点を複数抽出し対応付ける（ステップＳ２１０）。

特徴点の対応付けの一つの手法として、文献「Detection and Tracking of Point Features」（Carnegie Mellon
University Technical Report CMU-CS-91-132、1991）」において述べられているＦｅａｔｕｒｅＴｒａｃｋｅｒを用いる。
簡単に説明すると、ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、画像対のうち、一方の画像において輝度勾配がｘ軸方向、ｙ軸方向ともに大きな点を特徴点として抽出し、時空間微分方程式と呼ばれる拘束条件を用いてその対応点を他の画像から求める。ＦｅａｔｕｒｅＴｒａｃｋｅｒでは、第ｊの画像上の特徴点の座標（ｕ_１，ｖ_１）と、第ｊ＋１の画像上のその対応点の座標（ｕ_２，ｖ_２）を対として出力する。ＦｅａｔｕｒｅＴｒａｃｋｅｒを用いて適当な数（例えば１００対）の対応する特徴点の対を求める。

次に、ＣＰＵ１２は、メモリ１２内に設けられた投票テーブルを初期化する（ステップＳ２２０）。次に、ＣＰＵ１２は、ステップＳ２１０で抽出した複数の特徴点から３点を取り出す組み合わせに、未抽出の組み合わせがないかを判別する（ステップＳ２３０）。例えばステップＳ２１０において、１００点の特徴点を得た場合には、_１００Ｃ_３＝１６１７００通りの組み合わせが抽出されるまでステップＳ２３０の判定はＹｅｓとなる。
なお、本実施の形態では、ステップＳ２３０で、全ての特徴点の組み合わせを抽出する場合を例に説明しているが、適当な個数の組み合わせをランダムに抽出するようにしてもよい。

未抽出の組み合わせがあると判別された場合（ステップ２３０；Ｙｅｓ）、ＣＰＵ１２は、未抽出の組み合わせに対応する３点の特徴点を抽出する（ステップＳ２４０）。次に、ＣＰＵ１２は、抽出された３点から算出されるべき変換パラメータについて、直交性の評価値を算出し（ステップＳ２５０）、評価値が所定の閾値以上であるかを判定する（ステップＳ２６０）。そして、評価値が所定の閾値以上である場合（ステップＳ２６０；Ｙｅｓ）には、各特徴点について、第１の画像における座標と第２の画像における座標との差に基づいて、変換パラメータの候補値Ｖを算出する（ステップＳ２７０）。そして、算出された変換パラメータの候補値Ｖに１票を投票し（ステップＳ２８０）、ステップＳ２３０に戻る。また、評価値が閾値よりも小さい場合（ステップＳ２６０；Ｎｏ）、変換パラメータの算出及び投票をせずにステップＳ２３０に戻る。

なお、変換パラメータの直交性とは、変換パラメータの独立性の尺度である。例えば、図１０に示したような、Ｘ方向の変化かθ方向の変化かの区別がつかない特徴点の組み合わせの場合、直交性の評価値は低くなる。以下では、評価値を算出する手法について説明する。

第１の画像における３つの特徴点の座標をそれぞれ（ｕ_１［１]，ｖ_１［１]）、（ｕ_１［２]，ｖ_１［２]）、（ｕ_１［３]，ｖ_１［３]）とし、第２の画像における３つの特徴点の座標をそれぞれ（ｕ_２［１]，ｖ_２［１]）、（ｕ_２［２]，ｖ_２［２]）、（ｕ_２［３]，ｖ_２［３]）とする。また、第１の画像撮影時の位置・姿勢情報Φ１＝（Ｘ_１、Ｙ_１、Ｚ_１、φ_１、θ_１、ψ_１）は、図５に示された合成処理のステップＳ１１０において取得される既知の値または、先に実施された第１の画像に基づいた第２の画像撮影時の位置・姿勢情報についての推定処理により推定された値である。

このような条件のもと、直交性の評価値を求めるために、まず、第２の画像における３つの特徴点の各パラメータに対する移動量を表す偏微分係数ベクトルａ１乃至ａ６を算出する。なお、ａ１乃至ａ６は順にＸ_２、Ｙ_２、Ｚ_２、φ_２、θ_２、ψ_２の変動に対応する。偏微分係数ベクトルａ１乃至ａ６は次式により求められる。

次に、各偏微分係数ベクトルａ１乃至ａ６の直交性を評価する。例えば、１つの偏微分係数ベクトル（例えばａ１）における、他の５つの偏微分係数ベクトル（例えばａ２乃至ａ６）全てと垂直な成分の大きさを、直交性の評価値とすることができる。以下では図８を参照して評価値の算出過程を説明する。ただし、各偏微分係数ベクトルａ１乃至ａ６は６次元の空間におけるベクトルであり、そのまま図示することは困難であり、また理解の妨げとなる。このため、以下では、図８（ａ）に示すように、３次元空間における３本のベクトルａ１乃至ａ３を想定し、そのうちａ１の他の２本のベクトルに対する直交性の評価値を算出する過程を模式的に説明する。

はじめに、ベクトルａ３に直交する平面Ｐ３を想定する（図８（ｂ））。次に、ベクトルａ１及びａ２を平面Ｐ３に投影してできたベクトル（図８（ｃ）において、それぞれベクトルｂ１及びｂ２とする）を求める。次に、ベクトルｂ１のベクトルｂ２に垂直な成分のベクトル（図８（ｄ）におけるベクトルｃ１）を求める。このベクトルｃ１の絶対値｜ｃ１｜を直交性の評価値とする。あるいは、ベクトルｃ１の絶対値｜ｃ１｜をベクトルａ１の絶対値｜ａ１｜で割った値を評価値としてもよい。

なお、上述の図８を参照した説明では、理解を容易にするために３次元の空間を例に、直交性の評価手法を説明したが、実際の推定処理においては、同様の手法を６次元空間における各偏微分係数ベクトルａ１乃至ａ６に施せばよい。具体的には、以下のような手順による。初めに、ベクトルａ１のベクトルａ６に垂直な成分のベクトルｂ１を求める。次に、ベクトルｂ１のベクトルａ５に垂直な成分のベクトルｃ１を求める。次に、ベクトルｃ１のベクトルａ４に垂直な成分のベクトルｄ１を求める。以下同様に、ベクトルｄ１のベクトルａ３に垂直な成分のベクトルｅ１、ベクトルｅ１のａ２に垂直な成分のベクトルｆ１を求める。そして、ベクトルｆ１の絶対値｜ｆ１｜又は｜ｆ１｜／｜ａ１｜により、直交性を評価する。ベクトルａ２乃至ａ６についても同様にして、それぞれｆ２乃至ｆ６を求め、その絶対値により直交性を評価する。
また、ベクトルａ１についての評価値が所定の閾値を上回った場合、投票する変換パラメータの候補値Ｖは、次式に従って求められる。ベクトルａ２乃至ａ６についても同様である。

なお、式（１１）において、候補値の算出に用いられるベクトルｑ１は、特徴点の座標の変化を表すベクトルｑ（次式参照）の、ベクトルａ２乃至ａ６の全てに直交する成分である。なお、ベクトルｑ１は、上記のベクトルａ１からベクトルｆ１を求めたのと同様の手法をベクトルｑに適用することにより求められる。

図６に戻って、ステップＳ２３０において、未抽出の組み合わせがないと判別された場合（ステップＳ２３０；Ｎｏ）、第２の画像撮影時の位置・姿勢情報の更新値を決定する（ステップＳ２９０）。更新値は、投票テーブルに格納された投票結果に基づき、多数決で最も多くの得票があった候補値に決定される。
ただし、図７に示すように、更新値には、多数決により選ばれた変換パラメータを所定の比率で縮小したものが用いられる。図７に示した方法では、一回の投票結果に基づき変換パラメータを決定するのではなく、投票を複数回繰り返してより正確な位置・姿勢情報に徐々に近づけていく（いわゆるテーラー展開による手法）。これにより、より正確な位置・姿勢情報の推定が可能となる。

次に、ＣＰＵ１２は、更新値を元の位置・姿勢情報に加算し、新たな位置・姿勢情報としてメモリ１３に格納する（ステップＳ３００）。次に、ＣＰＵ１２は、推定処理の終了条件が満たされたかを判定する（ステップＳ３１０）。ステップＳ３１０で用いられる終了条件は、例えば、所定回数の投票が繰り返されたことであってもよいし、更新値が所定の許容値よりも小さな値となったことであってもよい。

ステップＳ３１０で終了条件が満たされたと判定された場合（ステップＳ３１０；Ｙｅｓ）、ＣＰＵ１２は、第１の画像撮影時の位置・姿勢情報の初期値と更新を繰り返して得られた位置・姿勢情報（ステップＳ３００における新たな位置・姿勢情報）との差分を算出し、変換パラメータとして出力する（ステップＳ３２０）。すなわち、図７における推定結果を算出して、位置・姿勢情報の変化量を示す変換パラメータとして出力する。
一方、ステップＳ３１０で終了条件が満たされていないと判定された場合（ステップＳ３１０；Ｎｏ）、ＣＰＵ１２は処理をステップＳ２２０に戻し、新たな位置・姿勢情報に基づいて変換パラメータの推定を繰り返す。

このように、変換パラメータの直交性を評価し、評価値の高いパラメータのみ投票することにより、本実施の形態のモザイク画像合成装置は、高い精度で位置・姿勢情報の推定をすることが可能である。
また、本実施の形態のモザイク画像合成装置は、いわゆるテーラー展開の手法により、徐々に真の値に近づくように位置・姿勢情報を推定するので、より精度の高い位置・姿勢情報の推定を可能としている。

このような、精度の高い推定手法を採用することにより、本発明のモザイク画像合成装置は、高品質なモザイク画像の生成が可能である。

本実施の形態では、直交性の評価値が、所定の閾値より小さい場合には投票をしないことにより確度の低い変換パラメータを除外したが、直交性の評価値に応じて重み付けをして投票をすることで確度の高い変換パラメータを得るようする場合も、本発明に含まれる。
このような手法は、例えば、以下のようにして実現できる。
まず、上述の実施の形態の推定処理におけるステップＳ２６０と同様に評価値を算出する。また、式（１１）に従い候補値Ｖを算出する。そして、投票の際、候補値Ｖに評価値に応じた（評価値に比例した）票数を投票する。これにより、直交性が高い変換パラメータの候補値ほど相対的に多くの票を得ることができる。

本実施の形態では、外部のカメラ２により事前に撮影された画像を取得して合成するモザイク画像合成装置を例に説明したが、本発明のモザイク画像合成装置は、撮像装置、位置センサ、姿勢センサ等を内蔵し、自ら撮影した画像をもとにモザイク画像を合成するものであってもよい。

本実施の形態では、専用のシステムによるモザイク画像合成装置を例に説明したが、本発明のモザイク画像合成装置は、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに、本願に係るモザイク画像合成プログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ等）から、当該プログラムをインストールすることにより、当該コンピュータは、上述の合成処理をするモザイク画像合成装置として機能する。

航空撮影用のカメラの構成を示すブロック図である。位置・姿勢情報の定義を説明する図である。ピンホールカメラを用いた場合の位置・姿勢情報に基づいた中心投影を説明する図である。モザイク画像合成装置の構成を示すブロック図である。合成処理の手順を示すフローチャートである。推定処理の手順を示すフローチャートである。推定処理の過程を模式的に示す図である。評価値の算出過程を模式的に示す図である。射影変換の関係にある画像を説明するための模式図である。従来の変換パラメータ推定手法において、推定が不安定になる場合を模式的に示す図である。

符号の説明

１モザイク画像合成装置
１１画像取得部
１２ＣＰＵ
１３メモリ
１４記憶部
１５出力部
１６位置・姿勢情報取得部

Claims

合成されるモザイク画像の元になる第１の画像及び第２の画像のデータを取得する画像取得手段と、
前記第１の画像を撮影した時のカメラの位置・姿勢情報を取得する位置・姿勢情報取得手段と、
前記第２の画像と前記第１の画像とに共通に存在する被写体上の位置（以下では当該位置を特徴点と呼ぶ）を抽出し、前記第１の画像における当該特徴点の座標と前記第２の画像における当該特徴点の座標との差分を求め、当該差分と前記位置・姿勢情報取得手段により取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づいて、前記第１の画像撮影時の位置・姿勢情報を前記第２の画像撮影時の位置・姿勢情報に変換するための変換パラメータを推定する推定手段と、
前記第１の画像撮影時の位置・姿勢情報と前記推定手段により推定された前記変換パラメータとに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成手段と、から構成されるモザイク画像合成装置であって、
前記推定手段は、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、
ことを特徴とするモザイク画像合成装置。
前記推定手段は、前記直交性の評価値が大きいほど多数の票を前記変換パラメータに投票する、
ことを特徴とする請求項１に記載のモザイク画像合成装置。
撮影範囲の一部が重複する第１の画像及び第２の画像に対して、
前記第１の画像を撮影した時の位置・姿勢情報を取得する取得ステップと、
前記第２の画像と前記第１の画像とに共通に存在する複数の特徴点を抽出し、当該特徴点の移動量を求め、当該移動量と前記取得ステップにおいて取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づき、前記第１の画像撮影時の位置・姿勢情報から前記第２の画像撮影時の位置・姿勢情報への変換パラメータを推定する推定ステップと、
前記第１の画像撮影時の位置・姿勢情報及び前記推定ステップにおいて推定された前記変換パラメータに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、から構成されるモザイク画像合成方法であって、
前記推定ステップは、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、
ことを特徴とするモザイク画像合成方法。
コンピュータに、
撮影範囲の一部が重複する第１の画像及び第２の画像に対して、
前記第１の画像を撮影した時の位置・姿勢情報を取得する取得ステップと、
前記第２の画像と前記第１の画像とに共通に存在する複数の特徴点を抽出し、当該特徴点の移動量を求め、当該移動量と前記取得ステップにおいて取得される前記第１の画像を撮影した時の位置・姿勢情報とに基づき、前記第１の画像撮影時の位置・姿勢情報から前記第２の画像撮影時の位置・姿勢情報への変換パラメータを推定する推定ステップと、
前記第１の画像撮影時の位置・姿勢情報及び前記推定ステップにおいて推定された前記変換パラメータに基づいて、前記第１の画像及び前記第２の画像をモザイク画像平面の画像へと変換して貼り合わせる合成ステップと、を実行させるモザイク画像合成プログラムであって、
前記推定ステップは、前記特徴点の複数の組み合わせに基づいて、前記特徴点の組み合わせ毎に前記変換パラメータを推定し、推定された前記変換パラメータの直交性の評価値を算出し、前記直交性の評価値が所定の閾値以上である場合に、前記変換パラメータに投票し、前記直交性の評価値が所定の閾値より小さい場合には前記変換パラメータを投票しないようにし、前記投票において最多の票を得た前記変換パラメータを、最終的な前記変換パラメータの推定値と決定する、
ことを特徴とするモザイク画像合成プログラム。