JP3851483B2

JP3851483B2 - Image point association apparatus, image point association method, and recording medium storing image point association program

Info

Publication number: JP3851483B2
Application number: JP2000042950A
Authority: JP
Inventors: 忍上園
Original assignee: ペンタックス株式会社
Priority date: 2000-02-21
Filing date: 2000-02-21
Publication date: 2006-11-29
Anticipated expiration: 2020-02-21
Also published as: JP2001227945A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像から被写体の測量図を作成する写真測量において、各画像における被写体上の像点の対応付けを高精度に行う像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
従来、写真測量では、互いに固定された２台のカメラを用いて左眼用画像および右眼用画像から成るステレオ画像を得、このステレオ画像に基づいて被写体の測量図が生成される。具体的には、例えば左眼用画像および右眼用画像をモニタ画面上に並列して表示させ、目視により各画像に共通に写し込まれた被写体上の任意の測量点を立体視し、各画像上における測量点、即ち２つの像点を対応付けている。そして、対応付けられた像点および２台のカメラ間の距離から測量点の３次元座標が求められ、測量図が生成される。
【０００３】
ステレオ画像上の像点の対応付けは、一方の画像で像点をマウス等で指定し、指定された像点に対応する像点を他方の画像で検索して指定するため、目視による場合には測量図の精度は操作者の能力および経験に依存し、また対応付けに非常な労力および時間を要する。このため、一方の画像で像点を指定した場合に、他方の画像にエピポーラ線と呼ばれる視覚用補助線を表示させて、対応付けを容易にすることが行われている。
【０００４】
このエピポーラ線は、一方の画像で指定された像点と双方のカメラの撮影光学系の主点位置とを含む平面と、他方の画像（実際にはカメラの結像面）との交線として定義される。例えばステレオ画像の場合には垂直方向（Ｙ方向）の視差がないので、一方の画像上の像点が指定されてＹ座標が決定すると、他方の画像におけるエピポーラ線はこのＹ座標に一致するＹ座標を有し水平方向（Ｘ方向）に延びる直線として定めることができ、対応する像点はエピポーラ線上にあるとみなせる。従って、操作者はこのエピポーラ線上でカーソルを移動させて水平方向の視差を対応付けるだけでよく、これにより作業効率が大幅に向上する。
【０００５】
【発明が解決しようとする課題】
しかし、実際にはカメラの撮影光学系は固有の歪曲収差を有しているため、双方の画像における像点の座標は歪曲収差による誤差をそれぞれ含み、一方の画像に基づいて定められたエピポーラ線と他方の画像上の像点との位置がずれ、高精度な像点の対応付けが行えないという問題が生じる。歪曲収差のない撮影光学系を用いればこのような問題は解消されるが、歪曲収差のない撮影光学系は非常に高価であり、実用的ではない。
【０００６】
本発明は、この様な点に鑑みてなされたものであり、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える像点対応付け装置、および像点対応付け装置を用いた写真測量方法を提供することが目的である。
【０００７】
【課題を解決するための手段】
本発明による像点対応付け装置は、歪曲収差を有する撮影光学系によって同一の被写体を結像して得られた第１画像および第２画像をモニタ画面に表示する画像表示手段と、モニタ画面上の第１画像において、被写体上の所定の測量点が投影された第１像点を指定する第１指定手段と、第１像点に歪曲収差の影響を排除する補正を施して得られた第１補正像点と測量点とを通る所定の直線上に位置する複数の補助点を定義する補助点定義手段と、補助点を歪曲収差を加味して第２画像に投影した補助像点を定義する補助像点定義手段と、補助像点を第２画像に重ねてモニタ画面に表示する補助像点表示手段と、モニタ画面に表示された補助像点に基づいて第２画像上に投影された測量点の第２像点を指定する第２指定手段と、測量点の相対位置を特定するために第１像点および第２像点を対応付ける対応付け手段とを備えることを特徴としている。これにより、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える。
【０００８】
像点対応付け装置の補助点定義手段が、さらに具体的には、第１画像が得られたときの撮影光学系の入射瞳位置である第１撮影位置から所定距離離れた所定点が、歪曲収差のない結像面上に投影された投影点を定義する投影点定義手段と、投影点定義手段により得られた投影点の２次元座標に対して、Ｋａｒａｒａの式に基づいて座標変換を行うことにより投影点の歪曲収差を加味した２次元座標を得る歪曲収差補正手段と、投影点の歪曲収差を加味した２次元座標が第１像点の２次元座標に一致するように所定点の相対位置を特定し特定された所定点の投影点を第１補正像点として定める第１補正像点特定手段と、第１撮影位置および第１補正像点を通る直線を所定の直線として定義する直線定義手段と、直線定義手段により定義された所定の直線上にあってかつ測量点を含み得る所定範囲内にある補助点を複数個抽出しこれら補助点の３次元座標をそれぞれ算出する補助点抽出手段とを備えていてもよい。
【０００９】
像点対応付け装置の補助点抽出手段において抽出される補助点の所定範囲は、第１撮影位置から１メートル以上かつ５０メートル以内の範囲であることが好ましい。測量精度を考慮すれば、撮影の範囲は撮影位置から１〜５０メートル程度の範囲に限られるため、測量点がこの範囲内に高い確率で含まれる。
【００１０】
像点対応付け装置の補助像点定義手段が、さらに具体的には、補助点定義手段により定義された補助点の３次元座標と第２画像が得られたときの撮影光学系の入射瞳位置である第２撮影位置の３次元座標とに基づいて補助点が歪曲収差のない結像面に投影されたときの２次元座標を算出する２次元座標算出手段と、２次元座標算出手段により得られた補助点の２次元座標に対してＫａｒａｒａの式に基づいて歪曲収差を加味する座標変換を行うことにより補助像点の２次元座標を算出する歪曲収差補正手段とを備えていてもよい。
【００１１】
像点対応付け装置は、第１および第２撮影位置の３次元座標をそれぞれ算出する撮影位置算出手段を備えていてもよく、撮影位置算出手段は第１および第２画像に写し込まれた所定位置にあるターゲットの寸法形状と、第１および第２画像におけるターゲットの像の寸法形状とに基づいて、第１および第２撮影位置の３次元座標を算出する。これにより、撮影時にターゲットを被写体近傍に置けば基準となる長さを逐一測る必要がなく、撮影作業が簡便になる。さらに好ましくは、撮影位置算出手段が第１および第２画像におけるターゲットの像を歪曲収差に基づいて補正する。これにより、第１および第２撮影位置の３次元座標は、歪曲収差が補正された高精度な値となる。
【００１２】
像点対応付け装置のモニタ画面において、補助像点は実質的に線として表示されることが好ましい。撮影光学系が所定数の画素を格子状に配列した撮像素子を有する電子スチルカメラに設けられた場合には、補助点の個数が撮像素子の水平方向の画素数より大きい値であればよく、具体的には１０００個以上が好ましい。これにより、第２画像に重ねて表示する補助像点が高精度な線として表示される。
【００１３】
また、本発明による像点対応付け方法は、所定の歪曲収差を有する撮影光学系を備えたカメラによって、第１および第２撮影位置から同一の被写体を撮像し、第１画像および第２画像を得る第１ステップと、第１および第２画像をモニタ画面に表示する第２ステップと、モニタ画面に表示された第１画像において、被写体上の所定の測量点が投影された第１像点を指定する第３ステップと、第３ステップにより指定された第１像点を歪曲収差に基づいて補正し得られた第１補正像点に基づいて測量点を通る所定の直線上の複数の補助点を定義する第４ステップと、補助点を歪曲収差を加味して第２画像に投影した補助像点を定義する第５ステップと、補助像点を第２画像に重ねてモニタ画面に表示する第６ステップと、モニタ画面に表示された補助像点に基づいて第２画像上に投影された測量点の第２像点を指定する第７ステップと、測量点の相対位置を特定するために第１像点および第２像点を対応付ける第８ステップとを備えることを特徴としている。これにより、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える。
【００１４】
また、本発明による記録媒体は、所定の歪曲収差を有する撮影光学系によって同一の被写体を結像して得られた第１画像および第２画像をモニタ画面に表示する画像表示ルーチンと、モニタ画面に表示された第１画像において指定された被写体上の所定の測量点が投影された第１像点を歪曲収差に基づいて補正し補正された第１像点に基づいて測量点を通る所定の直線上の複数の補助点を定義する補助点定義ルーチンと、補助点を歪曲収差を加味して第２画像に投影した補助像点を定義する補助像点定義ルーチンと、補助像点を第２画像に重ねてモニタ画面に表示する補助像点表示ルーチンと、測量点の相対位置を特定するためにモニタ画面に表示された補助像点に基づいて指定され第２画像上に投影された測量点の第２像点と第１像点とを対応付ける対応付けルーチンとを備えることを特徴とする像点対応付けプログラムを格納している。これにより、汎用のパーソナルコンピュータにおいて像点対応付けプログラムを実行でき、歪曲収差を有する撮影光学系を用いた場合においても複数の画像上において像点の対応付けが容易かつ高精度に行える。
【００１５】
【発明の実施の形態】
以下、本発明による像点対応付け方法の実施形態について添付図面を参照して説明する。
【００１６】
図１は、像点対応付け装置のブロック図である。像点対応付け装置は、装置全体の動作を制御するＣＰＵ１０と、画像に関するデータをＩＣメモリカード４０から読取るためのカード読取装置１２と、読取られた画像を表示するモニタ装置１４とを備える。また像点対応付け装置は、像点指定や種々の指示に用いるマウス１６およびキーボード１７を備える。ＣＰＵ１０、カード読取装置１２、モニタ装置１４およびマウス１６は直接または間接的にバス３０に接続される。
【００１７】
マウス１６およびキーボード１７にはバス３０に接続された入力制御部２６が接続され、マウス１６およびキーボード１７からの入力がバス３０に転送され、またこれらの入力モード等が設定される。
【００１８】
ＩＣメモリカード４０はカード読取装置１２に挿入され、ＩＣメモリカード４０内に格納された複数の画像データが装置内に適宜読み込まれる。画像データは、図示しない電子スチルカメラにより撮像された１フレーム分のデジタル画素データと、撮影時の撮影条件や撮影光学系の歪曲収差のデータ、さらに画像に写し込まれたターゲットの寸法形状および配置のデータ等を含む。
【００１９】
カード読取装置１２の読込み動作および書込み動作は、バス３０に接続された記録媒体制御部２２により制御される。記録媒体制御部２２にはハードディスク１３が接続され、このハードディスク１３にはＩＣメモリカード４０から読み込まれた画像データが格納される。
【００２０】
バス３０には表示メモリ４２および作業メモリ４４がそれぞれ接続される。表示メモリ４２はモニタ装置１４で表示すべき内容をデジタルデータとして保持し、バス３０に接続された表示制御部２４は保持されたデジタルデータをモニタ装置１４のためのアナログＲＧＢ信号に変換する。作業メモリ４４はＣＰＵ１０による演算、処理におけるキャッシュメモリ等に使用される。
【００２１】
ＣＰＵ１０は、入力状態管理部３２、表示状態管理部３４、演算処理部３６およびデータ管理部３８を備え、必要な管理、演算、処理を実行する。入力状態管理部３２はマウス１６およびキーボード１７の設定を管理し、また入力された情報、例えばマウス１６の座標、キーボード１７から入力された文字等を所定のデジタルデータに変換する。表示状態管理部３４はモニタ装置１４に表示すべき内容を管理し、表示に関する設定の変更等があったときには表示内容を変更する。演算処理部３６は後述する像点等の座標算出や歪曲収差補正等に使用される。データ管理部３８はＩＣメモリカード４０から読込んだデータ内容を管理し、また読み込まれた画像に基づいて作成された種々の座標データや像点の対応付けのデータ等を管理する。
【００２２】
なお、像点対応付け装置には汎用のパーソナルコンピュータが適用され、また画像に関するデータの読込みから作図までの一連の写真測量用画像処理プログラムは像点対応付け装置に着脱自在な記録媒体であるＣＤ−ＲＯＭ６０、または像点対応付け装置に内蔵された記録媒体であるハードディスク１３に格納される。ハードディスク１３内に写真測量用画像処理プログラムが格納されていない場合には、ＣＰＵ１０はＣＤ−ＲＯＭドライブ４８を介してＣＤ−ＲＯＭ６０から写真測量用画像処理プログラムを読み出し、ハードディスク１３にインストールする。既にハードディスク１３にインストールされている場合には、ＣＰＵ１０はハードディスク１３内の写真測量用画像処理プログラムを読み出し、種々の処理を実行する。なお、後述する対応付け処理プログラムは写真測量用画像処理プログラムに含まれる。
【００２３】
図２はモニタ装置１４の表示画面を概念的に示す図である。この表示画面の画像表示領域ＩＭＡには、地表面上の所定位置に置かれたターゲット５０を含む一対の画像、即ち第１画像ＩＭ１、第２画像ＩＭ２が並列して表示される。第１画像ＩＭ１および第２画像ＩＭ２は単一の電子スチルカメラで撮影された画像であり、それぞれの撮影位置はオペレータにより任意に定められる。第１画像ＩＭ１および第２画像ＩＭ２はＩＣメモリカード４０に格納されていたデジタル画素データに基づいて表示され、水平方向にＷ個、垂直方向にＨ個の画素が配列される。Ｗ、Ｈは整数（Ｗ≧Ｈ）であり、例えばＷ＝１０００、Ｈ＝８００である。
【００２４】
画像表示領域ＩＭＡの下側には作図領域ＤＲＡが設けられ、２つの画像に基づいて作図された測量図、具体的には道路の外形を示す実線Ｌが描かれる。測量図は道路を鉛直上方から見た水平面図である。なお、測量点ｑ₁、ｑ₂、ｑ₃、ｑ₄およびターゲット５０の角部を示す基準点ＲＰは、作図領域ＤＲＡにおいて点表示される。画面の左方にはメニューＭＭが設けられ、種々のコマンドが選択可能である。
【００２５】
測量図の作図に際しては、測量点の各画像における像点がマニュアルで指定されて、対応付けられる。例えば、第１画像ＩＭ１において、道路の角の測量点ｑ₁の第１像点ＡＱ₁₁がマウス１６によりマニュアル指定されると、第２画像ＩＭ２に補助線ＡＤＬが重ねて表示され、この補助線ＡＤＬを参照しながら第２像点ＡＱ₁₂がマニュアル指定される。
【００２６】
第１像点ＡＱ₁₁は、マウス１６の指定によりそのピクセル座標（ＡＸ₁₁，ＡＹ₁₁）が取得され、作業メモリ４４に格納される。ピクセル座標（ＡＸ₁₁，ＡＹ₁₁）は、第１画像ＩＭ１の左上隅からの水平および垂直方向の画素数である。第２像点ＡＱ₁₂についても同様、マウス指定によりピクセル座標（ＡＸ₁₂，ＡＹ₁₂）が得られる。
【００２７】
このように測量点ｑ₁の像点として第１像点ＡＱ₁₁および第２像点ＡＱ₁₂が互いに対応付けられると、これら第１像点ＡＱ₁₁および第２像点ＡＱ₁₂のピクセル座標に基づいて測量点ｑ₁の３次元座標が算出されるとともに、作図領域ＤＲＡに測量点ｑ₁が点表示される。測量点ｑ₂、ｑ₃、ｑ₄についても同様、像点ＡＱ₂₁と像点ＡＱ₂₂、像点ＡＱ₃₁と像点ＡＱ₃₂、像点ＡＱ₄₁と像点ＡＱ₄₂がそれぞれ互いに対応付けられ、３次元座標が算出される。
【００２８】
測量点ｑ₁、ｑ₂、ｑ₃、ｑ₄の３次元座標は、ターゲット５０の基準点ＲＰを原点とする共通の３次元座標系における値である。基準点ＲＰの第１画像ＩＭ１および第２画像ＩＭ２におけるそれぞれの像点はＲＰ₁およびＲＰ₂で示される。
【００２９】
なお、本実施形態においては、始めに第１画像ＩＭ１の像点指定が行われ、補助線ＡＤＬは第２画像ＩＭ２上に示されているが、指定の順序が逆、即ち第２画像ＩＭ２の像点指定を先に行っても良い。この場合、補助線ＡＤＬは第１画像ＩＭ１上に表示される。
【００３０】
このように、一方の画像で像点を指定すると、他方の画像に対応する像点を含み得る補助線ＡＤＬが自動的に表示されるので、オペレータは対応する像点を容易に指定し得る。
【００３１】
図３は、測量点ｑ_iおよび測量点ｑ_iの２つの対応する第１像点ＡＱ_i1、第２像点ＡＱ_i2との関係を概念的に示す図である。ｉは測量点の数を示すパラメータである。
【００３２】
第１画像ＩＭ１が得られたときの電子スチルカメラの撮影光学系の入射瞳位置は第１撮影位置Ｍ１で示され、その座標はターゲット５０に基づいて設定された基準座標系（Ｘ，Ｙ，Ｚ）における３次元座標、即ち基準座標（ΔＸ₁，ΔＹ₁，ΔＺ₁）で示される。また撮影光学系の向きは光軸ＣＬ１で示され、その回転角はＸ軸、Ｙ軸およびＺ軸周りの回転変位量（Δα₁，Δβ₁，Δγ₁）で表される。これら６つのパラメータΔＸ₁、ΔＹ₁、ΔＺ₁、Δα₁、Δβ₁およびΔγ₁をカメラパラメータと呼ぶ。
【００３３】
カメラパラメータは、第１画像ＩＭ１が読み込まれた時にＣＰＵ１０によってターゲット５０の寸法形状に基づいて算出される。同様に、第２画像ＩＭ２が得られたときのカメラパラメータ、即ち第２撮影位置Ｍ２（ΔＸ₂，ΔＹ₂，ΔＺ₂）および光軸ＣＬ２（Δα₂，Δβ₂，Δγ₂）は画像読込み時に算出される。カメラパラメータの算出に関しては従来公知であり、ここではその説明を省略する。
【００３４】
測量点ｑ_iは、撮影光学系の結像面に実質的に一致する第１画像ＩＭ１（図中、破線で示される）上に第１像点ＡＱ_i1（図中、白丸で示される）として投影される。測量点ｑ_iは、理想的には第１撮影位置Ｍ１と第１像点ＡＱ_i1とを結ぶ直線ＥＬの延長線上に位置するはずであるが、現実には撮影光学系が歪曲収差を有するために直線ＥＬから外れてしまう。
【００３５】
そこで、歪曲収差のない撮影光学系によって結像された理想的な結像面を、第１スクリーンＳ１（図中、実線で示される）として設定し、第１スクリーンＳ１に投影された測量点ｑ_iの像点を第１補正像点Ｑ_i1（図中、黒丸で示される）として示す。第１スクリーンＳ１は光軸ＣＬ１に対して垂直な平面であり、かつその結像中心Ｃ１は光軸ＣＬ１上に位置する。このとき、測量点ｑ_iは第１撮影位置Ｍ１と第１補正像点Ｑ_i1とを通る直線ＥＬ上に位置する。
【００３６】
第１スクリーンＳ１には結像中心Ｃ１を原点とする第１スクリーン座標系（Ｘ’，Ｙ’）が設定され、第１補正像点Ｑ_i1の第１スクリーンＳ１における相対位置はスクリーン座標（Ｘ_i1，Ｙ_i1）で表される。測量点ｑ_iの基準座標（ｑｘ_i，ｑｙ_i，ｑｚ_i）と、第１補正像点Ｑ_i1のスクリーン座標（Ｘ_i1，Ｙ_i1）との関係は、（１）式および（２）式により定義付けられる。（１）式および（２）式においてｊは画像数を示すパラメータであり、第１画像ＩＭ１の場合にはｊ＝１である。
【００３７】
【数１】

【００３８】
【数２】

【００３９】
なお（１）式および（２）式に示される（ｘ_ij，ｙ_ij，ｚ_ij）は、基準座標系とは異なる電子スチルカメラに設定されたカメラ座標系における測量点ｑ_iの３次元座標である。詳述すると、第１画像ＩＭ１には第１撮影位置Ｍ１を原点とする第１カメラ座標系（ｘ’，ｙ’，ｚ’）が設定され、この第１カメラ座標系における測量点ｑ_iの座標は（ｘ_i1，ｙ_i1，ｚ_i1）で表される。なお、ｘ’軸は第１スクリーンＳ１のＸ’軸に平行であり、電子スチルカメラに設けられた撮像素子の水平方向に一致する。またｙ’軸はＹ’軸に平行かつ撮像素子の垂直方向に一致する。同様に第２カメラ座標系（ｘ”，ｙ”，ｚ”）が設定され、この第２カメラ座標系における測量点ｑ_iの座標は（ｘ_i2，ｙ_i2，ｚ_i2）で表される。
【００４０】
（１）式は測量点ｑ_iのカメラ座標（ｘ_ij，ｙ_ij，ｚ_ij）と基準座標（ｑｘ_i，ｑｙ_i，ｑｚ_i）との関係を示し、（２）式は測量点ｑ_iのカメラ座標（ｘ_ij，ｙ_ij，ｚ_ij）とスクリーン座標（Ｘ_i1，Ｙ_i1）との関係を示す。（２）式のＣｍは電子スチルカメラ固有に定められたパラメータであり、双方の撮影位置Ｍ１、Ｍ２において同値である。
【００４１】
第２撮影位置Ｍ２に関しても同様に、実際の結像面である第２画像ＩＭ２、および理想的な結像面である第２スクリーンＳ２における測量点ｑ_iの像点が、それぞれ第２像点ＡＱ_i2および第２補正像点Ｑ_i2として示される。測量点ｑ_iが直線ＥＬ上にあることから、直線ＥＬを第２スクリーンＳ２に投影した直線（以下、投影線と呼ぶ）ＰＥＬ上には、第２補正像点Ｑ_i2が位置する。
【００４２】
この投影線ＰＥＬを歪曲収差を考慮して変換すれば、変換された線上には第２像点ＡＱ_i2が位置するはずである。本実施形態では、この変換された線を補助線ＡＤＬ（図中破線で示される）として定義し、図３に示すように第２画像ＩＭ２に重ねて表示させている。このように補助線ＡＤＬは撮影光学系の歪曲収差を考慮して求められており、これにより第２像点ＡＱ_i2を容易かつ高精度に指定し得る。
【００４３】
具体的には、直線ＥＬ上にあってかつ測量点ｑ_iを含み得る所定範囲内にあるｎ個の補助点ｐ₁〜ｐ_nを抽出し、これら補助点ｐ₁〜ｐ_nを第２スクリーンＳ２に投影し、さらに歪曲収差に基づいて変換して補助像点ＡＰ₁〜ＡＰ_n（図３にはＡＰ₁およびＡＰ_nのみを示す）を得、連続する補助像点ＡＰ₁〜ＡＰ_nを結ぶことにより補助線ＡＤＬを生成する。補助点の数ｎは多い方が好ましく、少なくとも第１画像ＩＭ１の水平方向の画素数Ｗより大きい値に設定される。この場合、水平方向において１画素単位で補助線ＡＤＬを表示でき、高精度かつ滑らかな補助線ＡＤＬが得られる。
【００４４】
補助点ｐ₁〜ｐ_nが抽出される所定範囲としては、第１撮影位置Ｍ１から１ｍ以上５０ｍ以下の範囲が好ましい。この下限値１ｍおよび上限値５０ｍは、像点指定を高精度に行うために撮影範囲が１ｍ以上５０ｍ以下程度に限られることから経験的に得られた数値であり、特に限定されるものではない。図３に示す画面上のメニューＭＭで所定範囲を適宜変更しても良い。本実施形態においては水平方向の画素数Ｗが１０００であり、１ｍから５０ｍの範囲を１０００等分することにより１０００個の補助点ｐ_n（１≦ｎ≦１０００）が定義される。
【００４５】
補助点ｐ_nの基準座標（ｐｘ_n，ｐｙ_n，ｐｚ_n）は、（３）式により算出される。（３）式においてｔは距離を示すパラメータであり、Ｒは直線ＥＬの方向を示す方向ベクトル（ｒ_X，ｒ_Y，ｒ_Z）である。この方向ベクトルＲは第１カメラ位置Ｍ１からの単位ベクトルである。
【００４６】
【数３】

【００４７】
補助点ｐ_nの第２スクリーンＳ２上におけるスクリーン座標（Ｘ_n2，Ｙ_n2）は、前述の（１）式および（２）式により求められる。ここで、パラメータｉおよびｊにはそれぞれｎ（１≦ｎ≦１０００）および２が代入され、ｑｘ_n、ｑｙ_nおよびｑｚ_nにはそれぞれ補助点ｐ_nの基準座標ｐｘ_n、ｐｙ_nおよびｐｚ_nが代入される。
【００４８】
補助点ｐ_nのスクリーン座標（Ｘ_n2，Ｙ_n2）は、（４）式に示すＫａｒａｒａの歪曲収差補正モデルを用いて、歪曲収差を考慮した値に変換される。変換後の点は補助像点ＡＰ_nで示され、その変換後の２次元座標は（ＤＸ_n2，ＤＹ_n2）で表される。（４）式において、Ｄ₂、Ｄ₄、Ｄ₆、Ｐ₁、Ｐ₂、ＸｃおよびＹｃは歪曲収差を示すパラメータであり、特にＸｃおよびＹｃは光軸ＣＬ₂の第２画像ＩＭ２の中心に対するＸ”方向およびＹ”方向のずれ量である。
【００４９】

【００５０】
補助像点ＡＰ_nの２次元座標は（ＤＸ_n2，ＤＹ_n2）は、結像中心Ｃ２を原点とする第２スクリーン座標系における値であり、さらに（５）式によって第２画像ＩＭ２におけるピクセル座標（ＡＸ_n2，ＡＹ_n2）に変換される。（５）式において、ＰｘおよびＰｙはそれぞれ撮像素子の水平方向および垂直方向の画素間距離であり、ＷおよびＨは水平方向および垂直方向の画素数である。
【００５１】

【００５２】
そして、１０００個の補助像点ＡＰ_nは、算出されたピクセル座標（ＡＸ_n2，ＡＹ_n2）に基づいて、第２画像ＩＭ２上に例えば赤色の点で表示され、補助像点ＡＰ_nを連続して結ぶことにより補助線ＡＤＬが得られる。
【００５３】
図４〜図６を参照して、ＣＰＵ１０の演算処理部３６において実行される対応付け処理プログラムについて説明する。
【００５４】
図４は対応付け処理プログラムのメインルーチンを示すフローチャートである。このメインルーチンは対応付け処理プログラムが起動されることにより開始される。まず、ステップＳ１０２において第１画像ＩＭ１および第２画像ＩＭ２の画像データがＩＣメモリカード４０から読み込まれる。このとき、撮影時の撮影条件や撮影光学系の歪曲収差のデータ、およびターゲット５０の寸法形状および配置のデータは作業メモリ４４に格納される。
【００５５】
続いてステップＳ１０４が実行され、第１画像ＩＭ１のカメラパラメータ（ΔＸ₁、ΔＹ₁、ΔＺ₁、Δα₁、Δβ₁、Δγ₁）および第２画像ＩＭ２のカメラパラメータ（ΔＸ₂、ΔＹ₂、ΔＺ₂、Δα₂、Δβ₂、Δγ₂）が算出される。これらカメラパラメータは作業メモリ４４の所定領域に格納される。次にステップＳ１０６が実行され、第１画像ＩＭ１および第２画像ＩＭ２がモニタ装置１４の画面に設定された画像表示領域ＩＭＡ（図３）に表示される。
【００５６】
ここで、ステップＳ１０８において測量点の数を示すパラメータｉの値が０に初期化され、ステップＳ１１０において第１画像ＩＭ１および第２画像ＩＭ２における測量点ｑ_iの像点の対応付けを継続するか否かが判定される。継続する場合にはステップＳ１１２以降が実行され、継続しない場合にはステップＳ１２２が実行される。
【００５７】
ステップＳ１１２においてパラメータｉはカウントアップされる。続いてステップＳ１１４が実行され、ここでは第１画像ＩＭ１における測量点ｑ_(i=1)の像点、即ち第１像点ＡＱ₁₁がマニュアル指定され、そのピクセル座標（ＡＸ_11,ＡＹ₁₁）が取得される。
【００５８】
そして、ステップＳ２００の補助線描画サブルーチンが実行され、第２画像ＩＭ２に補助線ＡＤＬが表示される。続いてステップＳ１１６において、補助線ＡＤＬを参照しつつ第２画像ＩＭ２における測量点ｑ_(i=1)の像点、即ち第２像点ＡＱ₁₂がマニュアル指定され、これによりそのピクセル座標（ＡＸ_12,ＡＹ₁₂）が取得される。
【００５９】
続いてステップＳ１１８が実行され、ステップＳ１１４で指定された第１像点ＡＱ₁₁と、ステップＳ１１６で指定された第２像点ＡＱ₁₂とが、測量点ｑ_(i=1)の像点として対応付けられ、それらピクセル座標（ＡＸ_11,ＡＹ₁₁）および（ＡＸ_12,ＡＹ₁₂）が作業メモリ４４に格納される。
【００６０】
ステップＳ１２０では、第１像点ＡＱ₁₁と第２像点ＡＱ₁₂とのピクセル座標および、カメラパラメータに基づいて測量点ｑ_(i=1)の基準座標（Ｘ₁，Ｙ₁，Ｚ₁）が算出され、作図領域ＤＲＡ（図３）に点表示される。基準座標の算出については公知であり、ここでは説明を省略する。ステップＳ１２０の終了後ステップＳ１１０へ戻り、次の測量点ｑ_(i=2)について像点指定を行う場合にはステップＳ１１２〜Ｓ１２０が再実行される。
【００６１】
ステップＳ１１０において像点指定を終了すると判定されると、ステップＳ１２２において作業メモリ４４に格納されていたデータ、即ち第１画像ＩＭ１および第２画像ＩＭ２の画像データやカメラパラメータ、測量点および第１および第２像点に関するデータ、測量図に関するデータ等が所定のフォーマットに基づいてファイルに変換され、ハードディスク１３に格納された後、メインルーチン即ち対応付け処理プログラムが終了する。
【００６２】
図５は、図４の補助線描画サブルーチン（ステップＳ２００）の詳細を示すフローチャートである。まず、ステップＳ２０２において第１画像ＩＭ１および第２画像ＩＭ２のカメラパラメータが作業メモリ４４から読み出される。次に、ステップＳ３００の方向ベクトル算出サブルーチンが実行され、直線ＥＬの方向を定義付ける方向ベクトルＲ（ｒ_X，ｒ_Y，ｒ_Z）が算出される。
【００６３】
ステップＳ２０６では、ステップＳ２０４により定義された直線ＥＬ上の補助点ｐ_nが定義され、具体的には（１）式のパラメータｔに数値が代入される。本実施形態においては、距離ｔには１ｍ以上５０ｍ以下の範囲を１０００等分した数値が代入される。即ち、ステップＳ２０６により１０００個の補助点ｐ_n（１≦ｎ≦１０００）およびその基準座標が得られる。
【００６４】
次にステップＳ２０８が実行され、補助点ｐ_nの基準座標および第２画像ＩＭ２のカメラパラメータに基づいて、補助点ｐ_nを第２スクリーンＳ２に投影した点のスクリーン座標が算出され、さらに１０００個の投影点のスクリーン座標にはそれぞれ歪曲補正が施される。これにより、補助点ｐ_nを画像ＩＭ２に投影した補助像点ＡＰ_nの高精度なピクセル座標が得られる。
【００６５】
そしてステップＳ２１０において、１０００個の補助像点ＡＰ_nを連続して結んだ補助線ＡＤＬが描画されて、モニタ装置１４の画面上の第２画像ＩＭ２に重ねて表示され、補助線描画サブルーチンが終了する。
【００６６】
図６は、図５の方向ベクトル算出サブルーチン（ステップＳ３００）の詳細を示すフローチャートである。ここでは、方向ベクトルＲの先端である第１カメラ位置Ｍ１から距離１だけ離れた点ＲＢを第１画像ＩＭ１に投影した点と、指定した第１像点ＡＱ_i1との距離が最小となり得るような、ｒ_X、ｒ_Yおよびｒ_Zの値が求められる。
【００６７】
始めにステップＳ３０２において、方向ベクトルＲのｒ_X、ｒ_Y、およびｒ_Zに適当な初期値が与えられる。次に、ステップＳ３０４において（１）式により点ＲＢのカメラ座標が算出される。続いて（２）式、（４）式および（５）式により点ＲＢのスクリーン座標、歪曲収差を考慮した２次元座標、ピクセル座標が順に算出される（ステップＳ３０６、３０８、３１０）。そしてステップＳ３１２が実行され、ステップＳ３１０により求められた点ＲＢの第１画像ＩＭ１におけるピクセル座標（ＡＸ_RB，ＡＹ_RB）と、指定した第１像点ＡＱ_i1のピクセル座標（ＡＸ_i1，ＡＹ_i1）との距離の２乗で表される誤差Φが（６）式により算出される。
【００６８】
【数６】

【００６９】
ステップＳ３１４においては誤差Φが最小値であるか否かが判定され、最小値でないと判定されるとｒ_X、ｒ_Yおよびｒ_Zの値がより近似した値に変えられてステップＳ３０４に戻る。即ち、誤差Φが最小値に収束するまでｒ_X、ｒ_Yおよびｒ_Zの値が順次変えられて誤差Φの算出が繰り返し行われる。誤差Φが最小値であると判定されると、ステップＳ３１６において現在のｒ_X、ｒ_Yおよびｒ_Zの値が方向ベクトルＲとして登録され、方向ベクトル算出サブルーチンが終了する。
【００７０】
【発明の効果】
本発明によると、複数の画像上において像点の対応付けが高精度に行える。
【図面の簡単な説明】
【図１】本発明による像点対応付け装置の実施形態を示すブロック図である。
【図２】図１に示すモニタ装置の表示画面を概念的に示す図である。
【図３】測量点および第１像点、第２像点との関係を概念的に示す図である。
【図４】対応付け処理プログラムのメインルーチンを示すフローチャートである。
【図５】図４の補助線描画サブルーチンの詳細を示すフローチャートである。
【図６】図５の方向ベクトル算出サブルーチンの詳細を示すフローチャートである。
【符号の説明】
１０ＣＰＵ
１４モニタ装置
１６マウス
６０ＣＤ−ＲＯＭ
ＩＭ１第１画像
ＩＭ２第２画像
ｑ₁、ｑ₂、ｑ₃、ｑ₄ 測量点
ＡＱ₁₁、ＡＱ₂₁、ＡＱ₃₁、ＡＱ₄₁ 第１像点
ＡＱ₁₂、ＡＱ₂₂、ＡＱ₃₂、ＡＱ₄₂ 第２像点
ｐ₁〜ｐ_n 補助点
ＡＰ₁〜ＡＰ_n補助像点
ＡＤＬ補助線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image point associating device, an image point associating method, and an image point for accurately associating image points on a subject in each image in photogrammetry for creating a survey map of a subject from a plurality of images. The present invention relates to a recording medium storing an association program.
[0002]
[Prior art]
Conventionally, in photogrammetry, a stereo image including a left-eye image and a right-eye image is obtained using two cameras fixed to each other, and a survey map of a subject is generated based on the stereo image. Specifically, for example, an image for the left eye and an image for the right eye are displayed side by side on the monitor screen, and an arbitrary survey point on the subject that is commonly displayed in each image by visual observation is stereoscopically viewed. Survey points on the image, that is, two image points are associated with each other. Then, the three-dimensional coordinates of the survey point are obtained from the associated image points and the distance between the two cameras, and a survey map is generated.
[0003]
The image points on a stereo image are associated with each other by specifying the image point with one mouse and searching for the image point corresponding to the specified image point with the other image. The accuracy of the survey map depends on the operator's ability and experience, and it takes a great deal of labor and time for matching. For this reason, when an image point is designated in one image, a visual auxiliary line called an epipolar line is displayed on the other image to facilitate association.
[0004]
This epipolar line is the intersection of the plane containing the image point specified in one image and the principal point position of the imaging optical system of both cameras and the other image (actually the imaging plane of the camera). Defined. For example, in the case of a stereo image, there is no parallax in the vertical direction (Y direction). Therefore, when an image point on one image is designated and the Y coordinate is determined, the epipolar line in the other image matches the Y coordinate. It can be defined as a straight line having coordinates and extending in the horizontal direction (X direction), and the corresponding image point can be regarded as being on the epipolar line. Therefore, the operator only has to move the cursor on the epipolar line to associate the parallax in the horizontal direction, which greatly improves the work efficiency.
[0005]
[Problems to be solved by the invention]
However, since the imaging optical system of the camera actually has inherent distortion, the coordinates of the image points in both images each include an error due to distortion, and an epipolar line determined based on one image. There is a problem that the position of the image point on the other image is shifted and the image point cannot be associated with high accuracy. Such a problem can be solved by using a photographic optical system without distortion, but a photographic optical system without distortion is very expensive and not practical.
[0006]
The present invention has been made in view of such a point, and even when a photographing optical system having distortion is used, image points can be easily and accurately associated with each other on a plurality of images. It is an object to provide a photogrammetry method using an associating device and an image point associating device.
[0007]
[Means for Solving the Problems]
An image point matching apparatus according to the present invention includes an image display means for displaying on a monitor screen a first image and a second image obtained by imaging the same subject by a photographing optical system having distortion, In the first image, a first designation means for designating a first image point on which a predetermined survey point on the subject is projected, and a first image point obtained by correcting the first image point to eliminate the influence of distortion. Auxiliary point defining means for defining a plurality of auxiliary points located on a predetermined straight line passing through one correction image point and a survey point, and an auxiliary image point projected on the second image by adding distortion to the auxiliary point Auxiliary image point defining means, an auxiliary image point display means for superimposing the auxiliary image point on the second image and displaying it on the monitor screen, and an image projected on the second image based on the auxiliary image point displayed on the monitor screen Second specifying means for specifying the second image point of the survey point and the relative position of the survey point It is characterized in that it comprises a correlation means for correlating the first image point and a second image point to identify. As a result, even when a photographing optical system having distortion is used, image points can be easily associated with high accuracy on a plurality of images.
[0008]
More specifically, the auxiliary point defining means of the image point matching apparatus is configured such that a predetermined point that is a predetermined distance away from the first imaging position that is the entrance pupil position of the imaging optical system when the first image is obtained is distorted. Projection point definition means for defining a projection point projected on an image plane without aberration, and coordinate conversion is performed on the two-dimensional coordinates of the projection point obtained by the projection point definition means based on Karara's formula A distortion aberration correcting means for obtaining a two-dimensional coordinate taking into account the distortion at the projection point, and a relative point of the predetermined point so that the two-dimensional coordinate taking into account the distortion at the projection point coincides with the two-dimensional coordinate of the first image point. First correction image point specifying means for determining the projection point of the specified point specified as the position as the first correction image point, and a straight line defining a straight line passing through the first photographing position and the first correction image point as the predetermined straight line The place defined by the definition means and the straight line definition means And a plurality of auxiliary points that are within a predetermined range of may include matching and surveying point on the straight line extraction may comprise an auxiliary point extracting means for calculating three-dimensional coordinates of these auxiliary points respectively.
[0009]
It is preferable that the predetermined range of the auxiliary points extracted by the auxiliary point extraction unit of the image point matching apparatus is a range of 1 meter or more and within 50 meters from the first photographing position. Considering the surveying accuracy, the shooting range is limited to a range of about 1 to 50 meters from the shooting position, so the survey point is included in this range with a high probability.
[0010]
More specifically, the auxiliary image point defining means of the image point associating device, more specifically, the entrance pupil position of the photographing optical system when the three-dimensional coordinates of the auxiliary point defined by the auxiliary point defining means and the second image are obtained. Obtained by the two-dimensional coordinate calculation means and the two-dimensional coordinate calculation means for calculating the two-dimensional coordinates when the auxiliary point is projected on the imaging surface having no distortion based on the three-dimensional coordinates of the second imaging position. Distortion aberration correcting means for calculating the two-dimensional coordinates of the auxiliary image point by performing coordinate transformation taking into account distortion aberration based on the Karara equation for the two-dimensional coordinates of the auxiliary point thus obtained may be provided.
[0011]
The image point association apparatus may include shooting position calculation means for calculating the three-dimensional coordinates of the first and second shooting positions, respectively, and the shooting position calculation means is a predetermined image that is imprinted in the first and second images. Based on the dimensional shape of the target at the position and the dimensional shape of the target image in the first and second images, the three-dimensional coordinates of the first and second imaging positions are calculated. Thus, if the target is placed in the vicinity of the subject at the time of shooting, it is not necessary to measure the reference length one by one, and the shooting operation is simplified. More preferably, the photographing position calculation means corrects the target image in the first and second images based on distortion. As a result, the three-dimensional coordinates of the first and second imaging positions are highly accurate values in which distortion is corrected.
[0012]
It is preferable that the auxiliary image point is substantially displayed as a line on the monitor screen of the image point matching apparatus. When the imaging optical system is provided in an electronic still camera having an image sensor in which a predetermined number of pixels are arranged in a grid, the number of auxiliary points may be a value larger than the number of pixels in the horizontal direction of the image sensor, Specifically, 1000 or more are preferable. As a result, auxiliary image points to be displayed superimposed on the second image are displayed as high-precision lines.
[0013]
In addition, the image point association method according to the present invention images the same subject from the first and second photographing positions with a camera including a photographing optical system having a predetermined distortion, and the first image and the second image are captured. A first step of obtaining, a second step of displaying the first and second images on the monitor screen, and a first image point on which a predetermined survey point on the subject is projected in the first image displayed on the monitor screen. A third step of specifying, and a plurality of auxiliary points on a predetermined straight line passing through the survey point based on the first corrected image point obtained by correcting the first image point specified in the third step based on the distortion aberration A fourth step of defining the auxiliary image point, a fifth step of defining the auxiliary image point that is projected onto the second image by adding distortion to the auxiliary point, and a second step of displaying the auxiliary image point over the second image on the monitor screen. 6 steps, displayed on the monitor screen The seventh step of designating the second image point of the survey point projected on the second image based on the auxiliary image point is associated with the first image point and the second image point in order to specify the relative position of the survey point And an eighth step. As a result, even when a photographing optical system having distortion is used, image points can be easily associated with high accuracy on a plurality of images.
[0014]
In addition, the recording medium according to the present invention includes an image display routine for displaying on a monitor screen a first image and a second image obtained by imaging the same subject using a photographing optical system having a predetermined distortion, and a monitor screen. The first image point on which the predetermined survey point on the designated subject is projected in the first image displayed on is corrected based on the distortion aberration, and passes through the survey point based on the corrected first image point. An auxiliary point definition routine for defining a plurality of auxiliary points on a straight line, an auxiliary image point definition routine for defining an auxiliary image point that is projected onto the second image by adding distortion to the auxiliary point, and a second auxiliary image point. Auxiliary image point display routine to be displayed on the monitor screen overlaid on the image, and a survey point designated on the second image and projected on the second image in order to specify the relative position of the survey point The second and first image points of Stores image point mapping program, characterized in that it comprises a mapping routine to give response. As a result, the image point association program can be executed on a general-purpose personal computer, and image points can be easily and accurately associated on a plurality of images even when a photographing optical system having distortion is used.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image point matching method according to the present invention will be described below with reference to the accompanying drawings.
[0016]
FIG. 1 is a block diagram of an image point matching apparatus. The image point association apparatus includes a CPU 10 that controls the operation of the entire apparatus, a card reader 12 that reads data related to an image from the IC memory card 40, and a monitor device 14 that displays the read image. The image point association apparatus includes a mouse 16 and a keyboard 17 used for image point designation and various instructions. The CPU 10, card reader 12, monitor device 14, and mouse 16 are directly or indirectly connected to the bus 30.
[0017]
An input control unit 26 connected to the bus 30 is connected to the mouse 16 and the keyboard 17 so that inputs from the mouse 16 and the keyboard 17 are transferred to the bus 30 and their input modes are set.
[0018]
The IC memory card 40 is inserted into the card reader 12, and a plurality of image data stored in the IC memory card 40 is appropriately read into the device. The image data includes one frame of digital pixel data captured by an electronic still camera (not shown), shooting conditions at the time of shooting and distortion aberration data of the shooting optical system, and the size and shape and arrangement of the target imaged in the image. Data.
[0019]
The reading operation and writing operation of the card reader 12 are controlled by the recording medium control unit 22 connected to the bus 30. A hard disk 13 is connected to the recording medium control unit 22, and image data read from the IC memory card 40 is stored in the hard disk 13.
[0020]
A display memory 42 and a work memory 44 are connected to the bus 30. The display memory 42 holds the contents to be displayed on the monitor device 14 as digital data, and the display control unit 24 connected to the bus 30 converts the held digital data into analog RGB signals for the monitor device 14. The work memory 44 is used as a cache memory or the like for calculation and processing by the CPU 10.
[0021]
The CPU 10 includes an input state management unit 32, a display state management unit 34, a calculation processing unit 36, and a data management unit 38, and executes necessary management, calculation, and processing. The input state management unit 32 manages the settings of the mouse 16 and the keyboard 17 and converts input information such as coordinates of the mouse 16 and characters input from the keyboard 17 into predetermined digital data. The display state management unit 34 manages the contents to be displayed on the monitor device 14 and changes the display contents when there is a change in the setting related to the display. The arithmetic processing unit 36 is used for calculating coordinates of image points and the like, correcting distortion, and the like, which will be described later. The data management unit 38 manages the content of data read from the IC memory card 40, and manages various coordinate data created based on the read image, data for associating image points, and the like.
[0022]
Note that a general-purpose personal computer is applied to the image point associating device, and a series of photogrammetry image processing programs from reading of data relating to images to drawing are a recording medium that is detachable from the image point associating device. -Stored in the ROM 60 or the hard disk 13 which is a recording medium built in the image point matching apparatus. When the photogrammetry image processing program is not stored in the hard disk 13, the CPU 10 reads the photogrammetry image processing program from the CD-ROM 60 via the CD-ROM drive 48 and installs it in the hard disk 13. If already installed in the hard disk 13, the CPU 10 reads the photogrammetry image processing program in the hard disk 13 and executes various processes. Note that the association processing program described later is included in the photogrammetry image processing program.
[0023]
FIG. 2 is a diagram conceptually showing the display screen of the monitor device 14. In the image display area IMA of this display screen, a pair of images including the target 50 placed at a predetermined position on the ground surface, that is, the first image IM1 and the second image IM2 are displayed in parallel. The first image IM1 and the second image IM2 are images taken by a single electronic still camera, and the respective photographing positions are arbitrarily determined by an operator. The first image IM1 and the second image IM2 are displayed based on the digital pixel data stored in the IC memory card 40, and W pixels are arranged in the horizontal direction and H pixels are arranged in the vertical direction. W and H are integers (W ≧ H), for example, W = 1000 and H = 800.
[0024]
A drawing area DRA is provided below the image display area IMA, and a survey map drawn based on two images, specifically, a solid line L indicating the outline of the road is drawn. The survey map is a horizontal plan view of the road as viewed from above. Survey point q ₁ , Q ₂ , Q _Three , Q _Four The reference point RP indicating the corner of the target 50 is displayed as a point in the drawing area DRA. A menu MM is provided on the left side of the screen, and various commands can be selected.
[0025]
When drawing the survey map, the image points in each image of the survey points are manually specified and associated. For example, in the first image IM1, the survey point q at the corner of the road ₁ First image point AQ of ₁₁ Is manually designated by the mouse 16, the auxiliary line ADL is displayed so as to overlap the second image IM2, and the second image point AQ is referred to with reference to the auxiliary line ADL. ₁₂ Is specified manually.
[0026]
First image point AQ ₁₁ Indicates the pixel coordinates (AX ₁₁ , AY ₁₁ ) Is acquired and stored in the work memory 44. Pixel coordinates (AX ₁₁ , AY ₁₁ ) Is the number of pixels in the horizontal and vertical directions from the upper left corner of the first image IM1. Second image point AQ ₁₂ Similarly, the pixel coordinates (AX ₁₂ , AY ₁₂ ) Is obtained.
[0027]
Survey point q in this way ₁ As the image point of the first image point AQ ₁₁ And the second image point AQ ₁₂ Are associated with each other, these first image points AQ ₁₁ And the second image point AQ ₁₂ Survey point q based on the pixel coordinates of ₁ Is calculated, and the survey point q is displayed in the drawing area DRA. ₁ Is displayed as a dot. Survey point q ₂ , Q _Three , Q _Four Similarly, the image point AQ _{twenty one} And image point AQ _{twenty two} , Image point AQ ₃₁ And image point AQ ₃₂ , Image point AQ ₄₁ And image point AQ ₄₂ Are associated with each other to calculate a three-dimensional coordinate.
[0028]
Survey point q ₁ , Q ₂ , Q _Three , Q _Four These three-dimensional coordinates are values in a common three-dimensional coordinate system with the reference point RP of the target 50 as the origin. The respective image points of the reference point RP in the first image IM1 and the second image IM2 are RP ₁ And RP ₂ Indicated by
[0029]
In the present embodiment, the image point designation of the first image IM1 is first performed and the auxiliary line ADL is shown on the second image IM2, but the designation order is reversed, that is, the second image IM2 The image point designation may be performed first. In this case, the auxiliary line ADL is displayed on the first image IM1.
[0030]
As described above, when an image point is designated in one image, the auxiliary line ADL that can include the image point corresponding to the other image is automatically displayed, so that the operator can easily designate the corresponding image point.
[0031]
Figure 3 shows the survey point q _i And survey point q _i Two corresponding first image points AQ _i1 , Second image point AQ _i2 It is a figure which shows notionally the relationship. i is a parameter indicating the number of survey points.
[0032]
The entrance pupil position of the photographing optical system of the electronic still camera when the first image IM1 is obtained is indicated by a first photographing position M1, and the coordinates thereof are a reference coordinate system (X, Y, Z), that is, the reference coordinate (ΔX ₁ , ΔY ₁ , ΔZ ₁ ). The direction of the photographing optical system is indicated by the optical axis CL1, and the rotation angle thereof is a rotational displacement amount (Δα around the X, Y, and Z axes). ₁ , Δβ ₁ , Δγ ₁ ). These six parameters ΔX ₁ , ΔY ₁ , ΔZ ₁ , Δα ₁ , Δβ ₁ And Δγ ₁ Is called a camera parameter.
[0033]
The camera parameters are calculated by the CPU 10 based on the size and shape of the target 50 when the first image IM1 is read. Similarly, camera parameters when the second image IM2 is obtained, that is, the second imaging position M2 (ΔX ₂ , ΔY ₂ , ΔZ ₂ ) And the optical axis CL2 (Δα ₂ , Δβ ₂ , Δγ ₂ ) Is calculated when the image is read. The calculation of camera parameters is conventionally known, and the description thereof is omitted here.
[0034]
Survey point q _i Is a first image point AQ on a first image IM1 (indicated by a broken line in the figure) substantially coinciding with the imaging plane of the photographic optical system. _i1 (Indicated by white circles). Survey point q _i Ideally, the first imaging position M1 and the first image point AQ _i1 However, in reality, the photographing optical system is distorted and deviates from the straight line EL.
[0035]
Therefore, an ideal imaging plane imaged by the photographing optical system without distortion is set as the first screen S1 (indicated by a solid line in the figure), and the survey point q projected on the first screen S1 is set. _i Is the first corrected image point Q. _i1 (Indicated by black circles in the figure). The first screen S1 is a plane perpendicular to the optical axis CL1, and its imaging center C1 is located on the optical axis CL1. At this time, survey point q _i Is the first photographing position M1 and the first corrected image point Q. _i1 Is located on a straight line EL passing through
[0036]
A first screen coordinate system (X ′, Y ′) having the image forming center C1 as the origin is set on the first screen S1, and the first correction image point Q is set. _i1 Relative position on the first screen S1 is the screen coordinates (X _i1 , Y _i1 ). Survey point q _i Reference coordinates (qx _i , Qy _i , Qz _i ) And the first corrected image point Q _i1 Screen coordinates (X _i1 , Y _i1 ) Is defined by equations (1) and (2). In the equations (1) and (2), j is a parameter indicating the number of images, and in the case of the first image IM1, j = 1.
[0037]
[Expression 1]

[0038]
[Expression 2]

[0039]
In addition, (x) shown by (1) Formula and (2) Formula (x _ij , Y _ij , Z _ij ) Is a survey point q in a camera coordinate system set for an electronic still camera different from the reference coordinate system. _i The three-dimensional coordinates. More specifically, the first camera coordinate system (x ′, y ′, z ′) having the first photographing position M1 as the origin is set in the first image IM1, and the survey point q in the first camera coordinate system is set. _i Coordinates of (x _i1 , Y _i1 , Z _i1 ). The x ′ axis is parallel to the X ′ axis of the first screen S1 and coincides with the horizontal direction of the image sensor provided in the electronic still camera. The y ′ axis is parallel to the Y ′ axis and coincides with the vertical direction of the image sensor. Similarly, the second camera coordinate system (x ″, y ″, z ″) is set, and the survey point q in the second camera coordinate system is set. _i Coordinates of (x _i2 , Y _i2 , Z _i2 ).
[0040]
(1) is the survey point q _i Camera coordinates (x _ij , Y _ij , Z _ij ) And reference coordinates (qx _i , Qy _i , Qz _i ), And equation (2) shows the survey point q _i Camera coordinates (x _ij , Y _ij , Z _ij ) And screen coordinates (X _i1 , Y _i1 ). Cm in the equation (2) is a parameter determined uniquely for the electronic still camera, and has the same value at both photographing positions M1 and M2.
[0041]
Similarly, regarding the second imaging position M2, the survey point q in the second image IM2 that is the actual imaging plane and the second screen S2 that is the ideal imaging plane. _i Are the second image points AQ. _i2 And the second corrected image point Q _i2 As shown. Survey point q _i Is on the straight line EL, the second corrected image point Q is projected on a straight line (hereinafter referred to as a projection line) PEL obtained by projecting the straight line EL onto the second screen S2. _i2 Is located.
[0042]
If the projection line PEL is converted in consideration of distortion, the second image point AQ is displayed on the converted line. _i2 Should be located. In the present embodiment, this converted line is defined as an auxiliary line ADL (indicated by a broken line in the figure), and is displayed superimposed on the second image IM2 as shown in FIG. As described above, the auxiliary line ADL is obtained in consideration of the distortion aberration of the photographing optical system, and thereby the second image point AQ. _i2 Can be specified easily and with high accuracy.
[0043]
Specifically, it is on the straight line EL and the survey point q _i N auxiliary points p within a predetermined range ₁ ~ P _n To extract these auxiliary points p ₁ ~ P _n Is projected onto the second screen S2 and further converted based on the distortion aberration to obtain the auxiliary image point AP. ₁ ~ AP _n (Figure 3 shows AP ₁ And AP _n Only the auxiliary image points AP obtained) ₁ ~ AP _n Auxiliary line ADL is generated by connecting. The number n of auxiliary points is preferably large, and is set to a value that is at least larger than the number of pixels W in the horizontal direction of the first image IM1. In this case, the auxiliary line ADL can be displayed in units of one pixel in the horizontal direction, and a highly accurate and smooth auxiliary line ADL can be obtained.
[0044]
Auxiliary point p ₁ ~ P _n As the predetermined range in which is extracted, a range from 1 m to 50 m from the first shooting position M1 is preferable. The lower limit value 1 m and the upper limit value 50 m are numerical values obtained empirically because the imaging range is limited to about 1 m or more and 50 m or less in order to perform image point designation with high accuracy, and are not particularly limited. . The predetermined range may be changed as appropriate using the menu MM on the screen shown in FIG. In this embodiment, the number W of pixels in the horizontal direction is 1000, and 1000 auxiliary points p are obtained by equally dividing the range from 1 m to 50 m into 1000. _n (1 ≦ n ≦ 1000) is defined.
[0045]
Auxiliary point p _n Reference coordinates (px _n , Py _n , Pz _n ) Is calculated by equation (3). In equation (3), t is a parameter indicating distance, and R is a direction vector (r _X , R _Y , R _Z ). This direction vector R is a unit vector from the first camera position M1.
[0046]
[Equation 3]

[0047]
Auxiliary point p _n Screen coordinates on the second screen S2 (X _n2 , Y _n2 ) Is obtained by the above-described equations (1) and (2). Here, n (1 ≦ n ≦ 1000) and 2 are substituted for parameters i and j, respectively, and qx _n , Qy _n And qz _n Each has an auxiliary point p _n Reference coordinates px _n , Py _n And pz _n Is substituted.
[0048]
Auxiliary point p _n Screen coordinates (X _n2 , Y _n2 ) Is converted to a value that takes distortion into consideration using the Karara distortion correction model shown in Equation (4). The converted point is the auxiliary image point AP. _n The converted two-dimensional coordinates are (DX _n2 , DY _n2 ). In the formula (4), D ₂ , D _Four , D ₆ , P ₁ , P ₂ , Xc and Yc are parameters indicating distortion, and in particular, Xc and Yc are optical axes CL. ₂ Of X ″ direction and Y ″ direction with respect to the center of the second image IM2.
[0049]

[0050]
Auxiliary image point AP _n The two-dimensional coordinates of (DX _n2 , DY _n2 ) Is a value in the second screen coordinate system having the imaging center C2 as the origin, and further, pixel coordinates (AX) in the second image IM2 according to the equation (5). _n2 , AY _n2 ). In the equation (5), Px and Py are distances between pixels in the horizontal direction and the vertical direction of the image sensor, respectively, and W and H are the numbers of pixels in the horizontal direction and the vertical direction, respectively.
[0051]

[0052]
And 1000 auxiliary image points AP _n Is the calculated pixel coordinates (AX _n2 , AY _n2 ) On the second image IM2, for example, as a red dot, and the auxiliary image point AP _n Auxiliary line ADL is obtained by continuously connecting.
[0053]
With reference to FIGS. 4 to 6, the association processing program executed in the arithmetic processing unit 36 of the CPU 10 will be described.
[0054]
FIG. 4 is a flowchart showing the main routine of the association processing program. This main routine is started when the association processing program is started. First, in step S102, image data of the first image IM1 and the second image IM2 is read from the IC memory card 40. At this time, the photographing conditions at the time of photographing, the distortion aberration data of the photographing optical system, and the data of the dimension shape and arrangement of the target 50 are stored in the work memory 44.
[0055]
Subsequently, step S104 is executed, and the camera parameters (ΔX ₁ , ΔY ₁ , ΔZ ₁ , Δα ₁ , Δβ ₁ , Δγ ₁ ) And camera parameters (ΔX) of the second image IM2 ₂ , ΔY ₂ , ΔZ ₂ , Δα ₂ , Δβ ₂ , Δγ ₂ ) Is calculated. These camera parameters are stored in a predetermined area of the work memory 44. Next, step S106 is executed, and the first image IM1 and the second image IM2 are displayed in the image display area IMA (FIG. 3) set on the screen of the monitor device 14.
[0056]
Here, the value of the parameter i indicating the number of survey points is initialized to 0 in step S108, and the survey points q in the first image IM1 and the second image IM2 in step S110. _i It is determined whether or not to continue the association of the image points. When continuing, step S112 and subsequent steps are executed, and when not continuing, step S122 is executed.
[0057]
In step S112, the parameter i is counted up. Subsequently, step S114 is executed, here the survey point q in the first image IM1. _{(i = 1)} Image point, that is, the first image point AQ ₁₁ Is manually specified and its pixel coordinates (AX _11, AY ₁₁ ) Is acquired.
[0058]
Then, the auxiliary line drawing subroutine of step S200 is executed, and the auxiliary line ADL is displayed on the second image IM2. Subsequently, in step S116, the survey point q in the second image IM2 while referring to the auxiliary line ADL. _{(i = 1)} Image point, that is, the second image point AQ ₁₂ Is manually specified, so that its pixel coordinates (AX _12, AY ₁₂ ) Is acquired.
[0059]
Subsequently, Step S118 is executed, and the first image point AQ designated in Step S114 is executed. ₁₁ And the second image point AQ designated in step S116. ₁₂ And survey point q _{(i = 1)} As the image points of the pixel coordinates (AX _11, AY ₁₁ ) And (AX _12, AY ₁₂ ) Is stored in the work memory 44.
[0060]
In step S120, the first image point AQ ₁₁ And the second image point AQ ₁₂ Survey point q based on pixel coordinates and camera parameters _{(i = 1)} Reference coordinates (X ₁ , Y ₁ , Z ₁ ) Is calculated and displayed as dots in the drawing area DRA (FIG. 3). The calculation of the reference coordinates is well known and will not be described here. After step S120 is completed, the process returns to step S110 and the next survey point q _{(i = 2)} When the image point designation is performed for steps S112 to S120, the steps are re-executed.
[0061]
If it is determined in step S110 that the image point designation is finished, the data stored in the work memory 44 in step S122, that is, the image data of the first image IM1 and the second image IM2, the camera parameters, the survey points, and the first and second After the data relating to the second image point, the data relating to the survey map, etc. are converted into a file based on a predetermined format and stored in the hard disk 13, the main routine, that is, the association processing program ends.
[0062]
FIG. 5 is a flowchart showing details of the auxiliary line drawing subroutine (step S200) of FIG. First, in step S202, camera parameters of the first image IM1 and the second image IM2 are read from the work memory 44. Next, the direction vector calculation subroutine of step S300 is executed, and the direction vector R (r _X , R _Y , R _Z ) Is calculated.
[0063]
In step S206, the auxiliary point p on the straight line EL defined in step S204. _n Specifically, a numerical value is substituted for the parameter t in the equation (1). In the present embodiment, a numerical value obtained by dividing a range of 1 m to 50 m into 1000 equal parts is substituted for the distance t. That is, 1000 auxiliary points p are obtained in step S206. _n (1 ≦ n ≦ 1000) and its reference coordinates are obtained.
[0064]
Next, step S208 is executed, and the auxiliary point p _n , And the auxiliary point p based on the camera coordinates of the second image IM2 _n The screen coordinates of the points projected onto the second screen S2 are calculated, and the screen coordinates of the 1000 projected points are each subjected to distortion correction. As a result, the auxiliary point p _n Auxiliary image point AP projected onto image IM2 _n High-precision pixel coordinates can be obtained.
[0065]
In step S210, 1000 auxiliary image points AP are obtained. _n The auxiliary line ADL is continuously drawn and displayed superimposed on the second image IM2 on the screen of the monitor device 14, and the auxiliary line drawing subroutine ends.
[0066]
FIG. 6 is a flowchart showing details of the direction vector calculation subroutine (step S300) of FIG. Here, a point RB that is a distance 1 from the first camera position M1, which is the tip of the direction vector R, is projected onto the first image IM1, and the designated first image point AQ. _i1 R so that the distance to can be minimized _X , R _Y And r _Z The value of is obtained.
[0067]
First, in step S302, r of the direction vector R _X , R _Y , And r _Z Is given an appropriate initial value. Next, in step S304, the camera coordinates of the point RB are calculated by the equation (1). Subsequently, the screen coordinates of the point RB, the two-dimensional coordinates in consideration of the distortion aberration, and the pixel coordinates are calculated in order from the expressions (2), (4), and (5) (steps S306, 308, and 310). Then, step S312 is executed, and the pixel coordinates (AX in the first image IM1 of the point RB obtained in step S310 are obtained. _RB , AY _RB ) And the designated first image point AQ _i1 Pixel coordinates (AX _i1 , AY _i1 ) Is calculated by the equation (6).
[0068]
[Formula 6]

[0069]
In step S314, it is determined whether or not the error Φ is the minimum value. If it is determined that the error Φ is not the minimum value, r is determined. _X , R _Y And r _Z Is changed to a more approximate value, and the process returns to step S304. That is, r until the error Φ converges to the minimum value. _X , R _Y And r _Z The values of are sequentially changed and the error Φ is repeatedly calculated. If it is determined that the error Φ is the minimum value, the current r is determined in step S316. _X , R _Y And r _Z Is registered as the direction vector R, and the direction vector calculation subroutine ends.
[0070]
【The invention's effect】
According to the present invention, image points can be associated with high accuracy on a plurality of images.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an image point matching apparatus according to the present invention.
FIG. 2 is a diagram conceptually showing a display screen of the monitor device shown in FIG.
FIG. 3 is a diagram conceptually showing a relationship between a survey point, a first image point, and a second image point.
FIG. 4 is a flowchart showing a main routine of an association processing program.
FIG. 5 is a flowchart showing details of the auxiliary line drawing subroutine of FIG. 4;
6 is a flowchart showing details of a direction vector calculation subroutine of FIG. 5;
[Explanation of symbols]
10 CPU
14 Monitor device
16 mice
60 CD-ROM
IM1 first image
IM2 second image
q ₁ , Q ₂ , Q _Three , Q _Four Survey point
AQ ₁₁ , AQ _{twenty one} , AQ ₃₁ , AQ ₄₁ First image point
AQ ₁₂ , AQ _{twenty two} , AQ ₃₂ , AQ ₄₂ Second image point
p ₁ ~ P _n Auxiliary point
AP ₁ ~ AP _n Auxiliary image point
ADL auxiliary line

Claims

Image display means for displaying on a monitor screen a first image and a second image obtained by imaging the same subject by a photographing optical system having distortion aberration;
First designating means for designating a first image point on which a predetermined survey point on the subject is projected in the first image on the monitor screen;
Auxiliary points defining a plurality of auxiliary points positioned on a predetermined straight line passing through the obtained first corrected image point and the survey point by performing correction to eliminate the influence of the distortion aberration on the first image point Definition means;
An auxiliary image point defining means for defining an auxiliary image point obtained by projecting the auxiliary point into the second image in consideration of the distortion,
An auxiliary image point display means for displaying the auxiliary image point on the monitor screen so as to overlap the second image;
Second designating means for designating a second image point of the survey point projected on the second image based on the auxiliary image point displayed on the monitor screen;
An image point associating apparatus comprising: an association means for associating the first image point and the second image point in order to identify a relative position of the survey point.

The auxiliary point defining means is
A predetermined point that is a predetermined distance away from the first imaging position, which is the entrance pupil position of the imaging optical system when the first image is obtained, defines a projection point that is projected on the imaging plane without distortion. Projection point defining means for
Distortion correction for obtaining two-dimensional coordinates taking into account the distortion of the projection point by performing coordinate transformation on the two-dimensional coordinates of the projection point obtained by the projection point definition means based on Karara's formula Means,
The relative position of the predetermined point is specified so that the two-dimensional coordinate taking the distortion aberration of the projection point into agreement with the two-dimensional coordinate of the first image point, and the projection point of the specified predetermined point is the first projection point. First correction image point specifying means to be determined as a correction image point;
Straight line defining means for defining a straight line passing through the first photographing position and the first correction image point as the predetermined straight line;
Auxiliary points for extracting a plurality of auxiliary points that are on the predetermined straight line defined by the straight line defining means and that are within a predetermined range that can include the surveying points, and calculating three-dimensional coordinates of these auxiliary points, respectively. The image point matching apparatus according to claim 1, further comprising point extraction means.

The image point association apparatus according to claim 2, wherein the predetermined range is a range of 1 meter to 50 meters from the first photographing position.

The auxiliary image point defining means comprises:
Based on the three-dimensional coordinates of the auxiliary point defined by the auxiliary point defining means and the three-dimensional coordinates of the second photographing position that is the entrance pupil position of the photographing optical system when the second image is obtained. Two-dimensional coordinate calculation means for calculating two-dimensional coordinates when the auxiliary point is projected onto an imaging surface having no distortion,
A two-dimensional coordinate of the auxiliary image point is calculated by performing a coordinate transformation taking the distortion into consideration on the two-dimensional coordinate of the auxiliary point obtained by the two-dimensional coordinate calculating means based on Karara's equation. The image point associating apparatus according to claim 1, further comprising: a distortion aberration correcting unit configured to perform correction.

Based on the dimensional shape of the target at a predetermined position imprinted in the first and second images and the dimensional shape of the target image in the first and second images, the first and second images are 2. The image point correspondence unit according to claim 1, further comprising photographing position calculation means for calculating three-dimensional coordinates of the first and second photographing positions, which are the entrance pupil positions of the photographing optical system when obtained. Attachment device.

6. The image point matching apparatus according to claim 5, wherein the photographing position calculation unit corrects the target image in the first and second images based on the distortion aberration.

The image point associating apparatus according to claim 1, wherein the auxiliary image point is substantially displayed as a line on the monitor screen.

The photographing optical system is provided in an electronic still camera having an image sensor in which a predetermined number of pixels are arranged in a grid pattern, and the number of auxiliary points is larger than the number of pixels in the horizontal direction of the image sensor. The image point matching apparatus according to claim 1.

2. The image point matching apparatus according to claim 1, wherein the number of the auxiliary points is at least 1000.

A first step of obtaining the first image and the second image by imaging the same subject from the first and second photographing positions with a camera including a photographing optical system having a predetermined distortion;
A second step of displaying the first and second images on a monitor screen;
A third step of designating a first image point on which a predetermined survey point on the subject is projected in the first image displayed on the monitor screen;
The first image point designated in the third step is corrected based on the distortion aberration, and a plurality of auxiliary points on a predetermined straight line passing through the surveying point are defined based on the obtained first corrected image point. The fourth step;
A fifth step of defining an auxiliary image point obtained by projecting the auxiliary point on the second image in consideration of the distortion,
A sixth step of displaying the auxiliary image point on the monitor screen so as to overlap the second image;
A seventh step of designating a second image point of the survey point projected on the second image based on the auxiliary image point displayed on the monitor screen;
An image point associating method comprising: an eighth step of associating the first image point and the second image point to identify a relative position of the survey point.

An image display routine for displaying on a monitor screen a first image and a second image obtained by imaging the same subject by a photographing optical system having a predetermined distortion;
A first image point on which a predetermined survey point on the subject designated in the first image displayed on the monitor screen is projected is corrected based on the distortion aberration, and the corrected first image point is obtained. An auxiliary point defining routine for defining a plurality of auxiliary points on a predetermined straight line passing through the surveying point based on;
An auxiliary image point definition routine for defining an auxiliary image point obtained by projecting the auxiliary point on the second image in consideration of the distortion,
An auxiliary image point display routine for displaying the auxiliary image point on the monitor screen so as to overlap the second image;
A second image point of the survey point designated based on the auxiliary image point displayed on the monitor screen and projected onto the second image to identify a relative position of the survey point; A recording medium storing an image point association program, comprising: an association routine for associating image points.