JP3898945B2

JP3898945B2 - 写真測量システムと写真測量方法と写真測量プログラムが格納された記録媒体

Info

Publication number: JP3898945B2
Application number: JP2001389456A
Authority: JP
Inventors: 滋若代
Original assignee: ペンタックス株式会社
Priority date: 2001-12-21
Filing date: 2001-12-21
Publication date: 2007-03-28
Anticipated expiration: 2021-12-21
Also published as: JP2003185434A

Description

【０００１】
【発明の属する技術分野】
本発明は写真測量に関し、より詳しくは、異なるカメラ位置で撮影されたペア画像を用いた測量における測量点の対応付けに関する。
【０００２】
【従来の技術】
従来、交通事故調査等の写真測量では、異なる任意の位置で撮影された画像を用いるステレオ写真測量が知られている。ステレオ写真測量では、まず、寸法および形状が既知であり、基準となる点を有するターゲットが測量現場に設置され、異なる位置および異なる方向で測量現場が撮影され、複数のデジタル画像を得る。そして、これら複数のデジタル画像の中から適宜一対のペア画像が選出されモニタに表示される。ペア画像に写し込まれたターゲットの寸法等の情報と、基準点の座標値とに基づいて双方のカメラ位置および光軸の傾き等のカメラパラメータが算出される。さらに、モニタに映し出されたペア画像において、作業者がマウス等を用いて測量の対象となる複数の測量点を指定し、測量点の対応付けを行う。カメラパラメータおよびペア画像において対応付けられた測量点の座標値に基づいて所定の演算処理が実行され、測量点の３次元データが算出される。そして、この３次元データに基づいて測量現場の俯瞰図や斜視図等が作成されモニタに表示される。
【０００３】
【発明が解決しようとする課題】
しかしながら、モニタに映し出されたデジタル画像を目視しながら測量点を対応付けるという作業は、作業者の負担が大きく、その精度は各作業者の熟練度に左右される。また、測量現場の状況によっては撮影される写真が大量になり、選択されるペア画像の数も大量となる場合があり、測量点の対応付けは作業者に多大な労力を強いることとなる。このような種々の要因により、測量点の対応付けは常時正確に行われるとは限らない。測量点の対応付けが不正確な場合、写真測量の演算処理に影響を及ぼし、正確な３次元データが算出されず、俯瞰図等が精度高く作成されないという問題がある。
【０００４】
本願発明は以上の問題を解決するものであり、ペア画像を用いた写真測量システムにおいて、測量点の対応付けを正確に行うことにより精度の高い３次元データを算出することを目的とする。
【０００５】
【課題を解決するための手段】
本発明に係る写真測量システムは、測量現場を第１のカメラ姿勢で撮影した第１の元画像と、第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、測量現場の測量点の３次元データを算出し、測量図を生成する写真測量システムにおいて、測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する手段と、基準面に対して所定の回転量で表現される平行ステレオ姿勢を演算する平行ステレオ姿勢演算手段と、第１の元画像を平行ステレオ姿勢で表現した第１の変換画像に変換する第１の画像変換手段と、第２の元画像を平行ステレオ姿勢に変換し、第１のカメラ姿勢を平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第２の画像変換手段とを備えることを特徴とする。
【０００６】
好ましくは、第１および第２の変換画像のうちの一方の変換画像において、この一方の変換画像に対応する上述の元画像中で特定される測量点に相当する変換画像点を演算する変換画像点演算手段と、第１および第２の変換画像のうちの他方の変換画像において変換画像点に対応する対応点を探索する対応点探索手段と、この他方の変換画像に対応する上述の元画像において対応点に相当する元画像点を演算する元画像点演算手段とを備える。
【０００７】
好ましくは、一方の変換画像の変換画像点と他方の変換画像の対応点に基づいて、測量点の３次元データを演算する測量点演算手段を備える。
【０００８】
好ましくは、第１の画像変換手段は、第１の元画像を構成する画素の並びを２次元的に表現する第１元画像座標の各座標と、第１の変換画像を構成する画素の並びを２次元的に表現する第１変換画像座標の各座標とを対応付ける第１対応座標値演算手段と、第１元画像座標の各座標で特定される画素データを第１変換画像座標の対応する座標で特定される画素データにコピーする第１画素データコピー手段とを有し、第２の画像変換手段は、第２の元画像を構成する画素の並びを２次元的に表現する第２元画像座標の各座標と、第２の変換画像を構成する画素の並びを２次元的に表現する第２変換画像座標の各座標とを対応付ける第２対応座標値演算手段と、第２元画像座標の各座標で特定される画素データを第２変換画像座標の対応する座標で特定される画素データにコピーする第２画素データコピー手段とを有する。
【０００９】
好ましくは、第１対応座標値演算手段は、第１変換画像座標の座標値を、第１のカメラ姿勢を３次元的に表現する第１カメラ座標系を回転成分のみ平行ステレオ姿勢に変換した第１平行ステレオカメラ座標系上に定義される第１変換写真座標の座標値に変換する第１変換画像座標変換手段と、第１変換画像座標変換手段により変換された座標値を第１カメラ座標系上に定義される第１元写真座標の座標値に変換する第１写真座標変換手段と、写真座標変換手段により変換された座標値を第１元画像座標の座標値に変換する第１元画像座標変換手段とを有し、第２対応座標値演算手段は、第２変換画像座標の座標値を、第１変換画像座標変換手段と第１写真座標変換手段により第１変換写真座標の座標値に変換し、さらに、第２対応座標値演算手段において変換された第１変換写真座標の座標値に対応する点の、基準面において相当する点の基準座標系の座標値を演算する基準座標値算出手段と、基準座標値算出手段により演算された座標値を第２カメラ座標系上に定義される第２元写真座標の座標値に変換する第２写真座標変換手段と、第２写真座標変換手段により変換された座標値を第２元画像座標の座標値に変換する第２元画像座標変換手段とを有する。
【００１０】
好ましくは、第１元画像座標により表現される２次元領域を規定する４隅点の座標値を、第１の元写真座標に変換し、次いで第１変換写真座標に変換し、これら４隅点の変換後の座標値と第１元画像座標の座標値に基づいて、第１変換画像座標により表現される２次元領域と前記第１元画像座標により表現される２次元領域との間のシフト量を算出する画像シフト算出手段と、このシフト量に基づいて、第１変換画像座標により表現される２次元領域のサイズを算出する画像サイズ算出手段とを有する。
【００１１】
好ましくは、第１の元画像と第２の元画像には、それぞれ寸法および形状が既知のターゲットが写し込まれており、基準面および基準座標系はこのターゲットにより定義される。
【００１２】
また本発明に係る写真測量方法は、測量現場を第１のカメラ姿勢で撮影した第１の元画像と、第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、測量現場の測量点の３次元データを算出し、測量図を生成する写真測量方法であって、測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する第１ステップと、基準面に対して所定の回転量で表現される平行ステレオ姿勢を演算する第２ステップと、第１の元画像を平行ステレオ姿勢で表現した第１の変換画像に変換する第３ステップと、第２の元画像を平行ステレオ姿勢に変換し、第１のカメラ姿勢を平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第４ステップとを備えることを特徴とする。
【００１３】
また、本発明に係る写真測量プログラムが格納された記録媒体は、測量現場を第１のカメラ姿勢で撮影した第１の元画像と、第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、測量現場の測量点の３次元座標を算出し、測量図を生成する写真測量プログラムであり、測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する基準面設定ルーチンと、基準面に対して所定の回転量で表現される平行ステレオ姿勢を演算する平行ステレオ姿勢演算ルーチンと、第１の元画像を平行ステレオ姿勢で表現した第１の変換画像に変換する第１の画像変換ルーチンと、第２の元画像を平行ステレオ姿勢に変換し、第１のカメラ姿勢を平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第２の画像変換ルーチン手段とを備える写真測量プログラムが格納されていることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、写真測量の測量現場の一例を示す模式図であり、測量対象であるＴ字路および白線等を鉛直上方から見た俯瞰図である。この測量現場は、道路にターゲット２０が載置された状態で、１台のカメラ１０を用いて異なる２つの撮影地点から撮影される。この２つの撮影地点はカメラ位置Ｍ１およびＭ２として定義される。各カメラ位置Ｍ１、Ｍ２はそれぞれカメラ１０の撮影光学系（図示せず）の後側主点位置に一致し、カメラ位置Ｍ１、Ｍ２からそれぞれ延びる一点鎖線は、カメラ１０の撮影光学系の光軸Ｏ１、Ｏ２を示す。
【００１５】
カメラ１０は図示しないＣＣＤ（Charge Coupled Device）を備えるデジタルカメラであり、光学像を輝度信号および色差信号を含むデジタル画素データに光電変換する。このデジタル画素データは所定のフォーマットに従ってメモリカード等の画像記録媒体に格納される。画像記録媒体には、デジタル画素データと共に、撮影条件、撮影日時等の種々のデータが格納される。
【００１６】
図２は、ターゲット２０を拡大して示す斜視図である。ターゲット２０は一端において互いに連結された２本の柱状部材２１、２２を備える。柱状部材２１、２２は長手方向が直交するよう連結される。これら２本の柱状部材２１、２２の表面には黒色の無反射シートが全体的に貼付される。柱状部材２１、２２の端部の上面には、例えば白色反射シートが貼付された点部材である３個の基準点部材２３、２４、２５が設けられる。基準点部材２３〜２５の周囲には、黒色無反射シートが貼付された環状部材２６、２７、２８がそれぞれ設けられる。これにより、基準点部材２３〜２５は、撮影画像中において強調され、画像中での識別を容易にする。
【００１７】
基準点部材２３と基準点部材２４の間には２個の補助点部材３３、３４が設けられ、基準点部材２４と基準点部材２５の間には、補助点部材３５が設けられる。補助点部材３３〜３５は基準点部材２３〜２５と同一形状、同一寸法の部材であり、白色反射シートが貼付される。また、補助点部材３３〜３５の周囲には黒色無反射シートが貼付された環状部材３６、３７、３８がそれぞれ設けられる。
【００１８】
すなわち、柱状部材２１の長手方向には４個の点部材（基準点部材２４、補助点部材３４、補助点部材３３、および基準点部材２３）が等間隔に並んでおり、柱状部材２２の長手方向には３個の点部材（基準点部材２４、補助点部材３５、および基準点部材２５）が等間隔に並んでいる。したがって、ターゲット２０の設置方向を容易に認識できる。尚、補助点部材の数は柱状部材２１に２個、柱状部材２２に１個であるが、これに限定されず、それぞれに１個以上設けられていればよい。
【００１９】
ターゲット２０は道路面上に載置され、基準点部材２３、２４、および２５により定義される平面は道路面に略平行である。柱状部材２１、２２の内部には、それぞれの水平面に対する傾斜角、すなわち基準点部材２３および２４を結ぶ直線周りの回転角、基準点部材２４および２５を結ぶ直線周りの回転角を測定するセンサがそれぞれ設けられる。
【００２０】
基準点部材２３、２４間の距離と、基準点部材２４、２５間の距離は、共に既知の値ＬＴである。したがって、３個の基準点部材２３〜２５を結ぶことにより形成される、基準点部材２４を角部（９０度）とする直角二等辺三角形の二等辺三角形の実寸データも既知である。この実寸データは後述する写真測量画像処理装置に予め与えられており、所定の３次元座標系におけるカメラ位置Ｍ１、Ｍ２の座標を算出する際に用いられる。また、カメラ位置Ｍ１、Ｍ２で写された画像中のターゲット２０の向きおよび寸法から、それぞれのカメラ位置Ｍ１、Ｍ２とターゲット２０との距離が算出可能となる。尚、予めカメラ間距離がわかっているステレオカメラ等で測量現場を撮影した場合は、ターゲット２０を用いなくてもカメラ位置を算出することは可能である。
【００２１】
図３および図４は、図１の測量現場の撮影により得られた２枚の画像を概念的に示す図である。図３はカメラ位置Ｍ１において得られた撮影画像ＩＭＧ１を示し、図４はカメラ位置Ｍ２において得られた撮影画像ＩＭＧ２を示す。
【００２２】
カメラ位置Ｍ１、Ｍ２で得られた撮影画像ＩＭＧ１、ＩＭＧ２には、道路上の所定の位置におかれたターゲット２０が写し込まれている。撮影画像ＩＭＧ１およびＩＭＧ２は、同一の測量対象および同一位置のターゲット２０を含む一対のペア画像として定義される。尚、測量対象を撮影する画像は３枚以上でもよく、その中から適宜一対のペア画像が選出される。
【００２３】
図５は、本実施形態が適用される写真測量画像処理装置のシステム構成を示すブロック図である。写真測量画像処理装置は、表示装置５０、キーボードおよびマウス等の入力装置５２、およびＣＰＵ５４を有し、これらは直接または間接的にバス５６に接続されている。ＣＰＵ５４には、入力状態管理部６０、表示状態管理部６２、演算処理部６４、およびデータ管理部６６が設けられ、ここで必要な管理、演算、処理が実行される。
【００２４】
入力装置５２には、バス５６に接続された入力装置制御装置５８が接続され、これによって入力装置５２からの入力がバス５６に転送され、また入力装置５２の入力モード等が設定される。画像記憶媒体７０はメモリカードリーダ等の記憶媒体制御装置７２に挿入され、これによって画像記憶媒体７０に格納されたデジタル画素データ等が適宜読み出される。
【００２５】
さらにバス５６には作業メモリ７４および表示メモリ７６が接続される。作業メモリ７４はＣＰＵ５４の演算、処理におけるキャッシュメモリ等に使用され、後述するカメラパラメータ算出処理に用いられる種々のデータはここに格納される。表示メモリ７６には表示装置５０で表示すべき内容が保持される。表示装置５０には、バス５６に接続された表示装置制御装置７８が接続されている。表示装置制御装置７８において、表示メモリ７６内のデジタルデータが表示装置５０のためのアナログＲＧＢ信号に変換される。
【００２６】
ＣＰＵ５４の入力状態管理部６０は入力装置５２の設定を管理し、また入力された情報、例えばマウスにより画面上を移動するマウスポインタの座標、キーボードから入力された文字等を所定のデジタルデータに変換する。表示状態管理部６２は表示装置５０に表示すべき内容を管理し、表示に関する設定の変更等があったときには表示内容を変更する。演算処理部６４は後述するカメラパラメータの算出処理、および測量点の測量処理等に使用される。データ管理部６６は画像記憶媒体７０から読み込んだ画像等のデータを管理し、またこれに基づいて作成された種々の座標データ、作図された測量図のデータ等を管理する。
【００２７】
図６は、本実施形態の写真測量画像処理装置における写真測量の処理手順の全体的な骨格を示すフローチャートである。
ステップＳ１００において、複数の画像の中から一対のペア画像が操作者により選択される。上述のカメラ位置M１、M２で撮影された２つの撮影画像ＩＭＧ１、ＩＭＧ２がペア画像として選択されたものとして以降の説明を行う。ＩＭＧ１、ＩＭＧ２が選択されると、画像記録媒体７０に格納されているデジタル画素データの中から対応するデジタル画素データが作業メモリ７４にロードされる。デジタル画素データは、撮影画像の画素の並びを２次元的に表現する座標に各画素のデジタル画素データを関連付けた形式でロードされる。本明細書では、カメラ位置Ｍ１およびＭ２で撮影された画像のデジタル画素データをロードする２次元座標をそれぞれ第１元画像座標、第２元画像座標と呼ぶ。具体的には、第１および第２元画像座標の座標値を添字とする２次元配列の各要素にデジタル画素データがロードされる。
【００２８】
ペア画像のデジタル画素データがロードされると、第１および第２元画像座標に基づいて、撮影画像がＣＣＤの撮影有効領域に対応して矩形でモニタ等の表示装置５０に表示される。すなわち、図３、図４の撮影画像ＩＭＧ１、ＩＭＧ２と実質的に同様の画像が表示される。尚、第１および第２元画像座標は、表示される矩形の領域の４隅点のうち左上の点を原点とし、右方向へ進むにつれ横方向の座標値が増加し、下方向へ進むにつれ縦方向の座標値が増加するよう構成される。
【００２９】
図３に示すように、ターゲット２０の３個の基準点部材２３、２４、２５（基準点）の第１元画像座標は、ａｉ（ｘａｉ，ｙａｉ）（ｉ＝１〜３）で表される。尚、図示しないが、撮影画像ＩＭＧ２においても基準点は第２元画像座標で同様に表現される。
【００３０】
次いでステップＳ２００において、カメラ位置M１、M２のカメラパラメータの算出が行われる。カメラパラメータとは、それぞれのカメラ位置の３次元座標および光軸の傾きである。ここで、カメラ位置Ｍ１の算出について、図７および図８を用いながら説明する。図７は、カメラ位置Ｍ１と、カメラ１０の撮影光学系の結像面であるスクリーンＳ（カメラ１０のＣＣＤの撮像面に相当）と、ターゲット２０との間の関係を相対的に示す概念図である。尚、説明を簡略化するため、図７においてスクリーンＳはカメラ位置Ｍ１の前方側（物体側）に示されており、実質的に画像ＩＭＧ１に一致する。
【００３１】
ターゲット２０がカメラ１０のスクリーンＳ上に結像した状態においては、光軸Ｏ１はカメラ位置Ｍ１およびスクリーンＳの撮影中心ＣＳを通り、スクリーンＳに投影された基準点２３、２４、２５の像点ｐ１、ｐ２、ｐ３は、カメラ位置Ｍ１と各基準点２３、２４、２５とを結ぶ直線上にそれぞれ位置する。
【００３２】
スクリーンＳに基づいて、第１写真座標系が定義される。第１写真座標系の原点は撮影中心ＣＳであり、Ｘｐ軸、Ｙｐ軸はそれぞれ図３のＩＭＧ１の横方向、縦方向に一致する。Ｚ軸はスクリーンＳに直交する方向に一致するが、第１写真座標系においてＺ成分は撮影光学系の焦点距離ｆに固定される。すなわち、第１写真座標は、カメラ１０のＣＣＤの撮像有効領域が形成された平面をＸＹ平面とし、Ｚ成分が撮影光学系の焦点距離ｆに定められている３次元座標である。この第１写真座標系における像点ｐ１、ｐ２、ｐ３の第１写真座標は、それぞれｐ１（ｘｐ１，ｙｐ１，ｆ）、ｐ２（ｘｐ２，ｙｐ２，ｆ）、ｐ３（ｘｐ３，ｙｐ３，ｆ）で表現される。
【００３３】
また、図７において、カメラ位置Ｍ１を表現するための３次元直交座標（Ｘｃ，Ｙｃ，Ｚｃ）が示される。この３次元直交座標を本明細書では「元カメラ１座標系」と呼ぶ。元カメラ１座標系の座標原点は、カメラ位置Ｍ１におけるカメラ１０の撮影光学系の後側主点位置に一致し、またそのＺｃ軸はカメラ位置Ｍ１における撮影光学系の光軸Ｏ１に一致する。また、Ｘｃ軸およびＹｃ軸は第１写真座標系のＸｐ軸、Ｙｐ軸に平行である。すなわち、上述の第１写真座標とは、元カメラ１座標系においてＺ成分が撮影光学系の焦点距離ｆで固定されている座標である。
【００３４】
元カメラ１座標系における基準点２３、２４、２５の３次元座標をＰｃｉ（Ｐｃｘｉ，Ｐｃｙｉ，Ｐｃｚｉ）（ただし、ｉ＝１〜３）と定義すると、基準点の第１写真座標ｐｉのＸ座標値（ｘｐｉ）、Ｙ座標値（ｙｐｉ）と元カメラ１座標Ｐｃｉ（Ｐｃｘｉ，Ｐｃｙｉ，Ｐｃｚｉ）との関係は、式（１）および（２）により示される。式（１）、（２）中のｆは撮影光学系の焦点距離である。
【００３５】
【数１】

【００３６】
ここで、撮影画像に基づいてカメラ位置Ｍ１を特定するために、図８に示す右手系の３次元直交座標系（Ｘｓ，Ｙｓ，Ｚｓ）が適宜設定される。３次元直交座標系（Ｘｓ，Ｙｓ，Ｚｓ）の座標原点はターゲット２０の基準点部材２４に一致させられる。Ｚｓ軸は、基準点部材２４から基準点部材２５へ向かう方向であり、基準点部材２４を通り、Ｚｓ軸に直交し、かつ基準平面にある軸をＸｓ軸とし、基準点部材２４を通り、基準平面に直交する軸、すなわち紙面に直交する軸をＹｓ軸とする。上述のようにターゲット２０の基準点部材２３と基準点部材２４、および基準点部材２４と基準点部材２５との間の距離はＬＴなので、基準点部材２３、２４、および２５の像点（基準点）はそれぞれ座標Ｐｓ１（−ＬＴ，０，０）、Ｐｓ２（０，０，０）、Ｐｓ３（０，０，ＬＴ）で示される（図７参照）。本明細書ではこの３次元直交座標を「ワールド座標系」と呼ぶ。
【００３７】
カメラ位置Ｍ１は、ワールド座標系と元カメラ１座標系の相対的な関係で示される。すなわち、ワールド座標系の原点からの元カメラ１座標系の原点の移動距離と、Ｘｓ軸のＸｃ軸回りの回転角と、Ｙｓ軸のＹｃ軸回りの回転角、およびＺｓ軸のＺｃ軸回りの回転角で、カメラ位置Ｍ１は定義される。カメラ位置M２についても同様にワールド座標系との相対的な関係で示される。
【００３８】
ワールド座標系における基準点の座標値Ｐｓｉ（Ｐｓｘｉ，Ｐｓｙｉ，Ｐｓｚｉ）（ｉ＝１〜３）と、元カメラ１座標系における基準点Ｐｉの座標値Ｐｃｉ（Ｐｃｘｉ，Ｐｃｙｉ，Ｐｃｚｉ）（ｉ＝１〜３）との関係は式（３）で示される。
【００３９】
【数２】

【００４０】
式（３）において、αはＸｓ軸のＸｃ軸回りの回転角、βはＹｓ軸のＹｃ軸回りの回転角、γはＺｓ軸のＺｃ軸回りの回転角であり、Ｒはα、β、γの回転行列、ΔＫ１（ΔＸ，ΔＹ，ΔＺ）はワールド座標から元カメラ１座標へのベクトル（原点移動量）である。
【００４１】
上述のように、ワールド座標系における基準点２３、２４、２５のワールド座標は、それぞれＰｓ１（−ＬＴ，０，０）、Ｐｓ２（０，０，０）、Ｐｓ３（０，０，ＬＴ）に決定されている。これらのワールド座標から上述の式（１）〜（３）により各基準点の第１写真座標ｐｉ（ｘｐｉ，ｙｐｉ）（ｉ＝１〜３）が演算される。このとき、カメラパラメータ（ΔＸ，ΔＹ，ΔＺ，α，β，γ）には適当な初期値が与えられる。
【００４２】
一方、画像記憶媒体７０から撮影画像ＩＭＧ１のデジタル画素データがロードされると、種々の画像処理が施され、基準点２３〜２５が自動抽出され、各基準点の第１元画像座標ａｉ（ｘａｉ，ｙａｉ）（ｉ＝１〜３）が算出される。第１元画像座標ａｉは式（４）により第１写真座標ｂｉ（ｘｂｉ，ｙｂｉ，ｚｂｉ）（ｉ＝１〜３）に変換される。
【００４３】
【数３】

【００４４】
式（４）中、行列Ｍ_DP__Aは第１元画像座標を第１写真座標に変換する変換行列である。上述のように第１元画像座標は２次元座標であり第１写真座標は３次元座標である。したがって、式（４）において、第１元画像座標にはＺ成分として「１」が設定された状態で演算される。尚、式（４）中、右上の“Ｔ”は、転置行列であることを意味する。
【００４５】
スクリーンＳは実質的に画像ＩＭＧ１に一致するものとし、各基準点に関して、ＩＭＧ１の第１元画像座標から変換されて算出された第１写真座標ｂｉと、ワールド座標値から変換されて算出された第１写真座標ｐｉとの差、例えば式（５）に示されるΦが最小となるカメラパラメータが、逐次近似解法を用いて算出される。尚、逐次近似解法による演算は公知であるので説明は省略する。
【００４６】
【数４】

【００４７】
カメラ位置Ｍ２についても、カメラ位置Ｍ２を表現するための３次元直交座標である元カメラ２座標系、カメラ位置Ｍ２における第２写真座標が設定される。第２元画像座標と第２写真座標の相対的な関係は、上述の第１元画像座標と第１写真座標と同一である。カメラ位置M２のカメラパラメータは、カメラ位置M１の場合と同様の手順により算出される。すなわち、各基準点に関し、ＩＭＧ２の第２元画像座標から変換されて算出される第２写真座標と、ワールド座標値から変換されて算出される第２写真座標との差分に基づいて、カメラ位置M２のカメラパラメータが算出される。
【００４８】
再び図６を参照すると、ステップＳ２００でカメラ位置Ｍ１、Ｍ２のカメラパラメータが算出されたら、次いでステップＳ３００へ進み、基準面のデータがロードされる。基準面とは、測量対象である平面に近似した面である。本実施形態において、上述の形状および寸法が既知のターゲット２０が測量対象である道路面に設置されている。したがって、ターゲット２０の基準点部材２３〜２５により規定される平面から、ターゲット２０の高さ成分を引いた面が基準面として設定される。換言すれば、基準面とは測量対象が存在する面である。
【００４９】
次いで、ステップＳ４００へ進み、変換画像生成ルーチンが実行される。変換画像生成とは、カメラ位置Ｍ１およびＭ２で撮影された画像データから、それぞれ同じカメラ姿勢に変換させた画像データを生成することである。換言すれば、元カメラ１座標系と元カメラ２座標系を、対応する座標軸が平行となるようそれぞれ回転変換させ、回転変換された座標系に画像データを座標変換させることである。本明細書では、このような処理を平行ステレオ化するという。具体的には、カメラ位置Ｍ１のレンズ中心Ｃ１からカメラ位置Ｍ２のレンズ中心Ｃ２へ向かうベクトルに元カメラ１座標系および元カメラ２座標系のＸｃ軸を一致させるよう、座標変換する。平行ステレオ化されたカメラ姿勢はワールド座標系に対する姿勢（各軸回りの回転角度）として表現される。
【００５０】
図９はステップＳ４００の変換画像生成ルーチンの処理手順を示すフローチャートである。ここで、図１０を参照して、３次元座標系の傾きの表現について説明する。一般的に、基準となる３次元座標系に対する任意の３次元座標系の傾きは、基準となる３次元座標系を第１軸の正方向に対して右回りに回転させ、次に第２軸の正方向に対して右回りに回転させ、最後に第３軸の正方向に対して右回りに回転させることにより再現される。
【００５１】
本実施形態では、元カメラ１座標系、元カメラ２座標系を基準となる座標系とし、Ｙｃ軸を第１軸、Ｚｃ軸を第２軸、Ｘｃ軸を第３軸として、ワールド座標系の元カメラ１および元カメラ２座標系に対する傾きを演算し、その逆回転変換を行うことにより各座標系を表現する。各軸回りの逆回転変換は以下の回転行列（６）〜（８）により定義される。αはワールド座標系のＸｓ軸の元カメラ１座標系（元カメラ２座標系）のＸｃ軸に対する回転角度、βはワールド座標系のＹｓ軸の元カメラ１座標系（元カメラ２座標系）のＹｃ軸に対する回転角度、γはワールド座標系のＺｓ軸の元カメラ１座標系（元カメラ２座標系）のＺｃ軸に対する回転角度である。
【００５２】
【数５】

【００５３】
変換画像生成ルーチンでは、まず、カメラ位置Ｍ１の元カメラ１座標系とカメラ位置Ｍ２の元カメラ２座標系を平行ステレオ化させる。上述のように、本実施形態では、Ｙ軸を第１軸、Ｚ軸を第２軸、Ｘ軸を第３軸として回転成分を表現する。したがって、平行ステレオ化されたカメラ姿勢（平行ステレオカメラ姿勢）は、行列（６）〜（８）に基づいて、以下の式（９）で表される。式（９）で表現されているのはワールド座標に対する傾き成分のみであり、各座標系間の移動成分は表現していない。
【００５４】
【数６】

【００５５】
図９のステップＳ４０１〜Ｓ４１１までの処理は、平行ステレオ化されたカメラ姿勢を演算する処理である。ステップＳ４０１で、図１０に示すレンズ中心Ｃ１からレンズ中心Ｃ２への移動ベクトル、すなわち、元カメラ１座標系の原点から元カメラ２座標系の原点への移動ベクトルＴ₀を算出する。移動ベクトルＴ₀は、ワールド座標系の原点Ｏからレンズ中心Ｃ２へのベクトルＯＣ２と、原点Ｏからレンズ中心Ｃ１へのベクトルＯＣ１との差分を求めることにより算出される。
【００５６】
次いで、ステップＳ４０３において、ワールド座標系のＹｓ軸周りの回転角βを算出する。図１１は、ワールド座標系のＸｓ軸とＺｓ軸で定義されるＸＺ平面を示しており、Ｙｓ軸は図１１の紙面に直交する方向に沿っている。移動ベクトルＴ０はＸＺ平面に射影されて示される。ワールド座標系のＹｓ軸周りの回転角βは以下の式（１０）により算出される。
【００５７】
【数７】

【００５８】
次いで、ステップＳ４０５において、ワールド座標系をＹｓ軸周りに回転角β分回転させることにより移動ベクトルＴ₀が回転変換された移動ベクトルＴ₁を以下の式（１１）により算出する。
【００５９】
【数８】

【００６０】
次に、ステップＳ４０７において、ワールド座標系のＺｓ軸周りの回転角γを算出する。図１２は、ワールド座標系のＸｓ軸とＹｓ軸で定義されるＸＹ平面を示しており、Ｚｓ軸は図１２の紙面に直交する方向に沿っている。移動ベクトルＴ１はＸＹ平面に射影されて示される。ワールド座標系のＺｓ軸周りの回転角γは以下の（１２）式により算出される。
【００６１】
【数９】

【００６２】
最後に、ステップＳ４０９において、Ｘｓ軸周りの回転角αを算出する。既に、回転角β、γが定まっているため、ワールド座標系のＸｓ軸はベクトルＴ₀に一致している。したがって、Ｘｓ軸周りの回転角αには自由度が残される。本ルーチンでは、平行ステレオ化されたカメラ姿勢のカメラ座標系のＺｃ軸と、元カメラ１座標系のＺｃ軸の成す角度が最小となる角度を回転角αとする。平行ステレオのカメラ姿勢のカメラ座標系のＺｃ軸上のベクトルｎ_Pは式（１３）で表され、変換前のカメラ座標系のＺｃ軸上のベクトルｎ₁は式（１４）で表される。
【００６３】
【数１０】

【００６４】
ｎ_Pとｎ₁の成す角度θは式（１５）で表される。式（１５）において角度θが最小となるαを算出する。
【００６５】
【数１１】

【００６６】
次いで、ステップＳ４１１へ進み、上述の回転行列（６）（７）（８）に回転角β、γ、αの値を代入し、式（９）より、平行ステレオカメラ姿勢のワールド座標系に対する回転成分Ｒ_Pを算出する。
【００６７】
次に、ステップＳ４１３へ進み、元カメラ１座標系および元カメラ２座標系の姿勢を平行ステレオカメラ姿勢に一致させるための回転変換成分Ｒ_r1、Ｒ_r2を算出する。元カメラ１座標系のワールド座標系に対する姿勢をＲ₁、元カメラ２座標系のワールド座標系に対する姿勢をＲ₂とすると、平行ステレオカメラ姿勢は以下の式（１６）、（１７）で表される。したがって、Ｒ_r1、Ｒ_r2は式（１８）、（１９）により算出される。
【００６８】
【数１２】

【００６９】
次いで、ステップＳ４２０へ進み、画像サイズ算出ルーチンが実行される。
ここで図１３を用いて画像サイズの算出の基本的な考え方について説明する。図１３中、画像Ｑ１は実線の矩形で示される。画像Ｑ１を中心Ｃｑを中心として反時計回りに所定の角度で回転させた回転画像Ｑ２は破線の矩形で示される。また、画像Ｑ１、回転画像Ｑ２の領域を規定する４隅点のうち左上の点をそれぞれの２次元座標の原点ＯＱ１、ＯＱ２とする。
【００７０】
回転画像Ｑ２を画像Ｑ１の領域で表現しようとすると、斜線でハッチングした領域は表現されず欠落してしまう。したがって、ハッチング領域も表現できるよう、画像領域を１点鎖線で示される領域Ｑ３に変更する必要があり、原点も横方向および縦方向にそれぞれ所定量シフトしなければならない。画像サイズ算出ルーチンでは、このシフト量、画像サイズが算出される。
【００７１】
図１４は、画像サイズ算出ルーチンの処理手順を示すフローチャートである。尚、以降の説明において用いられる撮影画像は、上述のように図３および図４に示すカメラ位置Ｍ１、Ｍ２で撮影されたデジタル画像であり、それぞれ第１元画像座標、第２元画像座標により表現される。矩形である撮影画像の領域を規定する４隅点のうち左上の点を各元画像座標の原点とする。また、カメラ位置Ｍ１、Ｍ２で撮影された画像を平行ステレオ化した画像をそれぞれ変換画像１、変換画像２と呼ぶ。変換画像１および変換画像２を構成する画素は、第１および第２元画像座標と同様の画像の画素の並びを２次元的に表現する座標である、第１変換画像座標、第２変換画像座標でそれぞれ表現される。
【００７２】
ステップＳ４２１において、撮影画像の４隅点の画素全てについて、ステップＳ４２３〜Ｓ４２９までの処理が実行されたかチェックされる。未処理の隅点がある場合（Ｓ４２１：ＮＯ）、ステップＳ４２３へ進む。
【００７３】
ステップＳ４２３では、隅点の第１元画像座標に撮影光学系の歪みに応じた補正処理が施され、ディストーション補正座標が算出される。
【００７４】
ステップＳ４２５では、補正された隅点の第１元画像座標が第１写真座標に変換される。尚、２次元座標である第１元画像座標を３次元座標である第１写真座標に変換するため、便宜上、隅点の第１元画像座標にＺ成分として「１」を設定した上で変換する。ここで、撮影画像の横方向（Ｘ方向）および縦方向（Ｙ方向）の画素数をそれぞれＲＸ、ＲＹとすると、４つの隅点、すなわち、原点である左上隅点（Ｐｉｍｇ１）、左下隅点（Ｐｉｍｇ２）、右上隅点（Ｐｉｍｇ３）、右下隅点（Ｐｉｍｇ４）の第１元画像座標は以下の式（２０）で表される。尚、式（２０）中の各行列の右上の”Ｔ”は、転置行列であることを意味する。
【００７５】
【数１３】

【００７６】
また、４つの隅点の第１写真座標Ｐａｉ（ｉ＝１〜４）は式（２１）で表現される。式（２１）中、行列Ｍ_DP__Aは上述のように第１元画像座標を第１写真座標へ変換する変換行列である（式（４）参照）。
【００７７】
【数１４】

【００７８】
ステップＳ４２７では、ステップＳ４２５で算出された第１写真座標Ｐａｉ（ｉ＝１〜４）が第１変換写真座標Ｐｒｉ（ｉ＝１〜４）に変換される。第１変換写真座標とは、第１写真座標を平行ステレオ化した座標であり、第１写真座標の第１変換写真座標への変換は、上述の回転変換成分Ｒ_r1を用いて以下の式（２２）により行われる。
【００７９】
【数１５】

【００８０】
ステップＳ４２９では、ステップＳ４２７で変換された隅点の第１変換写真座標のＺ軸成分が焦点距離ｆとなるよう、隅点の第１変換写真座標を正規化する。
【００８１】
４つの隅点のそれぞれについて、以上のステップＳ４２３〜Ｓ４２９までの処理が行われたら（Ｓ４２１：ＹＥＳ）、ステップＳ４３１へ進む。ステップＳ４３１では、４つの隅点の正規化された第１変換写真座標のうち、Ｘ座標値の最小値をＸｍｉｎ、最大値をＸｍａｘ、Ｙ座標値の最小値をＹｍｉｎ、最大値をＹｍａｘにそれぞれ格納する。
【００８２】
次いで、ステップＳ４３３へ進み、第１変換画像座標の原点から第１元画像座標の原点へのシフト量Ｘｓｈｉｆｔ、Ｙｓｈｉｆｔが式（２３）により算出される。
【００８３】
【数１６】

【００８４】
式（２３）中、第１変換写真座標の座標値であるＸｍａｘ、Ｘｍｉｎ、及びＹｍａｘ、Ｙｍｉｎで表現される分子をそれぞれＣＣＤのＸ方向の画素ピッチ（ＰＸ）およびＹ方向の画素ピッチ（ＰＹ）で除することにより、第１変換画像座標の原点から第１元画像座標の原点へのシフト量が画素単位で算出される。
【００８５】
次いで、ステップＳ４３５へ進み、シフト量に基づいて式（２４）によりＸ方向の画像サイズＸｓｉｚｅおよびＹ方向の画像サイズＹｓｉｚｅを算出する。
【００８６】
【数１７】

【００８７】
画像サイズが算出されたら本ルーチンは終了し、図９のステップＳ４２０へ戻り、次いでステップＳ４４０へ進む。ステップＳ４４０およびＳ４７０の処理について、図１５に示す図を参照しながら説明する。図１５は、ワールド座標系、元カメラ１座標系、元カメラ２座標系、平行ステレオカメラ１座標系（元カメラ１座標系を平行ステレオ化した座標系）、平行ステレオカメラ２座標系（元カメラ２座標系を平行ステレオ化した座標系）、第１写真座標、第２写真座標、第１変換写真座標（第１写真座標を平行ステレオ化した座標）、第２変換写真座標（第２写真座標を平行ステレオ化した座標）の相対的な関係を示す概念図である。
【００８８】
ステップＳ４４０ではカメラ１画像変換ルーチンが実行される。カメラ１画像変換ルーチンとは、カメラ位置Ｍ１で撮影された撮影画像から平行ステレオ化された変換画像を生成するルーチンである。具体的な手法としては、変換画像の画像座標（第１変換画像座標）中の任意の点が第１元画像座標のどの点に対応するかを特定し、特定された第１元画像座標の点が有する画素データを第１変換画像座標の点に対応付けることにより変換画像を生成する。
【００８９】
図１６はカメラ１画像変換ルーチンの処理手順を示すフローチャートである。ステップＳ４４１において、第１変換画像座標のＹ座標値を格納する変数Ｙに「０」がセットされ、初期化される。次いでステップＳ４４３において、変数Ｙの値が第１変換画像座標の縦方向の画像サイズＹｓｉｚｅ（図１４のステップＳ４３５で算出）と比較され、Ｙｓｉｚｅより小さければ（Ｓ４４３：ＹＥＳ）、ステップＳ４４５へ進む。
【００９０】
ステップＳ４４５において、第１変換画像座標のＸ座標値を格納する変数Ｘに「０」がセットされ、初期化される。次いでステップＳ４４７において、変数Ｘの値が第１変換画像座標の横方向の画像サイズＸｓｉｚｅ（図１４のステップＳ４３５で算出）と比較され、Ｘｓｉｚｅより小さければ（Ｓ４４７：ＹＥＳ）、ステップＳ４４９へ進む。
【００９１】
ステップＳ４４９で、以降の演算に使用する変数行列Ｐｖ１に変数（ＸＹ１）^Tをセットする。行列Ｐｖ１には第１変換画像座標のＸ座標値、Ｙ座標値がセットされるとともに、Ｚ成分には「１」がセットされる。Ｚ成分に「１」をセットするのは、以降の演算において、３次元座標である写真座標を用いるためである。次いでステップＳ４５１へ進み、以下の式（２５）を用いて、第１変換画像座標の現座標値が、第１元画像座標から変換された第１写真座標のどの座標値に相当するか算出する。
【００９２】
【数１８】

【００９３】
式（２５）中、シフト行列Ｍ_shiftは上述の式（２３）を行列化したものである。第１変換画像座標は第１元画像座標から所定量シフトされている。したがって、第１変換画像座標にシフト行列Ｍ_shiftを積算することにより、第１変換画像座標が第１元画像座標の状態へ逆シフトされる。変換行列Ｍ_DP__Bは第１変換画像座標を第１変換写真座標へ変換する行列である。第１変換写真座標とは、第１写真座標を平行ステレオ化した座標である。変換行列Ｍ_DP__Bを積算することにより、第１変換画像座標は第１変換写真座標へ変換される。Ｒ_r1は、上述のように、元カメラ１座標系の姿勢を平行ステレオカメラ姿勢に一致させるための回転変換成分である（式（１８）参照）。したがって、Ｒ_r1の逆行列を積算することにより、平行ステレオ化の逆変換が行われる。以上の処理により、行列Ｐｐｉｃ１に格納されるのは、第１変換画像座標の現座標値（Ｘ、Ｙ、１）に相当する、第１写真座標の座標値である。換言すれば、第１変換画像座標の座標値と第１写真座標の座標値が関連付けられる。
【００９４】
次いで、ステップＳ４５３へ進み、Ｐｐｉｃ１のＺ成分が撮影光学系の焦点距離ｆとなるよう、Ｐｐｉｃ１を正規化する。これにより、ＣＣＤの撮像領域をＸＹ平面とする座標に正規化される。さらに、ステップＳ４５５へ進み、以下の式（２６）により、正規化された第１写真座標Ｐｐｉｃ１を第１元画像座標Ｐｐｉｃ１’へ変換する。
【００９５】
【数１９】

【００９６】
上述のように、変換行列Ｍ_DP__Aは、第１元画像座標を第１写真座標に変換する行列である。したがって、第１写真座標Ｐｐｉｃ１に変換行列Ｍ_DP__Aの逆行列を積算することにより第１元画像座標Ｐｐｉｃ１’が算出される。
【００９７】
次いでステップＳ４５７において、第１元画像座標Ｐｐｉｃ１’にディストーション付加処理が行われ、撮影光学系の歪み成分を含んだ座標に変換される。
【００９８】
ステップＳ４５９において、カメラ位置Ｍ１で撮影された撮影画像における画素のデータが平行ステレオ化された第１変換画像において対応する画素のデータへコピーされる。Ｓｒｃｉｍｇ１は、カメラ位置Ｍ１で撮影された撮影画像を構成する各画素の画素データ（本実施例ではＲＧＢ輝度値）を格納するための２次元配列である。すなわち、第１元画像座標のＸ座標値、Ｙ座標値で特定される撮影画像の画素の画素データが、第１元画像座標のＸ座標値、Ｙ座標値を添字として特定されるＳｒｃｉｍｇ１の要素に格納されている。Ｓｒｃｉｍｇ１へのデータの格納は、上述の画像データロード時（図６のステップＳ１００）に行われる。Ｄｓｔｉｍｇ１は第１変換画像を構成する各画素の画素データを格納するための２次元配列である。第１変換画像座標のＸ座標値、Ｙ座標値で特定される第１変換画像の画素の画素データが、第１変換画像座標のＸ座標値、Ｙ座標値を添字として特定されるＤｓｔｉｍｇ１の要素に格納される。すなわち、ステップＳ４５７で求められたＰｐｉｃ１’のＸ座標値、Ｙ座標値を添字とするＳｃｒｉｍｇ１の要素に格納されている画素データが、現時点の変数Ｘ、Ｙを添字とするＤｓｔｉｍｇ１の要素にコピーされる。
【００９９】
次いで、ステップＳ４６１でＸの値が「１」インクリメントされステップＳ４４７へ戻り以降の処理が繰り返される。ステップＳ４４７において、Ｘの値がＸｓｉｚｅを超えたことが確認され、第１変換画像の縦方向の最上位の行における横方向の画素全てにステップＳ４４９〜Ｓ４５９の処理が実行されたことが確認されたら（Ｓ４４７：ＮＯ）、ステップＳ４６３へ進む。ステップＳ４６３ではＹの値が「１」インクリメントされ、ステップＳ４４３へ戻り、以降の処理が繰り返される。すなわち、第１変換画像の縦方向の最上位の行から下方向へ向けて順にシフトさせながら、各行において横方向の画素全てに、ステップＳ４４９〜Ｓ４５９までの処理が行われる。以上の処理が、第１変換画像の全ての行に対して行われたら、すなわち、変換画像の全ての画素に対して画素データのコピー処理が行われたら（Ｓ４４３：ＮＯ）、本ルーチンは終了する。
【０１００】
図１７は、カメラ１変換ルーチンにより全要素に画素データが格納されたＤｓｔｉｍｇ１に基づいて、例えばモニタ等に表示した場合の画像イメージを示す図である。図１７中、網掛けで塗りつぶされている領域は、第１元画像座標において対応する画素が存在しない画素である。尚、実際には、変換後の画像は表示装置５０に表示されない。
【０１０１】
カメラ１画像変換−チンが終了したら図９のステップＳ４４０へ戻り、次いでステップＳ４７０へ進む。ステップＳ４７０において、カメラ２画像変換ルーチンが実行される。カメラ２画像変換ルーチンでは、カメラ位置Ｍ２で撮影された画像をカメラ位置Ｍ１の姿勢で見たように座標変換する処理が実行される。本ルーチンも、基本的にはカメラ１画像変換ルーチンと同様、カメラ位置Ｍ２で撮影された画像に関して、第２変換画像座標で特定される画素の、第２元画像座標の対応する画素を特定し、その画素データをコピーする処理を実行する。
【０１０２】
図１８は、カメラ２画像変換ルーチンの処理手順を示すフローチャートである。ステップＳ４７１〜Ｓ４７９までの処理は、図１６のカメラ１変換ルーチンのステップＳ４４１〜Ｓ４４９までの処理と同様であるので説明は省略する。
【０１０３】
ステップＳ４８１の処理は、図１６のステップＳ４５１と同様の処理が実行され、式（２５）により第１写真座標Ｐｐｉｃ１が算出される。すなわち、ステップＳ４８１の処理が実行された時点で、Ｐｐｉｃ１には、第２変換画像座標Ｐｖの現座標値（Ｘ，Ｙ，１）の、第１写真座標において相当する座標値が格納されている。次いで、ステップＳ４８３において、カメラ位置Ｍ１のレンズ中心Ｃ１と、Ｐｐｉｃ１をワールド座標系に変換する処理が実行される。式（２７）は、元カメラ１座標系をワールド座標系へ変換するための式である。
【０１０４】
【数２０】

【０１０５】
式（２７）中、変数Ｐｃは元カメラ１座標系の座標であり、レンズ中心Ｃ１およびＰｐｉｃ１の写真座標が代入される。元カメラ１座標系のワールド座標系に対する姿勢を示す回転行列Ｒ₁の逆行列をＰｃに積算し、ワールド座標系の原点（Ｏ）から元カメラ１座標系の原点（Ｃ１）への移動成分であるΔＫ１を加えることにより元カメラ１座標系がワールド座標系に変換される。尚、変数Ｐｗはワールド座標系の座標である。
【０１０６】
ステップＳ４８５において、ワールド座標系に変換されたレンズ中心Ｃ１とＰｐｉｃ１を結ぶ直線と基準面（ワールド座標系のＸＺ平面）との交点の座標Ｐｃｒｏｓｓを算出する（図１５参照）。Ｐｃｒｏｓｓは、第１写真座標であるＰｐｉｃ１が、ワールド座標系で表現される３次元空間において相当する点である。次いで、ステップＳ４８７において、Ｐｃｒｏｓｓを式（２８）により元カメラ２座標系の座標Ｐｃ２に変換する。
【０１０７】
【数２１】

【０１０８】
式（２８）中、変数ＰｗにＰｃｒｏｓｓが代入される。Ｒ₂は、上述のように、元カメラ２座標系のワールド座標系に対する姿勢を示す回転行列である。また、ΔＫ２は、ワールド座標系の原点（Ｏ）から元カメラ２座標系の原点（Ｃ２）への移動成分である。Ｐｃｒｏｓｓに回転行列Ｒ₂を積算し、ΔＫ２を減算することにより、Ｐｃｒｏｓｓの元カメラ２座標系における座標Ｐｃ２が算出される。
【０１０９】
次いでステップＳ４８９において、元カメラ２座標系における座標Ｐｃ２のＺ成分が撮影光学系の焦点距離ｆとなるよう、Ｘ成分、Ｙ成分が正規化され、第２写真座標Ｐｐｉｃ２に変換する。
【０１１０】
次いでステップＳ４９１に進み、式（２９）により、第２写真座標をカメラ位置Ｍ２で撮影した撮影画像の第２元画像座標Ｐｐｉｃ２’に変換する。式（２９）に示されるように、第２写真座標Ｐｐｉｃ２に元画像座標を写真座標に変換する変換行列Ｍ_DP__Aの逆行列を積算する。
【０１１１】
【数２２】

【０１１２】
次いでステップＳ４９３において、図１０のステップＳ４５７と同様のディストーション付加座標の算出処理が行われ、撮影光学系の歪み成分を含んだ座標が算出される。
【０１１３】
ステップＳ４９５で、カメラ位置Ｍ２で撮影された撮影画像の画素のデータが、平行ステレオ化された画像において対応する画素のデータへコピーされる。Ｓｒｃｉｍｇ２およびＤｓｔｉｍｇ２は、上述のＳｒｃｉｍｇ１およびＤｓｔｉｍｇ１と同様、配列形式の変数である。Ｓｒｃｉｍｇ２の各要素には、カメラ位置Ｍ２で撮影された撮影画像を構成する各画素の画素データが格納されており、Ｄｓｔｉｍｇ２の各要素には、カメラ位置Ｍ２の撮影画像を平行ステレオ化した第２変換画像を構成する各画素の画素データが格納される。Ｐｐｉｃ２’のＸ座標値、Ｙ座標値により決定されるＳｒｃｉｍｇ２の要素の画素データを現時点の変数Ｘ、Ｙで特定されるＤｓｔｉｍｇ２の要素にコピーする処理は、ステップＳ４５９と同様である。
【０１１４】
次いで、ステップＳ４９７でＸの値が「１」インクリメントされステップＳ４７７へ戻り以降の処理が繰り返される。ステップＳ４７７において、Ｘの値がＸｓｉｚｅを超えたことが確認され、第２変換画像の縦方向の最上位の行における横方向の画素全てにステップＳ４７９〜Ｓ４９５の処理が実行されたことが確認されたら（Ｓ４７７：ＮＯ）、ステップＳ４９９へ進む。ステップＳ４９９ではＹの値が「１」インクリメントされ、ステップＳ４７３へ戻り、以降の処理が繰り返される。すなわち、第２変換画像の縦方向の最上位の行から下方向へ向けて順にシフトさせながら、各行において横方向の画素全てに、ステップＳ４７９〜Ｓ４９５までの処理が行われる。以上の処理が、第２変換画像の全ての行に対して行われたら、すなわち、変換画像の全ての画素に対して画素データのコピー処理が行われたら（Ｓ４７３：ＮＯ）、本ルーチンは終了する。
【０１１５】
図１９は、カメラ２変換ルーチンにより全要素に画素データが格納されたＤｓｔｉｍｇ２に基づいて、例えばモニタ等に表示した場合の画像イメージを示す図である。図１９中、黒く塗りつぶされている領域は、元画像座標において対応する画素が存在しない画素である。
【０１１６】
本ルーチンが終了したら、図９のステップＳ４７０へ戻り、変換画像生成ルーチンは終了する。変換画像生成ルーチンが終了したら、図６のステップＳ４００へ戻り、次いでステップＳ５００へ進む。ステップＳ５００では、対応点探索ルーチンが実行される。
【０１１７】
図２０は対応点探索ルーチンの処理手順を示すフローチャートである。本実施形態では、図２１に示すように、カメラ位置Ｍ１の撮影画像において格子状に点在する複数の測量点が自動的に選出され、カメラ位置Ｍ２の撮影画像においてこれらの測量点に対する対応点が探索される。本実施形態では、対応点の検索において従来公知の相関法が用いられる。
【０１１８】
ステップＳ５０１で、複数の測量点が選出され、次いでステップＳ５０３へ進み、全測量点について本ルーチンの処理が実行されたかチェックされる。未処理の測量点がある場合（Ｓ５０３：ＮＯ）、ステップＳ５１０へ進む。
【０１１９】
ステップＳ５１０では、カメラ位置Ｍ１で撮影した第１元画像座標の測量点Ｐ１（Ｘ，Ｙ）の、平行ステレオ化された第１変換画像座標中で対応する点Ｐｉｎ１（Ｘ，Ｙ）を算出する処理が実行される。図２２は、変換座標Ｐｉｎ１の算出ルーチンの処理手順を示すフローチャートである。ステップＳ５１１で、ディストーション補正座標の算出処理が実行され、撮影光学系の歪みが補正される。次いで、ステップＳ５１３において上述の式（２１）により、測量点の第１元画像座標（Ｐｉｍｇ）が第１写真座標（Ｐａ）へ変換され、ステップＳ５１５において式（２２）により第１写真座標（Ｐａ）が平行ステレオ化された第１変換写真座標（Ｐｒ）へ変換される。ステップＳ５１７において、平行ステレオ化の写真座標のＺ成分が撮影光学系の焦点距離ｆになるようＸ成分、Ｙ成分が正規化される。そして、ステップＳ５１９において、式（３０）により平行ステレオ化された第１変換画像座標（Ｐｉｎ１）に変換される。
【０１２０】
【数２３】

【０１２１】
上述のように、変換行列Ｍ_DP__Bは第１変換画像座標を第１変換写真座標へ変換する行列である。したがって、第１変換写真座標Ｐｒに変換行列Ｍ_DP__Bの逆行列を積算することにより平行ステレオ化された第１変換画像座標Ｐｉｎ１が算出される。以上で本ルーチンは終了する。
【０１２２】
平行ステレオ化された画像座標の算出ルーチンが終了したら図２０のステップＳ５１０へ戻り、次いでステップＳ５３１へ進む。ステップＳ５３１では、変数の初期化処理が行われる。変数Ｍ２Ｘは、カメラ位置Ｍ２で撮影された撮影画像を平行ステレオ化した変換画像２の第２変換画像座標における対応点のＸ座標値を格納するための変数であり、初期値として「０」がセットされる。変数ＭｉｎＶａｌｕｅは、後述するパターン間距離Ｄの最小値を求めるための変数であり、以降のループ処理が繰り返し実行される時点の最小値に更新される。ステップＳ５３１では、初期値として変数ＭｉｎＶａｌｕｅに所定の十分大きな数値がセットされる。
【０１２３】
次いで、ステップＳ５３３では、変数Ｍ２ＸがＸｓｉｚｅ（平行ステレオ化された画像の横方向のサイズ）より小さいかチェックされ、小さければ（Ｓ５３３：ＹＥＳ）ステップＳ５３５へ進む。この条件判断については後述する。
【０１２４】
ステップＳ５３５では、パターン間距離Ｄの算出処理が行われる。パターン間距離Ｄとは、変換画像１において、現在処理中の測量点（カレント測量点）に対応する点を中心とする所定の領域（演算領域１）を構成する画素の輝度値と、変換画像２において、カレント測量点のＹ座標値と同じ座標値を有する画素を中心とする所定の領域（演算領域２）を構成する画素の輝度値との差分である。変換画像１の上述の所定領域を構成する画素の輝度値をテンプレートとする公知のテンプレートマッチングに基づき、パターン間距離Ｄは式（３１）により算出される。
【０１２５】
【数２４】

【０１２６】
式（３１）中、ＰＴＥＭＰ１およびＰＴＥＭＰ２は１次元配列であり、Ｎは演算領域１、演算領域２を構成する画素の総数である。ＰＴＥＭＰ１の各要素には、変換画像１の演算領域１を構成する各画素の輝度値が格納され、ＰＴＥＭＰ２の各要素には変換画像２の演算領域２を構成する各画素の有する輝度値が格納されている。
【０１２７】
ステップＳ５３５でパターン間距離Ｄが算出されたら、ステップＳ５３７へ進み、変数ＭｉｎＶａｌｕｅと比較する。ステップＳ５３５で算出したパターン間距離ＤがＭｉｎＶａｌｕｅより小さければ（Ｓ５３７：ＹＥＳ）、ステップＳ５３９でその値をＭｉｎＶａｌｕｅにセットし、次いで、ステップＳ５４１でＭ２Ｘを配列Ｐｉｎ２のＸ成分を示す添字にコピーする。
【０１２８】
次いでステップＳ５４３へ進み、Ｍ２Ｘを「１」インクリメントしステップＳ５３３へ戻り、以降の処理を繰り返す。
【０１２９】
ステップＳ５３７で、算出されたパターン間距離Ｄが変数ＭｉｎＶａｌｕｅより大きいことが確認されたら（Ｓ５３７：ＮＯ）、ステップＳ５３９およびＳ５４１の処理はスキップし、ステップＳ５４３でＭ２Ｘのインクリメントが行われる。
【０１３０】
すなわち、テンプレートマッチングの対象となる演算領域２を横方向に１画素分シフトしながらステップＳ５３５〜Ｓ５４１の処理が繰り返し実行される。したがって、ステップＳ５３３においてＭ２Ｘの値がＸｓｉｚｅを超えたことが確認された時点で（Ｓ５３３：ＮＯ）、変換画像２においてカレント測量点のＹ座標値と同一のＹ座標値を有する全ての画素の処理が行われており、Ｐｉｎ２．Ｘにはカレント測量点に対応する変換画像２中の対応点のＸ座標値がセットされることとなる。すなわち、変換画像１中の変換画像２中の対応点が決定される。
【０１３１】
以上のように、カメラ位置Ｍ１の撮影画像ＩＭＧ１で指定される測量点に対応するカメラ位置Ｍ２の撮影画像ＩＭＧ２中の対応点の探索が、平行ステレオ化された変換画像１、２の第１および第２変換画像座標を用いて行われる。本実施形態において、第２変換画像座標は、カメラ位置Ｍ２の撮影画像ＩＭＧ２をカメラ位置Ｍ１のカメラ姿勢を平行ステレオ化させたカメラ姿勢に変換させて構成されている。したがって、仮にカメラ位置Ｍ１とＭ２のカメラ間距離が離れていても、対応点の探索が迅速かつ正確に行われる。
【０１３２】
以上の処理を全ての測量点について行われたことがステップＳ５０３で確認されたら（Ｓ５０３：ＹＥＳ）、本ルーチンは終了する。その後、本ルーチンにより算出された対応点の第２変換画像座標から上述の式（２５）、（２６）と同様の式を用いて第２元画像座標に変換する処理を実行することにより、その結果に基づいて、ＩＭＧ１で格子状に設定された複数の測量点（図２１参照）のそれぞれがＩＭＧ２において対応する対応点が、表示装置制御装置７８を介してモニタ等の表示装置５０上のＩＭＧ２画像中に図示される。
【０１３３】
尚、上述の測量点の自動選出をカメラ位置Ｍ２の撮影画像において行い、カメラ位置Ｍ１の撮影画像においてこれらの測量点に対する対応点を探索し、表示することも可能である。すなわち、測量点が表示装置５０上のＩＭＧ２で格子状に設定されれば、それらの測量点のそれぞれがＩＭＧ１において対応する対応点が、表示装置５０上のＩＭＧ１画像中に図示されることとなる。
【０１３４】
以上の処理が終了したら図６のステップＳ５００へ戻り、次いでステップＳ６００へ進む。ステップＳ６００では、測量点の３次元座標算出ルーチンが実行される。
【０１３５】
図２３は、上述の測量点の３次元座標算出ルーチンの処理手順を示すフローチャートである。ステップＳ６０１で、全測量点について以降の処理が実行されたか確認される。未処理の測量点がある場合（Ｓ６０１：ＮＯ）、ステップＳ６０３へ進む。
【０１３６】
ステップＳ６０３では、上述の変換行列Ｍ_DP__Bにより、変換画像１における測量点の第１変換画像座標（Ｐｉｎ１）が第１変換写真座標（Ｐｒ）へ変換される。次いで、ステップＳ６１０へ進み、変換画像２の対応点の第２変換画像座標（Ｐｉｎ２）を平行ステレオカメラ２座標系へ変換するルーチンが実行される。
【０１３７】
図２４は、ステップＳ６１０で実行される変換ルーチンの処理手順を示すフローチャートである。ステップＳ６１１において、上述の式（２５）と同様の式を用いてＰｉｎ２をカメラ位置Ｍ１の第１写真座標に変換する。ステップＳ６１３において、レンズ中心Ｃ１と、ステップＳ６１１で変換したＰｉｎ２を、式（２７）によりワールド座標系に変換する。ステップＳ６１５において、レンズ中心Ｃ１とＰｉｎ２を結ぶ直線と基準面との交点Ｐｃｒｏｓｓを算出する。次いで、ステップＳ６１７において、ステップＳ６１５で算出された交点Ｐｃｒｏｓｓを、式（３２）により平行ステレオ化された平行ステレオカメラ２座標系に変換する。
【０１３８】
【数２５】

【０１３９】
式（３２）中、ＰｗにはＰｃｒｏｓｓが代入される。Ｐｃｒｏｓｓに平行ステレオの姿勢を示す回転行列Ｒ_P（式（９）参照）を積算し、元カメラ２座標系の原点（Ｃ２）からワールド座標系の原点（Ｏ）への移動成分であるΔＫ２を減算することにより、Ｐｃｒｏｓｓの平行ステレオカメラ２座標系における座標が算出される。
【０１４０】
以上で本ルーチンは終了し、図２３のステップＳ６１０へ戻る。次いで、ステップＳ６２１へ進み、ステップＳ６０３とステップＳ６１０でそれぞれ算出された、Ｐｉｎ１とＰｉｎ２の平行ステレオ化された座標のＺ成分が、それぞれ撮影光学系の焦点距離ｆとなるよう、各座標が正規化され、Ｐｉｎ１の第１変換写真座標Ｐｒ、及びＰｉｎ２の第２変換写真座標Ｐｉｎ２’が算出される。
【０１４１】
次いで、ステップＳ６２３へ進み、測量点の第１変換写真座標（Ｐｒ）のＸ座標値と第２変換写真座標（Ｐｉｎ２’）のＸ座標値の差分から視差ｄを算出する。次いで、ステップＳ６２５へ進み、視差ｄおよびカメラ位置Ｍ１とカメラ位置Ｍ２のカメラ間距離Ｔから式（３３）より、測量点のＸ座標、Ｙ座標、Ｚ座標を算出する。
【０１４２】
【数２６】

【０１４３】
以上の処理を全ての測量点に実行したら（Ｓ６０１：ＹＥＳ）、本ルーチンは終了する。その後、各測量点の３次元データに基づいて、俯瞰図、斜視図等の測量図が作成され、表示装置５０に表示される。
【０１４４】
【発明の効果】
以上のように、本発明によれば、写真測量システムにおいて、ペア画像の測量点の対応付けが自動的に行われ、測量点の３次元座標が演算される。したがって、操作者の負担が軽減されると共に３次元座標データの信頼性が高まる。その結果、３次元座標データに基づく俯瞰図や斜視図の作成の精度がより向上する。
【図面の簡単な説明】
【図１】写真測量の測量現場の一例を示す模式図であり、測量対象であるＴ字路および白線等を鉛直上方から見た俯瞰図である。
【図２】ターゲットを拡大して示す斜視図である。
【図３】図１の測量現場において第１のカメラ位置で得られた撮影画像を概念的に示す図である。
【図４】図１の測量現場において第２のカメラ位置で得られた撮影画像を概念的に示す図である。
【図５】本発明に係る実施形態が適用される写真測量画像処理装置のシステム構成を示すブロック図である。
【図６】写真測量画像処理装置における写真測量の処理手順の全体的な骨格を示すフローチャートである。
【図７】第１のカメラ位置と、カメラの撮影光学系の結像面であるスクリーンと、ターゲットとの間の関係を相対的に示す概念図である。
【図８】ターゲットにより規定される右手系の３次元直交座標系（ワールド座標系）と第１のカメラ位置により規定される元カメラ１座標系との関係を相対的に示す概念図である。
【図９】変換画像生成ルーチンの処理手順を示すフローチャートである。
【図１０】ワールド座標系と、元カメラ１座標系と、第２のカメラ位置により規定される元カメラ２座標系との関係を相対的に示す概念図である。
【図１１】元カメラ１座標系の原点から元カメラ２座標系の原点への移動ベクトルを、ワールド座標系のＸｓ軸とＺｓ軸で定義されるＸＺ平面に射影して示す図である。
【図１２】元カメラ１座標系の原点から元カメラ２座標系の原点への移動ベクトルをＹｓ軸回りに回転させたベクトルを、ワールド座標系のＸｓ軸とＹｓ軸で定義されるＸＹ平面に射影して示す図である。
【図１３】回転変換される画像領域の相対的な関係を示す概念図である。
【図１４】画像サイズ算出ルーチンの処理手順を示すフローチャートである。
【図１５】ワールド座標系、元カメラ１座標系、元カメラ２座標系、平行ステレオカメラ１座標系、平行ステレオカメラ２座標系、第１写真座標、第２写真座標、第１変換写真座標、第２変換写真座標の相対的な関係を示す概念図である。
【図１６】第１のカメラ位置で撮影された画像を平行ステレオ化するための画像変換ルーチンの処理手順を示すフローチャートである。
【図１７】第１のカメラ位置の撮影画像を平行ステレオ化した画像イメージを概念的に示す図である。
【図１８】第２のカメラ位置で撮影された画像を平行ステレオ化するための画像変換ルーチンの処理手順を示すフローチャートである。
【図１９】第２のカメラ位置の撮影画像を平行ステレオ化した画像イメージを概念的に示す図である。
【図２０】第１のカメラ位置の撮影画像で特定される測量点が、第２のカメラ位置の撮影画像において対応する対応点を探索するためのルーチンの処理手順を示すフローチャートである。
【図２１】第１のカメラ位置の撮影画像において自動的に設定される測量点の位置を示す概念図である。
【図２２】第１のカメラ位置の撮影画像の測量点が、平行ステレオ化された変換画像において対応する点を算出するルーチンの処理手順を示すフローチャートである。
【図２３】測量点の３次元座標を算出するルーチンの処理手順を示すフローチャートである。
【図２４】第２のカメラ位置の撮影画像を平行ステレオ化させた画像中の点を、第２のカメラ位置を平行ステレオ化させた３次元座標系へ変換するルーチンの処理手順を示すフローチャートである。
【符号の説明】
１０カメラ
２０ターゲット
２３、２４、２５基準点部材
３３、３４、３５補助点部材
ＩＭＧ１第１のカメラ位置の撮影画像
ＩＭＧ２第２のカメラ位置の撮影画像

Claims

測量現場を第１のカメラ姿勢で撮影した第１の元画像と、前記第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、前記測量現場の測量点の３次元データを算出し、測量図を生成する写真測量システムにおいて、
前記測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する手段と、
前記第１および第２のカメラ姿勢が平行ステレオ姿勢となるための前記基準座標系に対する回転量を演算する平行ステレオ姿勢演算手段と、
前記第１の元画像を前記平行ステレオ姿勢で表現した第１の変換画像に変換する第１の画像変換手段と、
前記第２の元画像を、前記基準面に基づいて、前記第１のカメラ姿勢を前記平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第２の画像変換手段とを備えることを特徴とする写真測量システム。
前記第１および第２の変換画像のうちの一方の変換画像において、この一方の変換画像に対応する前記元画像中で特定される測量点に相当する変換画像点を演算する変換画像点演算手段と、
前記第１および第２の変換画像のうちの他方の変換画像において前記変換画像点に対応する対応点を探索する対応点探索手段と、
前記他方の変換画像に対応する前記元画像において前記対応点に相当する元画像点を演算する元画像点演算手段とを備えることを特徴とする請求項１に記載の写真測量システム。
前記一方の変換画像の前記変換画像点と前記他方の変換画像の前記対応点に基づいて、前記測量点の３次元データを演算する測量点演算手段を備えることを特徴とする請求項２に記載の写真測量システム。
前記第１の画像変換手段は、
前記第１の元画像を構成する画素の並びを２次元的に表現する第１元画像座標の各座標と、前記第１の変換画像を構成する画素の並びを２次元的に表現する第１変換画像座標の各座標とを対応付ける第１対応座標値演算手段と、
前記第１元画像座標の各座標で特定される画素データを前記第１変換画像座標の対応する座標で特定される画素データにコピーする第１画素データコピー手段とを有し、
前記第２の画像変換手段は、
前記第２の元画像を構成する画素の並びを２次元的に表現する第２元画像座標の各座標と、前記第２の変換画像を構成する画素の並びを２次元的に表現する第２変換画像座標の各座標とを対応付ける第２対応座標値演算手段と、
前記第２元画像座標の各座標で特定される画素データを前記第２変換画像座標の対応する座標で特定される画素データにコピーする第２画素データコピー手段とを有することを特徴とする請求項１に記載の写真測量システム。
前記第１対応座標値演算手段は、
前記第１変換画像座標の座標値を、前記第１のカメラ姿勢を３次元的に表現する第１カメラ座標系を回転成分のみ前記平行ステレオ姿勢に変換した第１平行ステレオカメラ座標系上に定義される第１変換写真座標の座標値に変換する第１変換画像座標変換手段と、
前記第１変換画像座標変換手段により変換された座標値を前記第１カメラ座標系上に定義される第１写真座標の座標値に変換する第１写真座標変換手段と、
前記第１写真座標変換手段により変換された座標値を前記第１元画像座標の座標値に変換する第１元画像座標変換手段とを有し、
前記第２対応座標値演算手段は、
前記第２変換画像座標の座標値を、前記第１変換画像座標変換手段により前記第１変換写真座標の座標値に変換し、
さらに、前記第２対応座標値演算手段において変換された前記第１変換写真座標の座標値に対応する点の、前記基準面において相当する点の前記基準座標系の座標値を演算する基準座標値算出手段と、
前記基準座標値算出手段により演算された座標値を前記第２カメラ座標系上に定義される第２写真座標の座標値に変換する第２写真座標変換手段と、
前記第２写真座標変換手段により変換された座標値を前記第２元画像座標の座標値に変換する第２元画像座標変換手段とを有することを特徴とする請求項４に記載の写真測量システム。
前記第１元画像座標により表現される２次元領域を規定する４隅点の座標値を、前記第１写真座標に変換し、次いで前記第１変換写真座標に変換し、これら４隅点の変換後の座標値と前記第１元画像座標の座標値に基づいて、前記第１変換画像座標により表現される２次元領域と前記第１元画像座標により表現される２次元領域との間のシフト量を算出する画像シフト算出手段と、
前記シフト量に基づいて、前記第１変換画像座標により表現される２次元領域のサイズを算出する画像サイズ算出手段とを有することを特徴とする請求項５に記載の写真測量システム。
前記第１の元画像と前記第２の元画像には、それぞれ寸法および形状が既知のターゲットが写し込まれており、前記基準面および前記基準座標系が前記ターゲットにより定義されることを特徴とする請求項１に記載の写真測量システム。
測量現場を第１のカメラ姿勢で撮影した第１の元画像と、前記第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、前記測量現場の測量点の３次元データを算出し、測量図を生成する写真測量方法であって、
前記測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する第１ステップと、
前記第１および第２のカメラ姿勢が平行ステレオ姿勢となるための前記基準座標系に対する回転量を演算する第２ステップと、
前記第１の元画像を前記平行ステレオ姿勢で表現した第１の変換画像に変換する第３ステップと、
前記第２の元画像を、前記基準面に基づいて、前記第１のカメラ姿勢を前記平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第４ステップとを備えることを特徴とする写真測量方法。
測量現場を第１のカメラ姿勢で撮影した第１の元画像と、前記第１のカメラ姿勢とは異なる第２のカメラ姿勢で撮影した第２の元画像から、前記測量現場の測量点の３次元座標を算出し、測量図を生成する写真測量プログラムであり、
前記測量点が存在する面に近似する基準面を所定の３次元座標系である基準座標系において設定する基準面設定ルーチンと、
前記第１および第２のカメラ姿勢が平行ステレオ姿勢となるための前記基準座標系に対する回転量を演算する平行ステレオ姿勢演算ルーチンと、
前記第１の元画像を前記平行ステレオ姿勢で表現した第１の変換画像に変換する第１の画像変換ルーチンと、
前記第２の元画像を、前記基準面に基づいて、前記第１のカメラ姿勢を前記平行ステレオ姿勢に変換した姿勢で表現した第２の変換画像に変換する第２の画像変換ルーチン手段とを備える写真測量プログラムが格納されていることを特徴とする記録媒体。