JP5963353B2 - 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム - Google Patents

Description

本発明は、光学データの処理技術に係り、異なる視点から得られた三次元データを統合して扱う技術に関する。

測定対象物にレーザー光を走査しつつ照射し、測定対象物の三次元位置を多数の点群位置データとして取得し、この点群位置データから当該測定対象物の三次元形状を生成する技術が知られている（例えば、特許文献１を参照）。点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。点群位置データを用いると、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。

一つの視点からの点群位置データの取得を考えた場合、測定対象物の形状や障害物に起因して、その視点から見て影となる部分の点群位置データは取得できない。この現象をオクルージョンといい、またこの影となる部分をオクルージョン部やオクルージョン部分という。また、通行人や通行する車両、木々の揺れによってオクルージョンが生じる場合もある。

この問題を解決するためのアプローチとして、特許文献２には、オクルージョン部分の点群位置データを補完的に取得するために、基礎となる点群位置データの取得とは別に、オクルージョン部分を撮影できる別視点からの撮影を行い、この撮影画像と上記基礎となる点群位置データとの関連を求めることで、オクルージョン部分の点群位置データを補完する手法が記載されている。

特開２０１２−８８６７号公報 特開２００８−８２７０７号公報

ところで、点群位置データは、数万点〜数億点にもなるが、点群位置データと撮影画像との位置合わせの処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。この位置合わせの方法としては、点群位置データと撮影画像中の特徴点との対応が明確になるように、予め測定対象物に複数のターゲットを貼り付けておき、この複数のターゲットに基づいて、点群位置データと撮影画像中の特徴点との位置合わせを行う手法がある。しかしながら、この手法では、測定対象物にターゲットを貼り付ける作業が必要であり、例えば高層建築物等を対象とする場合等に作業が簡単に行えない場合がある。

またソフトウェア的な手法でデータ間のマッチングを行う方法も考えられるが、マッチング誤差が大きい、長大な処理時間が必要とされる、演算装置への負担が大きいといった問題がある。このような背景において、本発明は、２つの光学データ間における特徴点の対応関係を決める処理を高精度に効率よく行う技術を提供することを目的とする。

請求項１に記載の発明は、第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出部と、前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出部と、前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択部とを備えることを特徴とする光学データ処理装置である。

請求項１に記載の発明によれば、２つの三次元モデルそれぞれにおける特定の方向に延在する複数の三次元エッジに着目し、２つの三次元モデル間における当該三次元エッジの類似性を求め、この類似性に基づき、両モデル間で対応する三次元エッジの選択が行われる。三次元エッジを扱う場合、点群そのものを取り扱う場合に比較してデータ量が少なくすみ、また三次元エッジは特徴として把握し易い（言い換えると、他の部分と区別し易い）。このため、両三次元モデル間における対応関係を決める処理を高精度に効率よく行うことができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記第１群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および前記第２群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部を備え、前記類似度算出部は、前記相対位置の類似度を算出することを特徴とする。特定の方向に延在した三次元エッジに関する同様な方向に延在した周囲の他の複数の三次元エッジに対する相対的な位置関係は、当該三次元エッジに固有なパラメータとなる。したがって、この三次元エッジに係る位置関係の近似性を評価することで、２つの三次元モデル間で対応する三次元エッジを見つけることができる。この処理は、扱うデータ量が少なくても済み、また高いマッチング精度が得られるので、高速、且つ、高精度に行うことができる。

請求項３に記載の発明は、請求項２に記載の発明において、前記相対位置は、特定の三次元エッジと他の複数の三次元エッジとを結ぶ複数のベクトルの組み合わせによって表されることを特徴とする。請求項３に記載の発明によれば、演算による類似性の判定を効率良く行うことができる。

請求項４に記載の発明は、請求項３に記載の発明において、前記類似度が前記複数のベクトルの長さと予め決められた第１の方向に対する角度とにより評価されることを特徴とする。請求項４に記載の発明によれば、演算による類似性の判定を効率良く行うことができる。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明においては、前記特定の方向が垂直方向であることを特徴とする。建築物は垂直エッジを主要な構成要素としているので、建築物を対象とする場合、垂直エッジを用いて三次元モデル間の対応関係の探索を行うことで、演算をより効率よく行うことができる。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記三次元エッジが当該三次元エッジを構成する線分の端点によって特定されていることを特徴とする。エッジを両端の端点により特定することで、扱うデータ量を減らすことができ、演算の負担を減らすことができる。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記第１の三次元モデルおよび前記第２の三次元モデルの少なくとも一方がステレオ写真画像に基づく三次元モデルであることを特徴とする。請求項７に記載の発明によれば、例えば、レーザースキャナから得られた三次元モデルのオクルージョンの部分を写真撮影により補い、より完成度の高い三次元モデルを得ることができる。また、例えば、ステレオ写真画像に基づく２つの三次元モデルを統合し、より完成度の高い三次元モデルを得ることができる。なお、本明細書では、レーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルをレーザー点群三次元モデルと称し、ステレオ写真画像に基づく三次元モデルを画像計測三次元モデルと称する。

請求項８に記載に発明は、請求項７に記載の発明において、ステレオ写真画像を構成する左写真画像および右写真画像における垂直方向のエッジに基づき、前記左写真画像および前記右写真画像の外部標定要素の算出を行う外部標定要素算出部を備えることを特徴とする。請求項７に記載の発明によれば、垂直方向のエッジを用いることで、左右の写真画像における外部標定用の対応点の抽出が偏り無く行われ、高い精度で外部標定要素の算出を行うことができる。

請求項９に記載の発明は、請求項８に記載の発明において、前記ステレオ写真画像に基づく三次元モデルは伸びまたは縮んでおり、前記選択部により選択された前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの位置が合うように、前記ステレオ写真画像に基づく三次元モデルの縮尺を調整する縮尺調整部と、前記選択部により選択された前記第１群三次元エッジと前記第２群三次元エッジの組み合わせに基づき、前記縮尺が調整された前記ステレオ写真画像に基づく三次元モデルと他方の三次元モデルとを統合する三次元モデル統合部とを備えることを特徴とする。

標定用のターゲットを利用しないで、撮影した左右の写真画像のみから相互標定を用いて外部標定要素の算出を行う場合、座標系が実スケールを持たず（たとえば、長さの単位が相対値となる）、また基線長（左右の視点間の距離）や画面中の距離の設定が任意な値とされて演算が行なわれるので、得られる外部標定要素を記述する座標系は等方的ではなく、特定の方向に伸びまたは縮んだものとなる。請求項９に記載の発明によれば、対応関係が求められた三次元エッジが重なるように、画像計測三次元モデルをマッチング相手の他方の三次元モデルに対して移動させつつ、伸縮させることで（つまりアフィン変換を行うことで）、２つの三次元モデルの位置合わせを行う。ここで、２つの三次元モデルが共に実スケールを持たず、特定の方向に伸びまたは縮んだ三次元モデルである場合、縮尺の調整は、一方の三次元モデルに対して行っても良いし、両方の三次元モデルに対して行っても良い。

例えば、画像計測三次元モデルが実スケールを持っていない場合、レーザー点群三次元モデルと画像計測三次元モデルとが整合した段階で、画像計測三次元モデルに実スケールが与えられる。なお、本明細書では、実スケールを持っておらず、特定の方向に伸びまたは縮んだ三次元モデルを相対モデルと称し、実スケールを持った三次元モデル（例えば、レーザー点群三次元モデル）を絶対モデルと称する。

請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の発明において、前記第１の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであり、前記第２の三次元モデルがステレオ写真画像に基づく三次元モデルである第１の場合、前記第１の三次元モデルおよび前記第２の三次元モデルがステレオ写真画像に基づく三次元モデルである第２の場合のいずれかであることを特徴とする。請求項１０の第１の場合は、レーザー点群三次元モデルと画像計測三次元モデルとを統合することができる。請求項１０の第２の場合は、２つの画像計測三次元モデルを統合することができる。

請求項１１に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記第１の三次元モデルおよび前記第２の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであることを特徴とする。請求項１１に記載の発明によれば、２つの画像計測三次元モデルを統合することができる。

請求項１２は、請求項１に記載の発明をシステムの発明として把握したものである。すなわち、請求項１２に記載の発明は、第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出手段と、前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択手段とを備えることを特徴とする光学データ処理システムである。請求項１２に記載の発明は、各手段が別の装置であったり、離れて配置され、回線を介して接続されていたり、といったシステムの発明として把握される。

請求項１３に記載の発明は、第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出ステップと、前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出ステップと、前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択ステップとを備えることを特徴とする光学データ処理方法である。

請求項１４に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出手段と、前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択手段として動作させることを特徴とするプログラムである。

本発明によれば、２つの光学データ間における特徴点の対応関係を決める処理を高精度に効率よく行うことができる。

実施形態の処理の概要を示すフローチャートである。 実施形態の光学データ処理装置のブロック図である。 点群位置データに基づく処理を行う三次元モデル作成部のブロック図である。 ステレオ写真画像に基づく処理を行う三次元モデル作成部のブロック図である。 エッジを抽出する原理を示す概念図である。 相互標定を説明する説明図である。 マッチング処理の流れを示すフローチャートである。 処理の状態を段階的に示す左右の写真画像のイメージ図である。 処理の状態を段階的に示す左右の写真画像のイメージ図である。 処理の状態を段階的に示す左右の写真画像のイメージ図である。 ＴＩＮと正方格子の関係を示す概念図である。 三次元エッジ位置合わせ部のブロック図である。 垂直エッジ間の距離と角度について示した概念図である。 建築物をレーザースキャンおよび写真撮影する場合の概念図である。 図１４の計測が行われる場合に生じるオクルージョンについて示す概念図である。

１． 第１の実施形態
（前提）
本実施形態における測定対象物は、主要な対象が建築物であるとする。
(用語の定義)
以下、明細書中で用いる用語について説明する。
(ラベル)
ラベルとは面を特定する（あるいは他の面と区別する）識別子である。面は、演算の対象として選択するのに適切な面のことであり、平面、曲率の大きい曲面、曲率が大きくその位置による変化が小さい曲面が含まれる。本明細書では、演算により数学的に把握（データ化）する際の演算量が許容される量であるか否かによって、面と非面とが区別される。非面には、角、エッジ部分、その他曲率の小さい部分や曲率の場所による変化が激しい部分が含まれる。これらの部分は、演算による数学的な把握（データ化）に際して、多量の演算が必要であり、演算装置への高負担や演算時間の増大を招く。本明細書では、演算時間の短縮が重要であるので、このような演算装置への高負担や演算時間の増大を招く面を非面として除去し、極力演算の対象としないようにする。

（三次元エッジ（エッジ）)
三次元エッジ（エッジ）というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている輪郭線(outline)や点のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が三次元エッジとなる。三次元エッジは、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。三次元エッジにより所謂線図により構成される三次元モデルが構成される。この三次元モデルにより、測定対象物の外観が把握し易い画像表示を行うことができる。

（三次元モデル）
三次元モデルは、上述した三次元エッジにより構成される線図である。三次元モデルにより、測定対象物の外観が視覚的に把握し易い画像が得られる。三次元モデルの画像（三次元モデル図）は、例えばＣＡＤ図面等に利用することができる。

（点群位置データ）
点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。点群位置データによれば、点の集合により測定対象物の立体的な外形を再現することができる。すなわち、各点の三次元座標が判るので、各点の相対位置関係が把握でき、画面表示した対象物の画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。

（処理の流れの概要）
図１には、実施形態における処理の流れの概要が示されている。図１のフローチャートを実行するためのプログラムは、図２の光学データ処理装置１００が備える適当なメモリ領域に格納され、光学データ処理装置１００が備えるＣＰＵによって実行される。なお、図１のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから光学データ処理装置１００に提供される形態も可能である。この点は、明細書中で説明する数々の処理を実行するプログラムにおいても同じである。

本実施形態では、レーザースキャナ（地上据え置き型レーザースキャナ：Terrestrial Laser Scanner（ＴＳＬ））)により取得した高密度な点群位置データをまず取得する。また、それとは別に、レーザースキャナから得た点群位置データでオクルージョンとなる部分や補足したい部分をデジタルカメラによりステレオ撮影し、ステレオ写真画像の画像データを得る。この際、点群位置データが得られている部分とステレオ撮影した部分が一部重なり、この重なった部分に複数の垂直エッジ（垂直方向に延在した三次元エッジ）が含まれるようにする。そして、点群位置データおよびステレオ写真画像の画像データの双方から、三次元エッジを抽出し、それぞれの三次元モデルを作成する。次に、２つの三次元モデル間のマッチング（対応関係）を求め、両三次元モデルのデータを統合する。こうして、レーザースキャナから得た点群位置データでオクルージョンとなっている部分が補われた三次元モデルが構築される。

以下、図１を参照して処理の概要を簡単に説明する。まず、レーザースキャナを用いて測定対象物の点群位置データを取得する（ステップＳ１００）。次いで、ステップＳ１００で得た点群位置データに基づき、ラベリング手法による当該測定対象物の三次元モデルの作成を行う(ステップＳ２００)。ラベリング手法による当該測定対象物の三次元モデルの作成技術については、例えばWO2011/162388号広報に記載されている技術を利用することができる。ステップＳ２００の詳細については後述する。

他方で、ステップＳ１００で取得した点群位置データでオクルージョンとなる部分（あるいはデータを補足したい部分）をデジタルカメラでステレオ撮影する（ステップＳ３００）。この撮影は、単眼のデジタルカメラを用いて異なる２視点からの撮影行う手法であってもよいし、専用のステレオ撮影用のデジタルカメラを用いてよい。ステレオ写真画像の画像データを得たら、それに基づき拡張ＴＩＮ−ＬＳＭ法により、三次元モデルの作成を行う（ステップＳ４００）。ステップＳ４００における拡張ＴＩＮ−ＬＳＭ法の詳細については後述する。

次に、レーザースキャナから得た点群位置データに基づく三次元モデルとデジタルカメラで撮影したステレオ写真画像から得た三次元モデルとを統合する処理を行う。まず、レーザースキャナ由来の三次元モデルと撮影画像由来の三次元モデルのそれぞれから、マンハッタンワールド仮説に基づく法線ベクトルの抽出を行う（ステップＳ５００）。マンハッタンワールド仮説というのは、人工構造物には互いに直交する支配的な３軸が存在し、建造物を構成する面は、それらと垂直または平行に配置しているという仮設である。ステップＳ５００の処理により、２つの三次元モデルの方向が求まる。ステップＳ５００の処理の詳細は後述する。

次に、ステップＳ５００で求めた法線ベクトルの向きを合わせることで、２つの三次元モデルの向きを合わせる（ステップＳ６００）。この処理は、一方または双方の三次元モデルを回転させ、両三次元モデルの３軸の方向を合わせる。

次に、２つの三次元モデルのそれぞれを構成する三次元エッジの位置合わせを行い、両三次元モデルの対応関係を求め（ステップＳ７００）、更にステップＳ７００で求めた対応関係に基づき、レーザースキャナから得た点群位置データに基づく三次元モデルとカメラで撮影した画像から得た三次元モデルとを統合し、統合された三次元モデルを得る（ステップＳ８００）。

（光学データ処理装置の概要）
以下、図１の処理を実行する光学データ処理装置の一例を説明する。図２には、光学データ処理装置１００が示されている。光学データ処理装置１００は、パーソナルコンピュータ内においてソフトウェア的に構成されている。すなわち、本発明を利用した処理を行う専用のソフトウェアがインストールされたパーソナルコンピュータが図１の光学データ処理装置１００として機能する。このプログラムは、パーソナルコンピュータ中にインストールされている状態に限定されず、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。

利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の表示部、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータの形態は限定されず、ノート型、携帯型、卓上型等から適宜選択することができる。また、汎用のパーソナルコンピュータを利用する以外に、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable
Logic Device）等を用いて構成した専用のハードウェアによって光学データ処理装置１００の一部または全部を構成することも可能である。

光学データ処理装置１００には、レーザースキャナ２００とデジタルカメラ３００が接続あるいは接続可能とされている。レーザースキャナ２００は、測定対象物にレーザー光を走査して照射し、その反射光を検出する。レーザースキャナ２００の設置位置は予め正確に求められており、照射レーザー光の照射方向とレーザ光の飛翔時間から算出される照射点までの距離に基づき、照射レーザ光の照射点の三次元位置の算出が行われる。この処理を、少しずつ位置をずらしながら走査して行うことで、多数（数万点〜数億点）の照射点の三次元座標が点群位置データとして取得される。この点群位置データが光学データ処理装置１００に入力される。デジタルカメラ３００は、三次元写真測量(立体写真測量)に用いられるステレオ画像を撮影し、その画像データが光学データ処理装置１００に入力される。ここでは、１台のデジタルカメラを用い、異なる２つの視点から撮影を行うことで、ステレオ写真画像の撮影を行う場合を説明する。勿論、光学系を２つ備えた立体写真撮影用のカメラを用いてステレオ写真画像の撮影を行なう構成も可能である。

光学データ処理装置１００は、点群位置データ処理部４００、写真画像データ処理部５００、法線ベクトル抽出部６００、三次元モデル向き調整部７００、三次元エッジ位置合わせ部８００、三次元モデル統合部９００を備えている。点群位置データ処理部４００は、レーザースキャナ２００から得られる点群位置データに基づき、測定対象物の三次元モデルを作成する。点群位置データ処理部４００は、点群位置データ取得部４１０と三次元モデル作成部４２０を備えている。点群位置データ取得部４１０は、レーザースキャナ２００から送られてくる測定対象物の点群位置データを取得する（図１のステップＳ１００）。三次元モデル作成部４２０は、点群位置データ取得部４１０が取得した点群位置データに基づき、レーザースキャナ２００が計測した測定対象物の三次元モデルを作成する（図１のステップＳ２００）。三次元モデル作成部４２０の詳細については後述する。

写真画像データ処理部５００は、デジタルカメラ３００が撮影したステレオ写真画像の画像データに基づき、測定対象物の三次元モデルを作成する。ステレオ写真画像は、視点を左右にずらした左写真画像と右写真画像とで構成される。外部標定要素を用いてステレオ写真画像から、左右の偏位修正画像（左右の写真画像のエピポーララインを同一水平線上に再配置した画像）を作成し、この左右の偏位修正画像を左右に並べ、偏向眼鏡等を用いて左目で左偏位修正画像を選択的に視認し、右目で右偏位修正画像を選択的に視認することで、立体視を行うことができる。

写真画像データ処理部５００は、写真画像データ取得部５１０と三次元モデル作成部５２０を備えている。写真画像データ取得部５１０は、デジタルカメラ３００から送られてくる測定対象物のステレオ写真画像の画像データを取得する処理を行う（図１のステップＳ３００）。三次元モデル作成部５２０は、写真画像データ取得部５１０が取得したステレオ写真画像の画像データに基づき、デジタルカメラ３００が撮影した測定対象物の三次元モデルを作成する（図１のステップＳ４００）。三次元モデル作成部５２０の詳細については後述する。

法線ベクトル抽出部６００は、三次元モデル作成部４２０および５２０が作成した２つの三次元モデルを対象に、マンハッタンワールド仮説に基づく３方向の法線ベクトルの抽出（つまり直行するＸＹＺ軸の抽出）を行う。三次元モデル向き調整部７００は、法線ベクトル抽出部６００が抽出した各三次元モデルの法線ベクトルに基づき、三次元モデル作成部４２０および５２０が作成した２つの三次元モデルの一方または両方の向きを調整し、その向きを合わせる処理を行う。三次元エッジ位置合わせ部８００は、三次元モデル向き調整部７００により向きを合わせる調整が行われた２つの三次元モデル間において、対応する三次元エッジを求める処理を行う。三次元モデル統合部９００は、レーザースキャナ２００が計測した点群位置データに基づく三次元モデルと、デジタルカメラ３００が撮影したステレオ画像の画像データに基づく三次元モデルとを統合した三次元モデルを作成する。

レーザースキャナ２００が計測した点群位置データに基づく三次元モデルに統合される撮影画像に基づく三次元モデルは、１つに限定されず、複数であってもよい。例えば、レーザースキャナ２００が計測した点群位置データに基づく三次元モデルにオクルージョンが複数あり、この複数のオクルージョンがデジタルカメラ３００による１回のステレオ撮影では撮影できない場合があるとする。この場合、複数のオクルージョンを異なる視点から個別にステレオ写真撮影し、複数の視点毎のステレオ写真画像の画像データを写真画像データ処理部５００で処理し、複数の視点毎にステレオ写真画像由来の三次元モデルを作成する。そして、点群位置データ由来の三次元モデルとステレオ写真画像由来の三次元モデルとの統合を行うことで、第１次統合三次元モデルを作成し、次いで第１次統合三次元モデルと次のステレオ写真画像由来の三次元モデルとの統合を行うことで、第２次統合三次元モデルを作成し、といった処理を繰り返す。こうすることで、次々とオクルージョンを解消してゆき、三次元モデルの完成度を高めることができる。

（点群位置データからの三次元モデルの作成）
図２の三次元モデル作成部４２０の詳細、およびその動作（図１のステップＳ２００）の詳細について説明する。図３には、三次元モデル作成部４２０のブロック図が示されている。三次元モデル形成部４２０は、局所領域を取得する局所領域取得部４２１、局所領域の法線ベクトルを算出する法線ベクトル算出部４２２、局所領域の局所曲率を算出する局所曲率算出部４２３、局所領域にフィッティングする局所平面を算出する局所平面算出部４２４、非面領域除去部４２５、面ラベリング部４２６、輪郭線算出部４２７、二次元エッジ算出部４２８、エッジ統合部４２９を備えている。

局所領域取得部４２１は、点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部４２２は、局所領域取得部４２１が取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての点群位置データを対象として行われる。すなわち、点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。

局所曲率算出部４２３は、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求め、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（数１）。

局所平面算出部４２４は、局所領域にフィッティング（近似）する局所平面（局所空間）を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。

以上の処理を、局所領域を順次ずらしながら、全ての点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。

非面領域除去部４２５は、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。

非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る点群位置データを除去する。

（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。

（２）局所平面のフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。

（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。

上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る点群位置データを算出対象としている点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、点群位置データの中から非面領域の点群位置データが非面領域除去部４２５において除去される。なお、除去された点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。

次に面ラベリング部４２６の機能について説明する。面ラベリング部４２６は、非面領域除去部４２５において非面領域の点群位置データが除去された点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。

続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。

すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。

次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部４２６の機能である。この面ラベリング部４２６の機能によれば、扱うデータ量を圧縮できるので、点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の点群位置データをノイズとして除去することができる。

輪郭線算出部４２７は、隣接する面の点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部４２７は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。輪郭線を算出する処理の他の方法としては、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。

次に、二次元エッジ算出部４２８について説明する。以下、二次元エッジ算出部４２８で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。

エッジ統合部４２９は、輪郭線算出部４２７が算出した輪郭線と二次元エッジ算出部４２８が算出した二次元エッジとを統合する。これにより、点群位置データに基づく三次元エッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が三次元エッジとして抽出される。この三次元エッジにより測定対象物の外観が形作られ、三次元モデルが形成される。

（写真画像データからの三次元モデルの作成）
写真画像データ処理部５００の三次元モデル作成部５２０の詳細、およびその動作（図１のステップＳ４００）について説明する。以下において、１台のカメラを用い、位置を変えての撮影を行なうことで、左写真画像と右写真画像を得る場合の例を説明する。勿論、左右２台のカメラを用意して、左写真画像と右写真画像を同時に撮影する構成も可能である。

図４には、三次元モデル作成部５２０(図２参照）のブロック図が示されている。三次元モデル作成部５２０には、デジタルカメラ３００からステレオ画像を構成する左写真画像の画像データと右写真画像の画像データとが入力される。三次元モデル作成部５２０は、エッジ抽出部５１１、外部標定要素算出部５１２、マッチング処理部５１３、特徴点座標算出部５１４、三次元エッジ抽出部５１５を備えている。

（エッジ抽出部）
エッジ抽出部５１１は、左写真画像および右写真画像のそれぞれから測定対象物のエッジを抽出する。ここで、左写真画像および右写真画像は平面画像であるので、抽出の対象となるエッジは、画像中の測定対象物を構成する２次元の輪郭線の部分となる。エッジ抽出部５１１におけるエッジの抽出は、以下のようにして行われる。まず、Sobelフィルタを用い、エッジ強度の向きを用いたNMS（非最大値抑制）で細線化したのち、エッジ強度により閾値処理を行う。ここで、x軸方向の強度の微分をｆ_x、ｙ軸方向の強度の微分をｆ_yとすると、数２のよりエッジ強度Iが表される。

そして、左右の写真画像中における直線のコーナー（変曲点）の検出を行い、コーナーを除去した残りの線分の端点を直線として抽出する。図５には、エッジを抽出する原理が示されている。この場合、注目画素(x_1,y₁)から２画素前後離れた連結画素(x_o,y_o)、(x₂,y₂)による２つのベクトルaとベクトルb間の狭角値θ（下記数３参照）が特定の閾値（この場合は、３０°）以上であるか否かを判定し、当該狭角値が当該閾値以上である場合に、ベクトルの向きが変わる端点の部分をコーナー点として抽出する。

次に、エッジとして採用して妥当かどうかの評価が行われる。この処理では、まず抽出した直線の長さＬにおける各画素の強度Ｉの累積値を評価関数とし、この評価関数が予め決められた閾値を超えているか否かの判定がされる。この評価条件は、下記数４によって表される。

ここで、数４の左辺が閾値であり、その値は、最大強度Ｉのｋ倍として定義されている。この閾値は、実験的に求められた値を用いる。ｋの値は、例えばｋ＝５が用いられる。上記の評価をクリアした直線がエッジとして採用される。このエッジは、始点と終点（つまり両端の端点）の座標によって記述される。この方法によれば、強度の弱いノイズとなるエッジが除去され、測定対象物を特徴付けるエッジを効率よく抽出することができる。また、演算量を減らせるので、演算時間を短縮化できる。

（外部標定要素算出部）
外部標定要素算出部５１１は、ステレオ写真画像に基づき、相互標定法を用いて外部標定要素の算出を自動的に行なう。つまり、左右の写真画像の対応関係を演算により求め、その結果を用いて、相互標定法により左右の写真画像の撮影時におけるカメラの向きと位置（撮影対象物に対する相対的なカメラの向きと位置）の算出を行う。相互標定法は、既知点がなくとも相対的な外部標定要素が求められる方法である。処理の流れとしては、まず、左写真画像と右写真画像とにおける対応する特徴点を求める。そして、左右の写真画像で対応する特徴点から標定用の対応点を求め、この標定用の対応点を用いた相互標定法により左写真画像と右写真画像の外部標定要素を求める。

以下、順を追って外部標定要素を算出する手順を説明する。最初に対応する点に関する左写真画像と右写写真画像における位置の差である視差量を推定視差量として推定する。この処理では、まずエッジ抽出部５１１の機能により、左右の写真画像のそれぞれから、エッジ（２次元エッジ）の抽出が行われる。このエッジの抽出には、モラベック、ラプラシアン、ソーベルなどの微分フィルタが用いられる。なお、ここで抽出されるエッジの延在方向は特に限定されない。

次に、縮小画像を対象に、先に抽出したエッジの端点近傍をテンプレートとして、左右画像のステレオマッチングを正規化相互相関法によって行う。縮小画像を用いるのは、処理を高速化するためである。この処理により、先に抽出したエッジの端点を対象とした左右の写真画像間における対応関係の探索が行われる。ここで、左右の写真画像中でマッチングがとれた対応点（エッジの端部）の座標を(x,y)、(x_e,y_e)とし、(x,y)を射影変換した値点を(x’,y’)とすると、(x,y)と(x’,y’)との間の関係は、数５で表される。

数５の射影変換のパラメータｂ_１〜ｂ_８は、８点法にRANSAC処理を用いて算出する。この際、「撮影した画像中における建築物は平面と垂直成分のエッジから構成されている」という仮定に基づいて未知のパラメータｂ_１〜ｂ_８の推定が行われる。RANSAC処理は、以下の手順により、未知のパラメータを推定する手法である。（１）総データ個数がU個あるデータから、ランダムでn個のデータを取り出す。（２）取り出したn個のデータから、パラメータを求める（取り出すデータの個数は、求めるべきパラメータの数に比例する）。（３）求めたパラメータを、総データ点数から取り出したn個のデータを除いたものに式を当てはめ、観測されたデータと（２）で求めたパラメータの誤差を計算する。（４）誤差が許容範囲内であれば、パラメータに対して投票を行う。（５）〜（４）を繰り返し、投票数が一番多かったパラメータを仮パラメータとして仮採用する。（６）仮パラメータを使ってすべてのデータに再度式を適用し、誤差が許容範囲内のものを抽出する。（７）抽出したデータを元に、再度パラメータを求める。（８）求まったパラメータを、このデータのもっともらしいパラメータとする。

推定視差量Ｐは、Gibbs分布を表す式である数５により表される。ここで、残差Ｊ(Δp/Δq)が小さい程、特徴点として正しい可能性が高く、P=1に近いものを上位から複数選び視差推定量とする。また、このときの係数をs=0.05と設定する。

視差推定量Ｐを求めたら、左右の斜視画像間で対応関係が判明しているエッジの端点に着目し、その中から、垂直エッジ(垂直方向に延在しているエッジ)を構成している端点を選択し、この端点の部分における視差推定量Ｐを取得する。こうすることで、横向きの変形に強く、且つ、エピポーラライン上のマッチングを正確に行うことができる。

次に、左右の写真画像の等倍画像を対象に特徴点の再抽出を行う。ここで改めて抽出された特徴点の中から標定用の対応点が求められる。この特徴点の抽出には、モラベック、ラプラシアン、ソーベルなどの微分フィルタが用いられる。

次に、左右の写真画像から改めて抽出された特徴点を対象に、数６で示される視差推定量Ｐを基に、左右の写真画像間におけるステレオマッチングを行う。この処理は、視差推定量の算出を行った複数のエッジ端点の近傍における特徴点を対象として行われる。この処理では、左右の写真画像における探索する特徴点が推定した視差の範囲にあるとして、左右の写真画像中における複数の特徴点間の対応関係の探索が行われる。この処理は、射影歪に強くサブピクセル検出できるLSM法(最小二乗相関法)を用いて行われる。

次に、左右の写真画像における対応関係が求められた特徴点から、８点法＋RANSAC処理により、よりマッチング精度の高い上位の点を最低６点以上求め、それを標定用の対応点とする。そして、左右の写真画像において求められた標定用の対応点を利用して相互標定を行う。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める手法である。この際、基線長（左写真画像を撮影したカメラと右写真画像を撮影したカメラとの離間距離）を特定の値（例えば、計算し易い１ｍ）と仮定して計算を行う。あるいは、着目する２点の特徴点間の距離を適当な特定の値（例えば、計算し易い１ｍ）と仮定して計算を行う。

次に、相互標定法による外部標定要素の算出について説明する。相互標定は、既知点がなくとも相対的な外部標定要素が求められる方法である。また、既知点があれば、絶対標定を行うことで、絶対座標を求めることができる。図６は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める。相互標定では、投影中心Ｏ_１とＯ_２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数７に、共面条件式を示す。

図６に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数７の共面条件式は数８のようになり、この式を解けば各パラメータが求められる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｃの間には、次の数９に示すような座標変換の関係式が成り立つ。

これらの式を用いて、左右の写真画像の撮影地点間の距離または異なる位置の特徴点間の距離を適当な値と仮定した条件のもと、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ_１，φ_１，κ_２，φ_２，ω_２）の初期近似値は通常０とする。
（２）数８の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数９により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。

上記相互標定により、右写真撮影時および左写真撮影時におけるカメラ３００の外部標定要素（カメラ３００の位置および姿勢）が求められる。ここで求めた外部標定要素を記述する座標系は、基準の絶対値が判っていないローカル座標系であり、この時点において、レーザースキャナ２００から得られる点群位置データとの相関関係は、明らかでなく、実スケール（実際の寸法に関する情報）を持っていない。また、左右の写真画像の撮影地点間の距離または異なる位置の特徴点間の距離を適当な値と仮定して計算を行っているので、当該座標系は等方ではなく、上記値を仮定した２点間を結ぶ方向に伸び、あるいは縮んでいる。

左右の写真画像における外部標定要素を求めたら、バンドル調整を行う。バンドル調整では、測定対象物の特徴点、フレーム画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式を立て、最小二乗法によって同時調整が行われ、各パラメータの最適化が図られる。

外部標定要素を求める手法としては、上述した方法以外に、（１）予め位置が判明している基準点を撮影した左写真画像と右写真画像を取得し、基準点の三次元座標と左右の写真画像中における画像座標とに基づいて、後方交会法によってカメラの外部標定要素を算出する方法、（２）位置関係が既知の２点が決められたスケールを用意し、このスケールの撮影画像に基づいて、左右の写真画像の外部標定要素の算出を行なう方法等が挙げられる。

（マッチング処理部）
上述した外部標定要素の算出では、左右の写真画像において、標定用の対応点が求められているが、標定用の対応点では、密度が小さく三次元モデルの作成はできない。そこで、図４のマッチング処理部５１３は、左右の写真画像に基づく三次元モデルの作成を行うために、外部標定要素算出部５１２が算出した外部標定を用いて、左右の写真画像の特徴点の対応関係を特定する。

まず、外部標定要素算出部が算出した外部標定要素を用いて偏位修正画像（左右の写真画像のエピポーララインを同一水平線上に再配置した画像）を作成する。偏位修正画像は、左右の写真画像をエピポーラライン（モデル座標系のＺ軸線上（撮影対象物の奥行き方向の軸線上））に整列させた画像であり、モデル座標系に対して傾きを持たない写真画像のことである。例えば、左右の偏位修正画像を左右に並べ、偏向眼鏡等を用いて左目で左偏位修正画像を選択的に視認し、右目で右偏位修正画像を選択的に視認することで、立体視を行うことができる。

図７は、左右の写真画像の特徴点の対応関係を特定するマッチング処理の一例を示すフローチャートである。図８〜図１０は、処理の状態を段階的に示す左右の写真画像のイメージ図である。この処理では、測定対象物のエッジ（輪郭を構成する線）を利用したエッジマッチングによりマッチングが特定された特徴点を初期値とし、この初期値を格子に内挿して格子点を生成し、この内挿した格子点から他方の写真画像の対応する格子(探索範囲)を変形し、この変形した探索範囲でのステレオマッチングを行なう。更に、この一連の処理を１階層の処理とし、格子間隔を順次小さくすることで、段階的に探索範囲を狭めながらのステレオマッチングを行なう。また、階層が進むごとに、エッジを利用したエッジマッチングによりマッチングが特定された特徴点を初期値として順次付加し、その都度、この初期値を探索範囲の設定に用いることで、マッチングの精度を高めている。なお、ここでは、直線形状のエッジと複数のエッジの組み合わせで近似される曲線形状が示されている。

図７の処理が開始されると、まずエッジの抽出が行われる（ステップＳ４０１、ステップ１）。この処理は、図４のエッジ抽出部５１１によって行われる。図８には、抽出されたエッジの一例が概念的に示されている。次に、左写真画像と右写真画像の着目した特徴点における左右の写真画像間における視差を推定する（ステップＳ４０２）。ここで、着目する特徴点は、抽出されたエッジを特定する端点が選択される。視差の推定は、特定の特徴点に係る左右の写真画像間の視差を計算するための補助的な特徴点であるパスポイントを用いて行われる。パスポイントは、２点以上の複数が選択される。この処理では、パスポイント同士のマッチングがＬＳＭ（最小二乗）マッチングやテンプレートマッチングを用いて行なわれる。そして、着目している特徴点からパスポイントまでの距離に応じて、その寄与に重みを付け、その加重平均を当該特徴点に係る左右の写真画像間における視差の推定値Ｄとする。数１０に視差の推定値Ｄを算出するための計算式を示す。

Ｄn：各パスポイントの視差
Ln：着目する特徴点から各パスポイントまでの距離
Ｌs：着目する特徴点から各パスポイントまでの距離の合計

この手法によれば、パスポイント個々の視差の算出値が正確さに欠き、そこに誤差が含まれていても、誤差が平均化され、更に着目点からの距離の違いによる誤差の増大が抑えられ、精度の高い当該特徴点に係る視差の推定値を算出することができる。なお、視差の値は、特徴点毎に異なる可能性が高いので、着目する特徴点毎に算出する。図８のステップ２には、この段階の画像イメージが示されている。

ステップＳ４０２における視差の推定を行ったら、推定した視差に基づく探索範囲の設定を着目した特徴点毎に行う（ステップＳ４０３）。次に、推定した視差を探索範囲とした左右の写真画像における特徴点間の対応関係の探索が行われ、エッジを構成する端点の対応関係の特定が行なわれる（ステップＳ４０４、ステップ３）。この処理がエッジマッチングである。対応関係の特定は、例えば、最小二乗マッチング（ＬＳＭ）を用いて行われる。この際、把握し易い直線形状に沿った特徴点同士の対応関係が、限定された範囲で探索されるので、高精度のマッチングが可能となる。また、この際、エッジを特定する端点のマッチングの結果を利用して、２つの端点の間の点、すなわちエッジを構成する全ての特徴点のマッチングが調べられる。

次に、ステップＳ４０４（ステップ３）で対応関係が特定された左右の写真画像における特徴点の三次元座標の算出が行われる（ステップＳ４０５、ステップ４）。この処理は、図４の特徴点座標算出部５１４において、先に求めた外部標定要素を用いた前方交会法により行なわれる。この際の三次元座標は、先に外部標定を行ったローカル座標系におけるものが用いられる。またこの際、三次元座標の算出は、端点のみではなく、それに加えてその間の点、すなわちエッジを構成する全ての特徴点を対象に行なわれる。

次に、ステップＳ４０６（図９のステップ５）の処理を行う。この処理では、まず、ステップＳ４０５（図８のステップ４）で三次元座標が算出された特徴点（これが初期値となる）を用いてＴＩＮ(Triangular Irregular Network)の作成を行なう。ＴＩＮは、対象物の画像を三角形のパッチの集合として捉えた近似画像のことである。また、一方の写真画像上（この例の場合は、左写真画像を利用）において、一辺の長さがｐ^ｋの正方格子を形成する。なお、ｋは、階層の数である。階層の数ｋは、左右の偏位修正画像の画素数（Ｈ，Ｖ）から、Ｈ，Ｖの画素数の小さい方を３２画素以下になる２で割った回数、すなわちmin（Ｈ，Ｖ）／２^ｋ≦３２を満たすｋの最小値として設定される。格子間隔ｐ^ｋは、予め設定した分解能をＰｉ、当該格子の中心座標における視差をｄｍ、左右のカメラの間隔をＢとして、ｐ^ｋ＝Ｐｉ×（ｄｍ／Ｂ）で計算される。なお、ｐ^ｋの値は、後述するＴＩＮの内挿が可能な値が採用される。

そして、作成したＴＩＮを格子間隔ｐ^ｋの正方格子に内挿し、正方格子に内挿されたＴＩＮを作成する。この処理では、まず、エッジ（図８のステップ１）を構成する直線や曲線の上にある特徴点をDelaunay三角形分割し、Delaunay三角形を得る。そして、得られたDelaunay三角形の格子点におけるＺ値を内装し、格子点を頂点とする三角形を得る。この際、エッジを構成する特徴点として、端点および分割点のみではなく、それに加えてその間の点も利用する。

図９および図１１には、ステップＳ４０５（ステップ４）で三次元座標が算出された特徴点（これが初期値となる）を用いて作成したDelaunay三角形（ＴＩＮを構成する三角形）の一つＴＩＮ⁰と、ＴＩＮ⁰を正方格子に内挿することで得たＴＩＮ^kの関係が示されている。ここで、ＴＩＮ⁰の三箇所の頂点は、ステップＳ４０５で三次元座標が算出された特徴点から得られ、ＴＩＮ^kの三箇所の頂点は、格子の頂点である。図示するように、ＴＩＮ⁰に含まれる正方格子の各頂点におけるＴＩＮ⁰のＺ値によって、ＴＩＮ^kの各頂点が特定される。こうして、正方格子に内挿された三角形ＴＩＮ^kを得る。図９のステップ５には、このようにして形成されたＴＩＮ^ｋおよびＴＩＮ⁰が、簡素化されたイメージとして示されている。ここでは、格子に内挿された三角形として、ＴＩＮ^ｋのみが示されているが、同様の処理が格子の各部（各正方格子）において行われる。以上がＴＩＮの正方格子への内挿を行なうステップＳ４０６の処理についての説明である。

次に、ステップＳ４０７を行なう。ここで、ＴＩＮ^ｋは、奥行きのある三次元的な形状の一部を三角形で近似したものであり、その面が写真画像の面と一致するとは限らない（一致する場合もある）。したがって、図１１（Ａ）に示すように、例えばＴＩＮ^ｋの３つの頂点のｚ方向の座標値Ｚ^(K) _i,j、Ｚ^(K) _i+1,j、Ｚ^(K) _i+1,j+1は、一般に同じにならず、格子面に対してＴＩＮ^ｋは傾いている。ここで、ＴＩＮ^ｋの各頂点は、ステップＳ４０５においてその三次元座標の算出が行われているので、ＴＩＮ^ｋの面の向きと対応する格子の面の向きとの差、言い換えるとＴＩＮ^ｋの対応する正方格子に対する傾きは定量的に計算することができる。

ここで、左写真画像と右写真画像とは、異なる視点から撮影されているので、左写真画像で設定した正方格子に対応する右写真画像の格子は、正方ではなく、正方から歪んだ形状となる。この歪みの具合を勘案して、左写真画像に設定した格子点と右写真画像に設定した格子点間の対応関係をＬＳＭ等により探索することで、より精度の高いステレオマッチングを行なうことができる。ステップＳ４０７では、上記の意図を反映させ、右写真画像に設定される格子を変形させる。

この右写真画像における格子の変形は、以下のようにして行われる。まず、左写真画像の場合と同様な格子を右写真画像に導入する。この際、ステップＳ４０４（ステップ３）で対応関係が特定された特徴点を用いて左右の写真画像における格子（メッシュ）同士の位置関係を特定する。そして、左写真画像の格子点の法線ベクトルを算出する。この格子点の法線ベクトルは、当該格子点に隣接する三角面の法線ベクトルの平均として算出される。ここで、ＴＩＮ^ｋで示される三角の各頂点の三次元座標は、既知であるので、その面の法線ベクトルは算出可能である。正方格子の各頂点の法線ベクトルを求めたら、各頂点の法線ベクトルの向きに対応させて、右写真画像における対応する格子の形状を変形する。この対応する格子（右写真画像の格子）の変形は、視差によるずれが解消されるように行われる。すなわち、この場合でいうと、右写真画像における正方格子を左写真画像の視点から見た場合に、当該右写真画像の正方格子は歪むわけであるが、この歪んだ形状と一致（あるいは近似）するように、右写真画像の格子を正方格子から変形させる。このように、ＴＩＮ^ｋの傾きに基づいて、右斜視画像に設定された格子の変形が行なわれる。

以上がステップＳ４０７（図９のステップ６）で行なわれる処理の一例である。次に、右写真画像において設定した格子点（変形された格子の格子点）と左写真画像で設定した格子点との対応関係がＬＳＭによって行なわれる（ステップＳ４０８、ステップ７）。なお、このマッチング処理は、ＬＳＭに限定されず、テンプレートマッチング等の他の手法により行ってもよい。

次に、その時点で行なわれた処理が最後の階層である否か、が判定され（ステップＳ４０９）、最後の階層であれば、処理を終了し、最後の階層でないのであれば、ステップＳ４１０に進む。図１０には、２階層目に進んだ場合が示されている。また、図１０には、図９のステップ７でマッチングされた特徴点が●で示されている。この●で示されるマッチング点は、格子点同士の比較によって左右の写真画像において対応関係が特定された特徴点（マッチング点）である。なお、図では、記載を簡素化するために、右写真画像におけるマッチング点の位置には、図９のステップ７で示す格子の変形の状態は反映されていない。

ステップＳ４１０では、初期値として、左右の写真画像に、ステップＳ４０４（図８ステップ３）で特定したエッジを構成する特徴点を再度導入する。この際、端点と分割点以外の点も対象とする。例えば、図１０のステップ８には、前回の階層でのマッチング点（●）と初期値（○）が示されている。なお、以下の説明で明らかになるが、階層が進むにつれて、●に対応するマッチング点が増えてゆき、左右の写真画像のマッチングが段階的により精緻に行なわれてゆく。各階層におけるマッチングにおいて、初期値を混ぜることで、初期値によって基本的な（あるいは大まかな）マッチングを維持し、階層が進むにつれて誤差が増大する現象を抑えることができる。

ステップＳ４１０の後、格子間隔を前回の半分に設定する処理が行われ（ステップＳ４１１）、ステップＳ４０６以下の処理が再度実行される。図１０のステップ９以下には、格子間隔を前回の半分に設定した場合の処理の一例が示されている。この際、ＴＩＮ^kから１階層進んだＴＩＮ^k-1では、３箇所の頂点のＺ値は、図１１（Ｂ）に示す関係式によって算出される。こうして、各辺の寸法が半分（面積比で（１／４））にスケールダウンされた格子が設定され、この格子を対象として、前の階層の場合と同様な処理が行われる。この場合、図１０のステップ１０に示されるように、より小さい格子を対象に探索範囲の変形が行なわれ、左右の写真画像における格子点間のマッチングが調べられる（ステップ１１）。こうして、更に細かくマッチング点の特定が行なわれる。

図８のステップ４と図１０のステップ８を比較した場合から理解されるように、ステップ１１の次の段階では、ステップ９で設定した格子点でマッチング点が見つけられるので、マッチング点の数（密度）は更に増える。こうして、２階層目、３階層目と階層を経るにしたがって、マッチング点の数が増えてゆき、左右の写真画像の対応関係の特定が段階的により緻密に行なわれてゆく。

（三次元エッジ抽出部）
図４の三次元エッジ抽出部５１５について説明する。三次元エッジ抽出部５１５は、左右の写真画像において、既に求められている特徴点間の対応関係、およびその三次元座標に基づいて、三次元空間中における三次元エッジを抽出する。すなわち、マッチング処理部５１３によって、左右の写真画像中におけるエッジ（二次元エッジ）の端点の対応関係が特定され、特徴点座標算出部５１４によってその三次元座標の値が求められている。よって、三次元空間中における三次元エッジの端点の三次元座標は特定でき、三次元エッジを特定することができる。この処理が三次元エッジ抽出部５１５において行われる。この三次元エッジは、測定対象物の三次元構造を構成する線分であり、この三次元エッジにより三次元モデルが構成される。こうして、測定対象物を異なる２つの視点から撮影したステレオ写真画像に基づいて、三次元エッジが抽出され、測定対象物の三次元モデルのデータが作成される。

（法線ベクトル抽出部）
図２の法線ベクトル抽出部６００において行なわれる図１のステップＳ５００の詳細な一例を説明する。法線ベクトル抽出部６００は、三次元モデル作成部４２０が作成した三次元モデル(レーザー点群三次元モデル)、および三次元モデル作成部５２０が作成した三次元モデル（画像計測三次元モデル）を対象に、マンハッタンワールド仮説に基づく法線ベクトルの抽出を行う。この処理では、まず、「人工構造物には互いに直交する支配的な３軸が存在し、建造物を構成する面は、それらと垂直または平行に配置している」というマンハッタンワールド仮説に基づき、レーザー点群三次元モデルおよび画像計測三次元モデルから、その三次元方向の向きを決める３方向の法線ベクトルを抽出する。

（三次元モデル向き調整部）
三次元モデル向き調整部７００は、法線ベクトル抽出部６００が抽出した法線ベクトルに基づき、レーザー点群三次元モデルと画像計測三次元モデルの向きを合わせる処理を行う。ここで、３方向の法線ベクトルは、垂直方向（鉛直方向）の法線ベクトル、垂直方向に直交する水平２軸の法線ベクトルである。三次元モデル向き調整部７００は、２群の法線ベクトルの向きが概略一致するように、一方または両方の三次元モデルを回転させる。こうして、レーザー点群三次元モデルと画像計測三次元モデルの凡その向きを合わせる処理が行われる。なお、この状態においては、画像計測三次元モデルは実スケールを持っていない相対モデルであり、また特定の方向に縮小または拡大しているので、向きが合ったとはいえ、２つの三次元モデルは整合しない。

（三次元エッジ位置合わせ部）
図２に示す三次元エッジ位置合わせ部８００は、一方の三次元モデルにおける垂直方向における複数の三次元エッジ間の距離と角度を用いて、同様な位置関係を持つ他方の三次元モデルにおける垂直方向の三次元エッジの組み合わせを探索する。図１２に示すように、図２に示す三次元エッジ位置合わせ部８００は、垂直エッジ抽出部８０１、垂直エッジの相対位置特定用パラメータ取得部８０２、類似度算出部８０３、対応垂直エッジ算出部８０４、画像計測三次元モデル縮尺調整部８０５を備えている。

垂直エッジ抽出部８０１は、本発明における「第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出部」の一例である。この例において、垂直エッジ抽出部８０１は、各三次元モデルの中から垂直方向のエッジ（垂直エッジ）をそれぞれ３つ以上抽出する。垂直方向の判別は、既に取得されている３軸方向の法線ベクトルの情報に基づいて行われる。後述するように、垂直エッジの相対的な位置関係を用いて、２つの三次元モデル間における垂直エッジの類似性を判断するので、用いる垂直エッジは最低３つ必要である。勿論、その数が多い程、２つの三次元モデルのマッチング精度は高くなる。

垂直エッジの相対位置特定用パラメータ取得部８０２は、本発明における「第１群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および第２群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部」の一例である。垂直エッジの相対位置特定用パラメータ取得部８０２は、着目した垂直エッジの他の垂直エッジそれぞれに対する距離の算出、および着目した垂直エッジから見た他の垂直エッジそれぞれの角度方向の算出を行う。具体的には、着目した垂直エッジから他の垂直エッジそれぞれに向かうベクトルの長さと方位を計算する。以下、垂直エッジの相対位置特定用パラメータ取得部８０２について説明する。図１３には、複数の垂直エッジ間の距離と角度について示した概念図が示されている。図１３では、水平方向の直交する２軸がｘ軸とｙ軸としてある。図１３（Ａ）には、４つの垂直エッジを抽出した場合に、この４つの垂直エッジを垂直方向の上から見た様子が示されている。図１３には、垂直エッジが●印で示されている。まず、１３（Ａ）に示すように、４本の垂直エッジの中から、着目する垂直エッジである基準垂直エッジＥ_s(x_s,y_s)を決める。そして、数１１を用いて、基準垂直エッジＥ_s(x_s,y_s)と残りの垂直エッジＥ_i(E₁,E₂,E₃)との間の距離ｌ_i(l₁,l₂,l₃)を計算する。

次に、基準垂直エッジから見た他の垂直エッジの方位（角度方向）の算出を行う。図１３（Ｂ）には、垂直エッジ間の角度を算出する方法を説明する概念図が示されている。ここでは、既に２つの三次元モデルの凡その向きが合わせてあるので、角度計算の値は絶対値とし、基準垂直エッジから残りの垂直エッジに向けて引いたベクトルと、このベクトルのｘ軸との角度差ａ_i(ａ₁,ａ₂,ａ₃)を計算する。

以上のようにして、基準垂直エッジＥ_s(x_s,y_s)を中心としてとした残りの垂直エッジＥ_iまでの相対距離Ｌ_iおよび角度ａ_iを、レーザー点群三次元モデルと画像計測三次元モデルのそれぞれにおいて算出する。以上の計算は、抽出された垂直エッジの全ての組み合わせについて行う。例えば、図１３の場合でいうと、次にＥ₁に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、更にその次に、Ｅ₂に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、更にその次に、Ｅ₃に相当する垂直エッジを基準垂直エッジとして同様な処理を行い、といった処理を行う。

こうして、画像計測三次元モデルにおけるＬ_iとａ_iの組(Ｌ_i,ａ_i)と、レーザー点群三次元モデルにおけるＬ_iとａ_iの組(Ｌ_i’,ａ_i’)を得る。ここで、(Ｌ_i,ａ_i)と(Ｌ_i’,ａ_i’)は、着目した垂直エッジの他の垂直エッジに対する位置関係を特定するパラメータとして扱うことができる。すなわち、Ｅ_sからＥ_iへの複数のベクトルの組み合わせは、着目した垂直エッジが他の垂直エッジに対してどのような位置関係にあるのかを示すパラメータであり、この着目した垂直エッジを特定する固有の情報となる。例えば、複数ある垂直エッジにおいて、(Ｌ_i,ａ_i)が同じとなることは原理的に有り得ず、(Ｌ_i,ａ_i)は、各垂直エッジによって異なる。したがって、(Ｌ_i,ａ_i)と(Ｌ_i’,ａ_i’)は、着目した垂直エッジの相対位置を特定する相対位置特定用パラメータとなる。垂直エッジの相対位置特定用パラメータ取得部８０２は、(Ｌ_i,ａ_i)と(Ｌ_i’,ａ_i’)を算出し、そのデータを取得する。

類似度算出部８０３は、本発明における「第１群三次元エッジのそれぞれと第２群三次元エッジのそれぞれとの類似度を算出する類似度算出部」の一例である。類似度算出部８０３は、垂直エッジの相対位置特定用パラメータ取得部８０２が取得した(Ｌ_i,ａ_i)および(Ｌ_i’,ａ_i’)を用いて、両三次元モデル間における垂直エッジ間の類似度の算出を行う。この処理では、まず、Ｌ_iとＬ_i’の差を評価するパラメータΔｍ_iと、ａ_iとａ_i’の差を評価するパラメータΔａ_iを導入する。Δｍ_iは、基準の長さをＬ_sとして、数１２で表され、Δａ_iは、数１３で表される。

ここで、(Ｌ_i,ａ_i)と(Ｌ_i’,ａ_i’)の間の残差Ｊ(Δｍ_i,Δａ_i）を考える。この残差が小さい程、２つの三次元モデルの間において、着目した垂直エッジの類似度の程度が高いことになる。この類似度Ｓは、数１４で評価される。

ここで、ｎは比較するエッジの本数であり、図１３の場合、ｎ＝３で、Ｌ_sは、Ｌ_1, Ｌ_２,Ｌ_３のいずれか一つとした。また、Gibbs分布の係数r=0.05とした。数１４において、類似度が高い程、Ｓ_i＝１に近くなる。数１４を用いて、全ての組み合わせについて、Ｓを計算する。以上の処理が、類似度算出部８０３において行われる。

対応垂直エッジ選択部８０４は、本発明における「類似度に基づき、第１群三次元エッジの一つに対応する第２群三次元エッジの一つを選択する選択部」の一例である。対応垂直エッジ選択部８０４は、類似度算出部８０３が算出した類似度に基づき、類似度Ｓが最も大きい垂直エッジ同士の組み合わせを、画像計測三次元モデルとレーザー点群三次元モデルとの間で対応する垂直エッジとして選択する。

例えば、図１３において、垂直エッジE₁，E₂，E₃に対するE_sのx-y平面内における位置は、E_s固有のものである。これは、他の垂直エッジに着目した場合も同じである。したがって、左写真画像における特定の垂直エッジの(Ｌ_i,ａ_i)の値と、右写真画像における特定の垂直エッジの(Ｌ_i,ａ_i)の値とを比較し、その差が最も小さい組み合わせが左右の写真画像間で対応する垂直エッジとして抽出される。すなわち、左写真画像における特定の垂直エッジと右写真画像における特定の垂直エッジの組み合わせを考え、その組み合わせにおいて、数１４の値を計算し、その値が最大な組み合わせを見つけることで、左右の写真画像間で対応する垂直エッジを見つけることができる。

画像計測三次元モデル縮尺調整部８０５は、対応垂直エッジ選択部８０４が選択した対応する垂直エッジの位置が合うように、画像計測三次元モデルにアフィン変換を施し、画像計測三次元モデルとレーザー点群三次元モデルとの位置合わせ、言い換えると画像計測三次元モデルとレーザー点群三次元モデルとを整合させる処理を行う。この処理では、まず画像計測三次元モデルのレーザー点群三次元モデルに対する倍率とアフィン係数を求め、各軸のスケールを同倍率としたアフィン変換により、画像計測三次元モデルに実寸法を与える。すなわち、数１４を用いて計算した類似度が最も大きい組み合わせの垂直エッジ同士が重なるように、画像計測三次元モデルを移動させつつ伸び縮みさせる。前述したように、画像計測三次元モデルは等方的ではなく、方向による縮尺が均一でない。そこで、マッチングがとれた（すなわち、対応が明らかとなった）複数の垂直エッジ同士が重なるように、レーザー点群三次元モデルに対して画像計測三次元モデルを移動させつつ、伸び縮みさせる。

そして、マッチングがとれた垂直エッジ同士が重なる状態が得られた状態で、画像計測三次元モデルに実スケールが与えられる。なお、より詳細な位置合わせを行うために、上記の位置合わせ処理を行った後に、ＩＣＰ(Iterative Closest Point)法による更に詳細なマッチングの探察を行なうこともできる。

（三次元モデル統合部）
図２の三次元モデル統合部９００について説明する。三次元モデル統合部９００は、三次元エッジ位置合わせ部８００において探察された垂直エッジの対応関係に基づいて、画像計測三次元モデルとレーザー点群三次元モデルとを統合した統合三次元モデルの作成を行う。この統合された三次元モデルでは、レーザー点群三次元モデルにおいてオクルージョンとなっている部分が画像計測三次元モデルによって補完された状態となる。

図１４には、建築物をレーザースキャンおよび写真撮影する場合の概念図が示され、図１５には、図１４の計測が行われる場合に生じるオクルージョンについての概念図が示されている。図１４には、建築物１１０，１１２，１１３が示されている。図１４には、レーザースキャナ２００、パーソナルコンピュータを利用した光学データ処理装置１００、デジタルカメラ３００が示されている。なお、図示省略されているが、デジタルカメラ３００は、異なる２つの視点から個別に撮影を行い、左写真画像と右写真画像とから構成されるステレオ写真画像を得る。図１４には、レーザースキャナ２００の視点から見て、建築物１１３が建築物１１２の影となり、オクルージョンとなる場合の例が示されている。

図１５の斜線１４０の部分が、レーザースキャナ２００から見てオクルージョンとなる部分である。したがって、レーザースキャナ２００から得られるレーザー点群三次元モデルから建築物１１３が欠落する。他方で、デジタルカメラ３００の視点からは、建築物１１３が撮影できる。したがって、デジタルカメラ３００が撮影したステレオ写真画像に基づく画像計測三次元モデルとレーザースキャナ２００から得られるレーザー点群三次元モデルとを統合することで、建築物１１３が記述された三次元モデルを得ることができる。

ここで、破線で示された垂直エッジ１３１，１３２，１３３，１３４が、デジタルカメラ３００が撮影したステレオ写真画像に基づく画像計測三次元モデルおよびレーザースキャナ２００から得られるレーザー点群三次元モデルにおける共通の垂直エッジである。すなわち、垂直エッジ１３１，１３２，１３３，１３４は、レーザースキャナ２００から得られる点群位置データに含まれ、且つ、デジタルカメラ３００が撮影したステレオ写真画像にも含まれている。この垂直エッジ１３１，１３２，１３３，１３４が、図１２の三次元エッジ位置合わせ部８００の働きによって、両三次元モデル間において対応付けられる。そして、図３の三次元モデル統合部の働きによって、デジタルカメラ３００が撮影したステレオ写真画像に基づく画像計測三次元モデルとレーザースキャナ２００から得られるレーザー点群三次元モデルとが統合され、建築物１１３がオクルージョンとならない統合された三次元モデルが得られる。

（優位性）
以上述べたように、本実施形態では、点群位置データから得られた三次元モデルとステレオ写真画像から得られた三次元モデルを統合する処理において、対象物が建築物であるという仮定に基づき、垂直エッジの対応関係を求める。この際、垂直エッジを他の垂直エッジとの間の相対位置関係によって特徴付け、この相対位置関係を比較することで、両三次元モデル間における垂直エッジの対応関係の探索を行う。

この技術によれば、エッジを特定するデータは、点群そのものを取り扱う場合に比較して少なく済み、またエッジは特徴を把握し易い（言い換えると、他の部分と区別し易い）ので、レーザースキャナから得た点群位置データと撮影画像中の特徴点との対応関係を決める処理を高精度に効率よく行うことができる。特にエッジを両端の端点により特定することで、扱うデータ量を減らすことができ、演算の負担を減らすことができる。

垂直エッジを特徴付けるパラメータとして、他の複数の垂直エッジに対する相対位置関係を用いることで、各三次元モデル内において当該垂直エッジを顕著に特徴付けるパラメータ、言い換えると当該垂直エッジを他の垂直エッジから区別し特定することができるパラメータを得ることができる。このため、２つの三次元モデルにおける対応する垂直エッジの探索を効率よく高い精度で行うことができる。

垂直エッジの特徴を取得する方法として、垂直の方向から見た着目した垂直エッジと他の垂直エッジとを結ぶベクトルの組み合わせを利用することで、２つの三次元モデルにおける対応する垂直エッジの探索を行う演算を効率よく高い精度で行うことができる。特に、ベクトルの長さと予め決められた特定の方向に対する角度を用いて、着目する垂直エッジを特定する方法を採用することで、高い演算効率と演算精度を得ることができる。

ステレオ写真画像の外部標定要素の算出を写真画像中から抽出した垂直エッジに基づいて行う自動標定とすることで、抽出される標定用特徴点を画面中から偏りなく抽出することができる。偏った領域から標定用特徴点の抽出が行われると、相互標定の精度が低下し、あるいは異常値が算出される可能性が増大し、算出される外部標定要素の精度が低下する。外部標定用要素の精度の低下は、ステレオ写真画像を用いた三次元測量の精度の低下につながる。これに対して。垂直エッジを写真画像中から抽出した場合、画像中における抽出位置の偏りが抑えられるので、上述した外部標定要素の精度の低下が抑えられる。

また、実施形態で示した外部標定要素の算出方法は、ターゲットの設置やその計測が不要であり、必要な作業は、ステレオ写真画像を構成する左写真画像と右写真画像の撮影を行えばよいだけなので、現場での作業負担を大きく低減することができる。

また、上記の自動標定で得られる外部標定要素は、演算に用いるスケールを適当な値に定めた設定としているので、実スケールを持っておらず、また特定の方向に伸びたまたは縮んだ座標系におけるものとなっている。このため、レーザー点群三次元モデルと統合する前の段階における画像計測三次元モデルは、実スケールを持っておらず、上述した特定の方向に伸びたまたは縮んだ座標系で記述されている。しかしながら、対応する垂直エッジを用いた位置合わせの際に、画像計測三次元モデルをアフィン変換することで、レーザー点群三次元モデルとの整合が行われ、画像計測三次元モデルに実スケールが与えられる。そして、レーザー点群三次元モデルと画像計測三次元モデルとを統合した三次元モデルの作成が可能となる。

（その他）
図１３に示す処理では、垂直エッジを対象としているが、他の方向のエッジを対象として図１３に示す処理を行うこともできる。特定方向のエッジの抽出は、上述したマンハッタンワールド仮説を用いる手法以外の方法を用いても良い。例えば、（１）エッジの抽出、（２）抽出したエッジを３軸方向のそれぞれに分類、（３）分類されたエッジの中から顕著性のある特定方向のエッジの抽出、といった手法により、特定方向のエッジの抽出を行うこともできる。以下、この処理の一例を説明する、まず、左右の写真画像のそれぞれにおいて、エッジの抽出を行う。次に、同じ方向に延在したエッジを集め、その総延長距離を計算する。次に、総延長距離の長い順に、３番目までを選び、１番目のエッジ群を主エッジとして分類し、２番目と３番目のエッジを主エッジに直交する２軸のエッジとする。例えば、高層建築物が対象であれば、主エッジが垂直エッジとして選択され，水平方向に延在した低層階の建築物であれば、水平方向の一軸が主エッジの延在方向として選択される。

図２に示す光学データ処理装置１００の一部の機能を別の装置で行ってもよい。例えば、２台のコンピュータを回線で結び、第１のコンピュータで光学データ処理装置１００の一部の機能を実行し、その演算結果を第２のコンピュータに送り、第２のコンピュータで残りの機能を実行する形態も可能である。この場合、この２台のコンピュータを接続したシステムが本発明を利用した光学データ処理システムとして把握される。

２．第２の実施形態
第１の実施形態においては、主となる三次元モデルがレーザー点群三次元モデルであり、レーザー点群三次元モデルでオクルージョンとなる部分を補うために画像計測三次元モデルを用いる場合の例を説明した。これとは逆に、画像計測三次元モデルを主とし、それを補う形でレーザー点群三次元モデルを用いることも可能である。この場合、処理の手順は、第１の実施形態の場合と同じである。異なるのは、画像計測三次元モデルがより広い範囲を対象とし、その一部(オクルージョンとなる部分や精度に欠ける部分等を含む領域)をレーザー点群三次元モデルで補う点である。

この場合、第１の実施形態のように画像計測三次元モデルが実スケールを持っていない場合と予め外部標定要素を得るための計測が行われて実スケールを持っている場合の２通りがある。画像計測三次元モデルが実スケールを持っている場合、図７および図１３の処理を行うことで、画像計測三次元モデルとレーザー点群三次元モデルとの統合が行われる。

画像計測三次元モデルを主とする例としては、軽量無人航空機(Unmanned Aerial
Vehicle:UAV)等を用いて行われる航空写真測量により得られた三次元モデルを主とし、そこでオクルージョンとなる部分や精度が低い部分を地上で行われるレーザースキャニングにより得られたレーザー点群三次元モデルで補う場合が挙げられる。なお、レーザー点群三次元モデルと画像計測三次元モデルの何れが主な三次元モデルで、何れが補助的な三次元モデルであるのかが明確でない場合も有りうる。また、いずれの三次元モデルもオクルージョンを含み、それが他方の三次元モデルで互いに補われるような場合も有りうる。

３．第３の実施形態
統合する２つの三次元モデルの両方をレーザー点群三次元モデルとすることも可能である。この場合、異なる視点のそれぞれからレーザースキャニングが行われ、第１のレーザー点群三次元モデルと、第２のレーザー点群三次元モデルを得、この２つの三次元モデルを第１の実施形態で示した手順により統合する。ここで、２つの三次元モデルは、点群位置の座標値が判っている絶対モデルであるので、図１のステップＳ７００で行われる位置合わせは、アフィン変換ではなく、剛体変換（若干の向きの補正を含む）あるいは平行移動を一方または両方の三次元モデルに対して行うことで行われる。したがって、この例の場合、図１２の符合８０５の部分は、三次元モデルの剛体変換処理部または平行移動処理部として機能する。

４．第４の実施形態
統合する２つの三次元モデルの両方を画像計測三次元モデルとすることも可能である。この場合、異なる視点のそれぞれからステレオ写真画像の取得が行われ、第１のステレオ写真画像に基づく第１の画像計測三次元モデルと、第２のステレオ写真画像に基づく第２の画像計測三次元モデルを得、この２つの三次元モデルを第１の実施形態で示した手順により統合する。ここで、２つの三次元モデルの両方が実スケールを持っていない相対モデルである第１の態様、一方が相対モデルであり他方が、座標値が判っている絶対モデルである第２の態様、両方が絶対モデルである第３の態様が可能である。

本実施形態において、マッチングさせる２つの三次元モデルが共に相対モデルである場合、一方または両方の三次元モデルにアフィン変換を施し、両モデルの位置合わせが行われる。一方の三次元モデルが絶対モデルで他方の三次元モデルが相対モデルである場合、相対モデルである他方の三次元モデルにアフィン変換を施し、両モデルの位置合わせが行われる。

例えば、自立移動ロボットでは、自己の位置推定と、周囲の環境地図の作成とを同時に行う技術（SLAM：Simultaneous Localization
and Mapping）が用いられるが、この技術において、ある第１の位置で得たステレオ写真画像に基づいて取得した第１の画像計測三次元モデルと、第２の位置で得たステレオ写真画像に基づいて取得した第２の画像計測三次元モデルとの対応関係を求める処理が必要とされる場合がある。そのような場合に本発明の第１の三次元モデルと第２の三次元モデルとの対応関係を求める技術を利用することができる。

本発明は、三次元光学情報を取り扱う技術に利用することができる。

１００…光学データ処理装置、２００…レーザースキャナ、３００…デジタルカメラ、１１０，１１２，１１３…建築物、１３１，１３２，１３３，１３４…対応する垂直エッジ、１４０…オクルージョンとなる部分。

Claims (14)

1. 第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出部と、
   前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出部と、
   前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択部と
   を備えることを特徴とする光学データ処理装置。
2. 前記第１群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置および前記第２群三次元エッジのそれぞれにおける他の複数の三次元エッジに対する相対位置を特定する特定部を備え、
   前記類似度算出部は、前記相対位置の類似度を算出することを特徴とする請求項１に記載の光学データ処理装置。
3. 前記相対位置は、特定の三次元エッジと他の複数の三次元エッジとを結ぶ複数のベクトルの組み合わせによって表されることを特徴とする請求項２に記載の光学データ処理装置。
4. 前記類似度が前記複数のベクトルの長さと予め決められた第１の方向に対する角度とにより評価されることを特徴とする請求項３に記載の光学データ処理装置。
5. 前記特定の方向が垂直方向であることを特徴とする請求項１〜４のいずれか一項に記載の光学データ処理装置。
6. 前記三次元エッジが当該三次元エッジを構成する線分の端点によって特定されていることを特徴とする請求項１〜５のいずれか一項に記載の光学データ処理装置。
7. 前記第１の三次元モデルおよび前記第２の三次元モデルの少なくとも一方がステレオ写真画像に基づく三次元モデルであることを特徴とする請求項１〜６のいずれか一項に記載の光学データ処理装置。
8. 前記ステレオ写真画像を構成する左写真画像および右写真画像における垂直方向のエッジに基づき、前記左写真画像および前記右写真画像の外部標定要素の算出を行う外部標定要素算出部を備えることを特徴とする請求項７に記載の光学データ処理装置。
9. 前記ステレオ写真画像に基づく三次元モデルは伸びまたは縮んでおり、
   前記選択部により選択された前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの位置が合うように、前記ステレオ写真画像に基づく三次元モデルの縮尺を調整する縮尺調整部と、
   前記選択部により選択された前記第１群三次元エッジと前記第２群三次元エッジの組み合わせに基づき、前記縮尺が調整された前記ステレオ写真画像に基づく三次元モデルと他方の三次元モデルとを統合する三次元モデル統合部と
   を備えることを特徴とする請求項８に記載の光学データ処理装置。
10. 前記第１の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであり、前記第２の三次元モデルがステレオ写真画像に基づく三次元モデルである第１の場合、前記第１の三次元モデルおよび前記第２の三次元モデルがステレオ写真画像に基づく三次元モデルである第２の場合のいずれかであることを特徴とする請求項１〜９のいずれか一項に記載の光学データ処理装置。
11. 前記第１の三次元モデルおよび前記第２の三次元モデルがレーザー光の反射光から取得された三次元点群位置データに基づく三次元モデルであることを特徴とする請求項１〜６のいずれか一項に記載の光学データ処理装置。
12. 第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出手段と、
    前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、
    前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択手段と
    を備えることを特徴とする光学データ処理システム。
13. 第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出ステップと、
    前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出ステップと、
    前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択ステップと
    を備えることを特徴とする光学データ処理方法。
14. コンピュータに読み取らせて実行させる光学データ処理用プログラムであって、
    コンピュータを
    第１の三次元モデルから特定の方向に延在した複数の三次元エッジを第１群三次元エッジとして抽出すると共に第２の三次元モデルから前記特定の方向と同じ方向に延在した複数の三次元エッジを第２群三次元エッジとして抽出する抽出手段と、
    前記第１群三次元エッジのそれぞれと前記第２群三次元エッジのそれぞれとの類似度を算出する類似度算出手段と、
    前記類似度に基づき、前記第１群三次元エッジの一つに対応する前記第２群三次元エッジの一つを選択する選択手段と
    して動作させることを特徴とする光学データ処理用プログラム。

Images