JP6236118B2 - 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム - Google Patents

三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム Download PDF

Info

Publication number
JP6236118B2
JP6236118B2 JP2016102283A JP2016102283A JP6236118B2 JP 6236118 B2 JP6236118 B2 JP 6236118B2 JP 2016102283 A JP2016102283 A JP 2016102283A JP 2016102283 A JP2016102283 A JP 2016102283A JP 6236118 B2 JP6236118 B2 JP 6236118B2
Authority
JP
Japan
Prior art keywords
positional relationship
relative positional
dimensional
unit
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016102283A
Other languages
English (en)
Other versions
JP2016186488A (ja
Inventor
北村　和男
和男 北村
高地　伸夫
伸夫 高地
忠之 伊藤
忠之 伊藤
大谷　仁志
仁志 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Publication of JP2016186488A publication Critical patent/JP2016186488A/ja
Application granted granted Critical
Publication of JP6236118B2 publication Critical patent/JP6236118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Generation (AREA)

Description

測定対象物の三次元点群位置データから三次元形状を生成する技術が知られている。三次元点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、三次元点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。三次元点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。
例えば、特許文献１に記載の発明では、走査レーザー装置が三次元対象を走査して、ポイントクラウドを生成する。ポイントクラウドは、走査点に関する深さと法線の変化に基づいて、エッジポイントと非エッジポイントのグループに分割される。各グループを幾何学的原図にフィットさせ、フィットした幾何学的原図を拡張、交差させることで、三次元形状を生成する。
特許文献２に記載の発明では、三次元点群位置データからセグメント（三角ポリゴン）を形成し、隣接するポリゴン同士の連続性、法線方向、または距離に基づき、エッジおよび面を抽出する。また、各セグメントの三次元点群位置データの平面性または曲面性を、最小二乗法を用いて、平面方程式または曲面方程式に置き換え、グループ分けを行い、三次元形状を生成する。
特許文献３に記載の発明では、三次元点群位置データに対して二次元矩形領域を設定し、その矩形領域に対応する測定点の合成法線ベクトルを求める。そして合成法線ベクトルがＺ軸方向と一致するように、矩形領域内の全ての計測点を回転移動する。更に矩形領域内の各計測点についてＺ値の標準偏差σを求め、標準偏差σが所定値を超えた場合、矩形領域の中心点と対応する計測点をノイズとして取り扱う。
特表２０００−５０９１５０号公報 特開２００４−２７２４５９号公報 特開２００５−０２４３７０号公報
レーザースキャナを用いて三次元点群位置データを得る場合、レーザースキャナから見て、ある対象物の背後の部分の三次元点群位置データは、影となるので取得できない。この影の部分が生じる現象をオクルージョンという。この影となる取得できなかった部分の三次元点群位置データは、以前は影であった部分にレーザー光を当てることができる位置に視点を変更し、再度のスキャニングを行うことで得ることができる。
しかしながら、この方法によってオクルージョンを解消するには、２つの視点から得られたそれぞれ数万点〜数億点にもなる三次元点群位置データを共通の座標系で取り扱うための位置合わせを行う処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。
上記の位置合わせの方法としては、２つの三次元点群位置データの間で対応する点が明確になるように、予め測定対象物に複数のターゲットを貼り付けておき、この複数のターゲットに基づいて、２つの三次元点群位置データ同士の位置合わせを行う手法がある。しかしながら、この手法では、測定対象物にターゲットを貼り付ける作業が必要であり、例えば高層建築物等を対象とする場合、高所作業が必要となり、また足場が確保できないといった理由で、作業が簡単に行えない場合がある。
このような背景において、本発明は、異なる視点から得た三次元データを扱うための処理を効率よく行う技術の提供を目的とする。
請求項１に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部とを備え、前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とする三次元データ処理装置である。
請求項２に記載の発明は、請求項１に記載の発明において、前記相対位置関係算出部は、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の三次元空間内での位置関係を示す相関データ群を算出し、前記対応面決定部は、前記第１の複数の面における前記相関データ群と前記第２の複数の面における前記相関データ群との類似性を評価し、前記第１の複数の面における前記相関データ群が、前記第１の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第１の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であり、前記第２の複数の面における前記相関データ群が、前記第２の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第２の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の発明において、前記投影用設定面は、その法線ベクトルが前記注目面の法線ベクトルと特定の角度関係を有していることを特徴とする。請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記投影用設定面は、前記注目面と同じ法線ベクトルを有していることを特徴とする。
請求項５に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部とを備え、前記相対位置関係は、前記注目面の縁と前記他の面の縁との間の距離であることを特徴とする三次元データ処理装置である。
請求項６に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部とを備え、前記相対位置関係の類似性は、前記第１の複数の面における前記注目面に係るヒストグラムと前記第２の複数の面における前記注目面に係るヒストグラムとの類似性であり、前記第１の複数の面における前記注目面に係るヒストグラムは、前記第１の複数の面における前記注目面に対する前記第１の複数の面における前記他の面の角度と、当該他の面の面積との関係であり、前記第２の複数の面における前記注目面に係るヒストグラムは、前記第２の複数の面における前記注目面に対する前記第２の複数の面における前記他の面の角度と、当該他の面の面積との関係である三次元データ処理装置である。
請求項７に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置システムであって、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部とを備え、前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とする三次元データ処理システムである。
請求項８に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理方法であって、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップとを備え、前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とする三次元データ処理方法である。請求項９に記載の発明は、第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理するプログラムであって、コンピュータに前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップとを実行させ、前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とするプログラムである。
本発明によれば、異なる視点から得た三次元データを扱うための処理を効率よく行う技術が得られる。
実施形態のブロック図である。 実施形態のブロック図である。 異なる２つの視点から得られた三次元モデルの一例である。 実施形態における処理の手順の一例を示すフローチャートである。 注目面と他の面との間の相対位置関係を複数の位置で算出する処理の一例を示す概念図である。 距離画像の一例を示す概念図である。 実施形態における処理の手順の一例を示すフローチャートである。 距離画像の類似度を調べる際に用いられる概念を説明する概念図である。 実施形態における処理の手順の一例を示すフローチャートである。 位置合わせの処理で用いられる概念を説明する概念図である。 位置合わせの処理で用いられる概念を説明する概念図である。 実施形態における処理の手順の一例を示すフローチャートである。 面の角度情報を用いて対応面を求める方法の原理を説明する概念図である。 面の角度情報を用いて対応面を求める際に用いられるヒストグラムの一例を示す概念図である。 レーザースキャナの内部構造の一例を示す内部構造図である。 レーザースキャナの内部構造の一例を示す内部構造図である。 レーザースキャナに係るブロック図である。 レーザースキャナに係るブロック図である。 三次元点群位置データの一例を示す概念図である。 三次元点群位置データの一例を示す概念図である。
１．第１の実施形態
以下、発明を利用した三次元点群位置データ処理装置の一例について、図面を参照して説明する。なお以下の説明において、三次元点群位置データは、測定対象物の各測定点における三次元座標データを含んでいる。三次元座標を表示する座標系は、直交座標系または極座標系が採用される。図１には、三次元点群位置データ処理装置１００が示されている。三次元点群位置データ処理装置１００は、異なる２つの視点から得られた測定対象物の三次元点群位置データの位置合わせを行う機能、および位置合わせが行われた２つの視点から得られた測定対象物の三次元点群位置データを統合して扱うことで、測定対象物の三次元モデルを作成する機能を備えている。三次元点群位置データ処理装置１００は、パーソナルコンピュータ上においてソフトウェア的に構成されている。三次元点群位置データ処理装置１００をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。
利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の画像表示装置、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部およびそのインターフェース部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、専用のコンピュータを用意することもできる。また、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）等を用いて構成した専用のハードウェアによって三次元点群位置データ処理装置１００を構成することも可能である。
三次元点群位置データ処理装置１００には、測定対象物の三次元点群位置データの取得を行うレーザースキャナが接続される。レーザースキャナからは、異なる視点から得られた少なくとも２群の三次元点群位置データが入力される。レーザースキャナは、測定対象物にレーザー光を照射し、その反射光を受光することで、レーザースキャナの設置位置（視点）から測定点までの距離、方位、仰角または俯角の情報を取得し、これらの情報に基づき、測定点の三次元位置座標に係る情報を算出する。また、レーザースキャナは、測定点からの反射光の強度、色、色相、彩度等に関する情報を取得する。レーザースキャナはこれらの情報に基づき、三次元座標値を含む点群位置データを算出し、それを三次元点群位置データ処理装置１００に出力する。レーザースキャナの詳細な構成の一例は後述する。
異なる２つの視点からの三次元点群位置データの取得は、１台のレーザースキャナを用いて行う方法でもよいし、２台のレーザースキャナを用いて行う方法でもよい。視点の数は、異なる２つが基本であるが、さらに３つ、４つ、それ以上とすることも可能である。以下においては、基本となる異なる２つの視点で得られた三次元点群位置データを処理の対象とする場合の例を説明する。また、三次元点群位置データを取得する方法としては、レーザースキャナを用いる方法以外に、画像処理ソフトウェアを用いて立体写真画像から抽出する方法を採用することもできる。
図１に示す三次元点群位置データ処理装置１００は、三次元点群位置データ取得部１０１、三次元モデル作成部１０２、類似度判定部１０３、距離相関データ算出部１０４、対応面決定部１０５、対応面位置合わせ部１０６、詳細位置合わせ部１０７、座標統合部１０８、統合三次元モデル作成部１０９、統合画像作成部１１０を備えている。
三次元点群位置データ取得部１０１は、上述したレーザースキャナからの三次元点群位置データを取得する。ここでは、異なる２つの視点において取得した同一の測定対象物に係る三次元点群位置データが三次元点群位置データ取得部１０１に入力される。なお、レーザースキャナの出力に基づき、三次元点群位置データ取得部１０１において三次元点群位置データの算出を行う形態も可能である。
三次元点群位置データ処理装置１００は、三次元モデル作成部１０２を備えている。三次元モデル作成部１０２は、非面領域の算出、非面領域の除去、ラベリング処理、輪郭線等の特徴部分の算出、輪郭線により構成される三次元モデルの作成、およびこれらに関連した演算を行う。三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した画像である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。なお、三次元モデルには、上述した線の情報だけではなく、測定対象物の外観を視覚的に把握する際の特徴部分となる点の情報も含まれる。また、三次元モデルをラベリングされた面によって構成される多面体として表現することも可能である。
以下、図１の三次元モデル作成部１０２の詳細について説明する。図２には、三次元モデル作成部１０２のブロック図が示されている。三次元モデル作成部１０２は、非面領域算出部２０１、非面領域除去部２０２、面ラベリング部２０３、輪郭線算出部２０４、二次元エッジ算出部２０５、エッジ統合部２０６を備えている。以下、これら各機能部について説明する。非面領域算出部２０１は、局所領域を取得する局所領域取得部２０１ａ、局所領域の法線ベクトルを算出する法線ベクトル算出部２０１ｂ、局所領域の局所曲率を算出する局所曲率算出部２０１ｃ、局所領域にフィッティングする局所平面を算出する局所平面算出部２０１ｄを備えている。
局所領域取得部２０１ａは、三次元点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部２０１ｂは、局所領域取得部２０１ａが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における三次元点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての三次元点群位置データを対象として行われる。すなわち、三次元点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。
局所曲率算出部２０１ｃは、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求める。またこの結果に基づき、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（数１）。
Figure 0006236118
局所平面算出部２０１ｄは、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。以上の処理を、局所領域を順次ずらしながら、全ての三次元点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。
非面領域除去部２０２は、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。
非面領域除去部２０２は、三次元点群位置データ取得部１０１が取得した三次元点群位置データの中から、算出した非面領域の三次元点群位置データを除去する。非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る三次元点群位置データを除去する。
（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。
（２）局所平面へのフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。
（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。
上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る三次元点群位置データを算出対象としている三次元点群位置データから除去する。以上のようにして、非面領域の除去が行われる。なお、除去された三次元点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった三次元点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。
次に、面ラベリング部２０３について説明する。面ラベリング部２０３は、面抽出部の一例である。面ラベリング部２０３は、非面領域の三次元点群位置データが除去された三次元点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。
続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。
すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。
次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部２０３の機能である。
この面ラベリング部２０３の機能によれば、扱うデータ量を圧縮できるので、三次元点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の三次元点群位置データをノイズとして除去することができる。
輪郭線算出部２０４は、隣接する面の三次元点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部２０４は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。
次に、二次元エッジ算出部２０５について説明する。二次元エッジ算出部２０５は、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。
二次元エッジの算出後、輪郭線算出部２０４が算出した輪郭線と二次元エッジ算出部２０５が算出した二次元エッジとを統合する。この処理はエッジ統合部２０６において行われる。これにより、三次元点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線（輪郭線）が抽出され、三次元モデルのデータが得られる。
図３には、三次元モデルの一例が示されている。図３（Ａ）と（Ｂ）には、異なる視点からの測定対象物４００，４００’（この場合は、平屋の建物の例）の三次元モデルが示されている。なお、符号４０９の部分はガラス面であり、レーザー光が透過し、三次元点群位置データの取得ができなかった（あるいは不正確であった）例が示されている。
本実施形態において、三次元点群位置データ処理装置１００は、異なる２つの視点において測定された三次元点群位置データが入力される。このため、三次元モデル作成部１０２は、図３に例示するような異なる２つの視点から得られる三次元モデルを作成する。この２つの三次元モデルは、図３に例示されているように、同じ測定対象物をデータ化し、線図として表現したものであるが、この段階で三次元モデル作成部１０２において得られる三次元モデルは、２つの視点から得られた三次元点群位置データの関連付け（位置合わせ）が行われていないので、互いの対応関係は明確ではない。この意味で、図３では、同一の測定対象物であるが、三次元モデルとして表された測定対象物に対して、異なる符号４００と符号４００’を付与している。
図１に戻り、類似度判定部１０３は、以下の処理を行う。前述したように、三次元モデル作成部１０２では、異なる２つの視点から見た三次元モデルを作成している。この三次元モデルを作成する過程において、図２を参照して説明したように、測定対象物を構成する面の抽出が行われている。つまり、図３に示すように、測定対象物は、複数の面の集合（多面体）として把握され、その輪郭の情報によって三次元モデルが作成されている。類似度判定部１０３では、異なる視点から得られた２つの三次元モデルを構成する面の類似度を判定する。すなわち、第１の三次元モデルの特定の面が、第２の三次元モデルの特定の面とどの程度の類似度があるかを判定する。
この類似度の判定は、以下のようにして行われる。ここでは、図３に例示する三次元モデルを例として説明する。まず、既に図２の面ラベリング部２０３において抽出されているそれぞれの三次元モデルにおける面のデータを取得する。そして、該当する三次元モデルを構成する面の中から、その面積の順に上位ｎ個を選択する。ｎの数は任意であるが、ここでは、説明を簡単にするために、例えばｎ＝４とする。この例の場合、三次元モデル４００を構成する面の中の上位４つの面４０１，４０２，４０３，４０４を抽出する。また、測定対象物の三次元モデル４００’ を構成する面の中の上位４つの面４０５，４０６，４０７，４０８を抽出する。これにより、面積に着目して処理の対象が絞り込まれる。
次いで、第１群の面４０１，４０２，４０３，４０４と第２群の面４０５，４０６，４０７，４０８とにおける形状の類似度（マッチング）を演算により求める。ここでは、形状の類似度として、対象となる第１群の面の幅をＷ１、高さをＨ１、第２群の面の幅をＷ２、高さをＨ２として、下記の数２に基づき、類似度Ｓを算出する。
Figure 0006236118
ここで、ＳＷおよびＳＨの値が１以上とならないように、Ｗ１／Ｗ２またはＷ２／Ｗ１の一方、Ｈ１／Ｈ２またはＨ２／Ｈ１の一方を選択する。下記表１および表２に、算出された図３の例示の場合の類似度の値の一例を示す。
Figure 0006236118
Figure 0006236118
表１および表２に例示される形状の類似性を算出することで、大雑把な面同士の類似性の評価が行われる。以上の処理が類似度判定部１０３において行われる。類似度判定部１０３における処理により、例えば、面４０１と類似するのは、面４０５または４０６であり、面４０３と類似するのは、面４０７または面４０８であることが判る。この形状を用いて類似度を判定する処理により、後で行われるより詳細な類似度を調べる際における比較する対象のペアの数を減らすことができ、演算量を削減できる。言い換えると、表１の面４０１と面４０８というような、より詳細な類似度の演算を行うことが無駄な対象を省くことができ、処理を効率化できる。面の形状の類似性を調べる方法としては、面の形状をモデル化、類型化あるいは単純化したもの同士を比較する方法も可能である。
類似度判定部１０３の処理の後、距離相関データ算出部１０４において、以下の処理が行われる。距離相関データ算出部１０４は、注目面と他の面との間の相対位置関係を算出する相対位置関係算出部の一例である。この例において、距離相関データ算出部１０３は、表１および表２に例示した結果に基づき、上位２組の組み合わせについて、更により詳細な類似度を求める処理を行う。上記表１および表２に示す例でいうと、面４０１と面４０５、面４０１と面４０６、面４０３と面４０７、面４０３と面４０８の組み合わせが、類似性の高い候補となる。
以下、ここで行われる処理の内容を具体例に即して説明する。図４は、距離相関データ算出部１０４において行われる処理の一例を示すフローチャートである。処理が開始されると（ステップＳ１０１）、まず注目面が選択される（ステップＳ１０２）。注目面は、類似度判定部１０３において類似度が高いと判定された候補の中から選択される。ここでは、注目面として面４０１が選択される場合の例を説明する。
図５は、距離相関データ算出部１０４において行われる処理の内容を説明するための概念図である。図５には、面４０１が注目面として選択された場合の例が示されている。面４０１が注目面として選択された場合、面４０１に基づいて投影用設定面５００が測定空間上に設定される（ステップＳ１０３）。投影用設定面５００は、面４０１の法線方向から見て、面４０１と重心を共有し、同じ法線ベクトルを有している。また、投影用設定面５００は、面４０１の端から５ｍの範囲に大きさを拡張した面とされ、面４０１の手前側５ｍの位置に設定されている。なお、投影用設定面５００の当該法線方向における位置は、面４０１の手前側でなくその奥側であってもよい。また、投影用設定面５００と面４０１の法線方向における位置を一致させることも可能である。また、投影用設定面５００の法線ベクトルと面４０１の法線ベクトルとを同じ方向ではなく、特定の角度関係とすることも可能である。投影用設定面５００の大きさは、面４０１周囲のその他の面が投影できるように、上述したように面４０１より大きく拡張された寸法とする。この寸法は、上記の５ｍに限定されず、他の値であってもよい。
投影用設定面５００を設定したら、測定対象物４００を構成する複数の面のそれぞれを投影用設定面５００に投影する。この際、投影の方向は、投影用設定面５００の法線方向において行う。また、投影の対象となる測定対象物４００を構成する複数の面は、図３（Ａ）および図３（Ｂ）に示すものに限定されず、三次元モデル作成部１０２での処理においてラベリングされたすべての面に対して行われる。なお、演算量を減らすために、面を構成する点群の数に閾値を設け、予め定めておいた規定の数以上の点群で構成される面（つまり、規定の面積以上の面）に対して上記の処理を行うようにしてもよい。そして、格子状に設定した複数の位置における各面と投影用設定面５００までの距離を算出する（ステップＳ１０４）。この距離は、投影用設定面５００の法線の方向（面４０１の法線の方向）におけるものが算出される。なお、ここでは、格子の間隔（分解能）は０．０５ｍに設定されている。
すなわち、設定された格子点の各点において、当該法線方向で重なる面間の距離の算出が行われる。具体的には、投影用設定面の法線方向で考えて、投影用設定面５００と面４０１が重なる部分の各格子点における投影用設定面５００と面４０１との間の距離、投影用設定面５００と面４０４が重なる部分の各格子点における投影用設定面５００と面４０４との間の距離が算出される。また、面４０２と面４０３は、投影用設定面５００に対して垂直であるので、投影用設定面５００に最も近い部分の距離を算出する。投影用設定面５００と各面との間の距離を投影用測定面５００の各格子点で求めることで、注目面である面４０１と他の面とが三次元的にどのような位置関係にあるにかが定量的に把握される。
各格子点における投影用設定面５００と各面の距離とを算出したら、予め定めておいた規定の値を超えるものを除外する（ステップＳ１０５）。これは、誤差や無駄な演算を排除するためである。こうして、投影用設定面５００の法線方向における投影用設定面５００と各面（面４０１およびその周囲の他の面）との間の距離の値が格子状に分布したマトリクスデータが得られる。このマトリクスデータが、測定対象物４００における面４０１と他の面との間の三次元空間内での位置関係を示す相関データ群となる。この相関データ群は、各格子点における投影用設定面５００と各面との間の距離の値がマトリクス状に分布したデータとなる。表３にこの相関データ群の一例を示す。ここで、（Ｘn, Ｙm）で示される座標が格子点の位置であり、Ｚmnが投影用設定面５００と各面との間の距離である。Ｚmnには、投影用設定面５００と注目面である面４０１との間の距離、および投影用設定面５００と注目面である面４０１の周囲における複数のその他の面との間の距離が含まれている。
Figure 0006236118
表３の相関データ群は、測定対象物４００を構成する面４０１（注目面）と、測定対象物４００を構成するその他の面との三次元的な相対位置関係が、投影用設定面５００との間の距離の分布状態として表現されたものである。言い換えると、表３に例示される相関データ群は、注目面と他の面とが奥行き方向でどのような位置関係にあるのかが、投影用設定面との間の奥行き方向における距離の二次元的な分布状態として定量的に評価されたデータ群であるといえる。表３に例示される相関データ群により、注目面と他の面とが三次元的にどのような位置関係にあるのかを定量的に評価することができる。表３に示される格子点毎における投影用設定面５００から、測定対象物４００を構成する面４０１およびその周囲のその他の面までの距離の分布状態は、測定対象物４００における面４０１の三次元位置に強く相関しており、測定対象物４００における面４０１の三次元位置を特定可能な固有なデータ群となる。すなわち、図３（Ａ）および図５の場合でいうと、面４０１と面４０２，４０３，４０４との間の奥行き方向における距離を投影用設定面５００上の各格子点で記録したマトリクスデータは、立体的な形状を有する測定対象物４００における面４０１の三次元的な位置を特徴付ける面４０１固有のもので、同じマトリクスデータが、他の面で得られる可能性は極めて低く、実施的に無いに等しい。この傾向は、測定対象物４００の形状が複雑になる程、そしてその非対称性が大きい程、顕著になる。
ここでは、このマトリクスデータに基づいて、当該注目面（この場合は、面４０１）に係る距離画像を作成する（ステップＳ１０６）。距離画像は、格子点毎に算出された投影用設定面５００と、法線方向で重なる測定対象物４００を構成する各面との間の距離の違いを濃度等の違いとして表示した画像のことである。すなわち、この段階において、投影用設定面５００上の各格子点において、投影用設定面５００と、この投影用設定面５００に投影された面との間の距離が求められている。この各格子点における距離の値を画素情報として画像化したものが距離画像である。距離画像により、測定対象物における注目面の三次元的な位置を評価することができる。例えば、２つの距離画像の類似性が高ければ、この２つの距離画像における注目面が同一の面である可能性がそれだけ高くなる。なお、距離画像は便宜的なもので、演算において、画像情報と同様に扱うことができるので、画像と呼んでいるだけであり、実際に画像データを生成する必要はない。
図６には、距離画像の一例が示されている。図６には、図５の状況に対応する距離画像が示されている。図６の場合、図５の投影用設定面５００に最も近い面が白で示され、次に投影用設定面５００に近い面が斜線で示されている。なお、ガラス面４０９は正確な三次元点群位置データの取得ができなかったので面としてラベリングされていない場合が示されている。また、図５の面４０２，４０３の図示は省略されている。
ステップＳ１０６にける距離画像の作成を行ったら、ここで注目していた注目面以外の注目面の候補があるか否か、が判定され（ステップＳ１０７）、他の注目面の候補があれば、ステップＳ１０２以下の処理を繰り返し、他の注目面の候補がなければ、処理を終了する（ステップＳ１０８）。こうして、図１の類似度判定部１０３の判定により絞り込まれた面の全てについて、図６に例示した距離画像を作成する。例えば、面４０１と面４０５、面４０１と面４０６、面４０３と面４０７、面４０３と面４０８の組み合わせが、類似性の高い候補として選択されている場合、面４０１を注目面とした距離画像、面４０３を注目面とした距離画像、面４０５を注目面とした距離画像、面４０６を注目面とした距離画像、面４０７を注目面とした距離画像、面４０８を注目面とした距離画像を作成する。
以上が図１の距離相関データ算出部１０４において行われる。次に、対応面決定部１０５について説明する。対応面決定部１０５は、距離相関データ算出部１０４において取得された距離画像に基づき、図３（Ａ）の第１の視点における面４０１，４０２，４０３，４０４と、図３（Ｂ）の第２の視点における面４０５，４０６，４０７，４０８との間における対応する面を探し出す処理を行う。対応面決定部１０５は、第１の視点における距離画像の一つと、第２の視点における距離画像の一つとを比較し、その差が最小なものを２つの視点において対応する面とする処理を行う。すなわち、図３（Ａ）の視点から得た複数の距離画像と、図３（Ｂ）の視点から得た複数の距離画像とを個別に比較し、最も類似する距離画像のペアを探し出し、このペアの距離画像における注目面を対応する面とする処理を行う。
図７は、対応面決定部１０５において行われる処理の一例を示すフローチャートである。処理が開始されると（ステップＳ２０１）、まず、距離画像同士の重心の位置を一致させた状態で、２つの距離画像の比較を行う（ステップＳ２０２）。ここでは、同一の座標点（格子点）における距離の値を比較し、その差の平均であるＲＭＳを算出する。この際、少なくとも一方の距離の値がない場合は、その格子点での差の算出は行わない。ＲＭＳは、下記の数３によって算出される。
Figure 0006236118
図８は、上記数３のＰiおよびＱiについて説明する概念図である。図８には、第１の距離画像上の特定の格子点における距離の値に対応する位置にある点Ｑ１と第２の距離画像上における特定の格子点における距離の値に対応する位置にある点Ｐ１が示されている。ここで格子点の数がＮ個ある場合に、ＲＭＳは、上記数３によって算出される。ここで、距離画像の類似度が近い程、ＲＭＳの値は小さくなり、距離画像が異なる程、ＲＭＳの値は大きくなる。なお、距離画像が同じものであれば、理想的にはＲＭＳ＝０となるが、実際には、誤差の問題もあり、同じ距離画像であってもＲＭＳ＝０とはならない場合がある。ＲＭＳは、考えられる組み合わせの全ての面のペアにおいて算出される。下記表４にＲＭＳの計算結果の一例を示す。表４に示すように、２つの視点から見て対応する面を注目面とした距離画像同士に係るＲＭＳは小さく、対応しない面を注目面とした距離画像同士に係るＲＭＳの値は大きい。
Figure 0006236118
そして、算出されたＲＭＳが最小な値の組み合わせが選択される（ステップＳ２０３）。この例の場合でいうと、ＲＭＳが最小となる面４０１と面４０５を注目面とする組み合わせが、対応する面の組み合わせとして選択される。そして、このＲＭＳが最小となる注目面の組み合わせを対応する面として決定し（ステップＳ２０４）、対応面決定部１０５で行われる処理が終了する（ステップＳ２０５）。
ここで、ＲＭＳが小さいということは、比較する２つの距離画像の類似性が高いということである。２つの距離画像の類似性が高いということは、対象となる２つの注目面に係る他の面に対する距離の相関データ群の類似性が高いということであり、これは、これら２つの注目面の他の面に対する位置の相関関係の特殊性が類似しているということである。前述したように、測定対象物における注目面と他の面との間の三次元空間内での位置関係を示す相関データ群は、その面を特定する概念として利用できる。したがって、第１の視点における面から選ばれた上記相関データ群と、第２の視点における面から選ばれた上記相関データ群とを比較し、その差が最小なものを探すことで、面４０１と面４０５により示されるような２つの視点で対応する面を探し出すことができる。
図１に戻り、対応面の位置合わせ部１０６は、対応面決定部１０５が決定した対応する面の位置合わせを行う。図９は、対応面決定部１０５で行われる処理の一例を示すフローチャートである。処理が開始されると（ステップＳ３０１）、一方の対応面を他方の対応面に合わせるために必要な変換行列の算出が行われる（ステップＳ３０２）。例えば、図３の場合でいうと、面４０１の重心の位置と面４０５の重心の位置を合わせ、さらにこの２つの面の法線の向きを合わせる剛体変換を行うための変換行列の算出が行なわれる。例えば、面４０５を面４０１に一致させる場合を考える。この場合、面４０５を面４０１に一致させるのに必要な、面４０５の平行移動を表す変換行列をＴＣ、面４０５を回転させる変換行列をＲＣとし、更に変換前の第２の視点における三次元点群位置データをＰ２、変換後の第２の視点における三次元点群位置データをＰ２’とすると、この変換は、下記数４によって示される。
Figure 0006236118
この剛体変換を第２の視点において得られた三次元点群位置データの全てに対して行うことで、第１の視点から得られた三次元点群位置データと第２の視点から得られた三次元点群位置データとの概略の位置合わせが行われる（ステップＳ３０３）。この位置合わせが行われることで、第１の視点から得られた三次元点群位置データと第２の視点から得られた三次元点群位置データとの対応関係が明らかになり、２つの三次元点群位置データを同じ座標系で取り扱うことができるようになる。
原理的には、上記の方法で、異なる２つに視点から得られた三次元点群位置データ同士の位置合わせ、すなわち、第１の視点において得られた三次元点群位置データと第２の視点において得られた三次元点群位置データとの対応関係を求めることができる。しかしながら、ノイズや測定誤差の影響によって、重心の位置の僅かなずれ等が生じる場合がある。
そこで、位置合わせの精度を更に高めるために、対応する面として選択されたもの（例えば、図３の面４０１および面４０５）の輪郭（縁の部分）およびエッジ（角の部分）が合うように、数４の変換行列を補正する補正値を算出する。この処理は、大体の位置合わせが完了しているので、膨大な三次元点群位置データを対象とする必要がなく、短時間の処理で行うことができる。面４０１や４０５の輪郭やエッジの位置は、面４０１や面４０５を特徴付けるパラメータであり、その位置を合わせ込むことで、対応する２つの面の位置合わせの精度を更に高めることができる。この処理は、対応面決定部１０５で行ってもよいし、対応面の位置合わせ部１０６で行ってもよい。
次に詳細位置合わせ部１０７について説明する。対応面の位置合わせ部１０６における位置合わせでは、一つの面を足掛かりとした位置合わせであるので、ある程度の誤差が生じる場合が多い。そこで、対応面の位置合わせ部１０６での処理の結果に基づき、詳細位置合わせ部１０７において更に詳細な位置合わせを行い、位置合わせの精度が高められる。
以下、詳細位置合わせ部１０７において行われる処理の詳細について説明する。ここでは、上記の数４による座標変換の後における面の情報を用いて、既に決まっている対応面以外の面、すなわち図３の場合でいうと、この段階で既に対応付けが行われている面４０１，面４０５以外の面に関する対応付けが行われる。この対応付けで、まず対象とする２つの面が同一平面上にあるか否か、が判定される。この判定は、共平面条件を用いて行われる。
図１０は、共平面条件を説明する概念図である。まず、候補となる２つの平面の法線ベクトルをｎ１，ｎ２とし、この２つの面上の点をｐ１，ｐ２とし、この２つの点を結ぶベクトルをｐとする。ここで、２つの面の一方の面は、第１の視点から得た三次元点群位置データに基づく面あり、他方の面は、第２の視点から得た三次元点群位置データに基づく面である。ここで、共平面を決める式である数５を用いて、２つの面が同一平面上にあるか否か、を判定する。
Figure 0006236118
ここでは、ｄ＝１よりも小さい場合に、比較する２つの面が同一平面上にあると判定される。２つの面が同一平面上にあると判定された場合、更にこの２つの面が重なっているか否か、について判定する。ここでは、２つの面が７５％以上重なっている場合に、２つの視点において対応する面であると判定する。この同一平面上にあるか、そして同一平面にあるとしてそれが重なっているか、についての判定を全ての面に対して行う。この際、大体の位置関係は判っているので、上記の判定を行う候補は絞り込むことができ、総当りで演算を行う場合に比較して演算量は飛躍的に減らすことができる。
次に対応面と判定された全ての面のペアを取り出す。そして、第１の視点は面を、第２の視点は面に属する点を用い、図１１に示すように対応する面と点との間の距離ｄを計算する。ここで、第２の視点の面に属する点Ｐ２’（数４によって剛体変換済み）から面の法線Ｎｖ２の方向に伸ばしたベクトルと第１の視点の対応面との交点をＩｐ１とすると、上記距離ｄは、下記数６によって表される。
Figure 0006236118
図１１では、第２の面上の１点からの距離を示しているが、第２の視点に属する対応の取れた面上の全ての点についてこの計算を行い、その総和を誤差とする。そして次に、この誤差を最小化する。ここでは、多次元滑降シンプレックス法を用いてこの誤差の最小化を行う。まず、距離の総和を表す誤差評価関数Ｅ（数７）を導入する。
Figure 0006236118
ここで、Ｅが最小となるように、剛体変換パラメータ、ＲｄおよびＴｄを求める。ここでは、計算に用いるシンプレックスの反射、拡大、縮小の係数をそれぞれ１．０、０．５、２．０とする。また、収束判定には、下記の数８を用いる。
Figure 0006236118
数７は、反復計算の途中で得られる変換パラメータから、最大と最小の誤差を持つパラメータＴｈ，Ｒｈ，Ｔｌ，Ｒｌ、それらを用いて誤差を算出する関数ｆを用いて計算される。この反復計算は、数８の条件を満たすときに収束したと判断し、計算を停止させる。ここでは、ｅ＝１．０−１２を収束の条件とする。また、収束しない場合であっても、反復計算の上限を５０００回とする。
こうして、対応面決定部１０５で決定された対応面以外の面についても対応関係が求められ、異なる２つの視点において得られた三次元点群位置データの更に詳細な位置合わせが可能となる。以上の処理が、詳細位置合わせ部１０７において行われる。
詳細位置合わせ部１０７での位置合わせは、上記の手法の他に、公知のＩＣＰ(Iterative Closest Point)アルゴリズムを用いて行うこともできる。この場合、ある程度の位置合わせが対応面位置合わせ部１０６で行われているので、ＩＣＰアルゴリズムにおける比較点の選択、対応点探索、不要点除去の処理を行わずに済む。そのため、誤差最小化計算のみとなり、少ない演算量で高い演算精度を得ることができる。誤差最小化には、滑降シンプレックスの他に最急降下法やニュートン法などを用いることも可能である。ＩＣＰアルゴリズムを用いた場合、面と面同士が比較され、反復計算により対応付けが行われる。
図１の座標統合部１０８は、対応面の位置合わせ部１０６および詳細位置合わせ部１０７において得られた剛体変換パラメータに基づき、第１の視点から得られた三次元点群位置データを記述する第１の座標系と、第２の視点から得られた三次元点群位置データを記述する第２の座標系とを統合する。これは、例えば一方の座標系を他方の座標系に変換することで行われる。こうすることで、２群あった三次元点群位置データを一つの座標系で取り扱うことができる状態となる。これにより、例えば、図３（Ａ）の第１の視点から得られた三次元点群位置データと図３（Ｂ）の第２の視点から得られた三次元点群位置データとを統合して取り扱うことができるようになる。
統合三次元モデル作成部１０９は、異なる２つの視点から得られた三次元点群位置データに基づき、三次元モデルを作成する。この場合に得られる三次元モデルは、一方の視点からはオクルージョンとなる部分が他方の視点からの三次元点群位置データによって補完されたものとなる。統合画像作成部１１０は、三次元モデル作成部１０９において作成された三次元モデルの画像データを生成する。この画像データを液晶ディスプレイ等の表示装置に送り、表示を行わせることで、例えば図３に示すような三次元モデルの画像表示が行われる。
例えば、図３（Ａ）の第１の視点から得られた三次元点群位置データと図３（Ｂ）の第２の視点から得られた三次元点群位置データとを統合して取り扱うことで得られた三次元モデルは、第１の視点から見た状態に回転させると、図３（Ａ）のように見え、それを回転させ図３（Ｂ）の視点から見た状態とすると、図３（Ｂ）に示す表示となる。この際、第１の視点から見えない面４０６や第２の視点からは見えない面４０２がオクルージョンとなる問題が発生しない。
こうして、図３（Ａ）と図３（Ｂ）の少なくとも一方から見える部分については、三次元モデルを回転させてもオクルージョンは発生せず、三次元ＣＡＤデータと同様に回転させての表示を行わすことができる画像データを得ることができる。
（動作の一例）
以下、図１の三次元点群位置データ処理装置１００の動作の一例を説明する。図１２は、三次元点群位置データ処理装置１００の動作の一例を示すフローチャートである。処理が開始されると（ステップＳ４０１）、まず図１の三次元点群位置データ取得部１０１において、異なる２つの視点から得られた三次元点群位置データの取得が行われる（ステップＳ４０２）。そして図１の三次元モデル作成部１０２における三次元点群位置データに基づく処理が行われ、その過程において、面のラベリングが行われ、測定対象物の面の抽出が行われる。この処理は、２つの視点から得られた２群の三次元点群位置データのそれぞれに対して行われる（ステップＳ４０３）。
次に、抽出された面のデータに基づき、類似度の判定処理が行われ（ステップＳ４０４）、その結果に基づき、類似度が高い面の組が抽出される（ステップＳ４０５）。この処理は、図１の類似度判定部１０３において行われる。次に、類似度判定部１０３において、類似していると判定された対応面の候補を対象として、他の面に対する距離の相関データが算出され、距離画像の作成が行われる（ステップＳ４０６）。この処理は、図１の距離相関データ算出部１０４において、例えば図４に示す手順に従って行われる。
次に、ステップＳ４０６において作成した距離画像が比較され（ステップＳ４０７）、各座標における距離データの差に基づくＲＭＳが最小となる組み合わせが、異なる２つの視点から得られた面同士の対応する面（対応面）として決定される（ステップＳ４０８）。この処理は、図１の対応面決定部１０５において、例えば図７に示す手順に従って行われる。
対応面が決定したら、対応面の位置合わせを行い、一方の視点における対応面の座標と他方の視点における対応面の座標との対応関係が求められる（ステップＳ４０９）。この処理は、図１の対応面位置合わせ部１０６において、例えば図９に示す手順に従って行われる。
ステップＳ４０９の後、対応面以外の面同士の位置合わせを行うことで、更に詳細な位置合わせを行う（ステップＳ４１０）。この処理は、図１の詳細合わせ部１０７において、例えば図１０および図１１に関連して説明した手順に従って行われる。
ステップＳ４１０の詳細な位置合わせを行った後、異なる２つの視点から得られた三次元点群位置データ同士の対応関係を求め、２つの三次元点群位置データを統合して扱う座標系を取得する。そして、この座標系を用いて統合された三次元モデルを作成し（ステップＳ４１１）、処理を終了する（ステップＳ４１２）。
（優位性）
測定対象物を構成する複数の面に含まれる面４０１を特徴付ける要素として、面４０１と同じ法線ベクトルを有する投影用設定面５００を計測空間に設定し、面４０１を含めた他の面を投影用設定面５００に投影する。この際、各面と投影用設定面５００との距離を投影用設定面５００に設定した格子点で算出し、そのマトリクスデータを、面４０１を特徴付ける距離画像とする。この距離画像を他の面においても作成し、また他の視点から見た面においても作成する。そして、２つの視点における距離画像同士を比較し、その差が最小な距離画像の組が得られた面の組み合わせを２つの視点における対応する面とする。
この方法によれば、第１の視点における注目面と第２の視点における注目面における当該注目面を特徴づける相関データ群を比較することで、同じ特徴を有する注目面同士を対応面として決定することができる。表３に例示するような相関データ群は、当該注目面固有のもので、当該注目面を特徴付ける極めて顕著性の高いものであるので、差が最も少ない相関データ群の組み合わせを探し出すことで、極めて高い精度で対応面を探し出すことができる。
また、対応面の決定後に、他の面の対応関係を算出することで、より精度の高い位置合わせが可能となる。この際、対応面を求めることで、既に凡その位置合わせが行われているので、演算の対象となる範囲が絞り込まれ、位置の合わないデータ間の関係を探索するような無駄な処理を抑えることができる。このため、精度を維持しつつ、処理時間が抑えられる。
また、面積および形状の類似性を利用して対応面の候補を絞り込み、その後に距離画像を用いた対応面の決定を行うことで、演算量を減らし、且つ、精度を維持することができる。
（その他）
測定対象物における注目面と他の面との間の三次元空間内での位置関係を示す相関データ群としては、図５に例示する方法で取得する方法以外に多様なバリエーションを考えることができる。例えば、注目面の重心から対象となる他の面の複数の位置までの距離を算出し、それを図６の距離画像のようにマトリクスデータとして取得することで、注目面を特徴づけてもよい。また、注目面の縁と他の面の縁との間の距離を計算し、距離画像に対応するデータ群を得る方法もある。これらの場合も、注目面と他の面との三次元的な位置関係が定量的に把握され、それにより注目面が特徴付けられ、測定対象物において注目面を他の面から識別することが可能となる。
ここでは、視点の数が２つの場合を基本的な場合の例として説明したが、更に第３の視点、第４の視点・・・と異なる視点からの情報を統合してゆくことで、オクルージョンを更に減らし、また得られる三次元モデルの精度をより高くできる。また、複数の視点の一部から得られる三次元点群位置データとして、立体写真画像から抽出したものを採用することも可能である。例えば、主な三次元点群位置データがレーザースキャナから得られている場合において、一部の三次元点群位置データを補完したい場合がある。このような場合、レーザースキャナを用いるより、写真撮影による立体写真画像に基づく三次元点群位置データの取得の方が作業効率の点で好ましい場合がある。このような場合は、レーザースキャナから得られた三次元点群位置データと立体写真画像から得られた三次元点群位置データとを対象として、対応面の算出が行われる。
２．第２の実施形態
注目面と他の面との間の相対位置関係を利用して対応面を探し出す方法としては、第１の実施形態で説明した測定対象物における注目面と他の面との間の三次元空間内での位置関係を示す相関データ群を利用する方法が最適であるが、他の方法もある。以下、注目面と他の面との間の相対位置関係を利用して対応面を探し出す方法の他の一例を説明する。ここでは、対応面を検出する方法として、測定対象物の三次元形状に係るパラメータを比較し、そのマッチングに基づき、対応面を検出する方法を説明する。
図１の三次元点モデル作成部１０２は、三次元点群位置データに基づき、測定対象物の外観を複数の面の集合として取り扱うことができるようにする処理を行う。ここで各面は、他と区別できるラベルとして扱われる。ラベルは、面の位置および面の向きのデータを持っている。ラベルの位置は、例えばその面の重心の三次元座標によって特定されている。
このラベルの分布状態（あるいは組み合わさった形状）を比較し、その差が最小となる位置関係を求めることで、対応する面（対応面）を特定することができる。図１３は、ラベルを用いたマッチングの手法を説明する概念図である。図１３（Ａ）には、測定対象物に対して第１の視点から三次元点群位置データの取得を行い、更に第２の視点から三次元点群位置データの取得を行う様子が概念的に単純化されたモデルとして記載されている。
ここで、測定対象物は、ラベル１が付与された第１の面、ラベル２が付与された第２の面、ラベル３（ラベル１’）が付与された第３の面、ラベル４（ラベル２’）が付与された第４の面、ラベル３’が付与された第５の面、ラベル４’が付与された第６の面から構成されている。
ここで、第１の視点からは、ラベル３’およびラベル４’がオクルージョンとなり、その部分の三次元点群位置データは取得されていない。図１３（Ｂ）には、第１の視点から得られたラベリングされた測定対象物のモデル(ラベルによって構成された測定対象物のモデル)が示されている。なお、本来は、ラベリングされた測定対象物のモデルは、三次元的なモデルであるが、ここでは、２次元的な単純化されたモデルが示されている。
また、第２の視点からは、ラベル１およびラベル２がオクルージョンとなり、その部分の三次元点群位置データは取得されていない。図１３（Ｃ）には、第２の視点から得られたラベリングされた測定対象物のモデルが示されている。
２つの視点から得られた三次元点群位置データ同士の位置合わせ（つまり対応関係の特定）が行われる前の段階では、図１３（Ｂ）のラベリングモデルと図１３（Ｃ）のラベリングモデルの対応関係は明らかでない。以下、２つのラベリングモデルにおける隣接するラベル間の相関関係を比較し、その類似性から２つのラベリングモデルの位置合わせを行う手法により、図１３（Ｂ）のラベリングモデルと図１３（Ｃ）のラベリングモデルの対応関係は明らかにする手法を説明する。
ラベルは、ラベリングされた面の向きやその重心位置の情報で特徴付けられている。したがって、図１３の場合でいうと、ラベル１とラベル２の相関関係、ラベル２とラベル３の相関関係、ラベル３とラベル４の相関関係は、隣接するラベルの相対位置と向きの関係を特定することで明らかになる。そして、隣接するラベルの相関関係によって図１３（Ｂ）に示すラベリングモデルの形状が特定される。また同様に、隣接するラベルの相関関係によって図１３（Ｃ）に示すラベリングモデルの形状が特定される。
以下、具体的な処理の一例を説明する。図１４には、特定のラベルを基準として、横軸にこの特定のラベルに対する他のラベルの角度をとり、縦軸に当該角度にあるラベルを構成する三次元点群の数を点数としたものをとったヒストグラムの一例が示されている。ここで、ヒストグラムの縦軸は、面の面積に対応するパラメータと把握することができる。この例では、図１３（Ｂ）に示す第１の視点から得られた各ラベルのそれぞれを基準としたヒストグラムと図１３（Ｃ）に示す第２の視点から得られた各ラベルのそれぞれを基準としたヒストグラムを作成する。このヒストグラムは、隣接するラベルの相関関係を示すものとなる。
ここでは、図１４に示すヒストグラムの類似性が高いものを選び、それを対応する面として選択する。例えば、図１４には、第１の視点から得られたラベル３のヒストグラムと第２の視点から得られたラベル１’のヒストグラムとが類似している場合が示されている。したがって、この場合、図１３（Ｂ）のラベル３と図１３（Ｃ）のラベル１’とが対応する面として選択される。そして、図１４には図示されていないが、同様のヒストグラムを比較する作業を行うことで、図１３（Ｂ）のラベル４と図１３（Ｃ）のラベル２’とが対応する面として選択される。こうして、図１３（Ｄ）に示すような第１の視点から得られたラベルと第２の視点から得られたラベルとの対応関係が求まる。そしてこの対応する面が求まることで、図５〜図７を参照して説明した距離画像を用いての対応面の決定の場合と同様に、異なる２つの視点から得られた三次元モデル間で対応する面を求めることができる。
以上の処理を図１の三次元点群位置データ処理装置１００で行う場合、距離相関データ算出部１０４の部分を、上記のヒストグラムを生成する処理部に置き換える。そして、対応面決定部１０５の部分で類似するヒストグラムを選び出し、対応面を決定する処理が行われるようにする。
ラベルに係る情報は、三次元点群位置データに比較してデータ量が圧倒的に少なくできる。このため、図１３に示す原理に基づく演算は、三次元点群位置データをそのまま利用してのマッチングを行う場合に比較して、演算速度を飛躍的に高めることができる。
また、上述したヒストグラムを用いる方法以外の方法による位置合わせも可能である。例えば、図１３（Ｂ）と図１３（Ｃ）に示す２つのラベリングモデルの位置合わせを行う場合を説明する。この場合、ステレオマッチング方等の手法により、形状が合う部分を探し出し、対応する面を決定する。例えば、図１３（Ｂ）のラベリングモデルと図１３（Ｃ）のラベリングモデルの一方または両方を動かし、更に必要であれば、倍率を可変し、共通する相関関係を有するラベル３，ラベル４の部分とラベル１’，ラベル２’の部分とが重なるようにすることで（図１３（Ｄ）参照）、２つのラベリングモデルで対応する面を探し出すことができる。
ここで述べた複数のラベルの向きの関係を用いての対応する面を求める手法は、第１の実施形態で説明した距離画像を用いる手法と組み合わせて用いることも有効である。例えば、本実施形態で示した方法で対応面の候補を絞り込み、その上で第１の実施形態の方法で対応面を決定する方法が挙げられる。また、第１の実施形態で示した方法を用いて対応面を決定し、この対応面を含む複数の面に本実施形態の方法を適用する方法も挙げられる。また、測定対象物の形状に応じて、第１の実施形態の方法または本実施形態の方法を適宜選択し、対応面の決定を行う方法も可能である。
３．第３の実施形態
以下、三次元点群位置データを処理する機能を有する三次元レーザースキャナについて説明する。この例において、三次元レーザースキャナは、測定対象物に対して測距光（レーザー光）を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、この三次元レーザースキャナは、レーザー光の照射方向（水平角および高低角）を検出し、距離および照射方向に基づいて測定点の三次元座標を算出する。また、この三次元レーザースキャナは、測定対象物を撮影した二次元画像（各測定点におけるＲＧＢ強度）を取得し、二次元画像と三次元座標とを結び付けた三次元点群位置データを形成する。さらに、ここで示す三次元レーザースキャナは、図１に関連して説明した三次元点群位置データ処理装置１００の処理を行う機能を有している。
（構成）
図１５および図１６は、三次元レーザースキャナ１の構成を示す断面図である。三次元レーザースキャナ１は、整準部２２、回転機構部２３、本体部２７、および回転照射部２８を備えている。本体部２７は、測距部２４、撮影部２５、制御部２６等から構成されている。なお、図１５は、説明の便宜のため、図１６に示す断面方向に対して、回転照射部２８のみ側方から見た状態を示している。
整準部２２は、台盤２９を有し、回転機構部２３は下部ケーシング３０を有する。下部ケーシング３０は、ピン３１と２個の調整ネジ３２とにより３点で台盤２９に支持されている。下部ケーシング３０は、ピン３１の先端を支点にして傾動する。なお、台盤２９と下部ケーシング３０との間には、台盤２９と下部ケーシング３０とが互いに離反しないようにするため、引っ張りスプリング３３が設けられている。
下部ケーシング３０の内部には、２個の整準モータ３４が設けられている。２個の整準モータ３４は、制御部２６によって互いに独立して駆動される。整準モータ３４の駆動により整準駆動ギア３５、整準従動ギア３６を介して調整ネジ３２が回転し、調整ネジ３２の下方への突出量が調整される。また、下部ケーシング３０の内部には傾斜センサ３７（図１３参照）が設けられている。２個の整準モータ３４は、傾斜センサ３７の検出信号により駆動され、これにより整準が実行される。
回転機構部２３は、下部ケーシング３０の内部に水平角用駆動モータ３８を有する。水平角用駆動モータ３８の出力軸には水平回動駆動ギア３９が嵌着されている。水平回動駆動ギア３９は、水平回動ギア４０に噛合されている。水平回動ギア４０は、回転軸部４１に設けられている。回転軸部４１は、回転基盤４２の中央部に設けられている。回転基盤４２は、下部ケーシング３０の上部に、軸受け部材４３を介して設けられている。
また、回転軸部４１には水平角検出器４４として、例えばロータリーエンコーダが設けられている。水平角検出器４４は、下部ケーシング３０に対する回転軸部４１の相対的回転角（水平角）を検出する。水平角は制御部２６に入力され、制御部２６は、その検出結果に基づき水平角用駆動モータ３８を制御する。
本体部２７は、本体部ケーシング４５を有する。本体部ケーシング４５は、回転基盤４２に固着されている。本体部ケーシング４５の内部には鏡筒４６が設けられている。鏡筒４６は、本体部ケーシング４５の回転中心と同心の回転中心を有する。鏡筒４６の回転中心は、光軸４７に合致されている。鏡筒４６の内部には、光束分離手段としてのビームスプリッタ４８が設けられている。ビームスプリッタ４８は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸４７は、ビームスプリッタ４８によって光軸４９と光軸５０とに分離される。
測距部２４は、鏡筒４６の外周部に設けられている。測距部２４は、発光部としてのパルスレーザ光源５１を有する。パルスレーザ光源５１とビームスプリッタ４８との間には、穴あきミラー５２、レーザー光のビームウエスト径を変更するビームウエスト変更光学系５３が配設されている。測距光源部は、パルスレーザ光源５１、ビームウエスト変更光学系５３、穴あきミラー５２で構成されている。穴あきミラー５２は、パルスレーザ光を穴部５２ａからビームスプリッタ４８に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部５４に向けて反射する役割を有する。
パルスレーザ光源５１は、制御部２６の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ４８によって高低角用回動ミラー５５に向けて反射される。高低角用回動ミラー５５は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー５５は、高低角方向に回転することで、鉛直方向に延びる光軸４７を高低角方向の投光光軸５６に変換する。ビームスプリッタ４８と高低角用回動ミラー５５との間でかつ鏡筒４６の内部には集光レンズ５７が配設されている。
測定対象物からの反射レーザー光は、高低角回動用ミラー５５、集光レンズ５７、ビームスプリッタ４８、穴あきミラー５２を経て測距受光部５４に導かれる。また、測距受光部５４には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部５４で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部５４で受光されるまでの時間との差に基づき、三次元レーザースキャナ１から測定対象物（測定対象点）までの距離が測定される。測距受光部５４は、ＣＭＯＳ光センサ等の光電変化素子により構成され、検出した光のＲＧＢ強度を検出する機能も有している。
撮影部２５は、画像受光部５８を備え、カメラとして機能する。画像受光部５８は、鏡筒４６の底部に設けられている。画像受光部５８は、多数の画素が平面状に集合して配列されたもの、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。画像受光部５８の各画素の位置は光軸５０によって特定される。例えば、光軸５０を原点として、Ｘ−Ｙ座標を想定し、このＸ−Ｙ座標の点として画素が定義される。
回転照射部２８は、投光ケーシング５９の内部に収納されている。投光ケーシング５９の周壁の一部は、投光窓となっている。図１６に示すように、鏡筒４６のフランジ部６０には、一対のミラーホルダー板６１が対向して設けられている。ミラーホルダー板６１には、回動軸６２が掛け渡されている。高低角用回動ミラー５５は、回動軸６２に固定されている。回動軸６２の一端部には高低角ギア６３が嵌着されている。回動軸６２の他端側には高低角検出器６４が設けられている。高低角検出器６４は、高低角用回動ミラー５５の回動角を検出し、その検出結果を制御部２６に出力する。
ミラーホルダー板６１の一方には、高低角用駆動モータ６５が取り付けられている。高低角用駆動モータ６５の出力軸には駆動ギア６６が嵌着されている。駆動ギア６６は、回転軸６２に取り付けられた高低角ギア６３に噛合されている。高低角用駆動モータ６５は、高低角検出器６４の検出結果に基づき、制御部２６の制御により適宜駆動される。
投光ケーシング５９の上部には、照星照門６７が設けられている。照星照門６７は、測定対象物を概略視準するのに用いられる。照星照門６７を用いた視準方向は、投光光軸５６の延びる方向、および回動軸６２の延びる方向に対して直交する方向とされている。また、図１６に示すように、投光ケーシング５９の上部には、ＧＰＳアンテナ８１が配置されている。ＧＰＳアンテナにより、ＧＰＳ情報が取得され、内部で行われる演算にＧＰＳ情報を利用することができる構成とされている。
図１７は、制御部のブロック図である。制御部２６には、水平角検出器４４、高低角検出器６４、傾斜センサ３７、ＧＰＳアンテナ８１からの検出信号が入力される。また、制御部２６は、操作部６から操作指示信号が入力される。制御部２６は、水平角用駆動モータ３８、高低角用駆動モータ６５、整準モータ３４を駆動制御する共に、作業状況、測定結果等を表示する表示部７を制御する。制御部２６には、メモリカード、ＨＤＤ等の外部記憶装置６８が着脱可能とされている。
制御部２６は、演算部４、記憶部５、水平駆動部６９、高低駆動部７０、整準駆動部７１、距離データ処理部７２、画像データ処理部７３等から構成されている。記憶部５は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、三次元点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部７に表示させるための画像表示プログラム、三次元点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部５は、測定データ、画像データ等の各種のデータを格納する。水平駆動部６９は、水平角用駆動モータ３８を駆動制御し、高低駆動部７０は、高低角用駆動モータ６５を駆動制御し、整準駆動部７１は、整準モータ３４を駆動制御する。距離データ処理部７２は、測距部２４によって得られた距離データを処理し、画像データ処理部７３は、撮影部２５により得られた画像データを処理する。
また、制御部２６は、ＧＰＳ受信部８２を備えている。ＧＰＳ受信部８２は、ＧＰＳアンテナが受信したＧＰＳ衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のＧＰＳ受信装置と同じである。ＧＰＳから得られた位置情報は、後述する三次元点群位置データ処理部１００’に入力される。
図１８は、演算部４のブロック図である。演算部４は、三次元座標演算部７４、リンク形成部７５、グリッド形成部９、三次元点群位置データ処理部１００’を備えている。三次元座標演算部７４には、距離データ処理部７２から測定対象点の距離データが入力され、水平角検出器４４および高低角検出器６４から測定対象点の方向データ（水平角および高低角）が入力される。三次元座標演算部７４は、入力された距離データと方向データとに基づき、三次元レーザースキャナ１の位置を原点（０，０，０）とした各測定点の三次元座標（直交座標）を算出する。
リンク形成部７５には、画像データ処理部７３から画像データおよび三次元座標演算部７４が算出した各測定点の三次元座標の座標データが入力される。リンク形成部７５は、画像データ（各測定点のＲＧＢ強度）と三次元座標を結び付けた三次元点群位置データ２を形成する。つまり、リンク形成部７５は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが三次元点群位置データ２となる。
リンク形成部７５は、以上の三次元点群位置データ２をグリッド形成部９に出力する。グリッド形成部９は、三次元点群位置データ２の隣接点の点間距離が一定でない場合に、等間隔のグリッド（メッシュ）を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部９は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、三次元点群位置データ２の点間距離が一定である場合には、グリッド形成部９の処理を省略することができる。
以下、グリッドの形成手順について説明する。図１９は、点間距離が一定でない三次元点群位置データを示す概念図であり、図２０は、形成したグリッドを示す概念図である。図１９に示すように、各列の平均水平間隔Ｈ1〜Ｎを求め、さらに列間の平均水平間隔の差分ΔＨｉ，ｊを算出し、その平均をグリッドの水平間隔ΔＨとする（数９）。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔＶＮ，Ｈを算出し、画像サイズＷ,Ｈの画像全体におけるΔＶＮ，Ｈの平均を垂直間隔ΔＶとする（数１０）。そして、図２０に示すように、算出した水平間隔ΔＨおよび垂直間隔ΔＶのグリッドを形成する。
Figure 0006236118
Figure 0006236118
次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔＨおよび垂直間隔ΔＶの１／２とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。
以上のようにして得られた三次元点群位置データは、三次元点群位置データ処理部１００’に出力される。三次元点群位置データ処理部１００’は、第１の実施形態で説明した三次元点群位置データ処理装置１００と同様の動作を行う専用の集積回路であり、ＦＰＧＡ等により構成されている。また、三次元点群位置データ処理部１００’の動作においてユーザに提示される画像の表示が液晶ディスプレイである表示部７に表示される。
三次元点群位置データ処理部１００’には、ＧＰＳ受信部８２から得られた地球上における座標データが入力される。この構成によれば、三次元点群位置データ処理部１００’で取り扱われる座標がＧＰＳから得られた位置データ（例えば、電子地図情報）とリンクされる。これにより、例えば、三次元レーザースキャナ１の設置位置を電子地図上に画面表示することができる。
（その他）
制御部２６の構成において、グリッド形成部９から三次元点群位置データが外部に出力される形態とすると、図１５、図１６に示す装置は、第１の実施形態で示したパーソナルコンピュータを利用した三次元点群位置データ処理装置１００と組み合わせて使用可能な三次元レーザースキャナとなる。また、三次元点群位置データ処理部１００’が行う処理を分散して行う構成も可能である。例えば、三次元点群位置データ処理部１００’の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。これは、図１の三次元点群位置データ処理装置１００の場合も同じである。これらの構成は、本発明の光学情報処理システムの一例として把握される。
画像を取得する方法として、ＣＣＤカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャナにより三次元点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、三次元点群位置データを対象物の画像を構成する画素データとして取り扱うことで、三次元点群位置データに基づいて測定対象物の画像を再現することができる。つまり、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、レーザースキャナを用いて測定対象物の画像を得ることができる。この場合、図１の画像受付け部１０２は、レーザースキャナから出力される三次元点群位置データに基づき、上述した原理により画像データを取得する。
（その他）
以下、本明細書中で開示する発明について説明する。第１の発明は、第１の視点において得られた測定対象物の三次元点群位置データおよび第２の視点において得られた前記測定対象物の三次元点群位置データを取得する三次元点群位置データ取得部と、前記２つの三次元点群位置データのそれぞれに基づき、同一面上の点に同一ラベルを付与し、前記第１の視点から見た前記測定対象物を構成する第１の複数の面および前記第２の視点から見た前記測定対象物を構成する第２の複数の面を抽出する面抽出部と、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部とを備えることを特徴とする三次元点群位置データ処理装置が記載されている。
上記の構成では、第１の三次元点群位置データから得られた面（第１の視点における面）と第２の点群位置データから得られた面（第２の視点における面）との対応するものを見つける手法として、注目面とその周囲の面との位置関係を用いることを特徴とする。すなわち、対象物を構成する面の一つ（注目面）と、他の複数の面との位置関係は、対象物の形状および対象物における注目面の位置に強く相関しており、注目面を他の面から識別するその面特有のものである可能性が極めて高い。そこで、注目面と他の面の相対位置関係を、この注目面を特徴付け、他の面から識別する要素として用いる。
すなわち、注目面とその他の面の相対位置関係は、その注目面に固有なものであり、関係する面が同じであれば、それは視点の位置に係らず同じである。このことを利用し、請求項１に記載の発明では、第１の視点から見た場合の特定の面（注目面）における上記の相対位置関係と、第１の視点とは異なる第２の視点から見た場合の特定の面（注目面）における上記の相対位置関係とを比較し、その差が最小な組み合わせ（言い換えると、最も類似する組み合わせ）を算出する。これにより、特徴が同じ、あるいは特徴が極めて似通った面の組が抽出され、それが対応面とされる。また、請求項１に記載の発明では、上述した相対位置関係を複数の位置で算出することで、当該注目面を特徴付ける度合いをより強くし、対応面の決定する精度を高くしている。
この方法は、注目面の特徴を顕在化させたもの同士の比較によって、対応面を決める方法であり、高い精度で対応面を決定することができる。また、面を扱うために必要なデータ量は、元の三次元点群位置データのデータ量に比較して非常に少ないので、元の三次元点群位置データ同士を比較する場合に比較して、極めて少ない演算量で処理を行うことができる。
第２の発明は、第１の発明において、前記相対位置関係算出部は、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の三次元空間内での位置関係を示す相関データ群を算出し、前記対応面決定部は、前記第１の複数の面における前記相関データ群と前記第２の複数の面における前記相関データ群との類似性を評価することを特徴とする。
上記第１の発明において、第１の視点から得られる特定の一つの面（以下、注目面）を特徴付ける概念として、第１の視点から見た注目面と他の複数の面との間の三次元空間内における位置関係を利用する。この位置関係は、相関データ群により表される。この相関データ群としては、第１の視点から見た注目面と他の複数の面の三次元座標間の関係を示すマトリクスデータや、注目面を基準とした他の複数の面の三次元座標のデータ群が利用される。
ここで、他の面は複数あるので、三次元空間内における注目面と他の面との位置関係は、特定の形状を有する対象物における注目面の位置を特徴付けるものとなる。この傾向は、対象物の形状が複雑である程、顕著となる。したがって、実質的に上記の相関データ群は、当該注目面だけしか持っていない識別情報、つまり特定の注目面を他の面と区別する識別情報となる。この性質を利用することで、第１の視点から見た面と第２の視点から見た面の対応関係を明らかにすることができる。すなわち、「注目面と他の面との間の三次元的な位置関係を特定する相関データ群」に着目し、第１の視点から見た各面における上記相関データ群と第２の視点から見た各面における上記相関データ群同士を比較する。ここで、類似性が一番高い相関データ群を持っている面の組が、第１の視点と第２の視点とにおいて対応する面（つまり同一の面）ということになる。
上述したように、特定の視点から見た場合における「注目面と他の面との間の三次元的な位置関係を特定する相関データ群」は、注目面に固有な情報であり、注目面を特徴付け、他の面から識別することを可能とする。そして、注目面と他の面の関係は、視点を変えても変わらない。これは、対象物が回転するだけであるからである。したがって、異なる視点からのものであっても、対応する面の組における「注目面と他の面との間の三次元的な位置関係を特定する相関データ群」は同じもの、あるいは類似性が極めて高いものとなる。このため、２つの視点における面同士における当該相関データ群の類似性を評価し、類似性が最も高い組み合わせを求めることで、２つに視点における対応する面を高い精度で探し出すことができる。なお、その他の面は、測定対象物を構成する面の内の注目面と異なる面であればよい。例えば、このその他の面としては、注目面に隣接する面や注目面から離れた位置にある面が選択される。また、その他の面は、その数が多い方が探索の精度が高まるので、複数であることが望ましい。
この手法は、対象物の形状に起因する面を特徴付けるパラメータ同士の比較に基づくものであり、高い精度で対応する面を演算により知ることができる。言い換えると、２つの視点において対応する面を精度よく演算により求めることができる。また、面のデータは、元の三次元点群位置データに比較してデータ量が少ないので、三次元点群位置データをそのまま扱う場合に比較して演算の負担が小さく、処理をより高速に行うことができる。
第３の発明は、第２の発明において、前記第１の複数の面における前記相関データ群が、前記第１の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第１の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であり、前記第２の複数の面における前記相関データ群が、前記第２の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第２の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であることを特徴とする。
第３の発明によれば、複数の視点のそれぞれにおいて、投影用設定面に注目面とその他の面を投影し、投影用設定面と注目面との間の距離、更に投影用設定面とその他の面との間の距離を算出する。そしてこの算出値によって、「注目面と他の面との間の三次元的な位置関係を特定する相関データ群」が構成される。例えば、投影用設定面が格子状に区切られ、各格子点における法線方向における投影された面までの距離の値を示すマトリクスデータによって、上記の相関データ群が構成される。この手法によれば、注目面と他の面との奥行き方向の相関関係を、少ないデータ量で定量的に捉えることができ、少ない演算量でありながら、高い精度で対応面を探し出すことができる。なお、注目面と投影用設定面との間の特定の関係としては、注目面と投影用設定面の法線ベクトルを一致させ、またこの法線ベクトルの方向から見て両面の重心を一致させ、さらに両面の間の距離を特定の値とした関係を挙げることができる。
第４に記載の発明は、第３に記載の発明において、前記対応面決定部は、前記第１の複数の面に含まれる特定の面と前記第２の複数の面に含まれる特定の面とをその重心の位置で重ねた上で、前記相関データ群の前記複数の位置それぞれにおける値の差を算出し、この差が最小となる面の組み合わせを前記対応する２つの面として決定することを特徴とする。
第５に記載の発明は、第１〜４のいずれか一項に記載の発明において、前記第１の複数の面の性質と前記第２の複数の面の性質とに基づき、面同士の類似度を判定する類似度判定部を更に備え、前記類似度判定部において類似と判定された面の組を対象として前記相対位置関係算出部における処理が行われることを特徴とする。請求項５に記載の発明によれば、対応面を調べる候補となる面の組み合わせが予め絞り込まれる。このため、処理が効率化される。
第６に記載の発明は、第５に記載の発明において、前記類似度の判定が、対象となる面の面積および形状の少なくとも一つに基づいて行われることを特徴とする。請求項６に記載の発明によれば、比較的簡単な演算により対応面の候補が絞り込まれる、このため、処理が効率化される。
第７に記載の発明は、第１乃至６のいずれか一項に記載の発明において、前記対応面決定部で決定された前記対応面の重心の位置と法線ベクトルとに基づき、前記第１の視点での座標系と前記第２の視点での座標系との間の位置合わせを行う第１の位置合わせ部を更に備えることを特徴とする。
第８に記載の発明は、第７に記載の発明において、前記第１の位置合わせ部は、前記対応面の輪郭または輪郭の一部に基づき、前記第１の視点での座標系と前記第２の視点での座標系との間の位置合わせを行うことを特徴とする。請求項８に記載の発明によれば、面を特徴付ける特徴点となる面の輪郭または輪郭の一部（角の部分も含む）を利用しての位置合わせが行われるので、高い精度の位置合わせを行うことができる。
第９に記載の発明は、第７または８に記載の発明において、前記第１の位置合わせ部における処理の結果に基づき、前記第１の複数の面および前記第２の複数の面における前記対応面以外の面同士の位置合わせを行う第２の位置合わせ部を更に備えることを特徴とする。請求項９に記載の発明によれば、対応面とされた以外の面同士の位置合わせが行われるので、異なる２つの視点から得られた三次元点群位置データ同士の位置合わせの精度を更に高めることができる。
第１０に記載の発明は、第９に記載の発明において、前記第２の位置合わせ部は、面と点の位置合わせ、または面と面の位置合わせを行うことを特徴とする。
第１１に記載の発明は、第１乃至１０のいずれか一項に記載の発明において、前記第２の位置合わせ部によって位置合わせが行われた前記２つの三次元点群位置データに基づき前記測定対象物を特定の視点から見た三次元モデルを生成する三次元モデル生成部を更に備えることを特徴とする。請求項１１に記載の発明によれば、オクルージョンを減少させた三次元モデルが得られる。
第１２に記載の発明は、第１に記載の発明において、前記相対位置関係算出部は、前記第１の複数の面における隣接する面の向きの相関関係と前記第２の複数の面における隣接する面の向きの相関関係を算出し、前記対応面決定部は、前記第１の複数の面における前記隣接する面の向きの相関関係と前記第２の複数の面における前記隣接する面の向きの相関関係との類似性に基づいて前記対応面の決定を行うことを特徴とする。請求項１２に記載の発明によれば、注目面とその注目面に隣接する隣接面の向きの関係によって、注目面と他の面との間の相対位置関係が特定される。
第１３に記載の発明は、第１の視点において得られた測定対象物の三次元点群位置データおよび第２の視点において得られた前記測定対象物の三次元点群位置データを取得する三次元点群位置データ取得手段と、前記２つの三次元点群位置データのそれぞれに基づき、同一面上の点に同一ラベルを付与し、前記第１の視点から見た前記測定対象物を構成する第１の複数の面および前記第２の視点から見た前記測定対象物を構成する第２の複数の面を抽出する面抽出手段と、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出手段と、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定手段とを備えることを特徴とする三次元点群位置データ処理システムである。
第１３に記載の発明は、請求項１に記載の発明をシステムの発明として捉えたものである。第１３に記載の発明では、各手段は、離れて存在していてもよい。この場合、各手段が通信手段を介して接続され、全体として一つのシステムとして動作する形態であればよい。
第１４に記載の発明は、第１の視点において得られた測定対象物の三次元点群位置データおよび第２の視点において得られた前記測定対象物の三次元点群位置データを取得する三次元点群位置データ取得ステップと、前記２つの三次元点群位置データのそれぞれに基づき、同一面上の点に同一ラベルを付与し、前記第１の視点から見た前記測定対象物を構成する第１の複数の面および前記第２の視点から見た前記測定対象物を構成する第２の複数の面を抽出する面抽出ステップと、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップとを備えることを特徴とする三次元点群位置データ処理方法である。
第１５に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに第１の視点において得られた測定対象物の三次元点群位置データおよび第２の視点において得られた前記測定対象物の三次元点群位置データを取得する三次元点群位置データ取得ステップと、前記２つの三次元点群位置データのそれぞれに基づき、同一面上の点に同一ラベルを付与し、前記第１の視点から見た前記測定対象物を構成する第１の複数の面および前記第２の視点から見た前記測定対象物を構成する第２の複数の面を抽出する面抽出ステップと、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップとを実行させることを特徴とするプログラムである。
本発明は、三次元情報を扱う技術に利用することができる。
１…三次元レーザースキャナ、２…三次元点群位置データ、２２…整準部、２３…回転機構部、２４…測距部、２５…撮影部、２６…制御部、２７…本体部、２８…回転照射部、２９…台盤、３０…下部ケーシング、３１…ピン、３２…調整ネジ、３３…引っ張りスプリング、３４…整準モータ、３５…整準駆動ギア、３６…整準従動ギア、３７…傾斜センサ、３８…水平回動モータ、３９…水平回動駆動ギア、４０…水平回動ギア、４１…回転軸部、４２…回転基盤、４３…軸受部材、４４…水平角検出器、４５…本体部ケーシング、４６…鏡筒、４７…光軸、４８…ビームスプリッタ、４９、５０…光軸、５１…パルスレーザ光源、５２…穴あきミラー、５３…ビームウエスト変更光学系、５４…測距受光部、５５…高低角用回動ミラー、５６…投光光軸、５７…集光レンズ、５８…画像受光部、５９…投光ケーシング、６０…フランジ部、６１…ミラーホルダー板、６２…回動軸、６３…高低角ギア、６４…高低角検出器、６５…高低角用駆動モータ、６６…駆動ギア、６７…照星照門、６８…外部記憶装置、６９…水平駆動部、７０…高低駆動部、７１…整準駆動部、７２…距離データ処理部、７３…画像データ処理部、８１…ＧＰＳアンテナ、８２…ＧＰＳ受信部、１００’…三次元点群位置データ処理部。

Claims (9)

  1. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部と
    を備え、
    前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とする三次元データ処理装置。
  2. 前記相対位置関係算出部は、前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の三次元空間内での位置関係を示す相関データ群を算出し、
    前記対応面決定部は、前記第１の複数の面における前記相関データ群と前記第２の複数の面における前記相関データ群との類似性を評価し、
    前記第１の複数の面における前記相関データ群が、前記第１の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第１の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であり、
    前記第２の複数の面における前記相関データ群が、前記第２の複数の面における前記注目面と特定の関係にある投影用設定面と、前記第２の複数の面における前記注目面および前記他の面との間の距離の分布を示すデータ群であることを特徴とする請求項１に記載の三次元データ処理装置。
  3. 前記投影用設定面は、その法線ベクトルが前記注目面の法線ベクトルと特定の角度関係を有していることを特徴とする請求項１または２に記載の三次元データ処理装置。
  4. 前記投影用設定面は、前記注目面と同じ法線ベクトルを有していることを特徴とする請求項１〜３のいずれか一項に記載の三次元データ処理装置。
  5. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部と
    を備え、
    前記相対位置関係は、前記注目面の縁と前記他の面の縁との間の距離であることを特徴とする三次元データ処理装置。
  6. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置であって、
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部と
    を備え、
    前記相対位置関係の類似性は、前記第１の複数の面における前記注目面に係るヒストグラムと前記第２の複数の面における前記注目面に係るヒストグラムとの類似性であり、
    前記第１の複数の面における前記注目面に係るヒストグラムは、前記第１の複数の面における前記注目面に対する前記第１の複数の面における前記他の面の角度と、当該他の面の面積との関係であり、
    前記第２の複数の面における前記注目面に係るヒストグラムは、前記第２の複数の面における前記注目面に対する前記第２の複数の面における前記他の面の角度と、当該他の面の面積との関係である三次元データ処理装置。
  7. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理装置システムであって、
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出部と、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定部と
    を備え、
    前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布である
    ことを特徴とする三次元データ処理システム。
  8. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理する三次元データ処理方法であって、
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップと
    を備え、
    前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とする三次元データ処理方法。
  9. 第１の複数の面により構成される第１の三次元モデルと第２の複数の面により構成される第２の三次元モデルを処理するプログラムであって、
    コンピュータに
    前記第１の複数の面および前記第２の複数の面に対して、注目面と他の面との間の相対位置関係を複数の位置で算出する相対位置関係算出ステップと、
    前記第１の複数の面における前記相対位置関係と前記第２の複数の面における前記相対位置関係とを比較し、前記相対位置関係の類似性が最も高いペアを前記第１の複数の面と前記第２の複数の面との間で対応する対応面として決定する対応面決定ステップと
    を実行させ、
    前記注目面と前記他の面との間の相対位置関係は、前記注目面に平行で特定の距離にある投影用設定面と前記注目面および前記他の面との間の距離の分布であることを特徴とするプログラム。
JP2016102283A 2011-04-13 2016-05-23 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム Active JP6236118B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011089483 2011-04-13
JP2011089483 2011-04-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013509953A Division JP6030549B2 (ja) 2011-04-13 2012-04-12 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016186488A JP2016186488A (ja) 2016-10-27
JP6236118B2 true JP6236118B2 (ja) 2017-11-22

Family

ID=47009402

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013509953A Active JP6030549B2 (ja) 2011-04-13 2012-04-12 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP2016102283A Active JP6236118B2 (ja) 2011-04-13 2016-05-23 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013509953A Active JP6030549B2 (ja) 2011-04-13 2012-04-12 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム

Country Status (3)

Country Link
US (1) US9053547B2 (ja)
JP (2) JP6030549B2 (ja)
WO (1) WO2012141235A1 (ja)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049281B2 (en) * 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9900585B2 (en) * 2013-09-18 2018-02-20 Matter and Form Inc. Device, system and method for three-dimensional modeling
US9508186B2 (en) 2013-11-07 2016-11-29 Autodesk, Inc. Pre-segment point cloud data to run real-time shape extraction faster
TWI534755B (zh) * 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置
US9280825B2 (en) * 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
JPWO2016035181A1 (ja) * 2014-09-03 2017-06-22 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
CN107709926B (zh) * 2015-06-11 2020-12-29 金斯顿女王大学 自动化的移动岩土测绘
US9858640B1 (en) * 2015-07-15 2018-01-02 Hrl Laboratories, Llc Device and method for merging 3D point clouds from sparsely distributed viewpoints
TW201719572A (zh) * 2015-11-19 2017-06-01 國立交通大學 三維模型分析及搜尋方法
JP6657838B2 (ja) * 2015-11-19 2020-03-04 株式会社大林組 長尺材測位支援装置
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
US9799111B2 (en) * 2016-02-11 2017-10-24 Symbol Technologies, Llc Methods and systems for highlighting box surfaces and edges in mobile box dimensioning
JP6486845B2 (ja) * 2016-02-16 2019-03-20 株式会社日立製作所 形状計測システム及び形状計測方法
US10964042B2 (en) * 2016-02-26 2021-03-30 Nikon Corporation Detection device, method and storage medium for optically detecting distance from a single viewpoint to an object
WO2017154706A1 (ja) 2016-03-09 2017-09-14 株式会社ニコン 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JPWO2017154705A1 (ja) * 2016-03-09 2018-12-27 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
JP6693193B2 (ja) * 2016-03-15 2020-05-13 富士通株式会社 情報処理装置及び情報合成プログラム
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
JP6774793B2 (ja) * 2016-06-24 2020-10-28 株式会社キーエンス 三次元測定装置
JP6736423B2 (ja) * 2016-08-26 2020-08-05 株式会社キーエンス 三次元測定装置
JP6868992B2 (ja) * 2016-09-27 2021-05-12 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
JP6761715B2 (ja) * 2016-09-28 2020-09-30 株式会社トプコン 測量装置
JP2018099758A (ja) * 2016-12-21 2018-06-28 ローランドディー．ジー．株式会社 カストリ線の位置決定装置、カッティングシステム、カストリ線の位置決定用のコンピュータプログラム、および、カストリ線の位置決定方法
JP6673504B2 (ja) * 2017-01-16 2020-03-25 富士通株式会社 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US10204423B2 (en) * 2017-02-13 2019-02-12 Adobe Inc. Visual odometry using object priors
JP6950208B2 (ja) * 2017-03-13 2021-10-13 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP6903987B2 (ja) * 2017-03-24 2021-07-14 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN110476037B (zh) * 2017-04-03 2022-01-11 富士通株式会社 距离信息处理装置、距离信息处理方法以及距离信息处理程序
DE102017114363A1 (de) * 2017-06-28 2019-01-03 Stefan Klinke Verfahren und Vorrichtung zur Bestimmung des Aufmaßes von mindestens einem Objekt einer Außenanlage im Landschafts- oder Straßenbau
CN116385505A (zh) * 2017-10-20 2023-07-04 阿里巴巴集团控股有限公司 数据处理方法、装置、系统和存储介质
US10989795B2 (en) * 2017-11-21 2021-04-27 Faro Technologies, Inc. System for surface analysis and method thereof
US10861250B2 (en) * 2017-11-29 2020-12-08 Sdc U.S. Smilepay Spv Technologies for merging three-dimensional models of dental impressions
US11270523B2 (en) 2017-11-29 2022-03-08 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11403813B2 (en) 2019-11-26 2022-08-02 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US10109114B1 (en) 2017-11-29 2018-10-23 SmileDirectClub LLC Technologies for merging three-dimensional models of dental impressions
CN108460791A (zh) * 2017-12-29 2018-08-28 百度在线网络技术（北京）有限公司 用于处理点云数据的方法和装置
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
JPWO2019151104A1 (ja) * 2018-01-31 2021-01-14 パイオニア株式会社 周辺情報処理方法
WO2019151106A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 周辺情報処理方法
WO2019151107A1 (ja) * 2018-01-31 2019-08-08 パイオニア株式会社 周辺情報処理方法
US10957072B2 (en) * 2018-02-21 2021-03-23 Cognex Corporation System and method for simultaneous consideration of edges and normals in image features by a vision system
JP2019164109A (ja) * 2018-03-14 2019-09-26 株式会社リコー 計測装置、計測システム、計測方法およびプログラム
US20190285397A1 (en) * 2018-03-14 2019-09-19 Ricoh Company, Ltd. Measuring apparatus, measuring system, measuring method, and recording medium storing program code
JP7117126B2 (ja) * 2018-04-02 2022-08-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 ピッキング装置及びその方法
US11294060B2 (en) * 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
KR102477031B1 (ko) 2018-04-20 2022-12-14 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치
JP7093680B2 (ja) * 2018-06-01 2022-06-30 日立Ｇｅニュークリア・エナジー株式会社 構造物差分抽出装置、構造物差分抽出方法およびプログラム
JP7113375B2 (ja) * 2018-07-11 2022-08-05 パナソニックＩｐマネジメント株式会社 表示装置、画像処理装置及び制御方法
US20200045344A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Video processing mechanism
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US10679367B2 (en) 2018-08-13 2020-06-09 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using angular estimates
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
US11396101B2 (en) * 2018-11-08 2022-07-26 Kabushiki Kaisha Toshiba Operating system, control device, and computer program product
JP7034971B2 (ja) * 2018-11-08 2022-03-14 株式会社東芝 作動システム、制御装置、およびプログラム
CN109583513B (zh) * 2018-12-17 2022-12-02 香港理工大学 一种相似帧的检测方法、系统、装置及可读存储介质
CN109872280B (zh) * 2018-12-26 2023-03-14 江苏名通信息科技有限公司 一种三维植物叶片点云的去噪与简化方法、装置及系统
CN113544462A (zh) * 2019-03-04 2021-10-22 松下知识产权经营株式会社 物量计算装置以及物量计算方法
JP7324026B2 (ja) 2019-03-26 2023-08-09 株式会社トプコン 測定装置
US11030801B2 (en) 2019-05-17 2021-06-08 Standard Cyborg, Inc. Three-dimensional modeling toolkit
US12056820B2 (en) 2019-05-17 2024-08-06 Sdc U.S. Smilepay Spv Three-dimensional modeling toolkit
JP7300915B2 (ja) 2019-07-16 2023-06-30 株式会社トプコン 測量装置
JP7300930B2 (ja) 2019-08-26 2023-06-30 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
CN111508070B (zh) * 2020-05-25 2023-06-09 重庆大学 一种用于多参数取值监控的显示方法
JP7464134B2 (ja) * 2020-08-27 2024-04-09 三菱電機株式会社 形状モデリング装置及び形状モデリング方法
CN112132875B (zh) * 2020-08-31 2023-07-28 青岛秀山移动测量有限公司 一种基于面特征的多平台点云匹配方法
CN112508999B (zh) * 2020-11-20 2024-02-13 西北工业大学深圳研究院 一种基于协作观测图像序列的空间目标运动状态辨识方法
JP7112469B2 (ja) * 2020-12-04 2022-08-03 株式会社トプコン 画像処理装置、画像処理方法、画像処理用プログラム
CN112767415B (zh) * 2021-01-13 2024-07-30 深圳瀚维智能医疗科技有限公司 胸部扫查区域自动确定方法、装置、设备及存储介质
US11741676B2 (en) 2021-01-21 2023-08-29 Samsung Electronics Co., Ltd. System and method for target plane detection and space estimation
CN112598668B (zh) * 2021-03-02 2021-06-29 北京大成国测科技有限公司 基于三维图像的缺陷识别方法、装置及电子设备
CN113029166B (zh) * 2021-03-25 2024-06-07 上海商汤智能科技有限公司 定位方法、装置、电子设备及存储介质
JP2022157660A (ja) * 2021-03-31 2022-10-14 株式会社トプコン 点群情報処理装置、点群情報処理方法、点群情報処理プログラム
CN113310420B (zh) * 2021-04-22 2023-04-07 中国工程物理研究院上海激光等离子体研究所 一种通过图像测量两个目标之间距离的方法
CN113218330B (zh) * 2021-04-27 2022-04-08 大连理工大学 基于pcl库的大型薄壁构件测量及数据处理方法
CN113251919B (zh) * 2021-04-28 2023-04-07 中铁第四勘察设计院集团有限公司 一种基于坐标变换的圆柱体点云数据拟合方法及装置
CN113344983B (zh) * 2021-05-19 2023-10-31 香港理工大学深圳研究院 一种基于平面点云分割的多点云配准方法
CN113327324A (zh) * 2021-06-25 2021-08-31 广东博智林机器人有限公司 三维建筑模型的构建方法、装置、计算机设备及存储介质
CN113446960B (zh) * 2021-06-28 2023-01-03 温州大学 一种齿面点云理论分布建模方法及测量方法
CN113240674B (zh) * 2021-07-09 2021-09-24 深圳市艾视铂智能技术有限公司 基于三维点云和二维图像融合的共面度检测方法
CN114037706A (zh) * 2021-10-13 2022-02-11 东南大学 一种基于三维点云模型的预制梁段表面平整度检测方法
KR20230102540A (ko) * 2021-12-30 2023-07-07 한국전자통신연구원 3차원 포인트 클라우드의 정합 방법 및 장치
CN114353780B (zh) * 2021-12-31 2024-04-02 高德软件有限公司 姿态优化方法及设备
CN115620278B (zh) * 2022-11-15 2023-03-10 广州奇志信息科技有限公司 一种识别和测量物料的方法
JP2024135125A (ja) * 2023-03-22 2024-10-04 株式会社Ｊｖｃケンウッド 三次元情報処理装置及び三次元情報処理方法
CN116385528B (zh) * 2023-03-28 2024-04-30 小米汽车科技有限公司 标注信息的生成方法、装置、电子设备、车辆及存储介质
CN116342858B (zh) * 2023-05-29 2023-08-25 未来机器人（深圳）有限公司 物体检测方法、装置、电子设备及存储介质
CN116400371B (zh) * 2023-06-06 2023-09-26 山东大学 基于三维点云的室内反光透明物体位置识别方法及系统
CN116878396B (zh) * 2023-09-06 2023-12-01 国网山西省电力公司超高压输电分公司 一种基于远程激光的弧垂测量方法及系统
CN117523124B (zh) * 2023-11-13 2024-04-26 西安科技大学 一种基于无人机激光雷达的大流域地形变化切片方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778406B2 (ja) * 1991-03-11 1995-08-23 工業技術院長 多視点距離データの統合方法
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP3344649B2 (ja) * 1998-08-19 2002-11-11 理化学研究所 自由曲面の形状誤差評価方法
JP2004272459A (ja) * 2003-03-06 2004-09-30 Cad Center:Kk 三次元形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP4427656B2 (ja) 2003-07-01 2010-03-10 学校法人東京電機大学 測量データの処理方法
JP2006214893A (ja) * 2005-02-04 2006-08-17 Iwate Univ 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
JP5057734B2 (ja) * 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
JP2010127819A (ja) * 2008-11-28 2010-06-10 Fuji Electric Holdings Co Ltd 多面体位置検出装置及び検出方法
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
JP5580164B2 (ja) * 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム

Also Published As

Publication number Publication date
US20140037194A1 (en) 2014-02-06
JP6030549B2 (ja) 2016-11-24
US20140314308A2 (en) 2014-10-23
JPWO2012141235A1 (ja) 2014-07-28
US9053547B2 (en) 2015-06-09
WO2012141235A1 (ja) 2012-10-18
WO2012141235A8 (ja) 2013-07-04
JP2016186488A (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
JP6236118B2 (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5465128B2 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP5462093B2 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
JP5711039B2 (ja) 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5480914B2 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US9269187B2 (en) Image-based 3D panorama
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP2019138822A (ja) ３次元計測システム及び３次元計測方法
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2012517651A (ja) ２ｄ電子光学的画像データに対する３ｄ点群データの登録
JP2007256091A (ja) レンジファインダ校正方法及び装置
Kumara et al. Real-time 3D human objects rendering based on multiple camera details
JP5728399B2 (ja) 計測装置、方法及びプログラム
JPWO2018056129A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Ghuffar et al. Relative orientation of videos from range imaging cameras
Liebold et al. Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform
Messer et al. Image-Based Alignment of 3D Scans
Zins Color Fusion and Super-resolution for Time-of-flight Cameras
Chibunichev et al. Image to Point Cloud Method of 3D-MODELING
Gava et al. A Unifying Structure from Motion Framework for Central Projection Cameras

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171027

R150 Certificate of patent or registration of utility model

Ref document number: 6236118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250