JP6282377B2 - ３次元形状計測システムおよびその計測方法 - Google Patents

Description

本発明は、空間の３次元形状を計測するシステムおよび計測方法に関する。

空間の形状を計測するためのひとつの手段として、空間の構成物までの距離を測ることで空間の３次元的な形状を計測できる３Ｄセンサがある。この３Ｄセンサを用いることで、手計りに比べて迅速かつ高精度に空間全体の形状を取得できる。また、この３Ｄセンサを用いることで、人の手の届かない高所や危険な場所を離れた地点から非破壊で形状を計測できる。

この３Ｄセンサは、計測対象物に光を当てて計測するアクティブ方式と、計測対象物に光を当てずに計測するパッシブ方法に大別できる。
アクティブ方式の３Ｄセンサは、レーザ光やＬＥＤ光を計測対象に照射して、照射光が返ってくるまでの時間から、計測対象までの距離を算出する。これにより算出された対象物の距離情報に、３Ｄセンサの位置座標を加えることで、対象物表面の３次元座標を得ている。

特許文献１には、照射光を計測対象に照射し、照射光と反射光の位相差から距離画像を取得するＴＯＦ（Time-Of-Flight）方式の距離画像センサにおいて、距離画像の高解像度化や高フレームレート化を実現する際の、ショットノイズや環境光等の影響で受光素子の飽和が発生することによる距離精度の低下を防止する技術が開示されている。詳しくは、特許文献１に開示される技術は、光源からの発光がない時点での対象物からの反射光を受光し、その反射光の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照明光を求め、この最適な発光周波数を持つ照射光を用意された複数の光源から選択し、選択した光源の照明光の反射光を受光して対象物までの距離画像を生成することで、受光時の環境光の影響を抑えるものである。

また、他のアクティブ方式の３Ｄセンサとして、特許文献２には、計測対象物体に対してパルスレーザを回転走査して、計測対象物体からの反射光を受光して、レーザ光を対象物に照射してから反射して戻ってくるまでの時間を測ることで、測距をおこなうレーザスキャナにおいて、既知の形状の高反射率を有する反射部を有する較正用ターゲットにより、レーザスキャナの較正を行う技術が開示されている。

パッシブ方法の３Ｄセンサには、例えば、特許文献３に開示されているように、２台の撮像装置を備え、予めキャリブレーションによって求めておいた撮像装置間の相対姿勢と、両方の撮像装置の計測対象の所定の部位が映った位置から、三角測量の原理によって所定の部位の３次元座標を求めるステレオカメラ方式がある。

国際公開第2010/021090号 特開2010-151682号公報 特開2013-253799号公報

特許文献２に記載されているようなレーザスキャナは、高精度の３次元の距離計測をおこなうことができるが、一点ずつ走査して計測を行うため計測時間が掛かり、高速移動しながらの測距を行うのに適していなかった。
特許文献１に記載されているような距離画像センサは、２次元の距離画像を検出するため高速に測距を行うことができるが、照射光が拡散するために対象までの距離が遠い場合には、反射光を得ることができないため、距離を計測する事ができないことがあった。
特許文献３に記載されているようなステレオカメラ方式の３Ｄセンサでは、遠い距離の物体形状も撮像できるので、空間の遠い場所の形状も検出することができる。しかし、高い計測精度を得るためには撮像素子の量子化誤差を低減する必量があり、高精細な撮像素子が必要となる。また、ステレオカメラ方式の３Ｄセンサでは、２つの撮像素子が必要となるため、コスト上の問題が生じる。

上記の課題を解決するため、本発明の３次元形状計測システムは、測定対象物の複数の点までの距離を測定する距離計測部と、前記測定対象物を含む測定空間を撮像して画像データを取得する撮像部と、前記撮像部により異なる方向から撮像した複数の画像データのそれぞれに対応する画像データの特徴点を複数点求め、前記複数点の特徴点の画像データにおける位置情報から、スケール未知の仮相対姿勢および仮形状を求め、前記距離計測部により計測した前記特徴点までの距離に基づいて、前記スケール未知の仮相対姿勢および仮形状の３次元座標値を算出して測定対象物の形状を復元する形状復元装置と、を備え、
前記形状復元装置は、前記距離計測部で計測した距離データと前記撮像部が撮影した画像データを対にして複数組記憶する計測データ記憶部と、前記画像データの特徴点を認識する特徴点認識部と、複数枚の前記画像データから得たそれぞれの前記特徴点を対応付ける対応計算部と、前記対応計算部が計算した対応からスケール未知の仮相対姿勢および仮形状を求める仮相対姿勢・形状推定部と、前記仮形状の大きさと形状を前記距離計測部で計測して得た距離の比率から前記仮相対姿勢・形状推定部が求めた前記仮相対姿勢および前記仮形状のスケールを調整することで正しいスケールの相対姿勢および形状を求めるスケール調整部と、前記スケール調整部によって計算した前記形状および前記相対姿勢から求まる特徴点の画面座標値と前記画像データから得られる特徴点の画面座標値との差異を示す逆投影誤差と、前記スケール調整部によって計算した前記形状を構成する前記特徴点までの距離と前記距離計測部によって計測して得られた距離との差異を示す距離誤差を拘束条件とすることで形状を復元する形状復元部と、を有するようにした。

また、上記の課題を解決するため、本発明の測定対象物を含む測定空間の形状を計測する３次元形状計測システムの計測方法は、距離計測部で計測した距離データと撮影部が撮影した画像データを対にして複数組記憶し、前記画像データの特徴点を認識し、複数枚の前記画像データから得たそれぞれの前記特徴点を対応付け、対応付けられた特徴点からスケール未知の仮相対姿勢および仮形状を求め、前記距離計測部が計測した距離によって前記仮相対姿勢および前記仮形状のスケールを調整することで正しいスケールの相対姿勢および形状を求め、前記正しいスケールの相対姿勢および形状から求まる特徴点の画面座標値と前記画像データから得られる特徴点の画面座標値との差異を示す逆投影誤差と、前記正しいスケールの形状を構成する前記特徴点までの距離と前記距離計測部によって計測して得られた距離との差異を示す距離誤差を拘束条件として形状を復元するようにした。

本発明の３次元形状計測システムおよび計測方法によれば、距離計測部では測定対象の一部の形状しか得られない場合でも、測定対象全体の形状計測を行うことができる。

実施例の３次元形状計測システムの機能ブロックを示す図である。 実施例の３次元形状計測システムのハードウェア構成の一例を示す図である。 実施例の３次元形状計測システムの処理フローを示す図である。 実施例の３次元形状計測システムの計測例を示す図である。 特徴点認識部が抽出した特徴点の一例を示す図である。 対応計算部による特徴点の対応処理の例を示す図である。 仮相対姿勢・形状推定部の処理の詳細を説明するである。 スケール調整部の詳細処理を説明する図である。 計測対象物の形状の復元方法を説明する図である。 ３次元空間のひとつの点を異なる方向から撮像したときの、点と撮像部のエピポーラ幾何の対応関係を示した図である。 距離データ利用領域設定部の処理を説明する図である。 特徴点利用領域設定部の処理を説明する図である。 他の実施例の３次元形状計測システムの装置外観を示す図である。 距離計測部の計測例を説明する図である。 図１４のレーザ光の走査面を示した図である。 他の実施例の３次元形状計測システムの装置外観を示す図である。 他の実施例の３次元形状計測システムの処理フローを示す図である。

（実施例１）
まず、本実施例の３次元形状計測システムの計測方法の概要を説明する。
実施例の３次元形状計測システムは、測定対象物を異なる方向から視た２次元の画像情報を撮影するＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像部と、レーザ光や赤外光を照射して、測定対象物の複数の点までの距離を測定する距離計測部と、前記撮像部で撮影した異なる位置から視た測定対象物の画像情報と前記距離計測部で計測した複数点の距離情報を基に、測定対象物の３次元距離座標を算出する３次元座標算出部と、を備えている。

より詳細には、前記撮像部は、撮影ポイントを移動する等により測定対象物を異なる位置から撮影するか、または、ステレオカメラのように、少なくとも２つイメージセンサを異なる位置に設けて、測定対象物を異なる位置から撮影する。この時、２つのイメージセンサの距離は、距離算出に使用しないため、ステレオカメラのようにイメージセンサの距離を固定したものでなくてもよい。
また、前記撮像部は、ＲＧＢカラー画像を撮像するものであってもよいし、モノクロ画像や赤外線画像を撮像するものであってもよい。

前記距離計測部は、レーザ光により測距をおこなうレーザスキャナや、赤外光を拡散照射して反射光を２次元受光素子で検出し、測定対象物からの反射光の位相遅れから距離を換算するＴＯＦ（Time-Of-Flight）方式や照射パターン方式で距離を検出する距離画像センサを使用することができる。
さらに、詳細は後述するが、測定空間のすべての測定対象物までの距離情報を必要としないため、レーザスキャナは、スキャナと同じ高さの平面上を２次元走査することで測定対象物の一部の２次元形状を計測するものでなくてもよく、また、連続スキャンをおこなわずに、複数のポイントを計測するものであってもよい。
本実施例の３次元形状計測システムのより具体的な構成例は、後述する。

実施例の３次元形状計測システムにおいて、撮像部は、計測空間の測定対象物の形状全体を撮影できるのに対して、距離計測部は、照射光が測定対象物に届かない等により、計測空間の測定対象物の形状全体の距離情報を計測できないことがある。
しかし、実施例の３次元形状計測システムは、撮像部で撮像した計測空間の測定対象物の形状全体の画像の特徴点のうち、距離が計測できた特徴点の３次元座標から得られるスケールと、特徴点から求まるスケール未知の形状を用いることにより、距離が計測できなかった特徴点の３次元座標を算出する。これにより、実施例の３次元形状計測システムは、測定対象物を復元する。
さらに、実施例の３次元形状計測システムは、撮像部で撮像した計測空間の測定対象物の形状全体の画像の特徴点以外の計測点については、エピポーラ幾何の原理に基づいて、エピポーラ線上のみを探索することで対応点を見つけて形状を復元する。

以下、測定対象物を前記撮像部によって異なる位置から撮影した画像情報と前記距離計測部で計測した測定対象物上の複数点の距離情報を基に、前記測定対象物の３次元距離座標を算出する３次元座標算出部の詳細を説明する。
図１は、実施例の３次元形状計測システムの機能ブロックを示す図である。

本実施例の３次元形状計測システムは、測定空間の測定対象物までの距離を計測する距離計測部１００と、周囲の色情報を計測する撮像部１０１と、計測したデータを記憶する計測データ記憶部１０２を備える。計測データ記憶部１０２には、前記距離計測部１００で計測した距離データ１０３と前記撮像部１０１で撮像した画像データ１０４を対にして、複数回分記憶している。
前記距離計測部１００と撮像部１０１は、同じタイミングで計測をすればよく、計測間隔を一定にする必要はない。

さらに、本実施例の３次元形状計測システムは、前記画像データ１０４の特徴点を抽出する特徴点認識部１０５と、複数枚の画像データ１０４の間で、特徴点認識部１０５で抽出した特徴点を対応付ける対応計算部１０６を備える。
ここで、画像データ１０４の特徴点は、色相や輝度値の変動に基づいてコーナー検出を行い決定する。より具体的には、ハリスのコーナー検出方法等により算出することができる。または、輪郭線を抽出し、その離散曲率から頂点や変曲点を求めることもできる。

また、本実施例の３次元形状計測システムは、対応計算部１０６が計算した特徴点の対応関係１１４から、複数の画像データ１０４の間で、撮像部１０１で撮像した計測地点間のスケール未知の仮相対姿勢１０８と、特徴点に関するスケール未知の３次元座標から成る仮形状１０９とをそれぞれ推定する仮相対姿勢・形状推定部１０７を備える。
なお、スケール未知とは、姿勢や形状に関する絶対的な長さや大きさが定まらないが、姿勢間・形状内における距離関係や大きさの相対的な関係は正しいことを意味する。

上記のように、本実施例の３次元形状計測システムは、特徴点認識部１０５と対応計算部１０６と仮相対姿勢・形状推定部１０７から成るスケール未知の仮相対姿勢・形状算出部１２０により、複数の画像データ１０４の特徴点に基づいて、スケール未知の仮相対姿勢１０８および仮形状１０９を、画像データ１０４のそれぞれに対応して求めることができる。

さらに、本実施例の３次元形状計測システムは、スケール未知の仮相対姿勢・形状算出部１２０で求めた特徴点のスケール未知の仮相対姿勢１０８および仮形状１０９と、距離計測部１００が計測した距離データ１０３から全体のスケールを求め、全体の形状データ１１３を復元する実形状算出部１２１を持つ。

詳しくは、実形状算出部１２１は、スケール調整部１１０と形状復元部１１２から構成される。
スケール調整部１１０は、スケール未知の仮相対姿勢・形状算出部１２０で求めた特徴点のスケール未知の仮形状１０９と、距離計測部１００が計測した距離データ１０３から全体のスケールを求め、そのスケールに従い仮相対姿勢１０８のスケールを調整する。
そして、形状復元部１１２により、全体の形状データ１１３が復元される。
形状復元部１１２は、また、特徴点が密でなかった場合には、多視点のエピポーラ拘束により特徴点以外の部分についても、形状復元をおこなうようにしてもよい。

形状復元部１１２で全体の形状復元を行う際には、スケール調整部１１０によって求めたスケールの正しい相対姿勢１１１と、前記仮形状１０９と、前記特徴点対応１１４のうち前記特徴点利用領域設定部１１６が設定した範囲内にある特徴点および重みの対と、前記距離計測部１００が計測した前記距離データ１０３のうち前記距離データ利用領域設定部１１５が設定した範囲内にある距離データおよび重みの対から、全体の形状データ１１３を復元する。形状復元部１１２の処理内容の詳細は、後述する。

図２は、本実施例の３次元形状計測システムのハードウェア構成の一例を示す図である。本実施例の３次元形状計測システムには、レーザスキャナや距離画像センサなどで構成される距離計測部１００と、ＣＣＤやＣＭＯＳイメージセンサ等から構成される撮像部１０１から成る計測部２０が設けられ、形状復元装置２１が、計測部２０の計測内容に基づいて形状復元処理をおこない、測定空間の３次元形状を得ている。

この形状復元装置２１は、装置全体の制御を行うＣＰＵ（Central Processing Unit）２０２と、計測部２０から計測データを受信しメモリ２３の距離データ１０３や画像データ１０４に転送する受信装置２０３と、距離データ利用領域設定部１１５と特徴点利用領域設定部１１６を備える入力・表示装置２０４と、実施例の３次元計測処理をおこなう処理部２２と、前記距離データ１０３と前記画像データ１０４の計測データと前記仮相対姿勢１０８と前記仮形状１０９と前記相対姿勢１１１と前記形状データ１１３と前記特徴点対応１１４の処理データを記憶するメモリ２３をもつ。

処理部２２は、メモリ２３の画像データ１０４を参照して処理をおこなう特徴点認識部１０５と対応計算部１０６と仮相対姿勢・形状推定部１０７とスケール調整部１１０と形状復元部１１２から構成されている。それぞれの処理部は、専用のハードウェア構成としてもよいし、また、専用のプロセッサをもちソフトウェア処理する構成であってもよい。また、ＣＰＵ２０２でプログラム処理するようにしてもよい。

図３は、本実施例の３次元形状計測システムの処理フローを示す図である。
まず、本実施例の３次元形状計測システムは、計測部２０（図３参照）により距離データ１０３と画像データ１０４（図３参照）を計測して、メモリ２３に記憶する計測データ取得処理Ｓ３００をおこなう。このとき、距離データ１０３と画像データ１０４は対で構成されている。また、距離と画像の計測データは、異なる位置または姿勢で計測され、計測対象を異なる方向から測定したものとなっている。この計測データは少なくとも２点あれば良いが、計測データが多いほど各特徴点の位置に関する情報量が増えるため、計測データの点数が多いほど計測範囲や計測精度が向上する。

ステップＳ３０１で、３次元形状計測処理に必要な計測データ数を得られたかどうか判定し、計測データ数が不足であれば（Ｓ３０１のＮｏ）、ステップＳ３００に戻る。
データ数が十分であれば（Ｓ３０１のＹｅｓ）、ステップＳ３０２に進む。

ステップＳ３０２では、特徴点認識部１０５で、複数の方向から計測対象物を撮像した画像データ１０４のそれぞれの画像データについて、画像上の特徴点を認識する特徴点認識処理を行う（Ｓ３０２）。
そして、対応計算部１０６で、複数の画像データの間で、同じ特徴点を対応付ける対応計算処理を行う（Ｓ３０３）。

つぎに、仮相対姿勢・形状推定部１０７で、複数の画像データ１０４の間の同じ特徴点の位置情報から、スケール未知の仮相対姿勢１０８および仮形状１０９を求める（Ｓ３０４）。
つぎに、スケール調整部１１０で、スケール未知の仮形状１０９に関する距離と、計測データ取得処理Ｓ３００において計測した距離データ１０３によって得られるスケールの正しい距離の比率を用いて、仮相対姿勢１０８と仮形状１０９のスケールを調整する（Ｓ３０５）。

最後に、本実施例の３次元形状計測システムは、形状復元部１１２で、仮相対姿勢１０８および仮形状１０９と、計測データ取得処理Ｓ３００において計測した距離データ１０３から計測対象物の形状を復元する（Ｓ３０６）。
この時、形状復元部１１２は、Ｓ３０２で求めた特徴点の数が少なければ、多視点のエピポーラ拘束により特徴点以外の部分についても、形状復元をおこなうようにしてもよい。

図３のフロー図では、測定対象物を計測・特徴点抽出した後で、形状の復元処理をおこなうフローを示したが、復元処理に必要な数以上の画像データ・距離データを撮像・計測する場合には、復元処理中に、つぎの撮像・計測の計測データ取得処理、特徴点認識処理、対応計算処理をおこなうパイプライン処理をおこなってもよい。

上記のように、画像データの特徴点を求め、この特徴点の相対姿勢や形状を求めて、特徴点の距離データを基に計測対象物の形状復元を行うことにより、計算コストの低減や、処理時間の短縮を図ることができる。

図４に実施例の３次元形状計測システムの計測例を示す。図４（ａ）は、距離計測部１００の計測結果である距離データ１０３を示し、図４（ｂ）は、撮像部１０１の計測結果である画像データ１０４を示している。
図４（ａ）の距離データ１０３は、距離の値を輝度値として画面上に表わしたもので、距離が遠い部位ほど黒に近い色で表わされる。距離が計測できたなかった部位については斜線ハッチング（符号４０１）で示されている。
図４（ａ）では、符号４０３の領域が、距離測定できた部分となっている。

図４（ｂ）は、図４（ａ）と同じ場所の画像データとなっており、画像データの特定の部位の距離が、図４（ａ）の同じ座標から判る。例えば、図４（ｂ）の下部の地面は、図４（ａ）の符号４０３の距離計測できた部分に対応している。また、距離データの中心は、画像データの中心にある建屋に対応する。しかし、距離データの中心は、斜線ハッチングの領域となっている。つまり、建屋までの距離は計測できていないこととなる。
ただし、距離データと画像データの対応関係が予め既知であるならば、同じ座標が同じ部位に対応せずともよい。
詳細は後述するが、本実施例では、図４（ａ）の白線部４０２のような画像の特徴点の位置情報から求めたスケール未知の仮形状と、距離が判明している特徴点の距離情報から形状復元を行う。

つぎに、図１の特徴点認識部１０５の詳細を図５により、対応計算部１０６の詳細を図６により、仮相対姿勢・形状推定部１０７の詳細を図７により、スケール調整部１１０の詳細を図８により、形状復元部１１２の詳細を図９、図１０により説明する。

図５は、特徴点認識部１０５で抽出した特徴点の一例を示す図であり、撮像部１０１が計測した画像データ１０４のひとつの画像データ５００から特徴点５０１（黒丸）を複数個抽出した例を示している。
ここで、特徴点とは、画像内の所定の位置周囲の色相や輝度のパターンが特異な点であり、例えば角や色の境界部など挙げられる。図５に示す例では特徴点５０１を黒丸で示す。特徴点を選ぶための手法としては、前述のハリスのコーナー検出方法以外にも、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）、ＦＡＳＴ（Features from Accelerated Segment Test）のコーナー特徴など挙げられる。ただし、所定の座標周囲の画像パターンを記録するもので、異なる画像間で対応付けられるものであれば上記手法に限らない。

図６は、対応計算部１０６による特徴点の対応処理の例を示す図である。図６（ａ）の画像データ６００と図６（ｂ）の画像データ６０１は、画像データ１０４の中で、異なる地点から測定対象物を撮像した画像データを示している。このため、同じ測定対象物が、画像データ６００と画像データ６０１とで、異なる位置に撮像される。
特徴点６０２は、特徴点認識部１０５により、画像データ６００から抽出された特徴点のひとつであり、特徴点６０３は、特徴点認識部１０５により、画像データ６０１から抽出された特徴点のひとつとなっている。特徴点６０２と特徴点６０３は、同じ計測対象の存在物の特徴点であるが、画像データ６００と画像データ６０１では異なる位置に撮像される。

対応計算部１０６は、撮影対象内の各特徴点が、画像データの間でそれぞれどの位置に映っているかを対応付けるものである。図６においては、特徴点認識部１０５によって認識した画像データ６００に映った特徴点６０２と、画像データ６０１に映った特徴点６０３の特徴パターンが一致していた場合に、対応計算部１０６は、それら特徴点同士の対応付けを行う。
図６（ａ）と図６（ｂ）においては、点線で結ばれた黒点が、対応付けられた特徴点を表わしている。

対応計算部１０６は、この特徴点の対応付け処理を全ての画像データ間の特徴点に対して実施する。しかし、全ての画像データ間で本対応計算処理を実施すると計算時間増に繋がるため、対応付けに利用する画像を所定の間隔で選択することでもよい。また、各画像の撮影場所が近いことが分かっている画像間のみに対して対応計算を行ってもよい。

図７により、仮相対姿勢・形状推定部１０７の処理の詳細を説明する。
図７は、撮像部１０１で撮像した２つの画像データにおいて、対応する特徴点と撮像部１０１の位置関係を示した図である。仮相対姿勢・形状推定部１０７は、各画像間の複数の特徴点の座標の対応関係から、スケール未知の撮影地点間の仮相対姿勢１０８および仮形状１０９を推定する。

ここで、相対姿勢とは撮影地点間の位置と向きに関する差異であり、前記仮相対姿勢１０８はそのスケールが未知である場合のことを指す。また前記相対姿勢１１１はスケールが正しい相対姿勢を指すこととする。前記形状データ１１３は３次元座標が得られた点の集合のことを指し、前記仮形状１０９はスケールが未知の形状データを指す。

スケール未知の特徴点の３次元座標と撮影地点間の相対姿勢は、各画像間の特徴点の座標とその対応関係が複数組得られていれば、一意に決定することができる。必要な対応関係数としては、２枚の画像の組あたり特徴点の対応関係が５組以上得られていればよい。この計算は５点アルゴリズム、８点アルゴリズムあるいは下記算出方法によって求められる。

以下に、より具体的な算出方法を説明する。
図７（ａ）は、撮像部１０１で撮像した画像データ７００を示している。また、図７（ｂ）は、同じ測定対象物を異なる位置から撮像した画像データ７０１を示している。図７（ａ）の符号７０２は、測定対象物の特徴点のひとつを表わし、図７（ｂ）の符号７０３は、符号７０２に対応する同じ測定対象物の特徴点を表わしているとする。

図７（ｃ）は、測定対象物７０７と画像データ７００、７０１の位置関係を表わした図である。符号７０４は、画像データ７００を撮像したときの撮像地点を表わし、符号７０５は、画像データ７０１を撮像したときの撮像地点を表わしている。そして、符号７０６は、撮像地点の符号７０４および７０５の相対姿勢の値とする。
測定対象物７０７の角部７０８は、画像データ７００の特徴点である符号７０２に対応し、画像データ７０１の特徴点である符号７０３に対応している。
図７（ｃ）の測定対象物の角部７０８と特徴点の符号７０２、７０３の位置関係はつぎの式で表わすことができる。

式（１）において、（ｆｘ，ｆｙ）はカメラの焦点距離、（ｃｘ，ｃｙ）は画面の主点、ｓは左辺のベクトルの３行目の要素が１となるようにするための正規化項であり、カメラ座標系における存在物までの距離に相当する。また、行列（Ｒ，ｔ）は撮影地点間の相対姿勢、（Ｘ，Ｙ，Ｚ）は特徴点の３次元座標である。

式（１）によれば、特徴点の３次座標が分かれば、画像データ上の座標（ｕ，ｖ）が定まる。そのため、（ｕ，ｖ）が実際に撮影によって得られた特徴点の画像上の座標（ｍｘ，ｍｙ）と一致するような特徴点の３次元座標（Ｘ，Ｙ，Ｚ）と相対姿勢を表わす行列（Ｒ，ｔ）を求めることで仮相対姿勢と仮形状を決定できる。

ただし、特徴点の認識誤差などの影響で（ｍｘ，ｍｙ）と（ｕ，ｖ）が厳密に一致する事はないため、つぎの式（２）に示す（ｍｘ，ｍｙ）および（ｕ，ｖ）の差異となる逆投影誤差Eを最小化することで最適な相対姿勢と複数の特徴点の３次元座標を求める。

このように、特徴点の３次元座標が得られることで、特徴点の位置に関する計測対象物の形状が確定する。最適化計算法としては最急降下法やLevenberg-Marquardt法など、評価式を最小化できるものであれば良い。

つぎに、図８により、スケール調整部１１０の詳細処理を説明する。
図８は、距離計測部１００が計測した前記距離データ１０３を用いて、仮形状１０９のスケールを調整する方法を示す図である。

撮像部１０１で撮像した画像データ１０４を用いて仮相対姿勢・形状推定部１０７によって計算した仮相対姿勢１０８と仮形状１０９は、形状内の距離の大小関係については正しいが、計測対象の絶対スケールが分からない。一方、距離計測部１００によって得た部位に関しては、絶対的なスケールが分かっているが、多くの場合、すべての点の距離を測定できないので、画面内の一部領域における距離しか得られていない。
そこで、スケール調整部１１０では、距離計測部１００によって得られている一部領域のスケール情報を、距離計測はできていないがスケール未知の形状が計算できた領域に与え、当該領域内のスケールを復元できるように調整する比率を求める。

具体的には、図８（ａ）の画像データ１０４の特徴点８０１については、距離計測部８００により、スケールの正しい距離８０４の座標８０２が得られているとする。
一方、特徴点８０１は、仮相対姿勢・形状推定部１０７の算出結果として、スケール未知の距離８０５の位置に形状が推定されたとする。

スケール調整部１１０は、距離８０４と距離８０５の比率ｒによって全体のスケールを決定する。つまり、図８（ｂ）に示すように、この比率ｒを用いて、仮形状１０９における特徴点８０１を、座標８０８（座標８０２と同じ）の位置に移動させる。さらに、距離計測できなかった特徴点８０６の位置に関しても、比率ｒを用いてスケール調整後の座標８１０の位置に移動させる。これにより、特徴点８０１と特徴点８０６は、正しいスケールを得ることができる。

図８（ａ）で、特徴点８０１に加えて、特徴点８０９も距離計測部８００により、スケールの正しい距離をもつ座標８０７が得られている場合には、特徴点８０９に関する比率ｒと、特徴点８０１に関する比率ｒとの平均をとり、全体のスケールを決定する。つまり、図８（ｂ）に示すように、仮形状１０９における特徴点８０１は平均の比率によりスケール調整をおこなって座標８０８（座標８０２と異なる）の位置に移動させる。同様に、特徴点８０６、８０９、８１１も、平均の比率によりスケール調整をおこなって、座標８１０、８１２、８１３の位置に移動されて、正しいスケールを得ることができる。
このように、距離計測できた特徴点が複数ある場合には、最適なスケールの計算は各スケールの平均を取ることとする。

上記によって得られたスケールの比率ｒによって、仮相対姿勢tをスケールの正しい相対姿勢ｔ_ｒに補正する方法を式（３）に示す。

また、特徴点のスケール未知の座標（Ｘ，Ｙ，Ｚ）を、スケールの正しい座標（Ｘｒ，Ｙｒ，Ｚｒ）に修正する方法を式（４）に示す。

つぎに、図９により、形状復元部１１２の処理内容の詳細を説明する。
図９は、計測対象物の形状の復元方法を説明する図である。
形状復元部１１２は、スケール調整部１１０によって調整した全体のスケールを初期値として、仮相対姿勢・形状推定部１０７で求めた逆投影誤差に、スケールの調整を拘束条件として更に追加して、スケールの正しい相対姿勢と形状の復元を行う。
本発明では、撮像部で複数の異なる位置から撮影した画像を用いて得られるスケール未知の形状と、距離計測部１００で得られたセンサ付近の一部の形状から得られるスケールを組み合わせることで、距離計測部１００で直接計測できない遠方の形状についても３次元形状計測することが可能となる。

詳しくは、図９において、画像データの特徴点９００は、距離計測部１００によって測定対象物までの距離９０１が計測できていることとし、特徴点９０２については距離が計測できていないこととする。この際、画像データの特徴点９００の３次元座標９０３を仮に設定し、特徴点９０２の３次元座標９０４を仮に設定すると、画像データの特徴点の位置は、式（１）によって求まる。

式（１）を満たしつつ、さらに、距離の計測できている特徴点９００については、仮に設定した３次元座標９０３とセンサまでの距離が、計測によって得られた距離９０１と等しくなるようにすることで、スケールの正しい形状を求めることができる。

つぎの式（５）にその評価計算式を示す。

ここで、式（５）における重みｗは、特徴点までの距離と計測によって得た距離の差異に関する拘束の重みを表す。この重みは、前記逆投影誤差と距離の差異（これを距離誤差と呼ぶこととする）に関する拘束のバランスを制御するものであり、特徴点認識精度と距離計測精度の比率に応じて設定する。
また、式（５）において１、２番目の項は式（２）と同様であり、逆投影誤差を示す。
３番目の項は前記距離誤差を示しており、dは距離計測部によって計測した距離、sは式（１）によって得られるセンサから仮に設定した特徴点までの距離をそれぞれ示している。

さらに、形状復元部１１２では、特徴点の３次元座標と距離計測部１００の間の姿勢関係を求めたが、特徴点が十分密に得られていない場合には、特徴点の相対姿勢を用いて、Multi View Stereoの手法により、特徴点が得られなかった部位についての形状を復元する。この復元は、図１０に示すエピポーラ幾何の原理に基づき、以下に示す手順によって行う。

図１０は、測定空間の測定対象物のひとつの点１００１を異なる方向から撮像したときの、点１００１と撮像部１００３の対応関係を示した図であり、エピポーラ幾何の原理を示すものである。
測定空間の点１００１は、画像データ１００４上の点１０００に対応し、撮像部１００３と点１０００を結んだ線の延長線のどこかにあることになる。点１００１を含む線を、他の視点から撮像したときの画像データ１００５の直線１００２をエピポーラ線と呼ぶ。測定空間の点１００１を他の視点から撮像したときの画像データ１００５上の点は、このエピポーラ線１００２上に限定される。この原理をエピポーラ幾何と呼ぶ。

この原理を利用したMulti View Stereoにより、測定対象物の画像が特異なパターンでなく特徴点として認識されなかった点についても、エピポーラ線上のみを探索することで対応点を見つけることができるので、密に形状を復元できる。なお、上記密な形状の復元方法は相対姿勢と画像データから密な形状を復元できる手法であれば上記Multi View Stereoに限らない。

つぎに、図１の距離データ利用領域設定部１１５について説明する。
前記形状復元部１１２では、重みｗの値を特徴点認識精度と距離認識精度のバランスによって設定しているが、このうち距離認識精度は、測定対象物の材質や色、距離等によってそれぞれ異なる場合がある。
そこで、距離データ利用領域設定部１１５により、距離精度の高さに応じて、前記距離精度に従う重みｗを設定し、前記距離精度を満たす画像データの領域と前記重みｗを対にして複数種類設定し、画像データ内の領域に応じて、この重みｗに従いスケール調整部１１０でスケールを決定しつつ、形状復元部１１２が式（５）を最適化する。

図１１は、距離データ利用領域設定部１１５の処理を説明する図である。
図１１では、距離データ利用領域設定部１１５が、画像データ１１０１に基づいて、３種類の重みを設定する例を示している。図１１の例においては、特徴点１１０２の部位を距離計測部１００で計測した時に、精度が最も高く、特徴点１１０４の部位では、精度が次に高く、特徴点１１０６の部位では、精度が最も低いこととする。

この場合、設定手順としては、画像データ１１０１において、距離データ利用領域設定部１１５は、まず特徴点１１０２を含む領域１１０３を設定し、重みｗに最も大きな値を設定する。続いて特徴点１１０４を含む領域１１０５を設定し領域１１０３に設定した重みｗよりは小さい値の重みｗを設定する。最後に特徴点１１０６を含む領域１１０７を設定し、最も小さな重みｗを設定することとする。
なお、重みｗを設定しなかった領域には所定の重みｗを設定することとする。

距離データ利用領域設定部１１５により決められた領域毎のそれぞれの重みｗに応じて、スケール調整部１１０は重み付き平均によりスケールを決定し、また、形状復元部１１２は式（５）の重みｗの値に応じて形状復元を行う。
なお、設定の種類は３種類に限らないものとする。また、何も設定しなかった場合は所定の固定値を重みｗとして採用する。所定の領域の重みを所定の値wとし、それ以外の重みをゼロにすることで、領域内の距離データのみを使うということでもよい。

つぎに、図１の特徴点利用領域設定部１１６について説明する。
前記形状復元部１１２では、重みｗの値を特徴点認識精度と距離認識精度のバランスによって設定しているが、このうち特徴点認識精度は、撮像した画像の解像度や各特徴点の鮮明さによって、それぞれ異なる場合がある。
そこで、特徴点利用領域設定部１１６により、特徴点の距離認識精度の高さに応じて、前記重みｗを画像データの領域毎に複数種類設定し、この重みｗに従いスケール調整部１１０はスケールを決定し、また形状復元部１１２は式（５）を最適化する。なお、重みｗの設定値は、式（５）に示すように距離認識精度に関する項に係るものであるため、特徴点認識精度が高いほど重みｗを小さくする。

図１２は、特徴点利用領域設定部１１６の処理を説明する図である。
図１２では、特徴点利用領域設定部１１６で、画像データ１２０１に基づいて、３種類の重みを設定する例を示している。図１２の例においては、特徴点１２０２の部位を特徴点認識精度が最も高く、特徴点１２０４の部位の特徴点認識精度が次に高く、特徴点１２０６は特徴点認識精度が最も低いこととする。

この場合の設定手順としては、特徴点利用領域設定部１１６は、画像データ１２０１において、まず特徴点１２０２を含む領域１２０３を設定し、重みｗに最も小さな値を設定する。続いて特徴点１２０４を含む領域１２０５を設定し、領域１２０３に設定した重みｗより大きな値を設定する。最後に特徴点１２０６を含む領域１２０７を設定し、最も大きな重みｗを設定することとする。
なお重みｗを設定しなかった領域には、所定の重みｗを設定することとする。

特徴点利用領域設定部１１６により決められた領域毎のそれぞれの重みｗに応じて、スケール調整部１１０は重み付き平均によりスケールを決定し、また、形状復元部１１２は式（５）の重みｗの値に応じて形状復元を行う。
なお、設定の種類は３種類に限らないものとする。また、何も設定しなかった場合は所定の固定値を重みｗとして採用する。所定の領域の重みを所定の値wとし、それ以外の重みをゼロにすることで、領域内の特徴点のみを使うということでもよい。

（実施例２）
上述の実施形態では、距離計測部１００がレーザスキャナや距離画像センサ等で構成される例を説明したが、距離計測部１００で計測できた特徴点までの距離データを基に、全体の形状データを復元している。言いかえれば、距離計測部１００で測定対象物の全ての点までの距離を測定する必要はなく、撮像画像の一部の特徴点までの距離が測定できればよい。
本実施例は、距離計測部１００に平面上を走査することで測定対象物の一部の２次元形状を測定する２Ｄ距離センサを使用し、この２Ｄ距離センサで計測した距離から、空間の形状を復元するものである。

本実施例の３次元形状計測システムの機能ブロックは、図１の機能ブロックにおいて、距離計測部１００が２Ｄ距離センサで構成され、距離データ利用領域設定部１１５と特徴点利用領域設定部１１６をもたない点が異なる。

本実施例の３次元形状計測システムは、撮像部１０１で撮影した画像データ１０４に対し、特徴点認識部１０５、対応計算部１０６、仮相対姿勢・形状推定部１０７によって、仮相対姿勢１０８および仮形状１０９を求める。さらにスケール調整部１１０によって、距離データ１０３と仮形状１０９から得たスケール情報を用い、仮相対姿勢１０８を修正しスケールの正しい相対姿勢１１１を求める。続いて形状復元部１１２では、距離計測部１００で得た距離データを、相対姿勢に基づいて３次元空間上にマッピングすることで３次元形状を復元する。この処理は、上述の実施形態と、同様である。
本実施例では、式（５）における重みｗを、固定の所定値に設定して処理をおこなう。

図１３は、本実施例の３次元形状計測システムの装置外観を示す図である。
本実施例の計測装置は、撮像装置１３００を２Ｄ距離センサである距離計測部１３０１の上に乗せる構成となっている。そして、本実施例の計測装置を移動して、異なる方向から測定対象物の撮像と距離測定を行う。

距離計測部１３０１は、周囲の凹凸等の２次元的な形状を一度に計測可能なセンサである。例えば、レーザ光を直線上にスキャンして、その反射光の受光し、レーザ光の照射から受光までの時間によって距離を計測するレーザスキャナである。

図１３の本実施例の装置では、距離計測部１３０１で走査する位置と、撮像装置１３００の撮像位置を対応づけて、撮像装置１３００の画像データの特徴点の座標位置に対応する測定対象物の距離データを取得する。
より具体的には、撮像装置１３００によって撮像した画像データ１０１の特徴点が中心を通る水平線に存在する際には、２Ｄ距離センサである距離計測部１３０１のレーザ光のスキャンもその水平線に対応させる。このため、距離計測部１３０１の向きや傾きを変更可能にし、距離計測部１３０１が、レーザ光の走査位置を変更して、画像データの任意の位置の距離を計測できるようにする。
本実施例の３次元形状計測システムの計測装置は、上記の撮像部１３００と距離計測部１３０１の測定結果に基づいて、図２に示した形状復元装置２１と同じ構成により、測定対象物の復元をおこなう。このため、本実施例の計測装置における、復元処理を行う装置構成については、説明を省略する。

図１４により、距離計測部１３０１の計測例を説明する。
距離計測部１３０１は、２Ｄ距離センサであり、レーザ光１４０２を測定対象物１４０１に走査して、照射したレーザ光の反射光を受光し、照射光と反射光の位相差から照射してから受光するまでに時間を求めて、測定対象物１４０１までの距離を算出する。レーザ光の走査を一方向に行うことで、走査線の２次元的な形状を測定する。このとき、レーザ光１４０３の照射方向には測定対象物がないので、反射光を受光することがない。このため、距離測定不能とする。

つぎに、距離計測部１３０１の計測結果による、形状の復元方法について説明する。図１５は、図１４のレーザ光の走査面を示した図である。
距離計測部１３０１は、計測方向φを角度分解能δφずつ変化させながらn個のデータを順次計測する。ここではｉ番目の計測データの計測方向をφi、計測結果を距離ｒiとする。この時の距離と方向の組み合わせ(ｒi,φi)が、距離計測部１３０１を中心とした測定対象物の相対的な極座標系で表される位置となる。

なお、点線矢印は各レーザ光１４０２の照射方向に関する計測結果を表し、矢印の終端１５００が被計測点の位置となる。閉じた実線は空間上の測定対象物体を示し、この物体とぶつかる点線矢印１５０１が計測に成功したデータである。閉じた実線にぶつからなかった点線矢印は、反射光がないために、計測できなかったことを示す。計測に成功したデータの集合が測定対象物１４０１の極座標表現された２次元的な形状となる。

距離計測部１３０１で計測され、極座標系で表された位置(ｒi,φi)から直交座標系（Ｘ，Ｙ，Ｚ）への変換は、つぎの式（６）によって行う。

これにより求まった座標（Ｘ，Ｙ，Ｚ）と、相対姿勢１１１を用いて、式（７）の変換式により３次元座標値（Ｘｒ，Ｙｒ，Ｚｒ）を計算することで形状を復元する。

本実施例によれば、撮像部によって複数の異なる位置から撮影した画像を用いて得られるスケール未知の形状と、距離計測部１００で得られた一部の形状から得られるスケールを組み合わせることで、距離計測部１００で直接計測できない測定対象の全体形状についても３次元形状計測することが可能となる。
また、本実施例によれば、距離計測部１３０１に安価な２Ｄ距離センサを使用して３次元形状計測システムを構成できるので、低コストでシステムを得ることができる。
また、レーザ光の走査期間が短くなるので、一回の計測に掛かる距離の計測時間が短くなり、多くの方向から測定対象物の計測を行うことができ、３次元計測の計測精度が向上する。

（実施例３）
上述したように本実施例の３次元形状計測システムでは、複数の方向から撮像した画像データの特徴点の対応関係から３次元空間のスケール未知の仮相対姿勢と仮形状を求め、特徴点の距離データを用いて仮相対姿勢と仮形状のスケールを調整して、３次元空間の形状復元を行っている。
つまり、距離計測部は、画像データの特徴点の距離データを求めればよい。

本実施例では、距離計測部として、計測方向の向きと傾きを任意に変えて測定空間の所定の一点までの距離を計測できる距離センサを使い、空間の形状を復元する実施例について説明する。
図１６は、本実施例の３次元形状計測システムの装置外観を示す図である。
本実施例の計測装置は、距離計測部１６０１と撮像部１６００備え、移動して異なる方向から計測対象の撮像と距離測定を行って、３次元空間の形状を算出する。

撮像部１６００は、上述の実施例と同様に、計測空間の測定対象物の形状全体を撮影して、視点の異なる複数の画像データを取得する。
距離計測部１６０１は、ある方向のレーザ光１６０２を照射し、測定対象物上の一点までの距離を計測するレーザ距離計が設けられ、このレーザ距離計のレーザ光１６０２の照射方向と傾きを変えるために、レーザ距離計の向きを制御する雲台１６０３を備えている。この雲台１６０３は、画像データの任意の一点に対応する測定対象物に向けてレーザ光を照射できるように制御されている。
本実施例の３次元形状計測システムは、上記の撮像部１６００と距離計測部１６０１の測定結果に基づいて、図２に示した形状復元装置２１と同じ構成により、測定対象物の復元をおこなう。このため、本実施例における復元処理を行う装置構成については、説明を省略する。

図１７に、本実施例の３次元形状計測システムの処理フローを示す図である。
まず、本実施例の３次元形状計測システムは、撮像部１６００により、測定空間の測定対象物を撮像し、複数の方向から測定対象物を撮影した画像データを取得する（Ｓ１７１）。
つぎに、ステップＳ１７１で取得した画像データを解析し、画像上の特徴点を認識する特徴点認識処理を行う（Ｓ１７２）。
そして、複数の画像データの間で、同じ特徴点の対応付ける対応計算処理を行う（Ｓ１７３）。

本実施例の３次元形状計測システムは、ステップＳ１７４で、複数の画像データの間の同じ特徴点の位置情報から、スケールが未知の仮相対姿勢および仮形状を求める。
その後、ステップＳ１７２で決めた画像データの特徴点に対応する測定対象物の一点の方向にレーザ光を照射するように、雲台１６０３を制御し、距離計測部１６００により特徴点に対応する測定対象物の一点までの距離測定を行う（Ｓ１７５）。この距離測定は、画像データの特徴点の数分行う。

つぎに、本実施例の３次元形状計測システムは、ステップＳ１７４で求めたスケール未知の仮形状に関する距離と、ステップＳ１７５で計測した距離データによって得られるスケールの正しい距離の比率を用いて、仮相対姿勢と仮形状のスケールを調整する（Ｓ１７６）。
最後に、仮相対姿勢および仮形状と、計測した特徴点の距離データから計測対象物の形状を復元する（Ｓ１７７）。
この時、ステップＳ１７２で求めた特徴点の数が少なければ、多視点のエピポーラ拘束により特徴点以外の部分についても、形状復元をおこなうようにしてもよい。

上記のフローは、本実施例の計測装置が移動計測のたびに実施される。
ところで、ステップＳ１７３とステップＳ１７４の処理は、プロセッサ等の処理リソースを多く必要とし、処理時間が掛かる。また、ステップＳ１７５の距離測定も、特徴点の数が多いと向きの調整に時間が掛かり、距離データの取得時間が長くなる。このため、図１７のフロー全体の処理時間が長くなり、計測時間が長くなる場合や、多くの視点方向からの測定が行えない場合が生じる可能性がある。

このような場合には、ステップＳ１７５の処理は、特徴点が求めた後であれば、いつでも実施できるので、ステップＳ１７２の処理の後に特徴点の距離データ取得（Ｓ１７５）の処理を開始し、ステップＳ１７５の距離データの取得処理と、ステップＳ１７３、ステップＳ１７４の順に実行される処理を並行して行うようにするとよい。

本実施例によれば、撮像部によって複数の異なる位置から撮影した画像を用いて得られるスケール未知の形状と、距離計測部１００で得られた一部の形状から得られるスケールを組み合わせることで、距離計測部１００で直接計測できない測定対象の全体形状についても３次元形状計測することが可能となる。
また、本実施例によれば、画像データの特徴点に対応する測定対象物の点までの距離測定を高精度に行えるので、３次元計測システムの測定精度の向上を容易に行うことができる。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

上記の実施例を他の観点から捉えると、本発明の３次元計測システムは、
測定対象物を含む測定空間を撮像して画像データを取得する撮像部と、
前記撮像部により異なる方向から撮像した複数の画像データのそれぞれに対応する画像データの特徴点を複数点求め、前記特徴点から成るスケール未知の仮相対姿勢と仮形状とを算出する仮相対姿勢・形状算出部と、
前記特徴点に対応する前記測定対象物までの距離を測定する距離計測部と、
前記距離計測部により距離を測定できなかった特徴点の３次元座標値を、前記距離計測部により距離を測定できた特徴点の距離とスケール未知の仮相対姿勢と仮形状から算出して、前記全体形状を復元する実形状算出部と、
を備えることを特徴とするものである。

また、本発明の３次元計測システムの計測方法は、
測定対象物の複数の点までの距離を測定する距離計測部と、前記測定対象物を含む測定空間を撮像して画像データを取得する撮像部と、を備えて、測定空間の形状を計測する３次元形状計測システムの計測方法であって、
前記撮像部により異なる方向から撮像した複数の画像データのそれぞれに対応する画像データの特徴点を複数点求め、前記特徴点から成るスケール未知の仮相対姿勢と仮形状とを算出するステップと、
前記距離計測部により距離を測定できなかった特徴点の３次元座標値を、前記距離計測部により距離を測定できた特徴点の距離とスケール未知の仮相対姿勢と仮形状から算出して、前記全体形状を復元するステップと、
を有することを特徴とするものである。

１００ 距離計測部
１０１ 撮像部
１０２ 計測データ記憶部
１０３ 距離データ
１０４ 画像データ
１０５ 特徴点認識部
１０６ 対応計算部
１１４ 特徴点対応
１０７ 仮相対姿勢・形状推定部
１０８ 仮相対姿勢
１０９ 仮形状
１１０ スケール調整部
１１１ 相対姿勢
１１２ 形状復元部
１１３ 形状データ
１１５ 距離データ利用領域設定部
１１６ 特徴点利用領域設定部
１２０ 仮相対姿勢・形状算出部
１２１ 実形状算出部

Claims (13)

1. 測定対象物の複数の点までの距離を測定する距離計測部と、
   前記測定対象物を含む測定空間を撮像して画像データを取得する撮像部と、
   前記撮像部により異なる方向から撮像した複数の画像データのそれぞれに対応する画像データの特徴点を複数点求め、
   前記複数点の特徴点の画像データにおける位置情報から、スケール未知の仮相対姿勢および仮形状を求め、
   前記距離計測部により計測した前記特徴点までの距離に基づいて、前記スケール未知の仮相対姿勢および仮形状の３次元座標値を算出して、
   測定対象物の形状を復元する形状復元装置と、
   を備え、
   前記形状復元装置は、
   前記距離計測部で計測した距離データと前記撮像部が撮影した画像データを対にして複数組記憶する計測データ記憶部と、
   前記画像データの特徴点を認識する特徴点認識部と、
   複数枚の前記画像データから得たそれぞれの前記特徴点を対応付ける対応計算部と、
   前記対応計算部が計算した対応からスケール未知の仮相対姿勢および仮形状を求める仮相対姿勢・形状推定部と、
   前記仮形状の大きさと形状を前記距離計測部で計測して得た距離の比率から前記仮相対姿勢・形状推定部が求めた前記仮相対姿勢および前記仮形状のスケールを調整することで正しいスケールの相対姿勢および形状を求めるスケール調整部と、
   前記スケール調整部によって計算した前記形状および前記相対姿勢から求まる特徴点の画面座標値と前記画像データから得られる特徴点の画面座標値との差異を示す逆投影誤差と、前記スケール調整部によって計算した前記形状を構成する前記特徴点までの距離と前記距離計測部によって計測して得られた距離との差異を示す距離誤差を拘束条件とすることで形状を復元する形状復元部と、
   を有する
   ことを特徴とする３次元形状計測システム。
2. 請求項１に記載の３次元形状計測システムにおいて、
   前記距離計測部は、前記画像データの前記特徴点の位置を含む測定空間の一方向の距離を計測する２Ｄ距離センサである
   ことを特徴とする３次元形状計測システム。
3. 請求項１に記載の３次元形状計測システムにおいて、
   前記距離計測部は、前記画像データの前記特徴点の位置に対応する測定空間の測定対象物までの計測するレーザ距離計である
   ことを特徴とする３次元形状計測システム。
4. 請求項１に記載の３次元形状計測システムにおいて、
   前記形状復元部は前記撮像部が撮影した画像データと前記相対姿勢を用いてエピポーラ幾何の原理を用いて前記特徴点以外の部位について形状を復元する
   ことを特徴とする３次元形状計測システム。
5. 請求項１に記載の３次元形状計測システムにおいて、
   前記形状復元部は、前記逆投影誤差と前記距離誤差とのバランスを設定する重み係数を有する
   ことを特徴とする３次元形状計測システム。
6. 請求項１に記載の３次元形状計測システムにおいて、
   前記距離計測部は、測定空間の測定対象物の撮像に対応して、測定対象物までの距離を一度に測定する
   ことを特徴とする３次元形状計測システム。
7. 請求項１に記載の３次元形状計測システムにおいて、
   前記距離計測部は、前記特徴点認識部が認識した特徴点ごとに、前記特徴点までの距離を計測する
   ことを特徴とする３次元形状計測システム。
8. 請求項１に記載の３次元形状計測システムにおいて、
   前記距離計測部は、前記特徴点に対応する点を含む測定対象物の一部の２次元形状を一度に測定し、
   前記形状復元部は、前記相対姿勢に基づいて、前記距離計測部で計測した特徴点の距離を３次元座標値に変換することで形状を復元する
   ことを特徴とする３次元形状計測システム。
9. 請求項１に記載の３次元形状計測システムにおいて、
   前記画像データに対して、距離精度の高さに応じて重み係数を設定し、前記距離精度を満たす画像データの領域と前記重み係数を対にして複数種類設定する距離データ利用領域設定部を有し、
   前記スケール調整部および前記形状復元部は前記重み係数を用いてスケール算出と形状復元をおこなう
   ことを特徴とする３次元形状計測システム。
10. 請求項１に記載の３次元形状計測システムにおいて、
    前記画像データに対して、距離精度の高さに応じて重み係数を設定し、前記距離精度を満たす対応画像データの領域と前記重み係数を対にして複数種類設定する距離データ利用領域設定部を有し、
    前記スケール調整部および前記形状復元部は前記重み係数毎に前記領域内に含まれる距離データを用いてスケール算出と形状復元をおこなう
    ことを特徴とする３次元形状計測システム。
11. 請求項１に記載の３次元形状計測システムにおいて、
    前記画像データに対して、特徴点認識精度に応じた重み係数を設定し、前記特徴点認識精度を満たす画像データの領域と前記重み係数を対にして複数種類設定する特徴点利用領域設定部を有し、
    前記スケール調整部および前記形状復元部は前記重み係数を用いてスケール算出と形状復元をおこなう
    ことを特徴とする３次元形状計測システム。
12. 請求項１に記載の３次元形状計測システムにおいて、
    前記画像データに対して、特徴点認識精度に応じた重み係数を設定し、前記特徴点認識精度を満たす画像データの領域と前記重み係数を対にして複数種類設定する特徴点利用領域設定部を有し、
    前記スケール調整部および前記形状復元部は前記重み係数毎に前記領域内に含まれる特徴点を用いる
    ことを特徴とする３次元形状計測システム。
13. 測定空間の形状を計測する３次元形状計測システムの計測方法であって、
    距離計測部で計測した距離データと撮像部が撮影した画像データを対にして複数組記憶し、
    前記画像データの特徴点を認識し、
    複数枚の前記画像データから得たそれぞれの前記特徴点を対応付け、
    対応付けられた特徴点からスケール未知の仮相対姿勢および仮形状を求め
    前記距離計測部が計測した距離によって前記仮相対姿勢および前記仮形状のスケールを調整することで正しいスケールの相対姿勢および形状を求め、
    前記正しいスケールの相対姿勢および形状から求まる特徴点の画面座標値と前記画像データから得られる特徴点の画面座標値との差異を示す逆投影誤差と、前記正しいスケールの形状を構成する前記特徴点までの距離と前記距離計測部によって計測して得られた距離との差異を示す距離誤差を拘束条件として形状を復元する
    ことを特徴とする３次元形状計測システムの計測方法。

Images