JP4599515B2 - ３次元形状データの位置合わせ方法および装置 - Google Patents

Description

本発明は、対象物体の３次元計測を行って得られる３次元形状データについて、対象物体に設けられたターゲットマークを利用して位置合わせを行うための方法および装置に関する。

対象物体の３次元形状データを取得するために、しばしば非接触による３次元計測が行われる。３次元計測には、レンズ焦点法やステレオ画像法などの受動型と、光レーダ法や光投影法などの能動型とがある。ステレオ画像法では、例えばカメラによって互いに異なる複数の位置から対象物体を撮影し、得られた複数の画像から三角測量の原理によって、対象物体上の各点の３次元座標を算出する。対象物体の写真を撮影して３次元座標を求めるので写真測量法とも呼ばれる。また、光投影法では、対象物体に対して検出光を投射し、対象物体からの反射光を撮像素子で受光する。検出光としてスリット光を用いたものがスリット光投影法（光切断法ともいう）である。スリット光投影法では、スリット光を偏向して対象物体を光学的に走査し、対象物体の表面形状に基づくスリット光の変形の程度から、三角測量の原理によって対象物体上の各点の３次元座標を算出する。

さて、１つの対象物体についての完全な３次元形状データを得るには、その対象物体に対して異なる位置から複数回の３次元計測を行い、得られた複数の３次元形状データを繋ぎ合わせて統合する必要がある。特に、能動型の３次元計測機（３次元デジタイザ）では、視野角に制限があるため、対象物体の全体を１回の計測の視野に入れられないことがある。そのため、対象物体を部分ごとに計測し、得られた複数の３次元形状データを繋ぎ合わせて最終的に１つの３次元形状モデルとすることが行われている（非特許文献１）。

複数の３次元形状データを繋ぎ合わせる際には、それらの位置合わせを行う必要がある。３次元形状データの位置合わせのために、対象物体に多数のターゲットマークを貼り付けておき、ターゲットマークの３次元座標位置であるターゲット座標に基づいて位置合わせすることが行われている。
FUSION OF PHOTOGRAMMETRIC AND LASER SCANNER DATA(Dr.Ing. ALOYS WEHR/ALBERT WIEDEMANN) 0ct/1999

しかし、従来のようにターゲット座標のみに基づいて位置合わせを行った場合に、類似の位置関係のターゲット座標が複数あった場合に、どのターゲット座標が対応するのかが分からない場合がある。

例えば、図１４（Ａ）に示すように、対象物体Ｑに６つのターゲットマークＴＭが設けられている場合に、それぞれ鎖線で囲まれた３つずつのターゲットマークＴＭからなる２つのグループＡ，Ｂの三角形が似ている場合に、それらを互いに区別できないという問題がある。この例では、図１４（Ｂ）に示すように、グループＡ，Ｂの２つの三角形は互いに鏡面対称であり、したがってターゲットマークＴＭの対応関係が一致するため、これらを区別することが困難である。したがって、３次元形状データの位置合わせを誤ってしまう可能性があった。

このように、従来においては、ターゲット座標の対応関係の決定に当たってのロバスト性が低いという問題がある。この問題を解決するためには、対象物体ＱにターゲットマークＴＭを貼るときに不規則に貼ったり、ターゲットマークＴＭの数を増やすことが考えられる。しかし、ターゲットマークＴＭを不規則に貼るというのは定量化が難しくノウハウ的な要素が大きいので、それのみに頼ることは問題である。また、ターゲットマークＴＭの数を増やすとそれによって対象物体の隠れる面積が増大してしまうので、計測された３次元形状データの品質が落ちるという問題が新たに生じる。

本発明は、上述の問題に鑑みてなされたもので、対象物体の３次元計測を行って得られる３次元形状データの位置合わせに際し、ターゲットマークの対応の決定に当たってのロバスト性を向上させることを目的とする。

本発明に係る方法は、対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための方法であって、前記対象物体について写真測量を行い、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算によって取得し、前記３次元計測によって、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを取得し、前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルとの一致度合いとによって、前記写真測量によって取得した前記ターゲットマークの３次元位置と前記３次元計測によって取得した前記ターゲットマークの３次元位置との対応関係を決定し、前記ターゲットマークの３次元位置の対応関係に基づいて前記３次元計測によって得られた３次元形状データの位置合わせを行う。

好ましくは、多数の前記ターゲットマークのうちから３つターゲットマークを選択し、選択した３つのターゲットマークの組について、前記対応関係を決定する。

また、前記写真測量によって取得した前記ターゲットマークの３次元位置の精度に関する評価係数を求め、前記評価係数を適用して前記対応関係の信頼度の判定を行う。前記対応関係の信頼度の判定の結果、信頼度が低い場合に、その旨の信号を出力する。

本発明に係る装置は、対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための装置であって、前記対象物体について写真測量により得た画像データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第１の手段と、前記３次元計測を行って得られた３次元形状データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第２の手段と、前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルとの一致度合いとによって、前記第１の手段によって演算した３次元位置と前記第２の手段によって演算した３次元位置との対応関係を決定する第３の手段と、前記第３の手段により決定された対応関係に基づいて、前記３次元計測によって得られた３次元形状データを前記写真測量によって得られた３次元位置に合うように座標変換を行う第４の手段と、を有する。

好ましくは、前記第１の手段によって演算した３次元位置の精度に関する評価係数を求める第５の手段を有し、前記第３の手段は、前記評価係数を適用して前記対応関係の信頼度の判定を行う。

また、前記第３の手段によって前記対応関係の信頼度の判定の結果、信頼度が低い場合に、その旨の信号を出力する第６の手段を有する。

本発明によると、対象物体の３次元計測を行って得られる３次元形状データの位置合わせに際し、ターゲットマークの対応の決定に当たってのロバスト性が向上する。

図１は本発明に係る３次元形状モデル生成システム１を示すブロック図、図２はデジタルカメラＣＭによって対象物体Ｑを撮影する様子を示す図、図３はターゲットマークＴＭの例を示す図、図４は３次元計測機ＶＤによって対象物体Ｑの３次元計測を行う様子を示す図、図５はターゲット座標ＴＺおよび法線ベクトルＨＶの例を示す図、図６は法線ベクトルと面法線ベクトルとのなす角度の例を示す図、図７は三角形リストＳＬの例を示す図、図８は測定精度を説明する図、図９は生成された３次元形状モデルＭＤの例を示す図である。

図１において、３次元形状モデル生成システム１は、カメラＣＭ、３次元計測機ＶＤ、処理装置３、入力装置４、表示装置５、プリンタ６、および記憶装置７などから構成される。

カメラＣＭは、写真測量に用いるものであり、１回の撮影で対象物体の全体または部分についての１枚の画像データが得られる。図２に示すように、１つの対象物体Ｑに対して、撮影位置および撮影方向を変えて様々な視点から万遍なく複数回の撮影を行う。対象物体Ｑには、適所にターゲットマークＴＭが貼り付けてあり、１回の撮影に少なくとも３つのターゲットマークＴＭが写されるようにカメラＣＭの視野および姿勢を決める。ターゲットマークＴＭは、例えば、シート状体の表面に描かれた直径が数ｍｍから１ｃｍ程度の円または円周線であり、粘着剤などによってシート状体が対象物体Ｑの表面に貼り付けられる。

なお、カメラＣＭでの撮影に当たって、通常は人がカメラＣＭを手でもって撮影するが、マニピュレータなどによってカメラＣＭを移動させ、自動的に撮影を行うようにしてもよい。図２に示す例では、対象物体Ｑは自動車のドアであり、ドアの表面側および裏面側の両方とも複数回の撮影を行う。カメラＣＭとして、デジタルの静止画像データを得るデジタルカメラ、動画像を得るデジタルビデオカメラ、その他の種々のカメラを用いることが可能である。なお、カメラＣＭとして１つのカメラによって構成されたもの、２つまたは３つ以上のカメラによって構成されたものを用いることができる。

３次元計測機ＶＤは、対象物体Ｑの３次元計測に用いるものであり、本実施形態においてはスリット光投影法による能動型の３次元計測機を用いる。図４に示すように、３次元計測機ＶＤによって、対象物体Ｑの全表面を複数回にわたって計測し、対象物体Ｑの表面の部分ごとの３次元形状データを取得する。１つの３次元形状データＳＤに少なくとも３つのターゲットマークＴＭが含まれるように、３次元計測機ＶＤの視野および姿勢を決める。

処理装置３は、カメラＣＭから出力される画像データＧＤ、および３次元計測機ＶＤから出力される３次元形状データＳＤに基づいて、対象物体Ｑについての全体の表面形状を示す３次元形状モデルＭＤを生成する。なお、処理装置３として、パーソナルコンピュータを用いることが可能である。また、図には示していないが、処理装置３は適当なインタフェースを介してネットワークに接続されており、他の処理装置、パーソナルコンピュータ、またはサーバなどと通信可能である。

入力装置４は、処理装置３に対して指令を与え、データなどを入力するためのものである。入力装置４として、キーボード、マウス、タッチパネルなどが用いられる。

表示装置５は、入力された画像データＧＤおよび３次元形状データＳＤ、生成された３次元形状モデルＭＤ、演算途中の種々のデータ、その他の画像やメッセージなどを表示するものである。表示装置５として、ＬＣＤ、ＰＤＰ、ＣＲＴなどが用いられる。

プリンタ６は、種々のデータ、画像、メッセージなどをプリントするものである。記憶装置７は、入力された画像データＧＤおよび３次元形状データＳＤ、生成された３次元形状モデルＭＤ、演算途中の種々のデータ、その他の画像、データ、またはプログラムなどを記憶する。

以下、処理装置３による処理内容について詳しく説明する。

図１に戻って、処理装置３には、画像データ入力部１１、カメラ位置演算部１２、ターゲット座標演算部１３、法線ベクトル（平均視線ベクトル）演算部１４、精度評価係数演算部１５、３次元形状データ入力部１６、ターゲット座標演算部１７、法線ベクトル演算部１８、対応関係判定部１９、アラーム出力部２０、座標変換部２１、データ統合部２２、および３次元形状モデル出力部２３などが設けられる。

画像データ入力部１１は、カメラＣＭからの画像データＧＤを入力し、適当なメモリ領域または記憶装置７に記憶する。

カメラ位置演算部１２は、複数の画像データＧＤに基づいて、それら画像データＧＤを撮影したときのカメラ位置ＰＣを演算する。ターゲット座標演算部１３は、各ターゲットマークＴＭについて、それぞれのターゲットマークＴＭを含む複数の画像データＧＤに基づいて、ターゲットマークＴＭの３次元座標位置であるターゲット座標ＴＺｇを演算する。法線ベクトル演算部１４は、カメラ位置ＰＣおよびターゲット座標ＴＺｇに基づいて、それぞれのターゲットマークＴＭについての法線ベクトルＨＶｇを演算する。これら、カメラ位置ＰＣおよびターゲット座標ＴＺｇは、写真測量の公知の手法である、共線条件を用いることにより求めることができる。

また、法線ベクトルＨＶｇは、前記カメラ位置ＰＣ、前記ターゲット座標ＴＺｇから求めることができる。

すなわち、法線ベクトルＨＶｇについては、例えば、各ターゲット座標ＴＺｇの位置から各カメラ位置ＰＣに向かう視線ベクトルＶ０，Ｖ１，Ｖ２，Ｖ３…を求める。そして、各カメラ位置ＰＣに向かう視線ベクトルの平均ベクトルＶを求め、これを当該ターゲットマークＴＭについての法線ベクトルＨＶｇとする。

つまり、図２に示すように、１つのターゲットマークＴＭからそのターゲットマークＴＭを撮影した各カメラ位置ＰＣに向かう視線を視線ベクトルＶ０，Ｖ１，Ｖ２，Ｖ３…とし、それら視線ベクトルＶ０，Ｖ１，Ｖ２，Ｖ３…の平均である平均ベクトルＶを法線ベクトルＨＶｇとする。

以上のように、写真測量を行って求めた法線ベクトルとは、幾何学的な法線ベクトル（すなわち、ターゲットの中心位置から垂直方向に伸びるベクトル）と異なり、視線ベクトルの平均値で定義されるものであるから、これを「平均視線ベクトル」と呼んでもよい。

精度評価係数演算部１５は、写真測量によって取得したターゲットマークＴＭについての３次元位置、つまりターゲット座標演算部１３によって演算されたターゲット座標ＴＺｇについて、その精度に関する評価係数ＨＫを求める。

評価係数ＨＫを求める手法として、例えば、視線ベクトルＶ０，Ｖ１，Ｖ２，Ｖ３…の中から選択される２つの視線ベクトルの全ての組を求める。それらの各組について、２つの視線ベクトルのなす角度αを求める。求めた角度αのうちの最大のものをθとする。この角度θは、測定精度を示すパラメータであり、ここにいう評価係数ＨＫの例である。なお、角度αの範囲は０〜９０度とする。

すなわち、図８に示すように、写真測量において、ターゲット座標ＴＺｇを精度良く求めるためには、２つのカメラＣＭの視線ベクトルのなす角度αが９０度に近くなるように撮影を行うことである。図８（Ａ）の例では、角度αが小さいため、カメラＣＭの視線ベクトルに少しの誤差があった場合でも、真のターゲット座標ＴＺｇと計算されたターゲット座標ＴＺｇｍとの誤差が大きくなる。これに対して、図８（Ｂ）の例では、角度αが９０度に近いので、カメラＣＭの視線ベクトルに誤差があった場合でも、真のターゲット座標ＴＺｇと計算されたターゲット座標ＴＺｇｍとの誤差は余り大きくならない。したがって、角度θが９０度に近いほど精度は高いと評価できる。

３次元形状データ入力部１６は、３次元計測機ＶＤからの３次元形状データＳＤを入力し、適当なメモリ領域または記憶装置７に記憶する。

ターゲット座標演算部１７は、３次元形状データＳＤに基づいて、各ターゲットマークＴＭについて、ターゲットマークＴＭの３次元座標位置であるターゲット座標ＴＺｓを演算する。例えば、ターゲットマークＴＭのエッジを検出し、エッジ上の複数の点の３次元座標（ｘ，ｙ，ｚ）を算出する。そのエッジに、適当な円をフィットさせる。フィットした円の直径が所定の範囲であるかどうかによって、そのエッジがターゲットマークＴＭであるか否かを判定する。ターゲットマークＴＭであると判定された場合に、フィットした円の中心位置の座標をターゲット座標ＴＺｓとする（図３を参照）。

法線ベクトル演算部１８は、３次元形状データＳＤおよびターゲット座標ＴＺｓに基づいて、それぞれのターゲットマークＴＭについての法線ベクトルＨＶｓを演算する。例えば、ターゲット座標ＴＺｓの演算においてエッジにフィットさせた円または楕円の法線ベクトルＨＶｓを計算する。法線ベクトルＨＶｓは、測定面から３次元計測機ＶＤに向かう方向を正とする。

ここで、３次元形状データＳＤに基づいて求めた法線ベクトルとは、写真測量を行って求めた法線ベクトル（平均法線ベクトル）とは異なり、ターゲットの中心位置から垂直方向に伸びるベクトルを、３次元形状データＳＤを基に算出したものであり、幾何学的に定義される法線ベクトルそのものである。

なお、ターゲット座標ＴＺｓおよび法線ベクトルＨＶｓは、他の種々の手法を用いて求めることができる。

対応関係判定部１９は、カメラＣＭによる写真測量に基づくターゲット座標ＴＺｇおよび法線ベクトルＨＶｇと、３次元計測機ＶＤによるターゲット座標ＴＺｓおよび法線ベクトルＨＶｓを用いて、ターゲット座標ＴＺｇとターゲット座標ＴＺｓとの対応関係を判断して決定する。つまり、ターゲット座標ＴＺｇと一致するターゲット座標ＴＺｓを見つけ出し、かつそれらの法線ベクトルＨＶｇと法線ベクトルＨＶｓとが一致するか否かを判断する。一致する場合に、それらのターゲット座標ＴＺｇとターゲット座標ＴＺｓとが対応すると判定する。

その判定のための手法の例を次に示す。

まず、３次元計測機ＶＤにより得られた多数のターゲット座標ＴＺｓについて、３つのターゲット座標ＴＺｓを選択する。図５（Ｂ）に示すように、選択した３つのターゲット座標ＴＺｓによって三角形ＳＫｓを定義する。各三角形ＳＫｓは、３つの頂点であるターゲット座標ＴＺｓによって定義される。このときに、三角形ＳＫｓの規格化された面法線ベクトルＳＨｓも求めておく。

次に、写真測量により得られたターゲット座標ＴＺｇのうちから、３つターゲット座標ＴＺｇの組み合わせを求め、それら全ての組み合わせについて三角形ＳＫｇを定義し、三角形リストＳＬを作成する。つまり、三角形リストＳＬには、写真測量によって得られたターゲット座標ＴＺｇについて、３つのターゲット座標ＴＺｇによって定義される全ての組み合わせからなる三角形ＳＫｇが記録される。図５（Ａ）には１つの三角形ＳＫｇが示されている。

図５（Ａ）において、三角形ＳＫｇは、３つのターゲットマークＴＭ１〜３から得られたターゲット座標ＴＺｇ１〜３によって定義される。それぞれのターゲット座標ＴＺｇ１〜３には、法線ベクトルＨＶｇ１〜３が示されている。また、三角形ＳＫｇについて、その面法線ベクトルＳＨｇが示されている。

図５（Ｂ）において、三角形ＳＫｓは、３つのターゲットマークＴＭ１〜３から得られたターゲット座標ＴＺｓ１〜３によって定義される。それぞれのターゲット座標ＴＺｓ１〜３には、法線ベクトルＨＶｓ１〜３が示されている。また、三角形ＳＫｓについて、その面法線ベクトルＳＨｓが示されている。

３つのターゲット座標ＴＺｓによって定義した１つの三角形ＳＫｓと、三角形リストＳＬに記録されたそれぞれの三角形ＳＫｇとを比較し、それぞれの誤差値（ｅ０）を求める。例えば、比較した２つの三角形ＳＫｇ，ＳＫｓについて、それらの三角形ＳＫｇ，ＳＫｓの３辺のそれぞれのずれ量（差）を求め、ずれ量の和を誤差値（ｅ０）とする。

そして、それらの誤差値（ｅ０）に応じて、三角形リストＳＬにおける三角形ＳＫｇの順位を記録する。例えば、誤差値（ｅ０）の小さい順に三角形リストＳＬの三角形ＳＫｇのデータを並べ替える。これによって、ターゲット座標ＴＺに基づく一致度について、三角形ＳＫｓに対して一致度の最も高い三角形ＳＫｇがどれであるかが分かる。なお、順位を記録することに代えて、誤差値（ｅ０）などを記録し、これによって順位を表すようにしてもよい。

次に、三角形リストＳＬの各三角形ＳＫｇについて、三角形ＳＫｇの面法線ベクトルＳＨｇと三角形ＳＫｇの各頂点のターゲットマークＴＭの法線ベクトルＨＶｇとのなす角度γａ，γｂ，γｃを求める。図６（Ａ）には、１つの三角形ＳＫｇが示され、各頂点ａ，ｂ，ｃの法線ベクトルＡ，Ｂ，Ｃについて、面法線ベクトルＵとのなす角度γａ，γｂ，γｃが示されている。ただし、面法線ベクトルＳＨｇおよび法線ベクトルＨＶｇは共に規格化されている。

三角形ＳＫｓについても、同様に、面法線ベクトルＳＨｓと法線ベクトルＨＶｓとのなす角度γａ’，γｂ’，γｃ’を求める。図６（Ｂ）には、三角形ＳＫｓが示され、各頂点ａ，ｂ，ｃの法線ベクトルＡ，Ｂ，Ｃについて、面法線ベクトルＵとのなす角度γａ’，γｂ’，γｃ’が示されている。ここで、（γａ，γａ’）（γｂ，γｂ’）（γｃ，γｃ’）は、対応するターゲットマークＴＭについての法線ベクトルＨＶと三角形ＳＫの面法線ベクトルＳＨとのそれぞれなす角度である。角度γの範囲は０〜９０度である。

三角形リストＳＬの各三角形ＳＫｇについて、三角形ＳＫｓとの一致または不一致の判定を行う。一致または不一致の判定の基準として種々の基準を用いることが可能である。本実施形態では、判定の基準の決定のために、上に述べた測定精度を用いる。測定精度が高いほど判定が高精度で行えるので、判定の基準を厳しくする。測定精度が低い場合には、判定が難しいので、判定の基準を緩やかにする。

そこで、例えば、上に述べた各ターゲットマークＴＭの三角形に対してなす角度のずれを基準として用いる。つまり、ｆおよびｇを次のように定義する。

ｆ＝〔ｃｏｓ（γａ−γａ’）＋ｃｏｓ（γｂ−γｂ’）
＋ｃｏｓ（γｃ−γｃ’）〕／３ ……（１）
ｇ＝ｆ−ｃｏｓ（β） ……（２）
この場合に、次の（３）式、
ｈ＝ｅ０−ｇ² …（３）
で示されるｈを、評価係数ＨＫとする。ｅ０は上に述べた誤差値である。誤差値ｅ０とｇ² との差が小さいほど、一致度が高くなる。したがって、ｈが最小となる組み合わせを、一致する三角形とする。ここで、βは、上に述べた角度θを用いて、以下のように定義する。

β＝θ＋１０ ……（４）
ただし、β＞９０のときはβ＝９０とする。

このように、β＝θ＋１０とするのは、精度の条件を緩和するためである。つまり、条件を緩和するために、写真測量の精度の高さについて１０度分上乗せする。

なお、上の（１）式では、対応するターゲットマークＴＭにおいて、γａとγａ’とは一致する。つまり、ｆは、ターゲットマークＴＭの法線ベクトルＨＶを用いた一致度の指標となる。ｆ＝１のときに、ターゲットマークＴＭは完全に対応が一致することとなる。

また、ｇ＜０のときにはｇ＝０とする。つまり、写真測量の測定精度が高いとき（βが９０度に近いとき）には、ｃｏｓ（β）は０に近づく。つまり、写真測量の測定精度が高いときに、（２）式から分かるようにｇはｆに近づく。写真測量の測定精度が低いときには、ｃｏｓ（β）が１に近づくため、ｇは０に近づく。

上の（３）式において「ｇ² 」のように自乗としたのは、誤差値ｅ０とのオーダーのバランスをとるためである。

このように、評価係数ＨＫを（３）式で示されるｈとした。この場合には評価係数ＨＫが低いほど一致の度合いが高い。しかし、これに限らず、評価係数ＨＫおよび判定の基準などについて、種々の適当なものを定義することが可能である。

図７において、三角形リストＳＬ１の例が示されている。この例の三角形リストＳＬ１では、３つの頂点１〜３によって三角形ＳＫｇが定義されている。各頂点は、ターゲット座標ＴＺｇおよび法線ベクトルＨＶｇによって定義されている。各頂点の法線ベクトルＨＶｇについて、比較される三角形ＳＫｓの法線ベクトルＨＶｓとの一致の有無、またはその一致の度合いなどが記録される。また、三角形ＳＫｇの面法線ベクトルＳＨｇ、誤差値ｅ０、評価係数ＨＫなども記録される。

三角形リストＳＬ１には、対応関係判定部１９における処理によってデータが書き込まれる。三角形リストＳＬ１の中から、評価係数ＨＫに基づいて、１つの三角形ＳＫｇが対応するものとして決定される。対応すると決定された三角形ＳＫｇについて、当該三角形ＳＫｓとの対応関係が記録される。いずれの三角形ＳＫｇについても評価係数ＨＫが低い（高い）場合には、アラーム出力部２０からその旨の信号が出力される。信号の形態として、表示装置５の表示面に表示するためのメッセージ信号、音声で知らせるための音声信号、外部の機器に伝達するための出力信号などがある。このような信号によって、対応関係の信頼度の判定で、評価係数ＨＫが予め定めたしきい値を下回ったこと、すなわち信頼度が低いことの警報が出される。

このようにして、対応関係判定部１９において、ターゲット座標ＴＺｇとターゲット座標ＴＺｓとの対応関係が決定される。ターゲット座標の対応関係が決まると、次に、対応するターゲット座標が一致するような座標変換行列が求められる。

すなわち、座標変換部２１において、３次元計測機ＶＤにより得たターゲット座標ＴＺｓと写真測量により得たターゲット座標ＴＺｇとが一致するような座標変換行列が求められる。

データ統合部２２は、座標変換部２１で求めた座標変換行列を用いて、３次元計測機ＶＤにより得た複数の３次元形状データＳＤを、写真測量により得たターゲット座標ＴＺｇに合わせるように変換を行い、１つの３次元形状データＳＤに統合する。３次元形状データＳＤの統合に当たっては、複数の３次元形状データＳＤが重なる部分については、例えば、それら複数の３次元形状データＳＤの自乗平均をとるなど、種々の手法を適用することが可能である。統合された３次元形状データＳＤが、対象物体Ｑについての３次元形状モデルＭＤである。

図９においては、複数の３次元形状データＳＤ１，２，３…が統合され、生成された３次元形状モデルＭＤ１の例が示されている。

３次元形状モデル出力部２３は、生成された３次元形状モデルＭＤを、表示装置５に表示し、または外部機器に出力する。

次に、３次元形状モデル生成システム１における３次元形状モデルＭＤの生成の手順について、フローチャートを参照して説明する。

図１０は３次元形状モデル生成処理を示すフローチャート、図１１は写真測量の手順を示すフローチャート、図１２は３次元計測の手順を示すフローチャートである。

図１０において、まず、対象物体ＱにターゲットマークＴＭを貼り付ける（＃１１）。写真測量を行う（＃１２）。３次元計測を行う（＃１３）。それぞれで得られたターゲット座標ＴＺについて、ターゲット座標ＴＺおよび法線ベクトルＨＶを用いて対応関係を判定する（＃１４）。対応関係で信頼度が低いと判定された場合には警報を出力する（＃１５、１６）。３次元形状データＳＤについて、対応関係に基づいて座標変換を行い（＃１７）、３次元形状データＳＤを統合して３次元形状モデルＭＤを生成する（＃１８）。なお、３次元形状データＳＤの座標変換に際しては、ターゲット座標ＴＺを用いるが、法線ベクトルＨＶは用いない。

図１１において、写真測量では、カメラＣＭで対象物体Ｑを様々な位置やアングルで撮影し、多数のデジタル画像（画像データＧＤ）を取得する（＃２１）。デジタル画像をコンピュータ（処理装置３）に取り込む（＃２２）。カメラ位置ＰＣおよびターゲット座標ＴＺｇを求める（＃２３）。ターゲットマークＴＭの法線ベクトルＨＶｇを求める（＃２４）。求めたターゲット座標ＴＺｇおよび法線ベクトルＨＶｇをメモリに記憶して保存する（＃２５）。

図１２において、３次元計測では、３次元計測機ＶＤによって対象物体Ｑを測定する（＃３１）。測定によって得られた３次元形状データＳＤから、ターゲットマークＴＭの部分を検出する（＃３２）。ターゲット座標ＴＺｓおよび法線ベクトルＨＶｓを求める（＃３３）。

上に述べた実施形態によると、写真測量により得られるターゲット座標ＴＺｇと３次元計測により得られるターゲット座標ＴＺｓとの対応関係の決定に際し、ターゲット座標ＴＺｇ，ＴＺｓのみならず、各ターゲットマークＴＭの法線ベクトルＨＶｇ，ＨＶｓも用いられる。したがって、従来においては類似の位置関係のターゲット座標が複数あった場合に対応関係を誤る可能性が高かったが、本実施形態においては、対応関係を正確に決定することが可能となり、ターゲットマークＴＭの対応の決定に当たってのロバスト性が向上する。

上に述べた実施形態において、評価係数ＨＫおよび判定の基準の決定のためのパラメータとして、カメラＣＭによる撮影に際しての２つの視線ベクトルのなす角度を用いた。次に、これ以外の方法の例を説明する。

例えば、図１３に示すように、各ターゲットマークＴＭへの視線ベクトルＶ０，Ｖ１，Ｖ２，Ｖ３…と、計算されたターゲット座標ＴＺとの間の距離ｄ１，ｄ２，ｄ３…を求める。求めた距離ｄ１，ｄ２，ｄ３…についての平均値、最大値、または自乗和などを、測定精度を示すパラメータとして用いる。

また、それらの距離ｄ１，ｄ２，ｄ３…を、カメラＣＭの撮像面（例えば、ＣＣＤ面）上での画素ズレ量に変換したものを用いてもよい。つまり、ターゲット座標ＴＺを各カメラ位置ＰＣにある撮像面に投影し、撮影により求めた各ターゲットマークＴＭの位置と投影により求めたターゲットマークＴＭの位置との画素ズレ量ｄｐ０，ｄｐ１，ｄｐ３…を用い、これらの平均値、最大値、または自乗和などを測定精度を示すパラメータとして用いる。

また、ターゲット座標ＴＺｇを求める際に用いた画像の枚数Ｎを、測定精度を示すパラメータとして用いてもよい。それら種々の方法を組み合わせることも可能である。評価係数ＨＫ、角度、しきい値などは、種々の方法で計算することが可能である。

上に述べた実施形態において、ターゲットマークＴＭの形状、対象物体Ｑへの取り付け方法などは、上に述べた以外の種々のものを採用することができる。

その他、処理装置３および３次元形状モデル生成システム１の全体または各部の構成、構造、形状、個数、処理の内容または順序などは、本発明の趣旨に沿って適宜変更することができる。

本発明は、産業用機器、日用品、建造物など、種々の対象物体Ｑについての３次元形状モデルを生成するために利用可能である。

本発明に係る３次元形状モデル生成システムを示すブロック図である。 デジタルカメラによって対象物体を撮影する様子を示す図である。 ターゲットマークの例を示す図である。 ３次元計測機によって対象物体の３次元計測を行う様子を示す図である。 ターゲット座標および法線ベクトルの例を示す図である。 法線ベクトルと面法線ベクトルとのなす角度の例を示す図である。 三角形リストの例を示す図である。 測定精度を説明する図である。 生成された３次元形状モデルの例を示す図である。 ３次元形状モデル生成処理を示すフローチャートである。 写真測量の手順を示すフローチャートである。 ３次元計測の手順を示すフローチャートである。 視線ベクトルとターゲット座標と距離を説明する図である。 従来におけるターゲットマークの対応関係の決定に際しての問題点を説明するための図である。

符号の説明

１ ３次元形状モデル生成システム
ＣＭ カメラ
ＶＤ ３次元計測機
３ 処理装置
１３ ターゲット座標演算部（第１の手段）
１４ 法線ベクトル演算部（第１の手段）
１５ 精度評価係数演算部（第５の手段）
１７ ターゲット座標演算部（第２の手段）
１８ 法線ベクトル演算部（第２の手段）
１９ 対応関係判定部（第３の手段）
２０ アラーム出力部（第６の手段）
２１ 座標変換部（第４の手段）
２２ データ統合部（第４の手段）
Ｑ 対象物体
ＳＤ ３次元形状データ
ＴＭ ターゲットマーク
ＴＺ ターゲット座標
ＨＶ 法線ベクトル
ＧＤ 画像データ

Claims (6)

1. 対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための方法であって、
   前記対象物体について写真測量を行い、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算によって取得し、
   前記３次元計測によって、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを取得し、
   前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルとの一致度合いとによって、前記写真測量によって取得した前記ターゲットマークの３次元位置と前記３次元計測によって取得した前記ターゲットマークの３次元位置との対応関係を決定し、
   前記ターゲットマークの３次元位置の対応関係に基づいて前記３次元計測によって得られた３次元形状データの位置合わせを行う、
   ことを特徴とする３次元形状データの位置合わせ方法。
2. 対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための方法であって、
   前記対象物体について写真測量を行い、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算によって取得し、
   前記３次元計測によって、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを取得し、
   前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記写真測量によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと当該少なくとも３つの前記ターゲットマークで定義される面の面法線ベクトルとのなす角度と前記３次元計測によって取得した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと当該少なくとも３つの前記ターゲットマークで定義される面の面法線ベクトルとのなす角度との一致度合いとによって、前記写真測量によって取得した前記ターゲットマークの３次元位置と前記３次元計測によって取得した前記ターゲットマークの３次元位置との対応関係を決定し、
   前記ターゲットマークの３次元位置の対応関係に基づいて前記３次元計測によって得られた３次元形状データの位置合わせを行う、
   ことを特徴とする３次元形状データの位置合わせ方法。
3. 前記写真測量によって取得した前記ターゲットマークの３次元位置の精度に関する評価係数を求め、
   前記評価係数を適用して前記対応関係の信頼度の判定を行う、
   請求項１または２記載の３次元形状データの位置合わせ方法。
4. 前記対応関係の信頼度の判定の結果、信頼度が低い場合に、その旨の信号を出力する、
   請求項３記載の３次元形状データの位置合わせ方法。
5. 対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための装置であって、
   前記対象物体について写真測量により得た画像データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第１の手段と、
   前記３次元計測を行って得られた３次元形状データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第２の手段と、
   前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルとの一致度合いとによって、前記第１の手段によって演算した３次元位置と前記第２の手段によって演算した３次元位置との対応関係を決定する第３の手段と、
   前記第３の手段により決定された対応関係に基づいて、前記３次元計測によって得られた３次元形状データを前記写真測量によって得られた３次元位置に合うように座標変換を行う第４の手段と、
   を有することを特徴とする３次元形状データの位置合わせ装置。
6. 対象物体の３次元計測を行って得られる３次元形状データについて前記対象物体に設けられた複数のターゲットマークを利用して位置合わせを行うための装置であって、
   前記対象物体について写真測量により得た画像データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第１の手段と、
   前記３次元計測を行って得られた３次元形状データに基づいて、少なくとも３つの前記ターゲットマークについての３次元位置および法線ベクトルを演算する第２の手段と、
   前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置と前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの３次元位置との一致度合いと、前記第１の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと当該少なくとも３つの前記ターゲットマークで定義される面の面法線ベクトルとのなす角度と前記第２の手段によって演算した少なくとも３つの前記ターゲットマークについてのそれぞれの法線ベクトルと当該少なくとも３つの前記ターゲットマークで定義される面の面法線ベクトルとのなす角度との一致度合いとによって、前記第１の手段によって演算した３次元位置と前記第２の手段によって演算した３次元位置との対応関係を決定する第３の手段と、
   前記第３の手段により決定された対応関係に基づいて、前記３次元計測によって得られた３次元形状データを前記写真測量によって得られた３次元位置に合うように座標変換を行う第４の手段と、
   を有することを特徴とする３次元形状データの位置合わせ装置。