JP3637416B2 - ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム - Google Patents
３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP3637416B2 JP3637416B2 JP2002337223A JP2002337223A JP3637416B2 JP 3637416 B2 JP3637416 B2 JP 3637416B2 JP 2002337223 A JP2002337223 A JP 2002337223A JP 2002337223 A JP2002337223 A JP 2002337223A JP 3637416 B2 JP3637416 B2 JP 3637416B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- points
- image
- measurement
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の２次元画像から計測対象物の３次元形状を計測する３次元計測方法、３次元計測システム、該３次元計測システムに利用する画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムに関する。
【０００２】
【従来の技術】
従来の３次元計測装置として、レンジファインダ、レンジスキャナ等の光学式計測装置が知られている（例えば、非特許文献１参照）。レンジファインダを用いた３次元計測では、まず、計測対象物にレーザ光源からの光ビームを照射し、計測対象物の表面にスポット光の照射点が形成されるようにする。そして、その照射点を含めた計測対象物の画像を２台のカメラにより取得し、三角測量法の原理に従って照射点の３次元位置を計測する。
一方、レンジスキャナを利用した３次元計測では、計測対象物にレーザ光を照射し、計測対象物からの反射光を受光することで計測対象物までの距離情報を取得し、その距離情報に基づきレーザ光の照射点の３次元位置を計測する。レーザ光を計測対象物に対して走査させることにより広範囲の３次元計測を一度に行うことができ、例えば、建築物の計測、地形の計測等に利用されている。
【０００３】
【非特許文献１】
井口征士，佐藤宏介共著，「三次元画像計測」，初版，株式会社昭晃堂，１９９０年１１月２０日，ｐ２０−ｐ６４
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のレンジファインダを利用して３次元計測を行う場合、計測対象物が工業製品等の比較的小さな対象に限られており、建築物又はプラント等の比較的大きな対象について３次元計測を行う場合、様々な問題点が指摘されている。例えば、現場における作業においては、電源を確保できないという問題点を有する。また、複雑な機器を持ち込むこと自体困難であり、機器を持ち込めた場合であっても、それらの設置時間に多大な時間を要するという問題点がある。このような理由から、建築物又はプラント等の比較的大きな対象について３次元計測を行う場合には前述したようなレンジファインダが適用できるケースは少ない。
また、レンジスキャナを利用する場合も同様の問題点を含んでおり、計測現場への持ち込み、及び設置が困難な場合が生じている。
【０００５】
そこで、カメラ等の撮像装置を用いて計測対象物を撮像し、得られた撮像画像を解析して３次元形状を求めることが行われている。この手法を用いる場合、異なる視点から撮像された複数の画像を画像処理装置に取込み、それらの画像間の幾何関係をまず求める。
図７は、撮像装置により得られた２つの画像間の幾何関係を示す模式図である。図中Ｔは計測対象物であり、計測対象物Ｔ上の任意の注視点Ｍを異なる２つの視点Ａ，Ｂから撮像した場合、各撮像装置の画像面１Ａ，１Ｂには、注視点Ｍによる投影点ａ1 及びｂ1 が存在する。注視点Ｍと２つの投影点ａ1 及びｂ1 とは、エピポーラ平面と呼ばれる同一平面上に存在する。そして、２つの画像上での任意の対応点（例えば、点ａ2 及び点ｂ2 による対応点、点ａ3 及び点ｂ3 による対応点、並びに点ａ4 及び点ｂ4 による対応点）には、エピポーラ方程式と呼ばれる幾何関係が成り立つことが知られている。
エピポーラ方程式は、注視点Ｍの３次元座標には無関係であり、対応点の座標、並びに撮像装置の位置及び姿勢を変数とした関係式である。複数の対応点を利用してエピポーラ方程式を解くことにより、撮像装置の位置及び姿勢に関する情報が得られ、画像面の２次元座標を逆射影して３次元空間上の位置座標を求めることができる。
【０００６】
しかしながら、撮像装置により得られた撮像画像は、当該撮像装置の焦点距離、画素のサイズ、画素の縦軸及び横軸のなす角度、中心画素の位置座標等のパラメータが反映された画像である。そのため、撮像された計測対象物Ｔの形状に歪みが生じるという問題点を有している。従って、撮像装置により得られた撮像画像を用いて３次元形状を再構成した場合には、撮像画像中の形状の歪みの影響を受けて計測する３次元形状にも歪みが生じることとなり、精密な３次元形状の情報が必要とされる建築分野、計測分野等においては精度の向上が求められていた。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、異なる２点から撮像された計測対象物の画像を読込み、読込んだ２つの画像上での対応点に基づき、計測対象物を撮像した際の撮像装置の位置及び姿勢を算出し、計測すべき３次元形状に対する複数の候補点を求め、求めた候補点間の距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、設定した評価関数が可及的に良好となるように候補点の座標値を調整する構成とすることにより、計測対象物が建築物、プラントのように大きなものであっても適用することができ、しかも、歪みが少なく、精密な３次元形状が得られる３次元計測方法、３次元計測システム、該３次元計測システムに利用される画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムを提供することを目的とする。
【０００８】
本発明の他の目的は、レーザ距離計を用いて候補点間の距離を計測する構成とすることにより、歪みが少ない３次元形状が容易に得られる３次元計測システムを提供することにある。
【０００９】
本発明の更に他の目的は、計測対象物を撮像する際、レーザ距離計を含めて撮像する構成とする構成とすることにより、歪みが少ない３次元形状が容易に得られる３次元計測システムを提供することにある。
【００１０】
【課題を解決するための手段】
第１発明に係る３次元計測方法は、撮像装置を用いて異なる２点から撮像された計測対象物の画像を画像処理装置に読込み、読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する３次元計測方法において、読込んだ２つの画像上での対応点を求め、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出し、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求め、求めた候補点間の距離を算出し、前記候補点間についての既知距離を外部から取得し、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定し、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整することを特徴とする。
【００１１】
第２発明に係る３次元計測システムは、計測対象物を撮像する撮像装置と、該撮像装置により異なる２つの視点から撮像された計測対象物の画像を読込む手段、及び該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段を有する画像処理装置とを備える３次元計測システムにおいて、３次元空間上の２点間の距離を計測する１又は複数の距離計測器を備え、前記画像処理装置は、読込んだ２つの画像上での対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記距離計測器により計測された前記候補点間の計測距離を外部から取得する手段と、算出した候補点間の距離と取得した計測距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする。
【００１２】
第３発明に係る３次元計測システムは、第２発明に係る３次元計測システムにおいて、前記距離計測器はレーザ距離計であることを特徴とする。
【００１３】
第４発明に係る３次元計測システムは、第３発明に係る３次元計測システムにおいて、前記撮像装置は、前記計測対象物を撮像する際、前記レーザ距離計を含めて撮像すべくなしてあることを特徴とする。
【００１４】
第５発明に係る画像処理装置は、撮像装置を用いて異なる２点から撮像された計測対象物の画像を読込む手段と、該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段とを備える画像処理装置において、読込んだ２つの画像上で互いに対応する対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記候補点間についての既知距離を外部から取得する手段と、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする。
【００１５】
第６発明に係るコンピュータプログラムは、コンピュータに、外部から入力された異なる２点から撮像された計測対象物の画像に基づき、前記計測対象物の３次元形状を計測させるステップを有するコンピュータプログラムにおいて、コンピュータに、前記画像上での対応点を求めさせるステップと、コンピュータに、求めた対応点に基づき、前記計測対象物を撮像した際の撮像装置の位置及び姿勢を算出させるステップと、コンピュータに、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求めさせるステップと、コンピュータに、求めた候補点間の距離を算出させるステップと、コンピュータに、算出した候補点間の距離と、外部から入力された前記候補点間の既知距離とに基づく評価関数の値が可及的に良好となるように前記候補点の座標値を調整させるステップとを有することを特徴とする。
【００１６】
第１発明、第２発明、第５発明、及び第６発明にあっては、異なる２点から撮像された計測対象物の画像に基づき、撮像した際の撮像装置の位置及び姿勢を求め、計測すべき３次元形状に対する複数の候補点を算出し、候補点間について算出された距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、評価関数が可及的に良好となるように候補点の座標値を調整するようにしている。したがって、取得した撮像画像に映された計測対象物の形状が、撮像装置の内部パラメータの影響等を受けて歪んだものとなる場合であっても、複数の候補点間の距離を取込むことによって、歪みが少なく、精密な３次元形状を計測することが可能となる。
【００１７】
第３発明にあっては、距離計測器としてレーザ距離計を用いているため、候補点間の精密な距離を計測することが容易であり、しかも、計測対象物が建築物、プラント等の比較的大きいものであっても距離の計測が可能であり、計測した精密な距離を取込むことによって、歪みの少ない３次元形状を計測することができる。
【００１８】
第４発明にあっては、計測対象物を計測する際にレーザ距離計を含めて撮像するようにしているため、レーザ距離計の基準点及び照射点も２つの画像における対応点として採用することが可能であり、しかもその対応点間の距離を精密に測定できるため、３次元形状の計測のために利用できる。
【００１９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の３次元計測システムの概略構成を示す模式図である。図中１０Ａ，１０Ｂは計測対象物Ｔを撮像するための撮像装置であり、具体的には、デジタルカメラ、銀塩カメラ、ビデオカメラ等である。計測対象物Ｔは、例えば、建築物、プラント、工業製品等であり、本実施の形態に係る３次元計測システムでは、計測対象物Ｔについて３次元形状を計測し、計測対象物Ｔ上の任意の２点間の精密な距離、任意の２本の線分がなす角度等の情報を取得する。
本実施の形態では、撮像装置１０Ａ，１０Ｂにより計測対象物Ｔを撮像する際、複数のレーザ距離計２０Ａ，２０Ｂ，２０Ｃを利用して、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃと計測対象物Ｔとの距離を計測するとともに、計測中のレーザ距離計２０Ａ，２０Ｂ，２０Ｃが撮像範囲内に含まれるように撮像する。すなわち、計測対象物Ｔとの距離を測定するために各レーザ距離計２０Ａ，２０Ｂ，２０Ｃからレーザ光が照射され、その照射点が計測対象物Ｔの表面上に現れているときに、これらのレーザ距離計２０Ａ，２０Ｂ，２０Ｃを撮像装置１０Ａ，１０Ｂの撮像範囲に含めて撮像する。
【００２０】
撮像装置１０Ａ，１０Ｂにより得られた撮像画像、及びレーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離のデータは、画像処理装置３０に読込まれる。画像処理装置３０は、例えば、パーソナルコンピュータであり、読込んだ複数の撮像画像に基づいて画像処理を行い、計測対象物Ｔの３次元形状を計測する。そのとき、レーザ距離計２０Ａ，２０Ｂ，２０Ｃが計測した２点間の計測距離を取込むことにより計測すべき３次元形状の位置座標を調整し、計測精度の向上を図る。
【００２１】
なお、本実施の形態では、２台の撮像装置１０Ａ，１０Ｂを用いて計測対象物Ｔを撮像するようにしているが、撮像装置の数は２台に限定する必要はなく、３台以上の撮像装置を利用して計測対象物Ｔを撮像し、３つ以上の撮像画像を用いて画像処理を行い、３次元形状を計測するようにしてもよい。また、１台の撮像装置を用いて計測対象物Ｔを撮像した後、別の視点から撮像し、２つ以上の異なる視点から撮像された撮像画像を得るようにしてもよい。
また、本実施の形態では、３台のレーザ距離計２０Ａ，２０Ｂ，２０Ｃを用いて計測対象物Ｔとの距離を計測するようにしているが、レーザ距離計の数は３台に限定する必要はなく、２台又は４台以上のレーザ距離計を用いて計測対象物Ｔとの距離を計測するようにしてもよい。また、１台のレーザ距離計により計測対象物Ｔとの距離を計測した後、別の地点から計測して複数の計測距離を得るようにしても良い。
【００２２】
図２は、撮像装置１０Ａ，１０Ｂにより得られた撮像画像の一例を示す模式図である。撮像装置１０Ａ，１０Ｂを用いて異なる２つの視点から計測対象物Ｔを撮像しており、撮像装置１０Ａ，１０Ｂにより得られた撮像画像１００Ａ，１００Ｂは、それぞれ図２（ａ），図２（ｂ）に示したような画像となる。
本実施の形態では、計測対象物Ｔとともに距離計測中の３つのレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像する。各レーザ距離計２０Ａ，２０Ｂ，２０Ｃには、距離を計測する際の基準となる基準点が各筐体の一面（例えば、底面）に設けられており、後の画像処理を容易化するために、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点が両撮像画像に含まれるように撮像する。
【００２３】
図３は、画像処理装置３０の内部構成を示すブロック図である。画像処理装置３０はＣＰＵ３１を備えており、該ＣＰＵ３１にバス３２を介してＲＯＭ３３、ＲＡＭ３４、操作部３５、表示部３６、画像入力部３７、補助記憶部３８、記憶部３９等の各種ハードウェアが接続されている。ＣＰＵ３１は、ＲＯＭ３３に格納された各種制御プログラムに従って前記ハードウェアを制御するとともに、外部から入力された複数の画像データに画像処理を施し、計測対象物Ｔの３次元形状を計測する。なお、当該画像処理は必ずしもＣＰＵ３１が行う必要はなく、画像処理専用のＡＳＩＣ（Application Specifide Integrated Circiut）を設けて、ＣＰＵ３１から指示を与えることにより、画像処理専用のＡＳＩＣに画像処理を行わせる形態であってもよい。
ＲＡＭ３４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ３３に格納された制御プログラムの実行時に発生するデータを記憶する。
【００２４】
操作部３５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示を入力し、選択操作等を行う。表示部３６は、ＣＲＴディスプレイ又は液晶ディスプレイ等の表示装置からなり、操作部３５を通じて入力された各種の情報が表示されるとともに、外部から入力された撮像画像、及び画像処理中の画像データ等が表示される。
【００２５】
画像入力部３７には、撮像装置１０Ａ，１０Ｂにより撮像された撮像画像がデジタルの画像データとして入力される。撮像装置１０Ａ，１０Ｂが銀塩カメラである場合には、画像入力部３７として、イメージスキャナ装置、フィルムスキャナ装置等を用いることができ、撮像装置１０Ａ，１０Ｂにより得られた銀塩写真、写真フィルムをデジタルの画像データに変換した後、画像処理装置３０の内部に取込む。また、撮像装置１０Ａ，１０Ｂがデジタルカメラである場合には、撮像装置１０Ａ，１０Ｂにて得られたデジタルの画像データを可搬型メモリに記憶させておき、当該可搬型メモリに記憶された画像データを読込むことも可能である。また、撮像装置１０Ａ，１０Ｂがデジタルカメラであり、画像処理装置３０との間でＵＳＢ（Universal Serial Bus）等の規格を利用した通信が可能である場合には、当該通信を利用して画像データを画像処理装置３０に取込むことも可能である。
何れの場合も、撮像装置１０Ａ，１０Ｂにより得られた撮像画像（銀塩写真、デジタル画像データ）は、デジタルの画像データとして画像処理装置３０に入力される。入力された画像データはハードディスク等の記憶部３９に記憶される。
【００２６】
補助記憶部３８は、本発明のコンピュータプログラム及びデータを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体３８０からコンピュータプログラム及びデータを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、記憶装部３９に記憶される。記憶部３９に記憶されているコンピュータプログラム及びデータはＲＡＭ３４に読込まれ、ＣＰＵ３１が実行することで本発明の画像処理装置３０として動作する。
【００２７】
図４は、撮像画像１００Ａ，１００Ｂの間の対応付けを説明する模式図である。異なる２つの視点から撮像された撮像画像１００Ａ，１００Ｂに基づき、計測対象物Ｔの３次元形状を計測するには、各撮像画像１００Ａ，１００Ｂを撮像した際の撮像装置１０Ａ，１０Ｂの位置及び姿勢を算出する必要がある。そこで、画像処理装置３０は、読込んだ撮像画像１００Ａ，１００Ｂの夫々から画像の特徴点を抽出し、特徴点間の対応付けを行うことによって、撮像画像１００Ａ，１００Ｂ間の幾何関係を求める処理を行う。
【００２８】
画像の特徴点を抽出する場合、画像処理装置３０は、入力された撮像画像１００Ａ，１００Ｂからエッジ画像又は明暗画像を作成して計測対象物Ｔの輪郭線を抽出し、抽出した輪郭線が交わる点を特徴点として採用する。例えば、図４（ａ）に示した如く計測対象物Ｔが直方体である場合には、直方体の頂点を特徴点（Ａ1 〜Ａ7 ）として求めることができる。また、同様にして、図４（ｂ）に示した撮像画像１００Ｂからは、計測対象物Ｔが有する各頂点のうち、撮像画像１００Ｂに写っている頂点を特徴点（Ｂ1 〜Ｂ7 ）として求めることができる。
本実施の形態では、更に、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点を画像の特徴点として採用している。撮像画像１００Ａからは、レーザ距離計２０Ａの基準点に対応させて特徴点Ａ9 を採用し、レーザ距離計２０Ａの照射点に対応させて特徴点Ａ8 を採用することができる。そして、レーザ距離計２０Ｂ，２０Ｃの各基準点及び照射点に対応させて、特徴点Ａ10〜Ａ13を採用することができる。同様にして、撮像画像１００Ｂからは、レーザ距離計２０Ａ，２０Ｂ，２０Ｃの各基準点及び照射点に対応させて、特徴点Ｂ8 〜Ｂ13を採用することができる。
レーザ距離計２０Ａ，２０Ｂ，２０Ｃの各基準点及び照射点による特徴点の抽出は、前述の明暗画像から明度が最大又は極大となる画素を特定して抽出する。
【００２９】
本実施の形態では、２つの撮像画像１００Ａ，１００Ｂを用いて計測対象物Ｔの３次元計測を行う際に、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測された特徴点間（Ａ8 −Ａ9 間、Ａ10−Ａ11間、Ａ12−Ａ13間）の距離Ｌ1 ，Ｌ2 ，Ｌ3 を取込み、３次元計測の精度を向上させることを特徴としている。
画像処理装置３０により抽出された各撮像画像１００Ａ，１００Ｂの特徴点の情報（座標値）、及び外部から入力された特徴点間の距離Ｌ1 ，Ｌ2 ，Ｌ3 についての情報は、画像処理装置３０内部の記憶部３９に夫々関連付けられて記憶される。
【００３０】
図５は、画像処理装置３０内部の記憶部３９が有する各種テーブルの一例を示す概念図である。記憶部３９は、特徴点の座標値を記憶する特徴点情報テーブル３９Ａと特徴点間の距離に関する情報を記憶する距離情報テーブル３９Ｂとを有している。特徴点情報テーブル３９Ａは、特徴点毎に連番を付した特徴点ＩＤ欄、各撮像画像１００Ａ，１００Ｂにおける特徴点の座標値を記憶する２つの座標欄、算出された３次元座標を記憶する３次元座標欄、距離情報が入力されたときに付与する参照ＩＤを記憶するための参照ＩＤ欄を有している。
また、距離情報テーブル３９Ｂには、参照ＩＤ欄、前記３次元座標に基づいて算出した特徴点間の距離（算出距離）を記憶する算出距離欄、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離を記憶する計測距離欄を有している。
【００３１】
撮像画像１００Ａから抽出された特徴点の座標値には固有の特徴点ＩＤが付与され、一方の座標欄に記憶される。また、撮像画像１００Ｂから抽出された特徴点の座標値は、撮像画像１００Ａから抽出された特徴点と対応付けられて他方の座標欄に記憶される。例えば、撮像画像１００Ａから抽出された特徴点Ａ1 の座標値（ｘ11，ｙ11）には、特徴点ＩＤ「Ｐ００１」を付与して座標欄に記憶するとともに、特徴点Ａ1 に対応した撮像画像１００Ｂ上の特徴点Ｂ1 の座標値（ｘ12，ｙ12）を前記特徴点ＩＤに関連付けて特徴点情報テーブル３９Ａに記憶させる。なお、特徴点間の対応付けは、画像処理装置３０の演算により自動的に行う形態であってもよく、また、人の手により対応付けを行う形態であってもよい。画像処理装置３０の演算により自動的に対応付けを行う手法については、後に詳述することにする。
各撮像画像１００Ａ，１００Ｂについて２つの異なる特徴点が指定され、当該特徴点間の計測距離が入力された場合、画像処理装置３０は、参照ＩＤを付与して距離情報テーブル３９Ｂの計測距離欄に計測距離の値を記憶させる。
【００３２】
以下、画像処理装置３０が行う処理について説明する。
図６は、本実施の形態に係る画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０のＣＰＵ３１は、撮像装置１０Ａ，１０Ｂにより撮像された撮像画像１００Ａ，１００Ｂを読込む（ステップＳ１）。画像入力部３７を通じて撮像画像１００Ａ，１００Ｂを入力されたものを読込む形態であってもよく、予め記憶部３９に記憶させた２つの撮像画像１００Ａ，１００Ｂを読込む形態であってもよい。
そして、画像処理装置３０のＣＰＵ３１は、撮像画像の読込みが終了したか否かを判断し（ステップＳ２）、読込みが終了していないと判断した場合（Ｓ２：ＮＯ）、処理をステップＳ１へ戻す。
【００３３】
画像処理装置３０のＣＰＵ３１が、撮像画像の読込みを終了したと判断した場合（Ｓ２：ＹＥＳ）、ＣＰＵ３１は、読込まれた２つの撮像画像１００Ａ，１００Ｂから特徴点の抽出を行う（ステップＳ３）。特徴点の抽出は、前述したように、撮像画像１００Ａ，１００Ｂから明暗画像又はエッジ画像を作成して、撮像画像１００Ａ，１００Ｂに写っている計測対象物Ｔの輪郭線を抽出し、輪郭線同士の交点を求めることによって行う。また、明暗画像等から明度が最大又は極大となる画素を特定することによって、レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点による特徴点を抽出することが可能である。
【００３４】
次いで、ＣＰＵ３１は、各撮像画像１００Ａ，１００Ｂの間で特徴点の対応付けを実行する（ステップＳ４）。特徴点の対応付けは以下のようにして行う。
世界座標系により表した３次元空間（ユークリッド空間）上のある点の位置座標Ｍと、カメラ座標系により表した撮像面での位置座標ｍとの間には、
【００３５】
【数１】
【００３６】
なる関係式が成り立つ。ここで、Ｐは射影行列であり、カメラパラメータを要素とした内部行列Ａ、並進ベクトルｔ及び回転行列Ｒを用いて、
【００３７】
【数２】
【００３８】
と表すことができる。内部行列Ａの要素であるカメラパラメータには、焦点距離、画素の中心座標、画素のサイズ、画素の横軸及び縦軸がなす角度等のパラメータを含んでおり、ユークリッド空間上の３次元形状を射影空間上に投影した場合に歪みが生じる原因となり得る。本実施の形態では、ユークリッド空間で３次元形状を再構成する際に実測された距離の情報を取込むことによって、精度よく計測対象物Ｔの３次元形状を計測することをできる。また、世界座標系を一方の撮像装置１０Ａ（又は撮像装置１０Ｂ）のカメラ座標系に一致させた場合、２つの撮像画像１００Ａ，１００Ｂの関係は前述の並進ベクトルｔと回転行列Ｒとによって表すことができ、夫々の撮像画像１００Ａ，１００Ｂにおける対応点の位置座標ｍ，ｍ’には、次式で表される関係式が成り立つ。
【００３９】
【数３】
【００４０】
ここで、Ｆは基礎行列であり、数式（３）は２つの撮像画像１００Ａ，１００Ｂ間のエピポーラ拘束条件を示している。基礎行列Ｆは３×３の行列であり、特異値の１つがゼロであり、基礎行列Ｆのスケールが任意であるため、数式（３）は７つの拘束条件を与える。すなわち、２つの撮像画像１００Ａ，１００Ｂ間で７組以上の対応点が存在する場合に基礎行列Ｆを求めることができる。
【００４１】
逆に、各撮像装置１００Ａ，１００Ｂから正しい対応点の組合せを選択して数式（３）に代入した場合にのみ１つの基礎行列Ｆを共有することができることを利用して、ステップＳ３にて抽出した特徴点間の対応付けを行うことができる。すなわち、各撮像画像１００Ａ，１００Ｂには有限個の特徴点が存在し、考えられる特徴点間の対応関係は有限の組合せに限定される。それらの組合せの中から一つの組合せを選択し、選択した組合せに含まれる複数組の特徴点に基づき、数式（３）を利用して基礎行列Ｆを求める。仮に適切な組合せを選択した場合には、互いに対応関係にある他の特徴点の位置座標を数式（３）に代入したときに１つの基礎行列Ｆを共有することができ、適切でない組合せを選択した場合には、基礎行列Ｆを共有できないことになる。このように、各組合せに含まれる複数の特徴点を利用して求めた基礎行列Ｆが、他の特徴点間でも共有できるか否かを調べることによって、特徴点間の対応付けが適切であるか否かを検討することができ、画像１００Ａ，１００Ｂ間における特徴点の対応付けを行うことが可能となる。
【００４２】
各撮像画像１００Ａ，１００Ｂの対応点が求まった場合、数式（３）に７組上の対応点の座標値を代入して連立方程式を立て、最小２乗法により基礎行列Ｆの各要素を求めることができる。また、基本行列Ｆは、前述した内部行列Ａ、並進ベクトルｔ及び回転行列Ｒ、並びに基本行列Ｅを用いて、以下のように表すことができる。
【００４３】
【数４】
【００４４】
数式（３）により基礎行列Ｆが求まった場合、数式（４）を用いて基本行列Ｅを求めることができ、更に、求めた基本行列Ｅから並進ベクトルｔ及び回転行列Ｒを求めることができる。求めた並進ベクトルｔ及び回転行列Ｒは撮像装置１０Ａ，１０Ｂ間の運動を表しており、それぞれの位置及び姿勢の初期値を並進ベクトルｔ及び回転行列Ｒとして算出することができる（ステップＳ５）。
【００４５】
次いで、画像処理装置３０のＣＰＵ３１は、３次元空間における前記特徴点の位置座標の初期値を算出する（ステップＳ６）。ステップＳ５で撮像装置１０Ａ，１０Ｂの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、３次元空間における特徴点の位置座標を算出することができる。
【００４６】
次いで、画像処理装置３０は特徴点間の計測距離の入力を受付ける（ステップＳ７）。具体的には、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離の入力を促す表示を表示部３６にするとともに、操作部３５からの計測距離の入力を受付ける。
次いで、画像処理装置３０のＣＰＵ３１は計測距離の入力が終了したか否かを判断する（ステップＳ８）。計測距離の入力が終了していないと判断した場合（Ｓ８：ＮＯ）、処理をステップＳ７へ戻し、新たな計測距離の入力を受付ける。
【００４７】
計測距離の入力が終了した場合（Ｓ８：ＹＥＳ）、画像処理装置３０のＣＰＵ３１は評価関数の設定を行う（ステップＳ９）。設定すべき評価関数は、レーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測された計測距離と、演算によって求めた算出距離とを考慮した評価関数であり、数式（５）で表される関数が、数式（６）で表される拘束条件の下に最小となるように３次元空間の位置座標（Ｘi ，Ｙi ，Ｚi ）、及び撮像装置１０Ａ，１０Ｂの位置・姿勢を算出する（ステップＳ１０）。
【００４８】
【数５】
【００４９】
【数６】
【００５０】
ここで、Ｒj 及びｔj は、世界座標系からｊ番目（本実施の形態では、ｊ＝１，２）のカメラ座標系への運動を表す回転行列及び並進ベクトルである。Ｐ（Ｘi ，Ｙi ，Ｚi ，Ｒj ，ｔj ，Ａj ）及びＱ（Ｘi ，Ｙi ，Ｚi ，Ｒj ，ｔj ，Ａj ）は、３次元空間の位置座標（Ｘi ，Ｙi ，Ｚi ）を回転行列Ｒj 及び並進ベクトルｔj によりｊ番目の画像の射影したときのｘ座標及びｙ座標を表す。また、数式（６）において、Ｌikはｉ番目の特徴点とｋ番目の特徴点との間の計測距離を表している。
したがって、数式（６）で表される拘束条件の元で数式（５）を最小化した場合、特徴点間について算出した距離と実際に測定した距離との差が可及的に小さくなるとともに、撮像画像上に射影された点の位置座標が特徴点の位置座標に近くなる３次元空間の位置座標、及び撮像装置１０Ａ，１０Ｂの位置・姿勢が求まる。
【００５１】
このように、本実施の形態では、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された特徴点間の距離を取込み、計測すべき３次元形状を構成する点の３次元座標を求める際に利用することで、３次元形状のスケールだけでなく、形状自体を精密に計測することが可能となる。
【００５２】
なお、本実施の形態では、２つの撮像装置１０Ａ，１０Ｂの撮像範囲にレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像し、各基準点及び照射点を特徴点として採用するとともに、基準点及び照射点に対応させた特徴点間の距離の情報を３次元計測の際に利用する構成としたが、必ずしもレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像する必要はなく、また、特徴点間の距離もレーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測されたものである必要はない。すなわち、本発明では、特徴点間の距離の情報を複数利用することによって、３次元形状の計測精度を向上させる点に特徴があり、例えば、事前に人の手により計測された特徴点間の距離の情報を取入れて３次元計測を行うようにしても良い。
【００５３】
【発明の効果】
以上、詳述したように、第１発明、第２発明、第５発明、及び第６発明による場合は、異なる２点から撮像された計測対象物の画像に基づき、撮像した際の撮像装置の位置及び姿勢を求め、計測すべき３次元形状に対する複数の候補点を算出し、候補点間について算出された距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、評価関数が可及的に良好となるように候補点の座標値を調整するようにしている。したがって、取得した画像に映された計測対象物の形状が、撮像装置の内部パラメータの影響等を受けて歪んだものとなる場合であっても、複数の候補点間の距離を取込むことによって、歪みが少なく、精密な３次元形状を計測することが可能となる。
【００５４】
第３発明による場合は、距離計測器としてレーザ距離計を用いているため、候補点間の精密な距離を計測することが容易であり、しかも、計測対象物が建築物、プラント等の比較的大きいものであっても距離の計測が可能であり、計測した精密な距離を取込むことによって、歪みの少ない３次元形状を計測することができる。
【００５５】
第４発明による場合は、計測対象物を計測する際にレーザ距離計を含めて撮像するようにしているため、レーザ距離計の基準点及び照射点も２つの画像における対応点として採用することが可能であり、しかもその対応点間の距離を精密に測定できるため、３次元形状の計測に利用することができる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の３次元計測システムの概略構成を示す模式図である。
【図２】撮像装置により得られた撮像画像の一例を示す模式図である。
【図３】画像処理装置の内部構成を示すブロック図である。
【図４】撮像画像の間の対応付けを説明する模式図である。
【図５】画像処理装置内部の記憶部が有する各種テーブルの一例を示す概念図である。
【図６】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図７】撮像装置により得られた２つの画像間の幾何関係を示す模式図である。
【符号の説明】
Ｔ 計測対象物
１０Ａ，１０Ｂ 撮像装置
２０Ａ，２０Ｂ，２０Ｃ レーザ距離計
３０ 画像処理装置
３１ ＣＰＵ
３２ バス
３３ ＲＯＭ
３４ ＲＡＭ
３５ 操作部
３６ 表示部
３７ 画像入力部
３８ 補助記憶部
３８Ａ 記録媒体
３９ 記憶部
【発明の属する技術分野】
本発明は、複数の２次元画像から計測対象物の３次元形状を計測する３次元計測方法、３次元計測システム、該３次元計測システムに利用する画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムに関する。
【０００２】
【従来の技術】
従来の３次元計測装置として、レンジファインダ、レンジスキャナ等の光学式計測装置が知られている（例えば、非特許文献１参照）。レンジファインダを用いた３次元計測では、まず、計測対象物にレーザ光源からの光ビームを照射し、計測対象物の表面にスポット光の照射点が形成されるようにする。そして、その照射点を含めた計測対象物の画像を２台のカメラにより取得し、三角測量法の原理に従って照射点の３次元位置を計測する。
一方、レンジスキャナを利用した３次元計測では、計測対象物にレーザ光を照射し、計測対象物からの反射光を受光することで計測対象物までの距離情報を取得し、その距離情報に基づきレーザ光の照射点の３次元位置を計測する。レーザ光を計測対象物に対して走査させることにより広範囲の３次元計測を一度に行うことができ、例えば、建築物の計測、地形の計測等に利用されている。
【０００３】
【非特許文献１】
井口征士，佐藤宏介共著，「三次元画像計測」，初版，株式会社昭晃堂，１９９０年１１月２０日，ｐ２０−ｐ６４
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のレンジファインダを利用して３次元計測を行う場合、計測対象物が工業製品等の比較的小さな対象に限られており、建築物又はプラント等の比較的大きな対象について３次元計測を行う場合、様々な問題点が指摘されている。例えば、現場における作業においては、電源を確保できないという問題点を有する。また、複雑な機器を持ち込むこと自体困難であり、機器を持ち込めた場合であっても、それらの設置時間に多大な時間を要するという問題点がある。このような理由から、建築物又はプラント等の比較的大きな対象について３次元計測を行う場合には前述したようなレンジファインダが適用できるケースは少ない。
また、レンジスキャナを利用する場合も同様の問題点を含んでおり、計測現場への持ち込み、及び設置が困難な場合が生じている。
【０００５】
そこで、カメラ等の撮像装置を用いて計測対象物を撮像し、得られた撮像画像を解析して３次元形状を求めることが行われている。この手法を用いる場合、異なる視点から撮像された複数の画像を画像処理装置に取込み、それらの画像間の幾何関係をまず求める。
図７は、撮像装置により得られた２つの画像間の幾何関係を示す模式図である。図中Ｔは計測対象物であり、計測対象物Ｔ上の任意の注視点Ｍを異なる２つの視点Ａ，Ｂから撮像した場合、各撮像装置の画像面１Ａ，１Ｂには、注視点Ｍによる投影点ａ1 及びｂ1 が存在する。注視点Ｍと２つの投影点ａ1 及びｂ1 とは、エピポーラ平面と呼ばれる同一平面上に存在する。そして、２つの画像上での任意の対応点（例えば、点ａ2 及び点ｂ2 による対応点、点ａ3 及び点ｂ3 による対応点、並びに点ａ4 及び点ｂ4 による対応点）には、エピポーラ方程式と呼ばれる幾何関係が成り立つことが知られている。
エピポーラ方程式は、注視点Ｍの３次元座標には無関係であり、対応点の座標、並びに撮像装置の位置及び姿勢を変数とした関係式である。複数の対応点を利用してエピポーラ方程式を解くことにより、撮像装置の位置及び姿勢に関する情報が得られ、画像面の２次元座標を逆射影して３次元空間上の位置座標を求めることができる。
【０００６】
しかしながら、撮像装置により得られた撮像画像は、当該撮像装置の焦点距離、画素のサイズ、画素の縦軸及び横軸のなす角度、中心画素の位置座標等のパラメータが反映された画像である。そのため、撮像された計測対象物Ｔの形状に歪みが生じるという問題点を有している。従って、撮像装置により得られた撮像画像を用いて３次元形状を再構成した場合には、撮像画像中の形状の歪みの影響を受けて計測する３次元形状にも歪みが生じることとなり、精密な３次元形状の情報が必要とされる建築分野、計測分野等においては精度の向上が求められていた。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、異なる２点から撮像された計測対象物の画像を読込み、読込んだ２つの画像上での対応点に基づき、計測対象物を撮像した際の撮像装置の位置及び姿勢を算出し、計測すべき３次元形状に対する複数の候補点を求め、求めた候補点間の距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、設定した評価関数が可及的に良好となるように候補点の座標値を調整する構成とすることにより、計測対象物が建築物、プラントのように大きなものであっても適用することができ、しかも、歪みが少なく、精密な３次元形状が得られる３次元計測方法、３次元計測システム、該３次元計測システムに利用される画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムを提供することを目的とする。
【０００８】
本発明の他の目的は、レーザ距離計を用いて候補点間の距離を計測する構成とすることにより、歪みが少ない３次元形状が容易に得られる３次元計測システムを提供することにある。
【０００９】
本発明の更に他の目的は、計測対象物を撮像する際、レーザ距離計を含めて撮像する構成とする構成とすることにより、歪みが少ない３次元形状が容易に得られる３次元計測システムを提供することにある。
【００１０】
【課題を解決するための手段】
第１発明に係る３次元計測方法は、撮像装置を用いて異なる２点から撮像された計測対象物の画像を画像処理装置に読込み、読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する３次元計測方法において、読込んだ２つの画像上での対応点を求め、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出し、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求め、求めた候補点間の距離を算出し、前記候補点間についての既知距離を外部から取得し、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定し、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整することを特徴とする。
【００１１】
第２発明に係る３次元計測システムは、計測対象物を撮像する撮像装置と、該撮像装置により異なる２つの視点から撮像された計測対象物の画像を読込む手段、及び該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段を有する画像処理装置とを備える３次元計測システムにおいて、３次元空間上の２点間の距離を計測する１又は複数の距離計測器を備え、前記画像処理装置は、読込んだ２つの画像上での対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記距離計測器により計測された前記候補点間の計測距離を外部から取得する手段と、算出した候補点間の距離と取得した計測距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする。
【００１２】
第３発明に係る３次元計測システムは、第２発明に係る３次元計測システムにおいて、前記距離計測器はレーザ距離計であることを特徴とする。
【００１３】
第４発明に係る３次元計測システムは、第３発明に係る３次元計測システムにおいて、前記撮像装置は、前記計測対象物を撮像する際、前記レーザ距離計を含めて撮像すべくなしてあることを特徴とする。
【００１４】
第５発明に係る画像処理装置は、撮像装置を用いて異なる２点から撮像された計測対象物の画像を読込む手段と、該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段とを備える画像処理装置において、読込んだ２つの画像上で互いに対応する対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記候補点間についての既知距離を外部から取得する手段と、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする。
【００１５】
第６発明に係るコンピュータプログラムは、コンピュータに、外部から入力された異なる２点から撮像された計測対象物の画像に基づき、前記計測対象物の３次元形状を計測させるステップを有するコンピュータプログラムにおいて、コンピュータに、前記画像上での対応点を求めさせるステップと、コンピュータに、求めた対応点に基づき、前記計測対象物を撮像した際の撮像装置の位置及び姿勢を算出させるステップと、コンピュータに、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求めさせるステップと、コンピュータに、求めた候補点間の距離を算出させるステップと、コンピュータに、算出した候補点間の距離と、外部から入力された前記候補点間の既知距離とに基づく評価関数の値が可及的に良好となるように前記候補点の座標値を調整させるステップとを有することを特徴とする。
【００１６】
第１発明、第２発明、第５発明、及び第６発明にあっては、異なる２点から撮像された計測対象物の画像に基づき、撮像した際の撮像装置の位置及び姿勢を求め、計測すべき３次元形状に対する複数の候補点を算出し、候補点間について算出された距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、評価関数が可及的に良好となるように候補点の座標値を調整するようにしている。したがって、取得した撮像画像に映された計測対象物の形状が、撮像装置の内部パラメータの影響等を受けて歪んだものとなる場合であっても、複数の候補点間の距離を取込むことによって、歪みが少なく、精密な３次元形状を計測することが可能となる。
【００１７】
第３発明にあっては、距離計測器としてレーザ距離計を用いているため、候補点間の精密な距離を計測することが容易であり、しかも、計測対象物が建築物、プラント等の比較的大きいものであっても距離の計測が可能であり、計測した精密な距離を取込むことによって、歪みの少ない３次元形状を計測することができる。
【００１８】
第４発明にあっては、計測対象物を計測する際にレーザ距離計を含めて撮像するようにしているため、レーザ距離計の基準点及び照射点も２つの画像における対応点として採用することが可能であり、しかもその対応点間の距離を精密に測定できるため、３次元形状の計測のために利用できる。
【００１９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の３次元計測システムの概略構成を示す模式図である。図中１０Ａ，１０Ｂは計測対象物Ｔを撮像するための撮像装置であり、具体的には、デジタルカメラ、銀塩カメラ、ビデオカメラ等である。計測対象物Ｔは、例えば、建築物、プラント、工業製品等であり、本実施の形態に係る３次元計測システムでは、計測対象物Ｔについて３次元形状を計測し、計測対象物Ｔ上の任意の２点間の精密な距離、任意の２本の線分がなす角度等の情報を取得する。
本実施の形態では、撮像装置１０Ａ，１０Ｂにより計測対象物Ｔを撮像する際、複数のレーザ距離計２０Ａ，２０Ｂ，２０Ｃを利用して、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃと計測対象物Ｔとの距離を計測するとともに、計測中のレーザ距離計２０Ａ，２０Ｂ，２０Ｃが撮像範囲内に含まれるように撮像する。すなわち、計測対象物Ｔとの距離を測定するために各レーザ距離計２０Ａ，２０Ｂ，２０Ｃからレーザ光が照射され、その照射点が計測対象物Ｔの表面上に現れているときに、これらのレーザ距離計２０Ａ，２０Ｂ，２０Ｃを撮像装置１０Ａ，１０Ｂの撮像範囲に含めて撮像する。
【００２０】
撮像装置１０Ａ，１０Ｂにより得られた撮像画像、及びレーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離のデータは、画像処理装置３０に読込まれる。画像処理装置３０は、例えば、パーソナルコンピュータであり、読込んだ複数の撮像画像に基づいて画像処理を行い、計測対象物Ｔの３次元形状を計測する。そのとき、レーザ距離計２０Ａ，２０Ｂ，２０Ｃが計測した２点間の計測距離を取込むことにより計測すべき３次元形状の位置座標を調整し、計測精度の向上を図る。
【００２１】
なお、本実施の形態では、２台の撮像装置１０Ａ，１０Ｂを用いて計測対象物Ｔを撮像するようにしているが、撮像装置の数は２台に限定する必要はなく、３台以上の撮像装置を利用して計測対象物Ｔを撮像し、３つ以上の撮像画像を用いて画像処理を行い、３次元形状を計測するようにしてもよい。また、１台の撮像装置を用いて計測対象物Ｔを撮像した後、別の視点から撮像し、２つ以上の異なる視点から撮像された撮像画像を得るようにしてもよい。
また、本実施の形態では、３台のレーザ距離計２０Ａ，２０Ｂ，２０Ｃを用いて計測対象物Ｔとの距離を計測するようにしているが、レーザ距離計の数は３台に限定する必要はなく、２台又は４台以上のレーザ距離計を用いて計測対象物Ｔとの距離を計測するようにしてもよい。また、１台のレーザ距離計により計測対象物Ｔとの距離を計測した後、別の地点から計測して複数の計測距離を得るようにしても良い。
【００２２】
図２は、撮像装置１０Ａ，１０Ｂにより得られた撮像画像の一例を示す模式図である。撮像装置１０Ａ，１０Ｂを用いて異なる２つの視点から計測対象物Ｔを撮像しており、撮像装置１０Ａ，１０Ｂにより得られた撮像画像１００Ａ，１００Ｂは、それぞれ図２（ａ），図２（ｂ）に示したような画像となる。
本実施の形態では、計測対象物Ｔとともに距離計測中の３つのレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像する。各レーザ距離計２０Ａ，２０Ｂ，２０Ｃには、距離を計測する際の基準となる基準点が各筐体の一面（例えば、底面）に設けられており、後の画像処理を容易化するために、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点が両撮像画像に含まれるように撮像する。
【００２３】
図３は、画像処理装置３０の内部構成を示すブロック図である。画像処理装置３０はＣＰＵ３１を備えており、該ＣＰＵ３１にバス３２を介してＲＯＭ３３、ＲＡＭ３４、操作部３５、表示部３６、画像入力部３７、補助記憶部３８、記憶部３９等の各種ハードウェアが接続されている。ＣＰＵ３１は、ＲＯＭ３３に格納された各種制御プログラムに従って前記ハードウェアを制御するとともに、外部から入力された複数の画像データに画像処理を施し、計測対象物Ｔの３次元形状を計測する。なお、当該画像処理は必ずしもＣＰＵ３１が行う必要はなく、画像処理専用のＡＳＩＣ（Application Specifide Integrated Circiut）を設けて、ＣＰＵ３１から指示を与えることにより、画像処理専用のＡＳＩＣに画像処理を行わせる形態であってもよい。
ＲＡＭ３４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ３３に格納された制御プログラムの実行時に発生するデータを記憶する。
【００２４】
操作部３５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示を入力し、選択操作等を行う。表示部３６は、ＣＲＴディスプレイ又は液晶ディスプレイ等の表示装置からなり、操作部３５を通じて入力された各種の情報が表示されるとともに、外部から入力された撮像画像、及び画像処理中の画像データ等が表示される。
【００２５】
画像入力部３７には、撮像装置１０Ａ，１０Ｂにより撮像された撮像画像がデジタルの画像データとして入力される。撮像装置１０Ａ，１０Ｂが銀塩カメラである場合には、画像入力部３７として、イメージスキャナ装置、フィルムスキャナ装置等を用いることができ、撮像装置１０Ａ，１０Ｂにより得られた銀塩写真、写真フィルムをデジタルの画像データに変換した後、画像処理装置３０の内部に取込む。また、撮像装置１０Ａ，１０Ｂがデジタルカメラである場合には、撮像装置１０Ａ，１０Ｂにて得られたデジタルの画像データを可搬型メモリに記憶させておき、当該可搬型メモリに記憶された画像データを読込むことも可能である。また、撮像装置１０Ａ，１０Ｂがデジタルカメラであり、画像処理装置３０との間でＵＳＢ（Universal Serial Bus）等の規格を利用した通信が可能である場合には、当該通信を利用して画像データを画像処理装置３０に取込むことも可能である。
何れの場合も、撮像装置１０Ａ，１０Ｂにより得られた撮像画像（銀塩写真、デジタル画像データ）は、デジタルの画像データとして画像処理装置３０に入力される。入力された画像データはハードディスク等の記憶部３９に記憶される。
【００２６】
補助記憶部３８は、本発明のコンピュータプログラム及びデータを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体３８０からコンピュータプログラム及びデータを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、記憶装部３９に記憶される。記憶部３９に記憶されているコンピュータプログラム及びデータはＲＡＭ３４に読込まれ、ＣＰＵ３１が実行することで本発明の画像処理装置３０として動作する。
【００２７】
図４は、撮像画像１００Ａ，１００Ｂの間の対応付けを説明する模式図である。異なる２つの視点から撮像された撮像画像１００Ａ，１００Ｂに基づき、計測対象物Ｔの３次元形状を計測するには、各撮像画像１００Ａ，１００Ｂを撮像した際の撮像装置１０Ａ，１０Ｂの位置及び姿勢を算出する必要がある。そこで、画像処理装置３０は、読込んだ撮像画像１００Ａ，１００Ｂの夫々から画像の特徴点を抽出し、特徴点間の対応付けを行うことによって、撮像画像１００Ａ，１００Ｂ間の幾何関係を求める処理を行う。
【００２８】
画像の特徴点を抽出する場合、画像処理装置３０は、入力された撮像画像１００Ａ，１００Ｂからエッジ画像又は明暗画像を作成して計測対象物Ｔの輪郭線を抽出し、抽出した輪郭線が交わる点を特徴点として採用する。例えば、図４（ａ）に示した如く計測対象物Ｔが直方体である場合には、直方体の頂点を特徴点（Ａ1 〜Ａ7 ）として求めることができる。また、同様にして、図４（ｂ）に示した撮像画像１００Ｂからは、計測対象物Ｔが有する各頂点のうち、撮像画像１００Ｂに写っている頂点を特徴点（Ｂ1 〜Ｂ7 ）として求めることができる。
本実施の形態では、更に、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点を画像の特徴点として採用している。撮像画像１００Ａからは、レーザ距離計２０Ａの基準点に対応させて特徴点Ａ9 を採用し、レーザ距離計２０Ａの照射点に対応させて特徴点Ａ8 を採用することができる。そして、レーザ距離計２０Ｂ，２０Ｃの各基準点及び照射点に対応させて、特徴点Ａ10〜Ａ13を採用することができる。同様にして、撮像画像１００Ｂからは、レーザ距離計２０Ａ，２０Ｂ，２０Ｃの各基準点及び照射点に対応させて、特徴点Ｂ8 〜Ｂ13を採用することができる。
レーザ距離計２０Ａ，２０Ｂ，２０Ｃの各基準点及び照射点による特徴点の抽出は、前述の明暗画像から明度が最大又は極大となる画素を特定して抽出する。
【００２９】
本実施の形態では、２つの撮像画像１００Ａ，１００Ｂを用いて計測対象物Ｔの３次元計測を行う際に、各レーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測された特徴点間（Ａ8 −Ａ9 間、Ａ10−Ａ11間、Ａ12−Ａ13間）の距離Ｌ1 ，Ｌ2 ，Ｌ3 を取込み、３次元計測の精度を向上させることを特徴としている。
画像処理装置３０により抽出された各撮像画像１００Ａ，１００Ｂの特徴点の情報（座標値）、及び外部から入力された特徴点間の距離Ｌ1 ，Ｌ2 ，Ｌ3 についての情報は、画像処理装置３０内部の記憶部３９に夫々関連付けられて記憶される。
【００３０】
図５は、画像処理装置３０内部の記憶部３９が有する各種テーブルの一例を示す概念図である。記憶部３９は、特徴点の座標値を記憶する特徴点情報テーブル３９Ａと特徴点間の距離に関する情報を記憶する距離情報テーブル３９Ｂとを有している。特徴点情報テーブル３９Ａは、特徴点毎に連番を付した特徴点ＩＤ欄、各撮像画像１００Ａ，１００Ｂにおける特徴点の座標値を記憶する２つの座標欄、算出された３次元座標を記憶する３次元座標欄、距離情報が入力されたときに付与する参照ＩＤを記憶するための参照ＩＤ欄を有している。
また、距離情報テーブル３９Ｂには、参照ＩＤ欄、前記３次元座標に基づいて算出した特徴点間の距離（算出距離）を記憶する算出距離欄、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離を記憶する計測距離欄を有している。
【００３１】
撮像画像１００Ａから抽出された特徴点の座標値には固有の特徴点ＩＤが付与され、一方の座標欄に記憶される。また、撮像画像１００Ｂから抽出された特徴点の座標値は、撮像画像１００Ａから抽出された特徴点と対応付けられて他方の座標欄に記憶される。例えば、撮像画像１００Ａから抽出された特徴点Ａ1 の座標値（ｘ11，ｙ11）には、特徴点ＩＤ「Ｐ００１」を付与して座標欄に記憶するとともに、特徴点Ａ1 に対応した撮像画像１００Ｂ上の特徴点Ｂ1 の座標値（ｘ12，ｙ12）を前記特徴点ＩＤに関連付けて特徴点情報テーブル３９Ａに記憶させる。なお、特徴点間の対応付けは、画像処理装置３０の演算により自動的に行う形態であってもよく、また、人の手により対応付けを行う形態であってもよい。画像処理装置３０の演算により自動的に対応付けを行う手法については、後に詳述することにする。
各撮像画像１００Ａ，１００Ｂについて２つの異なる特徴点が指定され、当該特徴点間の計測距離が入力された場合、画像処理装置３０は、参照ＩＤを付与して距離情報テーブル３９Ｂの計測距離欄に計測距離の値を記憶させる。
【００３２】
以下、画像処理装置３０が行う処理について説明する。
図６は、本実施の形態に係る画像処理装置３０の処理手順を説明するフローチャートである。まず、画像処理装置３０のＣＰＵ３１は、撮像装置１０Ａ，１０Ｂにより撮像された撮像画像１００Ａ，１００Ｂを読込む（ステップＳ１）。画像入力部３７を通じて撮像画像１００Ａ，１００Ｂを入力されたものを読込む形態であってもよく、予め記憶部３９に記憶させた２つの撮像画像１００Ａ，１００Ｂを読込む形態であってもよい。
そして、画像処理装置３０のＣＰＵ３１は、撮像画像の読込みが終了したか否かを判断し（ステップＳ２）、読込みが終了していないと判断した場合（Ｓ２：ＮＯ）、処理をステップＳ１へ戻す。
【００３３】
画像処理装置３０のＣＰＵ３１が、撮像画像の読込みを終了したと判断した場合（Ｓ２：ＹＥＳ）、ＣＰＵ３１は、読込まれた２つの撮像画像１００Ａ，１００Ｂから特徴点の抽出を行う（ステップＳ３）。特徴点の抽出は、前述したように、撮像画像１００Ａ，１００Ｂから明暗画像又はエッジ画像を作成して、撮像画像１００Ａ，１００Ｂに写っている計測対象物Ｔの輪郭線を抽出し、輪郭線同士の交点を求めることによって行う。また、明暗画像等から明度が最大又は極大となる画素を特定することによって、レーザ距離計２０Ａ，２０Ｂ，２０Ｃの基準点及び照射点による特徴点を抽出することが可能である。
【００３４】
次いで、ＣＰＵ３１は、各撮像画像１００Ａ，１００Ｂの間で特徴点の対応付けを実行する（ステップＳ４）。特徴点の対応付けは以下のようにして行う。
世界座標系により表した３次元空間（ユークリッド空間）上のある点の位置座標Ｍと、カメラ座標系により表した撮像面での位置座標ｍとの間には、
【００３５】
【数１】
なる関係式が成り立つ。ここで、Ｐは射影行列であり、カメラパラメータを要素とした内部行列Ａ、並進ベクトルｔ及び回転行列Ｒを用いて、
【００３７】
【数２】
と表すことができる。内部行列Ａの要素であるカメラパラメータには、焦点距離、画素の中心座標、画素のサイズ、画素の横軸及び縦軸がなす角度等のパラメータを含んでおり、ユークリッド空間上の３次元形状を射影空間上に投影した場合に歪みが生じる原因となり得る。本実施の形態では、ユークリッド空間で３次元形状を再構成する際に実測された距離の情報を取込むことによって、精度よく計測対象物Ｔの３次元形状を計測することをできる。また、世界座標系を一方の撮像装置１０Ａ（又は撮像装置１０Ｂ）のカメラ座標系に一致させた場合、２つの撮像画像１００Ａ，１００Ｂの関係は前述の並進ベクトルｔと回転行列Ｒとによって表すことができ、夫々の撮像画像１００Ａ，１００Ｂにおける対応点の位置座標ｍ，ｍ’には、次式で表される関係式が成り立つ。
【００３９】
【数３】
ここで、Ｆは基礎行列であり、数式（３）は２つの撮像画像１００Ａ，１００Ｂ間のエピポーラ拘束条件を示している。基礎行列Ｆは３×３の行列であり、特異値の１つがゼロであり、基礎行列Ｆのスケールが任意であるため、数式（３）は７つの拘束条件を与える。すなわち、２つの撮像画像１００Ａ，１００Ｂ間で７組以上の対応点が存在する場合に基礎行列Ｆを求めることができる。
【００４１】
逆に、各撮像装置１００Ａ，１００Ｂから正しい対応点の組合せを選択して数式（３）に代入した場合にのみ１つの基礎行列Ｆを共有することができることを利用して、ステップＳ３にて抽出した特徴点間の対応付けを行うことができる。すなわち、各撮像画像１００Ａ，１００Ｂには有限個の特徴点が存在し、考えられる特徴点間の対応関係は有限の組合せに限定される。それらの組合せの中から一つの組合せを選択し、選択した組合せに含まれる複数組の特徴点に基づき、数式（３）を利用して基礎行列Ｆを求める。仮に適切な組合せを選択した場合には、互いに対応関係にある他の特徴点の位置座標を数式（３）に代入したときに１つの基礎行列Ｆを共有することができ、適切でない組合せを選択した場合には、基礎行列Ｆを共有できないことになる。このように、各組合せに含まれる複数の特徴点を利用して求めた基礎行列Ｆが、他の特徴点間でも共有できるか否かを調べることによって、特徴点間の対応付けが適切であるか否かを検討することができ、画像１００Ａ，１００Ｂ間における特徴点の対応付けを行うことが可能となる。
【００４２】
各撮像画像１００Ａ，１００Ｂの対応点が求まった場合、数式（３）に７組上の対応点の座標値を代入して連立方程式を立て、最小２乗法により基礎行列Ｆの各要素を求めることができる。また、基本行列Ｆは、前述した内部行列Ａ、並進ベクトルｔ及び回転行列Ｒ、並びに基本行列Ｅを用いて、以下のように表すことができる。
【００４３】
【数４】
数式（３）により基礎行列Ｆが求まった場合、数式（４）を用いて基本行列Ｅを求めることができ、更に、求めた基本行列Ｅから並進ベクトルｔ及び回転行列Ｒを求めることができる。求めた並進ベクトルｔ及び回転行列Ｒは撮像装置１０Ａ，１０Ｂ間の運動を表しており、それぞれの位置及び姿勢の初期値を並進ベクトルｔ及び回転行列Ｒとして算出することができる（ステップＳ５）。
【００４５】
次いで、画像処理装置３０のＣＰＵ３１は、３次元空間における前記特徴点の位置座標の初期値を算出する（ステップＳ６）。ステップＳ５で撮像装置１０Ａ，１０Ｂの並進ベクトルｔ及び回転行列Ｒを求めているため、数式（１）及び数式（２）を用いることによって、３次元空間における特徴点の位置座標を算出することができる。
【００４６】
次いで、画像処理装置３０は特徴点間の計測距離の入力を受付ける（ステップＳ７）。具体的には、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された計測距離の入力を促す表示を表示部３６にするとともに、操作部３５からの計測距離の入力を受付ける。
次いで、画像処理装置３０のＣＰＵ３１は計測距離の入力が終了したか否かを判断する（ステップＳ８）。計測距離の入力が終了していないと判断した場合（Ｓ８：ＮＯ）、処理をステップＳ７へ戻し、新たな計測距離の入力を受付ける。
【００４７】
計測距離の入力が終了した場合（Ｓ８：ＹＥＳ）、画像処理装置３０のＣＰＵ３１は評価関数の設定を行う（ステップＳ９）。設定すべき評価関数は、レーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測された計測距離と、演算によって求めた算出距離とを考慮した評価関数であり、数式（５）で表される関数が、数式（６）で表される拘束条件の下に最小となるように３次元空間の位置座標（Ｘi ，Ｙi ，Ｚi ）、及び撮像装置１０Ａ，１０Ｂの位置・姿勢を算出する（ステップＳ１０）。
【００４８】
【数５】
【数６】
ここで、Ｒj 及びｔj は、世界座標系からｊ番目（本実施の形態では、ｊ＝１，２）のカメラ座標系への運動を表す回転行列及び並進ベクトルである。Ｐ（Ｘi ，Ｙi ，Ｚi ，Ｒj ，ｔj ，Ａj ）及びＱ（Ｘi ，Ｙi ，Ｚi ，Ｒj ，ｔj ，Ａj ）は、３次元空間の位置座標（Ｘi ，Ｙi ，Ｚi ）を回転行列Ｒj 及び並進ベクトルｔj によりｊ番目の画像の射影したときのｘ座標及びｙ座標を表す。また、数式（６）において、Ｌikはｉ番目の特徴点とｋ番目の特徴点との間の計測距離を表している。
したがって、数式（６）で表される拘束条件の元で数式（５）を最小化した場合、特徴点間について算出した距離と実際に測定した距離との差が可及的に小さくなるとともに、撮像画像上に射影された点の位置座標が特徴点の位置座標に近くなる３次元空間の位置座標、及び撮像装置１０Ａ，１０Ｂの位置・姿勢が求まる。
【００５１】
このように、本実施の形態では、レーザ距離計２０Ａ，２０Ｂ，２０Ｃにより計測された特徴点間の距離を取込み、計測すべき３次元形状を構成する点の３次元座標を求める際に利用することで、３次元形状のスケールだけでなく、形状自体を精密に計測することが可能となる。
【００５２】
なお、本実施の形態では、２つの撮像装置１０Ａ，１０Ｂの撮像範囲にレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像し、各基準点及び照射点を特徴点として採用するとともに、基準点及び照射点に対応させた特徴点間の距離の情報を３次元計測の際に利用する構成としたが、必ずしもレーザ距離計２０Ａ，２０Ｂ，２０Ｃを含めて撮像する必要はなく、また、特徴点間の距離もレーザ距離計２０Ａ，２０Ｂ，２０Ｃによって計測されたものである必要はない。すなわち、本発明では、特徴点間の距離の情報を複数利用することによって、３次元形状の計測精度を向上させる点に特徴があり、例えば、事前に人の手により計測された特徴点間の距離の情報を取入れて３次元計測を行うようにしても良い。
【００５３】
【発明の効果】
以上、詳述したように、第１発明、第２発明、第５発明、及び第６発明による場合は、異なる２点から撮像された計測対象物の画像に基づき、撮像した際の撮像装置の位置及び姿勢を求め、計測すべき３次元形状に対する複数の候補点を算出し、候補点間について算出された距離と外部から取得した候補点間の既知距離とに基づく評価関数を設定し、評価関数が可及的に良好となるように候補点の座標値を調整するようにしている。したがって、取得した画像に映された計測対象物の形状が、撮像装置の内部パラメータの影響等を受けて歪んだものとなる場合であっても、複数の候補点間の距離を取込むことによって、歪みが少なく、精密な３次元形状を計測することが可能となる。
【００５４】
第３発明による場合は、距離計測器としてレーザ距離計を用いているため、候補点間の精密な距離を計測することが容易であり、しかも、計測対象物が建築物、プラント等の比較的大きいものであっても距離の計測が可能であり、計測した精密な距離を取込むことによって、歪みの少ない３次元形状を計測することができる。
【００５５】
第４発明による場合は、計測対象物を計測する際にレーザ距離計を含めて撮像するようにしているため、レーザ距離計の基準点及び照射点も２つの画像における対応点として採用することが可能であり、しかもその対応点間の距離を精密に測定できるため、３次元形状の計測に利用することができる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の３次元計測システムの概略構成を示す模式図である。
【図２】撮像装置により得られた撮像画像の一例を示す模式図である。
【図３】画像処理装置の内部構成を示すブロック図である。
【図４】撮像画像の間の対応付けを説明する模式図である。
【図５】画像処理装置内部の記憶部が有する各種テーブルの一例を示す概念図である。
【図６】本実施の形態に係る画像処理装置の処理手順を説明するフローチャートである。
【図７】撮像装置により得られた２つの画像間の幾何関係を示す模式図である。
【符号の説明】
Ｔ 計測対象物
１０Ａ，１０Ｂ 撮像装置
２０Ａ，２０Ｂ，２０Ｃ レーザ距離計
３０ 画像処理装置
３１ ＣＰＵ
３２ バス
３３ ＲＯＭ
３４ ＲＡＭ
３５ 操作部
３６ 表示部
３７ 画像入力部
３８ 補助記憶部
３８Ａ 記録媒体
３９ 記憶部
Claims (6)
- 撮像装置を用いて異なる２点から撮像された計測対象物の画像を画像処理装置に読込み、読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する３次元計測方法において、
読込んだ２つの画像上での対応点を求め、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出し、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求め、求めた候補点間の距離を算出し、前記候補点間についての既知距離を外部から取得し、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定し、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整することを特徴とする３次元計測方法。 - 計測対象物を撮像する撮像装置と、該撮像装置により異なる２つの視点から撮像された計測対象物の画像を読込む手段、及び該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段を有する画像処理装置とを備える３次元計測システムにおいて、
３次元空間上の２点間の距離を計測する１又は複数の距離計測器を備え、前記画像処理装置は、読込んだ２つの画像上での対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記距離計測器により計測された前記候補点間の計測距離を外部から取得する手段と、算出した候補点間の距離と取得した計測距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする３次元計測システム。 - 前記距離計測器はレーザ距離計であることを特徴とする請求項２に記載の３次元計測システム。
- 前記撮像装置は、前記計測対象物を撮像する際、前記レーザ距離計を含めて撮像すべくなしてあることを特徴とする請求項３に記載の３次元計測システム。
- 撮像装置を用いて異なる２点から撮像された計測対象物の画像を読込む手段と、該手段が読込んだ画像に基づいて、前記計測対象物の３次元形状を計測する手段とを備える画像処理装置において、
読込んだ２つの画像上で互いに対応する対応点を求める手段と、求めた対応点に基づき、前記計測対象物を撮像した際の前記撮像装置の位置及び姿勢を算出する手段と、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求める手段と、求めた候補点間の距離を算出する手段と、前記候補点間についての既知距離を外部から取得する手段と、算出した候補点間の距離と取得した既知距離とに基づく評価関数を設定する手段と、設定した評価関数の値が可及的に良好となるように前記候補点の座標値を調整する手段とを備えることを特徴とする画像処理装置。 - コンピュータに、外部から入力された異なる２点から撮像された計測対象物の画像に基づき、前記計測対象物の３次元形状を計測させるステップを有するコンピュータプログラムにおいて、
コンピュータに、前記画像上での対応点を求めさせるステップと、コンピュータに、求めた対応点に基づき、前記計測対象物を撮像した際の撮像装置の位置及び姿勢を算出させるステップと、コンピュータに、算出した前記撮像装置の位置及び姿勢に基づき、計測すべき３次元形状に対する複数の候補点を求めさせるステップと、コンピュータに、求めた候補点間の距離を算出させるステップと、コンピュータに、算出した候補点間の距離と、外部から入力された前記候補点間の既知距離とに基づく評価関数の値が可及的に良好となるように前記候補点の座標値を調整させるステップとを有することを特徴とするコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337223A JP3637416B2 (ja) | 2002-11-20 | 2002-11-20 | ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337223A JP3637416B2 (ja) | 2002-11-20 | 2002-11-20 | ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004170277A JP2004170277A (ja) | 2004-06-17 |
| JP3637416B2 true JP3637416B2 (ja) | 2005-04-13 |
Family
ID=32700829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002337223A Expired - Fee Related JP3637416B2 (ja) | 2002-11-20 | 2002-11-20 | ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3637416B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014169068A (ja) * | 2013-02-08 | 2014-09-18 | Shin Meiwa Ind Co Ltd | 貨物自動車寸法測定装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006317418A (ja) * | 2005-05-16 | 2006-11-24 | Nikon Corp | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 |
| JP5338228B2 (ja) * | 2008-09-29 | 2013-11-13 | カシオ計算機株式会社 | 画像生成装置、及びプログラム |
| US8334985B2 (en) * | 2010-10-08 | 2012-12-18 | Omron Corporation | Shape measuring apparatus and shape measuring method |
| JP6009753B2 (ja) * | 2011-10-26 | 2016-10-19 | 株式会社トプコン | 画像測定装置 |
| CN107289869A (zh) * | 2017-06-08 | 2017-10-24 | 杭州联络互动信息科技股份有限公司 | 一种利用矩阵镜头进行3d测量的方法、装置及系统 |
-
2002
- 2002-11-20 JP JP2002337223A patent/JP3637416B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014169068A (ja) * | 2013-02-08 | 2014-09-18 | Shin Meiwa Ind Co Ltd | 貨物自動車寸法測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004170277A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9965870B2 (en) | Camera calibration method using a calibration target | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| JP5620200B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN109377551B (zh) | 一种三维人脸重建方法、装置及其存储介质 | |
| JP5465128B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム | |
| JP3624353B2 (ja) | ３次元形状計測方法およびその装置 | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| US10839481B1 (en) | Automatic marker-less alignment of digital 3D face and jaw models | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| CN111028341B (zh) | 一种三维模型生成方法 | |
| JP2004127239A (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| JP2012063866A (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
| JP6580761B1 (ja) | 偏光ステレオカメラによる深度取得装置及びその方法 | |
| WO2022078442A1 (zh) | 一种基于光扫描和智能视觉融合的3d信息采集方法 | |
| WO2022078439A1 (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
| CN112257537B (zh) | 一种智能多点三维信息采集设备 | |
| Wilm et al. | Accurate and simple calibration of DLP projector systems | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| Wan et al. | A study in 3d-reconstruction using kinect sensor | |
| Chernov et al. | 3D dynamic thermography system for biomedical applications | |
| JP3637416B2 (ja) | ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム | |
| Palka et al. | 3D object digitization devices in manufacturing engineering applications and services | |
| CN111028299A (zh) | 基于图像中点属性数据集计算标定点空间距的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |