JP4218283B2 - Target projection type three-dimensional shape measuring method and apparatus - Google Patents

Target projection type three-dimensional shape measuring method and apparatus Download PDF

Info

Publication number
JP4218283B2
JP4218283B2 JP2002241551A JP2002241551A JP4218283B2 JP 4218283 B2 JP4218283 B2 JP 4218283B2 JP 2002241551 A JP2002241551 A JP 2002241551A JP 2002241551 A JP2002241551 A JP 2002241551A JP 4218283 B2 JP4218283 B2 JP 4218283B2
Authority
JP
Japan
Prior art keywords
dimensional
slit light
target
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002241551A
Other languages
Japanese (ja)
Other versions
JP2004077410A (en
Inventor
輝行 島
武人 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2002241551A priority Critical patent/JP4218283B2/en
Publication of JP2004077410A publication Critical patent/JP2004077410A/en
Application granted granted Critical
Publication of JP4218283B2 publication Critical patent/JP4218283B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、数m角以上の巨大な対象物体の3次元形状を、短時間で精度良く計測するターゲット投影式3次元形状計測方法および装置に関する。
【0002】
【従来の技術】
数m角以上の巨大な対象物体の3次元形状を計測する手段として、特開平3−131706号、特開平5−26639号、特開2001−116526、等が既に提案されている。
【0003】
特開平3−131706号の「3次元位置計測装置」は、図10に示すように、対象物51を撮像する第1と第2の2つの撮像装置52、53を有し、2つの撮像装置から得られる2枚の画像に基づいて対象物の3次元位置を計測する装置である。また、対象物51を含む空間に向けてスリット光54を投光するスリット光投光装置55を具備し、3角測量の原理で対象物面上のスリット像の奥行きを求め、両眼立体視で対応探索における水平走査線上の探索範囲を制限するようになっている。
【0004】
また、特開平5−26639号の「3次元測定方法」は、図11に示すように、ワーク61の周囲、或いは被測定物上の少なくとも4箇所に基準点部材62を付設すると共に、2点の距離が既知のリファレンスバー63を付設しておき、2台以上のCCDカメラ64からの画像データによる測定点の位置算出時、先ず、この画像データ中の上記各基準点部材及びリファレンスバーの2点の距離から、2台以上のCCDカメラの絶対的な位置を算出し、この後、このデータを基準として測定点の位置を算出し、更に、上記画像データが変わる毎に、2台以上のCCDカメラの絶対的な位置を算出し直すようにしたものである。
【0005】
また、特開2001−116526の「3次元形状計測装置」は、図12に示すように、パターンコードに基づいて3値以上に強度変調された複数の領域からなるパターン光をレーザ光によって生成し物体に投影する投影手段71と、前記パターン光の投影によって物体から反射された光を撮影してパターン像を得る撮影手段72と、前記パターンコードとパターン像に基づいて物体までの距離情報を演算する演算手段73とを備えたものである。
【0006】
【発明が解決しようとする課題】
従来の3次元形状計測手段は、位置検出ターゲットを対象物に投影することで対象物の3次元形状を計測する手段(例えば特開2001−116526)、レーザスリット光による光切断法(特開平3−131706号)、リファレンスバーを付設する手段(特開平5−26639号)、或いはスポット光を投影して複数視点から撮影することでスポット光の投影位置を算出する手段、等であった。
【0007】
しかし、リファレンスバーやスポット光の位置検出では、検出点に限りがある。また、位置検出ターゲットを対象物に投影する場合、多くの点を検出するためには長い時間がかかる。更に、レーザスリット光による光切断法では、検出位置を厳密に絞りきることができず、精度が不十分となる等の問題点があった。
【0008】
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、数m角以上の巨大な対象物体の3次元形状を、短時間で精度良く計測することができる3次元形状計測方法および装置を提供することにある。
【0009】
【課題を解決するための手段】
本発明によれば、縦横2本のスリット光を順次位置を変えながら対象物に別々に照射し、それぞれのスリット光の投影位置を異なる位置から一本単位で撮影するとともに、寸法基準となる基準スケールを対象物に貼付し、該基準スケールを撮像し、撮影したスリット光の各画像に基づいて、縦横のスリット光の各交点、消失点及び基準スケールの2次元位置を異なる撮影位置の各々について演算し、得られた複数の2次元位置データから対象物の3次元位置を計測する、ことを特徴とするターゲット投影式3次元形状計測方法が提供される。
【0010】
また、本発明によれば、縦横2本のスリット光を順次位置を変えながら対象物に別々に照射するスリット光照射装置と、それぞれのスリット光の投影位置を異なる位置から一本単位で撮影する一つ又は複数のデジタルカメラと、対象物に貼付され、寸法基準となる基準スケールと、前記デジタルカメラで撮影したスリット光の各画像に基づいて、縦横のスリット光の各交点、消失点及び基準スケールの2次元位置を異なる撮影位置の各々について演算し、得られた複数の2次元位置データから対象物の3次元位置を演算する演算装置とを備えた、ことを特徴とするターゲット投影式3次元形状計測装置が提供される。
【0011】
上記本発明の方法及び装置によれば、スリット光照射装置により縦横2本のスリット光を順次位置を変えながら対象物に別々に照射し、デジタルカメラによりそれぞれのスリット光の投影位置を異なる位置から一本単位で撮影するとともに、寸法基準となる基準スケールを対象物に貼付し、この基準スケールを撮像し、演算装置により、撮影したスリット光の各画像に基づいて、縦横のスリット光の各交点、消失点及び基準スケールの2次元位置を異なる撮影位置の各々について演算し、得られた複数の2次元位置データから対象物の3次元位置を演算することにより、数m角以上の巨大な対象物体の3次元形状を短時間で精度良く計測することができる。
【0012】
本発明の好ましい実施形態によれば、単一のデジタルカメラ(14)を用い、該カメラの位置を変えながら、スリット光の投影位置(4)を撮影する。
この方法により、単一のデジタルカメラ(14)で、巨大な対象物体の3次元形状を精度良く計測することができる。
【0013】
また、別の好ましい実施形態によれば、複数のデジタルカメラ(14)を用い、異なる位置から同時にスリット光の投影位置(4)を撮影する。更に、スリット光(2、3)の照射とカメラによる撮影とを同期させる。
この方法により、計測時間を大幅に短縮できる。
【0014】
また、デジタルカメラ(14)の出力からスリット光の投影位置(4)を抽出し、ノイズ成分を除去し、領域を細線化し、該細線の垂線方向に加重平均処理を加え、真の中心軸位置を捉えた点群を算出し、次いで、この点群に対する最小二乗直線を算出する。
この方法により、スリット光の投影位置(4)を高い精度で求めることができる。
【0015】
また、前記基準スケールは、点光源とその前面に位置する拡散板とからなる自己発光式である。
【0016】
前記スリット光照射装置(12)は、扇形のスリット光を発生する半導体レーザ装置と、扇形のスリット光を順次異なる位置に反射するスキャナミラーとからなる。
この構成により、スリット光の投影位置(4)の変更を高速化でき、かつ多数の投影位置(4)を容易に設定できる。
【0017】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
【0018】
1.概要
1.1 開発までの経緯
船や橋梁などの大型構造物の部品の形状を、現場で容易に捉えることができるシステムが要望されている。そこで、実際の構造物(曲がり板)を対象に計測試験を実施し、その性能を評価することを目標に、ターゲットの貼付が不要な3次元計測技術を開発した。本技術の確立により、大型構造物の部品の3次元形状を容易に計測することができ、不良部品の発生による組立のロスの削減が可能になる。
【0019】
1.2 手法
本発明のターゲット投影式3次元形状計測では、まず、計測対象物に格子状のレーザを照射する。レーザの交点や消失点などが、従来の貼付ターゲットに相当する。続いて、複数視点から計測対象物を撮影して、画像処理によりレーザの交点や消失点の画像上の位置を認識する。最後にその画像をデータ処理することで、対象物の3次元モデルを作成する。図1に、本発明のターゲット投影式3次元形状計測装置の構成を示す。
本発明の3次元形状計測のメリットとして、ターゲットの位置変更が容易なこと、ターゲット数の増減が自在なこと、等が挙げられる。また、対象物に接触する必要が無いため、短時間で計測が可能になる。また、手が届かない部分の形状を計測する際、ターゲットを貼り付けるために足場を組んだりする必要がなくなり、作業時間の縮小が望める。
【0020】
1.3 装置
本発明のターゲット投影式3次元形状計測装置10は以下の機器で構成される。
(1)スリット光照射装置12:格子状のレーザ光を対象物に投影するレーザ投光機である。
(2)デジタルカメラ14:画像入力装置としての600万画素デジタルカメラ。
(3)演算装置16:画像処理装置として、A4ノートPC(CPU:500MHz)を採用した。
(4)基準スケール18:3次元計測の基準となる自己発光式のスケールである。
【0021】
1.4 計測試験
船殻用曲がり板(約3m×2.5m)を対象物1とし、曲がり板1から約5mのところに鉛直にポールを設置し、このポールにカメラを取り付けた。ポール上をカメラを移動させ、また、ポールを移動させて、全20箇所のカメラ位置から撮影を行った。
【0022】
1.5 計測試験結果
本発明のターゲット投影式3次元計測の精度評価のために、従来方式(ターゲット貼付式)による計測結果との比較を行った。
この結果、レーザの交点の3次元位置の計測精度は、誤差±1.0mm以内、誤差の標準偏差0.5mm程度であり、従来方式とほぼ同程度であるという結論を得た。要求精度は±1.0mm程度であり、十分な精度であると思われる。また、撮影箇所を20箇所から6箇所程度に減らしても十分な精度を得ることができた。
【0023】
1.6 結論
本発明のターゲット投影式3次元計測の計測精度は、レーザラインの交点に関しては従来法と比較して遜色ない。
計測時間は、画像の撮影に2時間程度、処理に2時間程度必要であったが、1箇所のカメラ位置における処理を自動化することで、現状の単カメラ方式でも50分程度まで処理時間を短縮することが可能となる。
また、複数のカメラを同時に使用する複カメラ方式を用いることで、ターゲット投影式3次元計測の処理時間は大幅に短縮できる。6台のカメラを使用すると、処理時間は5分程度になる。
【0024】
2.運用手順
2.1 単カメラ方式による3次元計測
本発明の第1の方法では、一台のカメラを用いて、このカメラの位置を変えながらターゲットが投影されている対象物を撮影し、その結果を最後にまとめてターゲットの3次元位置を算出する。以下、この方法を単カメラ方式と呼ぶ。図2に、単カメラ方式による3次元計測処理のフローチャートを示す。以下、図2の処理フローについて説明する。
【0025】
レーザ投光器および自己発光スケールの設置が完了すると、オペレータは適切な位置(自己発光スケールおよび複数のターゲットが撮影可能な場所)にカメラを設置する。オペレータはカメラをその位置に固定し、これから格子状に複数本投影していく予定のレーザラインのうち、ただ一本だけを投影し、その様子を撮影する。続いて、先ほど投影していた一本のレーザラインは消し、別の一本のレーザラインを投影し、その様子を撮影する。これをレーザラインの本数分繰り返す。
あるカメラ位置で自己発光スケールと全てのレーザラインの画像を撮影したら、それらの画像から、ターゲット(レーザラインの交点、消失点、自己発光スケール)の画面上の2次元位置を算出する。
例として、図3に、2本のレーザラインの交点の位置を算出するイメージを示す。画像1に映っているレーザライン1と、画像2に映っているレーザライン2に対して画像処理を加え、レーザライン1と2の交点の、画像上の2次元位置を算出している。
【0026】
交点の2次元位置はサブピクセル精度で算出される必要があるため、単純な画像処理では抽出できない。このため、交点の近傍で各レーザラインの線分近似を行い、その直線式同士の交点を計算することで、サブピクセル精度の位置検出を行っている。
ここまでの処理で、あるカメラ位置における、ターゲットの2次元位置が算出される。続いて、カメラ位置を変更して、同様の撮影、処理を行う。これを、予定しているカメラ位置の数だけ繰り返す。
これにより、複数視点からのターゲットの2次元位置を抽出できたことになる。最後に、この複数の2次元位置データから、ターゲットの3次元位置を算出する。
【0027】
2.2 複カメラ方式による3次元計測
次に、本発明の第2の方法である、複カメラ方式の処理フローについて述べる。
複カメラ方式は、あらかじめ複数台のカメラをセットしておき、同時に撮影、処理を行う方式である。図4は4台のカメラで並列処理している様子を示している。図中の四角で囲われた部分が、1台のカメラが担当する処理である。
このように、複カメラ方式の処理内容は単カメラ式と同等であるが、計測時間を大幅に短縮することができる。
【0028】
3.ハードウェア仕様
3.1 レーザ投光機(スリット光照射装置12)
内部のLDレーザから射出されるシート光をガルバノメータスキャナミラーを介して目的の方向に投影するレーザ投光機(スリット光照射装置12)を新たに開発した。本装置のスペックを以下に示す。
(1)レーザ部
・レーザ:半導体レーザ(635nm、5mW未満)
・クラス:クラス3A
・照射光:扇形(5.5m先で、長さ6m、幅2mm程度)
(2)スキャナ部
・方式:温度制御付ガルバノメータ方式
・走査軸:独立走査XY軸
・走査角:±30°
このスリット光照射装置12を用いることで、レーザ切り替えの高速化、ターゲット数の増減が可能となる。本装置を用いて設定可能なレーザラインの交点の数の上限は、(32768×2)2=4.295×109点である。レーザ光の切り替え、ガルバノの向きのコントロールは、レーザ投光機とRS232C接続された計算機のソフトウェア側からコントロールできる。
【0029】
3.2 自己発光式基準スケール18
ターゲットの画像上の2次元位置から3次元位置を算出する際に、寸法基準となるものとして、従来は、オリエントバーと呼ばれるスケールを用いていた。また方眼紙に反射ターゲットを貼り付けたものをオリエントバーの代用品とした。しかし、これらの形式では、熱や風で寸法にゆがみが発生する可能性があった。また、このオリエントバーのターゲットを撮影するために、フラッシュ光を照射する必要があり、レーザラインを撮影するときとの統合が取れない問題があった。
そこで、フラッシュ光を照射しなくとも正確にターゲット位置を取れるような、自己発光式基準スケール18(以下、自己発光スケール)を開発した。
本装置のスペックを以下に示す。
(1)光源部スペック
・ランプ:小型クリプトンランプ
・発光色:可視光域
・光学系:前面に樹脂拡散板
(2)全体スペック
・十字架型サイズ:W400×D58×H550mm
・直線型サイズ:W1000×D58×H50mm
【0030】
3.3 画像入力装置
画像入力装置として、Kodak社の1眼レフデジタルカメラDCS760を選択した。DCS760の仕様は以下の通り。
(1)撮像素子:27.6×18.4mmCCD、600万画素
(2)画質モード:Lossless圧縮TIFF、非圧縮TIFF
(3)インタフェース:IEEE1394、PCMCIAType II ×2
市販のデジタルカメラを使用することで、システムを安価に作成できる。また、インタフェースにIEEE1394を持っており、高速な画像取り込みが可能となる。
【0031】
4.ソフトウェア仕様
4.1 ターゲット2次元位置算出フロー
本発明の方法では、あるカメラ位置から、自己発光スケール18のみが発光している画像と、レーザライン(スリット光2、3)のうち1本だけが投光されている画像を撮影する。これらの画像を組み合わせて、ターゲット(自己発光スケール18、レーザラインの交点5、消失点6)の画像上の位置を、サブピクセル精度で算出する。
作成したプログラムでは、縦5本、横5本のレーザラインを対象物に投影し、撮影した画像を対象に処理を行った。
【0032】
その処理フローを図5に示す。以下、図5の処理の各項目の内容を説明する。
(1)画像処理パラメータの設定
ターゲットの位置算出には、画像をある閾値で2値化したり、ある面積以下の領域を除去したりする必要がある。これらの値はパラメータとしてユーザが設定できるようにしておく。
(2)画像ファイルのパスのセット
12枚の画像ファイルが保存されているパスを設定する。
(3)縮小画像の作成
今回のシステムで対象とする画像は、600万画素の非圧縮TIFFファイルであり、そのまま画像処理を加えるのは、処理時間的にもメモリ的にも問題が多い。そこで、いったん画像サイズを縦横1/4ずつ(データサイズ1/16)に縮小してから、画像処理を行うこととする。
【0033】
(4)大まかな自己発光スケールの位置算出
縮小した画像に対して、2値化、ノイズ除去を加え、自己発光スケール領域を抽出する。さらに、抽出した領域に加重平均処理を加え、領域ごとの中心位置を算出する。この位置を、自己発光ターゲットの大まかな位置としてリストに加える。
(5)大まかなレーザライン消失点の位置算出
縮小した画像に対して、2値化、ノイズ除去、細線化処理を加え、細線の端点(周囲8近傍に有効画素が1つしかない点)を抽出する。この点の位置を、レーザラインの消失点の大まかな位置としてリストに加える。
(6)大まかなレーザライン交点の位置算出
縮小した画像に対して、2値化、ノイズ除去を加え、さらに、2つの縮小画像(例えば、横線の縮小画像と縦線の縮小画像)のANDをとり、交点領域を抽出する。抽出した領域に加重平均処理を加え、領域の中心位置を算出する。この位置を、レーザライン同士の交点の大まかな位置としてリストに加える。
【0034】
(7)詳細な自己発光スケールの位置算出
大まかな自己発光スケールの位置を中心に、スケール画像の一部(例えば32×32Pixel)を切り出す。このエリア内で、ノイズ成分を除去し、加重平均を加えることで、自己発光スケールの詳細な位置を算出する。
(8)詳細なレーザラインの消失点の算出
大まかなレーザライン消失点の位置を中心に、レーザラインが写った600万画素TIFF画像の一部(ここでは32×32Pixel)を切り出す。このエリア内で、ノイズ成分を除去し、領域の端部を抽出することで、レーザラインの消失点の詳細な位置を算出する。ただし、自己発光スケールや交点位置とは異なり、算出精度はPixel精度にとどまる。
(9)詳細なレーザラインの交点の算出
大まかなレーザライン交点の位置を中心に、レーザラインが写った600万画素TIFF画像の一部(ここでは32×32Pixel)を切り出す。仮に横線画像と縦線画像の交点を算出する場合について考える。まず、横線画像から32×32Pixelを切り出す。このエリア内で、ノイズ成分を除去し、領域を細線化する。さらに、この細線の垂線方向に加重平均処理を加え、真の中心軸位置を捉えた点群を算出する。続いて、この点群に対する最小二乗直線を算出する。同様の処理を縦線画像にも加え、最小二乗直線を算出する。この2本の最小二乗直線の交点を、レーザラインの交点とする。
【0035】
4.2 レーザ投光機コントロールソフトウェア
本システムで使用するレーザ投光機(スリット光照射装置12)は、COMポートを介して計算機からコマンドを送ることにより操作することが可能である。検証試験にあたり、簡単なインタフェースを持つコントロールソフトを開発した。その機能を以下に示す。
(1)レーザのON/OFF:ダイアログのチェックボックスをクリックすることで、レーザラインを投光/消灯することができる。
(2)ガルバノメータの角度変更:ダイアログのラジオボタンをクリックすることで、あらかじめ設定した角度にガルバノメータを振ることができ、これによりレーザラインを投影する位置を変更することができる。
(3)ガルバノメータの連続運転:ダイアログのボタンを押すことにより、ガルバノメータを最大振幅で振りつづけることができる。
検証試験に用いたインタフェースをはレーザの位置をオペレータが手動で変えるようになっているが、カメラコントロール、画像処理との同期を取って、自動的にレーザの位置を変えるような処理を構築することも可能である。
【0036】
5.計測試験
5.1 試験環境
実験場の壁に対象物を立て、レーザを投影し、その様子をデジタルカメラで撮影することで、3次元計測に必要な画像を採取する。撮影試験時には、外光が入らないようにする必要がある。そのため、撮影作業は周囲が十分に暗くなってから実施する。
【0037】
5.2 データ採取
以下の手順で撮影を行い、画像データを採取する。
(1)撮影
カメラをある位置にセッティングし、レーザを10回(縦5回×横5回)投影し、それぞれを1枚ずつ、計10枚撮影する。さらに、レーザを投影せず、自己発光ターゲットを発光させた画像を1枚撮影する。よって、カメラ位置一箇所に対して11枚の画像を採取する。
(2)カメラ位置の移動
カメラ位置を次の位置に移動し、再度上記(1)を実施する。これを、全てのカメラ位置で繰り返す。
ターゲット投影の様子を、図6に示す。この図は、レーザラインを投影した画像10枚、自己発光ターゲットを発光させた画像1枚、さらに照明下で撮影した背景画像1枚を合成したものである。また、レーザ光の輝度はソフト的に強調している。
カメラ位置は、壁面から6m離れた、図7に示す20箇所とした。
撮影枚数は、全カメラ位置で撮影すると、20(箇所)×11(枚)=220枚となる。
撮影時間は、1枚撮影するのに必要な時間を30秒とすると、全カメラ位置で撮影するのに220×30=6600(秒)=約2時間となる。
画像データ量は、全カメラ位置で撮影すると、1枚約6MBなので、6(MB)×220(枚)=1320で、約1.3GBとなる
また、同じ曲がり板を対象に、従来法(ターゲット貼り付け式3次元計測)による計測も実施した。レーザの格子の交点位置、消失点位置にターゲットを貼り付け、その3次元位置を計測した。従来法では、カメラ位置60箇所から撮影を行った。また、ターゲット投影式3次元計測の精度の比較対照として、従来法でカメラ位置20箇所から撮影を行った。
【0038】
以上、計測試験では、以下の3つのパターンで計測を行った。
(1)カメラ位置60箇所から撮影した画像にもとづく、従来法(ターゲット貼付式)の結果
(2)カメラ位置20箇所から撮影した画像にもとづく、従来法(ターゲット貼付式)の結果
(3)カメラ位置60箇所から撮影した画像にもとづく、ターゲット投影式3次元計測の結果
以下、上記(1)をターゲットの空間座標真値とする。この空間座標真値に対して、(2)および(3)の誤差を比較、検討した。
【0039】
6.開発結果
6.1 精度検証
(1)交点ターゲットの精度
まず、本手法における、レーザラインの交点(以下、交点ターゲット)の3次元位置算出精度を検証した。
空間座標真値とは、従来法にて曲がり板の周囲60方向から採取した画像に基づき算出された、交点ターゲットの3次元座標である。この座標を正として、従来法およびターゲット投影式の精度を検討する。
従来法の20方向画像解析誤差と、ターゲット投影式の20方向画像解析誤差を比較すると、ほぼ同程度の計測精度を有していることが分かる。また、空間座標真値に対して誤差量はほぼ±1.0mm以内、標準偏差は0.5mm程度であり、要求精度±1.0mmを満たしているといえる。
また、観察方向を6方向に減らして、交点ターゲットの3次元座標を算出し、真値との誤差を算出した。6方向画像解析誤差を見ると、予想したほどの精度の悪化は見られず、空間座標真値に対して誤差量はほぼ±1.0mm以内、標準偏差は0.5mm程度であり、要求精度を満たしているといえる。
【0040】
(2)消失点ターゲットの精度
続いて、レーザラインの消失点(以下、消失点ターゲット)の3次元座標算出精度を検討した。
従来法よる消失点ターゲットの計測精度は、交点ターゲットの計測精度とほぼ同等である。これは、従来法においては交点も消失点も同じターゲットとして認識できるためである。一方、ターゲット投影式における消失点ターゲットの検出精度は、誤差の最小値が−8.14mm、最大値が2.71mm、標準偏差が1.5mm程度と、十分な精度が得られなかった。これは、カメラの位置によって、板厚などにより消失点自体がずれることがあることと、画像から消失点位置をサブピクセル精度で抽出するアルゴリズムが確定しておらず、抽出結果が真に消失点を捉えていないことがあるため、と考えられる。
現状では、レーザラインの消失点の計測精度は不十分であるが、計測対象物を絞り、画面上のどのような位置に消失点が出現するかをあらかじめ決めておくことで、精度の向上を図ることが可能である。
【0041】
(3)観察範囲の分割・統合における交点ターゲット精度
今回の試験で対象としている曲がり板のサイズは3.0m×2.5m程度であり、カメラの画角に十分収まるサイズである。ただし、将来的にインラインで運用することを想定すると、長さ20m程度の曲がり板の3次元計測を行うことが考えられる。このような場合、3次元計測の基準となる自己発光スケールが入るようにしながら撮影部位をずらしていき、最後に3次元位置の統合を行うことで、全体の3次元形状を算出することになる。図8に分割撮影のイメージを示す。
【0042】
このような観察範囲の分割・統合を行った場合、3次元位置精度はどのようになるか、簡単なテストを行った。このテストから空間座標真値に対して誤差量はほぼ±1.0mm以内、標準偏差は0.5mm程度であり、要求精度を満たしている。このことから、カメラの画角に納まりきらない巨大な構造物でも、重なり合う部分を作ってそこに計測基準スケールを配置することで、3次元形状を算出することが可能である。
【0043】
6.2 運用構想案
図9に、想定される運用構想図を示す。本システムの有効性は、船の設計データとの比較が可能な照射方向をどのようにするかが、重要な検討課題となると思われる。図9では、X方向のレーザシート光は、船の設計データ(輪切り方向)との比較を考慮し、等間隔で、水平面に直下方向に照射するイメージである。
【0044】
6.3 まとめ
本手法の計測精度は、レーザラインの交点に関しては従来法に比較して遜色ない。
レーザラインの消失点の計測精度は現状では不十分であるが、計測対象物を絞り、画面上のどのような位置に消失点が出現するかをあらかじめ決めておくことで、精度の向上を図ることが可能である。
計測時間は、画像の撮影に2時間程度、処理に2時間程度必要であったが、1箇所のカメラ位置における処理を自動化することで、現状の単カメラ方式でも50分程度まで処理時間を短縮することが可能と思われる。
また、複数のカメラを同時に使用する複カメラ方式を用いることで、ターゲット投影式3次元計測の処理時間は大幅に短縮できる。さらに試験の結果、カメラ台数は6台でも十分な精度が得られた。6台のカメラを使用するものとすると、処理時間は5分程度に短縮される。将来的な案としては、複カメラを組み込み、インラインで曲がり板の3次元形状を計測する、といった運用が考えられる。
【0045】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0046】
【発明の効果】
上述したように、本発明の3次元形状計測方法および装置は、数m角以上の巨大な対象物体の3次元形状を、短時間で精度良く計測することができる、等の優れた効果を有する。
【図面の簡単な説明】
【図1】本発明のターゲット投影式3次元形状計測装置の構成図である。
【図2】単カメラ方式による3次元計測処理のフローチャートである。
【図3】2本のレーザラインの交点の位置を算出するイメージ図である。
【図4】複カメラ方式による3次元計測処理のフローチャートである。
【図5】ターゲットの2次元位置算出のフローチャートである。
【図6】ターゲット投影の様子を示す図である。
【図7】カメラ位置を示す図である。
【図8】分割撮影のイメージ図である。
【図9】想定される運用構想図である。
【図10】従来の3次元位置計測装置の構成図である。
【図11】従来の別の3次元位置計測装置の構成図である。
【図12】従来の別の3次元位置計測装置の構成図である。
【符号の説明】
1 対象物、2、3 スリット光、
4 スリット光の投影位置、
5 交点、6 消失点、
10 ターゲット投影式3次元形状計測装置、
12 スリット光照射装置、
14 デジタルカメラ、
16 演算装置、
18 基準スケール、
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a target projection type three-dimensional shape measuring method and apparatus for accurately measuring a three-dimensional shape of a huge target object of several m square or more in a short time.
[0002]
[Prior art]
JP-A-3-131706, JP-A-5-26639, JP-A-2001-116526, etc. have already been proposed as means for measuring the three-dimensional shape of a huge target object of several m square or more.
[0003]
As shown in FIG. 10, a “three-dimensional position measurement device” disclosed in Japanese Patent Laid-Open No. 3-131706 has first and second imaging devices 52 and 53 that image an object 51. Is a device for measuring the three-dimensional position of an object based on two images obtained from the above. In addition, a slit light projector 55 that projects the slit light 54 toward the space including the object 51 is provided, and the depth of the slit image on the object surface is obtained based on the principle of triangulation, and binocular stereoscopic vision is obtained. Thus, the search range on the horizontal scanning line in the correspondence search is limited.
[0004]
In addition, as shown in FIG. 11, the “three-dimensional measurement method” disclosed in Japanese Patent Application Laid-Open No. 5-26639 is provided with reference point members 62 at least four places around the workpiece 61 or on the object to be measured. A reference bar 63 having a known distance is attached, and when calculating the position of the measurement point based on image data from two or more CCD cameras 64, first, the reference point member and reference bar 2 in the image data are calculated. The absolute position of two or more CCD cameras is calculated from the distance of the points, and then the position of the measurement point is calculated based on this data. Further, every time the image data changes, two or more CCD cameras are calculated. The absolute position of the CCD camera is recalculated.
[0005]
In addition, as shown in FIG. 12, the “three-dimensional shape measuring apparatus” disclosed in Japanese Patent Application Laid-Open No. 2001-116526 generates a pattern light composed of a plurality of regions whose intensity is modulated to three or more values based on a pattern code using a laser beam. Projecting means 71 for projecting onto an object, photographing means 72 for obtaining a pattern image by photographing light reflected from the object by the projection of the pattern light, and calculating distance information to the object based on the pattern code and the pattern image And calculating means 73.
[0006]
[Problems to be solved by the invention]
Conventional three-dimensional shape measuring means includes means for measuring a three-dimensional shape of an object by projecting a position detection target onto the object (for example, Japanese Patent Application Laid-Open No. 2001-116526), and a light cutting method using laser slit light (Japanese Patent Application Laid-Open No. Hei 3). -131706), means for attaching a reference bar (Japanese Patent Laid-Open No. 5-26639), means for calculating the projection position of the spot light by projecting the spot light and photographing from a plurality of viewpoints, and the like.
[0007]
However, the detection points are limited in the position detection of the reference bar and spot light. Further, when a position detection target is projected onto an object, it takes a long time to detect many points. Further, the light cutting method using laser slit light has a problem that the detection position cannot be strictly narrowed down and the accuracy is insufficient.
[0008]
The present invention has been developed to solve the above-described problems. That is, an object of the present invention is to provide a three-dimensional shape measurement method and apparatus capable of accurately measuring a three-dimensional shape of a huge target object of several m square or more in a short time.
[0009]
[Means for Solving the Problems]
  According to the present invention, two vertical and horizontal slit lights are sequentially applied to an object while changing positions.SeparatelyIrradiate the projection position of each slit lightOne unit from different positionsphotographAt the same time, a reference scale serving as a dimensional reference is attached to the object, the reference scale is imaged, and based on each image of the slit light taken, each intersection, vanishing point, and reference scale of the vertical and horizontal slit light are two-dimensional. The position is calculated for each of the different shooting positions, and the object is calculated from the obtained two-dimensional position data.A target projection type three-dimensional shape measuring method characterized by measuring a three-dimensional position is provided.
[0010]
  Further, according to the present invention, the vertical and horizontal slit lights are sequentially applied to the object while changing the position.SeparatelyThe slit light irradiation device to irradiate and the projection position of each slit light from different positionsIn one unitShootOne or moreA digital camera,A reference scale that is affixed to an object and serves as a dimensional reference, and the digital cameraTakenBased on each image of the slit light, the two-dimensional positions of the intersections, vanishing points and reference scales of the vertical and horizontal slit lights are calculated for each of the different photographing positions, and the object is obtained from the obtained two-dimensional position data.Calculate 3D positionArithmetic unitAnd a target projection type three-dimensional shape measuring apparatus.
[0011]
  According to the method and apparatus of the present invention described above, the slit light irradiating device applies the two vertical and horizontal slit lights to the object while sequentially changing the position.SeparatelyIrradiate and project the projection position of each slit light with a digital cameraOne unit from different positionsphotographAt the same time, a reference scale as a dimensional reference is affixed to the object, and this reference scale is imaged.Depending on the arithmetic unit,Based on each image of the captured slit light, the two-dimensional position of each intersection, vanishing point and reference scale of the vertical and horizontal slit light is calculated for each of the different photographing positions, and the object is obtained from the obtained two-dimensional position data. ofBy calculating the three-dimensional position, the three-dimensional shape of a huge target object of several m square or more can be accurately measured in a short time.
[0012]
According to a preferred embodiment of the present invention, a single digital camera (14) is used, and the projection position (4) of the slit light is photographed while changing the position of the camera.
With this method, it is possible to accurately measure the three-dimensional shape of a huge target object with a single digital camera (14).
[0013]
According to another preferred embodiment, a plurality of digital cameras (14) are used to photograph the slit light projection position (4) simultaneously from different positions. Further, the irradiation of the slit light (2, 3) and the photographing by the camera are synchronized.
This method can greatly reduce the measurement time.
[0014]
In addition, the projection position (4) of the slit light is extracted from the output of the digital camera (14), the noise component is removed, the region is thinned, and a weighted average process is performed in the perpendicular direction of the thin line to obtain the true center axis position Is calculated, and then a least-squares line for the point group is calculated.
By this method, the projection position (4) of the slit light can be obtained with high accuracy.
[0015]
  Also,The reference scale is a self-luminous type composed of a point light source and a diffusion plate located in front of the point light source.
[0016]
The slit light irradiation device (12) includes a semiconductor laser device that generates fan-shaped slit light and a scanner mirror that sequentially reflects the fan-shaped slit light to different positions.
With this configuration, it is possible to speed up the change of the projection position (4) of the slit light and to easily set a large number of projection positions (4).
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each figure, common portions are denoted by the same reference numerals, and redundant description is omitted.
[0018]
1. Overview
1.1 Background to development
There is a demand for a system that can easily capture the shape of parts of large structures such as ships and bridges on site. Therefore, a three-dimensional measurement technology that does not require sticking of a target was developed with the goal of conducting a measurement test on an actual structure (curved board) and evaluating its performance. By establishing this technology, it is possible to easily measure the three-dimensional shape of parts of a large structure, and it is possible to reduce assembly loss due to the occurrence of defective parts.
[0019]
1.2 Method
In the target projection type three-dimensional shape measurement of the present invention, first, a measurement object is irradiated with a lattice laser. Laser intersections and vanishing points correspond to conventional pasting targets. Subsequently, the measurement object is photographed from a plurality of viewpoints, and the positions of the laser intersections and vanishing points on the image are recognized by image processing. Finally, a three-dimensional model of the object is created by processing the image. FIG. 1 shows a configuration of a target projection type three-dimensional shape measuring apparatus of the present invention.
Advantages of the three-dimensional shape measurement of the present invention include that the target position can be easily changed, and that the number of targets can be increased or decreased. Moreover, since it is not necessary to contact an object, measurement can be performed in a short time. In addition, when measuring the shape of a part that cannot be reached, it is not necessary to assemble a scaffold for attaching the target, and the working time can be reduced.
[0020]
1.3 Apparatus
The target projection type three-dimensional shape measuring apparatus 10 of the present invention includes the following devices.
(1) Slit light irradiation device 12: a laser projector that projects lattice-shaped laser light onto an object.
(2) Digital camera 14: 6 million pixel digital camera as an image input device.
(3) Arithmetic device 16: An A4 notebook PC (CPU: 500 MHz) was adopted as the image processing device.
(4) Reference scale 18: A self-luminous scale serving as a reference for three-dimensional measurement.
[0021]
1.4 Measurement test
A bent board for hulls (about 3m x 2.5m) was used as the object 1, and a pole was installed vertically at a distance of about 5m from the bent board 1, and a camera was attached to this pole. The camera was moved on the pole, and the pole was moved to shoot from all 20 camera positions.
[0022]
1.5 Measurement test results
In order to evaluate the accuracy of the target projection type three-dimensional measurement of the present invention, a comparison was made with the measurement result by the conventional method (target sticking type).
As a result, it was concluded that the measurement accuracy of the three-dimensional position of the laser intersection is within an error of ± 1.0 mm and the standard deviation of the error is about 0.5 mm, which is almost the same as the conventional method. The required accuracy is about ± 1.0 mm, which seems to be sufficient. Moreover, sufficient accuracy could be obtained even if the number of shooting locations was reduced from 20 to about 6.
[0023]
1.6 Conclusion
The measurement accuracy of the target projection type three-dimensional measurement of the present invention is comparable to the conventional method with respect to the intersection of the laser lines.
The measurement time was about 2 hours for image capture and about 2 hours for processing. By automating the processing at one camera position, the processing time was reduced to about 50 minutes even with the current single camera system. It becomes possible to do.
In addition, by using a multiple camera system that uses a plurality of cameras at the same time, the processing time of the target projection type three-dimensional measurement can be greatly shortened. If six cameras are used, the processing time is about 5 minutes.
[0024]
2. Operation procedure
2.1 3D measurement by single camera method
In the first method of the present invention, the object on which the target is projected is photographed using one camera while changing the position of the camera, and the result is finally collected to calculate the three-dimensional position of the target. To do. Hereinafter, this method is referred to as a single camera method. FIG. 2 shows a flowchart of a three-dimensional measurement process using a single camera method. Hereinafter, the processing flow of FIG. 2 will be described.
[0025]
When the installation of the laser projector and the self-emitting scale is completed, the operator installs the camera at an appropriate position (a place where the self-emitting scale and a plurality of targets can be photographed). The operator fixes the camera at that position, projects only one of the laser lines scheduled to be projected in a grid, and shoots the situation. Subsequently, the one laser line projected earlier is erased, another laser line is projected, and the state is photographed. This is repeated for the number of laser lines.
When images of the self-emission scale and all the laser lines are taken at a certain camera position, the two-dimensional position on the screen of the target (intersection of laser lines, vanishing point, self-emission scale) is calculated from these images.
As an example, FIG. 3 shows an image for calculating the position of the intersection of two laser lines. Image processing is applied to the laser line 1 shown in the image 1 and the laser line 2 shown in the image 2, and the two-dimensional position on the image of the intersection of the laser lines 1 and 2 is calculated.
[0026]
Since the two-dimensional position of the intersection needs to be calculated with sub-pixel accuracy, it cannot be extracted by simple image processing. For this reason, the line segment approximation of each laser line is performed in the vicinity of the intersection, and the intersection of the linear equations is calculated to detect the position with sub-pixel accuracy.
Through the processing so far, the two-dimensional position of the target at a certain camera position is calculated. Subsequently, the camera position is changed, and the same shooting and processing are performed. This is repeated for the number of scheduled camera positions.
Thereby, the two-dimensional position of the target from a plurality of viewpoints can be extracted. Finally, the three-dimensional position of the target is calculated from the plurality of two-dimensional position data.
[0027]
2.2 Three-dimensional measurement by the double camera method
Next, the processing flow of the multi-camera system, which is the second method of the present invention, will be described.
The multi-camera method is a method in which a plurality of cameras are set in advance, and photographing and processing are performed simultaneously. FIG. 4 shows a state in which parallel processing is performed by four cameras. A portion surrounded by a square in the figure is a process in charge of one camera.
As described above, the processing content of the double camera method is the same as that of the single camera method, but the measurement time can be greatly shortened.
[0028]
3. Hardware specifications
3.1 Laser projector (slit light irradiation device 12)
We have newly developed a laser projector (slit light irradiation device 12) that projects sheet light emitted from an internal LD laser in a target direction through a galvanometer scanner mirror. The specifications of this device are shown below.
(1) Laser unit
・ Laser: Semiconductor laser (635 nm, less than 5 mW)
・ Class: Class 3A
・ Irradiated light: Fan shape (5.5m ahead, length 6m, width 2mm)
(2) Scanner section
・ Method: Galvanometer method with temperature control
・ Scanning axis: Independent scanning XY axis
・ Scanning angle: ± 30 °
By using this slit light irradiation device 12, it is possible to increase the speed of laser switching and increase / decrease the number of targets. The upper limit of the number of laser line intersections that can be set using this apparatus is (32768 × 2) 2 = 4.295 × 109 points. Laser light switching and galvano direction control can be controlled from the software side of the computer connected to the laser projector and RS232C.
[0029]
3.2 Self-luminous reference scale 18
Conventionally, a scale called an orientation bar has been used as a dimensional reference when calculating a three-dimensional position from a two-dimensional position on a target image. Also, a paste of reflective targets on graph paper was used as a substitute for Orient Bar. However, in these types, there is a possibility that the dimensions are distorted by heat or wind. In addition, in order to photograph the target of this orientation bar, it is necessary to irradiate flash light, and there is a problem that it cannot be integrated with the photographing of the laser line.
Therefore, a self-luminous reference scale 18 (hereinafter referred to as a self-luminous scale) has been developed so that the target position can be accurately obtained without irradiating flash light.
The specifications of this device are shown below.
(1) Light source specifications
・ Lamp: Small krypton lamp
・ Luminescent color: Visible light range
・ Optical system: Resin diffuser on the front
(2) Overall specifications
・ Cross shape size: W400 × D58 × H550mm
・ Linear size: W1000 × D58 × H50mm
[0030]
3.3 Image input device
The single-lens reflex digital camera DCS760 of Kodak was selected as the image input device. The specifications of DCS760 are as follows.
(1) Image sensor: 27.6 × 18.4 mm CCD, 6 million pixels
(2) Image quality mode: Lossless compression TIFF, non-compression TIFF
(3) Interface: IEEE1394, PCMCIAType II × 2
By using a commercially available digital camera, the system can be created at low cost. In addition, the interface has IEEE1394, and high-speed image capture is possible.
[0031]
4). Software specifications
4.1 Target 2D position calculation flow
In the method of the present invention, an image in which only the self-emission scale 18 emits light and an image in which only one of the laser lines (slit lights 2 and 3) is projected are taken from a certain camera position. By combining these images, the position of the target (self-emission scale 18, laser line intersection 5, vanishing point 6) on the image is calculated with subpixel accuracy.
In the created program, 5 vertical laser lines and 5 horizontal laser lines were projected onto the object, and the captured image was processed.
[0032]
The processing flow is shown in FIG. Hereinafter, the contents of each item in the processing of FIG. 5 will be described.
(1) Setting image processing parameters
In calculating the position of the target, it is necessary to binarize the image with a certain threshold value or to remove a region having a certain area or less. These values can be set by the user as parameters.
(2) Set image file path
Sets the path where 12 image files are stored.
(3) Creation of reduced image
The target image in this system is a 6 million pixel uncompressed TIFF file, and applying image processing as it is has many problems in terms of processing time and memory. In view of this, image processing is performed after the image size is once reduced to 1/4 in the vertical and horizontal directions (data size 1/16).
[0033]
(4) Rough self-emission scale position calculation
Binarization and noise removal are added to the reduced image, and a self-luminous scale region is extracted. Further, a weighted average process is applied to the extracted area to calculate the center position for each area. This position is added to the list as a rough position of the self-luminous target.
(5) Rough laser line vanishing point position calculation
Binarization, noise removal, and thinning processing are performed on the reduced image to extract the end points of the thin lines (points having only one effective pixel in the vicinity of the surrounding 8). The position of this point is added to the list as a rough position of the vanishing point of the laser line.
(6) Rough laser line intersection position calculation
Binarization and noise removal are added to the reduced image, and two intersection images (for example, a horizontal line reduction image and a vertical line reduction image) are ANDed to extract an intersection area. A weighted average process is added to the extracted area to calculate the center position of the area. This position is added to the list as a rough position of the intersection of the laser lines.
[0034]
(7) Detailed self-luminous scale position calculation
A part of the scale image (for example, 32 × 32 Pixel) is cut out around the position of the rough self-luminous scale. Within this area, noise components are removed and a weighted average is added to calculate the detailed position of the self-luminous scale.
(8) Detailed calculation of vanishing point of laser line
A part (32 × 32 Pixel in this case) of the 6 million pixel TIFF image showing the laser line is cut out with the position of the rough laser line vanishing point as the center. In this area, the noise component is removed and the end of the region is extracted, thereby calculating the detailed position of the vanishing point of the laser line. However, unlike the self-luminous scale and the intersection point position, the calculation accuracy is limited to Pixel accuracy.
(9) Detailed intersection calculation of laser lines
A part (32 × 32 Pixel in this case) of the 6 million pixel TIFF image in which the laser line is reflected is cut out around the position of the rough laser line intersection. Consider a case where the intersection of a horizontal line image and a vertical line image is calculated. First, a 32 × 32 pixel is cut out from the horizontal line image. Within this area, noise components are removed and the area is thinned. Further, a weighted average process is performed in the perpendicular direction of the thin line to calculate a point group that captures the true center axis position. Subsequently, a least square line for the point group is calculated. A similar process is applied to the vertical line image to calculate a least square line. Let the intersection of these two least square lines be the intersection of the laser lines.
[0035]
4.2 Laser projector control software
The laser projector (slit light irradiation device 12) used in this system can be operated by sending a command from the computer via the COM port. For the verification test, we developed control software with a simple interface. Its functions are shown below.
(1) Laser ON / OFF: The laser line can be projected / turned off by clicking a check box in the dialog.
(2) Angle change of galvanometer: By clicking a radio button in the dialog, the galvanometer can be shaken to a preset angle, and thereby the position to project the laser line can be changed.
(3) Continuous operation of the galvanometer: By pressing a button in the dialog, the galvanometer can be continuously swung with the maximum amplitude.
The interface used for the verification test is designed so that the operator can manually change the laser position, but the process of automatically changing the laser position is constructed in synchronization with camera control and image processing. It is also possible.
[0036]
5). Measurement test
5.1 Test environment
An object necessary for three-dimensional measurement is collected by placing an object on the wall of the experimental site, projecting a laser, and photographing the situation with a digital camera. It is necessary to prevent external light from entering during the shooting test. Therefore, the photographing work is performed after the surroundings are sufficiently dark.
[0037]
5.2 Data collection
Take a picture with the following procedure and collect the image data.
(1) Shooting
The camera is set at a certain position, the laser is projected 10 times (5 times vertical x 5 times horizontal), and each of them is photographed one by one for a total of 10 images. Furthermore, a single image is emitted by emitting light from the self-luminous target without projecting the laser. Therefore, 11 images are collected for one camera position.
(2) Moving the camera position
The camera position is moved to the next position, and the above (1) is performed again. This is repeated for all camera positions.
The state of target projection is shown in FIG. This figure is a composite of 10 images projected with a laser line, 1 image emitting a self-luminous target, and 1 background image taken under illumination. Further, the brightness of the laser light is emphasized by software.
The camera positions were 20 locations shown in FIG.
The number of shots is 20 (locations) × 11 (sheets) = 220 when shooting at all camera positions.
Assuming that the time required for shooting one image is 30 seconds, 220 × 30 = 6600 (seconds) = about 2 hours for shooting at all camera positions.
Since the amount of image data is about 6 MB when shooting at all camera positions, 6 (MB) × 220 (sheets) = 1320, which is about 1.3 GB.
Moreover, the measurement by the conventional method (target sticking type | formula three-dimensional measurement) was also implemented for the same bent board. A target was attached to the intersection position and vanishing point position of the laser lattice, and the three-dimensional position was measured. In the conventional method, photographing was performed from 60 camera positions. Further, as a comparative control of the accuracy of the target projection type three-dimensional measurement, images were taken from 20 camera positions by a conventional method.
[0038]
As described above, in the measurement test, measurement was performed with the following three patterns.
(1) Results of the conventional method (target sticking type) based on images taken from 60 camera positions
(2) Results of the conventional method (target sticking type) based on images taken from 20 camera positions
(3) Results of target projection type 3D measurement based on images taken from 60 camera positions
Hereinafter, the above (1) is the true value of the spatial coordinates of the target. The errors of (2) and (3) were compared and examined with respect to the true value of the spatial coordinates.
[0039]
6). Development results
6.1 Accuracy verification
(1) Intersection target accuracy
First, the accuracy of calculating the three-dimensional position of an intersection of laser lines (hereinafter referred to as an intersection target) in this method was verified.
The true value of the spatial coordinates is the three-dimensional coordinates of the intersection target calculated based on the image collected from the 60 directions around the bent plate by the conventional method. With this coordinate as positive, the accuracy of the conventional method and the target projection type will be examined.
Comparing the 20-direction image analysis error of the conventional method and the 20-direction image analysis error of the target projection type, it can be seen that the measurement accuracy is almost the same. Further, the error amount with respect to the true value of the spatial coordinates is approximately within ± 1.0 mm, the standard deviation is approximately 0.5 mm, and it can be said that the required accuracy of ± 1.0 mm is satisfied.
Moreover, the observation direction was reduced to six directions, the three-dimensional coordinates of the intersection target were calculated, and the error from the true value was calculated. Looking at the 6-direction image analysis error, the accuracy is not degraded as expected, the error amount is within ± 1.0 mm with respect to the true value of the spatial coordinates, and the standard deviation is about 0.5 mm. It can be said that
[0040]
(2) Vanishing point target accuracy
Subsequently, the accuracy of calculating the three-dimensional coordinates of the vanishing point of the laser line (hereinafter, vanishing point target) was examined.
The measurement accuracy of the vanishing point target according to the conventional method is almost equal to the measurement accuracy of the intersection target. This is because the intersection point and the vanishing point can be recognized as the same target in the conventional method. On the other hand, the detection accuracy of the vanishing point target in the target projection type was not sufficiently accurate, with a minimum error value of −8.14 mm, a maximum value of 2.71 mm, and a standard deviation of about 1.5 mm. This is because the vanishing point itself may shift due to the thickness of the camera depending on the position of the camera, and the algorithm for extracting the vanishing point position from the image with subpixel accuracy has not been established, and the extraction result is truly a vanishing point. This is thought to be because it sometimes does not capture
At present, the measurement accuracy of the vanishing point of the laser line is insufficient, but the accuracy can be improved by narrowing down the measurement object and determining in advance where the vanishing point will appear on the screen. It is possible to plan.
[0041]
(3) Intersection target accuracy in dividing and integrating observation ranges
The size of the bent plate that is the subject of this test is about 3.0 m × 2.5 m, which is enough to fit in the angle of view of the camera. However, assuming that it will be operated inline in the future, it is conceivable to perform three-dimensional measurement of a bent plate having a length of about 20 m. In such a case, the entire three-dimensional shape is calculated by shifting the imaging region while keeping the self-luminous scale serving as a reference for three-dimensional measurement and finally integrating the three-dimensional positions. . FIG. 8 shows an image of divided shooting.
[0042]
When such observation range was divided and integrated, a simple test was performed to see what the 3D position accuracy would be. From this test, the error amount with respect to the true value of the spatial coordinates is within ± 1.0 mm, and the standard deviation is about 0.5 mm, which satisfies the required accuracy. For this reason, even for a huge structure that cannot fit within the angle of view of the camera, it is possible to calculate a three-dimensional shape by creating an overlapping portion and placing a measurement reference scale there.
[0043]
6.2 Operation plan
FIG. 9 shows an assumed operation concept diagram. The effectiveness of this system is considered to be an important issue to consider how the irradiation direction can be compared with the design data of the ship. In FIG. 9, the laser sheet light in the X direction is an image of irradiating a horizontal plane in a downward direction at equal intervals in consideration of comparison with ship design data (ring cutting direction).
[0044]
6.3 Summary
The measurement accuracy of this method is comparable to the conventional method with respect to the intersection of laser lines.
Although the measurement accuracy of the vanishing point of the laser line is insufficient at present, the accuracy is improved by narrowing down the measurement target and determining in advance where the vanishing point will appear on the screen. It is possible.
The measurement time was about 2 hours for image capture and about 2 hours for processing. By automating the processing at one camera position, the processing time was reduced to about 50 minutes even with the current single camera system. It seems possible to do.
In addition, by using a multiple camera system that uses a plurality of cameras at the same time, the processing time of the target projection type three-dimensional measurement can be greatly shortened. Furthermore, as a result of the test, sufficient accuracy was obtained even with six cameras. If six cameras are used, the processing time is reduced to about 5 minutes. As a future plan, it is possible to incorporate multiple cameras and measure the three-dimensional shape of the bent plate in-line.
[0045]
In addition, this invention is not limited to embodiment mentioned above, Of course, it can change variously in the range which does not deviate from the summary of this invention.
[0046]
【The invention's effect】
As described above, the three-dimensional shape measurement method and apparatus of the present invention have excellent effects such as being able to accurately measure the three-dimensional shape of a huge target object of several m square or more in a short time. .
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a target projection type three-dimensional shape measuring apparatus of the present invention.
FIG. 2 is a flowchart of a three-dimensional measurement process using a single camera method.
FIG. 3 is an image diagram for calculating a position of an intersection of two laser lines.
FIG. 4 is a flowchart of a three-dimensional measurement process using a multiple camera method.
FIG. 5 is a flowchart for calculating a two-dimensional position of a target.
FIG. 6 is a diagram showing a state of target projection.
FIG. 7 is a diagram illustrating a camera position.
FIG. 8 is an image diagram of divided shooting.
FIG. 9 is an assumed operation concept diagram.
FIG. 10 is a configuration diagram of a conventional three-dimensional position measurement apparatus.
FIG. 11 is a configuration diagram of another conventional three-dimensional position measurement apparatus.
FIG. 12 is a configuration diagram of another conventional three-dimensional position measurement apparatus.
[Explanation of symbols]
1 object, 2, 3 slit light,
4 Projection position of slit light,
5 intersections, 6 vanishing points,
10 target projection type 3D shape measuring device,
12 slit light irradiation device,
14 Digital camera,
16 arithmetic unit,
18 reference scale,

Claims (8)

縦横2本のスリット光を順次位置を変えながら対象物に別々に照射し、それぞれのスリット光の投影位置を異なる位置から一本単位で撮影するとともに、寸法基準となる基準スケールを対象物に貼付し、該基準スケールを撮像し、
撮影したスリット光の各画像に基づいて、縦横のスリット光の各交点、消失点及び基準スケールの2次元位置を異なる撮影位置の各々について演算し、
得られた複数の2次元位置データから対象物の3次元位置を計測する、ことを特徴とするターゲット投影式3次元形状計測方法。
Two vertical and horizontal slit lights are irradiated onto the object separately while changing the position sequentially, and the projection position of each slit light is photographed in one unit from different positions , and a reference scale serving as a dimensional reference is attached to the object. And imaging the reference scale,
Based on each image of the captured slit light, calculate the two-dimensional position of each intersection, vanishing point and reference scale of the vertical and horizontal slit light for each of the different shooting positions,
A target projection type three-dimensional shape measurement method, comprising: measuring a three-dimensional position of an object from a plurality of obtained two-dimensional position data .
単一のデジタルカメラを用い、該カメラの位置を変えながら、スリット光の投影位置を撮影する、ことを特徴とする請求項1に記載のターゲット投影式3次元形状計測方法。  The target projection type three-dimensional shape measurement method according to claim 1, wherein a single digital camera is used to photograph the projected position of the slit light while changing the position of the camera. 複数のデジタルカメラを用い、異なる位置から同時にスリット光の投影位置を撮影する、ことを特徴とする請求項1に記載のターゲット投影式3次元形状計測方法。  The target projection type three-dimensional shape measurement method according to claim 1, wherein a plurality of digital cameras are used to photograph the projection position of the slit light simultaneously from different positions. スリット光の照射とカメラによる撮影とを同期させる、ことを特徴とする請求項1に記載のターゲット投影式3次元形状計測方法。  The target projection type three-dimensional shape measuring method according to claim 1, wherein the irradiation of the slit light and the photographing by the camera are synchronized. デジタルカメラの出力からスリット光の投影位置を抽出し、ノイズ成分を除去し、領域を細線化し、該細線の垂線方向に加重平均処理を加え、真の中心軸位置を捉えた点群を算出し、次いで、この点群に対する最小二乗直線を算出する、ことを特徴とする請求項1に記載のターゲット投影式3次元形状計測方法。  The projection position of slit light is extracted from the output of the digital camera, the noise component is removed, the area is thinned, weighted averaging is performed in the perpendicular direction of the thin line, and a point cloud that captures the true central axis position is calculated. The target projection type three-dimensional shape measuring method according to claim 1, wherein a least square line for the point group is calculated. 前記基準スケールは、点光源とその前面に位置する拡散板とからなる自己発光式である、ことを特徴とする請求項1に記載のターゲット投影式3次元形状計測方法。 The reference scale is a self-luminous type composed of a diffusion plate positioned on the front and the point light source, the target projected three-dimensional shape measuring method according to claim 1, characterized in that. 縦横2本のスリット光を順次位置を変えながら対象物に別々に照射するスリット光照射装置と、
それぞれのスリット光の投影位置を異なる位置から一本単位で撮影する一つ又は複数のデジタルカメラと、
対象物に貼付され、寸法基準となる基準スケールと、
前記デジタルカメラで撮影したスリット光の各画像に基づいて、縦横のスリット光の各交点、消失点及び基準スケールの2次元位置を異なる撮影位置の各々について演算し、得られた複数の2次元位置データから対象物の3次元位置を演算する演算装置とを備えた、ことを特徴とするターゲット投影式3次元形状計測装置。
A slit light irradiating device that irradiates the object separately with two vertical and horizontal slit lights while sequentially changing the position;
One or a plurality of digital cameras that shoot each slit light projection position in a single unit from different positions;
A reference scale that is affixed to the object and serves as a dimensional reference,
Based on each image of slit light photographed by the digital camera, the two-dimensional positions of the intersections, vanishing points and reference scales of the vertical and horizontal slit lights are calculated for each of the different photographing positions, and a plurality of two-dimensional positions obtained A target projection type three-dimensional shape measuring apparatus comprising: an arithmetic unit that calculates a three-dimensional position of an object from data .
前記スリット光照射装置は、扇形のスリット光を発生する半導体レーザ装置と、扇形のスリット光を順次異なる位置に反射するスキャナミラーとからなる、ことを特徴とする請求項7に記載のターゲット投影式3次元形状計測装置。  The target projection type according to claim 7, wherein the slit light irradiation device includes a semiconductor laser device that generates a fan-shaped slit light and a scanner mirror that sequentially reflects the fan-shaped slit light to different positions. 3D shape measuring device.
JP2002241551A 2002-08-22 2002-08-22 Target projection type three-dimensional shape measuring method and apparatus Expired - Fee Related JP4218283B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002241551A JP4218283B2 (en) 2002-08-22 2002-08-22 Target projection type three-dimensional shape measuring method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002241551A JP4218283B2 (en) 2002-08-22 2002-08-22 Target projection type three-dimensional shape measuring method and apparatus

Publications (2)

Publication Number Publication Date
JP2004077410A JP2004077410A (en) 2004-03-11
JP4218283B2 true JP4218283B2 (en) 2009-02-04

Family

ID=32024000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002241551A Expired - Fee Related JP4218283B2 (en) 2002-08-22 2002-08-22 Target projection type three-dimensional shape measuring method and apparatus

Country Status (1)

Country Link
JP (1) JP4218283B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047943A (en) * 2012-12-31 2013-04-17 吉林大学 Method for detecting vehicle door outer plate shape and size based on single-projection encoding structured light

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616315B1 (en) 2004-07-22 2006-08-28 중앙대학교 산학협력단 Reconstruction Method Of Parametrized Model
KR101052514B1 (en) * 2008-10-09 2011-07-29 삼성중공업 주식회사 Non-contact measuring device
JP2012202732A (en) * 2011-03-24 2012-10-22 Dainippon Screen Mfg Co Ltd Three-dimensional position/attitude recognition apparatus, three-dimensional position/attitude recognition method and three-dimensional position/attitude recognition program
JP5633058B1 (en) * 2013-07-19 2014-12-03 株式会社三次元メディア 3D measuring apparatus and 3D measuring method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535561B2 (en) * 1987-09-19 1996-09-18 株式会社豊田中央研究所 Three-dimensional coordinate measuring device
JP2767340B2 (en) * 1991-12-26 1998-06-18 ファナック株式会社 3D position / posture measurement method for objects
JPH06109442A (en) * 1992-09-30 1994-04-19 Toshiba Corp Detection apparatus for three-dimensional position
JPH0755440A (en) * 1993-08-19 1995-03-03 Fuji Facom Corp Shape recognition system
JPH0886616A (en) * 1994-09-16 1996-04-02 Mitsubishi Heavy Ind Ltd Method and apparatus for measuring three-dimensional image
JPH1038533A (en) * 1996-04-22 1998-02-13 Toyo Tire & Rubber Co Ltd Instrument and method for measuring shape of tire
JPH10332373A (en) * 1997-05-29 1998-12-18 Taisei Corp Reflection target for distance measurement
JPH11125514A (en) * 1997-10-22 1999-05-11 Komatsu Ltd Bending angle detecting device
JP2000018921A (en) * 1998-07-06 2000-01-21 Hitachi Ltd Dimension measuring method and apparatus thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047943A (en) * 2012-12-31 2013-04-17 吉林大学 Method for detecting vehicle door outer plate shape and size based on single-projection encoding structured light
CN103047943B (en) * 2012-12-31 2016-04-06 吉林大学 Based on the door skin geomery detection method of single projection coded structured light

Also Published As

Publication number Publication date
JP2004077410A (en) 2004-03-11

Similar Documents

Publication Publication Date Title
EP0501683B1 (en) Technique for enhanced two-dimensional imaging
CN104335030B (en) The foreign matter detecting method of substrate
US20090297020A1 (en) Method and system for determining poses of semi-specular objects
KR101639227B1 (en) Three dimensional shape measurment apparatus
Zhang et al. A two-step method for extrinsic calibration between a sparse 3d lidar and a thermal camera
JP4872035B2 (en) Imaging apparatus, captured image distance measuring method, captured image distance measuring program, and recording medium
KR101659302B1 (en) Three-dimensional shape measurement apparatus
JP2003130621A (en) Method and system for measuring three-dimensional shape
JP2012215394A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
KR101624120B1 (en) System and method for illuminating pattern light of structured light for measuring 3d forming
JP2008241643A (en) Three-dimensional shape measuring device
JPH11166818A (en) Calibrating method and device for three-dimensional shape measuring device
CN112254680B (en) Multi freedom's intelligent vision 3D information acquisition equipment
JP2007093412A (en) Three-dimensional shape measuring device
KR102160340B1 (en) Method and apparatus for generating 3-dimensional data of moving object
JP4218283B2 (en) Target projection type three-dimensional shape measuring method and apparatus
JP2021135300A (en) Substrate measuring system and substrate measuring method
JP2011095131A (en) Image processing method
JP3597484B2 (en) Solder printing inspection equipment
TWI676781B (en) Three-dimensional scanning system
JP2002117403A (en) Image processor and image processing method
US7117047B1 (en) High accuracy inspection system and method for using same
KR102216999B1 (en) Non-Lambertian Surface Inspecting System For Line Scan
CN115082538A (en) System and method for three-dimensional reconstruction of surface of multi-view vision balance ring part based on line structure light projection
JPH10213423A (en) Device and method for measuring three-dimensional shape

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081103

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4218283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees