JPH05322531A - 物体の3次元形状測定装置 - Google Patents

物体の3次元形状測定装置

Info

Publication number
JPH05322531A
JPH05322531A JP4130538A JP13053892A JPH05322531A JP H05322531 A JPH05322531 A JP H05322531A JP 4130538 A JP4130538 A JP 4130538A JP 13053892 A JP13053892 A JP 13053892A JP H05322531 A JPH05322531 A JP H05322531A
Authority
JP
Japan
Prior art keywords
sensor
distance
spot light
measured
dimensional shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4130538A
Other languages
English (en)
Inventor
Toshio Fukuda
敏男 福田
Fumito Arai
史人 新井
Toshiyuki Ooka
俊之 大岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Airlines Co Ltd
Original Assignee
Japan Airlines Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Airlines Co Ltd filed Critical Japan Airlines Co Ltd
Priority to JP4130538A priority Critical patent/JPH05322531A/ja
Publication of JPH05322531A publication Critical patent/JPH05322531A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 LED距離センサーと、CCDカメラ等を用
いた視覚センサーを使用することにより、物体の3次元
形状の測定を精度高く行う。 【構成】 被測定対象物上に投影したスポット光像から
の反射光を受光して該スポット光像内の見掛け上の測定
点に対する距離Li を検出する光学式距離センサー、及
びこの光学式距離センサーが見掛け上の距離Li を検出
した測定点に対面する方向に対し直交した方向に距離Z
o だけ離間し、該光学式距離センサーが検出したスポッ
ト光像の重心位置と光学距離センサーとがなす角度θを
検出する視覚センサー、の二つの検出情報から、センサ
ーと測定点の間の実際の距離を算出し、センサー部を被
測定物に対して3次元的に移動走査して時系列的に検出
される距離情報に基づき、該被測定対象物の3次元的形
状を計測する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えば航空機部品、発
電機、金型、柔軟材等の3次元形状を有する部品の加
工、製造を行う際に利用できる、物体の3次元形状の計
測方法及び装置に関する。
【0002】
【従来の技術】従来、例えば航空機のエンジンや発電所
のタービンなどに使用されている部品は、複雑な3次元
形状をもっているため、その加工においては、従来熟練
工による手作業で仕上げられてきた。
【0003】その加工作業は、作業者の負担が大きいき
つい作業であり、また作業環境も悪く、危険を伴うもの
であるため、新規にその作業に従事しようとする労働者
が減少している。しかしそのような加工対象物は逆に増
加する傾向にあり、これらのことからこのような作業の
自動化が近時強く望まれている。
【0004】ところで、上記のような加工対象物は、加
工前の形状が個別に微妙に異なっている場合も多くター
ビンに使用されている部品等はその代表的なものの一つ
である。このため、決められた加工プログラムによって
の加工方法や、力センサーの出力等を解析して加工プラ
ンニングをたてる加工方法では、希望通りの最終形状を
得ることができず、加工前の3次元形状を計測して、加
工プランニングをたてる一種のフィードバック制御が必
要とされている。
【0005】また加工完了後の部品形状,品質を管理す
るためにも3次元形状の計測技術は有用である。
【0006】従来、物体の3次元形状を計測する方法と
しては、接触式プローブをもった3次元形状計測装置に
て実施される場合が多いが、計測に長時間を要すること
や、加工中は計測できないなどの理由から非接触式で3
次元形状を計測する方法の開発が望まれていた。
【0007】物体の3次元形状を非接触で計測する方法
としては、レーザービーム等のスポット光を発し測定対
象物からの反射光を測定することで対象物までの距離を
計測演算する距離センサー(LEDセンサー)、あるい
は渦電流を計測して対象物までの距離を計測する渦電流
式距離センサーを1台あるいは複数台配置して対象物の
表面を平面的にスキャニングすることで表面の1点1点
の距離を計測しその計測値を組み合わせて3次元形状を
作成する方法、CCDカメラ等の視覚センサーを一定間
隔をおいて2台並べ、三角測量の原理により対象物まで
の距離を計算して対象物の表面形状を計測する両眼視
法、1台の視覚センサーを連続的に移動させることで数
多くの画像を入力しその解析を行うことで表面形状を計
測するカメラ移動式の計測法、などがある。このうち後
二者はステレオ法と総称される。
【0008】カメラを用いる方法としては別に、測定対
象物に光を照射しその画像を解析するアクティブ・ステ
レオ法等がある。
【0009】
【発明が解決しようとする課題】しかし上記のような従
来法にはそれぞれ次ぎのような欠点がある。
【0010】まず、渦電流式距離センサー(以下単に
「センサー」という)を用いる方法では、その測定原理
からしてセンサーのセンシング可能な距離が短いために
測定しようとする対象物表面にセンサーを近接しなけれ
ばならず、表面の凹凸が大きい対象物については測定が
困難であるために対象が限定される。また対象物の表面
を平面的にスキャニングして計測しなければならない
が、このセンサーだけでは、対象物とセンサーの相対位
置関係が分からないため、対象物のどの位置をスキャニ
ングしているのかを認識できない。さらにはセンサーを
対象物の表面を平面的にスキャニングする必要から測定
時間が長くなるなどの問題がある。
【0011】またLED距離センサーを用いる方法では
測定対象物にスポット光を照射しその反射光を受光して
距離を計測するが、対象物表面の色や光沢の状態が部分
的に異なる場合に反射光にその影響が反映して測定誤差
が発生してしまう。また渦電流式距離センサーと同じ
く、スキャニングの際に対象物とセンサーとの相対位置
関係が分からないため、対象物のどの位置を測定してい
るのか認識できないことや、測定時間が長くなるなどの
問題がある。
【0012】カメラを使用するステレオ法においては、
対象物の中の明暗が急変している箇所(測定対象物のエ
ッジ)しか対応点を決定することができないので、模様
のない一様な表面を持った対象物に対しては適用するこ
とができないことや、同一点と認識される部分の認識精
度がシステム全体の測定精度を左右してしまうという問
題がある。
【0013】また上記アクティブ・ステレオ法について
は、多点を同一画像データから算出しなければならない
ため、膨大な演算処理が必要となり、大規模な計算装
置、および長時間の演算時間が必要となる。さらにカメ
ラのレンズの歪等の影響を受け、測定精度が低下すると
いう問題がある。
【0014】本発明は、上記のような物体の3次元形状
を測定する従来法の種々の問題点を解決でき、迅速にか
つ精度よく、3次元物体の形状を測定することができる
測定装置の提供を目的としてなされたものである。
【0015】
【課題を解決するための手段及び作用】本発明者は上記
の目的を達成するために上記特許請求の範囲の各請求項
に記載した発明を完成した。
【0016】本発明の特徴の一つは、被測定対象物上に
投影したスポット光像からの反射光を受光して該スポッ
ト光像内の見掛け上の測定点に対する距離Li を検出す
る光学式距離センサー、及びこの光学式距離センサーが
見掛け上の距離Li を検出した測定点に対面する方向に
対し直交した方向に距離Zo だけ離間配置されていて、
該光学式距離センサーが検出したスポット光像の重心位
置と光学距離センサーとがなす角度θを検出する例えば
CCD(チャージ・カップルド・デバイス)等の視覚セ
ンサー、の二つのセンサーを有するセンサー部と、上記
視覚センサーによる検出情報から、上記センサー部と測
定点の間の実際の距離を算出する演算手段と、上記セン
サー部を被測定物に対して3次元的に移動走査するセン
サー部移動手段とを備え、上記センサー部移動手段の走
査により時系列的に検出される距離情報に基づいて、該
被測定対象物の3次元的形状を計測することを特徴とす
る物体の3次元形状測定装置を提供するところにある。
なお以上の方法による装置を以下「3角法による3次元
形状測定装置」というものとする。
【0017】またこの測定装置において、光学式距離セ
ンサー及び視覚センサーからなるセンサー部を、二つの
スポット光像を被測定対象物上の離間した近接位置に投
影するように二組設けると共に、各視覚センサーで検出
される画像中の各スポット光像とこれを投影したセンサ
ー部の関係を対応付けする対応付け手段を設けること
で、スポット光像が一つしか検出されない場合に利用で
きる被測定対象物上の形状を計測する補助的情報を得る
ことができる。
【0018】また本発明の他の特徴の一つは、被測定対
象物上に投影したスポット光像からの反射光を受光して
該スポット光像に対する見掛け上の距離Li を検出する
光学式距離センサー、該光学式距離センサーが投影した
スポット光像の反射強度及び/又は対象物の表面色の情
報を検出する視覚センサー、の二つのセンサーを有する
センサー部と、この視覚センサーの検出した値を補正情
報として光学式距離センサーによって検出した上記測定
距離Li を補正する補正演算手段と上記センサー部を被
測定対象物に対して3次元的に移動走査するセンサー部
移動手段とを備え、上記センサー部の移動手段による走
査毎に時系列的に検出される算出距離の情報に基づい
て、該被測定対象物の3次元的形状を計測することを特
徴とする物体の3次元形状測定装置を提供するところに
ある。なお以上の方法による装置を以下「補正法による
3次元形状測定装置」というものとする。
【0019】また上記のセンサー部に用いる視覚センサ
を用いて検出した被測定対象物上の画像データに基づ
き、この画像データを構成する各画素の輝度を増幅し所
定の閾値と比較することにより、各画素の存在領域を領
域区画判別手段により2以上に区画判別し、この領域区
画の境界を被測定対象物上のエッジとして検出すること
ができる。
【0020】また本発明は、上記「3角法による3次元
形状測定装置」における演算手段と、「補正法による3
次元形状測定装置」における補正演算手段を有すると共
に、同一測定点に対する前者演算部からの検出距離情
報、及び後者補正演算手段からの検出距離情報を夫々入
力として、これら二つの検出距離情報の信頼性を比較す
る判定手段と、該判定手段により信頼性が高いと判定さ
れた入力を選択する選択手段とを設けることで、外乱や
被測定対象物体表面の状態による悪影響をより一層低減
させて物体の3次元形状測定装置を提供することができ
る。
【0021】なお以上の演算手段や補正演算手段、領域
区画判別手段、判定手段、選択手段等々は、例えばスポ
ット光像の重心位置と光学距離センサーとがなす角度θ
を検出する視覚センサーの検出情報から、上記センサー
部と測定点の間の実際の距離を算出する演算手段は、以
下において具体的に説明するように、あらかじめ定めら
れた値(例えば光学式距離センサーと視覚センサーの離
間距離ZO 等)と計測結果の値(光学式距離センサーが
検出したスポット光像の重心位置と光学距離センサーと
がなす角度θ等)を入力として三角測量法の原理を予め
プログラムしたコンピュータを用いて算出できるよう
に、既知のコンピュータ技術を用いて構成することがで
きる。
【0022】
【実施例】以下、本発明の物体の3次元測定装置の特徴
を図面に基づいて更に説明する。 実施例1(3角法による3次元形状測定装置) 本例は表面切削加工装置に適用された精密距離測定のた
めの3次元形状測定装置に関するセンサーを、図1〜図
5によって示すものであり、装置の基本的な構成概要は
図1に示した。
【0023】この図1の構成では、測定対象物1に対し
て異なる位置にスポット光7,8を照射し受光して一応
の距離を測定する2台のLEDセンサー2,3と、これ
らのスポット光を画像領域に含むように設置された2台
のCCDカメラ4,5(視覚センサー)と、これらのセ
ンサーとカメラの検出情報に基づいて、画像処理、測定
対象物とのX軸方向(LEDセンサーとスポット光を結
ぶ方向)の相対距離演算等を行なうコンピュータ6の組
合せから構成され、LEDセンサー,CCDカメラから
なる組合せセンサーは、図示しないマニピュレーターに
より測定対象物に対し所定の方向に走査される。なお本
例においては、図1の測定対象物1上のエッジ9で区画
されている片側の白の部分は切削加工後の領域10、反
対側のなし地模様の部分は切削加工前の領域11を示し
ている。
【0024】また、この図1の例では、Y軸回りの角度
を測定するためにLEDセンサーとCCDカメラの組合
せセンサーの二組を用いるようにしているが、Y軸まわ
りの角度が一定と考えられる場合においては、LEDセ
ンサー及びCCDカメラを1組のみとした組合せセンサ
ーを用いることができるので、以下の説明においては便
宜上組合せセンサーは一組として説明する。
【0025】上記においてLEDセンサー2の発光によ
り投影されたスポット光7は、コンピュータ6内の画像
処理部において、3次元距離測定および測定位置認識用
マーカとして利用される。このスポット光認識のアルゴ
リズムを図2に示す。すなわち、LEDセンサー2のス
ポット光無しの状態と有りの状態の夫々についてCCD
カメラ4で画像データを取り込み、その差によりスポッ
ト光7部分の情報を取出し、2値化した後、所定の広さ
をもつスポット光領域のみをラベリングしてノイズを除
去し、スポット光7を検出する。
【0026】この図2のアルゴリズムを使用すること
で、スポット光7の部分のみの認識ができる。
【0027】なおLEDセンサーの光が可視光線の場合
は、通常のCCDカメラ等の画像入力装置にて対応でき
るが、LEDセンサーの光に不可視光線を使用する場合
には例えばカメラにフィルター等を装備してセンサー光
を識別すればよい。
【0028】以上の図1の組合せセンサーを用いて行な
う距離測定時のLEDセンサー2、CCDカメラ4、及
びスポット光7の位置関係は、模式的に図3のように示
される。
【0029】すなわち、LEDセンサー2と測定対象物
のX方向の距離をLi 、LEDセンサー2のスポット光
7の重心位置をFXi ,CCDカメラ4の焦点距離をf
i 、CCDカメラ4の1ピクセルの1辺の大きさをdF
x,x方向の距離がLの場合のCCDカメラ4とスポ
ット光7のなす角度をθ0 、LEDセンサー2とCCD
カメラ4のZ方向距離をZ0 とすれば、以下の関係が成
立する。
【0030】 Li =Z0 ・tan(θ0 +θi ) (1) tan θi =dFx・FXi /fi (2) θi は、図5に示すように、CCDカメラ4の焦点距離
i と、該CCDカメラ4上でx方向の距離がLの場
合のスポット光像の重心位置からLEDセンサー2のス
ポット光7の重心位置までのピクセル数FX に基づ
いて得ることができる。
【0031】θ0 は、LEDセンサー2とCCDカメラ
4を組み合わせた場合に特定な値となり、事前に計測し
ておけば既知となるため、上記式(1),式(2)式を
計算することによってX方向の距離Li を求めることが
できる。
【0032】なおZ軸方向の相対距離Zi は、 Zi =Li /tan(θ0 +θi ) (3) により求められる。
【0033】上記の式(1),式(2)に基づく3角法
により、図1の組合せセンサーを用いて測定対象物との
相対距離Li を測定する処理フローを図6に示した。
【0034】以上によって時系列的に距離計測値を出力
することで、組合せセンサーを用いた3角法による精度
の高い測距,物体の形状測定が実現できる。
【0035】実施例2(補正法による3次元形状測定装
) 本発明はまた、図1の構成の組合せセンサーを用いるこ
とにより、上記の3角法とは異なる方法、すなわちLE
Dセンサーによって測定される距離情報の精度を向上さ
せる補正法の測定装置を構成することができる。
【0036】すなわち、LEDセンサー2は、測定原理
として、このセンサー自身が発生する光を測定対象物上
に投影しかつそのスポット光の対象物表面の反射光を受
光し、その反射光の光強度分布よりスポット光の重心位
置を検出して、測定対象物までの距離を測定するもので
ある。
【0037】したがって、測定対象物の表面の反射率
や、表面の色が変化した場合においては、その変化に起
因した測定値の誤差を発生することは避け難い。
【0038】このようにLEDセンサーは測定対象物の
表面の状態により測定値が影響を受けるが、表面の反射
率の変化や表面の色の変化が発生しているのか否かある
いはその変化等の影響がどの程度であるのか、を検知す
ることはそれ自体ではできない。
【0039】そこで、上記図1のLEDセンサーとCC
Dカメラを組合せた組合せセンサーにおいて、CCDカ
メラより得た測定情報に基づいて、測定対象物の表面の
反射光の光強度及び/又は表面の色を検出し、これによ
りLEDセンサーの測定誤差を推定してLEDセンサー
の計測値を補正して、該LEDセンサーによる測定距離
精度を向上させることができる。
【0040】以下これを具体的に説明すると、図1のL
EDセンサー2の計測値をLim、該LEDセンサー2の
補正値をdLi とすると、LEDセンサー2とCCDカ
メラ4の組合せセンサーによって得られる補正済距離測
定値Li は次式で表わされる。
【0041】 Li =Lim+dLi (4) dLi =Lim・f(α,β) (5) ここで、α:スポット光の強度レベル、β:測定対象物
の表面色、を示す。
【0042】このようなLEDセンサー出力の補正法を
実施するための処理フローの一例を図7に示す。
【0043】すなわち、先ずカメラにより画像データを
取り込み、その画像データによりLEDセンサーより発
せられるスポット光を認識して、スポット光の部分の領
域を確定し、その範囲内の光強度(明るさ)の平均値α
を計算する。
【0044】また同時に、後述する方法により、測定対
象物のエッジの部分を認識して、スポット光の領域の周
囲を一定の幅で取り囲み、スポット光の領域を除いた部
分で、しかも測定対象物のエッジにかからない領域を設
定し、その範囲内の色(明度)の平均値βを計算する。
【0045】次ぎにLEDセンサーの測定値を取り込ん
で、式(5)を計算し、これを式(4)に代入して測定
値を計算する。
【0046】以上によって、実施例1と同様の時系列的
な操作で、LEDセンサーによる測定値を補正して精度
の高い測距が実現できる。
【0047】実施例3(エッジの認識) 本例は、図1の組合せセンサーを用いて、CCDカメラ
で取り込んだ画像情報を画像処理することにより、測定
対象物の境界線を認識する例を説明する。境界線認識の
アルゴリズムを図8に示す。
【0048】すなわち、CCDカメラで取り込んだ画像
データのエッジ強調のためにコントラストを増幅し、次
に、予め定めた閾値と比較することで2値化した後、既
知のハフ変換を行ってエッジ検出を行う。スポット光が
所定の領域内にあるか否かの判別が必要な場合には、検
出したエッジの情報との比較を行うようにすればよい。
【0049】このアルゴリズムをコンピューターに予め
設定したプログラムに従って実行させることにより、対
象物の境界線(エッジ部分)を認識して、エッジ部分と
スポット光の相対位置を計測し、このセンサーシステム
が対象物のどの位置を計測しているのかを認識すること
が可能となり、従来の渦電流センサーやLEDセンサー
を単体で使用した場合のような測定対象物の表面を本当
に計測できているのか、あるいは計測位置が不明である
というような事態の発生を避けることができる。
【0050】実施例4(実施例2の応用) 上記の実施例1〜3については、ニューラルネットワー
クの機能を付加することによりこれらのシステムの機能
を向上することができる。
【0051】例えば、スポット光認識のプログラムにこ
のニューラルネットワーク機能を適用し、LEDセンサ
ーを2台使用して測定している場合においては、対象物
に2つのスポット光の重心位置が計測されれば、どのス
ポット光がどのLEDセンサーのものなのかは容易に判
別することができる。
【0052】しかし計測できたスポット光が1点の場合
には、測定対象物との距離や相対位置、対象物表面の
色、反射率等さまざまな要因を検討せねばならず、どの
LEDセンサーに対応するのかを判別するのが困難とな
る。
【0053】そのためニューラルネットワ―クを適用
し、学習により入力間の相互関係モデルを構成させれ
ば、どのLEDセンサーに対応するのかを容易に判別す
ることができる。
【0054】またCCDカメラのレンズの歪みの補償
や、スポット光が画像フレームの端部にかかった場合に
発生するスポット光の欠けの補償に、このニューラルネ
ットワークを適用することも可能である。
【0055】またコンピュータのプログラムに、ファジ
ィ推論機能を付加することにより、LEDセンサーより
の出力・CCDカメラよりの計測値等を統合して、安定
した測定システムを構築することが可能となる。
【0056】例えば、各センサーの測定精度に影響を与
える因子(CCDカメラにて観測されるスポット光の反
射強度、スポット光の縦横比、センサーの移動量)を入
力とするファジィ推論を用いて、最も正確なセンサー出
力を選択、あるいは出力の統合を行なうことが可能であ
る。
【0057】以上の具体的な例を以下説明すると、図1
の組合せセンサーを固定し、測定対象物(金属片)をX
−Zテーブル上に取付けて該測定対象物をX方向に移動
させ、LEDセンサーの測定値と、その補正済測定値と
を比較した。なおX−Zテーブルの位置精度は10μm
とした。またLEDセンサーの補正計算には、ファジイ
推論を適用した。
【0058】
【数1】
【0059】以上の条件で、いま4種類の測定対象物の
色(黒,ダーク・グレー,ライト・グレー,白)につい
て測定試験を行ない、トータルの測定誤差がなるべく小
さくなるように、式(5)のα,βのメンバーシップ関
数を設定した。
【0060】測定対象物の色をダーク・グレーとして、
再度測定対象物をX方向に順次移動させて、LEDセン
サーの測定値(補正無し)とLEDセンサー測定値(補
正有り)を記録し、両者を比較した。
【0061】その結果を図9に示した。この図から分か
るように、LEDセンサーの測定値に比較して、補正を
行なった場合の誤差が小さくなっており、本例の有効性
が確認された。
【0062】実施例5(組合せセンサーを2組用いた
) 本例は、光学式距離センサーであるLEDセンサーと、
視覚センサーの入力部であるCCDカメラを、二つのス
ポット光像を被測定対象物上の離間した近接位置に投影
するように設け、かつこれら2組のCCDカメラの取付
け角度を変えて取付けた場合の有効性を説明するもので
ある。
【0063】この場合のシステム構成は図1に示した概
要と同様に与えられる。
【0064】ここでLEDセンサーを2組設置する利点
を説明すると、センサー面と被測定対象物表面がなす角
度を知るのに有利となる。すなわち、被測定対象物を切
削加工等を行なう場合には、このセンサー側に加工治具
が固定されるため、任意の仕上げ形状及び仕上げ角度を
得るためには、この角度を知ることが望まれるからで有
る。このことを、組合せセンサーと測定対象物上の二つ
のスポット光の関係を模式的に示した図12に従って以
下説明する。
【0065】いまCCDカメラAにおいてLED1のス
ポット光と、LED2のスポット光を同時に捕らえてい
るものとする。LED1でのセンサーより被測定対象物
表面までの距離をLi1,LED2までの距離をLi2
し、センサー面とLED1のスポット光とのなす角度を
θA1,センサー面とLED2のスポット光とのなす角度
をθA2とすると、上記式(1)と同じ以下の関係が成立
する。
【0066】 Li1=Z0 ・tanθA1 (9) Li2=(Z0 +Z1 )・tanθA2 (10) ここで、Z1 はLED1とLED2との間の距離(設定
値)である。
【0067】被測定対象物表面上におけるLED1のス
ポット光とLED2のスポット光との間の距離をZ1 '
して、センサー面と被測定対象物表面のなす角度をηと
すると、以下の関係がなりたつ。
【0068】
【数2】
【0069】ここで式(13)を計算することによりηを
求めることができる。
【0070】CCDカメラBについても同様に計算する
ことができる。
【0071】次に、二組のCCDカメラを用いる理由
は、次ぎのように考えることができる。
【0072】第1には、センサー面と被測定対象物表面
のなす角度ηが大きい場合において、被測定対象物表面
に対して大きい角度で測定を行なうと、スポット光自身
が真円に比較して歪が大きくなり、縦横比(アスペクト
レシオ)が1よりもかなり異なってきて、スポット光の
重心位置の誤差や、1ピクセル当たりの誤差に対応する
距離が大きくなってしまうため、そのカメラを使用した
場合の測定誤差全体が大きくなってしまう。
【0073】このため、CCDカメラAとCCDカメラ
Bについて、被測定対象物表面に対して大きい測定角度
となるカメラを適当に選択することにより、誤差の小さ
い位置のカメラを選択できて、被測定対象物の形状や計
測角度によらず精度のよい計測を確保できる。
【0074】また別の理由として、CCDカメラAとC
CDカメラBのレンズの焦点距離を変更することによ
り、3角法を利用して計測できるX方向の距離レンジを
大きくすることができる。
【0075】被測定対象物とのX方向の距離が短い場合
は、レンズ焦点距離が長いほうが1ピクセルあたりの誤
差が小さいため、精度のよい計測が実現されるが、X方
向の距離が長くなるとCCDカメラが撮影する画面内に
LED1のスポット光とLED2のスポット光を同時に
捕らえきれなくなってしまい、少なくとも片方が画像の
外にはみ出してしまって、角度ηの計算ができなくな
る。
【0076】逆に焦点距離の長いレンズと短いレンズと
を比較すると、焦点距離の短い方のレンズが1ピクセル
当たりの測定誤差が大きくなってしまうため、システム
全体の測定精度が悪くなってしまう。
【0077】以上の理由により、焦点距離の異なる2種
類のレンズを用いることで、X方向の距離レンジが長
く、精度のよい計測を確保することができる。
【0078】さらなる理由としては、CCDカメラの画
像の中にスポット光を2点撮影できていても、認識処理
において、必ずしも2点識別できない場合を挙げること
ができる。
【0079】例えば、図1に示すように、LED1のス
ポット光の当たっている面と、LED2のスポット光の
当たっている面の色が異なる場合、切削加工中の材料を
計測する場合等に発生する。すなわち、各々のCCDカ
メラにおいては、通常、画像内の平均輝度が一定になる
ように自動で絞りを調節するため、背景の色の輝度の割
りあいによっては、同じ画像内にある輝度の高い背景の
色とスポット光の部分が非常に近い輝度になってしま
い、2値化処理では分離できずに、スポット光の両方は
認識できない場合が発生する。
【0080】この場合、2方向から別々のカメラで画像
を捕らえておけば、背景の部分が両方のカメラではかな
り異なってきて、少なくとも1台のカメラではスポット
光2点を認識できる可能性が高くなる。
【0081】よって2台のカメラを使用した場合、角度
ηの計算を実行でき、安定したシステムを実現すること
ができる。
【0082】二組の組合せセンサーを用いた場合の処理
フローの一例を図10に示した。このフローでは、スポ
ット光の認識点数及び、スポット光の縦横比に注目し
て、使用するカメラを選択できる。なお図11はカメラ
Aの出力とカメラBの出力を処理する関係を整理して示
した図表である。
【0083】実施例6(統合処理) 実施例1で説明される3角法と実施例2で説明されるL
EDセンサー補正法には、その環境等の条件と計測精度
の関係において夫々一長一短がある。
【0084】すなわち、LEDセンサー補正法において
は、測定環境が安定している場合においては、計測精度
を高く保持できるが、LEDセンサーの計測可能距離範
囲が狭く、表面の凹凸が大きい測定対象物や3次元的な
彎曲が大きい測定対象物については、センサーを平面的
にスキャニングしたのみでは計測可能範囲より外れてし
まう虞がある。
【0085】この計測可能範囲の外れを防止するために
は、X軸を含めた3次元的なスキャニングが必要になる
が、センサーシステムを相対的に移動させるマニピュレ
ーターの動作による誤差を無視できないため、測定精度
が低下する原因となる。
【0086】また従来例でそうであるように、測定対象
物表面に切削加工を施した部分と未実施の部分が存在し
た場合で有って、しかもスポット光が切削加工を実施し
た部分と未実施の部分の境界にさしかかった場合におい
ては、スポット光の分布が安定せず、LEDセンサーの
計測値を補正した場合においても十分な精度を確保する
ことができないことが考えられる。
【0087】これに対して、3角計測法においては、計
測可能距離範囲を比較的広く取ることができ、またスポ
ット光の強度変化の影響を受ける度合いが少ないという
利点が有る。しかしながら、絶対距離計測精度において
は、LEDセンサー補正法の計測値に比べて劣ることは
否定できない。
【0088】このように、安定していてかつ精度の良い
計測を行ないたいという要望が極めて強い場合には、計
測の環境条件に応じて上記の二つの計測方法を選択する
だけでなく、これらの二つの情報として時系列的に検出
されるデータのうちからより精度の高い側の情報を選択
できれば、最終的に得る情報がより正確度の高いものと
なることは言うまでもない。
【0089】そこで本発明者は、上記3角法及びLED
補正法の双方の計測値を算出した上で、これらの計測値
を更に、ニューラルネットワーク、及びファジー推論の
プログラム処理を施して、より正確な計測距離情報を選
択できるようにした。
【0090】以下その具体的な処理フローの一例を、図
1の組合せセンサーを用いて行う処理フローを図13に
示した。
【0091】なお本例において使用した組合せセンサー
のうち、LEDセンサーは測定距離35〜45mm,測
定精度20μm,スポット光は可視光であり、片側のC
CDカメラ3は焦点距離7.5mm、もう一つCCDカ
メラ4は焦点距離15mmとした。
【0092】またコンピューター6は、画像処理ボード
(512×512ピクセル、白黒256階調)を備えて
いるものを使用した。
【0093】スポット光の判別については3層構造(入
力層4、中間層10、出力層4)のニューラルネットを
適用した。
【0094】レンズの歪・スポット光の欠け補償につい
ては、各スポット光に関して各々3層構造(入力層1、
中間層30、出力層1)とし、入力値をスポット光の重
心位置、出力値を補償値とした。
【0095】学習にはバックプロパゲーション法を利用
し、以下の関係式に適用した。
【0096】 In =Gn /512 (14) Tn =(Rn −Gn +40)/80 (15) In はニューラルネットワークの入力、Gn はスポット
光の重心位置、Tn は教師信号、Rn はセンサーと対象
物間距離から逆算された重心位置である。
【0097】補償量は±40ピクセルまでとした。
【0098】試験は、まずXZテーブルを動かして、セ
ンサーの測定精度を調査した。
【0099】比較は、単なるLEDセンサーの出力誤差
と本発明のシステムの測定誤差で実施した。
【0100】この結果、LEDセンサーの平均誤差は
0.13mmであったが、本システムの平均誤差は、
0.02mmであり、本システムの測定精度が格段に良
い事が判明した。
【0101】次にさらに、各出力を統合するために、計
算機のソフトにファジィ推論機能を付加した。入力因子
としては、CCDカメラにより観測されるスポット光の
反射強度、スポット光の縦横比、マニピュレータの目標
移動量とし、ファジィ推論を用いて、各センサの測定に
対する適合度を算出した。
【0102】
【数3】
【0103】このシステムに用いたファジィ・ルールを
表1に示す。
【0104】
【表1】
【0105】ここでS,MS,M,MB,Bの順にセン
サの測定に対する適合度は高くなる。
【0106】各センサデータの統合は、ファジィ推論の
値が各センサの測定に対する適合度であるため、この適
合度を荷重とする荷重平均によって最終的な測定結果を
決定する。
【0107】なおファジィ・ル−ルは経験的に決定し
た。
【0108】このシステムの有効性を示すために、測定
環境およびセンサ内部パラメータを変化させて実験を行
った。
【0109】実験に用いたシステムは、 SISl)測定環境・マニピュレータ移動量をファジィ
推論の入力とする場合 SIS2)マニピュレータ移動量をファジィ推論の入力
とする場合 SIS3)測定環境をファジィ推論の入力とする場合 の3種類とした。
【0110】実験は、測定対象物をXZテーブルに取付
け、XZテーブルをセンサ部より45mm離れた点から
35mm離れた点まで、1mmピッチで接近・測定を行
った。対象物の色、LED距離センサの感度、カメラ・
パラメータ及びマニピュレータのキャリブレ‐ション誤
差に関係するマニピュレータ目標量の条件を、各種変更
することで比較検討を行った。
【0111】その結果を図14から図19に示す。また
表2に様々な条件における、各SISの測定点11点に
おける総測定誤差量を示す。
【0112】
【表2】
【0113】表2中の記号は、Oは対象物の色(B/黒
色、DG/ダーク・グレ‐、LG/ライト・グレー、W
/白色)LはLED距離センサのスポット光反射強度に
対する感度(B/対象物が黒色用、W/対象物が白色
用)Cはカメラ・パラメ‐タ(G/同定ズレ小、B/同
定ズレ大)SISl,SIS2の+/0/−はファジィ
推論の入力の中のマニピュレータ目標移動量(+/実移
動量より目標移動量が200μm大きい、0/実移動量
と目標移動量が同じ、−/実移動量より目標移動量が2
00μm小さい)の条件を示す。
【0114】図14,図17では各センサの測定誤差
を、図15,図18ではSISl,SIS3の測定誤差
を、図16、図19ではSIS2の測定誤差を示す。
【0115】図14、図15、図16は、測定対象物が
黒色、LEDセンサの感度が白色用、カメラ・パラメ‐
タの同定ズレが少ない場合の実験結果であり、図17,
図18、図19は対象物が白色、LED距離センサの感
度が黒色用、カメラ・パラメータの同定ズレが大きい場
合の実験結果である。
【0116】これらをまとめた上記表2を見ると、測定
環境及びセンサ内部のパラメータ(カメラ・パラメー
タ,スポット光の反射光感度等)の各影響に対して、S
ISlが最も安定して精度を保持していることが判り、
本発明の有用性が証明された。
【0117】
【発明の効果】以上説明してきたように、本発明の測定
システムを用いれば、測定環境の影響が少なく、安定し
た、精度の高い3次元形状の計測が可能となる。
【図面の簡単な説明】
【図1】図1は、実施例1に用いる組合せセンサーを含
む物体の3次元測定装置の構成概要、及び測定対象物と
の位置関係を説明するための図、
【図2】図2は、スポット光認識のアルゴリズムを説明
する図、
【図3】図3は、3角法におけるLEDセンサー、CC
Dカメラ、スポット光の位置関係を模式的に示した図、
【図4】図4は、3角法におけるLEDセンサー、CC
Dカメラ、スポット光の位置関係を模式的に示した図、
【図5】図5は、CCDカメラにおけるスポット光の重
心位置のずれ角度θi を検出する原理を説明した図、
【図6】図6は、3角法の測定を行う処理フローの一例
を示した図、
【図7】図7は、実施例2のLED補正法の測定を行う
処理フローの一例を示した図、
【図8】図8は、実施例3のエッジ認識のアルゴリズム
を説明する図、
【図9】図9は、実施例4のLED補正法の測定を行っ
た場合と補正を行わなかった場合の誤差の違いを示した
図、
【図10】図10は、実施例5の組合せセンサーを2台
使用した場合の処理フローの一例を示した図、
【図11】図11は、実施例5の組合せセンサーを2台
使用した場合の場合分けを表形式で示した図、
【図12】図12は、実施例5の組合せセンサーを2台
使用した場合の測定対象物、LEDセンサー、CCDカ
メラ、の関係を模式的に示した図、
【図13】図13は、実施例6の3角法と補正法の情報
を選択する場合の処理フローの一例を示した図、
【図14】図14は、各センサの測定誤差(O−B,L
−W,C−G)
【図15】図15は、SISl,SIS3の測定誤差
(O−B,L−W,C−G)
【図16】図16は、SIS2の測定誤差(O−B,L
−W,C−G)
【図17】図17は、各センサの測定誤差(O−W,L
−B,C−B)
【図18】図18は、SISl,SIS3の測定誤差
(O−W,L−B,C−B)
【図19】図19は、SIS2の測定誤差(O−W,L
−B,C−B)
フロントページの続き (72)発明者 大岡 俊之 東京都大田区羽田空港1−6−3機装ビル 日本航空株式会社技術研究所内

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 被測定対象物上に投影したスポット光像
    からの反射光を受光して該スポット光像内の見掛け上の
    測定点に対する距離Li を検出する光学式距離センサ
    ー、及びこの光学式距離センサーが見掛け上の距離Li
    を検出した測定点に対面する方向に対し直交した方向に
    距離Zo だけ離間配置されていて、該光学式距離センサ
    ーが検出したスポット光像の重心位置と光学距離センサ
    ーとがなす角度θを検出する視覚センサー、の二つのセ
    ンサーを有するセンサー部と、 上記視覚センサーによる検出情報から、上記センサー部
    と測定点の間の実際の距離を算出する演算手段と、 上記センサー部を被測定物に対して3次元的に移動走査
    するセンサー部移動手段とを備え、 上記センサー部移動手段の走査により時系列的に検出さ
    れる距離情報に基づいて、該被測定対象物の3次元的形
    状を計測することを特徴とする物体の3次元形状測定装
    置。
  2. 【請求項2】 被測定対象物上に投影したスポット光像
    からの反射光を受光して該スポット光像に対する見掛け
    上の距離Li を検出する光学式距離センサー、該光学式
    距離センサーが投影した対象物上のスポット光像の反射
    強度及び/又は対象物の表面色の情報を検出する視覚セ
    ンサー、の二つのセンサーを有するセンサー部と、 この視覚センサーの検出した値を補正情報として光学式
    距離センサーによって検出した上記測定距離Li を補正
    する補正演算手段と、 上記センサー部を被測定対象物に対して3次元的に移動
    走査するセンサー部移動手段とを備え、 上記センサー部の移動手段による走査毎に時系列的に検
    出される算出距離の情報に基づいて、該被測定対象物の
    3次元的形状を計測することを特徴とする物体の3次元
    形状測定装置。
  3. 【請求項3】 被測定対象物上の画像データを検出する
    視覚センサーと、この画像データを構成する各画素の輝
    度を増幅し所定の閾値と比較することにより各画素の存
    在領域を2以上に区画判別する領域区画判別手段とを備
    え、領域区画の境界を被測定対象物上のエッジとして検
    出することを特徴とする物体の3次元形状測定装置。
  4. 【請求項4】 請求項1の光学式距離センサー及び視覚
    センサーからなるセンサー部を、二つのスポット光像を
    被測定対象物上の離間した近接位置に投影するように二
    組設けると共に、各視覚センサーで検出される画像中の
    各スポット光像とこれを投影したセンサー部の関係を対
    応付けする対応付け手段を設けたことを特徴とする請求
    項1に記載した物体の3次元形状測定装置。
  5. 【請求項5】 請求項1ないし4のいずれかにおいて、
    視覚センサーがCCDカメラと画像処理装置とからなる
    ことを特徴とする物体の3次元形状測定装置。
  6. 【請求項6】 請求項1のセンサー部及び演算手段と、
    請求項2のセンサ部及び補正演算手段とを有すると共
    に、同一測定点に対する上記請求項1の演算部からの検
    出距離情報、及び請求項2の補正演算手段からの検出距
    離情報を入力として、これら二つの検出距離情報の信頼
    性を比較する判定手段と、該判定手段により信頼性が高
    いと判定された入力を選択する選択手段とを設けたこと
    を特徴とする物体の3次元形状測定装置。
JP4130538A 1992-05-22 1992-05-22 物体の3次元形状測定装置 Pending JPH05322531A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4130538A JPH05322531A (ja) 1992-05-22 1992-05-22 物体の3次元形状測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4130538A JPH05322531A (ja) 1992-05-22 1992-05-22 物体の3次元形状測定装置

Publications (1)

Publication Number Publication Date
JPH05322531A true JPH05322531A (ja) 1993-12-07

Family

ID=15036687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4130538A Pending JPH05322531A (ja) 1992-05-22 1992-05-22 物体の3次元形状測定装置

Country Status (1)

Country Link
JP (1) JPH05322531A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030071102A (ko) * 2002-02-27 2003-09-03 한창석 자동 이송 장치를 이용한 비접촉식 3차원 스캐닝 방법
JP2009506920A (ja) * 2005-07-26 2009-02-19 エアバス フランス 航空機の構造体パネルの表面の形状の異常箇所の測定方法とその方法を実行するシステム
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
JP2017162394A (ja) * 2016-03-11 2017-09-14 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
CN111982017A (zh) * 2017-03-14 2020-11-24 欧姆龙株式会社 位移测量装置
CN112223283A (zh) * 2020-09-29 2021-01-15 腾讯科技(深圳)有限公司 机械臂、机器人、机械臂的控制方法、处理设备及介质
CN112703366A (zh) * 2018-09-18 2021-04-23 村上直之 测量映在电视摄像机上的图像的距离的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030071102A (ko) * 2002-02-27 2003-09-03 한창석 자동 이송 장치를 이용한 비접촉식 3차원 스캐닝 방법
JP2009506920A (ja) * 2005-07-26 2009-02-19 エアバス フランス 航空機の構造体パネルの表面の形状の異常箇所の測定方法とその方法を実行するシステム
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
JP2017162394A (ja) * 2016-03-11 2017-09-14 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
CN111982017A (zh) * 2017-03-14 2020-11-24 欧姆龙株式会社 位移测量装置
CN112703366A (zh) * 2018-09-18 2021-04-23 村上直之 测量映在电视摄像机上的图像的距离的方法
CN112223283A (zh) * 2020-09-29 2021-01-15 腾讯科技(深圳)有限公司 机械臂、机器人、机械臂的控制方法、处理设备及介质

Similar Documents

Publication Publication Date Title
CA3062044C (en) System and method for work piece inspection
CA2151344C (en) Lens inspection system and method
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
US7202957B2 (en) Three-dimensional visual sensor
CN114041168A (zh) 自动化360度密集点对象检验
KR101773791B1 (ko) 검사대상 물체의 표면 검사 방법 및 장치
CN102803893B (zh) 视觉测量探针和操作方法
CN112740125A (zh) 用于避免碰撞的方法以及激光加工工具
JP2921660B2 (ja) 物品形状計測方法および装置
CN102455171B (zh) 一种激光拼焊焊缝背面几何形貌检测方法
EP1459035B1 (en) Method for determining corresponding points in stereoscopic three-dimensional measurements
US7599050B2 (en) Surface defect inspecting method and device
JP5913903B2 (ja) 形状検査方法およびその装置
EP4009273A1 (en) Cloud-to-cloud comparison using artificial intelligence-based analysis
CN110567963A (zh) 合金分析视觉定位方法、装置及合金分析系统
EP0686841A2 (en) System and method for inspecting lenses
JPH05322531A (ja) 物体の3次元形状測定装置
Wang et al. Detection of HF-ERW process by 3D bead shape measurement with line-structured laser vision
García et al. Rail surface inspection system using differential topographic images
Molleda et al. A profile measurement system for rail manufacturing using multiple laser range finders
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
KR102494890B1 (ko) 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템
US7117047B1 (en) High accuracy inspection system and method for using same
US20050018173A1 (en) Method for mobile on and off-line monitoring of colored and high-gloss automobile component surfaces
JP3372014B2 (ja) エンジン外付け部品の誤欠品検査装置