JP2572286B2

JP2572286B2 - ３次元形状寸法計測装置

Info

Publication number: JP2572286B2
Application number: JP1326268A
Authority: JP
Inventors: 和則樋口; 修小関; 新山本
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1989-12-15
Filing date: 1989-12-15
Publication date: 1997-01-16
Anticipated expiration: 2012-01-16
Also published as: JPH03186706A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は対象物の特定領域における３次元形状寸法を
計測する、例えば対象物表面形状を近似された関数に基
づき、また抽出された特徴点の相対位置により曲線形状
或いは段差や隙間の少なくともいずれかを計測する３次
元形状寸法計測装置に関する。

〔従来技術〕

従来、対象物の段差を検出するものとして、赤外線レ
ーザーによるスリット光を車体のルーフ部とスライディ
ングルーフ部とにまたがって照射するレーザスリット光
照射手段と、上記レーザスリット光の照射部分を撮像す
る視覚センサと、この視覚センサからレーザスリット光
の照射部分の画像を取り込んで２値化し、この２値化さ
れた画像におけるレーザスリット光に対応した線のズレ
量の検出に基づいてルーフ部とスライディングルーフ部
との間の段差を検出する画像処理手段とから成る自動車
のスライディングルーフ段差検出装置がある（特開昭63
−61107号）。

しかしながら、従来装置は２値化された画像における
レーザスリット光に対応した線のズレ量を検出して段差
を測定するため検出精度が十分でない実用上解決すべき
問題点を有する。

また、従来、生産工程においては、自動車ボディの段
差や隙間などの寸法計測は、ノギスや隙間ゲージを用い
た人手による計測が行われている。しかしながら前者は
作業者によるバラツキや同一作業者でもコンディション
によるバラツキがあり、計測の信頼性に欠け、実用上解
決すべき問題がある。そして、対象物の形状の曲線近似
を行うためには、対象物表面の３次元座標値が必要であ
る。従来の接触式やスポット光式の３次元座標測定で
は、対象物の表面形状の正確な曲線近似をするために
は、多くの点数を測定しなくてはならないため、時間が
かかるという欠点があった。また、スリット光を用いた
平面画像処理を用いる方法でも、画面上のスリット光の
位置（i,j）が得られるだけでは、対象物の３次元座標
が得られないため、対象物の表面形状の曲線形状を行う
ことはできない。

〔発明の目的〕

本発明では、スリット光を用いて高速・高精度に対象
物表面の３次元座標を検出できる座標演算部としての３
次元視覚センサを用いて対象物表面の３次元座標を高速
・高精度に、かつ多数点を１度に測定し、その３次元座
標を用いて、対象物の形状を高速・高精度な曲線近似を
行なえるようにした。

本発明の目的は、上記従来の問題点を解消し、対象物
の隙間・段差（または、高さと幅）の少なくとも一方を
簡便・高速・高信頼性計測、例えば、自動車ボディの建
付け寸法、自動車部品とチェッキングフィクスチュア
（基準座標を与えるもの）との隙間・段差を計測するこ
とができ、またパネルや型を構成する曲線の簡便・高速
・高信頼性を計測することができる３次元形状寸法計測
装置を提供することにある。

〔発明の説明〕

本発明の３次元形状寸法計測装置は、少なくとも高さ
方向に形状変化を有する対象物と対向し、該対象物表面
に向けて一定角度でスリット光源より投射されたスリッ
ト光により前記対象物表面上に生じた光切断線をTVカメ
ラにより撮像する撮像部と、前記TVカメラからの光切断
線像の各走査線に対応した強度分布の重心位置に基づく
三角計測により検出された対象物表面の隣合う走査線に
対応した３次元座標値を計算する座標演算部と、該３次
元座標値の高さ方向の変化率にもとづき形状変化の始ま
る開始点を決定する開始点決定部と、前記開始点によっ
て特定される領域における前記形状変化を前記検出され
た対象物表面の３次元座標値の変化に対応する関数で近
似する表面形状近似部と、前記近似関数に基づき特定領
域における対象物の有する形状変化部を少なくとも１つ
の特徴点として抽出する特徴点抽出部と、前記抽出され
た特徴点間の相対位置関係を計算することにより、対象
物の有する隙間および段差を算出する形状変化演算部、
からなる。

上記構成からなる本発明は、少なくとも高さ方向に形
状変化を有する対象物が有する隙間および段差を検出す
る。すなわち、前記座標演算部において、対象物表面の
３次元座標を検出し、得られた３次元座標値から、開始
点決定部において、座標演算部より得られる、各走査線
に対応した３次元座標値の高さ方向の変化率に基づき形
状変化の始まる開始点を決定する。さらに、表面形状近
似部において、前記開始によって特定される領域での前
記形状変化を前記検出された対象物表面の３次元座標値
の変化に対応する関数で近似する。

さらに、特徴点抽出部において、前記近似関数に基づ
き、前記特定領域における対象物の有する形状変化部を
少なくとも１つの特徴点として抽出する。さらに、形状
変化演算部において、前記抽出された特徴点間の相対位
置関係を計算することにより、対象物の有する隙間およ
び段差を算出する。

このような、高さ方向に形状変化を有する対象物の有
する隙間、段差を高速・高精度に検出するためには、形
状変化の開始点決定部、表面形状の近似部において、対
象物表面の３次元座標が高速・高精度に多数点測定する
必要がある。

また形状変化のある端部は、鋭いエッジ部に比べ、反
射信号が得にくい等の原因で、寸法を定義する点を検出
することが難しく、単に端点を検出するだけでは、高精
度な寸法計測が難しい。特に、自動車ボディなど、表面
の反射特性について正反射成分が強い場合には、端部の
面の方向がスリット光投射方向および撮像方向となる角
度に対して正反射方向からずれると急激に受信レベルの
低下を来すため、端点先端からの反射信号が得られにく
くなる。本発明では、高速・高精度にかつ多数点の３次
元座標を測定できる３次元視覚センサを用い、かつ形状
変化のある端部を曲線近似することで、形状変化のある
端部においても、寸法を高速・高精度に測定できるとい
う、実用上多大の作用効果を奏する。

〔その他の発明の説明〕

その他の発明は上記構成に加え寸法演算部回路で計算
された寸法値について良否を判定する判定部を具備して
成る。さらには前記撮像部は、隙間・段差を形成してい
る向かい合った対象物のコーナー部分の光切断線像が観
測できるように、それぞれ斜め方向（コーナー部の法線
方向に、より近い方向）からスリット光を投射し、斜め
方向から反射光を検出するように配置されたことを特徴
とする構成とすることができる。

前記判定部では、予め与えられた良否基準と測定され
た寸法を比較し、基準内に入っていか否かで良否を判断
し、その結果を出力する。判定部より出力される良否結
果から、自動車ボディの段差・隙間や、自動車ボディの
曲線形状が規格内であるかどうかを容易に判断できる。
斜め方向から、スリット光を投射し、斜め方向から反射
光を検出するように配置することで、コーナー部の光切
断線が、このように配置しないときに比べ、特徴点検出
の精度が向上する。段差・隙間計測では、物理的な端ま
で測定値が得られるため端点と物理的な端がよく一致す
るようになる。また、曲線形状の計測では、特徴点近く
の３次元座標が多数点得られるため曲線の近似計算のサ
ンプル点数が多くなり、近似精度が向上する。

〔第１実施例〕第１実施例の３次元形状寸法計測装置は、自動車用ボ
ディ組付け寸法計測システム例で第１図乃至第６図図示
のように、３次元視覚センサはスリット光源１とテレビ
カメラ２から成る撮像部３と座標演算部４とから成る。
なお、第１図の構成では、スリット光Ｌのなす平面をYZ
平面と一致させ、Ｘ座標を常に０とするように３次元視
覚センサの座標系を決めている。

このため、後述する座標ルックアップテーブル９は、
Y,Z座標を出力するように構成されている。このような
座標系の決め方のほかに、第１図のＸ軸をＹ軸に、Ｙ軸
をＺ軸に、Ｚ軸をＸ軸と決め、前記スリット光のＬのな
す平面をZX面と一致させ、Ｙ座標を常に０とするように
３次元視覚センサの座標系を決めることもできる。

このときは座標ルックアップテーブル９の出力はZ,X
座標となる。さらにまた、第１図のＸ軸をＺ軸に、Ｙ軸
をＸ軸に、Ｚ軸をＹ軸と決め、前記スリット光Ｌのなす
平面をXY面と一致させ、Ｚ座標を常に０とするように３
次元視覚センサの座標系を決めることもできる。このと
きは座標ルックアップテーブル９の出力はX,Y座標とな
る。該座標演算部４は高精度の３次元座標を得るための
重心計算を行うスリット光中心検出回路５と、対象物６
の表面性状の影響を少なくするためのスリット光反射強
度検出回路７と、スリット光投射強度設定回路８及び座
標ルックアップテーブル９から構成されている。そし
て、３次元視覚センサと寸法計測アルゴリズムを用いた
自動車用ボディ組付寸法計測システムは、３次元視覚セ
ンサと該３次元視覚センサを位置決めするためのロボッ
トとロボットコントローラおよび３次元視覚センサから
得られた３次元座標について寸法処理を行う特徴点検出
部10と寸法演算部11を有する。

なお、第１図では示されていないが、３次元視覚セン
サの撮像部３はロボットに装置されており、このロボッ
トにより第１図のX,Y,Zのいずれかそれらを結合した方
向に撮像部３を移動・位置決めさせることで３次元形状
とした自動車バンパの各部の寸法を測定することができ
る。すなわち、特徴点検出部10が丸味部分開始点検出回
路12と、丸味部分の近似曲線を検出する曲線近似回路13
と、曲線部分の頂点を検出する頂点検出回路14により構
成されている。

上記構成からなる第１実施例の３次元形状寸法計測装
置は、３次元視覚センサをロボットにより、計測位置に
位置決めしてスリット光源１よりスリット光Ｌを対象物
６に向かって一定角度で投射する。

座標演算部４では、対象物に投射され、テレビカメラ
で撮像して得られた光切断線画像において、各走査線ご
とに、スリット光の中心位置を、その反射信号強度の重
心を求めることで精度よく検出し、得られたスリット光
の中心位置と、テレビカメラ及びスリット光源の位置か
ら三角測量の原理により、３次元座標（Ｙ、Ｚ）を検出
する。なお、本実施例では投射されるスリット光のスリ
ット方向とTVカメラの走査方向とは空間的に直角方向に
設定されている。

ここで、例えばＹ方向に30mmの範囲を500本の走査線
のテレビカメラで撮像する場合のＹ方向のデータピッチ
は、約0.06mmとなり、Ｙ、Ｚの３次元座標は、500点得
られる。

特徴点検出部10では、丸味部分開始点を検出し、検出
された丸味部分におけるサンプル点の３次元座標から、
例えば、最小二乗法による円近似を行うことで、円の中
心と半径を計算する。さらに丸味部分開始点のＹ座標
に、求めた半径を加えることで頂点を求める。なお、対
象物形状に応じて近似された円の中心座標にＹ方向に円
の半径を加えて頂点としてもよい。これをドア部、フェ
ンダ部ともに、同様の計算を行って、ドア部、フェンダ
部各々の頂点を検出する。寸法演算部11では、この頂点
の距離を求めることで隙間を計算する。

次に、このＺ座標において、隣接するＺ座標の差分を
計算し、その差分がしきい値を超えた点を、特徴点とす
ることで、検出できる。

しきい値はノイズ成分を除去するために対象物形状に
応じて決められるものであり、例えば、本第１実施例の
様に隙間部に反射光信号が存在しない場合は、それに対
応するＺ座標が上述の如くフラグ値であるので前記隙間
端部における差分値は、本質的に非常に大きくなるの
で、比較的大きく設定できる。

また、対象物が、底部を有する凹所形状の場合、その
隙間部に相当する底部から反射光信号が存在すると、各
Ｚ座標の差分値は、上述の測定値の範囲に収まるがノイ
ズを考慮した比較的小さいしきい値を設定することによ
り、同様に特徴点が検出できる。

次に、寸法演算部11では、検出された特徴点の３次元
座標において、計測部位の寸法定義に基いて、隙間・段
差寸法を計算する。すなわち、最も単純な寸法定義とし
ては、Ｙ方向の引算を行うことで隙間を算出し、Ｚ方向
の引算を行うことで、段差を算出する。そして、判定部
14は得られた寸法と、予め設定してある判定基準とを比
較して、組付け寸法すなわち隙間・段差寸法の良否を判
定する。

本第１実施例は対象物からの反射スリット光より得ら
れる対象物の３次元座標に基づき、対象物の高さ情報
（Ｚ座標）の各位置での曲線近似を行っているので、少
ない演算部で正確な対象物のもつ形状の測定が得られ、
簡便・高速かつ高信頼性の計測が可能になるという利点
を有する。

第１実施例の装置は、従来の人手によるボディ組付け
寸法検査に比して高速から高精度な自動測定で行なえる
実用的効果を実装する。

また、曲線近似では、円近似だけでなく、ｎ次多項式
近似を用いたり、頂点検出では、ｎ次多項式の変曲点を
頂点とすることでも、同様の作用効果を奏する。

〔第２実施例〕第２実施例の装置は、第７図乃至第９図図示のよう
に、前記実施例と異なり、特徴点検出部40が仮想折れ曲
がり点検出回路41により構成されている。該仮想折れ曲
がり点検出回路41は対象物における対向間距離としての
隙間寸法を決定する特徴点として、複数の直線又は曲線
の交差を採用するもので、例えば対象物のコーナー部が
２直線とこれらによって挟まれる円弧で形成される場
合、これに関する折れ曲がり点を検出する構成である。

上記構成からなる第２実施例の装置は、第９図図示の
ように、スリット光源１からのスリット光を測定対象物
に投射して得た３次元座標について平滑化を行った後、
複数の直線又は曲線に関する交点すなわち仮想折れ曲が
り点ｇを決定する。すなわち、仮想折れ曲がり点検出回
路では、座標演算部より得られたスリット光に沿った３
次元座標において、隣接するＺ座標の差分の差分がしき
い値を超える点にはさまれる領域を折れ曲がりの領域と
して切り出す。この領域の前後において、２つ以上のサ
ンプル点を抽出し、それらのサンプル点から最小２乗法
等により多項式近似を行い、折れ曲がり領域をはさむ２
本の直線を求める。この２本の直線の交点を計算し、こ
れを仮想折れ曲がり点とする。そして互いに対向する仮
想折れ曲がり点ｇの間隔距離を算出することにより対象
物における隙間・段差を測定することができる。

このように第２実施例の装置は前記第１実施例に比し
て仮想折れ曲がり点検出回路41を具備することにより、
測定すべき対象物において鋭いエッジをもたないコーナ
ー部等についての隙間・段差寸法が高精度で効率良く計
測することができる。

〔第３実施例〕第３実施例の装置は、第10図乃至第12図図示のよう
に、前記各実施例とは異なり、対象物の曲線形状を測定
するもので、特徴点検出部50が計測したい曲線部分の概
略の位置を指示するウインド回路51と、ウインド内にお
いて計測したい曲線部分を示す曲線指定点の始点h₁と終
点h₂を検出する曲線指定点検出回路52と、曲線指定点で
はさまれた曲線部分上において曲線の近似計算のための
任意の個数のサンプル点h₃を検出するサンプル点検出回
路53とで構成されている。ここで曲線指定点検出回路52
は対象物を構成している曲線の性質にしたがい、変曲点
や曲率の変化点などを検出する回路で構成されている。
寸法演算部11は、特徴点検出回路50で検出されたサンプ
ル点h₃について最小二乗法により多項式近似を行い、曲
線の式を計算する曲線近似回路33で構成されている。

上記構成からなる第３実施例装置は、第11図及び第12
図図示のように、スリット光源位置からのスリット光を
測定対象物に投射して得られた３次元座標について平滑
化を行った後、曲線形状に関し曲線指定点としての始点
h₁および終点h₂間におけるサンプル点h₃としての丸味部
分開始点の検出と同じ点を決定する。このサンプル点h₃
は最小二乗法による多項式近似により近似曲線を検出し
互いに連続する多点を演算処理することにより対象物に
おける曲線形状を自動的に測定することができる。

〔第４実施例〕第４実施例の装置は、第13図及び第14図図示のように
対象物の曲線形状を測定するものであるが、前記第３実
施例と異なり、特徴点検出部60が座標演算回路４により
演算された座標値を表示するグラフィッンクディスプレ
イ61と、計測したい曲線部分を示す曲線指定点を指示す
るためのマウス62と、曲線指定点ではさまれた曲線部分
上において曲線の近似計算のための任意の個数のサンプ
ル点を検出するサンプル点検出回路63とにより構成され
ている。

上記構成からなる第４実施例装置は、第14図図示のよ
うに、スリット光源１からのスリット光を測定対象物に
投射して得られた３次元座標について平滑化を行った
後、曲線形状に関し曲線指定点としての始点i₁と終点i₂
間におけるサンプル点i₃としての変曲点や曲率の変化点
を決定する。このサンプル点i₃は最小二乗法による多項
式近似により近似曲線を検出し互いに連続する多点を演
算処理することにより対象物における曲線形状を自動的
に測定することができ、前記第３実施例に比して対象物
の形状が複雑で曲線部分の自動検出が難しい手動の場合
に有用である。

〔第１変形例〕上記各実施例において、撮像部は、第15図図示のよう
に、対象物における撮像部70が隙間・段差を形成してい
る向かい合った対象物のコーナー部分のそれぞれについ
て、斜め方向からスリット光を投射し、斜め方向から反
射光を検出するように配置された２対のスリット光源7
1、72とテレビカメラ73、74とで構成することができ
る。上記構成からなる第１変形例では対象物75のコーナ
ー部分76が丸味を有する場合、当該丸味部分にそれぞれ
スリット光を投射して光切断線を測定することにより、
丸味部分の座標が多数点測定できるため物理的な端まで
測定データが得られ端点を精度良く検出する。

その結果、隙間や段差の計測が高精度で効率良く実奏
し得て、たとえ物理的な端まで検出出来ない場合でも曲
線近似を行うときのサンプル点が増えるため、曲線の近
似精度が向上でき高精度に隙間等の計測ができる。

〔第２変形例〕さらに、撮像部は、第16図図示のように、対象物にお
ける撮像部80が、隙間・段差を形成している向かい合っ
た対象物81のコーナー部分82のそれぞれについて、斜め
方向からスリット光を投射し、斜め方向から反射光を検
出するように、１台のスポット光源83と、スポット光源
83からの光を分岐して導く投光用光ファイバ84と、光フ
ァイバからの光をスリット光に変換して対象物に投射す
るスリット光変換用レンズ85と、反射光を受光用光ファ
イバ86に集光する集光レンズ87と、受光用光ファイバ86
に接続された１台のテレビカメラ88とで構成してもよ
い。

上記構成からなる第２変形例は前記第１変形例に比
べ、撮像部80を小型・軽量に構成でき、１台のテレビカ
メラ88で向かいあった対象物81のコーナー部分82の光切
断線を同時計測できるので、処理を高速化でき、安価に
なる実用上多大な作用効果を奏する。

【図面の簡単な説明】

第１図乃至第６図は本発明の第１実施例の３次元形状寸
法測定装置をそれぞれ示すもので、第１図は第１実施例
装置のブロック図、第２図は測定対象物の要部を示す概
要図、第３図は第１実施例装置における具体的内容を示
すブロック線図、第４図は第１実施例装置における光切
断線像の線図、第５図はTVカメラから出力されるビデオ
信号の説明図、第６図は第１実施例装置における計測手
順を示すフローチャート図、第７図乃至第９図は本発明
の第２実施例の装置をそれぞれ示すブロック線図、線図
及びフローチャート図、第10図乃至第12図は本発明の第
３実施例装置をそれぞれ示すブロック線図、線図及びフ
ローチャート図、第13図及び第14図は本発明の第４実施
例装置をそれぞれ示すブロック線図及び線図、第15図及
び第16図は本発明の第１及び第２変形例をそれぞれ示す
概要図である。１……スリット光源２……テレビカメラ３……撮像部４……座標演算部５……検出回路６……測定対象物７……スリット光反射強度検出回路８……スリット光反射強度設定回路９……座標ルックアップテーブル 10……特徴点検出回路 11……寸法演算部 14……判定部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭57−137801（ＪＰ，Ａ) 特開平１−96504（ＪＰ，Ａ) 特公平５−46882（ＪＰ，Ｂ２)

Claims

(57)【特許請求の範囲】

【請求項１】少なくとも高さ方向に形状変化を有する対
象物と対向し、該対象物表面に向けて一定角度でスリッ
ト光源より投射されたスリット光により前記対象物表面
上に生じた光切断線をTVカメラにより撮像する撮像部
と、前記TVカメラからの光切断線像の各走査線に対応した強
度分布の重心位置に基づく三角測量により検出された対
象物表面の隣合う走査線に対応した３次元座標値を計算
する座標演算部と、該３次元座標値の高さ方向の変化率にもとづき形状変化
の始まる開始点を決定する開始点決定部と、前記開始点によって特定される領域における前記形状変
化を前記検出された対象物表面の３次元座標値の変化に
対応する関数で近似する表面形状近似部と、前記近似関数に基づき特定領域における対象物の有する
形状変化部を少なくとも１つの特徴点として抽出する特
徴点抽出部と、前記抽出された特徴点間の相対位置関係を計算すること
により、対象物の有する隙間および段差を算出する形状
変化演算部、からなることを特徴とする３次元形状寸法
計測装置。
【請求項２】特徴点抽出部は特徴点検出部から成り、該
特徴点検出部が丸味部分開始点検出回路と、丸味部分の
近似曲線を検出する曲線近似回路と、曲線部分の頂点を
検出する頂点検出回路とからなることを特徴とする前記
特許請求の範囲第（１）項記載の３次元形状寸法計測装
置。
【請求項３】特徴点抽出部は特徴点検出部からから成
り、対象物における対向間距離としての隙間または段差
寸法を決定する特徴点として折れ曲がり点を検出する仮
想折れ曲がり点検出回路からなることを特徴とする前記
特許請求の範囲第（１）項記載の３次元形状寸法計測装
置。
【請求項４】特徴点抽出部は、特徴点検出部からなり、
該特徴点検出部が計測すべき曲線部分の概略の位置を指
示するウインド回路と、該ウインド内において計測すべ
き曲線部分を示す曲線指定点を検出する曲線指定点検出
回路と、曲線指定点ではさまれた曲線部分上において曲
線の近似計算のための任意のサンプル点を検出するサン
プル点検出回路とからなることを特徴とする前記特許請
求の範囲第（１）項記載の３次元形状寸法計測装置。