JPH05203427A

JPH05203427A - 光学式形状認識装置

Info

Publication number: JPH05203427A
Application number: JP4012783A
Authority: JP
Inventors: Komei Nakano; 孔明中野; Yukihiko Usami; 幸彦宇佐美; Motoyuki Suzuki; 基之鈴木; Yoshihisa Taniguchi; 喜久谷口; Akira Murata; 晃村田; Seiji Yamanaka; 誠二山中
Original assignee: T B TEC KK; TOKYO BOEKI KK; Toyota Motor Corp
Current assignee: T B TEC KK; TOKYO BOEKI KK; Toyota Motor Corp
Priority date: 1992-01-28
Filing date: 1992-01-28
Publication date: 1993-08-10
Anticipated expiration: 2014-11-10
Also published as: JP2974223B2

Abstract

(57)【要約】【目的】ＣＣＤカメラによってワークの斜め方向から
観察された２次元グレーレベル画像情報を、垂直な方向
から観察した画像に変換することができる光学式形状認
識装置を得る。【構成】光源３４からの光はワーク３２の表面で反射
されその反射光がＣＣＤカメラ３６に入射する。ワーク
３２表面には等間隔の目盛を有するスケール３７が設け
られておりワーク３２と同時に撮影される。撮影された
グレーレベル画像は画像処理ユニット３８に入力する。
ＣＰＵ４４からの指令によりグレーレベル画像の各画素
データに対して実寸座標値が与えられる。さらに元の各
画素データを補間することによって一定密度の画素デー
タを作り出す。したがって、ワーク３２表面全体に対し
一定密度のグレーレベル画像データを得ることができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、被検体（以後、ワーク
と呼ぶ）表面の凹凸情報を認識する装置に関する。特
に、光学的手法を用いてワークの表面の凹凸を認識でき
る装置に関する。

【０００２】

【従来の技術】従来、ワークの表面を観察する手段とし
て、光源とＣＣＤカメラを用いた表面検査装置が提案さ
れている。例えば、このような検査装置は自動車のボデ
ィなどの表面の凹凸を検査するのに用いられている。こ
のような検査装置においてＣＣＤカメラによって得られ
るグレーレベル画像は明るさのみの輝度情報であるのが
一般的であり、２次元的な領域の定義や、ワーク表面の
穴の位置・径などの計算に使用されている。

【０００３】図１４は、従来の表面検査装置の第一例の
構成・作用を示す説明図である。図１４に示されている
ように光源１０によって真上から照らされたワーク１２
は、ＣＣＤカメラ１４によって撮影され、ワーク１２表
面のグレーレベル画像が得られる。図１４には、ワーク
１２表面に穴１５が開いている場合の例が示されてい
る。このようにして得られたグレーレベル画像（図１５
（ａ））の各画像データは図１５（ｂ）に示されている
ようにあるしきい値を境にして「０」値と「１」値とに
２値化される。すなわち、いわゆる２値化処置が行わ
れ、その２値化データを基にして穴の直径等が求められ
る。なお、この２値化された例が図１５（ｃ）に示され
ている。

【０００４】図１６は、従来の表面検査装置の第二例の
構成を示す構成図である。図１４に示された例と異なる
点は、光源２０がワーク２２に対して所定の仰角で斜め
に光を照射し、その反射光をＣＣＤカメラ２４が同様の
仰角で斜め方向から観察するという点である。すなわ
ち、この仰角はワーク２２に対する光の入射角と反射角
とに相当する。このように、斜めから光を照射すること
によって、ワーク２２表面の傾きの様子が、撮影された
画像の明るさの変化として認識されうる。この様子を示
した説明図が図１７に示されている。図１７には、図１
６のワーク２２のＢ−Ｂ断面が（ａ）に示され、その断
面に沿った画像の明るさを示すグラフが（ｂ）に示され
ている。このグラフは横軸が断面に沿った位置であり、
縦軸が画像の明るさを表す。このように第二例によれ
ば、ワーク２２表面の傾きにほぼ比例した濃淡を有する
グレーレベル画像が検出される。このように、光源を斜
めからワークに照射した場合、得られる画像の濃淡が、
ワーク表面の傾き、すなわち照射する光線ベクトルのワ
ーク２２表面に対する正射影の方向にワーク表面の凹凸
を微分した１次微分量、に比例することは経験的に知ら
れており、この原理を利用した装置は幅広く用いられて
いる。

【０００５】

【発明が解決しようとする課題】しかしながら、この第
二例においては、ＣＣＤカメラ２４が斜め方向からワー
ク２２を観察しているため、ＣＣＤカメラ２４から遠く
にあるワーク２２の部分と、近くにある部分との画像上
の大きさが異なってしまった。すなわち、遠くにある部
分は小さく撮影され、近くにある部分は大きく撮影され
てしまった。したがって、凹凸の実際の大きさを知るた
めには、場所によって補正を施さなければならない。従
来、この補正は機械的には行われず、熟練者がその経験
に基づいて、凹凸の大きさを判断していた。

【０００６】上述した従来の第二例の表面検査装置は、
上記のように構成されていたので、斜め方向からの画像
しか得られず、実際の凹凸の範囲や位置などの具体的な
数値は出力されないという問題があった。また、熟練者
の経験に基づく判断をするためには、高度の熟練が必要
であり、訓練に多大な時間が必要であるという問題があ
った。例えば、自動車のボディの凹凸を検査する場合に
おいては、自動車の種類によって反射率等が異なるた
め、訓練に極めて多大な時間を要する。

【０００７】本発明はこのような課題に鑑みなされたも
ので、その目的は、ＣＣＤカメラによって斜め方向から
観察された２次元グレーレベル画像情報を、ワークに対
し垂直な方向から観察した画像に変換することができる
変換処置装置を得ることである。

【０００８】

【課題を解決するための手段】本発明は、上述の課題を
解決するために、被検体（ワーク）表面の測定ラインを
所定の仰角で斜め方向から照射する光源と、所定の間隔
で目盛が設けられたスケールであって、前記目盛が前記
測定ラインと平行となるように前記ワーク表面に設置さ
れるスケールと、前記測定ラインから反射された反射光
を検出し、複数の画素データからなるグレーレベル画像
情報を出力する光検出器と、を備えている。

【０００９】このように、本発明においては、ワーク表
面にスケールを設置したため、ワークの実際の大きさを
容易に知ることが可能である。

【００１０】そして、前記測定ラインから反射された反
射光を検出し、複数の画素データからなるグレーレベル
画像情報を出力する光検出器と、前記グレーレベル画像
情報上の前記測定ラインを、前記スケールの各一目盛間
隔に対応する複数のブロックに分割する測定ライン分割
手段と、前記分割された各ブロックを構成する各画素デ
ータから、補間によって前記ブロック上での所定の実寸
の間隔毎の画素データを算出する補間手段と、を備える
ことを特徴とする光学式形状認識装置である。

【００１１】

【作用】本発明における測定ライン分割手段は、スケー
ルのメモリの間隔に対応し、測定ラインを複数のブロッ
クに分割する。これらの複数のブロックは、それぞれの
実際の長さが等しいことが既知であるので、それぞれの
ブロックの縮尺を間接的に求めることができる。

【００１２】さらに、補間手段は、前記ブロックを構成
する画素データから、補間によって、ワーク表面におけ
る実寸の間隔毎の画素データを新たに算出する。したが
って、ワークに対して垂直な方向から撮影した場合と同
様の画像データが得られる。

【００１３】

【実施例】以下、本発明の好適な実施例を図面に基づい
て説明する。

【００１４】図１に本実施例による光学式形状認識装置
の構成ブロック図を示す。光源３４からの散乱光は所定
の入射角（仰角）でワーク３２に照射され、ワーク３２
表面における反射光がＣＣＤカメラ３６に入射する。光
源３４は、拡散スクリーン３０を備えており、その発す
る光を散乱光としている。ワーク３２表面にはＬ字型の
スケール３７が設けられており、ワーク３２と同様にＣ
ＣＤカメラ３６に同時に撮影される。このスケール３７
は凹凸のあるワーク３２表面にも密着するように例えば
柔軟な樹脂などで作られており、その樹脂などの上に目
盛が刻印されている。柔軟な樹脂などを用いることによ
り、微妙な凹凸を有する自動車のボディなどにも良好な
密着性を有する。このとき、樹脂などの基盤部材と目盛
の色は、例えば白と黒のように、コントラストの大きな
色が選択され、グレースケール画像上での判断がしやす
いようになっている。なお、このスケール３７はその目
盛が、後述する測定ラインと平行となるようにワーク３
２表面上に設置されている。スケール３７の平面図が図
２に示されている。図２に示されているように、スケー
ル３７は、Ｌ字型のフレームに、２ａ、２ｂ、２ｃ等の
目盛を等間隔で刻印した物である。本実施例においては
Ｌ字型のスケールを用いたが、測定ラインと平行な目盛
を有するものであればどのような形状のものでも構わな
い。

【００１５】図１のＣＣＤカメラ３６から出力されるグ
レーレベル画像は、画像処理ユニット３８に入力する。
この画像処理ユニット３８には、ＣＣＤカメラ３６から
のグレーレベル画像を表示するモニタ４０が接続されて
おり、さらにモニタ４０にはそのハードコピーをとるハ
ードコピー装置４２が接続されている。また画像処理ユ
ニット３８には、ＣＣＤカメラ３６からのグレーレベル
画像の画像データに対し演算処理を行うＣＰＵ４４が接
続されており、さらにＣＰＵ４４にはその演算結果を表
示するＣＲＴ４６と描出するプロッタ４８とが接続され
ている。

【００１６】本実施例の動作をフローチャートを用いて
説明する。図３には、本実施例による光学式形状認識装
置の第一のフローチャートが示されている。

【００１７】図３中、ステップ１において、スケール３
７を設置した状態で、ワークとスケールとをＣＣＤカメ
ラ３６によって撮影する。撮影されたグレーレベル画像
は、画像処理ユニット３８へ転送される。転送されたグ
レーレベル画像は、モニタ４０に表示され、必要に応じ
てハードコピー装置４２によってモニタ４０のハードコ
ピーがとられる。スケール３７には、縦方向と横方向と
に所定の間隔で目盛が付されており、撮影の際にはこの
目盛が明瞭に撮影されるようにＣＣＤカメラ３６の絞り
等を調整する。

【００１８】ステップ２においては、画像上でのスケー
ル３７の各目盛の間隔を用いて、各画素データに、その
実際の座標成分を与える。実寸座標系は、例えばスケー
ル３７の図２中２ａを原点とし、直線２ａ−２ｃをｘ
軸、直線２ａ−２ｂをｙ軸として設定する。このとき、
２ａや２ｂ、２ｃはモニタ４０上の画像を見ながら操作
者がマウス等の指示装置で指示するが、目盛に一定のパ
ターンを使用し、画像処理ユニット３８自体が、パター
ン認識により目盛の位置を検出するようにしても良好で
ある。そして、各目盛間の距離をそこに対応する画素の
数で除算することにより、その目盛間での画素のピッチ
が求まる。この求めた画素ピッチを用いて各画素の実寸
座標値を求めている。このような演算を各目盛間に対応
する各画素に適用することにより、グレーレベル画像を
構成する全ての画素データの実寸座標値を求める。

【００１９】本発明において特徴的なことは、このよう
にスケール３７をワーク３２表面に設置したため、ワー
ク３７表面での実際の寸法を容易に知ることができる点
である。したがって、モニタ４０上に表示される凹凸の
画像の大きさにかかわらず、実際の寸法を知ることが可
能である。

【００２０】ステップ３においては、ワーク３２とＣＣ
Ｄカメラ３６との位置関係はそのままにして、スケール
３７のみを取り除く。その状態で、ステップ１と同様に
ワーク３２を撮影し、得られたグレーレベル画像は、画
像処理ユニット３８へ転送される。この際、転送される
グレーレベル画像の各画素データには、ステップ２にお
いて計算された実寸座標系での座標値が付加されてい
る。転送されたグレーレベル画像は、モニタ４０に表示
され、必要に応じてハードコピー装置４２によってモニ
タ４０のハードコピーがとられる。

【００２１】ステップ４においては、必要に応じて、ワ
ーク３２以外の部分の背景などの画像が削除（グレーレ
ベルが「０」に）される。背景とワーク３２との区別は
通常その明るさによって行われる。光源３４からの比較
的強い光が照射されているため、ワーク３２は一般に背
景などより輝度が高い。つまり、ＣＰＵ４４の指令によ
りあるしきい値以下の画素データを一律「０」値にする
ことにより、ワーク３２以外の部分の背景などの画像を
削除することができる。このようなマスク処理の後、ス
テップ５−１に移行する。もしワーク３２以外の部分が
画像に存在せずに、マスク処理が必要ではない場合に
は、ステップ５−２に移行する。

【００２２】ステップ５−１においては、マスクフラグ
ＣＨＫが「１」に設定され、ステップ５−２において
は、マスクフラグＣＨＫが「０」に設定される。このマ
スクフラグＣＨＫは、本実施例においては使用されない
が、マスク処理が行われたかどうかを後で知る必要が生
じたときに参照される。ステップ５−１も５−２も引き
続いてステップ６に移行する。

【００２３】ステップ６においては、出力形式の選択を
行う。すなわち、後述する図５に示されているように一
本の測定ラインに沿った高低情報のみを得る場合の出力
形式か、もしくは図６に示されているように一定の範囲
に対して高低情報を得る場合の出力形式かのいずれかを
選択する。本実施例においては、図５に示されているよ
うな出力形式を第一出力形式、図６に示されているよう
な出力形式を第二出力形式と呼ぶ。このステップ６にお
いて第一出力形式を選択した場合にはステップ７に移行
し、第二出力形式を選択した場合には図４のステップ８
に移行する。

【００２４】ステップ７においては、第二出力形式を選
択した場合に何本の画素列に対する高低情報を算出する
かを決定し、図４のステップ８に移行する。

【００２５】図４には本実施例による光学式形状認識装
置の第二のフローチャートが示されている。図４中、ス
テップ８において、モニタ４０の画像を参照しながら、
測定範囲の設定を行う。例えば横方向の座標をｘ座標、
縦方向の座標をｙ座標とすると、ｘ₁≦ｘ≦ｘ₂、ｙ₁
≦ｙ≦ｙ₂、というように、各座標での範囲を設定する
ことにより矩形の測定範囲が決定される。なお、ステッ
プ６において第一出力形式を選択し、一つの画素列に対
する高低情報のみを得る場合においては前記ｙ₁とｙ₂
とは等しい一つの値に選ばれる。

【００２６】ステップ９においては、ステップ８にて設
定された範囲の画素データＫＤ（ｘ，ｙ）が画像処理ユ
ニット３８からＣＰＵ４４に転送される。一画素列の転
送される画素データの一例が図７に示されている。図７
に示されている例は、それぞれの画素データの値を結ん
だグラフとして表示されている。すなわち横軸は各画素
の位置を表し、縦軸は画素データの値つまり濃淡を表
す。

【００２７】ステップ１０においては、ステップ９にお
いて転送された画素データを新たに、一定の密度の画素
データに変換する。すなわちステップ２にて各画素デー
タに実寸座標値を与えたわけであるが、前述したように
この実寸座標値はＣＣＤカメラ３６から遠い位置にある
ワーク３２の部分は粗く、近い位置にある部分は密にな
っている。したがって、本ステップにて補間演算により
新たに一定の密度となるように画素データを作り直す。
この補間演算の説明図が図１１〜１３に示されている。
図１１に示されているように、黒丸で示されている元の
粗い画素データの輝度値を直線で結び（図１２）、新た
に例えば２ｍｍピッチで輝度値を採り直す（図１３）。
採り直した新たな画素データは図１３中×点で示されて
いる。この採り直した画素データを新たにグレーレベル
画像の画素データと見なし、以後この画素データを演算
の対象とする。

【００２８】本発明において特徴的なことは、このよう
に、ワーク３２を斜めに撮影したためにワーク表面に対
する画素データが遠い所は粗く近い所は密になっていた
のを補間によって一定密度としたため、ワーク３２表面
の全体に対して均一な密度の画像を得ることが可能とな
った点である。

【００２９】ステップ１１においては、ステップ１０に
て補間によって新たに作られた各画素データの縦方向毎
の平均値がＣＰＵ４４にて算出される。その平均値Ａｖ
ｅ（ｘ_n）は次式で示される。

【００３０】ここで、Ａｖｅ（ｘ_n）はｘ成分にｘ_n座標成分をもつ
一画素列の平均値、ｄｅｌ（ｘ_n）はｘ成分にｘ_n座標
成分をもつ一画素列に含まれる画素数、ＫＤ（ｘ_n，
ｙ）はモニタ４０上の座標（ｘ，ｙ）における画素の輝
度である。上記（１）式による平均値の計算は測定範囲
の各画素列ごとに行われる。さらに必要に応じて、各画
素列ごとにその画素データに対し各種のフィルタ処理を
行う。この各種フィルタ処理後の画像データの例が図８
に示されている。

【００３１】ステップ１２においては、ステップ１１に
て各画素列毎に求められた平均値を用いて高低情報を各
画素列ごとそれぞれ算出する。すなわち、平均値と各画
素データとの差分を、その画素列の光源方向の端部から
積分（累積的に加算）していくことにより、その画素列
に含まれる各画素の高低情報が逐次求められる。その計
算式を次式に示す。

【００３２】ＳＥＫＩ（ｘ_n）＝∫｛ＫＤ（ｘ_n，ｙ）−Ａｖｅ（ｘ_n）｝ｄｙ・・・（２）つまり、画素列中の所定の画素の高低情報は、差分の値
をその画素列の光源方向の端部から所定の画素まで積分
することにより求められる。したがって、本実施例にお
いては、各画素データの差分を積分していく途中結果と
して各画素に対する高低情報が得られる。この各画素に
対する高低情報の値の例が図９に示されている。

【００３３】ステップ１３においては、前ステップ１２
にて算出されたＳＥＫＩ（ｘ_n）にキャリブレーション
値（補正値）Ｂ_iを乗ずることにより補正を行う。この
キャリブレーション値Ｂ_iは、例えばワークの色、反射
率などによって決定される補正値である。これによっ
て、実際の高低寸法値ＤＫ（ｘ_n）が求められる。これ
は次式で表される。

【００３４】ＤＫ（ｘ_n）＝Ｂ_i×ＳＥＫＩ（ｘ_n）・・・（３）すなわち、ＤＫ（ｘ_n）は、ｘ成分としてｘ_nを有する
画素列の高低寸法値である。この各画素の高低寸法値の
例が図１０に示されている。

【００３５】ステップ１４においては、ステップ１３に
て求めた高低寸法値をＣＲＴ４６やプロッタ４８に出力
する。出力例を図５と図６とに示す。図５に示されてい
る例は、ワーク３２の表面の一本の測定ラインに沿った
高低情報及びその実寸法値を得た場合の出力例であり、
前述したステップ６においてその旨が選択された場合の
例である。図５（ａ）には、横軸が一画素列中の位置を
表し、縦軸に輝度を表したグラフの一例が示されてお
り、（ｂ）には、横軸が同様の位置を表し、縦軸が実寸
法値を表したグラフの一例が示されている。

【００３６】一方、図６に示されている例は、ワーク３
２の表面の所定の測定範囲に対してその高低情報及びそ
の実寸法値を得た場合の出力例であり、図５と同様に前
述したステップ６においてその旨が選択された場合の例
である。図６には、図５と同様に、横軸が一画素列中の
位置を表し、縦軸が実寸法値を表しているグラフが示さ
れており、さらに複数の測定ラインに対するグラフが縦
方向に重畳して描画されている。図６には、５０個の測
定ライン、すなわちＬ１からＬ５０までに対するグラフ
が描画されている。

【００３７】以上述べたように本実施例においては、ワ
ーク３２表面に所定の一定間隔の目盛を設けたスケール
をワーク表面に設置したため、ワークの部分によって異
なっている縮尺の値を容易に知ることが可能である。す
なわち、ステップ２において述べたように、前記所定の
間隔をその目盛間隔に対応する画素データの個数で除算
することにより、容易に実際の寸法値での画素ピッチを
算出することができる。

【００３８】さらに、各画素データの輝度値から、補間
によって、新たに、実際の寸法値で一定の間隔を有する
画素データを作り出したので、ワーク３２表面の全体に
対して一定密度のグレーレベル画像を得ることが可能で
ある。

【００３９】また、本実施例においてはワークの色や反
射率などの条件によって定まる補正値を用いて、上記高
低情報を補正したので、実際のワーク表面の対応する測
定ラインの高低の値が得られる。したがって、自動車の
ボディ等の表面検査装置に適用すれば、ボディの凹凸を
補正する量が具体的に数値として求められるため、補正
が適格に行えるという効果を有する。

【００４０】

【発明の効果】以上述べたように本発明によれば、ワー
ク３２の斜め方向から撮影したグレーレベル画像をもと
に、ワーク３２表面全体に対して一定の画素密度を有す
るグレーレベル画像を得ることが可能となる。したがっ
て、ワーク３２表面に対して垂直な方向から観察したの
と同様の画像を得ることができ、ワーク表面の位置に依
存しない凹凸の検査が可能となる。

【００４１】このように、本発明によれば、熟練を要さ
ずに、ワーク表面の観察を高精度で行うことが可能とな
る光学式形状認識装置が得られるという効果を有する。
また、自動車などの表面検査装置に用いれば、検査効率
が向上し、生産ラインの効率を高める効果を有する。

【図面の簡単な説明】

【図１】本発明の一実施例である光学式形状認識装置の
構成ブロック図である。

【図２】図１に示される実施例において用いられるスケ
ール３７の平面図である。

【図３】図１に示される光学式形状認識装置の動作を説
明する第一のフローチャートである。

【図４】図１に示される光学式形状認識装置の動作を説
明する第二のフローチャートである。

【図５】ワーク３２表面の１ラインのみに沿った高低寸
法値を得る場合の出力例をしめすグラフである。

【図６】ワーク３２の表面の一定の測定範囲に対してそ
の高低寸法値を得た場合の出力例をしめすグラフであ
る。

【図７】図４のフローチャートのステップ９において、
ＣＰＵ４４に転送される一画素列の画素データの一例が
示されているグラフである。

【図８】ステップ１１において、各画素列ごとに行われ
たフィルタ処理後の画像データの一例が示されているグ
ラフである。

【図９】ステップ１２において得られた各画素に対する
高低情報の値の一例が示されているグラフである。

【図１０】ステップ１３における補正の結果得られた各
画素の高低寸法値の一例が示されている。

【図１１】図４のステップ１０における補間演算を説明
するグラフであり、ＣＣＤカメラ３６によって得られた
元の画素データのグラフである。

【図１２】図１１に示されている元の画素データを直線
補間した様子を示したグラフである。

【図１３】図１２に示されている補間によって新たに作
り出された画素データを示すグラフである。

【図１４】従来の表面検査装置の第一例の構成を示す説
明図である。

【図１５】従来の表面検査装置の第一例の作用を示す説
明図である。

【図１６】従来の表面検査装置の第二例の構成を示す構
成図である。

【図１７】従来の表面検査装置の第二例の作用を示す説
明図である。

【符号の説明】

３０拡散スクリーン３２ワーク３４光源３６ＣＣＤカメラ３７スケール３８画像処理ユニット４０モニタ４２ハードコピー装置４４ＣＰＵ４６ＣＲＴ４８プロッタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者宇佐美幸彦愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者鈴木基之愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者谷口喜久愛知県名古屋市中村区名駅四丁目27番23号テービーテック株式会社内 (72)発明者村田晃愛知県名古屋市中村区名駅四丁目27番23号テービーテック株式会社内 (72)発明者山中誠二東京都中央区日本橋兜町７番３号東京貿易株式会社内

Claims

【特許請求の範囲】

【請求項１】被検体表面の測定ラインを所定の仰角で斜
め方向から照射する光源と、所定の間隔で目盛が設けられたスケールであって、前記
目盛が前記測定ラインと平行となるように前記被検体表
面に設置されるスケールと、前記測定ラインから反射された反射光を検出し、複数の
画素データからなるグレーレベル画像情報を出力する光
検出器と、前記グレーレベル画像情報上の前記測定ラインを、前記
スケールの各一目盛間隔に対応する複数のブロックに分
割する測定ライン分割手段と、前記分割された各ブロックを構成する各画素データか
ら、補間によって前記ブロック上での所定の実寸の間隔
毎の画素データを算出する補間手段と、を備えることを特徴とする光学式形状認識装置。