JPH0829143A

JPH0829143A - 表面状態検査方法及びその装置

Info

Publication number: JPH0829143A
Application number: JP6160981A
Authority: JP
Inventors: Naoki Yamada; 直樹山田; Hiroshi Ikeda; 浩志池田
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1994-07-13
Filing date: 1994-07-13
Publication date: 1996-02-02

Abstract

(57)【要約】【目的】曲面状の被検査面の表面状態を検査して特定
部位の三次元位置を検出し、この特定部位における被検
査面上の法線方向を精度良く設定する。【構成】光照射部分を撮像領域中に映し込むようにし
て被検査面を撮像するＣＣＤカメラ２４で得られた画像
を画像処理プロセッサ３３で画像処理し、そのデータに
基づいて欠陥認識部４１で欠陥部位を認識するととも
に、この欠陥部位の三次元位置を検出する三次元位置検
出部４２を設け、該三次元位置検出部において、複数の
検査面モデルの中から上記撮像画像における照明光の映
し込み像に対応する検査面モデルを選択し、この選択さ
れた検査面モデルと上記映し込み像の数値データとに基
づいて被検査面のモデル式を設定し、このモデル式と欠
陥部位に対するＣＣＤカメラの視線とに基づいて該欠陥
部位の三次元位置を求める演算処理を行うことを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、表面状態検査方法及
びその装置、特に、被検査面に照射された照明光の反射
光を受光して得られた画像に基づいて上記被検査面の表
面状態を検査し、その検査によって認識された特定部位
の三次元位置を検出するようにした表面状態検査方法及
びその装置に関する。

【０００２】

【従来の技術】従来、物品の表面状態を検査する場合、
検査員の目視による検査方法が慣用されている。例え
ば、自動車の車体の表面状態検査を例にとって説明すれ
ば、自動車の車体表面には、通常、製造ライン中に設け
た塗装ステーションにおいて所定の塗装が施され、この
塗装後における車体の表面状態の検査(つまり、主とし
て塗装欠陥の検査)は、従来、検査員の目視によって行
なわれている。そして、欠陥部が発見された場合には、
その部分の塗膜を研摩ツールで除去して補修作業が行な
われる。しかしながら、車体表面の塗膜における微小な
欠陥部を目視検査で正確に検出することは一般に困難で
あり、これを漏れなく発見するために、検査員は大きな
神経的負担と肉体的にもかなり厳しい作業が強いられる
ことになる。

【０００３】このような検査員の負担を軽減するため
に、物品の表面状態検査を自動化する方法が種々考えら
れており、この自動化技術の一つとして、被検査面に照
明光を照射し、その反射光を受光して得られた受光画像
に基づいて上記被検査面の表面状態を検査する方法が知
られている。かかる方法では、上記受光画像に所定の画
像処理を施すことにより、当該被検査面上の欠陥の有無
の判定および欠陥部と認識された部分の位置の特定が自
動的に行なわれる。

【０００４】しかしながら、上記画像処理による位置デ
ータに基づいて欠陥部の位置を検知する場合、被検査面
が平面状であれば、かなり正確な位置を知ることができ
るのであるが、被検査面が曲面状のものである場合に
は、欠陥部の位置の検出精度が低下し、その正確な補修
作業に支障を来すことがある。すなわち、例えば図１３
に示すように、被検査面１１が曲面である場合には、実
際の被検査面１１上の欠陥部１２の位置と平面画像１３
上に表示される欠陥部１２'の位置との間には「ずれβ」
が生じる。従って、平面画像１３上に表示された欠陥部
１２'の位置データからは、実際の被検査面１１上の欠
陥部１２の位置を正確に知ることはできず、また、欠陥
部位１２において被検査面１１に対し垂直な法線方向を
知ることもできないので、欠陥部１２を的確に補修する
ことが困難になるのである。尚、上記「ずれβ」の大きさ
は、被検査面１１の曲率や被検査面１１と撮像カメラ１
４との位置関係などに依存し、例えば、図１３のように
被検査面１１が凸状の曲面である場合には、被検査面１
１の曲率が大きくなるほど、あるいは、撮像カメラ１４
の欠陥部１２に対する視線１５と被検査面１１のカメラ
１４を通る法線１６との間の振れが大きくなるほど大き
くなる。

【０００５】かかる問題に鑑みて、本願出願人は、例え
ば特開平５−２０７６９号公報において、ワークの撮像
画像を３次元画像処理装置で解析し、その位置データに
基づいて研摩ツールによりワークの所定部位の研摩を行
うに際して、予めワーク表面の３次元形状を記憶してお
き、また、この３次元データにおけるワーク表面を１撮
影画面に対応した大きさの複数の画像枠に分割設定し、
撮影順のティーチング等を行い、更に、各画像枠の部分
で上記３次元データにおける表面に垂直な法線方向を設
定して記憶するようにした研摩ツールの制御装置を提案
した。この従来技術にかかる装置では、撮像手段により
上記画像枠に対応してワークの表面像を順次撮影し、こ
の撮影されたワーク表面の画像を解析して研摩ツールで
研摩すべき部位の位置データが求められる。また、この
位置データおよび該研摩部位の法線データが研摩ツール
の姿勢制御手段に入力される。そして、研摩ツールは、
研摩部位に対して上記法線方向に基づく適正な研摩方向
からツールがワーク表面に作用するように姿勢制御され
ながら所定の研摩作業が行なわれる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来のようなワーク表面の３次元データを用いる方法で
は、装置のメモリとして大容量のものが必要とされる
上、処理時間が長くなり、また、装置自体もかなり大掛
かりなものとなるという難点があった。更に、上記方法
では、各画像枠の部分で上記３次元データにおける表面
に垂直な法線方向を設定して記憶するようになっている
が、この場合、上記法線は、各画像枠に対するサーフェ
スモデルを格子状に区画し、この区画された格子目部分
を代表する部位に対して設定される。従って、ワーク表
面の実際の欠陥部位における法線とは必ずしも一致せ
ず、実際の欠陥部位に対してその部位での法線方向に基
づく適正な研摩方向を設定するのは、やはり難しいとい
う問題があった。

【０００７】ところで、上記のような光照射を用いた表
面状態検査において被検査面を撮像する場合、被検査面
上の照明光による照射部分の大きさよりも撮像範囲(つ
まりビデオカメラ等の撮像手段の視野の大きさ)の方が
大きいときには、被検査面の照明光による照射部分を撮
像領域中に映し込むようにして撮像することになり、こ
の撮像画像のうち上記照明光の映し込み部分に対して画
像処理が施される。そして、この場合、上記照明光の映
し込み像は被検査面の形態を反映したものとなり、当該
被検査面が曲面状のものである場合には、被検査面の曲
面の形状やその曲率等の曲面特性が照明光の映し込み像
の形状や大きさに反映されることになる。

【０００８】そこで、この発明は、被検査面の曲面の形
状や曲率等の曲面特性が照明光の映し込み像の形状や大
きさに反映されることに着目することにより、特に大掛
かりで大容量の装置を用いることなく、比較的簡単な構
成で、曲面状の被検査面の表面状態を検査し、その検査
によって認識された特定部位の三次元位置を検出するこ
とができ、また、この特定部位における被検査面上の法
線方向をできるだけ精度良く設定することができる表面
状態検査方法及びその装置を提供することを主目的とし
てなされたものである。

【０００９】

【課題を解決するための手段】このため、本願の請求項
１に係る発明(以下、第１の発明という)は、被検査面に
照射された照明光の反射光を受光して得られた画像に基
づいて上記被検査面の表面状態を検査し、その検査によ
って認識された特定部位の三次元位置を検出するように
した表面状態検査方法であって、上記照明光による照射
部分を撮像手段の撮像領域中に映し込むようにして上記
被検査面を撮像し、予め設定された複数の検査面モデル
の中から上記撮像画像における上記照明光の映し込み像
に対応する検査面モデルを選択するとともに、該選択さ
れた検査面モデルと上記映し込み像の数値データとに基
づいて上記被検査面のモデル式を設定し、該モデル式と
上記特定部位に対する上記撮像手段の視線とに基づいて
該特定部位の三次元位置を求める演算処理を行うことを
特徴としたものである。

【００１０】また、本願の請求項２に係る発明(以下、
第２の発明という)は、上記第１の発明において、上記
演算処理は、上記モデル式で表示される三次元曲面上に
おいて上記特定部位の撮像画像上の二次元位置に対応す
る第１近似部位を求める第１演算ステップと、上記第１
近似部位における上記三次元曲面の接平面を求める第２
演算ステップと、該接平面と上記撮像手段の視線との交
点を求める第３演算ステップと、上記三次元曲面上にお
いて該交点に対応する第２近似部位を求める第４演算ス
テップとを含むことを特徴としたものである。

【００１１】更に、本願の請求項３に係る発明(以下、
第３の発明という)は、上記第２の発明において、上記
演算処理は、上記第４演算ステップの後に、求められた
近似部位における上記三次元曲面の接平面を求める第５
演算ステップと、該接平面と上記撮像手段の視線との交
点を求める第６演算ステップと、上記三次元曲面上にお
いて該交点に対応する近似部位を求める第７演算ステッ
プとを順次実行する演算サブルーチンを含むことを特徴
としたものである。

【００１２】また、更に、本願の請求項４に係る発明
(以下、第４の発明という)は、上記第３の発明におい
て、上記演算処理は、上記演算サブルーチンを所定回数
繰り返して実行するものであることを特徴としたもので
ある。

【００１３】また、本願の請求項５に係る発明(以下、
第５の発明という)は、被検査面に照明光を照射する光
照射手段と、該光照射手段による照射部分を撮像領域中
に映し込むようにして上記被検査面を撮像する撮像手段
と、該撮像手段で得られた撮像画像を画像処理する画像
処理手段と、該画像処理手段の出力データに基づき上記
被検査面の表面状態を検査して特定部位を認識する認識
手段と、該認識手段で認識された上記特定部位の三次元
位置を検出する三次元位置検出手段とを備え、該三次元
位置検出手段は、予め設定された複数の検査面モデルの
中から上記撮像画像における上記照明光の映し込み像に
対応する検査面モデルを選択する検査面モデル選択部
と、この選択された検査面モデルと上記映し込み像の数
値データとに基づいて上記被検査面のモデル式を設定す
るモデル式設定部と、このモデル式と上記特定部位に対
する上記撮像手段の視線とに基づいて該特定部位の三次
元位置を求める演算処理を行う演算処理部とを有してい
ることを特徴としたものである。

【００１４】更に、本願の請求項６に係る発明(以下、
第６の発明という)は、上記第５の発明において、上記
演算処理部は、上記モデル式で表示される三次元曲面上
において上記特定部位の撮像画像上の二次元位置に対応
する第１近似部位を求める第１演算ステップと、上記第
１近似部位における上記三次元曲面の接平面を求める第
２演算ステップと、該接平面と上記撮像手段の視線との
交点を求める第３演算ステップと、上記三次元曲面上に
おいて該交点に対応する第２近似部位を求める第４演算
ステップとを含む演算処理を行うことを特徴としたもの
である。

【００１５】また、更に、本願の請求項７に係る発明
(以下、第７の発明という)は、上記第６の発明におい
て、上記演算処理部は、上記第４演算ステップの後に、
求められた近似部位における上記三次元曲面の接平面を
求める第５演算ステップと、該接平面と上記撮像手段の
視線との交点を求める第６演算ステップと、上記三次元
曲面上において該交点に対応する近似部位を求める第７
演算ステップとを順次実行する演算サブルーチンを含む
演算処理を行うことを特徴としたものである。

【００１６】また、更に、本願の請求項８に係る発明
(以下、第８の発明という)は、上記第７の発明におい
て、上記演算処理部は、上記演算サブルーチンを所定回
数繰り返して実行することを特徴としたものである。

【００１７】また、更に、本願の請求項９に係る発明
(以下、第９の発明という)は、上記第５〜第８の発明の
いずれか一において、上記特定部位は上記被検査面上の
表面欠陥部位であり、上記演算処理部は、上記被検査面
に対する上記特定部位における法線方向を演算する法線
方向演算部を有しており、上記三次元位置検出手段は、
上記特定部位の三次元位置を示すデータと上記法線方向
を示すデータとを、上記被検査面の表面欠陥部位を自動
的に研摩するロボット装置に出力することを特徴とした
ものである。

【００１８】

【発明の効果】本願の第１の発明によれば、上記照明光
の映し込み像に対応する検査面モデルを選択することで
被検査面の曲面の種類を特定することができ、この選択
された検査面モデルと上記映し込み像の数値データとに
基づいてモデル式を設定することで被検査面の曲面特性
を数値的に表現することができる。そして、このモデル
式と上記特定部位に対する上記撮像手段の視線とに基づ
いて演算処理を行うことにより、上記特定部位の三次元
位置を求めることができる。すなわち、従来のように、
特に大掛かりで大容量の装置を用いることなく、比較的
簡単な構成で、曲面状の被検査面上における表面状態を
検査し、その検査によって認識された特定部位の三次元
位置を検出することができる。

【００１９】また、本願の第２の発明によれば、基本的
には、上記第１の発明と同様の効果を奏することができ
る。特に、上記演算処理は上記第１〜第４の演算ステッ
プを含んでおり、これら演算ステップを順次実行するこ
とにより、上記特定部位の撮像画像上の二次元位置に基
づいて第１近似部位を求め、更に、この第１近似部位よ
りも上記モデル式で表示される三次元曲面上における上
記特定部位の実際の位置により近い第２近似部位を求め
ることができる。すなわち、上記三次元曲面上における
特定部位の位置の検出精度を高めることができる。

【００２０】更に、本願の第３の発明によれば、基本的
には、上記第２の発明と同様の効果を奏することができ
る。しかも、その上、上記演算処理は上記演算サブルー
チンを含んでおり、上記第４演算ステップの後にこの演
算サブルーチンを実行することにより、上記第２近似部
位よりも上記三次元曲面上における特定部位の実際の位
置により近い近似部位を求めることができる。すなわ
ち、上記三次元曲面上における上記特定部位の位置の検
出精度をより高めることができる。

【００２１】また、更に、本願の第４の発明によれば、
基本的には、上記第３の発明と同様の効果を奏すること
ができる。しかも、その上、上記演算処理は上記演算サ
ブルーチンを所定回数繰り返して実行するものであるの
で、上記三次元曲面上における上記特定部位の位置の検
出精度をより一層高めることができる。特に、この場
合、演算サブルーチンの繰り返し回数に応じて位置検出
精度を高めることができ、上記繰り返し回数をできるだ
け多くすることにより、更に一層高精度の位置検出を行
うことができる。

【００２２】また、本願の第５の発明によれば、上記表
面状態検査装置は、上記認識手段で認識された上記特定
部位の三次元位置を検出する三次元位置検出手段を備
え、該三次元位置検出手段には上記検査面モデル選択部
とモデル式設定部と演算処理部とが設けられているの
で、上記検査面モデル選択部により照明光の映し込み像
に対応する検査面モデルを選択することで被検査面の曲
面の種類を特定することができ、この選択された検査面
モデルと上記映し込み像の数値データとに基づいて、上
記モデル式設定部によりモデル式を設定することで被検
査面の曲面特性を数値的に表現することができる。そし
て、上記演算処理部で、このモデル式と上記特定部位に
対する上記撮像手段の視線とに基づいて演算処理を行う
ことにより、上記特定部位の三次元位置を求めることが
できる。すなわち、従来のように、特に大掛かりで大容
量の装置を用いることなく、比較的簡単な構成で、曲面
状の被検査面上における表面状態を検査し、その検査に
よって認識された特定部位の三次元位置を検出すること
ができる。

【００２３】また、更に、本願の第６の発明によれば、
基本的には、上記第５の発明と同様の効果を奏すること
ができる。特に、上記演算処理は上記第１〜第４の演算
ステップを含んでおり、これら演算ステップを順次実行
することにより、上記特定部位の撮像画像上の二次元位
置に基づいて第１近似部位を求め、更に、この第１近似
部位よりも上記モデル式で表示される三次元曲面上にお
ける上記特定部位の実際の位置により近い第２近似部位
を求めることができる。すなわち、上記三次元曲面上に
おける特定部位の位置の検出精度を高めることができ
る。

【００２４】また、更に、本願の第７の発明によれば、
基本的には、上記第６の発明と同様の効果を奏すること
ができる。しかも、その上、上記演算処理は上記演算サ
ブルーチンを含んでおり、上記第４演算ステップの後に
この演算サブルーチンを実行することにより、上記第２
近似部位よりも上記三次元曲面上における特定部位の実
際の位置により近い近似部位を求めることができる。す
なわち、上記三次元曲面上における上記特定部位の位置
の検出精度をより高めることができる。

【００２５】また、更に、本願の第８の発明によれば、
基本的には、上記第７の発明と同様の効果を奏すること
ができる。しかも、その上、上記演算処理は上記演算サ
ブルーチンを所定回数繰り返して実行するものであるの
で、上記三次元曲面上における上記特定部位の位置の検
出精度をより一層高めることができる。特に、この場
合、演算サブルーチンの繰り返し回数に応じて位置検出
精度を高めることができ、上記繰り返し回数をできるだ
け多くすることにより、更に一層高精度の位置検出を行
うことができる。

【００２６】また、更に、本願の第９の発明によれば、
基本的には、上記第５〜第８の発明のいずれか一と同様
の効果を奏することができる。特に、この場合、上記特
定部位は上記被検査面上の表面欠陥部位であり、上記三
次元位置検出手段は、上記特定部位の三次元位置を示す
データと上記被検査面に対する上記特定部位における法
線方向を示すデータとを、上記被検査面の表面欠陥部位
を自動的に研摩するロボット装置に出力するので、該ロ
ボット装置に表面欠陥部位を自動研摩させるに際して、
研摩すべき部位の位置精度を高め、かつ、研摩すべき部
位に対して被検査面の法線方向に基づく適正な研摩方向
を設定することができ、上記表面欠陥部位に対して良好
な補修作業を行うことができるようになる。

【００２７】

【実施例】以下、この発明の実施例を、例えば、自動車
の車体表面の塗装欠陥検査に適用した場合について、添
付図面を参照しながら説明する。図１は、本実施例に係
る表面状態検査装置３０を備えた塗装検査ステーション
２０の全体構成を概略的に示す構成説明図である。この
図に示すように、上記表面状態検査装置３０は、車体２
６の塗装検査ステーション２０において台座Ｂに載せら
れたロボット装置２１を備えるとともに、ホストコンピ
ュータ３１とロボットコントローラ３２と画像処理プロ
セッサ３３を主要な構成要素として備えている。上記ロ
ボット装置２１には、その先端アーム２２に本願請求項
に記載された光照射手段としての検査用の照明装置２３
と、本願請求項に記載された撮像手段としてのＣＣＤカ
メラ２４とが支持金具２５を介して取り付けられる。こ
れら照明装置２３とＣＣＤカメラ２４とは、塗装検査ス
テーション２０に搬入された車体２６の塗膜面２７をト
レースし、その際、照明装置２３によって照射された光
が、車体２６の表面の塗膜面２７で反射してＣＣＤカメ
ラ２４に入射する。

【００２８】また、このような照明装置２３とＣＣＤカ
メラ２４による塗装欠陥検査においては、ホストコンピ
ュータ３１によって与えられる指令によって、ロボット
コントローラ３２が駆動される。そして、それによるロ
ボットコントローラ３２の信号がロボット装置２１に送
られる。上記ロボット装置２１は、内蔵されている図示
しないアクチュエータが作動し、これにより、ロボット
装置２１は照明装置２３およびＣＣＤカメラ２４が車体
２６の表面をなぞるように、これら照明装置２３および
ＣＣＤカメラ２４を移動させるとともに、ＣＣＤカメラ
２４によって得られるビデオ信号を画像処理プロッセッ
サ３３に出力する。

【００２９】上記画像処理プロッセッサ３３では、ビデ
オ信号を増幅した後に微分し、その微分信号が予め設定
したしきい値を越えるビデオ信号の走査線とこの走査線
上でのタイミングの検出を行い、そのデータをホストコ
ンピュータ３１に伝送して解析させる。これにより、欠
陥部１２の位置の座標および欠陥部１２が凸状であるか
凹状であるかを検出する。この検出結果により、車体２
６の塗装面に存在する塗装の欠陥部１２の凹凸に応じた
補修が行われ、欠陥部１２が凸状であるときは、その突
出部分は小さく削り取られ、上記欠陥部１２が凹状であ
るときは、欠陥部１２を含んで比較的広い範囲で塗膜が
削り取られる。この補修作業は、例えば、上記ロボット
装置２１とは別に設けられた補修用のロボット装置によ
って自動的に行なわれる。尚、この補修作業を上記ロボ
ット装置２１に行わせるようにすることも可能である。

【００３０】図２に示すように、上記照明装置２３は、
より好ましくは、紙面に直交する方向に延びる帯状の発
光面２３aを有し、この発光面２３aから出射される光の
光度(線分mの長さで表されている)がこの発光面２３aに
沿って矢印Ａ₁で示す一つの方向に強から弱に変化する
ように構成されており、上記照明装置２３は、その光の
出射面２３aから出射する光で被検査面２７(塗膜面)を
照射するようになっている。上記塗膜面２７は、鏡面に
近い表面性状を有しており、発光面２３aから照射され
た光は塗膜面２７で略正反射してＣＣＤカメラ２４に入
射することとなるが、この照射光には矢印Ａ₁で示され
る光度勾配が付けられているので、塗膜面２７には、こ
の矢印Ａ₁に対応する方向に、上記光度勾配に対応した
照度勾配を有する光照射領域Ｓが生じ、光照射領域Ｓm
の照度勾配に応じた反射光がＣＣＤカメラ２４のカメラ
視野Ｆ内にとらえられる。

【００３１】これにより、図３に示すように、ＣＣＤカ
メラ２４の撮像領域３５には撮像画像Ｐが得られるが、
この撮像画像Ｐ中において、上記帯状の発光面２３aは
(つまり、この発光面２３aから照射された照明光は)Ｘ
方向に延びる映し込み像Ｐsとして映し込まれる。この
映し込み像Ｐsは、上記矢印Ａ₁で示される方向に対応し
た方向(Ｙ方向)に明から暗に明るさが漸変する一方、Ｙ
方向と直交するＸ方向には明るさが一定の画像となる。

【００３２】このような照明状態において、塗膜面２７
に凹状の欠陥部６が生じていると、この欠陥部６で照明
装置２３からの光の正反射方向が変化する。この光の正
反射方向の変化により、上記映し込み像Ｐsは、上記欠
陥部６に対応する部位において画素の輝度(つまり明る
さ)の変化状態が他の部分とは異なったものとなる。す
なわち、照明装置２３の発光面２３aの光度が比較的大
きい位置２３Ａからの光が、主として凹状欠陥部６の発
光面２３aと対向する側の面６aに当たって正反射の方向
が変化し、その一部がＣＣＤカメラ２４に入射する。一
方、凹状欠陥部６の上記面６aと反対側の面６bには、上
記発光面２３aの光度が比較的小さい位置２３Ｂからの
光しか入射せず、ＣＣＤカメラ２４には凹状欠陥部６の
上記反対側の面６bからは光が殆ど入射しない。

【００３３】従って、ＣＣＤカメラ２４の撮像領域３５
中の照明光の映し込み像Ｐsは、図３に示すように、Ｙ
方向で凹状欠陥部６の左側部に位置する画素が他の一般
部位の画素よりも暗くなり、この左側部を過ぎた部位に
位置する画素は他の一般部位の画素よりも明るくなる。
尚、欠陥部が凸状のものである場合には、上記と逆にな
り、図３におけるＹ方向に沿って、欠陥部の左側部に位
置する画素が他の一般部位の画素よりも明るくなり、こ
の左側部を過ぎた部位に位置する画素は他の一般部位の
画素よりも暗くなる。このように、照明光に与えられた
光度勾配の方向と欠陥部での明暗の現れ方によって、欠
陥が検出された場合、それが凹状のものであるか凸状の
ものであるかを容易に検知することができる。

【００３４】ＣＣＤカメラ２４は、その撮像画像Ｐの明
るさの変化に応じて変化するビデオ信号を上記画像処理
プロセッサ３３に出力する。画像処理プロセッサ３３に
入力された映し込み像Ｐsの明るさを示すビデオ信号
の、凹状欠陥部６の付近におけるＹ方向の一走査線上の
信号レベルは、図４に示すようになる。このようなビデ
オ信号に基づいて、各画素の濃淡(明るさ)レベルを所定
の閾値によって２値化処理して欠陥検出を行うことがで
きる。つまり、各画素の濃淡値を予め設定された基準値
(閾値)と比較し、この基準値を越えるか否かで欠陥部の
存在を検知することができる。

【００３５】また、上記のようなビデオ信号を微分処理
することにより、信号レベルが大きく変化する部分とし
て欠陥部を検出することができる。すなわち、上記凹状
欠陥部６の付近におけるＹ方向の一走査線上についての
ビデオ信号を微分処理およびその絶対値化処理を行うこ
とにより、ビデオ信号は図５に示すような３つのピーク
を有する信号に変換される。この３つのピークのうち、
ピークＡおよびピークＣは凹状欠陥部６の外周縁部分を
表すものであり、ピークＢは凹状欠陥部６の領域中にお
いて信号レベルが特に大きく変化する部分を示してい
る。

【００３６】上記ホストコンピュータ３１は、上記２値
化画像と、より好ましくは、上記微分処理の結果に基づ
いて欠陥判定を行う。この場合、上記ピークＡ及びピー
クＣにより凹状欠陥部６の穴径を算出し、ピークＢによ
り欠陥部６の位置を算出する。更に、欠陥部６の位置に
おける信号レベル(ピークＢ)に基づいて、映し込み像Ｐ
s中における欠陥部６の明るさを検出し、この検出され
た明るさと上述のようにして得られた凹状欠陥部６の穴
径から欠陥部６の深さを算出することができる。尚、本
実施例では、欠陥部６の検出精度をより高めるために、
上記の微分処理は、図３におけるＹ方向だけでなくＸ方
向についても行なわれるようになっている。

【００３７】ところで、上記のような画像処理データに
基づいて欠陥部の位置を検知する場合、被検査面が平面
状であれば正確な位置を知ることができるのであるが、
被検査面が曲面状のものである場合には、前述のよう
に、欠陥部の位置検出精度が低下することになる。本実
施例では、被検査面の曲面の形状や曲率等の曲面特性が
照明光の映し込み像Ｐsの形状や大きさに反映されるこ
とを利用して、被検査面が曲面状の場合でも、演算処理
によって欠陥部の三次元位置を精度良く検出し、更に
は、この欠陥部における被検査面上の法線方向を検出す
ることにより、欠陥部の補修を行う際の研摩作業を適正
に行うことができるようにしている。

【００３８】以下、欠陥部の三次元位置および被検査面
に対する法線方向の検出方法について説明する。図６
は、上記ホストコンピュータ３１の構成の概略を表すブ
ロック構成図である。この図に示すように、上記ホスト
コンピュータ３１は、画像処理プロセッサ３３からの画
像処理データに基づき、上述のようにして被検査面(塗
膜面２７)の表面状態を検査して欠陥部を認識する欠陥
認識部４１と、該欠陥認識部４１で認識された欠陥部の
三次元位置を検出するための三次元位置検出部４２とを
備えている。該三次元位置検出部４２は、後でそれぞれ
詳しく説明するように、予め設定された複数の検査面モ
デルの中からＣＣＤカメラ２４による撮像画像における
照明光の映し込み像Ｐsに対応する検査面モデルを選択
する検査面モデル選択部４３と、この選択された検査面
モデルと上記映し込み像Ｐsの数値データとに基づいて
被検査面のモデル式を設定するモデル式設定部４４と、
このモデル式とと欠陥部に対するＣＣＤカメラ２４の視
線とに基づいて、この欠陥部の三次元位置を求める演算
処理を行う演算処理部４５とを備えている。

【００３９】上記検査面モデルは、各種の曲面形状につ
いて設定されており、例えば、図７(Ａ)〜図７(Ｆ)にそ
の一部の例を示すように、各モデルについて映し込み像
Ｐsを含む画像Ｐを撮像した場合、その映し込み像Ｐsの
形状や大きさはモデル曲面の形状や曲率等の曲面特性を
反映したものとなる。この例では、図７(Ａ)〜図７(Ｆ)
はそれぞれ以下のような曲面の検査面モデルを表してい
る。・図７(Ａ) : 球面モデルで凸状のもの・図７(Ｂ) : 球面モデルで凹状のもの・図７(Ｃ) : 円筒面モデルで凸状のもの・図７(Ｄ) : 円筒面モデルで凹状のもの・図７(Ｅ) : 曲がり円筒面モデルで凸状のもの・図７(Ｆ) : 曲がり円筒面モデルで凹状のもの

【００４０】上記欠陥部６の三次元位置および被検査面
２７に対する法線方向の検出は、以上の構成を有するホ
ストコンピュータ３１により、図８に示すフローチャー
トに従って行なわれる。すなわち、システムがスタート
すると、まず、ステップ＃１で、映し込み像を平板の場
合と比較する。つまり、被検査面２７を撮像して得られ
た撮像画像中の映し込み像について、検査対象領域が平
板状である場合と比較する。具体的には、図１０に示す
ように、得られた画像Ｑ中の映し込み像Ｑsと上下の映
し込み外側領域Ｑoとの境界にそれぞれ３点の基準点Ｕ
１,Ｕ２,Ｕ３及びＬ１,Ｌ２,Ｌ３を設定し、これら６つ
の基準点の上下方向の画素値u₁,u₂,u₃及びl₁,l₂,l₃を測
定する。そして、映し込み像Ｑsの上側境界および下側
境界それぞれの基準点の上下方向の画素値について、以
下の値を演算する。・Ｕ＝u₂−(u₁＋u₃)／２・Ｌ＝l₂−(l₁＋l₃)／２このＵ,Ｌから、モデル選択指標Ｕ・Ｌを求める。

【００４１】次に、このようにして得られたモデル選択
指標Ｕ・Ｌの値を予め設定された閾値a,bと比較すること
により、以下のような基準で検査面モデルの選択が行な
われる(ステップ＃２)。・Ｕ・Ｌ≦a の場合…球面モデル(図７(Ａ),(Ｂ)参照) ・ a＜Ｕ・Ｌ≦b の場合…円筒面モデル(図７(Ｃ),(Ｄ)
参照) ・Ｕ・Ｌ＞b の場合…曲がり円筒面モデル(図７(Ｅ),
(Ｆ)参照) また、これら各場合において、検査対象領域の曲面が凸
状であるか凹状であるかは、対象とした曲面とＣＣＤカ
メラ２４の中心の位置関係等によって定められる。上記
ステップ＃１及びステップ＃２による検査面モデルの選
択は、上記検査面モデル選択部４３によって行なわれ
る。

【００４２】次に、上記のようにして選択された検査面
モデルと上記映し込み像Ｑsの数値データ(像の大きさ
等)とに基づいて被検査面２７のモデル式が設定される
(ステップ＃３)。例えば、図１１に示すように、被検査
面２７が球面状である場合(つまり、球面の一部をなす
場合)、そのモデル式は次式で与えられる。尚、図１
１において、符号Ｍcは検査面モデルＪiの曲面(球面)の
中心を、また、符号ＣdはＣＣＤカメラ２４のカメラピ
ンホール位置をそれぞれ示しており、上記検査面モデル
Ｊi(球面モデル)の中心Ｍc(０,０,z₀)の位置は、映し込
み像Ｑsの大きさによって決定される。・Ｇi(x,y,z)＝x²＋y²＋(z−z₀)²−z₀ ²＝０ … 上記ステップ＃３でモデル式を設定した後、ステップ＃
４で、このモデル式と欠陥部Ｄnに対するＣＣＤカメラ
２４のカメラピンホールＣd(０,０,Ｚc)から見た場合の
視線Ｌeとに基づいて、欠陥部Ｄnの三次元位置を求める
演算処理が行なわれる。

【００４３】この演算処理において、上記視線Ｌeは、
二つの平面(f₁(x,y,z)＝０,f₂(x,y,z)＝０)の交線とし
て表され、位置検出すべき欠陥部ＤnがベクトルＶ(Ｖx,
Ｖy,Ｖz)の方向に見えた場合、視線Ｌeについて次の条
件式が成立する。・ x／Ｖx＝y／Ｖy＝(z−Ｚc)／Ｖz この条件式より、視線Ｌeを定める方程式として以下の
二式が得られる。・ f₁(x,y,z)＝Ｖy・x−Ｖx・y＝０ … ・ f₂(x,y,z)＝Ｖz・y−Ｖy(z−Ｚc)＝０ … また、検査面モデルＪi上のある点Ｔ(Ｘt,Ｙt,Ｚt)での
法線ベクトルは、次式で与えられる。・（∂Ｇｉ／∂ｘ│_Xt，∂Ｇｉ／∂ｙ│_Yt，∂Ｇｉ／∂ｚ│_Zt）＝（２Ｘt，２Ｙt，２（Ｚt−Ｚo））そして、上記点Ｔでの接平面(Ｈi(x,y,z)＝０)は次式で
与えられる。・Ｈi(x,y,z)＝Ｘt(x−Ｘt)＋Ｙt(y−Ｙt)＋(Ｚt−Ｚo)(z−Ｚt)＝０ … 尚、ここで、検査面モデルＪi,モデル式Ｇi及び接平面
の式Ｈiの添字iは、検査面モデルＪiのモデル番号に対
応するものであある。

【００４４】次に、上記ステップ＃４の演算処理の具体
的な処理内容について、選択された検査面モデルが球面
状のものである場合を例にとって、図９のフローチャー
トを参照しながら説明する。この演算処理がスタートす
ると、まず、ステップ＃１０で、欠陥部Ｄnの二次元位
置の演算が行なわれる。具体的には、座標原点Ｏ(０,
０,０)における検査面モデルの接平面Ｈioを初期平面と
して仮想し、この初期平面Ｈioと視線Ｌeとの交点Ｄo
(Ｘo,Ｙo,Ｚo)を演算する。この場合、ＣＣＤカメラ２
４のカメラピンホールＣdをz軸上に位置させることによ
り、ＣＣＤカメラ２４による撮像画像平面は上記初期平
面Ｈioで表されることになる。従って、この初期平面Ｈ
ioと視線Ｌeとの交点Ｄoは、欠陥部Ｄnの撮像画像Ｑ上
の位置を表している。この交点Ｄoの演算(つまり、この
場合、交点Ｄoのz座標は０であるので、欠陥部Ｄnの二
次元位置の演算を意味する)は、上記,,の各式を
連立させて線形計算によって行なわれる。

【００４５】次に、ステップ＃１１で、モデル式Ｇiで
表される三次元曲面(選択された検査面モデルＪi)上に
おいて欠陥部Ｄnの二次元位置(つまり交点Ｄo)に対応す
る近似部位(第１近似部位Ｄ１)を演算で求める。すなわ
ち、上記交点Ｄoからz軸に平行な直線を検査面モデルＪ
i側に描き、この直線と検査面モデルＪiとの交点Ｄ１を
求め、この交点Ｄ１を第１近似部位とする。この場合、
第１近似部位Ｄ１の座標は(Ｘo,Ｙo,(Ｚo²−Ｘo²−Ｙ
o²)¹／²＋Ｚo)で与えられる。

【００４６】次に、ステップ＃１２で、上記検査面モデ
ルＪiの第１近似部位Ｄ１における接平面(第１接平面Ｈ
i１)を求める演算を行う。具体的には、式に第１近似
部位Ｄ１の座標値を代入して第１接平面Ｈi１の式が求
められる。そして、この第１接平面Ｈi１の式(式)と
視線方程式(式及び式)を連立させて、図１２に拡大
して示すように、第１接平面Ｈi１と視線Ｌeとの交点Ｅ
１(第１交点)を求め(ステップ＃１３)、この第１交点Ｅ
１の座標値とモデル式とに基づいてステップ＃１１と同
様の演算を行い、第２近似部位Ｄ２が求められる(ステ
ップ＃１４)。

【００４７】その後、より好ましくは、次の近似部位を
求める演算サブルーチン(ステップ＃１５〜ステップ＃
１７)が実行される。すなわち、上記検査面モデルの第
２近似部位Ｄ２における接平面Ｈi２(次の接平面)を求
める。具体的には、式に第２近似部位Ｄ２の座標値を
代入して次の接平面Ｈi２の式が求められる。そして、
この次の接平面Ｈi２の式(式)と視線方程式(式及び
式)を連立させて、次の接平面Ｈi２と視線Ｌeとの交
点(次の交点)を求め(ステップ＃１６)、この次の交点の
座標値とモデル式とに基づいてステップ＃１１及びステ
ップ＃１４と同様の演算を行い、次の近似部位が求めら
れる(ステップ＃１７)。尚、このステップ＃１５〜ステ
ップ＃１７の演算サブルーチンは、ステップ＃１２〜ス
テップ＃１４と同様の演算を行うものである。

【００４８】上記ステップ＃１５〜ステップ＃１７の演
算サブルーチンは、欠陥部６の位置検出における要求精
度に応じて、予め設定された回数Ｎnだけ繰り返して実
行される。すなわち、新たに求められた近似部位の位置
の演算値をもとにして次の近似部位を求める演算サブル
ーチンが規定回数Ｎnだけ繰り返される。そして、ステ
ップ＃１８で、繰り返し回数Ｎが規定回数Ｎnに達した
か否かが判定され、この判定結果がＹＥＳになるまで、
上記演算サブルーチンが繰り返して実行される。この演
算サブルーチンの繰り返し回数Ｎが多いほど、より精度
の高い位置検出を行うことができる。

【００４９】上記演算サブルーチンの繰り返し回数Ｎが
規定回数Ｎnに達すると(ステップ＃１８:ＹＥＳ)、ステ
ップ＃１９で、上記演算サブルーチンを規定回数(Ｎn
回)繰り返して最終的に得られた近似部位(最終近似部
位)の位置およびこの部位での法線ベクトルの演算値
が、補修用ロボット(不図示)のコントローラ５０(図６
参照)に対して出力される。上記演算値データを受信し
た補修用ロボットは、研摩すべき欠陥部位６の最終近似
部位に対して研摩ツールを位置させ、また、被検査面２
７の法線方向に基づいて研摩ツールの姿勢を制御する。
これにより、適正な研摩方向を設定することができ、上
記表面欠陥部位５に対して良好な補修作業を行うことが
できる。

【００５０】以上、説明したように、本実施例によれ
ば、上記照明光の映し込み像Ｑsに対応する検査面モデ
ルＪiを選択することで被検査面２７の曲面の種類を特
定することができ、この選択された検査面モデルＪiと
上記映し込み像Ｑsの数値データとに基づいてモデル式
Ｇiを設定することで被検査面２７の曲面特性を数値的
に表現することができる。そして、このモデル式Ｇiと
欠陥部位Ｄnに対するＣＣＤカメラ２４からの視線Ｌeと
に基づいて演算処理を行うことにより、上記欠陥部位Ｄ
nの三次元位置を求めることができる。すなわち、従来
のように、特に大掛かりで大容量の装置を用いることな
く、比較的簡単な構成で、曲面状の被検査面２７上にお
ける表面状態を検査し、その検査によって認識された欠
陥部位Ｄnの三次元位置を検出することができるのであ
る。

【００５１】また、特に、上記第１〜第４の演算ステッ
プを順次実行することにより、上記欠陥部位Ｄnの第１
近似部位Ｄ１を求め、更に、この第１近似部位Ｄ１より
も上記モデル式Ｇiで表示される三次元曲面Ｊi上におけ
る欠陥部位Ｄnの実際の位置により近い第２近似部位Ｄ
２を求めることができる。すなわち、上記三次元曲面Ｊ
i上における欠陥部位Ｄnの位置の検出精度を高めること
ができる。

【００５２】更に、上記演算処理は上記ステップ＃１５
〜ステップ＃１７の演算サブルーチンを含んでおり、上
記第４演算ステップの後にこの演算サブルーチンを実行
することにより、上記第２近似部位Ｄ２よりも上記三次
元曲面Ｊi上における欠陥部位Ｄnの実際の位置により近
い次の近似部位を求めることができる。すなわち、上記
三次元曲面Ｊi上における上記欠陥部位Ｄnの位置の検出
精度をより高めることができる。

【００５３】また、更に、上記演算処理は上記演算サブ
ルーチンを所定回数(Ｎn回)繰り返して実行するもので
あるので、上記三次元曲面Ｊi上における上記欠陥部位
Ｄnの位置の検出精度をより一層高めることができる。
特に、この場合、演算サブルーチンの繰り返し回数に応
じて位置検出精度を高めることができ、上記繰り返し回
数をできるだけ多くすることにより、更に一層高精度の
位置検出を行うことができるのである。

【００５４】また、更に、上記三次元位置検出部４２
は、欠陥部位Ｄnの最終近似部位の三次元位置を示すデ
ータと上記検査面モデルＪiに対する上記最終近似部位
における法線ベクトルを示すデータとを、上記被検査面
２７の表面欠陥部位Ｄnを自動的に研摩するロボット装
置(不図示)のコントローラ５０に出力するので、該ロボ
ット装置に表面欠陥部位Ｄnを自動研摩させるに際し
て、研摩すべき部位の位置精度を高め、かつ、研摩すべ
き部位に対して被検査面２７の法線方向に基づく適正な
研摩方向を設定することができ、上記表面欠陥部位Ｄn
に対して良好な補修作業を行うことができるようにな
る。

【００５５】尚、上記実施例は、自動車の車体表面の塗
装欠陥検査に適用した場合についてのものであったが、
本発明は、かかる場合に限らず、その他種々の物品の表
面状態の検査に対して有効に適用することができるもの
である。また、本発明は、以上の実施態様に限定される
ものではなく、その要旨を逸脱しない範囲において、種
々の改良あるいは設計上の変更が可能であることは言う
までもない。

【図面の簡単な説明】

【図１】本発明の実施例に係る表面状態検査装置を備
えた塗装検査ステーションの全体構成を概略的に示す説
明図である。

【図２】上記表面状態検査装置による被検査面の照明
および撮像状態を示す側面説明図である。

【図３】上記表面状態検査装置による撮像画像の一例
を示す平面説明図である。

【図４】被検査面表面に凹状の欠陥部がある場合にお
けるビデオ信号のレベルの一例を示すグラフである。

【図５】上記ビデオ信号に微分処理および絶対値処理
を施した後の信号波形を示すグラフである。

【図６】上記表面状態検査装置のホストコンピュータ
の概略を示すブロック構成図である。

【図７】検査面モデルの画像の例を示す平面説明図で
ある。

【図８】上記表面状態検査装置による欠陥部の三次元
位置の検出を説明するためのフローチャートである。

【図９】上記欠陥部の三次元位置の検出における演算
処理を説明するためのフローチャートである。

【図１０】検査面モデルの選択を説明するための映し
込み画像の平面説明図である。

【図１１】上記演算処理を説明するための図である。

【図１２】図１１の一部を拡大して示す要部拡大図で
ある。

【図１３】従来例に係る表面状態検査方法を示す説明
図である。

【符号の説明】

２３…検査用照明装置２４…ＣＣＤカメラ２７…塗膜面(被検査面) ３０…表面状態検査装置３１…ホストコンピュータ３３…画像処理プロセッサ４１…欠陥認識部４２…三次元位置検出部４３…検査面モデル選択部４４…モデル式設定部４５…演算処理部５０…補修用ロボットコントローラＤ１…第１近似部位Ｄ２…第２近似部位Ｄn…欠陥部位Ｊi…検査面モデルＬe…欠陥部位に対するＣＣＤカメラからの視線Ｐ,Ｑ…撮像画像Ｐs,Ｑs…映し込み像

Claims

【特許請求の範囲】

【請求項１】被検査面に照射された照明光の反射光を
受光して得られた画像に基づいて上記被検査面の表面状
態を検査し、その検査によって認識された特定部位の三
次元位置を検出するようにした表面状態検査方法であっ
て、上記照明光による照射部分を撮像手段の撮像領域中に映
し込むようにして上記被検査面を撮像し、予め設定され
た複数の検査面モデルの中から上記撮像画像における上
記照明光の映し込み像に対応する検査面モデルを選択す
るとともに、該選択された検査面モデルと上記映し込み
像の数値データとに基づいて上記被検査面のモデル式を
設定し、該モデル式と上記特定部位に対する上記撮像手
段の視線とに基づいて該特定部位の三次元位置を求める
演算処理を行うことを特徴とする表面状態検査方法。
【請求項２】上記演算処理は、上記モデル式で表示さ
れる三次元曲面上において上記特定部位の撮像画像上の
二次元位置に対応する第１近似部位を求める第１演算ス
テップと、上記第１近似部位における上記三次元曲面の
接平面を求める第２演算ステップと、該接平面と上記撮
像手段の視線との交点を求める第３演算ステップと、上
記三次元曲面上において該交点に対応する第２近似部位
を求める第４演算ステップとを含むことを特徴とする請
求項１記載の表面状態検査方法。
【請求項３】上記演算処理は、上記第４演算ステップ
の後に、求められた近似部位における上記三次元曲面の
接平面を求める第５演算ステップと、該接平面と上記撮
像手段の視線との交点を求める第６演算ステップと、上
記三次元曲面上において該交点に対応する近似部位を求
める第７演算ステップとを順次実行する演算サブルーチ
ンを含むことを特徴とする請求項２記載の表面状態検査
方法。
【請求項４】上記演算処理は、上記演算サブルーチン
を所定回数繰り返して実行するものであることを特徴と
する請求項３記載の表面状態検査方法。
【請求項５】被検査面に照明光を照射する光照射手段
と、該光照射手段による照射部分を撮像領域中に映し込
むようにして上記被検査面を撮像する撮像手段と、該撮
像手段で得られた撮像画像を画像処理する画像処理手段
と、該画像処理手段の出力データに基づき上記被検査面
の表面状態を検査して特定部位を認識する認識手段と、
該認識手段で認識された上記特定部位の三次元位置を検
出する三次元位置検出手段とを備え、該三次元位置検出
手段は、予め設定された複数の検査面モデルの中から上
記撮像画像における上記照明光の映し込み像に対応する
検査面モデルを選択する検査面モデル選択部と、この選
択された検査面モデルと上記映し込み像の数値データと
に基づいて上記被検査面のモデル式を設定するモデル式
設定部と、このモデル式と上記特定部位に対する上記撮
像手段の視線とに基づいて該特定部位の三次元位置を求
める演算処理を行う演算処理部とを有していることを特
徴とする表面状態検査装置。
【請求項６】上記演算処理部は、上記モデル式で表示
される三次元曲面上において上記特定部位の撮像画像上
の二次元位置に対応する第１近似部位を求める第１演算
ステップと、上記第１近似部位における上記三次元曲面
の接平面を求める第２演算ステップと、該接平面と上記
撮像手段の視線との交点を求める第３演算ステップと、
上記三次元曲面上において該交点に対応する第２近似部
位を求める第４演算ステップとを含む演算処理を行うこ
とを特徴とする請求項５記載の表面状態検査装置。
【請求項７】上記演算処理部は、上記第４演算ステッ
プの後に、求められた近似部位における上記三次元曲面
の接平面を求める第５演算ステップと、該接平面と上記
撮像手段の視線との交点を求める第６演算ステップと、
上記三次元曲面上において該交点に対応する近似部位を
求める第７演算ステップとを順次実行する演算サブルー
チンを含む演算処理を行うことを特徴とする請求項６記
載の表面状態検査装置。
【請求項８】上記演算処理部は、上記演算サブルーチ
ンを所定回数繰り返して実行することを特徴とする請求
項７記載の表面状態検査装置。
【請求項９】上記特定部位は上記被検査面上の表面欠
陥部位であり、上記演算処理部は、上記被検査面に対す
る上記特定部位における法線方向を演算する法線方向演
算部を有しており、上記三次元位置検出手段は、上記特
定部位の三次元位置を示すデータと上記法線方向を示す
データとを、上記被検査面の表面欠陥部位を自動的に研
摩するロボット装置に出力することを特徴とする請求項
５〜請求項８のいずれか一に記載の表面状態検査装置。