JP3667886B2 - 視覚センサを用いた塗布状態検出装置 - Google Patents
視覚センサを用いた塗布状態検出装置 Download PDFInfo
- Publication number
- JP3667886B2 JP3667886B2 JP18269396A JP18269396A JP3667886B2 JP 3667886 B2 JP3667886 B2 JP 3667886B2 JP 18269396 A JP18269396 A JP 18269396A JP 18269396 A JP18269396 A JP 18269396A JP 3667886 B2 JP3667886 B2 JP 3667886B2
- Authority
- JP
- Japan
- Prior art keywords
- application state
- image
- application
- state detection
- geometry condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視覚センサを用いて接着剤、塗料など塗付材料の塗布状態を検出する装置に関する。
【０００２】
【従来の技術】
近年、工場における作業の自動化等の目的で、ＣＣＤカメラ等のカメラ手段を備えた視覚センサが広く用いられている。このような視覚センサを利用した装置の１つとして、塗付材料の塗布状態を検出する装置がある。例えば、モータの製造時に部品同士の固着を確実にするための接着剤の塗布状態を塗布中あるいは塗布後に検出するために、視覚センサを利用した塗布状態検出装置が用いられている。一般に、視覚センサを利用した塗布状態検出装置は、塗布済みの部分と未塗布のテクスチュア（塗布対象物の背景地）とが異なった明度を示すことを利用して塗布部／未塗布部の識別を行なっている。
【０００３】
特に、塗布前の塗布面の画像と塗布後の塗布面の画像とを比較することで塗布済み部分の画像を抽出し、その面積、形状、位置等を知る手法は、個々の塗布対象物のテクスチュアのバラツキの影響を除去出来るという利点を有している（例えば、特開平７−５１１８号公報参照）。
【０００４】
しかし、このような手法を用いても、塗布済みの部分と未塗布部分との識別が正確に行なわれない場合がしばしば生じていた。このような事態の発生は、照明のジオメトリ条件（照明光のあて方に関する幾何学的な条件）に関連があるものと考えられる。
【０００５】
即ち、一般に塗布前後の見え方の差異（検出される明るさの差）はどのような方向から照明光が当てられているかという状況に大きく左右されるから、塗布状態を正確に検出するためには、塗布前後の差異が明瞭になるような方向から照明光を当てることが望まれる。ところが、このような条件を満たす照明光の照射方向（より一般的には幾何学的な条件）を個々のケースについて確実に見い出すことは容易なことではない。
【０００６】
例えば、塗布された塗布材料が塗布面上で盛り上がるような場合、塗布済み領域と未塗布領域（テクスチュア）の間の境界が検出し難くなり易い。図１（ａ），（ｂ）は、その理由を例示的に説明する模式図である。図中、符号Ｗは塗装対象物で塗布面２上に接着剤１が塗布されている。塗布された接着剤１は自身の持つ粘性、表面張力等のため、中央部が盛り上がった形状をなすことが通例である。
【０００７】
今、図１（ａ）中に符号ＦＬｌで示したように、真上方向から照明を行なうと、中央部１ａと周縁部１ｂ，１ｃとでは光の当り方が異なるので、中央部１ａについては塗布前後の差異が明確であるが、周縁部１ｂ，１ｃにおいてはそれが明確でなくなるというようなことが生じ得る。また、図１（ｂ）中に符号ＦＬ２で示したように、図中左上方向から照明を行なうと、照明光が当り易い側の周縁部１ｂから中央部１ａにかけての部分については塗布前後の変化が識別容易となるが、他方側の周縁部１ｃは光の当り方が非常に悪くなり（場合によっては陰影が生じる）、塗布前後の変化が識別困難となる可能性がある。
【０００８】
また、接着剤の光学的性質、検査対象物の色合いや形状、カメラと塗布部の相対的な位置関係、照明光の拡散性の度合等の条件によっては、上記関係が逆転し、図１（ａ）のケースで周縁部１ｂ，１ｃよりも中央部１ａの方が塗布／未塗布の判別が困難になる場合も起こり得る。
【０００９】
以下、本明細書では、塗布前後の差異を視覚センサで認識し易いような照明光の当て方に関する幾何学的な条件を「好適照明ジオメトリ条件」と呼ぶことにする。この表現を借りて言えば、上記のような現象は、「好適照明ジオメトリ条件の不定性」と言うべきものである。そして、従来の装置には、この好適照明ジオメトリ条件の不定性に対する有効な対策がなされていなかっために高い信頼性を以て塗布状態の検出を行えないという問題点があった。
【００１０】
【発明が解決しようとする課題】
そこで、本発明は上記従来技術の問題点を克服することにある。即ち、本発明は、視覚センサを用いた塗布状態検出装置を改良し、好適照明ジオメトリ条件の不定性に関連した塗布状態の検出能力の信頼性の低下を回避する手段を与えることにある。
【００１１】
【問題点を解決するための手段】
本発明は、上記技術課題を解決するために、視覚センサを用いた塗布状態検出装置に、複数種の照明ジオメトリ条件を切換設定する手段と、切換設定される各照明ジオメトリ条件下で未塗布の対象物面を表わすテクスチュア画像を取得する手段と、切換設定される各照明ジオメトリ条件下で少なくとも一部が塗布部で覆われた対象物面を表わす塗布状態画像を取得する手段と、各照明ジオメトリ条件下で取得された塗布状態画像を表わすデータとそれらと各対応する照明ジオメトリ条件下で取得されたテクスチュア画像のデータを比較し、塗布前後の差異を明瞭に表わしている画像データを寄せ集めて最適抽出画像を作成する手段と、最適抽出画像に基づいて塗布状態を判定する手段を具備させたものである。
【００１２】
塗布状態検出装置に、塗布状態画像の取得と、最適抽出画像の作成と、塗布状態の判定を塗布工程の進行中に繰り返し実行させる手段を具備させれば、塗布工程の進行モニタリング手段として用いることが出来る。また、塗布状態画像の取得と、最適抽出画像の作成と、塗布状態の判定を塗布工程の終了後に実行させる手段を具備させれば、１つの塗布工程が完了した対象物の塗布状態の検査手段として用いることが出来る。
【００１３】
典型的な実施形態においては、塗布状態の判定は最適抽出画像に基づいて塗布部の大きさや形状を検出・判定することを通して行なわれる。
【００１４】
本発明の塗布状態検出装置の基本的な特徴は、塗布中あるいは塗布後の塗布状態の検出・判定が、複数の照明ジオメトリ条件で取得されるテクスチュア画像と塗布状態の画像のデータから、塗布前と判定時点における塗布状態の差異を明瞭に表わしている画像データを寄せ集めて再構成される最適抽出画像に基づいて行なわれるので、好適照明ジオメトリ条件の不定性に起因した検出能力の低下が起こり難いということにある。
【００１５】
【発明の実施の形態】
図２は、本発明に係る塗布状態検出装置の要部を構成する視覚センサシステムの一例を示したブロック図である。これを説明すると、１０は画像処理装置であり、中央演算処理装置（以下、ＣＰＵという。）１１を有している。該ＣＰＵ１１には、ＣＣＤカメラ３に接続されたカメラインターフェイス１２、該カメラインターフェイス１２を介して取り込まれた画像信号をグレイスケールに変換して記憶するフレームメモリ（＃１，＃２，＃３・・・）１３、画像処理プロセッサ１４、ＣＰＵ１１を介して画像処理システム各部の動作を制御する為のプログラムを格納したプログラムメモリ１５、画像処理前あるいは画像処理後の画像を表示するモニタ３０（例えばＣＲＴ）に接続されたモニタインターフェイス１６、各種設定値のデータを記憶し、また、演算実行時の一時記憶手段としても使用されるデータメモリ１７及び照明光源切換装置２０及び汎用信号インターフェイス１８が、各々バス１９を介して接続されている。
【００１６】
照明光源切換装置２０は、照明ジオメトリ条件を切り換えるために、複数個（ここでは３個）の照明光源５Ａ，５Ｂ，５Ｃに接続され、ＣＰＵ１１からの指令に従ってこれら照明光源のＯＮ／ＯＦＦの切換を行なう。また、汎用信号インターフェイス１８は塗布装置の塗布制御部７にも接続されており、ＣＰＵ１１からの指令に従って塗布装置のＯＮ／ＯＦＦ、塗付材料供給弁の開放度等を制御する。
【００１７】
以上の構成は、従来の視覚センサシステムに照明光源切換装置２０、塗布制御部等の外部装置を加えたものに相当しているが、ここでは更に、下記に述べる２つの事例１，２に必要な画像処理を実行するための画像処理プログラム及び関連設定値がプログラムメモリ１５及びデータメモリ１７に格納されている。
【００１８】
＜事例１＞；接着剤の塗布量制御のための塗布状態検出
図３は、図２で説明した要部構成を持つ塗布状態検出装置を接着剤の塗布量制御のための塗布状態検出に適用する場合の配置を説明する模式図である。図３において、符号Ｗは塗布対象物で、その塗布面２上に塗布装置の塗布ノズル６から接着剤１が適下される。塗布ノズル６からの接着剤１の適下流量は、塗布制御部（例えば制御弁）７によって制御されている。
【００１９】
接着剤１の塗布状態は、十分な大きさの視野４を有するＣＣＤカメラ３で撮像される。５Ａ，５Ｂ及び５Ｃは、塗布部を異なる方向から照明する照明光源であり、照明光源切換装置２０を介して行なわれる照明光源の選択的点灯によって、塗布部の照明ジオメトリ条件が切り換えられる。なお、ここでは照明光源５Ａ，５Ｂ及び５Ｃに同特性のものを使用する。
【００２０】
以下、接着剤１の塗布量のモニタリングによって、予定された量の接着剤１が塗布された時点で塗布を終了するための手順と処理について、図４、図５のフローチャートを参照図に加えて説明する。なお、カメラの画素数は５１２×５１２とし、各フローチャート及びその説明中で次の記号を使用する。
Ｔ（ｓ）ij；塗布開始前に、ｓ番目の照明ジオメトリ条件で取得される画像（テクスチュア画像）を構成する画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｚ（ｓ）ij；塗布開始後に、ｓ番目の照明ジオメトリ条件で得られる画像（塗布状態モニタリング画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｄij；塗布工程進行中に、塗布状態検出のために作成される画像（最適抽出画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2, ・・512）。
Ｎ［Ｄij］；最適抽出画像について、Ｄij＞ｇを満たす（ｉ，ｊ）の 組の総数。接着剤１が塗布された部分の面積を表わす。但し、 ｇは接着剤１の塗布／未塗布を判定するために設定されるしき い値で、その値は設計的乃至実験的に定められる。
【００２１】
図４には、画像処理装置１０のＣＰＵ１１によって実行される処理の概略が記されている。先ず、ＣＰＵ１１は照明光源切換装置２０に指令を送り、光源５Ａを点灯する（ステップＳ１）。なお、本実施形態では、指定された以外の光源５Ｂ，５Ｃは点灯されない（以下、同様）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、テクスチュア画像Ｔ（１）ijを取得する（ステップＳ２）。取得されたテクスチュア画像Ｔ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の１番目のフレーム＃１に格納される。
【００２２】
同様に、照明光源５Ｂの点灯（ステップＳ３）、第２の照明ジオメトリ条件下（ｓ＝２）でのテクスチュア画像Ｔ（２）ijの取得（ステップＳ４）、照明光源５Ｃの点灯（ステップＳ５）、第３の照明ジオメトリ条件下（ｓ＝３）でのテクスチュア画像Ｔ（３）ijの取得（ステップＳ６）を順次行なう。取得されたテクスチュア画像Ｔ（２）ij，Ｔ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の２，３番目のフレーム＃２，＃３に格納される。
【００２３】
このようにしてテクスチュア画像の取得が完了したならば、ＣＰＵ１１は塗布制御部７に指令を送り、接着剤１の塗布を開始する（ステップＳ７）。そして、ＣＰＵ１１は照明光源切換装置２０に指令を送り、再び光源５Ａを点灯する（ステップＳ８）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、塗布状態モニタリング画像Ｚ（１）ijを取得する（ステップＳ９）。取得された塗布状態モニタリング画像Ｚ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の４番目のフレーム＃４に格納される。
【００２４】
同様に、照明光源５Ｂの点灯（ステップＳ１０）、第２の照明ジオメトリ条件下（ｓ＝２）での塗布状態モニタリング画像Ｚ（２）ijの取得（ステップＳ１１）、照明光源５Ｃの点灯（ステップＳ１２）、第３の照明ジオメトリ条件下（ｓ＝３）での塗布状態モニタリング画像Ｚ（３）ijの取得（ステップＳ１３）を順次行なう。取得された塗布状態モニタリング画像Ｚ（２）ij，Ｚ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の５，６番目のフレーム＃５，＃６に格納される。
【００２５】
そして、フレームメモリ１３のフレーム＃１〜＃６に格納された画像データに基づいて、最適抽出画像Ｄijが画像処理プロセッサ１４を用いて作成される（ステップＳ１４）。本事例で作成される最適抽出画像Ｄijは、複数の照明ジオメトリ条件の下で得られたモニタリング画像を各対応する照明ジオメトリ条件の下で得られたテクスチュア画像と比較し、塗布前後の差異を最も明瞭に表わしている画像データを寄せ集めて最適抽出画像として再構成した画像に相当する。最適抽出画像Ｄij作成のための画像処理の一例を図５のフローチャートに示した。
【００２６】
先ず、画素位置指標ｉ及びｊを１にリセットした上で（ステップＤ１）、フレームメモリ１３のフレーム＃１と＃４、＃２と＃５及び＃３と＃６に格納された画像データの差分に基づいて、画素（ｉ，ｊ）について、｜Ｚ（１）ij−Ｔ（１）ij｜，｜Ｚ（２）ij−Ｔ（２）ij｜，｜Ｚ（３）ij−Ｔ（３）ij｜の内最大のものを決定し、Ｄijのデータとしてフレームメモリ１３の第７番目のフレーム＃７に書き込む（ステップＤ２）。
【００２７】
次いで、指標ｉの１アップ（ステップＤ３）、指標ｉの飽和／未飽和のチェック（ステップＤ４）を行ない、ステップＤ４で指標ｉの飽和が確認されるまで、指標ｉの１アップ（ステップＤ３）とＤijのデータの書込（ステップＤ２）が繰り返される。
【００２８】
指標ｊの１つの値について、ステップＤ４で指標ｉの飽和が確認されると、指標ｉをｉ＝１にリセットした上で（ステップＤ５）、指標ｊを１アップし（ステップＤ６）、指標ｊの飽和／未飽和のチェック（ステップＤ７）を行なう。ステップＤ７で指標ｊの飽和が確認されない限り、再びステップＤ２へ戻って、Ｄijのデータの書込が行なわれる。以下同様に、指標ｉが飽和する毎に、指標ｊをカウントアップしながらＤijのデータが順次の書き込まれる。そして、指標ｉ，ｊの双方が飽和して最適抽出画像Ｄijの作成が完了したら処理を終了する。
再び、図４のフローチャートに戻り、ステップＳ１５では作成された最適抽出画像Ｄijについて、画像信号レベルがしきい値ｇを越えている画素数Ｎを求めて基準値Ｎ0 と比較する。Ｎの値は接着剤１の塗布済みの部分の面積に比例すると考えて良いから、接着剤１の塗布を続けるに従って増大する。従って、予定された塗布量に到達するまではＮ＞Ｎ0 とはならず、ステップＳ１５の判断出力はノーとなる。
【００２９】
そこで、ステップＳ８へ戻り、以下、ステップＳ８〜ステップＳ１５の処理サイクルをステップＳ１５でＮ＞Ｎ0 と判断されるまで繰り返す。やがて、予定された塗布量に到達し、ステップＳ１５の判断出力がイエスとなったら、ＣＰＵ１１は塗布制御部７に指令を送って接着剤１の塗布を終了し（ステップＳ１６）、処理を終了する。
【００３０】
＜事例２＞；接着剤塗布後の良否検査のための塗布状態検出
図６は、図２で説明した要部構成を持つ塗布状態検出装置を接着剤塗布後の良否検査のための塗布状態検出に適用する場合の配置を説明する模式図である。図６に示した全体配置は、事例１で使用した図３に示したものと基本的に同じなので、繰り返し説明は省略する。但し、塗布後に良否検査を行なう配置であることを考慮して、塗布装置に関連した部分は図示を省略した。
【００３１】
図６において、符号Ｗは検査ステーション８上に置かれた塗布対象物である。本事例における塗布対象物Ｗは６角筒状のモータ部品であり、その６角形状の頂面上に接着剤１が塗布されている。この接着剤１は、モータ部品Ｗの頂面上に別の６角形状の部品を固着するためのものであり、下方に併記したように、塗布が良好に行なわれた場合には接着剤１は６角形状の頂面を１周する輪帯状に塗布される。これに対して、この輪帯に途切れ部９が生じた場合には、固着が不完全になる恐れがあり、塗布状態としは不良となる。
【００３２】
そこで、本事例では、検査後に前記事例と同様の手法を用いて接着剤塗布部の最適抽出画像を作成し、途切れ部９の有無を判定することで塗布状態の良否を判定する手順と処理について、図７、図８のフローチャートを参照図に加えて説明する。なお、事例１の場合と同じくカメラの画素数は５１２×５１２とし、次の意味で共通の記号を次の意味で使用する。但し、記号Ｎ［Ｄij］は使用しない。
【００３３】
Ｔ（ｓ）ij；事例１と同じく、塗布開始前にｓ番目の照明ジオメトリ条件で取得される画像（テクスチュア画像）を構成する画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｚ（ｓ）ij；塗布完了後（検査時）に、ｓ番目の照明ジオメトリ条件で得られる画像（塗布状態検査画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｄij；塗布完了後（検査時）に、塗布状態検出のために作成される画像（最適抽出画像）の各画素（ｉ，ｊ）の画像信号レベル（i, j=1,2,・・512）。
【００３４】
図７には、画像処理装置１０のＣＰＵ１１によって実行される処理の概略が記されている。テクスチュア画像を取得するためのステップＭ１〜Ｍ６は、前述のステップＳ１〜Ｓ６と同じである。即ち、先ず照明光源切換装置２０に指令を送り、光源５Ａを点灯し（ステップＭ１）、第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、テクスチュア画像Ｔ（１）ijを取得する（ステップＭ２）。取得されたテクスチュア画像Ｔ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の１番目のフレーム＃１に格納される。
【００３５】
同様に、照明光源５Ｂの点灯（ステップＭ３）、第２の照明ジオメトリ条件下（ｓ＝２）でのテクスチュア画像Ｔ（２）ijの取得（ステップＭ４）、照明光源５Ｃの点灯（ステップＭ５）、第３の照明ジオメトリ条件下（ｓ＝３）でのテクスチュア画像Ｔ（３）ijの取得（ステップＭ６）を順次行なう。取得されたテクスチュア画像Ｔ（２）ij，Ｔ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の２，３番目のフレーム＃２，＃３に格納される。
【００３６】
ここまでのテクスチュア画像取得のステップは、塗布開始前に行なわれる。そして、外部信号の受信等で塗布工程の完了を検出したならば、ステップＭ７以下に進む。なお、塗布工程は検査ステーション８とは別の場所で遂行されても良いが、テクスチュア画像取得時（ステップＭ１〜Ｍ６）と以下に述べる検査画像取得時（ステップＭ７〜Ｍ１２）は、照明光源５Ａ〜５Ｃ及びカメラ３に関して同じ位置決め状態の下で遂行される。
【００３７】
検査時には、先ずＣＰＵ１１は照明光源切換装置２０に指令を送り、再び光源５Ａを点灯する（ステップＭ７）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、塗布状態検査画像Ｚ（１）ijを取得する（ステップＭ８）。取得された塗布状態検査画像Ｚ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の４番目のフレーム＃４に格納される。
【００３８】
同様に、照明光源５Ｂの点灯（ステップＭ９）、第２の照明ジオメトリ条件下（ｓ＝２）での塗布状態検査画像Ｚ（２）ijの取得（ステップＭ１０）、照明光源５Ｃの点灯（ステップＭ１１）、第３の照明ジオメトリ条件下（ｓ＝３）での塗布状態検査画像Ｚ（３）ijの取得（ステップＭ１２）を順次行なう。取得された塗布状態検査画像Ｚ（２）ij，Ｚ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の５，６番目のフレーム＃５，＃６に格納される。
【００３９】
そして、フレームメモリ１３のフレーム＃１〜＃６に格納された画像データに基づいて、最適抽出画像Ｄijが画像処理プロセッサ１４を用いて作成される（ステップＭ１３）。本事例において作成される最適抽出画像Ｄijは、複数の照明ジオメトリ条件の下で得られた塗布状態検査画像を各対応する照明ジオメトリ条件の下で得られたテクスチュア画像と比較し、塗布前後の差異を最も明瞭に表わしている画像データを寄せ集めて抽出画像として再構成した画像に相当している。
【００４０】
最適抽出画像Ｄij作成は、事例１で説明した図５のフローチャートに従った処理によって実行出来るので、繰り返し説明は省略する。なお、フローチャート中の記号Ｚ（ｓ）ijは塗布状態検査画像と解釈する。
【００４１】
続くステップＭ１４では、作成された最適抽出画像Ｄijについて、塗布状態の良／不良の判定が行なわれる。図６を参照して述べたように、本事例における塗布状態の良／不良の判定は、帯状の塗布部に途切れ部９が存在するか否かで判定される。最適抽出画像Ｄijは、背景（テクスチュア）を消去して帯状の塗布部を最適抽出画像として再構成したものであるから、最適抽出画像Ｄijについて、それが閉じた輪帯を形成しているか否かを判定すれば良いことになる。
【００４２】
このような判定を行なう画像処理のアルゴリズムは種々のものが周知であり、ここでもそれを利用することが出来る（株式会社昭晃堂発行人工知能シリーズ第１１巻：谷内田正彦著、「ロボットビジョン」、第４８〜第５１頁、第１０１〜第１０３頁参照）。そこで、２つの例を挙げ、フローチャート（図８；途切れ部有無判定処理、図９；途切れ部有無判定処理２、２値化画像の説明図（図１０）並びにｒ（θ）曲線の説明図（図１１）を参照して簡単に説明すれば次のようになる。
【００４３】
（１）途切れ部有無判定処理１；先ず、最適抽出画像Ｄijを２値化する（ステップＫ１）。そして、２値画像に対してラベルづけによる方法、ランレングス法などを適用し（前掲書第４８〜第５１頁参照）、値０を持つ領域の数を判定する（ステップＫ２）。塗布状態が良好であれば、２値画像は図１０中の画像１のように輪状の値１の領域で値０の領域が２つに分断されたものとなり（値０を持つ領域の数が２）、塗布状態が不良（途切れ部１個；図３参照）であれば図１０中の画像２のように、値１の領域に途切れ部Ａが生じ、値０の領域が１つにつながった画像（値０を持つ領域の数が１）が得られる。
【００４４】
そこで、値０の領域が２個であれば原画像Ｄijが閉じた輪帯を形成していると判定され（ステップＫ３でイエス）、それ以外のケースは少なくとも１個の途切れ部があると判定される（ステップＫ３でノー）。ステップＫ３の判断がイエス（即ち、ステップＭ１４の判断がノー）の場合は、ステップＭ１５へ進み塗布状態良好の信号を出力する。また、ステップＫ３の判断がノー（即ち、ステップＭ１４の判断がイエス）の場合は、ステップＭ１６へ進み塗布状態不良のアラーム信号を出力する。
【００４５】
（２）途切れ部有無判定処理２；途切れ部有無判定処理１と同じく、最適抽出画像Ｄijを２値化する（ステップＬ１）。得られる２値画像は上記した途切れ部有無判定処理１の場合と同じである（図１０参照）。次いで、この２値画像について、ｒ（θ）曲線を作成する（ステップＬ２）。図１１に例示したように、途切れ部に向かう方向に対応する範囲（θ1 ＜θ＜θ2 ）では、画像重心Ｇからθ方向に引いた直線と２値化された画像の輪郭線との交点（２つある場合には、重心Ｇに近い方を選ぶ。）が存在しなくなることを利用して、途切れ部の有無を判定する（ステップＬ３）。
【００４６】
本途切れ部有無判定処理２を適用した場合、ステップＬ３の判断がイエス（即ち、ステップＭ１４の判断がノー）であればステップＭ１５へ進み塗布状態良好の信号を出力する。また、ステップＫ３の判断がノー（即ち、ステップＭ１４の判断がイエス）の場合は、ステップＭ１６へ進み塗布状態不良のアラーム信号を出力する。
【００４７】
以上、３個の同特性の照明光源を択一的に点灯して３種のジオメトリ条件を設定して最適抽出画像を作成する２つ事例について説明したが、ジオメトリ条件の数や設定方法は、これに限るものではない。例えば、異なる特性（光度、スペクトル、拡散性など）を有する複数の照明光源を配置して切り換える方式としても良いし、また、１つのジオメトリ条件で２個以上の照明光源を点灯しても良い。
【００４８】
なお、設定される複数のジオメトリ条件について、テクスチュア画像の画像信号レベルが大きく異なる場合には、各ジオメトリ条件下で取得される画像間で画像信号レベルを規格化することが好ましい。画像の規格化は、例えば、最初のジオメトリ条件下で得られたテクスチュア画像の画像信号レベルの平均値を基準として、他のジオメトリ条件下で得られたテクスチュア画像の画像信号レベルの平均値との比を計算し、２番目以降の各ジオメトリ条件で得られた各画像について各々規格化定数γ2 ，γ3 ・・・を乗じてから、最適抽出画像を構成すれば良い。
【００４９】
【発明の効果】
本発明の塗布状態検出装置によれば、好適照明ジオメトリ条件の不定性に関連して塗布状態の検出能力が低下することが避けられる。従って、本発明の塗布状態検出装置を塗布工程中あるいは工程後の塗布状態のモニタリングや良否検査に適用した場合、塗布工程システム全体の信頼性が向上する。
【図面の簡単な説明】
【図１】塗布面上で塗布部が盛り上がる場合を例にとって、好適ジオメトリ条件の不定性について説明する図で、（ａ）は真上方向から照明を行なったケース、（ｂ）は斜め上方向から照明を行なったケースを表わしている。
【図２】本発明に係る塗布状態検出装置の要部を構成する視覚センサシステムの一例を示したブロック図である。
【図３】図２で説明した要部構成を持つ塗布状態検出装置を接着剤の塗布量制御のための塗布状態検出に適用する場合の配置を説明する模式図である。
【図４】事例１において、画像処理装置１０のＣＰＵ１１が実行する処理の概略を記したフローチャートである。
【図５】最適抽出画像Ｄij作成のための画像処理の一例を説明するフローチャートである。
【図６】図２で説明した要部構成を持つ塗布状態検出装置を接着剤塗布後の良否検査のための塗布状態検出に適用する場合の配置を説明する模式図である。
【図７】事例２において、画像処理装置１０のＣＰＵ１１が実行する処理の概略を記したフローチャートである。
【図８】途切れ部有無判定処理１について説明するフローチャートである。
【図９】途切れ部有無判定処理２について説明するフローチャートである。
【図１０】塗布状態良好時と塗布状態不良時の２値化画像を例示した図である。
【図１１】塗布状態良好時と塗布状態不良時のｒ（θ）曲線について説明する図である。
【符号の説明】
１ 接着剤（塗布部）
１ａ 接着剤（塗布部）の中央部
１ｂ，１ｃ 接着剤（塗布部）の縁部
２ テクスチュア（塗布面）
３ カメラ
４ カメラの視野
５Ａ，５Ｂ，５Ｃ 照明光源
６ 塗布ノズル
７ 塗布制御部（制御弁）
８ 検査ステーション
９ 途切れ部
１０ 画像処理装置
１１ 中央演算処理装置（ＣＰＵ）
１２ カメラインターフェイス
１３ フレームメモリ
１４ 画像処理プロセッサ
１５ プログラムメモリ
３０ モニタ
１６ モニタインターフェイス
１７ データメモリ
１８ 汎用信号インターフェイス
１９ バス
２０ 照明光源切換装置
Ａ ２値画像上の途切れ部
ＦＬ１，ＦＬ２ 照明光束
Ｗ 塗布対象物
【発明の属する技術分野】
本発明は、視覚センサを用いて接着剤、塗料など塗付材料の塗布状態を検出する装置に関する。
【０００２】
【従来の技術】
近年、工場における作業の自動化等の目的で、ＣＣＤカメラ等のカメラ手段を備えた視覚センサが広く用いられている。このような視覚センサを利用した装置の１つとして、塗付材料の塗布状態を検出する装置がある。例えば、モータの製造時に部品同士の固着を確実にするための接着剤の塗布状態を塗布中あるいは塗布後に検出するために、視覚センサを利用した塗布状態検出装置が用いられている。一般に、視覚センサを利用した塗布状態検出装置は、塗布済みの部分と未塗布のテクスチュア（塗布対象物の背景地）とが異なった明度を示すことを利用して塗布部／未塗布部の識別を行なっている。
【０００３】
特に、塗布前の塗布面の画像と塗布後の塗布面の画像とを比較することで塗布済み部分の画像を抽出し、その面積、形状、位置等を知る手法は、個々の塗布対象物のテクスチュアのバラツキの影響を除去出来るという利点を有している（例えば、特開平７−５１１８号公報参照）。
【０００４】
しかし、このような手法を用いても、塗布済みの部分と未塗布部分との識別が正確に行なわれない場合がしばしば生じていた。このような事態の発生は、照明のジオメトリ条件（照明光のあて方に関する幾何学的な条件）に関連があるものと考えられる。
【０００５】
即ち、一般に塗布前後の見え方の差異（検出される明るさの差）はどのような方向から照明光が当てられているかという状況に大きく左右されるから、塗布状態を正確に検出するためには、塗布前後の差異が明瞭になるような方向から照明光を当てることが望まれる。ところが、このような条件を満たす照明光の照射方向（より一般的には幾何学的な条件）を個々のケースについて確実に見い出すことは容易なことではない。
【０００６】
例えば、塗布された塗布材料が塗布面上で盛り上がるような場合、塗布済み領域と未塗布領域（テクスチュア）の間の境界が検出し難くなり易い。図１（ａ），（ｂ）は、その理由を例示的に説明する模式図である。図中、符号Ｗは塗装対象物で塗布面２上に接着剤１が塗布されている。塗布された接着剤１は自身の持つ粘性、表面張力等のため、中央部が盛り上がった形状をなすことが通例である。
【０００７】
今、図１（ａ）中に符号ＦＬｌで示したように、真上方向から照明を行なうと、中央部１ａと周縁部１ｂ，１ｃとでは光の当り方が異なるので、中央部１ａについては塗布前後の差異が明確であるが、周縁部１ｂ，１ｃにおいてはそれが明確でなくなるというようなことが生じ得る。また、図１（ｂ）中に符号ＦＬ２で示したように、図中左上方向から照明を行なうと、照明光が当り易い側の周縁部１ｂから中央部１ａにかけての部分については塗布前後の変化が識別容易となるが、他方側の周縁部１ｃは光の当り方が非常に悪くなり（場合によっては陰影が生じる）、塗布前後の変化が識別困難となる可能性がある。
【０００８】
また、接着剤の光学的性質、検査対象物の色合いや形状、カメラと塗布部の相対的な位置関係、照明光の拡散性の度合等の条件によっては、上記関係が逆転し、図１（ａ）のケースで周縁部１ｂ，１ｃよりも中央部１ａの方が塗布／未塗布の判別が困難になる場合も起こり得る。
【０００９】
以下、本明細書では、塗布前後の差異を視覚センサで認識し易いような照明光の当て方に関する幾何学的な条件を「好適照明ジオメトリ条件」と呼ぶことにする。この表現を借りて言えば、上記のような現象は、「好適照明ジオメトリ条件の不定性」と言うべきものである。そして、従来の装置には、この好適照明ジオメトリ条件の不定性に対する有効な対策がなされていなかっために高い信頼性を以て塗布状態の検出を行えないという問題点があった。
【００１０】
【発明が解決しようとする課題】
そこで、本発明は上記従来技術の問題点を克服することにある。即ち、本発明は、視覚センサを用いた塗布状態検出装置を改良し、好適照明ジオメトリ条件の不定性に関連した塗布状態の検出能力の信頼性の低下を回避する手段を与えることにある。
【００１１】
【問題点を解決するための手段】
本発明は、上記技術課題を解決するために、視覚センサを用いた塗布状態検出装置に、複数種の照明ジオメトリ条件を切換設定する手段と、切換設定される各照明ジオメトリ条件下で未塗布の対象物面を表わすテクスチュア画像を取得する手段と、切換設定される各照明ジオメトリ条件下で少なくとも一部が塗布部で覆われた対象物面を表わす塗布状態画像を取得する手段と、各照明ジオメトリ条件下で取得された塗布状態画像を表わすデータとそれらと各対応する照明ジオメトリ条件下で取得されたテクスチュア画像のデータを比較し、塗布前後の差異を明瞭に表わしている画像データを寄せ集めて最適抽出画像を作成する手段と、最適抽出画像に基づいて塗布状態を判定する手段を具備させたものである。
【００１２】
塗布状態検出装置に、塗布状態画像の取得と、最適抽出画像の作成と、塗布状態の判定を塗布工程の進行中に繰り返し実行させる手段を具備させれば、塗布工程の進行モニタリング手段として用いることが出来る。また、塗布状態画像の取得と、最適抽出画像の作成と、塗布状態の判定を塗布工程の終了後に実行させる手段を具備させれば、１つの塗布工程が完了した対象物の塗布状態の検査手段として用いることが出来る。
【００１３】
典型的な実施形態においては、塗布状態の判定は最適抽出画像に基づいて塗布部の大きさや形状を検出・判定することを通して行なわれる。
【００１４】
本発明の塗布状態検出装置の基本的な特徴は、塗布中あるいは塗布後の塗布状態の検出・判定が、複数の照明ジオメトリ条件で取得されるテクスチュア画像と塗布状態の画像のデータから、塗布前と判定時点における塗布状態の差異を明瞭に表わしている画像データを寄せ集めて再構成される最適抽出画像に基づいて行なわれるので、好適照明ジオメトリ条件の不定性に起因した検出能力の低下が起こり難いということにある。
【００１５】
【発明の実施の形態】
図２は、本発明に係る塗布状態検出装置の要部を構成する視覚センサシステムの一例を示したブロック図である。これを説明すると、１０は画像処理装置であり、中央演算処理装置（以下、ＣＰＵという。）１１を有している。該ＣＰＵ１１には、ＣＣＤカメラ３に接続されたカメラインターフェイス１２、該カメラインターフェイス１２を介して取り込まれた画像信号をグレイスケールに変換して記憶するフレームメモリ（＃１，＃２，＃３・・・）１３、画像処理プロセッサ１４、ＣＰＵ１１を介して画像処理システム各部の動作を制御する為のプログラムを格納したプログラムメモリ１５、画像処理前あるいは画像処理後の画像を表示するモニタ３０（例えばＣＲＴ）に接続されたモニタインターフェイス１６、各種設定値のデータを記憶し、また、演算実行時の一時記憶手段としても使用されるデータメモリ１７及び照明光源切換装置２０及び汎用信号インターフェイス１８が、各々バス１９を介して接続されている。
【００１６】
照明光源切換装置２０は、照明ジオメトリ条件を切り換えるために、複数個（ここでは３個）の照明光源５Ａ，５Ｂ，５Ｃに接続され、ＣＰＵ１１からの指令に従ってこれら照明光源のＯＮ／ＯＦＦの切換を行なう。また、汎用信号インターフェイス１８は塗布装置の塗布制御部７にも接続されており、ＣＰＵ１１からの指令に従って塗布装置のＯＮ／ＯＦＦ、塗付材料供給弁の開放度等を制御する。
【００１７】
以上の構成は、従来の視覚センサシステムに照明光源切換装置２０、塗布制御部等の外部装置を加えたものに相当しているが、ここでは更に、下記に述べる２つの事例１，２に必要な画像処理を実行するための画像処理プログラム及び関連設定値がプログラムメモリ１５及びデータメモリ１７に格納されている。
【００１８】
＜事例１＞；接着剤の塗布量制御のための塗布状態検出
図３は、図２で説明した要部構成を持つ塗布状態検出装置を接着剤の塗布量制御のための塗布状態検出に適用する場合の配置を説明する模式図である。図３において、符号Ｗは塗布対象物で、その塗布面２上に塗布装置の塗布ノズル６から接着剤１が適下される。塗布ノズル６からの接着剤１の適下流量は、塗布制御部（例えば制御弁）７によって制御されている。
【００１９】
接着剤１の塗布状態は、十分な大きさの視野４を有するＣＣＤカメラ３で撮像される。５Ａ，５Ｂ及び５Ｃは、塗布部を異なる方向から照明する照明光源であり、照明光源切換装置２０を介して行なわれる照明光源の選択的点灯によって、塗布部の照明ジオメトリ条件が切り換えられる。なお、ここでは照明光源５Ａ，５Ｂ及び５Ｃに同特性のものを使用する。
【００２０】
以下、接着剤１の塗布量のモニタリングによって、予定された量の接着剤１が塗布された時点で塗布を終了するための手順と処理について、図４、図５のフローチャートを参照図に加えて説明する。なお、カメラの画素数は５１２×５１２とし、各フローチャート及びその説明中で次の記号を使用する。
Ｔ（ｓ）ij；塗布開始前に、ｓ番目の照明ジオメトリ条件で取得される画像（テクスチュア画像）を構成する画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｚ（ｓ）ij；塗布開始後に、ｓ番目の照明ジオメトリ条件で得られる画像（塗布状態モニタリング画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｄij；塗布工程進行中に、塗布状態検出のために作成される画像（最適抽出画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2, ・・512）。
Ｎ［Ｄij］；最適抽出画像について、Ｄij＞ｇを満たす（ｉ，ｊ）の 組の総数。接着剤１が塗布された部分の面積を表わす。但し、 ｇは接着剤１の塗布／未塗布を判定するために設定されるしき い値で、その値は設計的乃至実験的に定められる。
【００２１】
図４には、画像処理装置１０のＣＰＵ１１によって実行される処理の概略が記されている。先ず、ＣＰＵ１１は照明光源切換装置２０に指令を送り、光源５Ａを点灯する（ステップＳ１）。なお、本実施形態では、指定された以外の光源５Ｂ，５Ｃは点灯されない（以下、同様）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、テクスチュア画像Ｔ（１）ijを取得する（ステップＳ２）。取得されたテクスチュア画像Ｔ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の１番目のフレーム＃１に格納される。
【００２２】
同様に、照明光源５Ｂの点灯（ステップＳ３）、第２の照明ジオメトリ条件下（ｓ＝２）でのテクスチュア画像Ｔ（２）ijの取得（ステップＳ４）、照明光源５Ｃの点灯（ステップＳ５）、第３の照明ジオメトリ条件下（ｓ＝３）でのテクスチュア画像Ｔ（３）ijの取得（ステップＳ６）を順次行なう。取得されたテクスチュア画像Ｔ（２）ij，Ｔ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の２，３番目のフレーム＃２，＃３に格納される。
【００２３】
このようにしてテクスチュア画像の取得が完了したならば、ＣＰＵ１１は塗布制御部７に指令を送り、接着剤１の塗布を開始する（ステップＳ７）。そして、ＣＰＵ１１は照明光源切換装置２０に指令を送り、再び光源５Ａを点灯する（ステップＳ８）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、塗布状態モニタリング画像Ｚ（１）ijを取得する（ステップＳ９）。取得された塗布状態モニタリング画像Ｚ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の４番目のフレーム＃４に格納される。
【００２４】
同様に、照明光源５Ｂの点灯（ステップＳ１０）、第２の照明ジオメトリ条件下（ｓ＝２）での塗布状態モニタリング画像Ｚ（２）ijの取得（ステップＳ１１）、照明光源５Ｃの点灯（ステップＳ１２）、第３の照明ジオメトリ条件下（ｓ＝３）での塗布状態モニタリング画像Ｚ（３）ijの取得（ステップＳ１３）を順次行なう。取得された塗布状態モニタリング画像Ｚ（２）ij，Ｚ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の５，６番目のフレーム＃５，＃６に格納される。
【００２５】
そして、フレームメモリ１３のフレーム＃１〜＃６に格納された画像データに基づいて、最適抽出画像Ｄijが画像処理プロセッサ１４を用いて作成される（ステップＳ１４）。本事例で作成される最適抽出画像Ｄijは、複数の照明ジオメトリ条件の下で得られたモニタリング画像を各対応する照明ジオメトリ条件の下で得られたテクスチュア画像と比較し、塗布前後の差異を最も明瞭に表わしている画像データを寄せ集めて最適抽出画像として再構成した画像に相当する。最適抽出画像Ｄij作成のための画像処理の一例を図５のフローチャートに示した。
【００２６】
先ず、画素位置指標ｉ及びｊを１にリセットした上で（ステップＤ１）、フレームメモリ１３のフレーム＃１と＃４、＃２と＃５及び＃３と＃６に格納された画像データの差分に基づいて、画素（ｉ，ｊ）について、｜Ｚ（１）ij−Ｔ（１）ij｜，｜Ｚ（２）ij−Ｔ（２）ij｜，｜Ｚ（３）ij−Ｔ（３）ij｜の内最大のものを決定し、Ｄijのデータとしてフレームメモリ１３の第７番目のフレーム＃７に書き込む（ステップＤ２）。
【００２７】
次いで、指標ｉの１アップ（ステップＤ３）、指標ｉの飽和／未飽和のチェック（ステップＤ４）を行ない、ステップＤ４で指標ｉの飽和が確認されるまで、指標ｉの１アップ（ステップＤ３）とＤijのデータの書込（ステップＤ２）が繰り返される。
【００２８】
指標ｊの１つの値について、ステップＤ４で指標ｉの飽和が確認されると、指標ｉをｉ＝１にリセットした上で（ステップＤ５）、指標ｊを１アップし（ステップＤ６）、指標ｊの飽和／未飽和のチェック（ステップＤ７）を行なう。ステップＤ７で指標ｊの飽和が確認されない限り、再びステップＤ２へ戻って、Ｄijのデータの書込が行なわれる。以下同様に、指標ｉが飽和する毎に、指標ｊをカウントアップしながらＤijのデータが順次の書き込まれる。そして、指標ｉ，ｊの双方が飽和して最適抽出画像Ｄijの作成が完了したら処理を終了する。
再び、図４のフローチャートに戻り、ステップＳ１５では作成された最適抽出画像Ｄijについて、画像信号レベルがしきい値ｇを越えている画素数Ｎを求めて基準値Ｎ0 と比較する。Ｎの値は接着剤１の塗布済みの部分の面積に比例すると考えて良いから、接着剤１の塗布を続けるに従って増大する。従って、予定された塗布量に到達するまではＮ＞Ｎ0 とはならず、ステップＳ１５の判断出力はノーとなる。
【００２９】
そこで、ステップＳ８へ戻り、以下、ステップＳ８〜ステップＳ１５の処理サイクルをステップＳ１５でＮ＞Ｎ0 と判断されるまで繰り返す。やがて、予定された塗布量に到達し、ステップＳ１５の判断出力がイエスとなったら、ＣＰＵ１１は塗布制御部７に指令を送って接着剤１の塗布を終了し（ステップＳ１６）、処理を終了する。
【００３０】
＜事例２＞；接着剤塗布後の良否検査のための塗布状態検出
図６は、図２で説明した要部構成を持つ塗布状態検出装置を接着剤塗布後の良否検査のための塗布状態検出に適用する場合の配置を説明する模式図である。図６に示した全体配置は、事例１で使用した図３に示したものと基本的に同じなので、繰り返し説明は省略する。但し、塗布後に良否検査を行なう配置であることを考慮して、塗布装置に関連した部分は図示を省略した。
【００３１】
図６において、符号Ｗは検査ステーション８上に置かれた塗布対象物である。本事例における塗布対象物Ｗは６角筒状のモータ部品であり、その６角形状の頂面上に接着剤１が塗布されている。この接着剤１は、モータ部品Ｗの頂面上に別の６角形状の部品を固着するためのものであり、下方に併記したように、塗布が良好に行なわれた場合には接着剤１は６角形状の頂面を１周する輪帯状に塗布される。これに対して、この輪帯に途切れ部９が生じた場合には、固着が不完全になる恐れがあり、塗布状態としは不良となる。
【００３２】
そこで、本事例では、検査後に前記事例と同様の手法を用いて接着剤塗布部の最適抽出画像を作成し、途切れ部９の有無を判定することで塗布状態の良否を判定する手順と処理について、図７、図８のフローチャートを参照図に加えて説明する。なお、事例１の場合と同じくカメラの画素数は５１２×５１２とし、次の意味で共通の記号を次の意味で使用する。但し、記号Ｎ［Ｄij］は使用しない。
【００３３】
Ｔ（ｓ）ij；事例１と同じく、塗布開始前にｓ番目の照明ジオメトリ条件で取得される画像（テクスチュア画像）を構成する画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｚ（ｓ）ij；塗布完了後（検査時）に、ｓ番目の照明ジオメトリ条件で得られる画像（塗布状態検査画像）の各画素（ｉ，ｊ）の画像信号レベル（i,j=1,2,・・512）。
Ｄij；塗布完了後（検査時）に、塗布状態検出のために作成される画像（最適抽出画像）の各画素（ｉ，ｊ）の画像信号レベル（i, j=1,2,・・512）。
【００３４】
図７には、画像処理装置１０のＣＰＵ１１によって実行される処理の概略が記されている。テクスチュア画像を取得するためのステップＭ１〜Ｍ６は、前述のステップＳ１〜Ｓ６と同じである。即ち、先ず照明光源切換装置２０に指令を送り、光源５Ａを点灯し（ステップＭ１）、第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、テクスチュア画像Ｔ（１）ijを取得する（ステップＭ２）。取得されたテクスチュア画像Ｔ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の１番目のフレーム＃１に格納される。
【００３５】
同様に、照明光源５Ｂの点灯（ステップＭ３）、第２の照明ジオメトリ条件下（ｓ＝２）でのテクスチュア画像Ｔ（２）ijの取得（ステップＭ４）、照明光源５Ｃの点灯（ステップＭ５）、第３の照明ジオメトリ条件下（ｓ＝３）でのテクスチュア画像Ｔ（３）ijの取得（ステップＭ６）を順次行なう。取得されたテクスチュア画像Ｔ（２）ij，Ｔ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の２，３番目のフレーム＃２，＃３に格納される。
【００３６】
ここまでのテクスチュア画像取得のステップは、塗布開始前に行なわれる。そして、外部信号の受信等で塗布工程の完了を検出したならば、ステップＭ７以下に進む。なお、塗布工程は検査ステーション８とは別の場所で遂行されても良いが、テクスチュア画像取得時（ステップＭ１〜Ｍ６）と以下に述べる検査画像取得時（ステップＭ７〜Ｍ１２）は、照明光源５Ａ〜５Ｃ及びカメラ３に関して同じ位置決め状態の下で遂行される。
【００３７】
検査時には、先ずＣＰＵ１１は照明光源切換装置２０に指令を送り、再び光源５Ａを点灯する（ステップＭ７）。そして、この第１の照明ジオメトリ条件下（ｓ＝１）でカメラ３による撮影を行い、塗布状態検査画像Ｚ（１）ijを取得する（ステップＭ８）。取得された塗布状態検査画像Ｚ（１）ijは、グレースケールに変換されたデータの形で、フレームメモリ１３の４番目のフレーム＃４に格納される。
【００３８】
同様に、照明光源５Ｂの点灯（ステップＭ９）、第２の照明ジオメトリ条件下（ｓ＝２）での塗布状態検査画像Ｚ（２）ijの取得（ステップＭ１０）、照明光源５Ｃの点灯（ステップＭ１１）、第３の照明ジオメトリ条件下（ｓ＝３）での塗布状態検査画像Ｚ（３）ijの取得（ステップＭ１２）を順次行なう。取得された塗布状態検査画像Ｚ（２）ij，Ｚ（３）ijは各々グレースケールに変換されたデータの形でフレームメモリ１３の５，６番目のフレーム＃５，＃６に格納される。
【００３９】
そして、フレームメモリ１３のフレーム＃１〜＃６に格納された画像データに基づいて、最適抽出画像Ｄijが画像処理プロセッサ１４を用いて作成される（ステップＭ１３）。本事例において作成される最適抽出画像Ｄijは、複数の照明ジオメトリ条件の下で得られた塗布状態検査画像を各対応する照明ジオメトリ条件の下で得られたテクスチュア画像と比較し、塗布前後の差異を最も明瞭に表わしている画像データを寄せ集めて抽出画像として再構成した画像に相当している。
【００４０】
最適抽出画像Ｄij作成は、事例１で説明した図５のフローチャートに従った処理によって実行出来るので、繰り返し説明は省略する。なお、フローチャート中の記号Ｚ（ｓ）ijは塗布状態検査画像と解釈する。
【００４１】
続くステップＭ１４では、作成された最適抽出画像Ｄijについて、塗布状態の良／不良の判定が行なわれる。図６を参照して述べたように、本事例における塗布状態の良／不良の判定は、帯状の塗布部に途切れ部９が存在するか否かで判定される。最適抽出画像Ｄijは、背景（テクスチュア）を消去して帯状の塗布部を最適抽出画像として再構成したものであるから、最適抽出画像Ｄijについて、それが閉じた輪帯を形成しているか否かを判定すれば良いことになる。
【００４２】
このような判定を行なう画像処理のアルゴリズムは種々のものが周知であり、ここでもそれを利用することが出来る（株式会社昭晃堂発行人工知能シリーズ第１１巻：谷内田正彦著、「ロボットビジョン」、第４８〜第５１頁、第１０１〜第１０３頁参照）。そこで、２つの例を挙げ、フローチャート（図８；途切れ部有無判定処理、図９；途切れ部有無判定処理２、２値化画像の説明図（図１０）並びにｒ（θ）曲線の説明図（図１１）を参照して簡単に説明すれば次のようになる。
【００４３】
（１）途切れ部有無判定処理１；先ず、最適抽出画像Ｄijを２値化する（ステップＫ１）。そして、２値画像に対してラベルづけによる方法、ランレングス法などを適用し（前掲書第４８〜第５１頁参照）、値０を持つ領域の数を判定する（ステップＫ２）。塗布状態が良好であれば、２値画像は図１０中の画像１のように輪状の値１の領域で値０の領域が２つに分断されたものとなり（値０を持つ領域の数が２）、塗布状態が不良（途切れ部１個；図３参照）であれば図１０中の画像２のように、値１の領域に途切れ部Ａが生じ、値０の領域が１つにつながった画像（値０を持つ領域の数が１）が得られる。
【００４４】
そこで、値０の領域が２個であれば原画像Ｄijが閉じた輪帯を形成していると判定され（ステップＫ３でイエス）、それ以外のケースは少なくとも１個の途切れ部があると判定される（ステップＫ３でノー）。ステップＫ３の判断がイエス（即ち、ステップＭ１４の判断がノー）の場合は、ステップＭ１５へ進み塗布状態良好の信号を出力する。また、ステップＫ３の判断がノー（即ち、ステップＭ１４の判断がイエス）の場合は、ステップＭ１６へ進み塗布状態不良のアラーム信号を出力する。
【００４５】
（２）途切れ部有無判定処理２；途切れ部有無判定処理１と同じく、最適抽出画像Ｄijを２値化する（ステップＬ１）。得られる２値画像は上記した途切れ部有無判定処理１の場合と同じである（図１０参照）。次いで、この２値画像について、ｒ（θ）曲線を作成する（ステップＬ２）。図１１に例示したように、途切れ部に向かう方向に対応する範囲（θ1 ＜θ＜θ2 ）では、画像重心Ｇからθ方向に引いた直線と２値化された画像の輪郭線との交点（２つある場合には、重心Ｇに近い方を選ぶ。）が存在しなくなることを利用して、途切れ部の有無を判定する（ステップＬ３）。
【００４６】
本途切れ部有無判定処理２を適用した場合、ステップＬ３の判断がイエス（即ち、ステップＭ１４の判断がノー）であればステップＭ１５へ進み塗布状態良好の信号を出力する。また、ステップＫ３の判断がノー（即ち、ステップＭ１４の判断がイエス）の場合は、ステップＭ１６へ進み塗布状態不良のアラーム信号を出力する。
【００４７】
以上、３個の同特性の照明光源を択一的に点灯して３種のジオメトリ条件を設定して最適抽出画像を作成する２つ事例について説明したが、ジオメトリ条件の数や設定方法は、これに限るものではない。例えば、異なる特性（光度、スペクトル、拡散性など）を有する複数の照明光源を配置して切り換える方式としても良いし、また、１つのジオメトリ条件で２個以上の照明光源を点灯しても良い。
【００４８】
なお、設定される複数のジオメトリ条件について、テクスチュア画像の画像信号レベルが大きく異なる場合には、各ジオメトリ条件下で取得される画像間で画像信号レベルを規格化することが好ましい。画像の規格化は、例えば、最初のジオメトリ条件下で得られたテクスチュア画像の画像信号レベルの平均値を基準として、他のジオメトリ条件下で得られたテクスチュア画像の画像信号レベルの平均値との比を計算し、２番目以降の各ジオメトリ条件で得られた各画像について各々規格化定数γ2 ，γ3 ・・・を乗じてから、最適抽出画像を構成すれば良い。
【００４９】
【発明の効果】
本発明の塗布状態検出装置によれば、好適照明ジオメトリ条件の不定性に関連して塗布状態の検出能力が低下することが避けられる。従って、本発明の塗布状態検出装置を塗布工程中あるいは工程後の塗布状態のモニタリングや良否検査に適用した場合、塗布工程システム全体の信頼性が向上する。
【図面の簡単な説明】
【図１】塗布面上で塗布部が盛り上がる場合を例にとって、好適ジオメトリ条件の不定性について説明する図で、（ａ）は真上方向から照明を行なったケース、（ｂ）は斜め上方向から照明を行なったケースを表わしている。
【図２】本発明に係る塗布状態検出装置の要部を構成する視覚センサシステムの一例を示したブロック図である。
【図３】図２で説明した要部構成を持つ塗布状態検出装置を接着剤の塗布量制御のための塗布状態検出に適用する場合の配置を説明する模式図である。
【図４】事例１において、画像処理装置１０のＣＰＵ１１が実行する処理の概略を記したフローチャートである。
【図５】最適抽出画像Ｄij作成のための画像処理の一例を説明するフローチャートである。
【図６】図２で説明した要部構成を持つ塗布状態検出装置を接着剤塗布後の良否検査のための塗布状態検出に適用する場合の配置を説明する模式図である。
【図７】事例２において、画像処理装置１０のＣＰＵ１１が実行する処理の概略を記したフローチャートである。
【図８】途切れ部有無判定処理１について説明するフローチャートである。
【図９】途切れ部有無判定処理２について説明するフローチャートである。
【図１０】塗布状態良好時と塗布状態不良時の２値化画像を例示した図である。
【図１１】塗布状態良好時と塗布状態不良時のｒ（θ）曲線について説明する図である。
【符号の説明】
１ 接着剤（塗布部）
１ａ 接着剤（塗布部）の中央部
１ｂ，１ｃ 接着剤（塗布部）の縁部
２ テクスチュア（塗布面）
３ カメラ
４ カメラの視野
５Ａ，５Ｂ，５Ｃ 照明光源
６ 塗布ノズル
７ 塗布制御部（制御弁）
８ 検査ステーション
９ 途切れ部
１０ 画像処理装置
１１ 中央演算処理装置（ＣＰＵ）
１２ カメラインターフェイス
１３ フレームメモリ
１４ 画像処理プロセッサ
１５ プログラムメモリ
３０ モニタ
１６ モニタインターフェイス
１７ データメモリ
１８ 汎用信号インターフェイス
１９ バス
２０ 照明光源切換装置
Ａ ２値画像上の途切れ部
ＦＬ１，ＦＬ２ 照明光束
Ｗ 塗布対象物
Claims (5)
- カメラ手段を含む視覚センサを用いた塗布状態検出装置において、
複数種の照明ジオメトリ条件を切換設定する手段と、前記切換設定される各照明ジオメトリ条件下で未塗布の対象物面を表わすテクスチュア画像を取得する手段と、前記切換設定される各照明ジオメトリ条件下で少なくとも一部が塗布部で覆われた対象物面を表わす塗布状態画像を取得する手段と、
前記各照明ジオメトリ条件下で取得された塗布状態画像を表わすデータとそれらと各対応する照明ジオメトリ条件下で取得されたテクスチュア画像のデータを比較し、塗布前後の差異を明瞭に表わしている画像データを寄せ集めて最適抽出画像を作成する手段と、前記最適抽出画像に基づいて塗布状態を判定する手段を備えた、前記塗布状態検出装置。 - カメラ手段を含む視覚センサを用いた塗布状態検出装置において、
複数種の照明ジオメトリ条件を切換設定する手段と、前記切換設定される各照明ジオメトリ条件下で未塗布の対象物面を表わすテクスチュア画像を取得する手段と、前記切換設定される各照明ジオメトリ条件下で少なくとも一部が塗布部で覆われた対象物面を表わす塗布状態画像を取得する手段と、
前記各照明ジオメトリ条件下で取得された塗布状態画像を表わすデータとそれらと各対応する照明ジオメトリ条件下で取得されたテクスチュア画像のデータを比較し、塗布前後の差異を明瞭に表わしている画像データを寄せ集めて最適抽出画像を作成する手段と、前記最適抽出画像に基づいて塗布状態を判定する手段と、
前記塗布状態画像の取得と、前記最適抽出画像の作成と、前記塗布状態の判定を塗布工程の進行中に繰り返し実行させる手段を備えた、前記塗布状態検出装置。 - 前記塗布状態を判定する手段が、前記最適抽出画像に基づいて塗布部の大きさに基づいて塗布状態を判定する手段を含んでいる、請求項１または請求項２に記載された塗布状態検出装置。
- カメラ手段を含む視覚センサを用いた塗布状態検出装置において、
複数種の照明ジオメトリ条件を切換設定する手段と、前記切換設定される各照明ジオメトリ条件下で未塗布の対象物面を表わすテクスチュア画像を取得する手段と、前記切換設定される各照明ジオメトリ条件下で少なくとも一部が塗布部で覆われた対象物面を表わす塗布状態画像を取得する手段と、
前記各照明ジオメトリ条件下で取得された塗布状態画像を表わすデータとそれらと各対応する照明ジオメトリ条件下で取得されたテクスチュア画像のデータを比較し、塗布前後の差異を明瞭に表わしている画像データを寄せ集めて最適抽出画像を作成する手段と、前記最適抽出画像に基づいて塗布状態を判定する手段と、
前記塗布状態画像の取得と、前記最適抽出画像の作成と、前記塗布状態の判定を塗布工程の終了後に実行させる手段を備えた、前記塗布状態検出装置。 - 前記塗布状態を判定する手段が、前記最適抽出画像に基づいて塗布部の形状に基づいて塗布状態を判定する手段を含んでいる、請求項１または請求項４に記載された塗布状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18269396A JP3667886B2 (ja) | 1996-06-25 | 1996-06-25 | 視覚センサを用いた塗布状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18269396A JP3667886B2 (ja) | 1996-06-25 | 1996-06-25 | 視覚センサを用いた塗布状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1010051A JPH1010051A (ja) | 1998-01-16 |
| JP3667886B2 true JP3667886B2 (ja) | 2005-07-06 |
Family
ID=16122791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18269396A Expired - Fee Related JP3667886B2 (ja) | 1996-06-25 | 1996-06-25 | 視覚センサを用いた塗布状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3667886B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1340974B1 (de) * | 2002-03-01 | 2008-09-17 | VMT Bildverarbeitungssysteme GmbH | Verfahren zur Qualitätssicherung des Auftrags eines Mediums auf ein Objekt |
| JP4500635B2 (ja) * | 2004-09-13 | 2010-07-14 | アサヒビール株式会社 | 熱可塑性接着剤検査装置及び検査方法 |
| JP2015068668A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社Ｓｃｒｅｅｎホールディングス | 外観検査装置 |
| JP6326821B2 (ja) * | 2014-01-14 | 2018-05-23 | セイコーエプソン株式会社 | 検査装置および検査方法 |
| JP7161870B2 (ja) * | 2018-06-27 | 2022-10-27 | ファスフォードテクノロジ株式会社 | ダイボンダおよび半導体装置の製造方法 |
| CN113567433A (zh) * | 2021-06-09 | 2021-10-29 | 中车青岛四方机车车辆股份有限公司 | 粘接接头的检测方法及装置 |
-
1996
- 1996-06-25 JP JP18269396A patent/JP3667886B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1010051A (ja) | 1998-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5566244A (en) | Method of inspecting a workpiece surface including a picturing system with a shortened focal plane | |
| US5949905A (en) | Model-based adaptive segmentation | |
| US6687396B1 (en) | Optical member inspection apparatus, image-processing apparatus, image-processing method, and computer readable medium | |
| JP3667886B2 (ja) | 視覚センサを用いた塗布状態検出装置 | |
| CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
| JP3288902B2 (ja) | シール検査システム | |
| US11493453B2 (en) | Belt inspection system, belt inspection method, and recording medium for belt inspection program | |
| US11282229B2 (en) | Inspection apparatus | |
| KR20190119801A (ko) | 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법 | |
| JP7469740B2 (ja) | ベルト検査システムおよびベルト検査プログラム | |
| KR0130950B1 (ko) | 원형구멍의 인식방법 | |
| JP3598607B2 (ja) | 面状況の検査方法 | |
| JP2021189239A (ja) | ベルト検査システムおよびベルト検査プログラム | |
| JP2000121495A (ja) | 画面検査方法 | |
| JP2638121B2 (ja) | 表面欠陥検査装置 | |
| JP2005098911A (ja) | 歯車の歯当たり検査方法、歯車の歯当たり検査システム、歯車の歯当たり検査システムを制御する制御プログラム | |
| JPH01213509A (ja) | 表面平滑度自動検査装置 | |
| JP2711643B2 (ja) | 検査対象物の表面傷検出装置及び方法 | |
| JPH07159141A (ja) | ワーク表面検査方法 | |
| JPH08212346A (ja) | テンプレートマッチング方法 | |
| JP3278555B2 (ja) | ボンディングワイヤの認識方法 | |
| JPH0829143A (ja) | 表面状態検査方法及びその装置 | |
| JPH0645845Y2 (ja) | 表面平滑度自動検査装置 | |
| JPH0246347B2 (ja) | Kogumamosokuteinotamenogazoshorihoho | |
| JPH11183144A (ja) | 円の検出方法および検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |