JP7181157B2 - 検査装置及びそれを備えた塗布装置 - Google Patents

検査装置及びそれを備えた塗布装置 Download PDF

Info

Publication number
JP7181157B2
JP7181157B2 JP2019111211A JP2019111211A JP7181157B2 JP 7181157 B2 JP7181157 B2 JP 7181157B2 JP 2019111211 A JP2019111211 A JP 2019111211A JP 2019111211 A JP2019111211 A JP 2019111211A JP 7181157 B2 JP7181157 B2 JP 7181157B2
Authority
JP
Japan
Prior art keywords
image
inspection
application
area
hue angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019111211A
Other languages
English (en)
Other versions
JP2020204487A (ja
Inventor
努 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2019111211A priority Critical patent/JP7181157B2/ja
Publication of JP2020204487A publication Critical patent/JP2020204487A/ja
Application granted granted Critical
Publication of JP7181157B2 publication Critical patent/JP7181157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、基板上に塗布された塗布物の状態を検査する検査装置、及びそれを備えた塗布装置に関する。
プリント配線板等の基板上に電子部品が搭載された部品搭載基板を生産する部品実装システムは、前記基板上の所定領域に半田や接着剤などの塗布物を塗布する塗布装置と、その塗布物の塗布状態を検査する検査装置と、を備えている。検査装置は、基板上に塗布された塗布物を撮像して検査画像を生成する検査カメラを備え、当該検査画像に基づいて塗布物の画像認識を行う。
塗布物の画像認識の結果は、塗布物の塗布状態の検査判定に用いられる。このため、検査画像に基づく塗布物の画像認識には、高い認識精度が要求される。塗布物の高い認識精度を達成するためには、検査画像において塗布物の領域を示す塗布物領域が強調される画像処理を、検査画像に施す必要がある。
特許文献1には、基板上の部品を画像認識する技術が開示されている。この特許文献1に開示される技術では、カメラにより取得された画像において、部品の領域が強調されるように、画像変換の画像処理が行われる。画像変換処理の処理条件は、色抽出フィルタを数値データとして表した変換テーブルを示すルックアップテーブルに基づく、オペレーターの入力操作によって設定される。
特開2001-153627号公報
特許文献1に開示される技術を塗布物の検査装置に適用した場合、検査画像において塗布物領域を強調するための画像処理の処理条件は、オペレーターの入力操作によって設定されることとなる。画像処理条件の設定作業をオペレーターに委ねると、オペレーターの作業負担が増大するだけではなく、設定のばらつきが生じる虞がある。このため、塗布物の画像認識の精度が低下する虞がある。
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、基板上に塗布された塗布物の画像認識を高精度に実施することが可能な検査装置、及びそれを備えた塗布装置を提供することにある。
本発明の一の局面に係る検査装置は、基板上の複数の塗布点に塗布物が塗布された検査基板の、前記各塗布点に対応した複数の検査領域における前記塗布物の塗布状態を検査する装置である。この検査装置は、前記検査基板上の前記各検査領域を撮像し、カラーの検査画像を前記検査領域毎に生成すると共に、前記塗布物が塗布される前の前記基板において前記各塗布点を撮像し、カラーの基板画像を前記塗布点毎に生成するカラー画像撮像カメラと、前記検査領域毎の前記検査画像、及び前記塗布点毎の前記基板画像の各々に画像処理を施す画像処理部と、前記画像処理部による前記画像処理において、前記検査画像上で前記塗布物を画像認識する条件である検査条件を特定し設定する検査条件設定部と、を備える。前記画像処理部は、前記基板画像の色を減らす減色処理を実行し、前記基板画像に対して減色された減色基板画像を生成する減色処理部と、前記検査画像における前記塗布物の領域の画像を示す塗布物領域画像を特定する塗布物領域特定部と、前記検査画像における前記塗布点の領域の画像を示す塗布点領域画像を、前記減色基板画像を用いて抽出して特定する塗布点領域特定部と、前記塗布物領域画像及び前記塗布点領域画像の各々をHSV画像に変換すると共に、前記HSV画像のH成分を示す色相の色相角を所定範囲で変化させた場合の各画像を、RGB画像に変換する色空間変換部と、を含む。前記検査条件設定部は、前記塗布物領域画像及び前記塗布点領域画像の各々に対応した特定の色成分の画像である特定色成分画像に基づいて、前記塗布物領域画像が前記塗布点領域画像に対して強調される場合の色相角を示す適合色相角を、前記検査条件として前記検査画像毎に特定する色相角特定部を含む。前記塗布点領域特定部は、前記減色基板画像を色毎に複数の色領域に分割し、前記色領域毎に前記塗布点領域画像を抽出して、複数の前記塗布点領域画像を特定する。前記色空間変換部は、前記RGB画像として、前記塗布物領域画像に対応した塗布物RGB画像と、前記複数の塗布点領域画像の各々に対応した複数の塗布点RGB画像を生成する。前記色相角特定部は、前記RGB画像を構成する各色成分のうちの特定の色成分の画像である前記特定色成分画像としての、前記塗布物RGB画像に対応した塗布物色成分画像と、前記複数の塗布点RGB画像の各々に対応した複数の塗布点色成分画像とに基づいて、前記適合色相角を特定する。
この検査装置によれば、塗布物領域特定部によって検査基板上の検査領域毎の検査画像に含まれる塗布物領域画像が特定され、塗布点領域特定部によって検査画像に含まれる塗布点領域画像が特定され、検査条件設定部によって塗布物を画像認識する際の検査条件が設定される。検査条件設定部は、検査画像をHSV画像に変換する際の適合色相角を検査条件として検査画像毎に特定する色相角特定部を含む。色相角特定部により特定される適合色相角は、塗布物領域画像が塗布点領域画像に対して強調される場合の色相角である。このようなH成分を示す色相の色相角が適合色相角とされたHSV画像に基づく画像認識によって、塗布物を高精度に認識することができる。ここで、塗布物を画像認識する際の検査条件となる適合色相角は、オペレーターの入力操作によって設定されるのではなく、色相角特定部によって自動的に特定される。このため、オペレーターの設定作業に起因した、検査条件の設定のばらつきが生じることが抑制される。
基板上の塗布点に塗布物が塗布された検査基板においては、塗布物によって背景となる塗布点が隠れてしまう場合がある。この場合、検査基板の撮像により生成された検査画像から塗布点領域画像を適切に抽出することが困難となる虞がある。そこで、塗布点領域特定部は、塗布物が塗布される前の基板の撮像により生成された塗布点毎の基板画像を用いて塗布点領域画像を抽出する。これにより、塗布点領域特定部は、塗布点領域画像を適切に抽出して特定することができる。
また、上記の検査装置において、前記画像処理部は、前記基板画像の色を減らす減色処理を実行し、前記基板画像に対して減色された減色基板画像を生成する減色処理部を、更に含む。そして、前記塗布点領域特定部は、前記減色基板画像を用いて前記塗布点領域画像を抽出する。この態様では、基板画像に対して減色された減色基板画像に基づいて、塗布点領域画像の抽出処理が行われる。これにより、塗布点領域特定部による塗布点領域画像の抽出処理の効率化が図られる。
また、上記の検査装置において、前記画像処理部は、前記塗布物領域画像及び前記塗布点領域画像の各々をHSV画像に変換すると共に、前記HSV画像のH成分を示す色相の色相角を所定範囲で変化させた場合の各画像を、RGB画像に変換する色空間変換部を、更に含む。前記塗布点領域特定部は、前記減色基板画像を色毎に複数の色領域に分割し、前記色領域毎に前記塗布点領域画像を抽出して、複数の前記塗布点領域画像を特定する。前記色空間変換部は、前記RGB画像として、前記塗布物領域画像に対応した塗布物RGB画像と、前記複数の塗布点領域画像の各々に対応した複数の塗布点RGB画像を生成する。そして、前記色相角特定部は、前記RGB画像を構成する各色成分のうちの特定の色成分の画像である前記特定色成分画像としての、前記塗布物RGB画像に対応した塗布物色成分画像と、前記複数の塗布点RGB画像の各々に対応した複数の塗布点色成分画像とに基づいて、前記適合色相角を特定する。この態様では、色相角特定部は、適合色相角の特定の際に、減色基板画像における色領域毎の複数の塗布点領域画像を用いる。これにより、基板の塗布点が複数の色によって構成されている場合であっても、各色に応じて適切な適合色相角が特定される。
上記の検査装置において、前記塗布物領域特定部は、前記検査画像に対して前記基板画像を差し引いた差画像から、前記塗布物領域画像を抽出して特定する。
この態様では、塗布物領域特定部は、検査画像に対して基板画像を差し引いた差画像に基づいて、塗布物領域画像を適切に抽出して特定することができる。
上記の検査装置において、前記カラー画像撮像カメラは、所定の塗布物認識部材に塗布された前記塗布物を撮像し、カラーの塗布物画像を生成するように構成される。そして、前記塗布物領域特定部は、前記塗布物画像を用いて前記塗布物領域画像を抽出して特定する。
この態様では、塗布物画像は、所定の塗布物認識部材に塗布された塗布物の撮像により生成されたものである。このため、塗布物画像において塗布物の領域を示す塗布物領域画像の背景となる領域は、塗布物認識部材に基づくものとなる。従って、塗布物領域特定部は、塗布物画像に基づいて塗布物領域画像を容易に抽出して特定することができる。
上記の検査装置において、前記色相角特定部は、前記複数の塗布点色成分画像の各々の画素群の輝度値から計算される代表値を示す塗布点輝度値と、前記塗布物色成分画像の画素群の輝度値から計算される代表値を示す塗布物輝度値との差分である複数の色相適用差分を、色相角毎に算出し、当該色相角毎の複数の色相適用差分に基づいて、前記適合色相角を特定する。
この態様では、色相角特定部により特定される適合色相角は、複数の塗布点色成分画像の各々の塗布点輝度値と、塗布物色成分画像の塗布物輝度値との差分である色相適用差分に基づくものである。これにより、塗布物領域画像が塗布点領域画像に対して適切に強調されたものとなる。このようなH成分を示す色相の色相角が適合色相角とされたHSV画像に基づく画像認識によって、塗布物を高精度に認識することができる。
上記の検査装置において、前記色相角特定部は、前記色相角毎の前記複数の色相適用差分において、最も小さい差分が最大となる場合の色相角を、前記適合色相角として特定する。
また、上記の検査装置において、前記色相角特定部は、前記色相角毎の前記複数の色相適用差分の総和が最大となる場合の色相角を、前記適合色相角として特定する。
また、上記の検査装置において、前記色相角特定部は、前記色相角毎の前記複数の色相適用差分の各々が、所定の基準輝度差以上となる場合の色相角を、前記適合色相角として特定する。
これらの態様では、基板の塗布点毎に、すなわち検査基板の検査領域毎に、塗布物を高精度に画像認識するための適切な適合色相角が、色相適用差分を用いて特定される。
上記の検査装置において、前記検査条件設定部は、彩度画像を、前記塗布物の画像認識の際に用いるか否かを判定する彩度判定部を、更に含む。そして、前記彩度判定部は、前記彩度画像を用いた画像認識が前記適合色相角を用いた画像認識よりも、前記塗布点領域画像に対する前記塗布物領域画像の強調が可能となる場合に、前記塗布物の画像認識の際に前記彩度画像を用いると判定する。
例えば、基板の塗布点に広範囲の色成分を含んだ色(白色)の領域が存在する場合を想定する。この場合、H成分を示す色相の色相角が適合色相角とされたHSV画像に基づき変換されたRGB画像において、塗布物領域画像が塗布点領域画像に対して強調されたものが得にくいことが想定される。このような場合には、彩度判定部は、塗布物の画像認識の際に彩度画像を用いると判定する。これにより、塗布物領域画像が塗布点領域画像に対して強調されたものを得ることができる。
上記の検査装置において、前記色相角特定部は、前記塗布物及び前記塗布点の種類に応じて前記適合色相角を特定する。この態様では、塗布物及び塗布点の種類に応じて適切な適合色相角が特定される。
上記の検査装置において、前記カラー画像撮像カメラは、前記検査基板上において、前記複数の検査領域から選択された所定の領域に関して前記検査画像を生成する、又は、前記複数の検査領域の全ての領域に関して前記検査画像を生成する。
検査基板上の検査領域において、塗布物の種類が同じであり、且つ塗布点の構成要素が同じであるような領域が複数存在する場合を想定する。この場合、当該複数の領域から選択された所定の領域に関して検査画像が撮像される。この場合には、選択された所定領域の検査画像に基づいて、塗布物の画像認識が行われることとなる。これにより、検査基板に対する塗布物の画像認識の効率化が図られる。一方、検査基板上の全ての検査領域において、塗布物の種類が異なる、又は、塗布点の構成要素が異なるような場合を想定する。この場合、全ての検査領域に関して検査画像が撮像される。この場合には、全ての検査領域の検査画像に基づいて、塗布物の画像認識が行われることとなる。これにより、検査基板の全ての検査領域において、塗布物の高精度な画像認識が可能となる。
上記の検査装置において、前記基板は、レジスト層と、シルク印刷により形成されたシルク部と、スルーホール部もしくはビアホール部と、電子部品の端子電極が接続されるランド部と、を有する。
この態様では、基板は、レジスト層、シルク部、スルーホール部もしくはビアホール部、並びにランド部からなる複数の構成要素を有している。このような基板上に塗布物が塗布された検査基板であっても、塗布物の高精度な画像認識が可能である。
本発明の他の局面に係る塗布装置は、複数の塗布点が設定された基板を搬送する搬送部と、前記基板上の前記複数の塗布点の各々に塗布物を塗布する塗布部と、前記塗布部による塗布後の検査基板において、前記塗布物の塗布状態を検査する、上記の検査装置と、を備える。
この塗布装置によれば、塗布物の画像認識を高精度に実施することが可能な検査装置を備える。これにより、塗布部によって基板上に塗布された塗布物の塗布状態を精度よく検査することができる。
以上説明したように、本発明によれば、基板上に塗布された塗布物の画像認識を高精度に実施することが可能な検査装置、及びそれを備えた塗布装置を提供することができる。
本発明の一実施形態に係る検査装置が適用された塗布装置の構成を示す平面図である。 検査装置の構成を示すブロック図である。 検査基板を示す図である。 カラー画像撮像カメラにより撮像された検査画像を示す図である。 検査基板における複数の検査領域の様子を示す図である。 カラー画像撮像カメラにより撮像された基板画像を示す図である。 カラー画像撮像カメラにより撮像された塗布物画像を示す図である。 画像変換処理部による画像変換処理を示す図である。 減色処理部による減色処理を示す図である。 塗布物領域特定部による塗布物領域画像の特定処理を示す図である。 塗布物領域特定部による塗布物領域画像の特定処理を示す図である。 塗布点領域特定部による塗布点領域画像の特定処理を示す図である。 HSV画像のH成分を示す色相の色相角を説明する図である。 色空間変換部による塗布物領域画像に対する色空間変換処理を示す図である。 色空間変換部による塗布点領域画像に対する色空間変換処理を示す図である。 照明条件特定処理部による基板画像撮像時の照明条件の特定処理を示す図である。 照明条件特定処理部による検査画像又は塗布物画像撮像時の照明条件の特定処理を示す図である。 色相角特定部の処理を説明するための図である。 色相角特定部の処理を説明するための図である。 検査基板の特殊な状態を示す図である。 彩度判定部が彩度判定処理の実行時に使用する塗布物S成分画像及び塗布点S成分画像を説明する図である。 彩度判定部の彩度判定処理を説明するための図である。 検査装置により実行される検査処理の全体的な流れを示すフローチャートである。 基板画像生成処理の流れを示すフローチャートである。 検査画像生成処理の流れを示すフローチャートである。 塗布物画像生成処理の流れを示すフローチャートである。 照明条件特定処理の流れを示すフローチャートである。 照明条件特定処理の流れを示すフローチャートである。 塗布物領域特定処理の流れを示すフローチャートである。 塗布物領域特定処理の変形例を示すフローチャートである。 塗布点領域特定処理の流れを示すフローチャートである。 検査条件設定処理の流れを示すフローチャートである。
以下、本発明の実施形態に係る検査装置及び塗布装置について、図面に基づいて説明する。
[塗布装置の構成]
図1は、本発明の一実施形態に係る塗布装置1の構成を示す平面図である。なお、図1では、水平面上のXY直交座標軸を用いて、方向関係が示されている。X軸方向の一方向側を「+X側」と称し、X軸方向の一方向側とは反対の他方向側を「-X側」と称する。また、Y軸方向の一方向側を「+Y側」と称し、Y軸方向の一方向側とは反対の他方向側を「-Y側」と称する。
塗布装置1は、基板P1上の複数の塗布点PPに塗布物CP(図3)を塗布する装置である。塗布物CPは、塗布点PPに電子部品を固定するためのものであり、半田や接着剤が挙げられる。塗布装置1は、本体フレーム2と、コンベア3と、塗布ヘッド4と、を備える。
本体フレーム2は、塗布装置1を構成する各部が配置される構造体であり、鉛直上方から見た平面視で略矩形状に形成されている。
コンベア3は、X軸方向に延び、本体フレーム2に配置されている。コンベア3は、X軸方向に沿った搬送方向に基板P1を搬送する搬送部である。基板P1は、コンベア3上を搬送されて、所定の作業位置(基板P1上の各塗布点PPに塗布物CPが塗布される塗布位置)に位置決めされるようになっている。コンベア3は、基板P1が前記塗布位置に位置決めされるように当該基板P1を搬送する。
塗布ヘッド4は、コンベア3によって前記塗布位置に搬送されてきた基板P1上の各塗布点PPに塗布物CPを塗布する塗布部である。塗布ヘッド4は、移動フレーム41に配設されている。移動フレーム41は、X軸方向に延び、Y軸方向に移動可能となるように本体フレーム2に支持される。移動フレーム41は、第1駆動機構42によってY軸方向に移動される。第1駆動機構42は、例えば、駆動モーターと、Y軸方向に延び、駆動モーターに連結されるボールねじ軸と、移動フレーム5Aに配設されてボールねじ軸と螺合するボールナットと、を含んで構成される。このような構成の第1駆動機構42は、駆動モーターによるボールねじ軸の回転駆動に伴ってボールナットがボールねじ軸に沿って進退することにより、移動フレーム41をY軸方向に移動させる。
塗布ヘッド4は、X軸方向に移動可能となるように、移動フレーム41に配設される。すなわち、塗布ヘッド4は、移動フレーム41の移動に伴ってY軸方向に移動可能であり、且つ、移動フレーム41に沿ってX軸方向に移動可能である。塗布ヘッド4は、第2駆動機構43によって移動フレーム41に沿って移動される。第2駆動機構43は、第1駆動機構42と同様に、例えば、駆動モーターと、X軸方向に延び、駆動モーターに連結されるボールねじ軸と、塗布ヘッド4に配設されてボールねじ軸と螺合するボールナットと、を含んで構成される。このような構成の第2駆動機構43は、駆動モーターによるボールねじ軸の回転駆動に伴ってボールナットがボールねじ軸に沿って進退することにより、塗布ヘッド4をX軸方向に移動させる。
なお、第1駆動機構42及び第2駆動機構43は、当例では、駆動モーターによりボールねじ軸を介して移動フレーム41及び塗布ヘッド4を移動させる構成である。しかし、例えばリニアモーターを駆動源として移動フレーム41や塗布ヘッド4をダイレクトに駆動する構成であってもよい。
また、塗布装置1は、本体フレーム2に配置された塗布物認識部材5と、塗布ヘッド4の下面に固定されたカラー画像撮像カメラ7と、を更に備える。塗布物認識部材5は、詳細については後述するが、塗布ヘッド4によって塗布物CPが予備的に塗布される部材である。塗布物認識部材5は、単一色(例えば白色)のシート材である。カラー画像撮像カメラ7は、後記の検査装置6の一部を構成する。すなわち、本実施形態に係る塗布装置1は、検査装置6を備えている。
[検査装置の構成]
図2は、検査装置6の構成を示すブロック図である。図3は、検査基板P2を示す図である。検査装置6は、基板P1上の複数の塗布点PPに塗布物CPが塗布された検査基板P2を検査する装置である。検査装置6は、基板P1の各塗布点PPに対応した、検査基板P2の複数の検査領域RIにおける塗布物CPの塗布状態を検査する。
検査装置6の検査対象の検査基板P2は、塗布物CPとしての半田CP1及び接着剤CP2と、塗布物CPが塗布される前の基板P1の構成要素としてのランド部PA、スルーホール部(もしくはビアホール部)PB、シルク部PC及びレジスト層PDとを含んでいる。ランド部PAは、電子部品の端子電極が接続されるランドである。スルーホール部(もしくはビアホール部)PBは、複数の層を重ねて1枚の基板としてつくられている基板P1において、上の層と下の層の電気配線パターンを繋ぐものである。最上層から最下層まで全層を貫いて電気配線パターンを繋いでいるのがスルーホール部であり、一部の層同士の電気配線パターンを繋いでいるのがビアホール部である。以下では、スルーホール部もしくはビアホール部を「スルーホール部PB」という。シルク部PCは、シルク印刷により形成された部分である。レジスト層PDは、レジストによって構成された層である。
検査基板P2の複数の検査領域RIの各々には、塗布物CPと、当該塗布物CPの下地となる基板P1の塗布点PPとが含まれることとなる。更に、塗布点PPにおいては、ランド部PA、スルーホール部PB、シルク部PC及びレジスト層PDの少なくともいずれか1つの部分が含まれる。
検査装置6は、カラー画像撮像カメラ7と、検査制御部8とを備える。
<カラー画像撮像カメラ>
カラー画像撮像カメラ7は、フルカラー画像を生成可能なカメラであって、照明部71とカラー画像撮像部72とを含む。照明部71は、例えばLED(Light Emintting Diode)である。照明部71は、カラー画像撮像カメラ7の撮像対象を照明するものであって、照明出力の変更が可能である。照明部71は、照明出力の変更によって、撮像対象の照度を調整することができる。
カラー画像撮像部72は、例えばCMOS(Complementary metal-oxide-semiconductor)やCCD(Charged-coupled devices)などの撮像素子を含む。カラー画像撮像部72は、照明部71によって照明された撮像対象を撮像し、当該撮像対象からの反射光に基づきRGB色空間で表現されやフルカラー画像を生成する。RGB色空間は、原色をR(Red;赤)、G(Green;緑)及びB(Blue;青)とするRGB表色系によって構成される色空間である。
RGB色空間で表現されたフルカラー画像においては、256階調の場合、最大輝度の赤色を示す画素の画素値は(255,0,0)で表現され、最大輝度の緑色を示す画素の画素値は(0,255,0)で表現され、最大輝度の青色を示す画素の画素値は(0,0,255)で表現される。また、白色を示す画素の画素値は(255,255,255)で表現され、黒色を示す画素の画素値は(0,0,0)で表現される。また、黄色を示す画素の画素値は(255,255,0)で表現され、マゼンタ色を示す画素の画素値は(255,0,255)で表現され、シアン色を示す画素の画素値は(0,255,255)で表現される。
本実施形態では、カラー画像撮像カメラ7は、検査基板P2上の各検査領域RIを撮像し、基板P1上の各塗布点PPを撮像し、更に塗布物認識部材5に塗布された塗布物CPを撮像するように構成されている。
カラー画像撮像カメラ7は、検査基板P2上の各検査領域RIを撮像し、図4に示す検査画像G1を検査領域RI毎に生成する。検査画像G1は、RGB色空間で表現されたフルカラー画像である。検査画像G1は、塗布物CPの領域の画像を示す塗布物領域画像GCPと、塗布点PPの領域の画像を示す塗布点領域画像GPPと、を画像成分として含んでいる。
図4においては、3つの検査画像G1が例示されている。図4の左方側の検査画像G1においては、塗布物領域画像GCPは半田CP1の画像を示す半田領域GCP1を有し、塗布点領域画像GPPはランド部PAの画像を示すランド領域GPP1と、シルク部PCの画像を示すシルク領域GPP3と、レジスト層PDの画像を示すレジスト領域GPP4とを有する。図4の中央の検査画像G1においては、塗布物領域画像GCPは接着剤CP2の画像を示す接着剤領域GCP2を有し、塗布点領域画像GPPはランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4を有する。図4の右方側の検査画像G1においては、塗布物領域画像GCPは半田領域GCP1及び接着剤領域GCP2を有し、塗布点領域画像GPPはランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4に加えてスルーホール部PBの画像を示すスルーホール領域GPP2を有する。
図5は、検査基板P2における複数の検査領域RIの様子を示す図である。図5に示す例では、検査基板P2は、第1~第5検査領域RI1~RI5を含んでいる。第1検査領域RI1内においては、塗布物CP及び塗布点PPの構成要素が同じである。第2~第5検査領域RI2~RI5の各々の領域内においても、第1検査領域RI1の場合と同様である。更に、第1~第4検査領域RI1~RI4は、互いに塗布物CP及び塗布点PPの構成要素が同じである。
このように、検査基板P2上の検査領域RIにおいて、塗布物CPの種類が同じであり、且つ塗布点PPの構成要素が同じであるような領域が複数存在する場合を想定する。この場合、カラー画像撮像カメラ7は、検査基板P2上において、複数の検査領域RI1~RI5から選択された所定の領域に関して検査画像G1を生成するように構成されてもよい。図5に示す例では、カラー画像撮像カメラ7は、第1~第5検査領域RI1~RI5から選択された第1検査領域RI1及び第5検査領域RI5に関して検査画像G1を生成する(図5(B)参照)。また、カラー画像撮像カメラ7は、第1~第5検査領域RI1~RI5の各々において、各領域内の例えば半分の部分について検査画像G1を生成する(図5(C)参照)。このような場合には、選択された所定領域の検査画像G1に基づいて、塗布物CPの画像認識が行われることとなる。これにより、検査基板P2に対する塗布物CPの画像認識の効率化が図られる。
一方、検査基板P2上の全ての検査領域RIにおいて、塗布物CPの種類が異なる、又は、塗布点PPの構成要素が異なるような場合を想定する。この場合、カラー画像撮像カメラ7は、全ての検査領域RIに関して検査画像G1を生成する。この場合には、全ての検査領域RIの検査画像G1に基づいて、塗布物CPの画像認識が行われることとなる。これにより、検査基板P2の全ての検査領域RIにおいて、塗布物CPの高精度な画像認識が可能となる。
なお、検査基板P2上の検査領域RIにおいて、塗布物CPの種類が同じであり、且つ塗布点PPの構成要素が同じであるような領域が複数存在する場合であっても、カラー画像撮像カメラ7は、全ての検査領域RIに関して検査画像G1を生成するように構成されてもよい(図5(A)参照)。
また、カラー画像撮像カメラ7は、基板P1上の各塗布点PPを撮像し、図6に示す基板画像G2を塗布点PP毎に生成する。基板画像G2は、RGB色空間で表現されたフルカラー画像である。基板画像G2は、塗布点PPの領域の画像を示す塗布点領域画像GPPを画像成分として含んでいる。
図6においては、3つの基板画像G2が例示されている。図6の左方側の基板画像G2においては、塗布点領域画像GPPはランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4を有する。図6の中央の基板画像G2においては、塗布点領域画像GPPはランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4を有する。図6の右方側の基板画像G2においては、塗布点領域画像GPPはランド領域GPP1、スルーホール領域GPP2、シルク領域GPP3及びレジスト領域GPP4を有する。
また、カラー画像撮像カメラ7は、塗布物認識部材5に塗布された塗布物CPを撮像し、図7に示す塗布物画像G3を生成する。塗布物画像G3は、RGB色空間で表現されたフルカラー画像である。塗布物画像G3は、塗布物CPの領域の画像を示す塗布物領域画像GCPと、例えば単一色の塗布物認識部材5の領域の画像を示す背景領域画像GWと、を画像成分として含んでいる。図7においては、2つの塗布物画像G3が例示されている。図7の上方側の塗布物画像G3においては、塗布物領域画像GCPは半田領域GCP1を有する。図7の下方側の塗布物画像G3においては、塗布物領域画像GCPは接着剤領域GCP2を有する。
<検査制御部>
検査制御部8は、検査装置6の画像認識動作を統括的に制御する制御部を構成する。検査制御部8は、例えば、マイクロプロセッサやその周辺回路等で構成されている。検査制御部8は、カラー画像撮像カメラ7の撮像により生成された検査画像G1、基板画像G2及び塗布物画像G3に基づく塗布物CPの画像認識によって、塗布物CPの塗布状態を検査する検査処理を実行する。
検査制御部8は、中央処理部81と、信号入出力部82と、データ通信部83と、記憶部84と、画像処理部85と、照明条件特定処理部86と、検査条件設定部87と、検査実行部88とを含む。
中央処理部81は、検査制御部8において、検査画像G1、基板画像G2及び塗布物画像G3に基づく検査処理を管理する部分であって、信号入出力部82、データ通信部83、記憶部84、画像処理部85、照明条件特定処理部86、検査条件設定部87及び検査実行部88の各々と接続される。
信号入出力部82は、塗布装置1において塗布ヘッド4の移動動作などを制御する塗布制御装置等の外部装置からの信号の入力や、当該外部装置への信号の出力が行われるインターフェイス回路である。
データ通信部83は、撮像カメラ7によって生成された検査画像G1、基板画像G2及び塗布物画像G3を示す画像データを撮像カメラ7から受信すると共に、後述の検査実行部88の検査動作によって取得された検査結果を示す検査データを前記外部装置に送信するデータ通信を行う。
記憶部84は、検査実行部88によって取得された前記検査データを記憶する。また、記憶部84は、詳細については後述するが、検査条件設定部87によって設定された適合色相角及びS成分画像適用情報などの検査条件、照明条件特定処理部86によって特定された適合照明出力を、前記検査データに関連付けて記憶する。
<画像処理部>
画像処理部85は、検査領域RI毎の検査画像G1、塗布点PP毎の基板画像G2及び塗布物画像G3に画像処理を施す。画像処理部85は、画像変換処理部851と、減色処理部852と、塗布物領域特定部853と、塗布点領域特定部854と、色空間変換部855と、を含む。
(画像変換処理部)
図8は、画像変換処理部851による画像変換処理を示す図である。画像変換処理部851は、RGB色空間で表現された基板画像G2を第1モノクロ画像G41に変換する画像変換処理を実行する(図8(A)参照)。また、画像変換処理部851は、RGB色空間で表現された検査画像G1を第2モノクロ画像G42に変換する画像変換処理を実行する(図8(B)参照)。なお、画像変換処理部851は、RGB色空間で表現された塗布物画像G3を前記第2モノクロ画像G42に変換するようにしてもよい。第1モノクロ画像G41及び第2モノクロ画像G42は、白黒の濃淡を表現したグレースケール画像である。第1及び第2モノクロ画像G41,G42では、白黒の濃淡が例えば256階調で表現される。第1及び第2モノクロ画像G41,G42においては、黒色を示す画素の輝度値(画素値)は「0」で表現され、白色を示す画素の輝度値は「255」で表現され、黒色と白色との間の中間色を示す画素の輝度値は「0」から「255」までの間の数値で表現される。
第1モノクロ画像G41は、基板画像G2と同様に、塗布点PPの領域の画像を示す塗布点領域画像GPPを画像成分として含んでいる。図8(A)に示す例では、塗布点領域画像GPPは、ランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4を有する。検査画像G1が画像変換された第2モノクロ画像G42は、検査画像G1と同様に、塗布物CPの領域の画像を示す塗布物領域画像GCPと、塗布点PPの領域の画像を示す塗布点領域画像GPPとを画像成分として含んでいる。図8(B)に示す例では、塗布物領域画像GCPは半田領域GCP1を有し、塗布点領域画像GPPはランド領域GPP1、シルク領域GPP3及びレジスト領域GPP4を有する。なお、塗布物画像G3が画像変換された第2モノクロ画像G42は、塗布物画像G3と同様に、塗布物領域画像GCPと背景領域画像GWとを有する。
(減色処理部)
図9は、減色処理部852による減色処理を示す図である。減色処理部852は、基板画像G2の色を減らす減色処理を実行し、基板画像G2に対して減色された減色基板画像G5を生成する。減色処理部852が実行する減色処理としては、メディアンカット法やK-means法などの公知の処理の適用が可能であるが、本実施形態では特異な減色処理が採用される。具体的には、減色処理部852は、図2に示すように、色分解部8521と、領域分割部8522と、階調数調整部8523と、減色画像生成部8524とを有する。
色分解部8521は、基板画像G2をRGBの各色成分に分解する色成分分解処理を実行し、色成分毎の色成分画像となるR成分画像、G成分画像及びB成分画像を生成する。R成分画像、G成分画像及びB成分画像は、例えば256階調で濃淡が表現されたグレースケール画像である。領域分割部8522は、R成分画像、G成分画像及びB成分画像の各色成分画像について、画像を構成する各画素の輝度値に基づいて、色成分画像毎に複数の色成分分割領域に分割する領域分割処理を実行する。階調数調整部8523は、R成分画像、G成分画像及びB成分画像の各色成分画像において、色成分分割領域毎にその領域内の各画素の輝度値を、当該領域内の画素群の輝度値から計算される代表値(例えば平均輝度値)に変換する階調数調整処理を実行する。階調数調整部8523は、階調数調整処理の実行によって、階調数を減らした階調調整色成分画像となる階調調整R成分画像、階調調整G成分画像及び階調調整B成分画像を生成する。減色画像生成部8524は、RGB色成分毎の階調調整R成分画像、階調調整G成分画像及び階調調整B成分画像を合成し、減色基板画像G5を生成する。
図9に示すように、減色基板画像G5は、基板画像G2と同様に、塗布点PPの領域の画像を示す塗布点領域画像GPPを画像成分として含んでいる。
なお、他の実施形態において、減色処理部852は、色分解部8521、領域分割部8522、階調数調整部8523及び減色画像生成部8524が、以下に示す処理を実行するように構成されていてもよい。
減色処理部852の他の実施形態において、色分解部8521は、基板画像G2をHSV画像に変換してHSVの各色成分に分解し、色成分毎の色成分画像を生成する。領域分割部8522は、色分解部8521によって生成された各色成分画像について、画像を構成する各画素の輝度値に基づいて、色成分画像毎に複数の色成分分割領域に分割する。階調数調整部8523は、各色成分画像において、色成分分割領域毎にその領域内の各画素の輝度値を、当該領域内の画素群の輝度値から計算される代表値(例えば平均輝度値)に変換する階調数調整処理を実行する。階調数調整部8523は、階調数調整処理の実行によって、階調数を減らした階調調整色成分画像を生成する。そして、減色画像生成部8524は、HSV成分毎の階調調整色成分画像をRGB画像に変換して合成し、減色基板画像G5を生成する。
(塗布物領域特定部)
図10及び図11は、塗布物領域特定部853による塗布物領域画像GCPの特定処理を示す図である。塗布物領域特定部853は、検査画像G1又は塗布物画像G3に含まれている塗布物領域画像GCPを抽出して特定する。検査画像G1を用いる場合、塗布物領域特定部853は、検査画像G1に対して基板画像G2を差し引いた差画像G6を生成し、その差画像G6から塗布物領域画像GCPを抽出して特定する(図10参照)。一方、塗布物画像G3を用いる場合、塗布物領域特定部853は、塗布物画像G3から塗布物領域画像GCPを抽出して特定する(図11参照)。
(塗布点領域特定部)
図12は、塗布点領域特定部854による塗布点領域画像GPPの特定処理を示す図である。塗布点領域特定部854は、基板画像G2に含まれている塗布点領域画像GPPを抽出して特定する。本実施形態では、塗布点領域特定部854は、基板画像G2に対して減色された減色基板画像G5から塗布点領域画像GPPを抽出して特定する。具体的には、塗布点領域特定部854は、減色基板画像G5を色毎に複数の色領域に分割し、当該色領域毎に塗布点領域画像GPPを抽出して、複数の塗布点領域画像GPPを特定する。この場合、塗布点領域特定部854は、基板P1上の1つの塗布点PPに対応して、色領域毎の複数の塗布点領域画像GPPを特定することとなる。
(色空間変換部)
図13は、色空間変換部855により生成されるHSV画像のH成分を示す色相の色相角を説明する図である。図14は、色空間変換部855による塗布物領域画像GCPに対する色空間変換処理を示す図である。図15は、色空間変換部855による塗布点領域画像GPPに対する色空間変換処理を示す図である。
色空間変換部855は、塗布物領域画像GCPをHSV色空間で表現された塗布物HSV画像G71に変換する(図14)と共に、塗布点領域画像GPPをHSV色空間で表現された塗布点HSV画像G72に変換する(図15)第1色空間変換処理を実行する。なお、上記の通り、基板P1上の1つの塗布点PPに対応して複数の塗布点領域画像GPPが特定されている。このため、色空間変換部855は、基板P1上の1つの塗布点PPに対応して、色領域毎の複数の塗布点領域画像GPPの各々を塗布点HSV画像G72に変換する。すなわち、基板P1上の1つの塗布点PPに対応して、複数の塗布点HSV画像G72が生成されることとなる。
HSV色空間は、H(Hue;色相)成分、S(Saturation;彩度)成分、及びV(Value;明度)の3成分からなる色空間である。HSV色空間で表現された塗布物HSV画像G71は、H成分を示す色相の画像である塗布物H成分画像G71Hと、S成分を示す彩度の画像である塗布物S成分画像G71Sと、V成分を示す明度の画像である塗布物V成分画像G71Vとが組み合わされたものである。同様に、HSV色空間で表現された塗布点HSV画像G72は、塗布点H成分画像G72Hと、塗布点S成分画像G72Sと、塗布点V成分画像G72Vとが組み合わされたものである。
塗布物HSV画像G71及び塗布点HSV画像G72のH成分を示す色相は、図13に示すように、0度から360度までの角度を用いて数値化することができる。色相の数値化された角度を「色相角」という。色相角が「0度又は360度」の場合は赤色の様相を示し、色相角が「120度」の場合は緑色の様相を示し、色相角が「240度」の場合は青色の様相を示す。また、色相角が「60度」の場合は黄色の様相を示し、色相角が「180度」の場合はシアン色の様相を示し、色相角が「300度」の場合はマゼンタ色の様相を示す。
更に、色空間変換部855は、塗布物HSV画像G71のH成分を示す色相の色相角を所定範囲(例えば0度から360度までの範囲)で変化させた場合の各画像を、RGB色空間で表現された塗布物RGB画像G81に変換する第2色空間変換処理を実行する(図14参照)。塗布物RGB画像G81は、塗布物領域画像GCPに対応したものとなる。また、色空間変換部855は、第2色空間変換処理において、塗布点HSV画像G72のH成分を示す色相の色相角を所定範囲で変化させた場合の各画像を、RGB色空間で表現された塗布点RGB画像G82に変換する(図15参照)。塗布点RGB画像G82は、塗布点領域画像GPPに対応したものとなる。なお、上記の通り、基板P1上の1つの塗布点PPに対応して、複数の塗布点HSV画像G72が生成されている。このため、色空間変換部855は、基板P1上の1つの塗布点PPに対応して、複数の塗布点HSV画像G72の各々を塗布点RGB画像G82に変換する。すなわち、基板P1上の1つの塗布点PPに対応して、複数の塗布点RGB画像G82が生成されることとなる。
<照明条件特定処理部>
図16は、照明条件特定処理部86による基板画像撮像時の照明条件の特定処理を示す図である。図17は、照明条件特定処理部86による検査画像撮像時又は塗布物画像撮像時の照明条件の特定処理を示す図である。照明条件特定処理部86は、後述の検査条件設定部87による検査条件の設定に適合した照明部71の適合照明出力を特定する処理を実行する。照明条件特定処理部86は、図2に示すように、照明領域抽出部861と照明出力特定部862とを有する。
(照明領域抽出部)
照明領域抽出部861は、図16に示すように、画像変換処理部851によって生成された第1モノクロ画像G41を構成する各画素の輝度値に基づいて、当該第1モノクロ画像G41において、所定の第1照明特定閾値TI1よりも大きい輝度値の画素群からなる第1照明特定領域としてシルク領域GPP3を抽出する。図16に示す例では、照明領域抽出部861は、第1モノクロ画像G41を構成する画素群の輝度値分布を表す第1照明特定用ヒストグラムHI1に基づいて、第1照明特定閾値TI1を決定する。第1モノクロ画像G41は、第1照明特定閾値TI1以下の輝度値の画素群からなるランド領域GPP1及びレジスト領域GPP4と、第1照明特定閾値TI1よりも大きい輝度値の画素群からなるシルク領域GPP3とを含んでいる。照明領域抽出部861は、第1モノクロ画像G41に含まれているシルク領域GPP3を抽出することになる。
また、照明領域抽出部861は、図17に示すように、画像変換処理部851によって生成された第2モノクロ画像G42を構成する各画素の輝度値に基づいて、当該第2モノクロ画像G42において、所定の第2照明特定閾値TI2よりも大きい輝度値の画素群からなる第2照明特定領域としてシルク領域GPP3を抽出する。図17に示す例では、照明領域抽出部861は、第2モノクロ画像G42を構成する画素群の輝度値分布を表す第2照明特定用ヒストグラムHI2に基づいて、第2照明特定閾値TI2を決定する。第2モノクロ画像G42は、第2照明特定閾値TI2以下の輝度値の画素群からなる半田領域GCP1、ランド領域GPP1及びレジスト領域GPP4と、第2照明特定閾値TI2よりも大きい輝度値の画素群からなるシルク領域GPP3とを含んでいる。照明領域抽出部861は、第2モノクロ画像G42に含まれているシルク領域GPP3を抽出することになる。
なお、第1モノクロ画像G41及び第2モノクロ画像G42の各々においてシルク領域GPP3には、最大輝度領域GPP31と、それ以外の領域とが含まれている。最大輝度領域GPP31は、シルク領域GPP3において、所定の輝度値を超える輝度値(例えば最大輝度値(255))を示す注目画素の画素群からなる領域である。
(照明出力特定部)
照明出力特定部862は、第1モノクロ画像G41における第1照明特定領域としてのシルク領域GPP3内の各画素において、最大輝度領域GPP31を構成する注目画素の画素数の、シルク領域GPP3内の画素の総画素数に対する比率である第1照明特定比率を演算する(図16参照)。そして、照明出力特定部862は、前記第1照明特定比率が所定の基準比率以下となる場合の照明部71の照明出力を、第1照明判定値として特定する。ここで、照明出力特定部862は、明るさが異なる複数の第1モノクロ画像G41の各々について前記第1照明特定比率を演算し、前記第1照明判定値を特定する。前記複数の第1モノクロ画像G41は、照明部71の照明出力を複数の条件で切替えてカラー画像撮像部72により撮像された複数の基板画像G2が画像変換処理部851によって画像変換されたものであってもよいし、照明部71の照明出力の変化を疑似的に再現して明るさが調整されたものであってもよい。
また、照明出力特定部862は、第2モノクロ画像G42における第2照明特定領域としてのシルク領域GPP3内の各画素において、最大輝度領域GPP31を構成する注目画素の画素数の、シルク領域GPP3内の画素の総画素数に対する比率である第2照明特定比率を演算する(図17参照)。そして、照明出力特定部862は、前記第2照明特定比率が所定の基準比率以下となる場合の照明部71の照明出力を、第2照明判定値として特定する。ここで、照明出力特定部862は、第1モノクロ画像G41の場合と同様に、明るさが異なる複数の第2モノクロ画像G42の各々について前記第2照明特定比率を演算し、前記第2照明判定値を特定する。
第1モノクロ画像G41に基づく前記第1照明判定値と、第2モノクロ画像G42に基づく前記第2照明判定値とが特定されると、照明出力特定部862は、前記第1照明判定値と前記第2照明判定値との平均値を、前記適合照明出力として特定する。照明出力特定部862によって特定された前記適合照明出力は、検査データに関連付けられて記憶部84に記憶される。
<検査条件設定部>
検査条件設定部87は、画像処理部85による検査画像G1、基板画像G2及び塗布物画像G3に対する画像処理において、塗布物CPを画像認識する条件である検査条件を特定して設定する。検査条件設定部87は、図2に示すように、色相角特定部871と彩度判定部872とを含む。
(色相角特定部)
色相角特定部871は、塗布物HSV画像G71のH成分の色相角の変化に応じて生成された塗布物RGB画像G81と、塗布点HSV画像G72のH成分の色相角の変化に応じて生成された塗布点RGB画像G82とを用いて、検査条件としての適合色相角を検査画像G1毎(基板画像G2毎)に特定する。適合色相角は、検査画像G1において塗布物領域画像GCPが塗布点領域画像GPPに対して強調される場合の色相角を示す。この色相角特定部871の処理について、図14及び図15に加えて図18A及び図18Bを参照して説明する。図18A及び図18Bは、色相角特定部871の処理を説明するための図である。
色相角特定部871は、塗布物RGB画像G81について、RGBの各色成分に分解し、色成分毎の塗布物R成分画像G81R、塗布物G成分画像G81G及び塗布物B成分画像G81Bを生成する(図14参照)。塗布物R成分画像G81R、塗布物G成分画像G81G及び塗布物B成分画像G81Bは、例えば256階調で濃淡が表現されたグレースケール画像である。また、色相角特定部871は、塗布点RGB画像G82について、RGBの各色成分に分解し、色成分毎の塗布点R成分画像G82R、塗布点G成分画像G82G及び塗布点B成分画像G82Bを生成する(図15参照)。塗布点R成分画像G82R、塗布点G成分画像G82G及び塗布点B成分画像G82Bは、例えば256階調で濃淡が表現されたグレースケール画像である。
色相角特定部871は、塗布物R成分画像G81R、塗布物G成分画像G81G及び塗布物B成分画像G81Bのうちの特定色成分画像である塗布物色成分画像と、塗布点R成分画像G82R、塗布点G成分画像G82G及び塗布点B成分画像G82Bのうちの特定色成分画像である塗布点色成分画像と、に基づいて、前記適合色相角を検査画像G1毎に特定する。本実施形態では、色相角特定部871は、塗布物R成分画像G81Rを前記塗布物色成分画像として認識し、塗布点R成分画像G82Rを前記塗布点色成分画像として認識する。なお、上記の通り、基板P1上の1つの塗布点PPに対応して、複数の塗布点RGB画像G82が生成されている。このため、基板P1上の1つの塗布点PPに対応して、すなわち1つの検査画像G1(基板画像G2)に対応して、複数の塗布点R成分画像G82Rが抽出されることとなる。従って、色相角特定部871は、1つの検査画像G1について、塗布物RGB画像G81に対応した塗布物R成分画像G81Rと、複数の塗布点RGB画像G82の各々に対応した複数の塗布点R成分画像G82Rとに基づいて、前記適合色相角を特定することとなる。
色相角特定部871は、図18A及び図18Bに示すように、複数の塗布点R成分画像G82Rの各々の画素群の輝度値から計算される代表値(例えば平均輝度値)を示す塗布点輝度値(以下、「塗布点平均輝度値」という)と、塗布物R成分画像G81Rの画素群の輝度値から計算される代表値(例えば平均輝度値)を示す塗布物輝度値(以下、「塗布物平均輝度値」という)との差分である複数の色相適用差分を、色相角毎に演算する。色相角特定部871は、演算によって求められた色相角毎の複数の色相適用差分に基づいて、前記適合色相角を特定する。
図18A及び図18Bに示す例では、色相角特定部871によって演算された色相角毎の複数の色相適用差分は、色相角「0度」については「7,120,80,106」であり、色相角「60度」については「10,76,68,120」であり、色相角「120度」については「22,108,21,168」である。同様に、色相角「180度」については「23,108,21,168」であり、色相角「240度」については「23,150,34,155」であり、色相角「300度」については「8,117,80,107」である。
色相角特定部871は、色相角毎の複数の色相適用差分において、最も小さい差分が最大となる場合の色相角を、前記適合色相角として特定する。図18A及び図18Bに示す例では、色相角が「240度」の場合において、最も小さい色相適用差分「23」が、他の色相角の場合の最も小さい色相適用差分よりも大きく、最大となる。この場合、色相角特定部871は、色相角「240度」を前記適合色相角として特定する。
また、色相角特定部871は、色相角毎の複数の色相適用差分の総和が最大となる場合の色相角を、前記適合色相角として特定するように構成されていてもよい。図18A及び図18Bに示す例では、色相角毎の複数の色相適用差分の総和は、色相角「0度」が「313」であり、色相角「60度」が「274」であり、色相角「120度」が「319」であり、色相角「180度」が「320」であり、色相角「240度」が「362」であり、色相角「300度」が「312」である。この場合、複数の色相適用差分の総和が最大となる色相角は「240度」であるから、色相角特定部871は、色相角「240度」を前記適合色相角として特定する。
また、色相角特定部871は、色相角毎の複数の色相適用差分の各々が、所定の基準輝度差以上となる場合の色相角を、前記適合色相角として特定するように構成されていてもよい。所定の基準輝度差を例えば「23」に設定した場合、図18A及び図18Bに示す例では、複数の色相適用差分の各々が、所定の基準輝度差「23」以上となる場合の色相角は、「240度」である。この場合、色相角特定部871は、色相角「240度」を前記適合色相角として特定する。
また、色相角特定部871は、上記の3種の特定方法を組み合わせた方法によって、前記適合色相角を特定するように構成されていてもよい。
図19は、検査基板P2の特殊な状態を示す図である。図19に示す例では、検査基板P2は、特殊領域PSを含んでいる。特殊領域PSは、例えばオペレーターによってペンなどでマーキングされた領域部分である。検査基板P2において、特殊領域PSが含まれる検査領域RIは、当該特殊領域PSが含まれない他の検査領域RIとは、塗布物CPの画像認識に差が生じることが想定される。また、塗布物CPの種類によっても、画像認識に差が生じることが想定される。そこで、色相角特定部871は、塗布物CP及び塗布点PPの種類に応じて前記適合色相角を特定する。すなわち、検査基板P2上の各検査領域PIにおいて、塗布物CPの種類が同じであり、且つ塗布点PPの構成要素が同じである場合には、色相角特定部871は、前記適合色相角を同一の値に設定する。一方、塗布物CPの種類が異なる場合や、特殊領域PSが存在する等で塗布点PPの構成要素が異なる場合には、色相角特定部871は、塗布物CP及び塗布点PPの種類に応じて前記適合色相角を個別に設定する。これにより、塗布物CP及び塗布点PPの種類に応じて適切な適合色相角が特定される。
色相角特定部871によって特定された前記適合色相角は、検査データに関連付けられて記憶部84に記憶される。
(彩度判定部)
図20は、彩度判定部872が彩度判定処理の実行時に使用する塗布物S成分画像G71S及び塗布点S成分画像G72Sを説明する図である。図21は、彩度判定部872の彩度判定処理を説明するための図である。
彩度判定部872は、塗布物S成分画像G71Sと塗布点S成分画像G72Sとを、塗布物CPの画像認識に用いるか否かを判定する。塗布物S成分画像G71Sは、塗布物領域画像GCPに対応した塗布物HSV画像G71のS成分を示す彩度画像である。塗布点S成分画像G72Sは、塗布点領域画像GPPに対応した塗布点HSV画像G72のS成分を示す彩度画像である。なお、上記の通り、基板P1上の1つの塗布点PPに対応して、複数の塗布点領域画像GPPが生成されている。このため、基板P1上の1つの塗布点PPに対応して、すなわち1つの検査画像G1(基板画像G2)に対応して、複数の塗布点S成分画像G72Sが存在する。
彩度判定部872は、塗布物S成分画像G71S及び複数の塗布点S成分画像G72Sを用いた画像認識が前記適合色相角を用いた画像認識よりも、塗布点領域画像GCPに対する塗布物領域画像GPPの強調が可能となる場合に、塗布物CPの画像認識の際に塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いると判定する。
彩度判定部872は、図21に示すように、複数の塗布点S成分画像G72Sの各々の画素群の輝度値から計算される代表値(例えば平均輝度値)を示す塗布点平均輝度値と、塗布物S成分画像G71Sの画素群の輝度値から計算される代表値(例えば平均輝度値)を示す塗布物平均輝度値との差分である複数の彩度適用差分を演算する。そして、彩度判定部872は、前記彩度適用差分が前記適合色相角に対応した前記色相適用差分よりも全体として大きい場合に、塗布物CPの画像認識の際に塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いると判定し、その判定結果を示すS成分画像適用情報を出力する。
彩度判定部872から前記S成分画像適用情報が出力された場合には、そのS成分画像適用情報は、検査データに関連付けられて記憶部84に記憶される。
<検査実行部>
検査実行部88は、検査基板P2における複数の検査領域RIの各々での塗布物CPの塗布状態を検査する。検査実行部88は、検査領域RI毎の塗布物CPの塗布状態を検査する際に、照明条件特定処理部86により特定された適合照明出力と、検査条件設定部87により特定された検査条件(適合色相角、S成分画像適用情報)とを参照する。これにより、塗布ヘッド4によって基板P1上に塗布された塗布物CPの塗布状態を精度よく検査することができる。
検査実行部88の検査動作によって取得された検査結果を示す検査データは、記憶部84に記憶される。
[検査装置の検査処理について]
次に、図22のフローチャートを参照して、検査装置6が実行する検査処理を説明する。まず、中央処理部81は、信号入出力部82を介した基板搬送信号の入力を把握する(ステップs1)。基板搬送信号は、コンベア3によって基板P1が所定の塗布位置に搬送されたことを示す信号である。この基板搬送信号は、塗布ヘッド4による基板P1に対する塗布物CPの塗布が実行される前に、塗布装置1の塗布制御装置から検査装置6に向けて送信される。
信号入出力部82を介して基板搬送信号が入力されると、中央処理部81は、基板画像生成処理(ステップs2)を実行する。このステップs2の基板画像生成処理は、基板P1の塗布点PP毎の基板画像G2を生成する処理であって、詳細については後述する。次に、中央処理部81は、信号入出力部82を介して塗布案内信号を塗布制御装置に向けて出力する(ステップs3)。塗布案内信号は、塗布ヘッド4による基板P1及び塗布物認識部材5に対する塗布物CPの塗布を案内する信号である。塗布案内信号が塗布制御装置に入力されると、塗布ヘッド4は、基板P1上の各塗布点PPに塗布物CPを塗布すると共に、塗布物認識部材5上に塗布物CPを塗布する。
基板P1上の各塗布点PP、及び塗布物認識部材5に塗布物CPが塗布されると、中央処理部81は、検査画像生成処理(ステップs4)、塗布物画像生成処理(ステップs5)、照明条件特定処理(ステップs6)、塗布物領域特定処理(ステップs7)、塗布点領域特定処理(ステップs8)、検査条件設定処理(ステップs9)、及び検査実行処理(ステップs10)を順次実行する。中央処理部81がステップs2、並びにステップs4からステップs10までの各処理を実行した場合、その中央処理部81の制御によって、カラー画像撮像カメラ7、信号入出力部82、データ通信部83、記憶部84、画像処理部85、照明条件特定処理部86、検査条件設定部87、及び検査実行部88の各構成要素が動作する。
<基板画像生成処理>
中央処理部81が実行するステップs2の基板画像生成処理について、図23のフローチャートを参照して説明する。ステップs2の基板画像生成処理は、照明部71の照明出力を変化させた条件下で、基板P1の塗布点PP毎の基板画像G2を生成する処理である。まず、中央処理部81は、移動指令信号を出力する(ステップs21)。中央処理部81から出力された移動指令信号は、塗布ヘッド4の移動を指令する信号であって、信号入出力部82を介して塗布制御装置に向けて送信される。移動指令信号を受信した塗布制御装置は、カラー画像撮像カメラ7が基板P1上の各塗布点PPの直上付近に配置されるように、塗布ヘッド4を移動させる。
基板P1上の一の塗布点PPの直上付近に配置されると、カラー画像撮像カメラ7は、照明部71の照明出力を最大値に設定する(ステップs22)。そして、カラー画像撮像カメラ7は、基板P1上の一の塗布点PPを撮像し、図6に示す基板画像G2を生成する(ステップs23)。撮像後の基板画像G2は、記憶部84に一時保存される(ステップs24)。次に、カラー画像撮像カメラ7は、基板P1上の一の塗布点PPでの撮像において、照明部71の照明出力の変更が終了したか否かを判定する(ステップs25)。一の塗布点PPでの撮像における照明出力の変更が終了していない場合には、カラー画像撮像カメラ7は、照明出力を変更し(ステップs251)、ステップs23からステップs25までの各処理を繰り返す。一の塗布点PPでの撮像における照明出力の変更が終了した場合(ステップs25で「YES」)を想定する。この場合、カラー画像撮像カメラ7は、基板P1上の全ての塗布点PPにおいて、照明出力を変化させた条件下での撮像が終了したか否かを判定し(ステップs26)、撮像が終了したと判定した場合には基板画像生成処理を終了する。
<検査画像生成処理>
中央処理部81が実行するステップs4の検査画像生成処理について、図24のフローチャートを参照して説明する。ステップs4の検査画像生成処理は、塗布ヘッド4による基板P1上の各塗布点PPへの塗布物CPの塗布後に実行される。検査画像生成処理は、照明部71の照明出力を変化させた条件下で、検査基板P2の検査領域RI毎の検査画像G1を生成する処理である。まず、中央処理部81は、移動指令信号を出力する(ステップs41)。中央処理部81から出力された移動指令信号は、信号入出力部82を介して塗布制御装置に向けて送信される。移動指令信号を受信した塗布制御装置は、カラー画像撮像カメラ7が検査基板P2上の各検査領域RIの直上付近に配置されるように、塗布ヘッド4を移動させる。
検査基板P2上の一の検査領域RIの直上付近に配置されると、カラー画像撮像カメラ7は、照明部71の照明出力を最大値に設定する(ステップs42)。そして、カラー画像撮像カメラ7は、検査基板P2上の一の検査領域RIを撮像し、図4に示す検査画像G1を生成する(ステップs43)。撮像後の検査画像G1は、記憶部84に一時保存される(ステップs44)。次に、カラー画像撮像カメラ7は、検査基板P2上の一の検査領域RIでの撮像において、照明部71の照明出力の変更が終了したか否かを判定する(ステップs45)。一の検査領域RIでの撮像における照明出力の変更が終了していない場合には、カラー画像撮像カメラ7は、照明出力を変更し(ステップs451)、ステップs43からステップs45までの各処理を繰り返す。一の検査領域RIでの撮像における照明出力の変更が終了した場合(ステップs45で「YES」)を想定する。この場合、カラー画像撮像カメラ7は、検査基板P2上の全ての検査領域RIにおいて、照明出力を変化させた条件下での撮像が終了したか否かを判定し(ステップs46)、撮像が終了したと判定した場合には検査画像生成処理を終了する。
<塗布物画像生成処理>
中央処理部81が実行するステップs5の塗布物画像生成処理について、図25のフローチャートを参照して説明する。ステップs5の塗布物画像生成処理は、塗布ヘッド4による塗布物認識部材5への塗布物CPの塗布後に実行される。塗布物画像生成処理は、照明部71の照明出力を変化させた条件下で、塗布物認識部材5上の塗布物CP毎の塗布物画像G3を生成する処理である。まず、中央処理部81は、移動指令信号を出力する(ステップs51)。中央処理部81から出力された移動指令信号は、信号入出力部82を介して塗布制御装置に向けて送信される。移動指令信号を受信した塗布制御装置は、カラー画像撮像カメラ7が塗布物認識部材5上の各塗布物CPの直上付近に配置されるように、塗布ヘッド4を移動させる。
塗布物認識部材5上の一の塗布物CPの直上付近に配置されると、カラー画像撮像カメラ7は、照明部71の照明出力を最大値に設定する(ステップs52)。そして、カラー画像撮像カメラ7は、塗布物認識部材5上の一の塗布物CPを撮像し、図7に示す塗布物画像G3を生成する(ステップs53)。撮像後の塗布物画像G3は、記憶部84に一時保存される(ステップs54)。次に、カラー画像撮像カメラ7は、塗布物認識部材5上の一の塗布物CPでの撮像において、照明部71の照明出力の変更が終了したか否かを判定する(ステップs55)。一の塗布物CPでの撮像における照明出力の変更が終了していない場合には、カラー画像撮像カメラ7は、照明出力を変更し(ステップs551)、ステップs53からステップs55までの各処理を繰り返す。一の塗布物CPでの撮像における照明出力の変更が終了した場合(ステップs55で「YES」)を想定する。この場合、カラー画像撮像カメラ7は、塗布物認識部材5上の全ての塗布物CPにおいて、照明出力を変化させた条件下での撮像が終了したか否かを判定し(ステップs56)、撮像が終了したと判定した場合には塗布物画像生成処理を終了する。
<照明条件特定処理>
中央処理部81が実行するステップs6の照明条件特定処理について、図26A及び図26Bのフローチャートを参照して説明する。ステップs6の照明条件特定処理は、照明出力を変化させた場合の基板画像G2及び検査画像G1(又は塗布物画像G3)を用いて、照明部71の適合照明出力を特定する処理である。
まず、照明条件特定処理部86は、基板P1上の一の塗布点PPを照明条件の特定対象に設定する(ステップs61)。次に、照明条件特定処理部86は、設定した特定対象に対応した、すなわち、一の塗布点PPに対応した照明出力が最大値の場合の基板画像G2を、記憶部84から読み出す(ステップs62)。基板画像G2が記憶部84から読み出されると、画像変換処理部851は、当該基板画像G2を図8(A)に示す第1モノクロ画像G41に変換する(ステップs63)。次に、照明領域抽出部861は、第1モノクロ画像G41において、所定の第1照明特定閾値TI1よりも大きい輝度値の画素群からなる第1照明特定領域(図16に示す例ではシルク領域GPP3)を抽出する(ステップs64)。そして、照明出力特定部862は、第1照明特定領域としてのシルク領域GPP3内の各画素において、最大輝度領域GPP31を構成する注目画素の画素数の、シルク領域GPP3内の画素の総画素数に対する比率である第1照明特定比率を演算する。照明出力特定部862は、演算によって求めた第1照明特定比率が所定の基準比率以下であるか否かを判定する(ステップs65)。
照明出力特定部862は、前記第1照明特定比率が基準比率以下である場合(ステップs65で「YES」の場合)には、その場合の照明部71の照明出力を、一の塗布点PPでの第1照明判定値として特定する。照明出力特定部862によって特定された第1照明判定値は、記憶部84に一時保存される(ステップs66)。一方、前記第1照明特定比率が基準比率以下ではない場合(ステップs65で「NO」の場合)を想定する。この場合、照明条件特定処理部86は、一の塗布点PPに対応した、照明出力が最大値から変更された場合の基板画像G2を、記憶部84から読み出す(ステップs651)。照明出力が変更された場合の基板画像G2が読み出されると、前記第1照明特定比率が基準比率以下となるまでステップs63からステップs65までの各処理が繰り返される。
一の塗布点PPでの第1照明判定値が記憶部84に一時保存されると、照明条件特定処理部86は、基板P1上における全ての塗布点PPでの第1照明判定値の特定が終了したか否かを判定する(ステップs67)。全ての塗布点PPでの第1照明判定値の特定が終了していない場合には、ステップs61からステップs66までの各処理が繰り返される。
全ての塗布点PPでの第1照明判定値の特定が終了した場合(ステップs67で「YES」)、照明条件特定処理部86は、検査基板P2上の一の検査領域RIを照明条件の特定対象に設定する(ステップs68)。次に、照明条件特定処理部86は、設定した特定対象に対応した、すなわち、一の検査領域RIに対応した照明出力が最大値の場合の検査画像G1を、記憶部84から読み出す(ステップs69)。検査画像G1が記憶部84から読み出されると、画像変換処理部851は、当該検査画像G1を図8(B)に示す第2モノクロ画像G42に変換する(ステップs6A)。次に、照明領域抽出部861は、第2モノクロ画像G42において、所定の第2照明特定閾値TI2よりも大きい輝度値の画素群からなる第2照明特定領域(図17に示す例ではシルク領域GPP3)を抽出する(ステップs6B)。そして、照明出力特定部862は、第2照明特定領域としてのシルク領域GPP3内の各画素において、最大輝度領域GPP31を構成する注目画素の画素数の、シルク領域GPP3内の画素の総画素数に対する比率である第2照明特定比率を演算する。照明出力特定部862は、演算によって求めた第2照明特定比率が所定の基準比率以下であるか否かを判定する(ステップs6C)。
照明出力特定部862は、前記第2照明特定比率が基準比率以下である場合(ステップs6Cで「YES」の場合)には、その場合の照明部71の照明出力を、一の検査領域RIでの第2照明判定値として特定する。照明出力特定部862によって特定された第2照明判定値は、記憶部84に一時保存される(ステップs6D)。一方、前記第2照明特定比率が基準比率以下ではない場合(ステップs6Cで「NO」の場合)を想定する。この場合、照明条件特定処理部86は、一の検査領域RIに対応した、照明出力が最大値から変更された場合の検査画像G1を、記憶部84から読み出す(ステップs6C1)。照明出力が変更された場合の検査画像G1が読み出されると、前記第2照明特定比率が基準比率以下となるまでステップs6Aからステップs6Cまでの各処理が繰り返される。
一の検査領域RIでの第2照明判定値が記憶部84に一時保存されると、照明条件特定処理部86は、検査基板P2上における全ての検査領域RIでの第2照明判定値の特定が終了したか否かを判定する(ステップs6E)。全ての検査領域RIでの第2照明判定値の特定が終了していない場合には、ステップs68からステップs6Dまでの各処理が繰り返される。
全ての検査領域RIでの第2照明判定値の特定が終了した場合(ステップs6Eで「YES」)を想定する。この場合、照明出力特定部862は、記憶部84に一時保存されている第1照明判定値と第2照明判定値との平均値を、適合照明出力として特定する(ステップs6F)。照明出力特定部862によって特定された適合照明出力は、検査データに関連付けられて記憶部84に記憶される(ステップs6G)。
記憶部84に適合照明出力が記憶されると、照明出力特定部862は、適合照明出力に対して所定値以上の差の第1照明判定値又は第2照明判定値が存在するか否かを判定する(ステップs6H)。適合照明出力に対して所定値以上の差の第1照明判定値又は第2照明判定値が存在する場合には、照明出力特定部862は、当該第1照明判定値又は第2照明判定値を、個別照明出力として特定する。照明出力特定部862によって特定された個別照明出力は、検査データに関連付けられて記憶部84に記憶される(ステップs6H1)。適合照明出力に対して所定値以上の差の第1照明判定値又は第2照明判定値が存在しない場合には、照明条件特定処理を終了する。
<塗布物領域特定処理>
中央処理部81が実行するステップs7の塗布物領域特定処理について、図27及び図28のフローチャートを参照して説明する。図27のフローチャートは、基板画像G2及び検査画像G1を用いて塗布物領域画像GCPを特定する場合の塗布物領域特定処理を示す。図28のフローチャートは、塗布物画像G3を用いて塗布物領域画像GCPを特定する場合の塗布物領域特定処理を示す。
まず、図27のフローチャートを参照して塗布物領域特定処理を説明する。塗布物領域特定部853は、検査基板P2上の一の検査領域RIを塗布物領域画像GCPの特定対象に設定する(ステップs71)。次に、塗布物領域特定部853は、設定した特定対象に対応した、すなわち、一の検査領域RIに対応した、適合照明出力での基板画像G2及び検査画像G1を、記憶部84から読み出す(ステップs72)。適合照明出力の条件下で撮像された基板画像G2及び検査画像G1は、塗布物領域特定処理で利用されると共に、当該塗布物領域特定処理後の後述の塗布点領域特定処理、検査条件設定処理の実行時に利用される。これにより、過照度の照明に由来した色飛び(白飛び)の発生が抑制された基板画像G2及び検査画像G1に基づいて、塗布物領域画像GCPの特定や、塗布点領域画像GPPの特定、検査条件の設定を行うことができる。
基板画像G2及び検査画像G1が読み出されると、図10に示すように、塗布物領域特定部853は、検査画像G1に対して基板画像G2を差し引いた差画像G6を生成し、その差画像G6から塗布物領域画像GCPを抽出して特定する(ステップs73)。塗布物領域特定部853は、検査画像G1に対して基板画像G2を差し引いた差画像G6に基づいて、塗布物領域画像GCPを適切に抽出して特定することができる。
一の検査領域RIに対応した塗布物領域画像GCPが特定されると、塗布物領域特定部853は、検査基板P2上における全ての検査領域RIでの塗布物領域画像GCPの特定が終了したか否かを判定する(ステップs74)。全ての検査領域RIでの塗布物領域画像GCPの特定が終了していない場合には、ステップs71からステップs73までの各処理が繰り返される。全ての検査領域RIでの塗布物領域画像GCPの特定が終了した場合には、塗布物領域特定処理を終了する。
次に、図28のフローチャートを参照して塗布物領域特定処理を説明する。塗布物領域特定部853は、塗布物認識部材5上の一の塗布物CPを塗布物領域画像GCPの特定対象に設定する(ステップs7A)。次に、塗布物領域特定部853は、設定した特定対象に対応した、すなわち、一の塗布物CPに対応した、適合照明出力での塗布物画像G3を、記憶部84から読み出す(ステップs7B)。
塗布物画像G3が読み出されると、図11に示すように、塗布物領域特定部853は、塗布物画像G3から塗布物領域画像GCPを抽出して特定する(ステップs7C)。塗布物画像G3は、単一色の塗布物認識部材5に塗布された塗布物CPの撮像により生成されたものである。このため、塗布物画像G3において塗布物CPの領域を示す塗布物領域画像GCPの背景となる領域は、単一色の背景領域となる。従って、塗布物領域特定部853は、塗布物画像G3に基づいて塗布物領域画像GCPを容易に抽出して特定することができる。
一の塗布物CPに対応した塗布物領域画像GCPが特定されると、塗布物領域特定部853は、塗布物認識部材5上における全ての塗布物CPでの塗布物領域画像GCPの特定が終了したか否かを判定する(ステップs7D)。全ての塗布物CPでの塗布物領域画像GCPの特定が終了していない場合には、ステップs7Aからステップs7Cまでの各処理が繰り返される。全ての塗布物CPでの塗布物領域画像GCPの特定が終了した場合には、塗布物領域特定処理を終了する。
<塗布点領域特定処理>
中央処理部81が実行するステップs8の塗布点領域特定処理について、図29のフローチャートを参照して説明する。ステップs8の塗布点領域特定処理は、基板画像G2を用いて塗布点領域画像GPPを特定する処理である。
塗布点領域特定部854は、基板P1上の全ての塗布点PPに対応した、適合照明出力での全ての基板画像G2を、記憶部84から読み出す(ステップs81)。記憶部84から全ての基板画像G2が読み出されると、減色処理部852は、当該基板画像G2の各々の色を減らす減色処理を実行し、図9に示す減色基板画像G5を基板画像G2毎に生成する(ステップs82)。減色処理部852は、フルカラー画像である基板画像G2に対する直接的な減色処理によって減色基板画像G5を生成するものではなく、RGBの色成分画像毎に階調数を減らす処理を施して減色基板画像G5を生成する。これにより、例えば512色のフルカラー画像を256色に減色し、更に256色から128色へと減色するような減色処理を繰り返す必要がなくなるから、減色処理部852による減色処理の効率化が図られる。
基板画像G2毎の減色基板画像G5が生成されると、塗布点領域特定部854は、減色基板画像G5を色毎に複数の色領域に分割し、当該色領域毎に塗布点領域画像GPPを抽出して、複数の塗布点領域画像GPPを特定する(ステップs83)。基板P1上の全ての塗布点PPについて、色領域毎の複数の塗布点領域画像GPPが特定されると、塗布点領域特定処理を終了する。
基板P1上の塗布点PPに塗布物CPが塗布された検査基板P2においては、塗布物CPによって背景となる塗布点PPが隠れてしまう場合がある。この場合、検査基板P2の撮像により生成された検査画像G2から塗布点領域画像GPPを適切に抽出することが困難となる虞がある。そこで、塗布点領域特定部854は、塗布物CPが塗布される前の基板P1の撮像により生成された塗布点PP毎の基板画像G2から塗布点領域画像GPPを抽出する。これにより、塗布点領域特定部854は、塗布点領域画像GPPを適切に抽出して特定することができる。
また、基板画像G2に対して減色された減色基板画像G5に基づいて、塗布点領域画像GPPの抽出処理が行われる。これにより、塗布点領域特定部854による塗布点領域画像GPPの抽出処理の効率化が図られる。
<検査条件設定処理>
中央処理部81が実行するステップs9の検査条件設定処理について、図30のフローチャートを参照して説明する。ステップs9の検査条件設定処理は、塗布物領域画像GCP及び塗布点領域画像GPPを用いて、塗布物CPを画像認識する際の検査条件を特定して設定する処理である。
色相角特定部871は、一の塗布点領域画像GPP及び塗布物領域画像GCPを検査条件の特定対象に設定する(ステップs91)。次に、色空間変換部855は、図14及び図15に示すように、塗布物領域画像GCPを塗布物HSV画像G71に変換すると共に、塗布点領域画像GPPを塗布点HSV画像G72に変換する(ステップs92)。なお、基板P1上の1つの塗布点PPに対応して複数の塗布点領域画像GPPが特定されている。このため、色空間変換部855は、基板P1上の1つの塗布点PPに対応して、色領域毎の複数の塗布点領域画像GPPの各々を塗布点HSV画像G72に変換する。
次に、色空間変換部855は、塗布物HSV画像G71のH成分を示す色相の色相角を0度から360度までの範囲で変化させ(ステップs93)、この場合の各画像を塗布物RGB画像G81に変換する(ステップs94)。また、色空間変換部855は、塗布点HSV画像G72のH成分を示す色相の色相角を0度から360度までの範囲で変化させ(ステップs93)、この場合の各画像を塗布点RGB画像G82に変換する(ステップs94)。なお、上記の通り、基板P1上の1つの塗布点PPに対応して、複数の塗布点HSV画像G72が生成されている。このため、色空間変換部855は、基板P1上の1つの塗布点PPに対応して、複数の塗布点HSV画像G72の各々を塗布点RGB画像G82に変換する。
次に、色相角特定部871は、塗布物RGB画像G81の塗布物R成分画像G81Rと、複数の塗布点RGB画像G82の各々の塗布点R成分画像G82Rとに基づいて、色相適用差分を色相角毎に演算する(ステップs95)。具体的には、色相角特定部871は、図18A及び図18Bに示すように、複数の塗布点R成分画像G82Rの各々の画素群の塗布点平均輝度値と、塗布物R成分画像G81Rの画素群の塗布物平均輝度値との差分である複数の色相適用差分を、色相角毎に演算する。
一の塗布点領域画像GPP及び塗布物領域画像GCPに対応した色相適用差分が演算されると、色相角特定部871は、全ての塗布点領域画像GPP及び塗布物領域画像GCPに対する演算が終了したか否かを判定する(ステップs96)。全ての演算が終了していない場合(ステップs96で「NO」)、ステップs91からステップs95までの各処理が繰り返される。
一方、全ての色相適用差分の演算が終了した場合、色相角特定部871は、演算によって求められた色相角毎の複数の色相適用差分に基づいて、適合色相角を特定する(ステップs97)。具体的には、色相角特定部871は、色相角毎の複数の色相適用差分において、最も小さい差分が最大となる場合の色相角を、前記適合色相角として特定する。或いは、色相角特定部871は、色相角毎の複数の色相適用差分の総和が最大となる場合の色相角を、前記適合色相角として特定する。或いは、色相角特定部871は、色相角毎の複数の色相適用差分の各々が、所定の基準輝度差以上となる場合の色相角を、前記適合色相角として特定する。
色相角特定部871により特定される前記適合色相角は、塗布物領域画像GCPが塗布点領域画像GPPに対して強調される場合の色相角である。このようなH成分を示す色相の色相角が適合色相角とされた塗布物HSV画像G71及び塗布点HSV画像G72に基づく画像認識によって、塗布物CPを高精度に認識することができる。ここで、塗布物CPを画像認識する際の検査条件となる適合色相角は、オペレーターの入力操作によって設定されるのではなく、色相角特定部871によって自動的に特定される。このため、オペレーターの設定作業に起因した、検査条件の設定のばらつきが生じることが抑制される。
また、色相角特定部871は、適合色相角の特定の際に、減色基板画像G5における色領域毎の複数の塗布点領域画像GPPを用いる。これにより、基板P1の塗布点PPが複数の色によって構成されている場合であっても、各色に応じて適切な適合色相角が特定される。
また、色相角特定部871により特定される適合色相角は、複数の塗布点R成分画像G82Rの各々の塗布点平均輝度値と、塗布物R成分画像G81Rの塗布物平均輝度値との差分である色相適用差分に基づくものである。これにより、塗布物領域画像GCPが塗布点領域画像GPPに対して適切に強調されたものとなる。このようなH成分を示す色相の色相角が適合色相角とされた塗布物HSV画像G71及び塗布点HSV画像G72に基づく画像認識によって、塗布物CPを高精度に認識することができる。
次に、彩度判定部872は、図20に示す塗布物S成分画像G71Sと塗布点S成分画像G72Sとを、塗布物CPの画像認識に用いるか否かを判定する(ステップs98)。彩度判定部872は、塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いた画像認識が前記適合色相角を用いた画像認識よりも、塗布点領域画像GCPに対する塗布物領域画像GPPの強調が可能となる場合に、塗布物CPの画像認識の際に塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いると判定する。具体的には、彩度判定部872は、図21に示すように、複数の塗布点S成分画像G72Sの各々の画素群の平均輝度値を示す塗布点平均輝度値と、塗布物S成分画像G71Sの画素群の平均輝度値を示す塗布物平均輝度値との差分である複数の彩度適用差分を演算する。そして、彩度判定部872は、前記彩度適用差分が前記適合色相角に対応した前記色相適用差分よりも全体として大きい場合に、塗布物CPの画像認識の際に塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いると判定し、その判定結果を示すS成分画像適用情報を出力する。彩度判定部872からS成分画像適用情報が出力された場合には、その情報が検査データと関連付けられて記憶部84に記憶される(ステップs981)。
一方、再度判定部b872によって塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いないと判定された場合(ステップs98で「NO」)、ステップs97において色相角特定部871によって特定された適合色相角が、検査データと関連付けられて記憶部84に記憶される(ステップs99)。
例えば、基板P1の塗布点PPに広範囲の色成分を含んだ色(白色)の領域が存在する場合を想定する。この場合、H成分を示す色相の色相角が適合色相角とされた塗布物HSV画像G71及び塗布点HSV画像G72に基づき変換された塗布物RGB画像G81及び塗布点RGB画像G82において、塗布物領域画像GCPが塗布点領域画像GPPに対して強調されたものが得にくいことが想定される。このような場合には、彩度判定部872は、塗布物CPの画像認識の際に塗布物S成分画像G71S及び塗布点S成分画像G72Sを用いると判定する。これにより、塗布物領域画像GCPが塗布点領域画像GPPに対して強調されたものを得ることができる。
以上説明の通り、照明条件特定処理部86によって適合照明出力が特定され、検査条件設定部87によって検査条件(適合色相角、S成分画像適用情報)が設定されると、図22のフローチャートに示すステップs10の検査実行処理が実行される。
検査実行処理において、検査実行部88は、検査基板P2における複数の検査領域RIの各々での塗布物CPの塗布状態を検査する。検査実行部88は、検査領域RI毎の塗布物CPの塗布状態を検査する際に、照明条件特定処理部86により特定された適合照明出力と、検査条件設定部87により特定して設定された検査条件(適合色相角、S成分画像適用情報)とを参照する。これにより、塗布ヘッド4によって基板P1上に塗布された塗布物CPの塗布状態を精度よく検査することができる。
1 塗布装置
2 本体フレーム
3 コンベア(搬送部)
4 塗布ヘッド(塗布部)
5 塗布物認識部材
6 検査装置
7 カラー画像撮像カメラ
8 検査制御部
85 画像処理部
851 画像変換処理部
852 減色処理部
853 塗布物領域特定部
854 塗布点領域特定部
855 色空間変換部
86 照明条件特定処理部
87 検査条件設定部
871 色相角特定部
872 彩度判定部
88 検査実行部
CP 塗布物
G1 検査画像
G2 基板画像
G3 塗布物画像
G5 減色基板画像
G6 差画像
G71 塗布物HSV画像
G72 塗布点HSV画像
G81 塗布物RGB画像
G82 塗布点RGB画像
GCP 塗布物領域画像
GPP 塗布点領域画像
P1 基板
P2 検査基板
PA ランド部
PB スルーホール部
PC シルク部
PD レジスト層
PP 塗布点
RI 検査領域

Claims (12)

  1. 基板上の複数の塗布点に塗布物が塗布された検査基板の、前記各塗布点に対応した複数の検査領域における前記塗布物の塗布状態を検査する検査装置であって、
    前記検査基板上の前記各検査領域を撮像し、カラーの検査画像を前記検査領域毎に生成すると共に、前記塗布物が塗布される前の前記基板において前記各塗布点を撮像し、カラーの基板画像を前記塗布点毎に生成するカラー画像撮像カメラと、
    前記検査領域毎の前記検査画像、及び前記塗布点毎の前記基板画像の各々に画像処理を施す画像処理部と、
    前記画像処理部による前記画像処理において、前記検査画像上で前記塗布物を画像認識する条件である検査条件を特定し設定する検査条件設定部と、を備え、
    前記画像処理部は、
    前記基板画像の色を減らす減色処理を実行し、前記基板画像に対して減色された減色基板画像を生成する減色処理部と、
    前記検査画像における前記塗布物の領域の画像を示す塗布物領域画像を特定する塗布物領域特定部と、
    前記検査画像における前記塗布点の領域の画像を示す塗布点領域画像を、前記減色基板画像を用いて抽出して特定する塗布点領域特定部と、
    前記塗布物領域画像及び前記塗布点領域画像の各々をHSV画像に変換すると共に、前記HSV画像のH成分を示す色相の色相角を所定範囲で変化させた場合の各画像を、RGB画像に変換する色空間変換部と、を含み、
    前記検査条件設定部は、前記塗布物領域画像及び前記塗布点領域画像の各々に対応した特定の色成分の画像である特定色成分画像に基づいて、前記塗布物領域画像が前記塗布点領域画像に対して強調される場合の色相角を示す適合色相角を、前記検査条件として前記検査画像毎に特定する色相角特定部を含み、
    前記塗布点領域特定部は、前記減色基板画像を色毎に複数の色領域に分割し、前記色領域毎に前記塗布点領域画像を抽出して、複数の前記塗布点領域画像を特定し、
    前記色空間変換部は、前記RGB画像として、前記塗布物領域画像に対応した塗布物RGB画像と、前記複数の塗布点領域画像の各々に対応した複数の塗布点RGB画像を生成し、
    前記色相角特定部は、前記RGB画像を構成する各色成分のうちの特定の色成分の画像である前記特定色成分画像としての、前記塗布物RGB画像に対応した塗布物色成分画像と、前記複数の塗布点RGB画像の各々に対応した複数の塗布点色成分画像とに基づいて、前記適合色相角を特定する、検査装置。
  2. 前記塗布物領域特定部は、前記検査画像に対して前記基板画像を差し引いた差画像から、前記塗布物領域画像を抽出して特定する、請求項に記載の検査装置。
  3. 前記カラー画像撮像カメラは、所定の塗布物認識部材に塗布された前記塗布物を撮像し、カラーの塗布物画像を生成するように構成され、
    前記塗布物領域特定部は、前記塗布物画像を用いて前記塗布物領域画像を抽出して特定する、請求項に記載の検査装置。
  4. 前記色相角特定部は、
    前記複数の塗布点色成分画像の各々の画素群の輝度値から計算される代表値を示す塗布点輝度値と、前記塗布物色成分画像の画素群の輝度値から計算される代表値を示す塗布物輝度値との差分である複数の色相適用差分を、色相角毎に算出し、
    当該色相角毎の複数の色相適用差分に基づいて、前記適合色相角を特定する、請求項1~3のいずれか1項に記載の検査装置。
  5. 前記色相角特定部は、前記色相角毎の前記複数の色相適用差分において、最も小さい差分が最大となる場合の色相角を、前記適合色相角として特定する、請求項に記載の検査装置。
  6. 前記色相角特定部は、前記色相角毎の前記複数の色相適用差分の総和が最大となる場合の色相角を、前記適合色相角として特定する、請求項に記載の検査装置。
  7. 前記色相角特定部は、前記色相角毎の前記複数の色相適用差分の各々が、所定の基準輝度差以上となる場合の色相角を、前記適合色相角として特定する、請求項に記載の検査装置。
  8. 前記検査条件設定部は、彩度画像を、前記塗布物の画像認識の際に用いるか否かを判定する彩度判定部を、更に含み、
    前記彩度判定部は、前記彩度画像を用いた画像認識が前記適合色相角を用いた画像認識よりも、前記塗布点領域画像に対する前記塗布物領域画像の強調が可能となる場合に、前記塗布物の画像認識の際に前記彩度画像を用いると判定する、請求項1~のいずれか1項に記載の検査装置。
  9. 前記色相角特定部は、前記塗布物及び前記塗布点の種類に応じて前記適合色相角を特定する、請求項1~のいずれか1項に記載の検査装置。
  10. 前記カラー画像撮像カメラは、前記検査基板上において、前記複数の検査領域から選択された所定の領域に関して前記検査画像を生成する、又は、前記複数の検査領域の全ての領域に関して前記検査画像を生成する、請求項1~のいずれか1項に記載の検査装置。
  11. 前記基板は、レジスト層と、シルク印刷により形成されたシルク部と、スルーホール部もしくはビアホール部と、電子部品の端子電極が接続されるランド部と、を有する、請求項1~10のいずれか1項に記載の検査装置。
  12. 複数の塗布点が設定された基板を搬送する搬送部と、
    前記基板上の前記複数の塗布点の各々に塗布物を塗布する塗布部と、
    前記塗布部による塗布後の検査基板において、前記塗布物の塗布状態を検査する、請求項1~11のいずれか1項に記載の検査装置と、を備える、塗布装置。
JP2019111211A 2019-06-14 2019-06-14 検査装置及びそれを備えた塗布装置 Active JP7181157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019111211A JP7181157B2 (ja) 2019-06-14 2019-06-14 検査装置及びそれを備えた塗布装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111211A JP7181157B2 (ja) 2019-06-14 2019-06-14 検査装置及びそれを備えた塗布装置

Publications (2)

Publication Number Publication Date
JP2020204487A JP2020204487A (ja) 2020-12-24
JP7181157B2 true JP7181157B2 (ja) 2022-11-30

Family

ID=73838346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111211A Active JP7181157B2 (ja) 2019-06-14 2019-06-14 検査装置及びそれを備えた塗布装置

Country Status (1)

Country Link
JP (1) JP7181157B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346827B1 (ko) * 2021-05-31 2022-01-05 주식회사 에이케이씨 컬러 광학 검사 장치 및 이를 포함하는 시스템
JP7140930B1 (ja) * 2022-03-07 2022-09-21 Ckd株式会社 基板検査装置及び基板検査方法
KR20230159987A (ko) * 2022-05-16 2023-11-23 주식회사 고영테크놀러지 기판에 도포된 대상물의 도포 상태를 검사하기 위한 장치, 방법 및 명령을 기록한 기록 매체
KR20240067513A (ko) * 2022-11-09 2024-05-17 캠아이 주식회사 컬러 조명과 카메라를 이용한 도포 농도 검사 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153627A (ja) 1999-11-29 2001-06-08 Matsushita Electric Ind Co Ltd 電子部品の搭載状態検査装置および搭載状態検査方法
JP2002139452A (ja) 2000-11-01 2002-05-17 Fuji Mach Mfg Co Ltd 塗布状態検査方法および塗布状態検査装置
JP2005121368A (ja) 2003-09-11 2005-05-12 Tomey Corp 着色眼用レンズの存在等の検知方法
JP2005188940A (ja) 2003-12-24 2005-07-14 Matsushita Electric Ind Co Ltd 半田検査装置および半田検査方法
JP2006208362A (ja) 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
JP2007102270A (ja) 2005-09-30 2007-04-19 Omron Corp 画像処理装置
JP2011075506A (ja) 2009-10-01 2011-04-14 Suzuki Motor Corp 歯当たり面検出装置
JP2017167055A (ja) 2016-03-17 2017-09-21 住友ゴム工業株式会社 着色部材における透明塗布剤の塗布の有無を検査する検査方法、その検査装置及びその検査方法を含む着色部材の製造方法
JP2018185177A (ja) 2017-04-25 2018-11-22 合同会社ウイングビジョン 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP2019054449A (ja) 2017-09-15 2019-04-04 浜松ホトニクス株式会社 画像処理方法、画像処理装置、及び画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535473B2 (ja) * 1987-08-27 1996-09-18 富士機械製造株式会社 プリント基板用高粘性流体塗布装置
JPH10311713A (ja) * 1997-05-13 1998-11-24 Canon Inc ボンディングワイヤ検査方法および装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153627A (ja) 1999-11-29 2001-06-08 Matsushita Electric Ind Co Ltd 電子部品の搭載状態検査装置および搭載状態検査方法
JP2002139452A (ja) 2000-11-01 2002-05-17 Fuji Mach Mfg Co Ltd 塗布状態検査方法および塗布状態検査装置
JP2005121368A (ja) 2003-09-11 2005-05-12 Tomey Corp 着色眼用レンズの存在等の検知方法
JP2005188940A (ja) 2003-12-24 2005-07-14 Matsushita Electric Ind Co Ltd 半田検査装置および半田検査方法
JP2006208362A (ja) 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
JP2007102270A (ja) 2005-09-30 2007-04-19 Omron Corp 画像処理装置
JP2011075506A (ja) 2009-10-01 2011-04-14 Suzuki Motor Corp 歯当たり面検出装置
JP2017167055A (ja) 2016-03-17 2017-09-21 住友ゴム工業株式会社 着色部材における透明塗布剤の塗布の有無を検査する検査方法、その検査装置及びその検査方法を含む着色部材の製造方法
JP2018185177A (ja) 2017-04-25 2018-11-22 合同会社ウイングビジョン 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP2019054449A (ja) 2017-09-15 2019-04-04 浜松ホトニクス株式会社 画像処理方法、画像処理装置、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2020204487A (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7181157B2 (ja) 検査装置及びそれを備えた塗布装置
JP5627079B2 (ja) プリント回路基板上における測定対象物の測定方法
US20050190361A1 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
CN108154502A (zh) 一种基于卷积神经网络的通孔焊点识别方法
CN106503719A (zh) 一种物体颜色提取与检测方法及装置
US20060203311A1 (en) Automatic white balance method adaptive to digital color images
US20060153439A1 (en) PC board inspecting apparatus, inspection logic setting method, and inspection logic setting apparatus
KR101543374B1 (ko) 감성 조명제어장치 및 방법
JP2573434B2 (ja) 特定色抽出方法
JP5622816B2 (ja) プリント回路基板上における測定対象物の測定方法
KR101059697B1 (ko) 인쇄회로기판상의 측정대상물의 측정방법
KR101428923B1 (ko) 인쇄회로기판의 부품패키징 영역 자동검출 시스템 및 방법
CN108830908A (zh) 一种基于人工神经网络的魔方颜色识别方法
TW201740311A (zh) 人臉影像處理方法及其系統
CN114862775A (zh) 一种焊接机器人的视觉识别系统
JP7201540B2 (ja) マーク認識装置及びそれを備えた処理装置
CN111339729A (zh) 一种自动定位螺丝孔位置的平衡布局方法,设备及可读存储介质
CN109003268B (zh) 一种超薄柔性ic基板外观颜色检测方法
US20220335587A1 (en) Image inspection apparatus and image inspection method
JPH06187443A (ja) 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
JP2002048731A (ja) 実装基板の外観検査装置および外観検査方法
JP4354173B2 (ja) 電子回路用部品の外観検査装置
CN106206357A (zh) 一种微型芯片脚位方向嵌入式视觉自动检测系统及其检测方法
CN106971391A (zh) 一种基于颜色识别的多模板定位浸锡检测方法
KR101059699B1 (ko) 인쇄회로기판상의 측정대상물의 측정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221117

R150 Certificate of patent or registration of utility model

Ref document number: 7181157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150