JP3960346B2 - 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法 - Google Patents

Description

この発明は、２以上の色データを組み合わせて構成されるカラー画像を処理することにより、その画像中の観測対象物に所定の画像処理を施す技術に関する。
また、この発明は、基板のカラー画像を処理してその画像中の被検査部位に対する自動検査を行う技術、およびその自動検査に必要な検査データを作成する技術に関する。

部品実装基板の一般的な製造工程には、プリント配線板にクリームはんだを印刷する工程、クリームはんだが印刷された位置に部品を搭載する工程、部品登載後の基板を加熱して部品を基板にはんだ付けする工程が含められている。

上記の流れで部品実装基板を製造する場合、各工程毎に、その工程における処理が適切に行われたかどうかを検査するのが望ましい。この点に鑑み、出願人は、カラー画像の処理により被検査部位を自動的に検査する基板検査装置を開発している。たとえば、下記の特許文献１に開示されたものがある。

特許第３２５０３３５号 公報

この種の基板検査装置では、検査対象の基板の画像（以下、「処理対象画像」という。）を生成した後、この処理対象画像上の各被検査部位に検査領域を設定し、各検査領域において、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）毎に設定された２値化しきい値により被検査部位と同様の色彩を有する画素を抽出する。そして、抽出された各画素により構成される画像領域を被検査部位とみなして、その面積や位置をあらかじめ教示された基準値と照合することにより、被検査部位の適否を判別するようにしている。

また、この種の基板検査装置では、最後のはんだ付け工程後の基板のフィレット検査に活用するために、「カラーハイライト照明」と呼ばれる照明方式を導入している。この照明は、赤、緑、青の色彩光を異なる仰角方向から基板に照射するもので、赤色光源の仰角が最も大きく、以下、緑色光源、青色光源の順に仰角が小さくなるように配備される。また、基板を撮像するカメラは、光軸を鉛直方向に向けて配備され、その光軸を取り囲むようにして各光源が配備される。このような構成により、カメラには、はんだの傾斜角度によって異なる色彩の光が入射することになり、生成された画像上のフィレットにも、Ｒ，Ｇ，Ｂの各色彩パターンが出現する。
フィレット検査では、検査領域におけるＲ，Ｇ，Ｂの各色彩パターンを個別に抽出し、各色彩パターン毎に、位置や大きさの適否を判別する。これにより、はんだの傾斜状態が適切であるか否かを、精度良く判別することができる。

従来の基板検査装置では、被検査部位の抽出を２値化により行っているが、周囲環境の明るさが変化すると、基板表面の明るさも変化したり、被検査部位に影が生じることがある。このような変化が生じると、被検査部位の色合いが変化し、設定されたしきい値では、被検査部位を正確に抽出できなくなる可能性がある。

また、基板検査に限定しない一般的な画像処理においても、照明変動や、個々の対象物における個体差などによって、観測対象物の色合いが変動することがある。このため観測対象物の色彩を特定の範囲に定め、その範囲に含まれる色彩のみを抽出するような方法をとると、観測対象物の抽出精度を十分に確保できなくなるおそれがある。

この発明は上記の問題に着目してなされたもので、観測対象物の色合いがある程度変化しても、その観測対象物を精度良く抽出できるようにして、検査をはじめとする各種画像処理の精度を高めることを目的とする。

この発明にかかる画像処理方法は、ｎ個（ｎ≧２、以下も同じ。）の色データの組み合わせによるカラー画像を処理対象として、その処理対象画像から観測対象物を抽出して所定の画像処理を実行するものである。画像処理としては、観測対象物の位置、大きさ、輪郭形状などを計測しても良いし、さらに、この計測処理の結果を所定のしきい値と比較して、観測対象物の適否を判別してもよい。また、抽出した観測対象物の画像データについて、あらかじめ設定したモデルの画像データに対する類似度を求め、その類似度を出力したり、類似度から観測対象物の適否を判別してもよい。
また、画像処理として、単に観測対象物の抽出結果を表示する処理を行うようにしてもよい。たとえば、処理対象画像中の観測対象物の視認を容易にするという目的で、抽出された観測対象物を特定の色彩により識別表示する場合がある。

前記カラー画像として、以下では、赤（Ｒ），緑（Ｇ），青（Ｂ）の３色の濃淡データ（階調）を色データとして組み合わせた画像を例に説明する。ただし、カラー画像の構成はこれに限らず、たとえば、Ｒ，Ｇ，Ｂ以外の色彩による濃淡データを色データとして加えた４以上の色データの組み合わせによるカラー画像を、処理対象としてもよい。また観測対象物の色彩の範囲を限定できるのであれば、ＲとＧ、ＧとＢのように、色データの数を２個に限定してもよい。

この発明にかかる画像処理方法では、下記の第１、第２、第３のステップを実行する。
第１ステップでは、観測対象物が撮像領域内に存在しない状態下で撮像を行って基準画像を生成する。
第２ステップでは、前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、撮像対象領域に観測対象物が存在しない状態から観測対象物が存在する状態に移行したときに当該観測対象物に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、前記観測対象物を含む処理対象画像上の画素毎に前記基準画像上の対応画素に対する差を算出する。
第３ステップでは、前記第２ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記観測対象物として認識する。この場合に、観測対象物が存在するときに観測対象物が存在しないときより増加する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が正の方向に所定の基準値を上回る値をもって変化している画素を抽出対象とし、観測対象物が存在するときに観測対象物が存在しないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に所定の基準値を上回る値をもって変化している画素を抽出対象とする。

上記において、処理対象画像と基準画像とは、同じサイズであって、各画素間に一対一の対応関係があるのが望ましい。これらの画像は、カメラによる撮像処理を１回実行することにより生成されるものであっても良いし、複数回の撮像により得られた複数枚の画像を合成したものを、処理対象画像または基準画像として設定してもよい。

基準画像を生成する場合の照明やカメラの条件は、処理対象画像の取得時と同様に設定されるのが望ましい。しかしながら、周囲環境の明るさ変化などの影響により照明条件が多少変動しても差し支えはない。

第２ステップでは、たとえば、観測対象物が置かれるベース部分の色彩が緑色であり、観測対象物が赤色である場合には、観測対象物によって増加するＲもしくは減少するＧに着目するか、Ｒ，Ｇの双方に着目することが可能である。

「ｎ個の色データの総和に対する着目中の色データの比」は、ｎ個の色データにより決定される色彩に対し、着目中の色データがどの程度の影響力を持つのかを示すものである。たとえば、Ｒ，Ｇ，Ｂの各色データをｒ，ｇ，ｂとして、そのうちのｒに着目した場合には、強弱の度合いとして、［ｒ／（ｒ＋ｇ＋ｂ）］を算出することができる。

着目されていない色データに対する着目中の色データの比を求める場合、たとえば、ｒ，ｇ，ｂのうちのｂに着目する場合には、強弱の度合いとして、［ｂ／（ｒ＋ｇ）］を算出する。

第３ステップにおいて、複数の色データに着目する場合には、これらの色データ毎に求めた前記比の値について、基準画像上の対応画素に対する差を算出する処理を個別に実行する。
また、上記の方法に代えて、第２ステップにおいて、ｎ個の色データにつき、それぞれ各色データの総和または他の（ｎ−１）個の色データの総和に対する当該色データの比について、前記基準画像上の対応画素に対する差を算出する処理を、前記観測対象物を含む処理対象画像上の画素毎に実行し、第３ステップにおいて、第２ステップの算出結果のうち、特定の１またはｎより小さい複数の色データであって、撮像対象領域に観測対象物が存在しない状態から観測対象物が存在する状態に移行したときに当該観測対象物に対応する位置に生じる変化量がその他の色データよりも大きくなる色データの比の差の値に着目し、この差に基づき、基準画像上の対応画素に対し、着目した差に対応する比が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記観測対象物として認識するようにしてもよい。この場合の第３ステップでは、観測対象物が存在するときに観測対象物が存在しないときより増加する色データの比の差に着目した場合には、その着目中の差に対応する比の値が基準画像上の対応画素に対して正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、観測対象物が存在するときに観測対象物が存在しないときより減少する色データの比の差に着目した場合には、その着目中の差に対応する比の値が基準画像上の対応画素に対して負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする。

基準画像に対して処理対象画像で色彩が変化した部分を抽出する場合に、単に両画像間の色データの差を求めたのでは、種々の色彩の違いが抽出されるばかりでなく、同系色の色彩であっても明暗の変化が抽出されてしまう。
これに対し、この発明によれば、観測対象物により強められた色データまたは弱められた色データについて、ｎ個の色データの総和または着目していない色データに対する比の値が、正または負の方向に基準値を上回る値をもって変化している画素を抽出するので、観測対象物によって色彩に変化が生じた領域を精度良く抽出することができる。また、周囲の明るさ変化の影響により観測対象物の色合いが多少変動しても、色データの強弱の傾向まで変わることはないから、各色データの特定の組み合わせを基準にして２値化を行う場合よりも、観測対象物の抽出精度を高めることができる。

つぎに、この発明にかかる基板検査方法は、はんだ印刷後の基板またははんだ付け後の基板を撮像することによって、ｎ個の色データの組み合わせによるカラーの処理対象画像を生成し、生成された処理対象画像からはんだ印刷後の基板についてはクリームはんだを、はんだ付け後の基板については溶融後はんだを、被検査部位として抽出し、その抽出結果に基づき所定の検査を実行するものである。

この基板検査方法では、検査の前に第１ステップを実行した後に、被検査部位毎に第２〜第４のステップを実行する。
第１ステップでは、前記被検査部位が存在しない基板を撮像して基準画像を生成する。
なお、この被検査部位が存在しない基板は、検査対象となる基板の製造工程より１つ前の工程で製作された基板としても良いし、２つ以上前の工程で製作された基板としてもよい。

第２ステップでは、前記処理対象画像の１被検査部位に対応する位置に検査領域を設定する。
第３ステップでは、前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、検査領域に被検査部位が存在しない状態から被検査部位が存在する状態に移行したときに当該被検査部位に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、検査領域に含まれる画素毎に基準画像上の対応画素に対する差を算出する。

第４ステップでは、前記第３ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を検査領域から抽出し、抽出された画素から構成される画像領域を対象として、前記検査のための画像処理を実行する。この場合、第４ステップでは、被検査部位が存在するときに被検査部位が存在しないときより増加する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、被検査部位が存在するときに被検査部位が存在しないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする。

第２ステップにおける検査領域の設定データは、後記する検査データ作成方法によりあらかじめ求めておいてもよい。第３ステップ、第４ステップでは、前記した画像処理方法における第２，第３の各ステップと同様の処理を実行して、被検査部位を抽出し、検査のための画像処理を実行することができる。なお、基準画像について、あらかじめ検査領域毎に、ｎ個の色データの総和または着目していない色データの総和に対する着目中の色データの比の値を求め、第３ステップの処理のために登録しておいてもよい。

この発明にかかる基板検査装置は、はんだ印刷後の基板またははんだ付け後の基板を撮像して、ｎ個の色データの組み合わせによるカラー画像を生成する画像生成手段と、前記画像生成手段により生成された検査対象の基板の画像からはんだ印刷後の基板についてはクリームはんだを、はんだ付け後の基板については溶融後はんだを、被検査部位として抽出して、検査のための画像処理を実行する画像処理手段と、前記画像処理手段による処理結果を用いて前記基板の良否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備する。

上記において、画像生成手段には、たとえば基板撮像用のカメラや、このカメラから出力された画像をディジタル変換するＡ／Ｄ変換回路などが含められる。さらに、複数枚の画像を重ね合わせて処理対象画像とする場合には、画像生成手段には、たとえば、画像合成処理に関するプログラムが設定されたコンピュータが含められる。

前記画像処理手段には、色データ処理手段、記憶手段、領域設定手段、変化量算出手段、画素抽出手段、および被検査部位認識手段が含められる。これらのうち記憶手段以外の手段は、たとえばプログラムが設定されたコンピュータにより構成される。記憶手段は、たとえば前記コンピュータの内部メモリまたは外付けのメモリにより構成される。

色データ処理手段は、前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、被検査部位が存在しない状態から被検査部位が存在する状態に移行したときに当該被検査部位に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比を画素毎に算出する。
記憶手段には、前記画像生成手段が前記被検査部位が搭載されていない基板を撮像して生成した基準画像、またはこの基準画像に対する前記色データ処理手段の処理結果が登録される。

領域設定手段は、前記画像生成手段が検査対象の基板の画像を生成したとき、その画像の被検査部位に対応する位置に検査領域を設定する。
変化量算出手段は、前記領域設定手段により設定された検査領域内の画像を前記色データ処理手段に処理させるとともに、その処理結果および前記記憶手段内の登録情報を用いて、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、検査領域内の画素毎に基準画像上の対応画素に対する差を算出する。

画素抽出手段は、変化量算出手段による算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正又は負の方向に所定の基準値を上回る値をもって変化している画素を検査領域から抽出する。ここでは、被検査部位が存在するときに被検査部位が存在しないときより増加する色データに着目している場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記被検査部位が存在するときに存在しないときよりも減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする。
被検査部位認識手段は、画素抽出手段により抽出された画素から構成される画像領域を前記被検査部位として認識する。

上記の構成によれば、画像生成手段により前記基板検査方法の第１ステップが実行されたことに応じて、記憶手段に、基準画像または基準画像に対する色データ処理手段の処理結果が登録される。検査時には、領域設定手段により、前記基板検査方法にかかる第２ステップの処理が実行され、また色データ処理手段および変化量算出手段により第３ステップの処理が実行され、画素抽出手段および被検査部位認識手段により、第４のステップが実行される。

さらに、この発明は、はんだ印刷後の基板を撮像することにより生成されたｎ個の色データの組み合わせによるカラー画像を用いて、基板に印刷されたクリームはんだを自動検査するための検査データを作成する方法にも適用することができる。この発明にかかる基板検査用の検査データ作成方法では、以下の第１〜第５のステップを実行する。

まず第１ステップでは、クリームはんだが印刷される前の基板を撮像して基準画像を生成し、第２ステップでは、クリームはんだが印刷された基板を撮像して処理対象画像を生成する。
第３ステップでは、前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、クリームはんだが印刷されていない状態から印刷された状態に移行したときに当該クリームはんだに対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目して、ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、処理対象画像上の画素毎に基準画像上の対応画素に対する差を算出する。

第４ステップでは、第３ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記被検査部位として認識する。ここでは、クリームはんだが印刷されたときに印刷されていないときより増加する色データに着目している場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記クリームはんだが印刷されたときに印刷されていないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする。
第５ステップでは、前記第４ステップで認識された被検査部位を含むような検査領域を設定し、その設定データを前記被検査部位に対する検査データ中に含める。

上記の方法によれば、被検査部位が存在しない基板から得た基準画像と、被検査部位が良好に搭載された基板から得た処理対象画像とを用いて、前記した画像処理方法と同様の手法で被検査部位を抽出することができる。よって、基準画像と処理対象画像との間に、明暗などの影響による色合いの差異が生じていても、その影響を受けずに被検査部位を精度良く抽出することができ、検査領域の設定にかかる検査データを正しく作成することができることができる。

この発明によれば、観測対象物の色合いにある程度のばらつきがあっても、観測対象物の抽出の精度を確保することができるから、目的とする画像処理を精度良く実行することができる。
また、この発明を基板検査に適用すれば、被検査部位の色合いにばらつきがあっても、被検査部位を精度良く抽出することができるから、検査領域の設定データの作成や検査時の被検査部位の抽出処理を精度良く行うことができ、基板検査装置の性能を向上することができる。

図１は、この発明の一実施例にかかる基板検査装置の構成を示す。
この基板検査装置は、検査対象の基板１を撮像して得た画像を処理して、前記基板１上の被検査部位の適否を判別する機能を具備する。被検査部位は、検査対象の基板の種類に応じて、適宜設定することができる。たとえば、クリームはんだ印刷後の基板を検査する場合には、クリームはんだの印刷部位を、部品実装後の基板を検査する場合には、部品本体を、はんだ付け後の基板を検査する場合には、各部品のフィレットを、それぞれ検査対象とすることができる。

前記基板検査装置は、撮像部３，投光部４，制御処理部５，Ｘ軸テーブル部６，Ｙ軸テーブル部７などにより構成される。
Ｙ軸テーブル部７は、前記基板１を支持するコンベヤ７Ａを具備し、図示しないモータによりこのコンベヤ７Ａを動かして、前記基板１をＹ軸方向（図の紙面に直交する方向）に沿って移動させる。前記Ｘ軸テーブル部６は、Ｙ軸テーブル部７の上方で撮像部３および投光部４を支持しつつ、これらをＸ軸方向（図の左右方向）に移動させる。

前記投光部４は、前述したカラーハイライト照明に適合した構成のもので、異なる径を有する３個の円環状光源８，９，１０により構成される。これらの光源８，９，１０は、それぞれ赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色彩光を発光するもので、観測位置の真上位置に中心を合わせることにより、前記基板１から見て、異なる仰角に対応する方向に位置するように配備される。

前記撮像部３は、カラー画像生成用のＣＣＤカメラを含むもので、その光軸が各光源８，９，１０の中心に対応し、かつ鉛直方向に沿うように位置決めされる。これにより観測対象である基板１からの反射光が撮像部３に入射し、Ｒ，Ｇ，Ｂの各階調データに変換されて制御処理部５へ入力される。

制御処理部５は、ＣＰＵを含むコンピュータを制御部１１とし、そのほか、画像入力部１２、メモリ１３、撮像コントローラ１４、画像処理部１５、照明制御部１６、ＸＹテーブルコントローラ１７、検査部１８、ティーチングテーブル１９、入力部２０、ＣＲＴ表示部２１、プリンタ２２、送受信部２３、外部メモリ装置２４などを含む。

画像入力部１２は、撮像部３からのＲ，Ｇ，Ｂの各画像信号を増幅する増幅回路や、これら画像信号をディジタル信号に変換するためのＡ／Ｄ変換回路などを備える。メモリ１３には、Ｒ，Ｇ，Ｂ毎の階調データのほか、後記する色相データやカラーベクトルの算出結果などが格納される。

撮像コントローラ１４は、撮像部３を制御部１１に接続するインターフェースなどを備えるもので、制御部１１からの命令に基づいて前記撮像部３を駆動したり、各色彩光の出力レベルを調整するなどの制御を行う。照明制御部１６は、投光部４の各光源の光量を調整するためのものである。なお、この実施例では、赤、緑、青の各色彩光が混合されることによって白色照明が施されるように、各光源８，９，１０の光量を調整するようにしている。

ＸＹテーブルコントローラ１７は、前記Ｘ軸テーブル部６およびＹ軸テーブル部７を制御部１１に接続するインターフェースなどを含み、制御部１１からの指令に基づき、Ｘ軸テーブル部６およびＹ軸テーブル部７の移動動作を制御する。

ティーチングテーブル１９は、基板の検査データを記憶するための記憶部である。この検査データには、各被検査部位に対する検査領域の設定条件（設定位置や領域の大きさなどである。）、各検査領域で実行されるプログラムの種類、被検査部位のモデル、被検査部位の適否を判別するための判定基準値などが含められる。なお、このティーチングテーブル１９は、ハードディスクのような不揮発性のメモリ装置内に設定することができる。

この実施例で使用される検査データは、検査に先だって教示されるもので、基板の種類毎に検査データファイルとしてまとめられて、前記ティーチングテーブル１９に保存される。前記制御部１１は、被検査基板１の基板名の入力を受け付けた後、前記ティーチングテーブル１９からその被検査基板１に対応する検査データファイルを読み出してメモリ１３にセットする。画像処理部１５や検査部１８は、この読み出されたファイル内の検査データに基づき処理を実行する。

画像処理部１５は、検査時に、メモリ１３に格納されたＲ，Ｇ，Ｂの各階調によるカラー画像に対し、前記検査データを用いた画像処理を実行し、被検査部位の位置や大きさなどを計測する。検査部１８は、計測結果を登録された判定基準値と比較することにより、被検査部位の適否を判別する。

制御部１１は、検査部１８が判別処理を行う都度、その判別結果をＣＲＴ表示部２１（以下、単に「表示部２１」という。）に出力する。また、１枚の基板に対する検査が終了すると、制御部１１は、各被検査部位に対する判別結果を総合して被検査基板１が良品か否かを判定し、その最終的な判定結果を、表示部２１やプリンタ２２，あるいは送受信部２３に出力する。

前記入力部２０は、検査のための各種条件や検査情報などを入力するためのもので、キーボードやマウスなどにより構成される。
表示部２１は、制御部１１から画像データ、検査結果などの供給を受けて、これらを表示画面上に表示する。またプリンタ２２は、制御部１１から検査結果などの供給を受け、これを予め定められた形式でプリントアウトする。

送受信部２３は、他の装置との間でデータのやりとりを行うためのもので、たとえば不良と判定された被検査基板１について、その識別情報や不良の内容を後段の修正装置に送信することにより、不良箇所を速やかに修正することができる。外部メモリ装置２４は、フレキシブルディスク、ＣＤ−Ｒ、光磁気ディスクなどの記憶媒体にデータを読み書きするための装置であって、前記検査結果を保存したり、検査に必要なプログラムや設定データを外部から取り込むために用いられる。

なお、上記構成において、画像処理部１５および検査部１８は、上記した各処理を実行するためのプログラムを組み込んだ専用のプロセッサにより構成される。ただし、必ずしも専用のプロセッサを設ける必要はなく、制御部１１に画像処理部１５および検査部１８の機能を付与するようにしてもよい。

上記の基板検査装置では、検査対象と同じ種類の基板で、各被検査部位の品質が良好な基板（以下、この基板を「良品基板」という。）の画像（以下、「良品画像」という。）、および前記被検査部位が配備される前の良品基板の画像（以下、「基準画像」という。）を生成し、これらの画像を用いて、検査データを自動的に作成する。以下、この検査データの自動作成処理を「自動ティーチング処理」という。

なお基準画像の作成に用いられる基板は、前記被検査部位が配備される工程の直前の工程を終了した後の基板でも良いし、その直前の工程に投入されるよりも前の基板でもよい。
また、この実施例の良品画像および基準画像は、それぞれ対象となる基板を複数の領域に分けて撮像し、毎時の撮像で得られた画像を合成することにより生成される。この画像合成処理では、複数の撮像対象領域を、前記Ｘ，Ｙテーブル部６，７の位置決めにおける誤差に対応する幅だけ重ねて設定し、これらの重なり部分で各画像を重ね合わせながら合成するのが望ましい。また、自動ティーチング処理に入る前には、良品画像および基準画像に共通に含まれる特徴パターン（たとえば基板上のシルク印刷パターン）の座標が画像間で一致するように、両画像の位置合わせを行い、画素の対応関係の精度を確保しておくのが望ましい。
以下では、上記の画像合成処理や位置合わせが実行され、良品画像と基準画像との間の対応関係が確保されていることを前提として説明する。

この実施例の自動ティーチング処理では、前記良品画像および基準画像について、それぞれ各画素の階調データｒ，ｇ，ｂを下記の（１）（２）（３）式にあてはめて、色相データＲ_ＯＰ，Ｇ_ＯＰ，Ｂ_ＯＰを求める。

さらに、良品画像上の各画素につき、下記の（４）（５）（６）式を用いて、それぞれ基準画像の対応する画素に対する色相データの差Ｖ_ｒ，Ｖ_ｇ，Ｖ_ｂを抽出する。なお、各式のＲ_ＯＰ（Ｅ），Ｇ_ＯＰ（Ｅ），Ｂ_ＯＰ（Ｅ）は、良品画像について前記（１）〜（３）を用いて求めた色相データであり、Ｒ_ＯＰ（Ｆ），Ｇ_ＯＰ（Ｆ），Ｂ_ＯＰ（Ｆ）は、基準画像について求めた色相データである。
Ｖ_ｒ ＝ Ｒ_ＯＰ（Ｅ）−Ｒ_ＯＰ（Ｆ） ・・・（４）
Ｖ_ｇ ＝ Ｇ_ＯＰ（Ｅ）−Ｇ_ＯＰ（Ｆ） ・・・（５）
Ｖ_ｂ ＝ Ｂ_ＯＰ（Ｅ）−Ｂ_ＯＰ（Ｆ） ・・・（６）

対応する画素の組み合わせ毎に抽出された各色相データの差Ｖ_ｒ，Ｖ_ｇ，Ｖ_ｂは、３次元配列のデータに編集され、画素の座標に対応づけられてメモリ１３に保存される。ただし、後記する具体例の検査のように、３つの色相データの中から選択された特定のものだけを、上記の差の算出対象としてもよい。

図２は、前記色相データＲ_ＯＰ，Ｇ_ＯＰ，Ｂ_ＯＰをそれぞれ軸とする仮想の３次元空間（以下、「色相空間」という。）を用いて、前記基準画像と良品画像との色相の関係を表したものである。図中のＶ_Ｆは、基準画像上の一点Ｆにおける色相であり、３次元空間における座標は（Ｒ_ＯＰ（Ｆ），Ｇ_ＯＰ（Ｆ），Ｂ_ＯＰ（Ｆ））となる。またＶ_Ｅは、良品画像上の前記Ｆ点と同じ座標に位置する点Ｅにおける色相であって、３次元空間における座標はＲ_ＯＰ（Ｅ），Ｇ_ＯＰ（Ｅ），Ｂ_ＯＰ（Ｅ））となる。なお、点Ｆ，Ｅの具体例は、つぎの図３（１）（２）に示してある。

前記（４）（５）（６）式で求めたＶ_ｒ，Ｖ_ｇ，Ｖ_ｂの配列は、この色相空間において、点Ｖ_Ｆから点Ｖ_Ｅに向かうベクトルＶに該当することになる。以下では、このベクトルＶをカラーベクトルと呼び、Ｖ_ｒ，Ｖ_ｇ，Ｖ_ｂを、それぞれカラーベクトルＶの赤色成分、緑色成分、青色成分ということにする。このカラーベクトルＶの向きや大きさは、前記Ｆ点とＥ点との色相の差違を反映したものとなる。

この実施例の自動ティーチング処理では、被検査部位の色彩に応じて前記カラーベクトルＶの所定の成分を選択し、その成分が所定値以上の大きさになる画素を抽出する。そして抽出された画素により構成される画像領域を被検査部位として認定し、検査領域の設定条件や被検査部位のモデルを求め、前記ティーチングテーブル１９に登録する。

検査の際には、検査対象の基板の画像（以下、「検査対象画像」という。）が生成された後、この検査対象画像に検査領域が順に設定され、被検査部位の抽出処理、計測処理、判別処理などが実行される。この検査対象画像に対しても、自動ティーチング処理時と同様の方法でカラーベクトルＶが算出された後、前記自動ティーチング時に選択されたのと同じ成分を用いて被検査部位が抽出される。

以下、クリームはんだの印刷工程を経た基板（以下、「はんだ印刷後基板」という。）に対する検査を行う場合を例にして、検査データの作成および検査に関する詳細な内容を説明する。なお、この実施例では、クリームはんだを印刷する前のプリント配線板（以下、「ベア基板」という。）の画像を基準画像として使用する。

図３（１）は、前記ベア基板の基準画像を、図３（２）は、はんだ印刷後基板の良品画像を、それぞれ示す。基準画像には、ランドの画像３０のほか、図示しないシルク印刷パターンなどが現れる。良品画像では、前記ランドの画像３０の大部分がクリームはんだの画像３１に置き換えられる。なお、一般的なランドは、銅を主成分とし、表面が平坦で鏡面反射性が高いため、カラーハイライト照明によると、前記画像３０は赤みがかった状態になる。一方、クリームはんだは、灰色で、拡散反射性が高いことから、その画像３１は青みがかった状態になる。

上記のような色の変化によれば、ランド上の一部にクリームはんだが搭載されると、その部分は、赤色の色相データＲ_ＯＰが優勢な状態から青色の色相データＢ_ＯＰが優勢な状態に変化することになる。したがって、良品画像中のクリームはんだ上の点Ｅと、基準画像上の点Ｅへの対応点Ｆとの間で求めたカラーベクトルＶでは、赤色成分Ｖ_ｒが負の方向に大きな値を示すとともに、青色成分Ｖ_ｂが正の方向に大きな値を示すと考えられる。
そこで、この実施例では、正の値をとる青色成分Ｖ_ｂに着目し、このＶ_ｂが所定のしきい値以上になる画素から構成される領域を、前記クリームはんだの印刷領域（以下、「はんだ印刷領域」という。）として抽出するようにしている。

図３（３）は、前記図３（１）（２）の基準画像および良品画像につき、対応する画素の組毎に前記カラーベクトルの算出や青色成分Ｖ_ｂに基づく抽出処理を行って、はんだ印刷領域３２を抽出した例を示す。このように、実際にクリームはんだが印刷されている部分が抽出されるので、以後は、その抽出結果を用いて、検査領域の設定条件や判定のための基準値を定めることが可能になる。

画像中のランドやクリームはんだの色合いは、周囲環境の明るさや材質の違いなどにより変動する可能性がある。しかし、多少の変動があっても、ランドの画像３０では赤色の色相データＲ_ＯＰが大きくなり、クリームはんだの画像３１では青色の色相データＢ_ＯＰが大きくなる、という傾向は変わらないから、これらの画像３０，３１から求めたカラーベクトルＶの青色成分Ｖ_ｂは正の方向で大きな値をとると考えられる。したがって、はんだ印刷領域の色合いに多少のばらつきがあっても、カラーベクトルの青色成分Ｖ_ｂに基づいて、はんだ印刷領域を精度良く抽出することが可能になり、検査領域やモデルの設定を精度良く行うことができる。

また、従来のクリームはんだの検査では、基板の設計データ中のランドの設定データを用いて検査領域を設定しているが、近年では、搭載する部品の種類を変更したり、選択的に部品を搭載するなどして、同一設計のベア基板から複数種の基板を製作する例が多数見受けられるため、ランドの設計データによる検査領域の設定では、実際の基板に適用できない場合がある。
たとえば、図３の３０Ａは、部品が実装されないランドの画像の例であるが、このようなランドにはクリームはんだも印刷されないため、はんだ印刷用の検査領域を設定する必要がない。この実施例では、上記したように、検査領域の設定条件のティーチング時に、実際のはんだ印刷領域を抽出し、その抽出がなされた部分にのみ検査領域を設定することができるので、前記ランド３０Ａの位置に不要な検査領域が設定されることがない。したがって、不要な検査領域を設定することなく、ティーチング処理を効率良く進めることができる。

つぎに、図４を用いて、自動ティーチング処理の手順を説明する。
まず、最初のＳＴ１（ＳＴは「ステップ」の略である。以下も同じ。）では、前記Ｙ軸テーブル部７にベア基板を搬入し、複数回の撮像処理や画像合成処理により基準画像を生成する。この後、ベア基板を搬出すると、つぎのＳＴ２では、はんだ印刷後基板の良品基板を搬入し、ＳＴ１と同様の処理により良品画像を生成する。
なお、ＳＴ２では、ＳＴ１で使用したベア基板にクリームはんだを印刷したものを良品基板として使用するのが望ましい。

ＳＴ３では、前記基準画像および良品画像の各構成画素につき、それぞれ前記（１）〜（３）式を実行して色相データを求める。つぎのＳＴ４では、良品画像の各構成画素をそれぞれ基準画像の対応画素と組み合わせ、組み合わせ毎に前記（６）式を実行して、カラーベクトルＶの青色成分Ｖ_ｂを算出する。

ＳＴ５では、前記青色成分Ｖ_ｂがしきい値Ｐ（Ｐ＞０）以上となる画素を抽出する。なお、この抽出処理では、青色成分Ｖ_ｂがしきい値Ｐ以上となる画素を黒画素とし、その他の画素を白画素とする２値画像が生成される。
ＳＴ６では、前記２値画像上の黒画素領域に順に着目し、その領域の大きさが所定のしきい値より小さいものをノイズとして除去する。なお、このノイズ除去に使用されるしきい値は、はんだ印刷領域の標準的な面積に基づいて定められる。

上記のノイズ除去処理により、しきい値よりも面積が大きい領域が残されることになる。以下では、これらの領域をはんだ印刷領域とみなして、検査データを作成する処理に移行する。

まず、ＳＴ７では、各はんだ印刷領域にそれぞれ外接矩形を設定する。さらにＳＴ８において、前記はんだ印刷領域および外接矩形の組毎に個別のラベルを付ける。ＳＴ９では、ラベル毎に検査領域の設定条件を決定する。

図５は、検査領域の設定方法の一例を示す。
図中の３２は、前記青色成分Ｖ_ｂに基づいて抽出されたはんだ印刷領域（黒画素領域）であり、３３は前記ＳＴ７で設定された外接矩形である。この実施例では、外接矩形３３の各辺をそれぞれｍ画素外側に拡張した領域３４を検査領域として設定する。なお、ｍの値としては、部品の実装密度などに応じて任意の値を設定することができる。

前記ＳＴ９では、はんだ領域毎に、図５に示した方法により検査領域３４を設定し、その設定位置や領域の大きさを設定条件として決定する。つぎのＳＴ１０では、決定した設定条件をティーチングテーブル１９に登録する。さらにつぎのＳＴ１１では、ラベル毎に、そのラベルに対応するはんだ印刷領域３２のモデルとして、前記２値画像から対応する検査領域３４内の画像を切り出し、ティーチングテーブル１９に登録する。

さらにＳＴ１２では、前記基準画像の構成画素毎に算出された色相データのうち、各検査領域３４に対応するものを読み出し、これらを検査領域３４毎にティーチングテーブル１９に登録する。以下、この登録された色相データを「基準色相データ」という。
なお、検査領域３４の設定条件、モデル、および基準色相データには、いずれも対応する検査領域３４のラベルが付与される。

図６（Ａ）は、前記ＳＴ１１で作成されたモデルの一例を示す。また図６（Ｂ）は、検査対象画像中の前記モデルに対応する検査領域内の画像を示す。この（Ｂ）の画像も（Ａ）のモデルと同様の２値画像である（以下、この（Ｂ）の画像を「比較対象画像」という。）。検査では、（Ａ）（Ｂ）双方の２値画像を比較する処理が実行される。

図７は、前記はんだ印刷後基板の検査にかかる手順を示す。なお、この手順はＳＴ２１から開始されるものとする。
この検査に先立ち、制御部１１は、検査対象の基板の名称などの入力を受け付け、前記ティーチングテーブル１９からその基板に該当する検査データを読み出してメモリ１３にセットする。図７の手順は１枚の基板に対して実行されるもので、検査対象の基板がＹ軸テーブル部７に搬入される都度、この手順が実行される。

まずＳＴ２１では、被検査基板１をＹ軸テーブル部７に搬入し、検査対象画像を生成する。なお、このＳＴ２１でも、前記ティーチング時のＳＴ１やＳＴ２と同様に、複数回の撮像が実行され、毎時の撮像毎に得た画像を合成する処理が行われる。

検査対象画像が生成されると、ＳＴ２２では、前記メモリ１３から最初のラベルに対応する検査領域の設定条件を読み出し、その条件に基づいて検査領域を設定する。つぎに、ＳＴ２３では、この検査領域内の各画素の色相データを算出する。つぎに、ＳＴ２４では、検査領域内の各画素の色相データと前記基準色相データとを用いて、カラーベクトルＶの青色成分Ｖ_ｂを算出する。

ＳＴ２５では、前記青色成分Ｖ_ｂの値がしきい値Ｐ以上となる画素を抽出する。なお、ここで用いられるしきい値Ｐは、前記図４のＳＴ５で使用されたものと同一である。
この抽出処理により、前記検査領域内の画像から、前記はんだ印刷領域の構成画素を黒画素とし、その他の画素を白画素とする２値画像が生成される。この２値画像は、前記図６（Ｂ）に示した比較対象画像に相当する。

ＳＴ２６では、前記比較対象画像の各構成画素のうち、モデル側の対応画素と値が一致する画素の数を計数する（以下、この計数値を「一致画素数」という。）。具体的には、黒画素の場合には対応画素が黒画素であるものを、白画素の場合には対応画素が白画素であるものを、それぞれ計数の対象とする。
また比較対象画像中の黒画素数を計数することにより、前記はんだ印刷領域の面積を算出する。

ＳＴ２７，２８では、前記一致画素数および面積を、それぞれ所定のしきい値と比較する。ここで、一致画素数、面積ともにしきい値以上であれば、ＳＴ２９に進み、前記検査領域内のはんだ印刷領域が良好であると判定する。一方、いずれか一方の値がしきい値を下回っている場合には、ＳＴ３０に進み、前記はんだ印刷領域は不良であると判定する。
なお、判定方法は上記に限らず、一致画素数、面積のいずれか一方を用いた判定を行ってもよい。

このようにして１つの検査領域に対する判定処理がなされると、ＳＴ３１では、その判定結果を表示部２１に表示する。図８は、その表示の一例であって、検査対象部位に関する情報や検査結果のほか、比較対象画像３５が表示されている。また、画面の適所には、確認ボタン４０が設定されている。
なお、ここで表示される比較対象画像３５には、はんだ印刷領域とランドとの関係を確認できるように、ランドの輪郭線３６が付加されている。

ユーザーが前記確認ボタン４０にマウスカーソルを合わせて確定操作を行うと、ＳＴ３２およびＳＴ３３を介してＳＴ２２に戻り、つぎの検査領域について、上記と同様の処理を実行する。
以下、同様にして、検査領域毎に、色相データの算出から判定結果を表示するまでの一連の処理を実行する。すべての検査領域に対する処理を終了すると、ＳＴ３４に進み、それまでの判定結果をまとめて１枚の基板にかかる検査結果データを作成し、これを送受信部２３などから出力する。なお、上記の判定結果の出力は、必ずしも検査領域毎に行う必要はなく、すべての検査が終了した時点で不良と判別された部位についてのみ行ってもよい。

上記した自動ティーチング処理および検査の処理によれば、検査対象画像におけるはんだ印刷領域の色合いが良品基板における色合いと多少違っていても、各はんだ印刷領域を精度良く抽出することが可能になる。よって、従来の２値化しきい値によりはんだ印刷領域を抽出する方法よりも、はんだ印刷領域の抽出精度を高めることができ、より確度の高い検査を実行することが可能になる。

なお、はんだ印刷領域の抽出に用いられるカラーベクトルＶの成分は青色成分Ｖ_Ｂに限らず、赤色成分Ｖ_ｒを用いてもよい。この場合には、赤色成分Ｖ_ｒが負の方向に所定のしきい値以上の大きさを有する画素を、はんだ印刷領域の構成画素として抽出することになる。
さらに青色成分Ｖ_Ｂおよび赤色成分Ｖ_ｒの双方を用いて、はんだ印刷領域の構成画素を抽出してもよい。

つぎに、はんだ付け後の基板におけるフィレット検査について説明する。
図９（１）は、チップ部品のフィレットに前記カラーハイライト照明を行った場合に観測される色彩の分布状態を示す。一方、図９（２）は、部品落ちなどによりフィレットが形成されず、半球状に固まったはんだに同様の照明を行った場合に観測される分布状態を示す。なお、図９（１）（２）は、はんだの傾斜状態と観測される色彩との関係を説明するために、画像上で認められる色彩の分布をはんだの側面図に反映させたものであって、フィレットやはんだを側方から見たときに、これらの図のような色彩分布が観測されるわけではない。

フィレットが正常に形成されている場合には、図９（１）に示すように、フィレットの上端から下端に向かう方向に沿って、青、緑、赤の各色彩が順に分布する状態となる。特に図９（１）の例では、フィレットが急峻であるため、青色領域の占める割合が大きくなている。

フィレットが形成されずに、はんだが半球状に固まった場合には、図９（２）に示すように、中心部から周辺部に向かう方向に沿って、赤、緑、青の各色領域が順に分布するようになる。

この実施例では、図９（１）に示した良好なフィレットおよび図９（２）に示した不良はんだ部位について、それぞれ図１０または図１１に示すような要領でモデルを作成し、ティーチングテーブル１９に登録する。以下、良好なフィレットにかかるモデルを「良品モデル」、不良はんだ部位にかかるモデルを「不良品モデル」という。また、はんだ付け工程により溶融・固化されたはんだによる領域（フィレット、不良はんだ部位の双方を含む。）を、「溶融後はんだ領域」という。

図１０および図１１では、前記図９の溶融後はんだ領域に対応する基準画像、良品画像、および不良品画像を示している。なお、これらの図では、ランド、はんだ印刷領域の画像を、前記図３の例と同様の符号３０，３１により示すとともに、部品本体を３７、部品の電極を３８とする。また、溶融後はんだ領域中の各色彩領域を、図９と同様のパターンおよび赤、緑、青の各文字により示す。

図１０の基準画像は、ベア基板を撮像して得られた画像である。良品画像および不良品画像は、はんだ付け工程後の基板（以下、「はんだ付け後基板」という。）を撮像することにより得られるもので、良品画像には、前記図９（１）に示したフィレットの画像が、不良品画像には、前記図９（２）に示した不良はんだの画像が、それぞれ現れている。

一方、図１１の基準画像は、部品実装工程が終了してはんだ付け工程に搬入される前の基板（以下、「部品実装後基板」という。）を撮像することにより得られる。良品画像および不良品画像は、いずれも図１０の例と同様のものである。

前記したように、カラーハイライト照明下では、ランドの画像３０は赤みがかった状態になる。したがって、図１０のように、ベア基板の画像を基準画像とすると、溶融後はんだ領域中の青色領域に対応するカラーベクトルＶは、赤色の色相データＲ_ＯＰが優勢な状態から青色の色相データＢ_ＯＰが優勢な状態への変化を示すものになる。
またはんだ印刷領域３１の画像は、前記したように灰色であり、３種類の色相データの中では青色の色相データＢ_ＯＰが最も優勢となるが、溶融後はんだ領域の青色領域では青色の色相データＢ_ＯＰがさらに優勢になる。したがって、図１１のように、部品実装後基板の画像を基準画像とする場合でも、青色領域に対応するカラーベクトルＶでは、青色の色相データＢ_ＯＰが大きな変化を示すものとなる。

なお、部品は、表面が平坦であり、一般に光沢を有するため、赤色光の鏡面反射光がカメラに入射しやすい状態になるが、青色光は殆ど入射しない。したがって、ベア基板の画像を基準画像とした場合、部品本体３７や電極３８に対応するカラーベクトルＶでは、青色成分Ｖ_ｂはさほど大きくならない。また溶融後はんだ領域の緑色領域、赤色領域では、それぞれ緑色成分Ｖ_ｇ，赤色成分Ｖ_ｒが大きくなるが、青色成分Ｖ_ｂはごく小さな値となり、しかも基準画像に比べて殆ど変化しない。また、部品実装後基板の画像を基準画像とした場合には、部品３７や電極３８の部分の画像が同一であるため、カラーベクトルＶもごく小さなものになり、青色成分Ｖ_ｂが顕著になることはない。溶融後はんだ領域の緑色領域や赤色領域についても、前記ベア基板の画像を基準画像にする場合と同様に、青色成分Ｖ_ｂが大きくなることはない。

よって、ベア基板、部品実装基板のいずれの基板の画像を基準画像とする場合でも、カラーベクトルＶの青色成分Ｖ_ｂが正方向に大きく現れる領域を抽出することにより、溶融後はんだ領域中の青色領域を高い確度で抽出することができる。

上記の点に鑑み、この実施例のフィレット検査では、良品画像および不良品画像につき、それぞれ前記図４に準じた手順で色相データを算出した後、前記はんだの青色領域として、カラーベクトルＶの青色成分Ｖ_ｂが所定のしきい値以上となる領域４２を抽出し、この領域４２内の画素を黒画素とする２値画像を生成する。そして、良品画像に対応する２値画像を良品モデルとして、不良品画像に対応する２値画像を不良品モデルとして、それぞれ登録する。
なお、図１０，１１では、良品モデルおよび不良品モデル上にランドの輪郭線３０ａを示しているが、これは上の画像との比較を容易にするためのものであり、実際のモデル上に輪郭線３０ａを含める必要はない。

また、はんだ印刷後基板の検査の場合には、基板の全体画像を用いてすべてのはんだ印刷領域のモデルを一括で作成するとともに、検査領域の設定条件を決定するようにしたが、フィレット検査の場合には、あらかじめ検査領域を設定した上で、検査領域毎に良品画像および不良品画像を生成して、各モデルの作成を行うようにしてもよい。
なお、フィレット検査における検査領域は、従来と同様にランドに基づいて設定されるが、先に同じ基板について、前出のクリームはんだ検査を行っている場合には、その検査における検査領域の設定条件を流用することで、部品が搭載されるべき箇所にのみ検査領域を設定することができる。

以下、図１２を用いて、フィレット検査にかかる詳細な手順を説明する。
この図１２の手順も、１枚の基板に対して実行されるもので、最初のステップをＳＴ４１とする。この手順も、検査対象の基板が搬入されることによりスタートするもので、ＳＴ４１では、搬入された基板を撮像して検査対象画像を生成する。

ＳＴ４２〜４５では、前記図７のＳＴ２２〜２５とほぼ同じ処理が実行される。すなわち、ＳＴ４２では、検査領域を設定し、ＳＴ４３では、その領域内の色相データを算出する。つぎのＳＴ４４では、算出した色相データと登録されていた基準色相データとを用いてカラーベクトルの青色成分Ｖ_ｂを算出する。ＳＴ４５では、この青色成分Ｖ_ｂがしきい値Ｑ（Ｑ＞０）以上となる画素を抽出する。この処理により、前記溶融後はんだ領域中の青色領域を黒画素領域とする２値の比較対象画像が生成される。

以下では、前記比較対象画像と各モデルとの比較処理を行う。この実施例では、各モデルに対する一致画素数と不一致画素数とを求め、これをしきい値と比較するようにしている。

まず、ＳＴ４６では、良品モデルに対する一致画素数および不一致画素数が抽出される。一致画素数は、前記図７におけるのと同様に、良品モデルの対応画素と同じ値をとる画素の数である。不一致画素数は、良品モデルの対応画素とは異なる値をとる画素の数である。

この後は、ＳＴ４７，４８において、一致画素数および不一致画素数を、それぞれ所定のしきい値Ｔ_Ａ１，Ｔ_Ｂ１と比較する。ここで一致画素数がしきい値Ｔ_Ａ１以上であり、不一致画素数がしきい値Ｔ_Ｂ１以下であれば、ＳＴ４９に進み、不良品モデルに対する一致画素数および不一致画素数を、それぞれ抽出する。

さらに、ＳＴ５０，５１では、ＳＴ４９で求めた一致画素数および不一致画素数を、それぞれ所定のしきい値Ｔ_Ａ２，Ｔ_Ｂ２と比較する。ここで一致画素数がしきい値Ｔ_Ａ２以下であり、不一致画素数がしきい値Ｔ_Ｂ２以上であれば、ＳＴ５２に進み、前記検査領域内の青色領域は良好であると判定する。

一方、ＳＴ４７，４８における比較処理において、一致画素数がしきい値Ｔ_Ａ１を下回るか、不一致画素数がしきい値Ｔ_Ｂ１を上回った場合には、不良品モデルとの判定を行わずにＳＴ５３に進み、青色領域は不良であると判定する。また、ＳＴ４７，４８が「ＹＥＳ」であっても、不良品モデルとの比較において、一致画素数がしきい値Ｔ_Ａ２を上回るか、不一致画素数がしきい値Ｔ_Ｂ２を下回った場合には、ＳＴ５３の不良判定を実行する。

このようにして、１つの検査領域に対する判定が終了すると、ＳＴ５４において、その判定結果を表示部２１に表示する。この後は、前記図７の実施例と同様に、確認操作に応じてつぎの検査領域に対する処理に移行する（ＳＴ５５→ＳＴ５６→ＳＴ４２）。全ての検査領域に対する処理が終了すると、ＳＴ５７に進み、基板全体にかかる検査結果データを作成し、これを出力して処理を終了する。

上記のように、青色の色相データが正方向に大きく変化した領域を抽出すれば、照明条件の変化などによって溶融後はんだ領域の色合いにばらつきが生じても、青色領域を精度良く抽出することが可能になる。よって、ｒ，ｇ，ｂの各階調データを固定された２値化しきい値で２値化する従来の方法よりも、精度の良い検査を行うことができる。

ただし、実際の基板においては、良好な状態のはんだフィレットであっても、その傾斜角度には、ある程度のばらつきがあるため、画像上の青色領域の位置や大きさを厳密には定められない。また不良についても、図９（２）に示したような全くフィレットが形成されていないものに限らず、部分的にフィレットが形成されているものや、フィレットは形成されているが、その傾斜角度が適当でないものなど、種々の態様の不良が存在する。

つぎの図１３に示す実施例では、上記の点を考慮して、良品モデルおよび不良品モデルをそれぞれ複数設定し、これらのモデルの中から被検査部位に最も適合するモデルを抽出することにより、被検査部位の良否を判別するようにしている。
なお、各モデルの作成に使用される良品、不良品は、フィレットの良否を目視で判断できる熟練者により準備される。

図１３の手順は、図１２のＳＴ４６〜５３の処理を図中の一点鎖線で囲んだ処理（ＳＴ６１〜７０）に置き換えたものである。その前後の処理については図１２と同様であるため、各ステップに図１２と同じ符号を付すことにより、説明を簡略化または省略する。
また、良品モデルおよび不良品モデルの総数をＮとし、各モデルの識別番号をカウンタｉで表すことにする。

前記ＳＴ４１で検査対象画像を生成した後、ＳＴ４２〜４５の処理により、所定の検査領域につき比較対象画像を生成されると、ＳＴ６１では、前記カウンタｉに初期値「１」をセットする。つぎのＳＴ６２では、ティーチングテーブル１９からｉ番目のモデル（良品モデルまたは不良品モデル）を読み出す。

ＳＴ６３では、読み出したモデルと比較対象画像との一致画素数Ａを求める。なお、この実施例の一致画素数Ａは、比較対象画像に対し、モデルを１画素ずつ走査しながら、走査の度に求めた一致画素数の中の最大値である。
ＳＴ６４では、この前記一致画素数Ａを最大値Ａ_ｍａｘ（初期値は０）と比較する。ここで一致画素数ＡがＡ_ｍａｘより大きい場合には、ＳＴ６５に進み、最大値Ａ_ｍａｘをＡにより書き換えるとともに、現在のｉの値を変数Ｕに格納する。

以下、ｉの値をＮになるまで１つずつ加算（ＳＴ６６，６７）しながら、毎時のｉに対し、前記ＳＴ６１〜６５を実行する。この一連の処理により、最終的に、モデル毎の一致画素数Ａのうちの最大値がＡ_ｍａｘとなり、その最大の一致画素数Ａ_ｍａｘを得たときのモデルの識別番号がＵとなる。
この最終のＵの値に対応するモデルが良品モデルであれば、ＳＴ６８が「ＹＥＳ」となってＳＴ６９に進み、フィレットは良好であると判定する。一方、前記Ｕの値に対応するモデルが不良品モデルであれば、ＳＴ６８が「ＮＯ」となってＳＴ７０に進み、フィレットは不良であると判定する。以下は、図１２の例と同様の処理（ＳＴ５４〜５７）が実行される。

上記図１３の手順によれば、フィレットの良否をより細かい基準で判定することが可能になる。さらに、最大の一致画素数Ａ_ｍａｘが書き換えられたときのモデルと比較対象画像との位置ずれ量（比較対象画像に対するモデルの走査回数でもよい。）を記憶しておき、変数Ｕに対応するモデルが良品モデルであった場合には、前記位置ずれ量を用いてフィレットの形成位置が適切であるかどうかを判定するようにしてもよい。

なお、フィレット検査では、赤色領域や緑色領域についてもチェックするのが望ましいから、カラーベクトルＶの緑色成分Ｖ_ｇや赤色成分Ｖ_ｒについても、上記と同様の方法で各色彩による領域を個別に抽出し、判別処理を行うようにしてもよい。

つぎに、部品実装後基板に対する部品検査においても、前記カラーベクトルを用いることによって、検査対象の部品を高い確度で抽出することが可能になる。
図１４は、部品検査に使用するモデルの生成例を示す。なお、この例では、先の各実施例に合わせて、１検査領域の大きさを１つのランドに対応する大きさにしているが、これに限らず、部品および部品に対応するすべてのランドを包含する大きさの検査領域を設定してもよい。またこの図１４でも、画像中の各部には前記図１０，１１と同様の符号を付してある。

この実施例では、はんだ印刷後基板の画像を基準画像に設定し、良品、不良品の各画像において、それぞれカラーベクトルの赤色成分Ｖ_ｒが正方向に大きくなっている領域４３を、部品に対応する領域として抽出するようにしている。部品や電極の画像３７，３８では赤の色相データＲ_ＯＰが優勢になるため、これらに対応するカラーベクトルＶは、赤の色相データＲ_ＯＰの正方向への大きな変化を表すと考えられるからである。

図１４には、１種類の良品モデルと２種類の不良品モデルが示されている。不良品モデルの一方は、部品が完全に欠落した状態の画像を用いて作成され、他方は、部品がランド側に位置ずれした状態の画像を用いて作成される。このほかにも、位置ずれ量の異なる複数の不良品モデルを設定することができる。また、良品モデルについても、１種類に限らず、許容範囲の位置ずれが生じている状態に対応するモデルを設定してもよい。

なお、良品画像や不良品画像は、ランド上に種々の状態で設置された部品を撮像することによって生成される。部品の設置作業は、フィレット検査の場合と同様に、熟練者により行われる。

図１５は、上記のモデルを用いた部品検査の手順を示す。なお、この手順では、ＳＴ８１を最初のステップとする。
この部品検査でも、先のはんだ印刷検査やフィレット検査と同様に、処理対象の基板全体を表す検査対象画像を生成する（ＳＴ８１）。また、検査領域を設定する処理（ＳＴ８２）や色相データを算出する処理（ＳＴ８３）を行う点についても、先の実施例と同様である。

つぎにＳＴ８４では、色相データの算出結果を用いて、カラーベクトルＶの赤色成分Ｖ_ｒを算出する。ＳＴ８５では、この赤色成分Ｖ_ｒが所定のしきい値Ｒ（Ｒ＞０）以上となる画素を抽出する。なお、この抽出処理では、良品モデルや不良品モデルと同様に、抽出された画素を黒画素とし、その他の画素を白画素とする２値画像が生成される。

続くＳＴ８６では、前記２値画像中の黒画素数を計数することによって、画像上に現れた部品の面積を求める。ＳＴ８７では、ティーチングテーブル１９に登録されているＮ個のモデルの中から、部品の面積がＳＴ８６の算出結果に最も近いモデルを抽出する。

ここで抽出されたモデルが良品モデルであれば、ＳＴ８８が「ＹＥＳ」となってＳＴ８９に進み、前記部品の実装状態を良好と判定する。他方、抽出されたモデルが不良品モデルであれば、ＳＴ８８は「ＮＯ」となってＳＴ９０に進み、部品に実装不良があると判定する。
以下、先の各実施例と同様に、判定結果の表示（ＳＴ９１）や確認操作の受け付け（ＳＴ９２）を行った後に、つぎの検査領域に対する処理に移行する。すべての検査領域に対する処理が終了すると、ＳＴ９３からＳＴ９４に進み、全検査結果を出力して１枚の基板に対する検査を終了する。

上記した各実施例では、いずれも、被検査部位が設けられることによって大きな変化が現れる色相データに着目し、その色相データが正または負の方向に所定値以上変化している領域を被検査部位として抽出している。このような抽出方法によれば、被検査部位の一部に影が生じたり、周囲環境の変化により画像の明るさが変化するなどして、被検査部位の色合いにばらつきが生じても、色相データの変化量に基づき、被検査部位を精度良く抽出することができ、確度の高い検査を実行することができる。

さらに、上記した色相データの変化により対象物を抽出する方法は、基板検査に限らず、他の目的にも適用することができる。たとえば、工業製品に生じたキズを検出する場合に、照明によりキズの部分が所定の色彩で表されるようにしておき、キズのない対象物を撮像して得た基準画像と検査対象画像とを用いてカラーベクトルを算出する。さらに、カラーベクトルのうち、前記キズの色彩に応じて１または複数の成分を選択し、選択した成分がそれぞれ所定の数値範囲に含まれるような領域を抽出することにより、前記キズに対応する画像を精度良く抽出することができる。

この発明の一実施例にかかる基板検査装置のブロック図である。 画像における色相の変化をカラーベクトルの概念を示す説明図である。 基準画像および良品画像の例と、これらの画像から溶融後はんだ領域を抽出した結果を示す説明図である。 自動ティーチング処理の手順を示すフローチャートである。 検査領域の設定例を示す説明図である。 溶融後はんだ領域のモデルおよびこのモデルを用いた検査方法を示す説明図である。 はんだ印刷後基板の検査手順を示すフローチャートである。 一検査領域に対する判別結果の表示例を示す説明図である。 良好なフィレットおよびはんだの不良部位にカラーハイライト照明を行った場合に観測される色彩の分布状態を示す説明図である。 フィレット検査用のモデルの作成方法を示す説明図である。 フィレット検査用のモデルの作成方法を示す説明図である。 フィレット検査の手順を示すフローチャートである。 フィレット検査の他の手順を示すフローチャートである。 部品検査用のモデルの作成方法を示す説明図である。 部品検査の手順を示すフローチャートである。

符号の説明

１ 基板
３ 撮像部
５ 制御処理部
１１ 制御部
１２ 画像入力部
１３ メモリ
１５ 画像処理部
１９ ティーチングテーブル

Claims (6)

1. ｎ個（ｎ≧２）の色データの組み合わせによるカラー画像を処理対象として、その処理対象画像から観測対象物を抽出して所定の画像処理を実行する方法において、
   前記観測対象物が撮像領域内に存在しない状態下で撮像を行って基準画像を生成する第１ステップと、
   前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、前記撮像対象領域に観測対象物が存在しない状態から観測対象物が存在する状態に移行したときに当該観測対象物に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、前記観測対象物を含む処理対象画像上の画素毎に前記基準画像上の対応画素に対する差を算出する第２ステップと、
   前記第２ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記観測対象物として認識する第３ステップとを実行し、
   前記第３ステップでは、観測対象物が存在するときに観測対象物が存在しないときより増加する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記観測対象物が存在するときに観測対象物が存在しないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする、
   ことを特徴とする画像処理方法。
2. 前記第２ステップでは、着目中の色データが複数あるとき、これらの色データ毎に求めた前記比の値について、基準画像上の対応画素に対する差を算出する処理を個別に実行する、請求項１に記載された画像処理方法。
3. ｎ個（ｎ≧２）の色データの組み合わせによるカラー画像を処理対象として、その処理対象画像から観測対象物を抽出して所定の画像処理を実行する方法において、
   前記観測対象物が撮像領域内に存在しない状態下で撮像を行って基準画像を生成する第１ステップと、
   前記ｎ個の色データにつき、それぞれ各色データの総和または他の（ｎ−１）個の色データの総和に対する当該色データの比について、前記基準画像上の対応画素に対する差を算出する処理を、前記観測対象物を含む処理対象画像上の画素毎に実行する第２ステップと、
   前記第２ステップの算出結果のうち、特定の１またはｎより小さい複数の色データであって、前記撮像対象領域に観測対象物が存在しない状態から観測対象物が存在する状態に移行したときに当該観測対象物に対応する位置に生じる変化量がその他の色データよりも大きくなる色データの比の差の値に着目し、この差に基づき、基準画像上の対応画素に対し、着目した差に対応する比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記観測対象物として認識する第３ステップとを実行し、
   前記第３ステップでは、観測対象物が存在するときに観測対象物が存在しないときより増加する色データの比の差に着目した場合には、その着目中の差に対応する比の値が基準画像上の対応画素に対して正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、観測対象物が存在するときに観測対象物が存在しないときより減少する色データの比の差に着目した場合には、その着目中の差に対応する比の値が基準画像上の対応画素に対して負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする、
   ことを特徴とする画像処理方法。
4. はんだ印刷後の基板またははんだ付け後の基板を撮像することによって、ｎ個（ｎ≧２）の色データの組み合わせによるカラーの処理対象画像を生成し、生成された処理対象画像からはんだ印刷後の基板についてはクリームはんだを、はんだ付け後の基板については溶融後はんだを、被検査部位として抽出し、その抽出結果に基づき所定の検査を実行する方法において、
   前記被検査部位が存在しない基板を撮像して基準画像を生成する第１ステップを実行した後、
   前記処理対象画像の１被検査部位に対応する位置に検査領域を設定する第２ステップ；
   前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、前記検査領域に被検査部位が存在しない状態から被検査部位が存在する状態に移行したときに当該被検査部位に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、検査領域に含まれる画素毎に前記基準画像上の対応画素に対する差を算出する第３ステップ；
   前記第３ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を前記検査領域から抽出し、抽出された画素から構成される画像領域を対象として、前記検査のための画像処理を実行する第４ステップ；の各ステップを、被検査部位毎に実行し、
   前記第４ステップでは、被検査部位が存在するときに被検査部位が存在しないときより増加する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記被検査部位が存在するときに被検査部位が存在しないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする、
   ことを特徴とする基板検査方法。
5. はんだ印刷後の基板またははんだ付け後の基板を撮像して、ｎ個（ｎ≧２）の色データの組み合わせによるカラー画像を生成する画像生成手段と、前記画像生成手段により生成された検査対象の基板のカラー画像からはんだ印刷後の基板についてはクリームはんだを、はんだ付け後の基板については溶融後はんだを、被検査部位として抽出し、検査のための画像処理を実行する画像処理手段と、前記画像処理手段による処理結果を用いて前記基板の良否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを具備し、
   前記画像処理手段は、
   前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、被検査部位が存在しない状態から被検査部位が存在する状態に移行したときに当該被検査部位に対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目し、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比を画素毎に算出する色データ処理手段；前記画像生成手段が被検査部位が存在しない基板を撮像して生成した基準画像、またはこの基準画像に対する前記色データ処理手段の処理結果が登録される記憶手段；前記画像生成手段が検査対象の基板の画像を生成したとき、その画像の被検査部位に対応する位置に検査領域を設定する領域設定手段；前記領域設定手段により設定された検査領域内の画像を前記色データ処理手段に処理させるとともに、その処理結果および前記記憶手段内の登録情報を用いて、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、前記検査領域内の画素毎に前記基準画像上の対応画素に対する差を算出する変化量算出手段；前記変化量算出手段による算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を前記検査対象領域から抽出する画素抽出手段；画素抽出手段により抽出された画素から構成される画像領域を前記被検査部位として認識する被検査部位認識手段；の各手段を含み、
   前記画素抽出手段は、被検査部位が存在するときに被検査部位が存在しないときより増加する色データに着目している場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記被検査部位が存在するときに存在しないときよりも減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする、基板検査装置。
6. はんだ印刷後の基板を撮像することにより生成されたｎ個（ｎ≧２）の色データの組み合わせによるカラー画像を用いて、前記基板に印刷されたクリームはんだを自動検査するための検査データを作成する方法において、
   クリームはんだが印刷される前の基板を撮像して基準画像を生成する第１ステップと、
   クリームはんだが印刷された基板を撮像して処理対象画像を生成する第２ステップと、
   前記ｎ個の色データのうちの特定の１つ、またはｎより小さい複数の色データであって、クリームはんだが印刷されていない状態から印刷された状態に移行したときに当該クリームはんだに対応する位置に生じる変化量がその他の色データよりも大きくなる色データに着目して、前記ｎ個の色データの総和または着目されていない色データの総和に対する着目中の色データの比について、前記処理対象画像上の画素毎に前記基準画像上の対応画素に対する差を算出する第３ステップと、
   前記第３ステップの算出結果に基づき、基準画像上の対応画素に対し、前記比の値が正または負の方向に所定の基準値を上回る値をもって変化している画素を処理対象画像から抽出し、抽出された画素から構成される画像領域を前記観測対象物として認識する第４ステップと、
   前記第４ステップで認識された被検査部位を含むような検査領域を設定し、その設定データを前記被検査部位に対する検査データ中に含める第５ステップとを、実行し、
   前記第４ステップでは、クリームはんがが印刷されたときに印刷されていないときより増加する色データに着目している場合には、基準画像上の対応画素に対して前記比の値が正の方向に前記基準値を上回る値をもって変化している画素を抽出対象とし、前記クリームはんだが印刷されたときに印刷されていないときより減少する色データに着目した場合には、基準画像上の対応画素に対して前記比の値が負の方向に前記基準値を上回る値をもって変化している画素を抽出対象とする、
   ことを特徴とする基板検査用の検査データ作成方法。

Images