JP3250335B2 - 実装部品検査装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、プリント基板（以
下、単に「基板」という）に実装された部品について、
はんだ付け前は部品の有無や姿勢などを、はんだ付け後
ははんだ付けの良否など（以下、単に「実装品質」とい
う）を、それぞれ検査するのに用いられる実装部品検査
装置に関連し、殊にこの発明は、基板上の実装部品を撮
像して得られたカラー画像を２値化しきい値により２値
化処理して、前記部品の実装品質を検査するための色相
パターンを抽出するための技術に関する。

【０００２】

【従来の技術】従来、実装部品検査装置として、図１９
に示すように、被検査基板１の上方位置にカラーテレビ
カメラ４と、検査位置に対して異なる仰角の位置に異な
る色相光（例えば赤色光，緑色光，青色光）を発する円
環状の光源５Ｒ，５Ｇ，５Ｂとを配置した構成のものが
提案されている。

【０００３】この実装部品検査装置は、被検査基板１に
対し各光源５Ｒ，５Ｇ，５Ｂより赤色光，緑色光，青色
光を同時に照射し、例えば部品２のはんだ付け部位３の
表面で反射した各色相光をカラーテレビカメラ４で観測
するものである。このカラーテレビカメラ４により得ら
れたカラー画像は画像処理装置６に取り込まれ、前記は
んだ付け部位３の曲面性状に応じた撮像パターンを色相
毎に２値化処理することにより、三原色の色相パターン
を求めた後、各色相パターンを基準パターンと照合して
はんだ付け部位３のはんだ付けの良品を判別する。

【０００４】ところでこの実装部品検査装置を使用する
際、検査に先立ち、被検査基板上のどの位置に、どのよ
うな部品が、どのように実装されているかを、基板の種
別毎に実装部品検査装置に教示する必要がある。この教
示作業は「ティーチング」と呼ばれる。この実装部品の
検査用データには、被検査基板上に実装される部品の位
置や種類の他に、自動検査に必要な画像およびその判定
基準に関する情報も含まれる。この画像および判定基準
に関する情報には、各部品がはんだ付けされる基板上の
ランドに関する情報（形状，長さ，幅など）、検査領域
として設定されるウィンドウに関する情報（形状，大き
さなど）、ランド上のはんだ付け状態などを表す特徴パ
ラメータに関する情報（色度，明度など）、特徴パラメ
ータなどの良否を判定するための判定基準などがある。

【０００５】

【発明が解決しようとする課題】このティーチングや検
査に際し、部品の特徴量を求めるためには、基板上の実
装部品を撮像して得られたカラー画像を所定の２値化し
きい値により２値化処理して、各色相パターンを抽出す
ることになるが、適正な実装部品検査を実現するには、
このパターン抽出を正確に行うことが前提となる。従来
は、このパターン抽出のための２値化しきい値をオペレ
ータがその都度色相パターンを確認しながら調整して決
定しているため、２値化しきい値の決定に時間がかかっ
て教示作業の効率が悪く、またオペレータの経験などに
依存することが多いため、個人差により２値化しきい値
の決定結果が大きく変動して、安定した検査を行うこと
ができないという問題があった。

【０００６】この発明は、上記した問題点に着目してな
されたもので、基板上の実装部品を撮像して得られたカ
ラー画像より色相パターンを抽出するための最適な２値
化しきい値を自動算出することにより、教示作業の効率
化と検査の安定化とを実現できる実装部品検査装置を提
供することを目的とする。

【０００７】

【課題を解決するための手段】この発明は、基板上の実
装部品を撮像して得られたカラー画像を２値化しきい値
により２値化処理して、前記部品の実装品質を検査する
ための色相パターンを抽出する実装部品検査装置であっ
て、前記カラー画像上に所定範囲のウィンドウを設定し
て走査するウィンドウ走査手段と、前記ウィンドウ走査
手段により走査されるウィンドウ内のカラー画像より明
るさに関する第１の情報を生成する第１の情報生成手段
と、前記ウィンドウ走査手段により走査されるウィンド
ウ内のカラー画像につき予め設定された所定のパターン
との適合度に関する第２の情報を色相別に生成する第２
の情報生成手段と、前記第１，第２の各情報生成手段で
生成された第１，第２の各情報より画質の評価基準を与
える第３の情報を色相別に生成する第３の情報生成手段
と、前記第３の情報生成手段で生成された第３の情報に
基づき最良の画質を与える明るさを各色相パターンを抽
出するための２値化しきい値として算出するしきい値算
出手段とを備えたものである。

【０００８】

【作用】基板上の実装部品を撮像して得られたカラー画
像が取り込まれると、明るさに関する第１の情報と適合
度に関する第２の情報とから画質の評価基準を与える第
３の情報が色相別に生成された後、この第３の情報に基
づき各色相パターンを抽出するための２値化しきい値が
自動的に算出される。このため２値化しきい値の決定に
時間がかからず教示作業の効率が向上し、またオペレー
タの個人差で２値化しきい値の決定結果が変動すること
がなく、安定した検査が行える。さらに最良の画質を与
える明るさから２値化しきい値を求め、また画質の評価
基準は中間の情報を含む所定のパターンとの適合度から
生成するので、きめ細かい２値化しきい値の算出が可能
となる。

【０００９】

【実施例】図１は、この発明の一実施例である実装部品
検査装置の全体構成を示す。この実装部品検査装置は、
基準基板１０Ｓを撮像して得られた前記基準基板１０Ｓ
上にある各部品１１Ｓの検査領域の特徴パラメータと、
被検査基板１０Ｔを撮像して得られた前記被検査基板１
０Ｔ上にある各部品１１Ｔの検査領域の特徴パラメータ
とを比較して、各部品１１Ｔの実装品質を検査するため
のもので、Ｘ軸テーブル部１２，Ｙ軸テーブル部１３，
投光部１４，撮像部１５，制御処理部１６などをその構
成として含んでいる。

【００１０】前記Ｘ軸テーブル部１２およびＹ軸テーブ
ル部１３は、それぞれ制御処理部１６からの制御信号に
基づいて動作するモータ（図示せず）を備えており、こ
れらモータの駆動によりＸ軸テーブル部１２が撮像部１
５をＸ方向へ移動させ、またＹ軸テーブル部１３が基板
１０Ｓ，１０Ｔを支持するコンベヤ１７をＹ方向へ移動
させる。

【００１１】前記投光部１４は、異なる径を有しかつ制
御処理部１６からの制御信号に基づき赤色光，緑色光，
青色光を同時に照射する３個の円環状光源１８，１９，
２０により構成されており、各光源１８，１９，２０を
観測位置の真上位置に中心を合わせかつ観測位置から見
て異なる仰角の方向に位置させている。

【００１２】各光源１８，１９，２０は混色により白色
となるような対波長発光エネルギー分布を有する赤色光
スペクトル、緑色光スペクトル、青色光スペクトルの光
を発する光源をもって構成されると共に、各光源１８，
１９，２０から照射された赤色光、緑色光、青色光が混
色して白色光となるよう後記する撮像コントーラ２８に
よる各色相光の光量の調整を可能としている。

【００１３】つぎに撮像部１５は、カラーテレビカメラ
が用いられ、観測位置の真上位置に下方に向けて位置決
めしてある。これにより観測対象である基板１０Ｓ，１
０Ｔの表面の反射光が撮像部１５により撮像され、三原
色のカラー画像信号に変換されて制御処理部１６へ供給
される。

【００１４】制御処理部１６は、Ａ／Ｄ変換部２１，画
像メモリ２２，メモリ２３，ティーチングテーブル２
４，画像処理部２５，判定部２６，ＸＹテーブルコント
ローラ２７，撮像コントローラ２８，表示部２９，プリ
ンタ３０，キーボード３１，フロッピディスク装置３
２，制御部３３などで構成されるもので、ティーチング
モードのとき、フロッピディスク装置にセットされたフ
ロッピディスクより基準基板１０Ｓ上の各部品１１Ｓに
対応する部品種をそれぞれ選択して呼び出し、観測位置
に搬入された基準基板１０Ｓの各部品の検査領域につい
て色度、明度などの特徴パラメータを適用して判定デー
タファイルを作成する。

【００１５】また制御処理部１６は検査モードのとき、
被検査基板１０Ｓについてのカラー画像信号Ｒ，Ｇ，Ｂ
を処理し、被検査基板１０Ｔ上の各部品１１Ｔの検査領
域につき赤，緑，青の各色相パターンを抽出して特徴パ
ラメータを生成し、被検査データファイルを作成する。
そしてこの被検査データファイルと前記判定データファ
イルとを比較して、この比較結果から被検査基板１０Ｔ
上の各部品１１Ｔにつきはんだ付けの良否などの実装品
質を自動的に判定する。

【００１６】図２は、はんだ付けが良好であるとき、部
品が欠落しているとき、はんだ不足の状態にあるときの
はんだ７の断面形態と、各場合の撮像部１５による撮像
パターン，赤色，緑色，青色の各色相パターンとの関係
を一覧表で例示したもので、いずれかの色相パターン間
には明確な差異が現れるため、部品の有無やはんだ付け
の良否を判定することが可能となる。

【００１７】図１に戻って、Ａ／Ｄ変換部２１は前記撮
像部１５からの三原色のカラー画像信号をＡ／Ｄ変換し
て三原色の画像データＲ，Ｇ，Ｂを生成し、この画像デ
ータＲ，Ｇ，Ｂは画素単位で画像メモリ２２に格納され
る。メモリ２３は後記するしきい値テーブルＴＢなどを
備え、制御部３３の作業エリアとして使用される。

【００１８】画像処理部２５は制御部３３を介して供給
された赤色，緑色，青色の各画像データＲ，Ｇ，Ｂより
明度Ｌおよび三原色の色相度ｒ，ｇ，ｂを画素単位で算
出し、後記する２値化しきい値と比較することにより２
値化処理を行った後、前記被検査データファイルや判定
データファイルを作成し、これらを制御部３３や判定部
２６へ供給する。

【００１９】ティーチングテーブル２４はティーチング
時に制御部３３から判定データファイルが供給されたと
き、これを記憶し、また検査時に制御部３３が転送要求
を出力したとき、この要求に応じて判定データファイル
を制御部３３や判定部２６などへ供給する。

【００２０】判定部２６は、検査時に制御部３３から供
給された判定データファイルと、前記画像処理部２５か
ら転送された被検査データファイルとを比較して、被検
査基板１０Ｔの各部品１１Ｔにつきはんだ付け状態の良
否などを判定し、その判定結果を制御部３３へ出力す
る。

【００２１】撮像コントローラ２８は、制御部３３と投
光部１４および撮像部１５とを接続するインターフェイ
スなどを備え、制御部３３の出力に基づき投光部１４の
各光源１８〜２０の光量を調整したり、撮像部１５の各
色相光出力の相互バランスを保つなどの制御を行う。

【００２２】ＸＹテーブルコントローラ２７は制御部３
３と前記Ｘ軸テーブル部１２およびＹ軸テーブル部１３
とを接続するインターフェイスなどを備え、制御部３３
の出力に基づきＸ軸テーブル部１２およびＹ軸テーブル
部１３を制御する。

【００２３】表示部２９は、制御部３３から画像デー
タ、検査結果、キー入力データなどが供給されたとき、
これを表示画面上に表示し、またプリンタ３０は、制御
部３３から検査結果などが供給されたとき、これを予め
決められた書式（フォーマット）でプリントアウトす
る。

【００２４】キーボード３１は、操作情報，基準基板１
０Ｓや被検査基板１０Ｔに関するデータ，コマンド，し
きい値情報などを入力するのに必要な各種キーを備えて
おり、キー入力データは前記制御部３３へ供給される。
制御部３３は、マイクロプロセッサなどを備えており、
図３および図４に示す手順に従って、ティーチングおよ
び検査における実装部品検査装置の動作を制御する。

【００２５】図３は、ティーチングの手順をステップ１
（図中「ＳＴ１」で示す）〜ステップ１６で示す。まず
同図のステップ１において、オペレータはキーボード３
１を操作して教示対象とする基板名の登録を行い、また
基板サイズをキー入力した後、つぎのステップ２で、基
準基板１０ＳをＹ軸テーブル部１３上にセットしてスタ
ートキーを押操作する。つぎにステップ３でその基準基
板１０Ｓの原点と右上および左下の各角部を撮像部１５
にて撮像させて各点の位置により実際の基準基板１０Ｓ
のサイズを入力した後、制御部３３は入力データに基づ
きＸ軸テーブル部１２およびＹ軸テーブル部１３を制御
して基準基板１０Ｓを初期位置に位置出しする。

【００２６】前記基準基板１０Ｓは、部品実装位置に所
定の部品１１Ｓが適正にはんだ付けされた良好な実装品
質を有するものであって、この基準基板１０Ｓが初期位
置に位置決めされると、つぎのステップ４で撮像部１５
が基準基板１０Ｓ上の領域を撮像して部品の実装位置や
部品種別を教示する。

【００２７】以下のステップ５〜９は、基板上の各部品
について、検査領域を設定するための手順であって、ま
ずオペレータはステップ５で、検査領域の設定開始をキ
ー操作する。これにより、つぎのステップ６で、制御部
３３内のカウンタｊが「１」に初期設定され、ステップ
７で最初の検査領域が設定される。この後、つぎのステ
ップ８ですべての検査領域が設定されたかどうかが判定
され、この判定が「ＮＯ」のときは、ステップ９でカウ
ンタｊの値をインクリメントしてステップ７へ戻る。

【００２８】基板上の全部品について検査領域の設定が
行われると、ステップ８の判定が「ＹＥＳ」となって、
つぎのステップ１０で基準基板１０Ｓが搬出され、ステ
ップ１１で制御部３３内の別のカウンタｎが「１」に初
期設定される。

【００２９】つぎにオペレータは、ステップ１２で、前
記ステップ５〜ステップ９の手順で設定された最初の検
査領域について特徴パラメータの抽出を指示すると、撮
像部１５よりカラー入力画像が取り込まれてＡ／Ｄ変換
され、画像メモリ２２に三原色の画像データＲ，Ｇ，Ｂ
が画素単位で格納される。

【００３０】いま検査領域内のある画素の三原色の画像
データをそれぞれＲ，Ｇ，Ｂとすると、画像処理部２５
は次式の演算を実行することによりこの画素の明度Ｌ，
赤の色相度ｒ，緑の色相度ｇ，青の色相度ｂを算出す
る。

【００３１】

【数１】

【００３２】

【数２】

【００３３】

【数３】

【００３４】

【数４】

【００３５】明度Ｌおよび各色相度ｒ，ｇ，ｂの算出は
対象領域内の全ての画素について行われるもので、これ
により画像処理部２５では、各色相パターンを抽出する
ための最適な２値化しきい値を自動算出した後、この２
値化しきい値を用いて２値化処理を行って各色相パター
ンを抽出し、さらにその色相パターンより特徴パラメー
タを抽出する（ステップ１３）。

【００３６】つぎのステップ１４は、前記カウンタｎの
値が検査領域の総数ｊと一致したか否かにより全ての検
査領域についての特徴パラメータの抽出が完了したかを
判定しており、その判定が「ＮＯ」であれば、ステップ
１５でカウンタｎの値をインクリメントした後、再びス
テップ１３へと戻り、つぎの検査領域における特徴パラ
メータの抽出が実行される。

【００３７】同様の手順が繰り返し実行された結果、ス
テップ１４の判定が「ＹＥＳ」になると、ステップ１６
へ進み、画像処理部２５は部品の位置，部品種，各部品
の検査領域，各検査領域内の特徴パラメータなどを用い
て判定データファイルを作成してティーチングテーブル
２４に格納し、ティーチング手順を完了する。

【００３８】図４は、実装部品の自動検査の手順をステ
ップ１〜ステップ９で示す。まず同図のステップ１，２
では、検査すべき基板名を選択して基板検査の開始操作
を行う。つぎのステップ３は、実装部品検査装置への被
検査基板１０Ｔの供給をチェックしており、その判定が
「ＹＥＳ」であれば、コンベヤ１７が作動してＹ軸テー
ブル部１３に被検査基板１０Ｔが搬入され、自動検査が
開始される（ステップ４，５）。

【００３９】ステップ５において、制御部３３はＸ軸テ
ーブル部１２およびＹ軸テーブル部１３を制御して、被
検査基板１０Ｔ上の１番目の部品１１Ｔに対し撮像部１
５の視野を位置決めして撮像を行わせ、検査領域内の各
ランド領域を自動抽出すると共に、画像処理部２５は、
ティーチング時と同様の方法で各ランド領域の特徴パラ
メータを算出して、被検査データファイルを作成する。
ついで制御部３３は、この被検査データファイルを判定
部２６に転送させ、この被検査データファイルと前記判
定データファイルとを比較させて、１番目の部品１１Ｔ
につきハンダ付けの良否などの実装品質を判定させる。

【００４０】このような検査が被検査基板１０Ｔ上の全
ての部品１１Ｔにつき繰り返し実行され、その結果、ハ
ンダ付け不良などがあると、その不良部品と不良内容と
が表示部２９に表示され或いはプリンタ３０に印字され
た後、被検査基板１０Ｔは観測位置より搬出される（ス
テップ７，８）。かくして同様の検査手順が全ての被検
査基板１０Ｔにつき実行されると、ステップ９の判定が
「ＹＥＳ」となって検査が完了する。

【００４１】図５は、前記した画像処理部２５が有する
２値化処理部４０の構成例を示すもので、色相度計算部
４１，色相度しきい値算出部４２，明度計算部４３，明
度しきい値算出部４４，２値画像生成部４５を含んでい
る。

【００４２】前記色相度計算部４１は、カラー画像を指
定された対象領域内について走査し、走査に従って取り
込まれる各画素の画像データ（赤色，緑色，青色の各輝
度データＲ，Ｇ，Ｂ）を用いて前記した（２）〜（４）
式の演算を実行することにより各画素毎に各色相度ｒ，
ｇ，ｂを算出する。これら色相度ｒ，ｇ，ｂは色相度し
きい値算出部４２へ与えられる。

【００４３】前記色相度しきい値算出部４２は、前記色
相度計算部４１より入力した画素毎の各色相度ｒ，ｇ，
ｂから色相毎に最適な２値化しきい値ＴＨ_R ，ＴＨ_G ，
ＴＨ_B を算出するためのもので、詳細は後述するが、画
質の評価値を求めて最適な２値化しきい値を求める手法
が用いられる。

【００４４】前記明度計算部４３は、カラー画像を指定
された対象領域内について走査し、走査に従って取り込
まれる各画素の画像データＲ，Ｇ，Ｂを用いて前記した
(1)式の演算を実行することにより各画素毎に明度Ｌを
算出する。この明度Ｌは明度しきい値算出部４４へ与え
られる。

【００４５】前記明度しきい値算出部４４は、各色相度
ｒ，ｇ，ｂをそれぞれの各色相度の２値化しきい値ＴＨ
_R ＴＨ_G ，ＴＨ_B と比較し、後述する条件を満たす画素
のみを対象として各対象画素の明度Ｌから色相毎の最適
な２値化しきい値ＴＨ_LR，ＴＨ_LG，ＴＨ_LBを算出するた
めのもので、画質の評価値を求めて最適な２値化しきい
値を求める手法を用いることは前記と同様である。

【００４６】前記対象領域の指定は、キーボード３１の
操作により行われ、これによりカラー画像中の２値化し
たい対象領域が指定され、また２値化処理の対象または
対象外とする色相、すなわち赤色，緑色，青色のいずれ
かが指定される。

【００４７】前記２値画像生成部４５は、前記明度しき
い値算出部４４で算出されたいずれか２値化しきい値を
用いて２値化処理を行って２値画像を生成する。

【００４８】図６は、２値画像を生成するための上記２
値化処理部４０の制御手順をステップ１〜７で示す。ま
ずスタート時点でカラー画像が制御処理部１６に取り込
まれると、そのカラー画像は画像メモリ２２に格納され
る。ついで後記する図８〜図１０に示す手順に従ってキ
ーボード３１により２値化したい対象領域が指定される
と共に、２値化処理の対象または対象外とする色相が指
定される。

【００４９】つぎにステップ１において、画像処理部２
５の色相度計算部４１が対象領域内のカラー画像を走査
して各画素毎に各色相度ｒ，ｇ，ｂを算出した後、色相
度しきい値算出部４２が前記色相度計算部４１より画素
毎の各色相度ｒ，ｇ，ｂを入力して色相毎に画質ヒスト
グラムを生成し、さらに各画質ヒストグラムより色相毎
に最適な２値化しきい値ＴＨ_R ，ＴＨ_G ，ＴＨ_B を求め
る（ステップ２，３）。

【００５０】つぎにステップ４において、明度計算部４
３が対象領域内のカラー画像を走査して各画素毎に明度
Ｌを算出した後、明度しきい値算出部４４が各色相度
ｒ，ｇ，ｂをそれぞれの色相度の２値化しきい値Ｔ
Ｈ_R ，ＴＨ_G ，ＴＨ_B と比較し、後述する条件を満たす
画素のみを対象として各対象画素の明度Ｌを明度計算部
４３より入力して色相毎に画質ヒストグラムを生成し、
さらに各画質ヒストグラムより色相毎に最適な２値化し
きい値ＴＨ_LR，ＴＨ_LG，ＴＨ_LBを求める（ステップ５，
６）。

【００５１】つぎにステップ７で２値画像生成部４５
は、前記明度しきい値算出部７４で算出された２値化し
きい値ＴＨ_LR，ＴＨ_LG，ＴＨ_LBの中から指定された色に
対応する２値化しきい値を用いて画素データを２値化処
理して２値画像を生成する。

【００５２】図７は、キーボード３１からのキー入力に
基づいて作成されかつ２値化処理に際して参照されるし
きい値テーブルＴＢを示す。同図中、ＴＨ_LR，ＴＨ_LG，
ＴＨ_LBは色相毎の明度の２値化しきい値であり、ＴＨ_R
ＴＨ_G ，ＴＨ_B は色相毎の色相度の２値化しきい値であ
る。またＦＦ_L ，ＦＦ_r ，ＦＦ_g ，ＦＦ_b は各２値化し
きい値を２値化処理のための上限値とするか否かを示す
上限値フラグであって、これらフラグが「１」であれば
上限値であることを、「０」であれば下限値であること
を、それぞれ示す。さらにＳ_r ，Ｓ_g，Ｓ_b は各色相が
２値化処理の対象であるか、或いは対象外であるかを示
す色指定識別データであり、その値が「１」であればそ
の色相が２値化処理の対象であることを、「０」であれ
ばその色相が対象外であることを、それぞれ示す。

【００５３】かくして２値化処理による２値データｑ
（ｑ＝１または０）は、指定された色相が赤色であれ
ば、つぎの(5) 式で示す論理式により、また緑色であれ
ば、(6)式で示す論理式により、さらに青色であれば、
(7) 式で示す論理式により、それぞれ決定される。

【００５４】

【数５】

【００５５】

【数６】

【００５６】

【数７】

【００５７】図８〜図１０は、前記したキーボード３１
による指定操作の手順をステップ１〜２７で示したもの
である。まず同図のステップ１で、表示部２９に対象領
域を指定するよう案内文字（メッセージ）が表示され、
続くステップ２で対象領域を規定する端点（始点および
終点）の座標を入力するよう案内文字が表示される。

【００５８】図１１は、カラー画像８を示すもので、始
点Ｐの座標（ｘ１，ｙ１）と終点Ｑの座標（ｘ２，ｙ
２）とをキーボード３１よりキー入力することより矩形
状の対象領域９が指定されることになる。

【００５９】図８のステップ３〜ステップ７は対象領域
の指定手順を示すもので、この手順が完了すると、表示
部２９には対象領域の指定についての確認表示が行われ
た後、赤色，緑色，青色のいずれか色相を指定するよう
案内文字が表示される（ステップ８，９）。

【００６０】つぎのステップ１０でキー操作により所望
の色が指定されると、その判定が「ＹＥＳ」となり、続
くステップ１１〜１５で２値化処理の対象または対象外
とする色相として赤色，緑色，青色のいずれが指定され
たのかを判断する。

【００６１】もし２値化処理の対象とする色相として赤
色が指定されたとき、ステップ１１の判定が「ＹＥＳ」
となり、赤色指定の識別データＳ_r として「１」が、ま
た上限値フラグＦＦ_r として「０」が、それぞれ前記し
きい値テーブルＴＢにセットされる（ステップ１６，１
７）。

【００６２】もし２値化処理の対象とする色相として緑
色が指定されたときは、ステップ１２の判定が、青色が
指定されたときは、ステップ１３の判定が、それぞれ
「ＹＥＳ」となり、同様の色指定識別データＳ_g ，Ｓ_b
および上限値フラグＦＦ_g ，ＦＦ_b の設定がそれぞれ行
われる（ステップ１８，１９およびステップ２０，２
１）。

【００６３】またもし２値化処理の対象外とする色相と
して赤色が指定されたとき、ステップ１４の判定が「Ｙ
ＥＳ」となり、赤色指定の識別データＳ_r として「０」
が、また上限値フラグＦＦ_r として「１」が、それぞれ
前記しきい値テーブルＴＢにセットされる（ステップ２
２，２３）。

【００６４】もし２値化処理の対象外とする色相として
緑色が指定されたときは、ステップ１５の判定が「ＹＥ
Ｓ」となり、青色が指定されたときは、ステップ１５の
判定が「ＮＯ」となり、同様の色指定識別データＳ_g ，
Ｓ_b および上限値フラグＦＦ_g ，ＦＦ_b の設定がそれぞ
れ行われる（ステップ２４，２５およびステップ２６，
２７）。

【００６５】つぎのステップ２８では、２値化したい画
像部分が指定された色相のうち明るい方であるのか、暗
い方であるのかを指定するよう表示部２９に案内文字が
表示される。

【００６６】つぎのステップ２９でキー操作によりこの
明るさの指定が行われると、その判定が「ＹＥＳ」とな
り、つぎのステップ３０で明るい方が指定されたか否か
を判定し、もしステップ３０の判定が「ＹＥＳ」であれ
ば上限値フラグＦＦ_L として「０」が、もしステップ３
０の判定が「ＮＯ」であれば上限値フラグＦＦ_L として
「１」が、それぞれしきい値テーブルＴＢにセットされ
る。

【００６７】このようにしてしきい値テーブルＴＢが設
定され、さらに色相毎の色相度の２値化しきい値Ｔ
Ｈ_R ，ＴＨ_G ，ＴＨ_B が算出されてしきい値テーブルＴ
Ｂにセットされた後に、明度計算部４３により対象領域
内の各画素毎に明度Ｌが算出されると、いま仮に赤色が
２値化処理の対象とする色相に指定されている場合、明
度しきい値算出部４４は、各画素の色相度ｒが２値化し
きい値ＴＨ_R 以上である画素のみを対象として各対象画
素の明度から画質ヒストグラムを生成し、その画質ヒス
トグラムより最適な２値化しきい値ＴＨ_LRを求める。

【００６８】そして赤色の明るい方が指定されている場
合は、２値画像生成部４５は各画素の明度Ｌが２値化し
きい値ＴＨ_LR以上の画素について抽出し、またもし赤色
の暗い方が指定されている場合は、各画素の明度Ｌが２
値化しきい値ＴＨ_LRより小さい画素について抽出し、そ
れぞれ２値画像を生成することになる。なお緑色や青色
が指定されている場合も上記と同様であり、ここではそ
の説明を省略する。

【００６９】図１２は、前記した色相度しきい値算出部
４２および明度しきい値算出部４４に用いられる回路構
成例を示す。同図中、ＣＰＵ５１はＣＰＵバス５２を介
してアドレスジェネレータ５３を制御し、必要なアドレ
ス、コントロール信号、タイミング信号などを生成し、
構成各部へ出力させる。画像メモリ２２は、画像コント
ロールバス５５を介して入力されるコントロール信号に
対応して書込と読出が制御され、画像アドレスバス５４
を介して入力されるアドレスに対して、画像データバス
５６より供給される画像データが書き込まれ、また読み
出される。画像アドレスバス５４、画像コントロールバ
ス５５および画像データバス５６よりなる画像バス５７
は、図示しない他の回路にも接続されている。

【００７０】画像メモリ２２には、例えば１フィールド
分（または１フレーム分）のカラー画像データ（図１４
に示す画面１２０のデータ）が書き込まれる。画像メモ
リ２２に書き込まれた画像データのうち、所定の範囲
（図１４のウィンドウ１２１で指定される範囲）の画像
データが読み出され、ラッチ回路５９，６０、１Ｈ遅延
回路６５、ラッチ回路６１，６２、１Ｈ遅延回路６６、
ラッチ回路６３，６４に順次供給される。１Ｈ遅延回路
６５，６６は入力データを１Ｈ遅延して出力し、ラッチ
回路５９〜６４は入力データをラッチする。これによ
り、図１４に示すように、画面１２０のうちウィンドウ
１２１で指定するＮ個（実施例の場合９個）の画素ｐ₀
〜ｐ₈ の画像データが抽出され、非合法パターン判定部
６８に供給される。この実施例の場合、画素ｐ₀ が中心
に配置され、画素ｐ₀ 〜ｐ₈ が反時計方向に回転する方
向に順次配置されている。また、ラッチ回路６１により
ラッチされた画素ｐ₀ の画像データは、非合法パターン
ヒストグラム生成部６９と明るさヒストグラム生成部７
０にも供給される。

【００７１】非合法パターン判定部６８は、例えば図１
３に示すように構成されている。減算回路８１〜８８に
は画素ｐ₁ 〜ｐ₈ の画像データがそれぞれ入力されると
ともに、画素ｐ₀ の画像データが入力されている。減算
回路８１〜８８は、画素ｐ₁ 〜ｐ₈ と、画素ｐ₀ との明
るさの差ｑ₁ 〜ｑ₈ を演算し、エッジ適合算出回路１０
１〜１０８に出力する。すなわち、減算回路８１〜８８
は、図１５に示すように、ウィンドウ１２１内の中心の
画素ｐ₀ を基準にして、その周囲の８個の画素ｐ₁ 〜ｐ
₈ の明るさの差ｑ₁ 〜ｑ₈ のパターンを作成する。

【００７２】エッジ適合度算出回路１０１は、ＭＦＣ
（Membership Function Circuit ）９１〜９８と、そ
の出力の最小値を選択する最小値回路９９とで構成され
ており、減算回路８１〜８８の出力ｑ₁ 〜ｑ₈ は、ＭＦ
Ｃ９１〜９８にそれぞれ入力される。ＭＦＣ９１〜９８
は、ウィンドウ１２１内におけるエッジ方向のファジイ
モデルに基づく各画素位置に対応するメンバーシップ関
数を記憶しており、このメンバーシップ関数に対応する
処理を実行する。

【００７３】すなわち、ＭＦＣ９１〜９８は、図１６に
示すように、右４５度上方を指向する方向１のエッジの
ファジイモデルに対応して、メンバーシップ関数Ｚ，Ｎ
またはＰを記憶している。さらに詳述すれば、画素ｐ₁
〜ｐ₅ （明るさの差ｑ₁ 〜ｑ₅ ）に対応するＭＦＣ９１
〜９５は、メンバーシップ関数Ｚを、画素ｐ₂ 〜ｐ
₄（明るさの差ｑ₂ 〜ｑ₄ ）に対応するＭＦＣ９２〜９
４はメンバーシップ関数Ｎを、画素ｐ₆ 〜ｐ₈ （明るさ
の差ｑ₆ 〜ｑ₈ ）に対応するＭＦＣ９６〜９８はメンバ
ーシップ関数Ｐを、それぞれ記憶している。

【００７４】メンバーシップ関数Ｎ，Ｚ，Ｐは、図１７
に示す入出力特性を有している。すなわち、メンバーシ
ップ関数Ｎは、図中破線で示すように、明るさの差ｑ
（ｑ₁ 〜ｑ₈ ）が、−ｑ_b より小さいとき、適合度μ
（μ₁₁〜μ₁₈）を最大値１とし、０より大きいとき最小
値０とし、−ｑ_b から０までの間の値のとき、その値に
対応して１から０までの中間の値に設定する。メンバー
シップ関数Ｐは、明るさｑが０より小さいとき、適合度
μを最小値０とし、ｑ_b より大きいとき最大値１とし、
０〜ｑ_b の中間の値のとき、その値に対応して０〜１の
中間の値とする。メンバーシップ関数Ｚは、明るさｑの
絶対値がｑ_a より大きいとき適合度μを最小値０とし、
絶対値がｑ_b より小さいとき最大値１とする。そして、
明るさｑの絶対値がｑ_b より大きく、ｑ_a より小さいと
き、その値に対応して、適合度μは、１から０までの中
間の値とされる。

【００７５】このように、ＭＦＣ９１〜９８は、記憶す
るメンバーシップ関数Ｎ，ＺまたはＰを基準にして、対
応する減算回路８１〜８８より入力される明るさの差ｑ
₁ 〜ｑ₈ の大きさから適合度μ₁₁〜μ₁₈を演算する。こ
の適合度μ₁₁の値が大きい（１に近い）程、画素ｐ₀ の
明るさを基準にして画素ｐ₁ のデータの２値化を行う
と、より適切な２値化画像が得られることになる。この
ことは画素ｐ₂ 〜ｐ₃ についても同様である。

【００７６】最小値回路９９は、ＭＦＣ９１〜９８が出
力する適合度μ₁₁〜μ₁₈のうち、最小のものを選択し、
エッジ適合度算出回路１０１の適合度μ₁ として出力す
る。すなわち、ウィンドウ１２１内の各画素ｐ₁ 〜ｐ₈
を、画素ｐ₀ の明るさを基準にして２値化したときの適
合度μ₁₁〜μ₁₈のうちの最小値を求めるということは、
画素ｐ₀ の明るさを基準にして２値化することにより最
低限得られる適合度を求めることに他ならない。

【００７７】エッジ適合度算出回路１０２〜１０８も、
エッジ適合度算出回路１０１と同様に構成されている
が、そのＭＦＣが記憶するメンバーシップ関数のファジ
イモデルは、図１６Ｂ〜Ｈに示すように、そのエッジの
方向が方向２〜方向８に定められている。方向２〜方向
８のエッジ方向は、それぞれ上方向、左４５度上方向、
左水平方向、左４５度下方向、下方向、右４５度下方
向、または右水平方向とされている。

【００７８】最大値回路１００は、エッジ適合度算出回
路１０１〜１０８が出力する適合度μ₁ 〜μ₈ のうち、
最大のものを選択し、適合度μとして出力する。すなわ
ち、エッジ適合度算出回路１０１〜１０８により、ウィ
ンドウ１２１内のエッジの方向（画像パターン）を、方
向１〜方向８（予め設定したパターン）に対応させた場
合に最低限得られる適合度のうち、最も大きいものが選
択されるので、適合度μは、方向１〜方向８のうち、最
も適切な方向の適合度を選択していることになる。

【００７９】最大値回路１００が出力する適合度μは、
ファジイ否定演算回路１１０の減算回路１１２に入力さ
れる。減算回路１１２の他方の入力には「１」発生回路
１１１が出力するファジイロジックにおける値「１」が
印加されており、減算回路１１２は、値「１」から適合
度μを減算した値μ′（＝１−μ）を出力する。すなわ
ち、μ′は最も適切なパターンの不適切な度合（非合法
度）を表している。

【００８０】以上の処理は、アドレスジェネレータ５
３、画像メモリ２２、ラッチ回路５９〜６４、１Ｈ遅延
回路６５，６６を有するウィンドウ走査部６７におい
て、図１４に示すように、画面１２０の全体にわたって
ウィンドウ１２１を走査することにより、繰り返し行わ
れる。

【００８１】非合法パターンヒストグラム生成部６９
は、ウィンドウ１２１の各走査位置における非合法度
μ′を、そのときの基準画素ｐ₀ の明るさ毎に累積加算
して、非合法度のヒストグラムを作成する。また、明る
さヒストグラム生成部７０は、基準画素ｐ₀ の数を明る
さ毎に累積加算して、画面の全画素の明るさヒストグラ
ムを生成する。

【００８２】画質ヒストグラム生成部７１は、非合法パ
ターンヒストグラム生成部６９が出力する明るさ毎の累
積値を、明るさヒストグラム生成部７０が出力する対応
する明るさ毎の累積値で除算し、正規化する。これによ
り、図１８に示すような画質ヒストグラムが得られる。
図１８において、横軸は明るさであり、縦軸は画質の評
価基準としての画質の悪さ（非合法度）である。従っ
て、図１８のボトム値（負のピーク値）が得られる明る
さｋ_opt を基準（２値化しきい値）として２値化を行う
と、画質の悪さが最も小さくなる。すなわち、最も良好
な２値画像が得られることになる。

【００８３】最適しきい値探索部７２は、画質ヒストグ
ラム生成部７１が生成した画質ヒストグラムのボトム値
が得られる明るさ（２値化しきい値）を探索し、それを
ＣＰＵ５１に出力する。ＣＰＵ５１は、入力された２値
化しきい値を基準にして、画面１２０の全画素の明るさ
を２値化し、２値化画像を生成する。

【００８４】以上の処理を、ファジイロジック演算式を
用いてさらに説明するとつぎのようになる。すなわち、
図１２に示す非合法パターン判定部６８における処理
は、つぎの(8) 式で表すことができる。

【００８５】

【数８】

【００８６】ここでｑ_i は明るさの差（ｑ₁ 〜ｑ₈ ）を
表し、μｊｉ（ｑ_i ）は、図１７のファジイモデルにお
ける方向ｊの画素位置ｉに対応するファジイラベルのメ
ンバーシップ関数（Ｎ，Ｚ，Ｐ）を表している（すなわ
ちＭＦＣ９１〜９８の処理を表している）。ＭＩＮｉ
は、ｉを変更して得られる最小値を求める演算（最小値
回路９９の処理）を、ＭＡＸｊは、ｊを変更して得られ
る最大値を求める演算（最大値回路１００の処理）を、
それぞれ表している。(8) 式における最小値演算または
最大値演算を、それぞれｔノルム（ｔ norm)またはｔコ
ノルム（ｔ conorm)の条件を満たす演算としても、類似
の効果を奏することができる。

【００８７】また、非合法パターンヒストグラム生成部
６９の処理は、つぎの(9) 式で表すことができる。

【００８８】

【数９】

【００８９】ここで、ｆ_hist（ｐ₀ ）は、画素ｐ₀ の明
るさ（２値化しきい値）における非合法パターンの発生
可能性を表している。また、式の左右に同一の項ｆ_hist
（ｐ₀ ）が挿入されているのは、これに非合法度μ′を
加算して、新たな値とすることを意味する。

【００９０】さらに、画素ヒストグラム生成部７１にお
ける処理は、明るさヒストグラム生成部７０で生成され
る明るさヒストグラムをhist（ｋ）とすると、hist
（ｋ）＝０のときはつぎの(10)式で、hist（ｋ）≠０の
ときはつぎの(11)式で、それぞれ表すことができる。

【００９１】

【数１０】

【００９２】

【数１１】

【００９３】ここで、ｑ_hist（ｋ）は画質ヒストグラム
生成部７１で生成される画質ヒストグラムを表してお
り、またＱ₀ は最大値（定数）である。

【００９４】

【発明の効果】この発明は上記の如く、基板上の実装部
品を撮像して得られたカラー画像より任意の色相パター
ンを抽出するための２値化しきい値を自動的に算出する
ようにしたから、２値化しきい値の決定に時間がかから
ず教示作業の効率が向上し、またオペレータの個人差で
２値化しきい値の決定結果が変動することがなく、安定
した検査が行える。さらに最良の画質を与える明るさか
ら２値化しきい値を求め、また画質の評価基準は中間の
情報を含む所定のパターンとの適合度から生成するか
ら、きめ細かい２値化しきい値の算出が可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例である実装部品検査装置の
全体構成を示すブロック図である。

【図２】はんだ付けの良否とパターンとの関係を示す説
明図である。

【図３】ティーチングの手順を示すフローチャートであ
る。

【図４】自動検査の手順を示すフローチャートである。

【図５】画像処理部の２値化処理部の構成例を示すブロ
ック図である。

【図６】２値化処理部の制御手順を示すフローチャート
である。

【図７】しきい値テーブルを示す説明図である。

【図８】キーボードによる指定操作の手順を示すフロー
チャートである。

【図９】キーボードによる指定操作の手順を示すフロー
チャートである。

【図１０】キーボードによる指定操作の手順を示すフロ
ーチャートである。

【図１１】対象領域の指定方法を示す説明図である。

【図１２】色相度しきい値算出部および明度しきい値算
出部に用いられる回路構成例を示すブロック図である。

【図１３】非合法パターン判定部の一実施例を示すブロ
ック図である。

【図１４】図１２の実施例の動作を説明するための説明
図である。

【図１５】図１３における減算回路の動作を説明するた
めの説明図である。

【図１６】図１３におけるＭＦＣのファジイモデルのエ
ッジパターンを示す説明図である。

【図１７】図１３におけるＭＦＣのメンバーシップ関数
の入出力特性を示す説明図である。

【図１８】図１２における画質ヒストグラム生成部によ
り生成される画質ヒストグラムをを示す説明図である。

【図１９】実装部品検査装置の構成を示す説明図であ
る。

【符号の説明】

１０Ｓ，１０Ｔ 基板 １１Ｓ，１１Ｔ 部品 １５ 撮像部 １６ 制御処理部 ２５ 画像処理部 ４２ 色相度しきい値算出部 ４４ 明度しきい値算出部 ４５ ２値画像生成部 ６７ ウィンドウ走査部 ６８ 非合法パターン判定部 ６９ 非合法パターンヒストグラム生成部 ７０ 明るさヒストグラム生成部 ７１ 画質ヒストグラム生成部 ７２ 最適しきい値探索部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 稲毛 勝行 京都市右京区花園土堂町10番地 オムロ ン株式会社内 (56)参考文献 特開 平２−231510（ＪＰ，Ａ) 特開 平２−78937（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01N 21/84 - 21/958

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 基板上の実装部品を撮像して得られたカ
   ラー画像を２値化しきい値により２値化処理して、前記
   部品の実装品質を検査するための色相パターンを抽出す
   る実装部品検査装置であって、 前記カラー画像上に所定範囲のウィンドウを設定して走
   査するウィンドウ走査手段と、 前記ウィンドウ走査手段により走査されるウィンドウ内
   のカラー画像より明るさに関する第１の情報を生成する
   第１の情報生成手段と、 前記ウィンドウ走査手段により走査されるウィンドウ内
   のカラー画像につき予め設定された所定のパターンとの
   適合度に関する第２の情報を色相別に生成する第２の情
   報生成手段と、 前記第１，第２の各情報生成手段で生成された第１，第
   ２の各情報より画質の評価基準を与える第３の情報を色
   相別に生成する第３の情報生成手段と、 前記第３の情報生成手段で生成された第３の情報に基づ
   き最良の画質を与える明るさを各色相パターンを抽出す
   るための２値化しきい値として算出するしきい値算出手
   段とを備えて成る実装部品検査装置。