JP5417197B2 - 検査装置および検査方法 - Google Patents

Description

この発明は、検査装置および検査方法に関し、特に、検査対象物の撮像画像を用いて検査を行う検査装置および検査方法に関する。

従来、検査対象物の撮像画像を用いて検査を行う検査装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、基板上に電子部品が搭載された実装基板（検査対象物）を水平に載置した状態で、実装基板に異なる複数の照射角度で照明光を照射する照明部と、実装基板を鉛直上方から撮像する撮像部と、撮像部により撮像された撮像画像に画像処理を行う演算制御部とを備え、実装基板に搭載された電子部品の実装状態の検査を行う検査装置が開示されている。この照明部は、複数のＬＥＤ（発光ダイオード）を有し、実装基板からの照射角度を５度毎に変更しながら照明光を照射可能なように構成されている。上記特許文献１の検査装置では、実装基板上方の所定の撮像位置において、照射角度を変えながら複数回照明光を実装基板に照射するとともに、それぞれの照射角度の照明光を用いて実装基板の撮像を行うように構成されている。これにより、照射角度の異なる照明光を用いて撮像された同一の撮像画像が、複数撮像される。ここで、得られた撮像画像には、検査対象部位の画像領域と、検査対象部位以外の非検査対象部位（背景として写る基板など）の画像領域とが写り込む。このため、上記特許文献１の検査装置では、演算制御部が照射角度の異なる照明光を用いて撮像された複数の撮像画像を組み合わせて引き算処理をする（たとえば、照射角度３０度の撮像画像から、照射角度８５度の撮像画像を引き算処理する）ことにより、不要な非検査対象部位の画像領域を取り除くように構成されている。

ここで、撮像画像における検査対象部位の写り方は、検査対象となる電子部品の形状などにより異なる。このため、画像認識を行う検査用の画像を生成するためにどの照射角度の撮像画像からどの照射角度の撮像画像を引き算処理すればよいかの撮像画像の組み合わせは、検査対象となる電子部品毎に決定する必要がある。従来では、検査対象毎に様々な撮像画像を組み合わせて検査用の画像を生成するユーザによる試行錯誤により、画像認識に適した（検査対象部位と非検査対象部位とのコントラストが強い（光の強度の差が大きい））検査用の画像を得ることのできる組み合わせがユーザにより経験的に決定されていた。

特開平５−２３１８３７号公報

上記のように、照射角度の異なる照明光を用いて撮像された複数の撮像画像を組み合わせて画像認識に適した検査用の画像を生成するために、従来では撮像画像の組み合わせを経験的に決定していたので、画像認識に適した検査用の画像に用いる撮像画像を決定するための作業が煩雑であるとともに決定基準を標準化するのが困難であるという問題点があった。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像認識に適した検査用の画像に用いる撮像画像を決定するための作業を簡素化するとともに決定基準を標準化することが可能な検査装置および検査方法を提供することである。

課題を解決するための手段および発明の効果

上記目的を達成するために、この発明の第１の局面による検査装置は、複数の照射角度で照明光を照射可能な照明部と、検査対象部位および非検査対象部位を複数の照射角度の照明光を用いてそれぞれ撮像する撮像部と、複数の照射角度の照明光を用いてそれぞれ撮像された複数の撮像画像中の検査対象部位と非検査対象部位とに基づいて、検査用の画像に用いる撮像画像を決定する制御部とを備え、検査用の画像は、複数の撮像画像を組み合わせて生成される演算画像であり、制御部は、複数の撮像画像の内で、検査対象部位の光の強度と、非検査対象部位の光の強度と、検査対象部位および非検査対象部位のそれぞれにおける光の強度のばらつきとに基づいて、検査用の画像に用いる撮像画像の組み合わせを決定するように構成されている。

この第１の局面による検査装置では、上記のように、複数の照射角度の照明光を用いてそれぞれ撮像された複数の撮像画像中の検査対象部位における光の強度と、複数の撮像画像中の非検査対象部位における光の強度とに基づいて、検査用の画像に用いる撮像画像を決定する制御部を設けることによって、複数の撮像画像の内から検査用の画像に用いる撮像画像を、撮像画像中に写る検査対象部位の光の強度と非検査対象部位の光の強度とに基づいて自動で、かつ、一定の基準で適切に決定することができる。また、複数の撮像画像中の検査対象部位における光の強度と、複数の撮像画像中の非検査対象部位における光の強度とに基づいて検査用の画像に用いる撮像画像を決定することにより、複数の撮像画像中から、画像認識に適した（検査対象部位と非検査対象部位とのコントラストが強い（光の強度の差が大きい））検査用の画像を得ることができる。これにより、ユーザが経験的に行っていた検査用の画像に用いる撮像画像を決定するための作業を制御部によって自動で、かつ、一定の基準で適切に行うことができるので、画像認識に適した検査用の画像に用いる撮像画像を決定するための作業の簡素化および決定基準の標準化を行うことができる。また、検査対象部位および非検査対象部位のそれぞれにおける光の強度のばらつきにも基づいて、検査用の画像に用いる撮像画像を決定することができる。すなわち、検査用の画像において、検査対象部位内での光の強度のばらつきや、非検査対象部位内での光の強度のばらつきが大きい場合には、検査対象部位と非検査対象部位との境界（輪郭）が不鮮明となって画像認識には適さない画像となるので、光の強度のばらつきに基づき検査用の画像に用いる撮像画像を決定することによって、より画像認識に適した検査用の画像を得ることができる。

上記第１の局面による検査装置において、好ましくは、制御部は、複数の撮像画像の内で、少なくとも検査対象部位の光の強度と非検査対象部位の光の強度との光の強度の差に基づいて、検査対象部位の光の強度と非検査対象部位の光の強度との光の強度の差が大きい第１撮像画像と、検査対象部位の光の強度と非検査対象部位の光の強度との光の強度の差が小さい第２撮像画像との組み合わせを求め、第１撮像画像から第２撮像画像を引き算処理して求められる画像を、検査用の画像とするように構成されている。このように構成すれば、複数の撮像画像の内から検査対象部位の光の強度と非検査対象部位の光の強度との光の強度の差が大きい第１撮像画像と、検査対象部位の光の強度と非検査対象部位の光の強度との光の強度の差が小さい第２撮像画像との組み合わせを決定することによって、第１撮像画像と第２撮像画像とを用いて引き算処理することにより検査用の画像を得ることができる。これにより、検査対象部位と非検査対象部位とのコントラストが強く（光の強度の差が大きく）、画像認識に適した検査用の画像を得ることができる。

上記第１の局面による検査装置において、好ましくは、制御部は、複数の撮像画像から組み合わせ可能な全ての撮像画像の組み合わせを抽出するとともに、抽出した全ての組み合わせの中から撮像画像の組み合わせを決定するように構成されている。このように構成すれば、複数の撮像画像を組み合わせて生成することが可能な全ての演算画像の中から、より画像認識に適した検査用の演算画像を生成することが可能な複数の撮像画像の組み合わせを決定することができる。

上記第１の局面による検査装置において、好ましくは、制御部は、撮像された撮像画像から所定の色成分を抽出した複数の色成分画像を生成して、それぞれの色成分画像を撮像画像として用いて、検査用の画像に用いる撮像画像を決定するように構成されている。このように撮像された撮像画像から所定の色成分を抽出した複数の色成分画像を生成するように構成すれば、検査対象部位（非検査対象部位）の実際の色味によってそれぞれの色成分画像における写り方（光の強度）は異なるから、１つの撮像画像から検査対象部位（非検査対象部位）の写り方（光の強度）の異なる複数の色成分画像を得ることができる。この結果、少ない撮像回数で検査用の画像に用いる撮像画像の候補をより多く得ることができる。

上記第１の局面による検査装置において、好ましくは、制御部は、複数の撮像画像における検査対象部位および非検査対象部位のそれぞれの位置データを用いて、複数の撮像画像中の検査対象部位および非検査対象部位におけるそれぞれの光の強度を取得するように構成されている。このように構成すれば、複数の撮像画像における検査対象部位および非検査対象部位のそれぞれの位置データから、容易に検査対象部位の光の強度および非検査対象部位の光の強度を取得することができる。

上記第１の局面による検査装置において、好ましくは、制御部は、検査前に検査用の画像に用いる撮像画像を予め決定するとともに、検査時には予め決定した撮像画像を用いた検査用の画像により、検査対象部位を有する検査対象物の検査を行うように構成されている。このように構成すれば、検査前に検査用の画像に用いる撮像画像を予め決定しておくことによって、検査対象物の検査時にはどの撮像画像を用いるかを決定する必要がない。これにより、検査対象物の検査時に予め決定した撮像画像を用いて検査用の画像を得ることによって、検査対象物の迅速な検査を行うことができる。

この発明の第２の局面による検査方法は、複数の照射角度の照明光を用いて検査対象部位および非検査対象部位がそれぞれ撮像された複数の撮像画像を取得するステップと、複数の照射角度の照明光を用いてそれぞれ撮像された複数の撮像画像中の検査対象部位と非検査対象部位とに基づいて、検査用の画像に用いる撮像画像を決定するステップとを備え、検査用の画像は、複数の撮像画像を組み合わせて生成される演算画像であり、検査用の画像に用いる撮像画像を決定するステップは、複数の撮像画像の内で、検査対象部位の光の強度と、非検査対象部位の光の強度と、検査対象部位および非検査対象部位のそれぞれにおける光の強度のばらつきとに基づいて、検査用の画像に用いる撮像画像の組み合わせを決定するステップを含む。

この第２の局面による検査方法では、上記のように、複数の照射角度の照明光を用いてそれぞれ撮像された複数の撮像画像中の検査対象部位における光の強度と、複数の撮像画像中の非検査対象部位における光の強度とに基づいて、検査用の画像に用いる撮像画像を決定することによって、複数の撮像画像の内から検査用の画像に用いる撮像画像を、撮像画像中に写る検査対象部位の光の強度と非検査対象部位の光の強度とに基づいて自動で、かつ、一定の基準で適切に決定することができる。また、複数の撮像画像中の検査対象部位における光の強度と、複数の撮像画像中の非検査対象部位における光の強度とに基づいて検査用の画像に用いる撮像画像を決定することにより、複数の撮像画像中から、画像認識に適した（検査対象部位と非検査対象部位とのコントラストが強い（光の強度の差が大きい））検査用の画像を得ることができる。これにより、この第２の局面による検査方法をたとえばＰＣなどの情報処理端末に適用することによって、ユーザが経験的に行っていた検査用の画像に用いる撮像画像を決定するための作業を自動で、かつ、一定の基準で適切に行うことができるので、画像認識に適した検査用の画像に用いる撮像画像を決定するための作業の簡素化および決定基準の標準化を行うことができる。また、検査対象部位および非検査対象部位のそれぞれにおける光の強度のばらつきにも基づいて、検査用の画像に用いる撮像画像を決定することができる。すなわち、検査用の画像において、検査対象部位内での光の強度のばらつきや、非検査対象部位内での光の強度のばらつきが大きい場合には、検査対象部位と非検査対象部位との境界（輪郭）が不鮮明となって画像認識には適さない画像となるので、光の強度のばらつきに基づき検査用の画像に用いる撮像画像を決定することによって、より画像認識に適した検査用の画像を得ることができる。

本発明の第１実施形態による外観検査装置の全体構成を示す平面図である。 図１に示した第１実施形態による外観検査装置の撮像部および照明部を説明するための図である。 図１に示した外観検査装置による検査対象の実装済み基板を示す図である。 図２に示した撮像部および照明部により撮像される撮像画像を説明するための表である。 図１に示した第１実施形態による外観検査装置の制御的な構造を説明するためのブロック図である。 図３に示した実装済み基板に実装される部品を説明するための図である。 図６に示した部品の撮像画像を説明するための図である。 図１に示した第１実施形態による外観検査装置の検査用画像に用いる撮像画像の組み合わせ決定処理を説明するためのフロー図である。 図８に示した組み合わせ決定処理における検査対象部位および非検査対象部位のサンプル位置に対する光の強度を説明するための表である。 図８に示した組み合わせ決定処理を説明するための図である。 図８に示した組み合わせ決定処理において検査対象部位および非検査対象部位の各集合を分断するラインを説明するための図である。 図８に示した組み合わせ決定処理において検査対象部位および非検査対象部位の各集合を分断するラインを説明するための図である。 図８に示した組み合わせ決定処理において検査対象部位および非検査対象部位の各集合を分断するラインを説明するための図である。 図１に示した第１実施形態による外観検査装置により生成される検査用画像を説明するための図である。 本発明の第１実施形態による外観検査装置の実装済み基板の検査処理を説明するためのフロー図である。 図１５に示した検査処理において行われる部品の欠品検査および位置ズレ検査処理（サブルーチン）を説明するためのフロー図である。 本発明の第２実施形態による外観検査装置の検査用画像に用いる撮像画像の組み合わせ決定処理を説明するためのフロー図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１実施形態）
まず、図１〜図７を参照して、本発明の第１実施形態による外観検査装置１００の構造について説明する。なお、第１実施形態では、「検査装置」の一例である外観検査装置１００に本発明を適用した場合について説明する。

図１に示すように、第１実施形態による外観検査装置１００は、複数の部品（部品１２０、１２１および１２２）（図３参照））がプリント基板１３０（図３参照））に実装された検査対象物（実装済み基板１１０）（図３参照））に対して、部品の実装状態を検査するための装置である。図３に示すように、実装済み基板１１０には、配線パターン（図示せず）が形成されたプリント基板１３０上の所定位置に集積回路などの電子部品（部品１２０、１２１および１２２）が多数配置されている。外観検査装置１００は、部品の実装状態として、部品（部品１２０、１２１および１２２）が搭載されているか否か（欠品検査）、部品１２０（１２１および１２２）の設計位置に対する位置ズレの量が許容範囲内か、部品１２０（１２１および１２２）の向きが適正か否かなどの各種検査を行うように構成されている。なお、実装済み基板１１０は、本発明の「検査対象物」の一例である。

図１に示すように、外観検査装置１００は、基台１上に設けられた実装済み基板１１０（図３参照）を搬送するための基板搬送コンベア１０と、実装済み基板１１０をＹ方向に移動させる移動テーブル２０と、ユニット支持部３０と、ユニット支持部３０によりＸ方向に移動可能に支持される撮像ユニット４０と、制御装置５０（図５参照）とを主に備えている。以下、外観検査装置１００の具体的な構造を説明する。

基板搬送コンベア１０は、実装済み基板１１０（図３参照）を保持してＸ方向に搬送することによって、外観検査装置１００への実装済み基板１１０の搬入、検査位置への搬送および外観検査装置１００からの実装済み基板１１０の搬出を行う機能を有する。基板搬送コンベア１０は、装置上流側（矢印Ｘ２方向側）の搬入部１１と、装置下流側（矢印Ｘ１方向側）の搬出部１２と、移動テーブル２０上に設けられた移動部１３とを含んでいる。

搬入部１１および搬出部１２は、Ｘ方向に延びる一対のコンベア部をそれぞれ有している。具体的には、搬入部１１および搬出部１２は、それぞれ基台１上に固定的に設けられた矢印Ｙ２方向側の前側コンベア１１ａおよび１２ａと、基台１に対してＹ方向に移動可能に設けられた矢印Ｙ１方向側の後側コンベア１１ｂおよび１２ｂとを有している。搬入部１１および搬出部１２は、この後側コンベア１１ｂおよび１２ｂを図示しないモータにより駆動してＹ方向に同期して移動させることにより、コンベアの間隔（前側コンベアと後側コンベアとの間のＹ方向の距離）を搬送される実装済み１１０の幅（Ｙ方向の幅）に応じて調整することが可能なように構成されている。

また、移動部１３は、Ｙ方向に移動可能な移動テーブル２０上に設けられたＸ方向に延びる一対のコンベア部をそれぞれ有している。具体的には、移動部１３は、移動テーブル２０上に固定的に設けられた前側コンベア１３ａと、移動テーブル２０に対してＹ方向に移動可能に設けられた後側コンベア１３ｂとを有している。移動部１３は、この後側コンベア１３ｂを図示しないモータにより駆動してＹ方向に移動させることにより、コンベア間隔（前側コンベアと後側コンベアとの間のＹ方向の距離）を搬送される実装済み基板１１０の幅に応じて調整することが可能なように構成されている。また、移動部１３は、図示しない保持機構によって実装済み基板１１０を移動部１３上の所定位置に固定的に保持することが可能なように構成されている。

また、移動部１３がＹ方向において搬入部１１と位置が一致した状態で、搬入部１１の前側コンベア１１ａ、後側コンベア１１ｂ、移動部１３の前側コンベア１３ａ、後側コンベア１３ｂが同期して駆動されることにより、実装済み基板１１０が搬入部１１から移動部に搬入されるように構成されている。そして、移動部１３がＹ方向において搬出部１２と位置が一致した状態で、搬出部１２の前側コンベア１２ａ、後側コンベア１２ｂ、移動部１３の前側コンベア１３ａ、後側コンベア１３ｂが同期して駆動されることにより、検査済みの実装済み基板１１０が移動部１３から搬出部１２に搬出されるように構成されている。

また、移動テーブル２０は、移動部１３が載置されたテーブル２１と、基台１上にＹ方向に延びるように固定的に設けられた一対のガイドレール２２と、Ｙ方向に延びるように回転可能に設けられたボールネジ軸２３と、ボールネジ軸２３を軸回りに回転駆動するためのＹ軸モータ２４とを含んでいる。テーブル２１は、基台１上でガイドレール２２に沿って移動可能に設けられるとともに、ボールネジ軸２３と螺合するナット部（図示せず）を有している。これにより、移動テーブル２０は、Ｙ軸モータ２４によりボールネジ軸２３を回転駆動することによってテーブル２１をＹ方向に移動させ、その結果、移動部１３の一対のコンベア（前側コンベア１３ａおよび後側コンベア１３ｂ）に保持された実装済み基板１１０をＹ方向に移動させるように構成されている。

ユニット支持部３０は、移動テーブル２０および移動部１３よりも上方の位置で移動テーブル２０を跨ぐように設けられたＸ方向に延びる梁部３１と、基台１上のＸ方向の両端部において梁部３１の両端部をそれぞれ支持する一対の脚部（図示せず）とからなる門型形状を有している。また、梁部３１上には、Ｙ２方向側で撮像ユニット４０を支持する支持フレーム３２と、Ｘ方向に延びるように設けられた一対のガイドレール３３と、Ｘ方向に延びるように回転可能に設けられたボールネジ軸３４と、ボールネジ軸３４を軸回りに回転駆動するためのＸ軸モータ３５とが設けられている。支持フレーム３２は、ボールネジ軸３４に螺合するとともに、一対のガイドレール３３に沿って移動可能に構成されている。これにより、ユニット支持部３０は、Ｘ軸モータ３５によりボールネジ軸３４を回転駆動して支持フレーム３２をＸ方向に移動させることにより、支持フレーム３２に支持された撮像ユニット４０を移動テーブル２０（移動部１３）の上方でＸ方向に移動させるように構成されている。

また、図２に示すように、撮像ユニット４０は、異なる複数の照射角度で照明光を照射可能な照明部４１と、撮像方向を鉛直下方（矢印Ｚ２方向）に向けられ実装済み基板１１０の上面画像を撮像する撮像部４２とを含んでいる。この撮像ユニット４０がユニット支持部３０によってＸ方向に移動されるとともに、移動部１３上の実装済み基板１１０が移動テーブル２０によってＹ方向に移動されることにより、撮像ユニット４０が実装済み基板１１０上の所定位置で部品（部品１２０、１２１および１２２）の撮像を行うことが可能なように構成されている。

また、照明部４１は、頂部に開口部４１１が形成されたドーム状形状を有し、ドームの内面側に設けられた複数の照明を有している。開口部４１１の上方（矢印Ｚ１方向）には撮像部４２が配置され、撮像部４２がこの開口部４１１を介して実装済み基板１１０の撮像を行うように構成されている。照明部４１の内面側には、開口部４１１の設けられた頂点側（矢印Ｚ１方向側）から順に、上段照明４１２および赤外（Ｉｒ）照明４１５と、中段照明４１３と、下段照明４１４とが、それぞれ上方から見て円形状に複数設けられている。具体的には、上段照明４１２および赤外照明４１５は、照明部４１において最も上方（矢印Ｚ１方向）の位置に、開口部４１１の外周を取り囲むように複数設けられている。なお、図２では赤外照明４１５を最も上方（開口部４１１の外周近傍）に示しているが、実際には複数の上段照明４１２と複数の赤外照明４１５とが開口部４１１の外周を取り囲むように交互に配置されている。また、中段照明４１３は、上段照明４１２および赤外照明４１５よりも下方（矢印Ｚ２方向）の位置であって、下段照明４１４よりも上方（矢印Ｚ１方向）の位置で、上段照明４１２および赤外照明４１５を取り囲むように複数設けられている。そして、下段照明４１４が、中段照明４１３よりも下方（矢印Ｚ２方向）の位置で、中段照明４１３を取り囲むように複数設けられている。

なお、照明部４１がドーム状形状を有するため、上段照明４１２から下方（矢印Ｚ２方向）に向かうにしたがって照明の位置が撮像部４２（開口部４１１）から離間する。このため、上段照明４１２および赤外照明４１５は、撮像対象（実装済み基板１１０上の所定領域）に対して略直上（矢印Ｚ１方向）の位置から照明光を照射するように構成されている。したがって、上段照明４１２および赤外照明４１５の照射方向と撮像部４２の撮像方向とが略同一方向となるように構成されている。また、中段照明４１３は、照明部４１のドーム内面で光を反射させ、撮像対象（実装済み基板１１０上の所定領域）の全体に均一な照明光を照射するように構成されている。そして、下段照明４１４は、撮像対象に対して約３０度の照射角度（仰角）で照明光を照射するように構成されている。これにより、撮像部４２は、同一の撮像対象に対して、異なる角度から照射された照明光を用いて撮像を行うことが可能なように構成されている。これらの上段照明４１２と、中段照明４１３と、下段照明４１４とは、それぞれ白色ＬＥＤから構成され、赤外照明４１５は赤外線ＬＥＤから構成されている。

撮像部４２は、レンズ４２ａが設けられたＣＣＤカメラなどから構成されている。撮像部４２は、実装済み基板１１０（基板搬送コンベア１０）に対して上方（矢印Ｚ１方向）の位置に設けられるとともに、撮像方向が実装済み基板１１０に対して略垂直となるように、鉛直下方（矢印Ｚ２方向）を向けて設けられている。これにより、撮像部４２は、照明部４１から実装済み基板１１０に対して照射された照明光を用いて、実装済み基板１１０の上面の２次元（平面）画像を撮像するように構成されている。この撮像部４２は、赤色（ｒ）成分、緑色（ｇ）成分、青色（ｂ）成分および赤外（Ｉｒ）成分のそれぞれの光の強度を検知する成分別の撮像素子を有しており、撮影によって、白色ＬＥＤからなる上段照明４１２、中段照明４１３および下段照明４１４による照明光の下では赤色（ｒ）成分、緑色（ｇ）成分、青色（ｂ）成分を含むカラー画像が得られ、赤外照明４１５による赤外線照明光の下では赤外（Ｉｒ）画像が得られる。

この際、得られた４枚の撮像画像は、制御装置５０の後述する演算処理部５１により１０枚のグレー画像に変換される。すなわち、図４に示すように、上段照明（Ｈ）４１２、中段照明（Ｍ）４１３、下段照明（Ｌ）４１４を用いてそれぞれ撮像されたカラー画像をＲＧＢ分解して、赤色（ｒ）成分に対応するｒ画像（Ｈｒ、ＭｒおよびＬｒ）と、緑色（ｇ）成分に対応するｇ画像（Ｈｇ、ＭｇおよびＬｇ）と、青色（ｂ）成分に対応するｂ画像（Ｈｂ、ＭｂおよびＬｂ）とが取得される。そして、演算処理部５１は、これらの９枚の撮像画像と赤外照明４１５を用いて撮像された赤外（Ｉｒ）画像とをグレー処理（成分に関らず光の強度（輝度）が同じものは同じ明るさとし、白、灰色、黒からなる無彩色の明度による白黒画像（グレー画像）に変換する処理）して、たとえば２５６階調の輝度値を有する１０枚のグレー画像を得るように構成されている。

図５に示すように、外観検査装置１００は、制御装置５０によって制御されるように構成されている。制御装置５０は、演算処理部５１と、記憶部５２と、モータ制御部５３と、照明制御部５４と、撮像制御部５５とを含んでいる。また、制御装置５０には、タッチパネルなどからなる表示ユニット６０が接続され、ユーザからの操作入力を受け付けるように構成されている。なお、演算処理部５１は、本発明の「制御部」の一例である。

演算処理部５１は、論理演算を実行するＣＰＵ、ＣＰＵを制御するプログラムなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）および装置の動作中に種々のデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成されている。演算処理部５１は、ＲＯＭに記憶されているプログラムに従って、モータ制御部５３、照明制御部５４および撮像制御部５５を介して、外観検査装置１００の各部を制御するように構成されている。これにより、演算処理部５１は、搬入された実装済み基板１１０を撮像ユニット４０により撮像するとともに、撮像画像を用いて実装済み基板１１０に搭載された部品（部品１２０、１２１および１２２）の実装状態の検査を行うように構成されている。

ここで、図６および図７に示すように、撮像画像には、検査対象部位Ｐ（部品の４隅を含み部品外形に関る両端の、Ｃ字状(図２参照)に部品端部を包む電極部分１２０ａや電極部分１２０ａからはみ出す半田など）と検査対象部位Ｐ以外の非検査対象部位Ｑ（部品外形には関わらない部品中央部やプリント基板１３０が写る背景画像領域など）とが含まれる。なお、図７では、図６に示す部品１２０の電極部分１２０ａを検査対象部位Ｐ、部品１２０の保護膜部分（部品中央部）１２０ｂおよび背景部分を非検査対象部位Ｑとした場合の撮像画像（グレー画像）の例を示している。演算処理部５１は、上段照明４１２、中段照明４１３、下段照明４１４および赤外照明４１５による照明光を用いてそれぞれ撮像された１０枚の撮像画像（グレー画像）の内から、後述する抽出光画像（第１撮像画像）および除外光画像（第２撮像画像）の２枚の撮像画像を組み合わせて演算処理（対応する各画素における光の強度（輝度値）の差を求め、新たな検査画像を作り出す処理）を行うことによって、検査対象部位Ｐと非検査対象部位Ｑとのコントラスト（光の強度（輝度値）の差）の大きい検査用画像を生成するように構成されている。そして、演算処理部５１は、このコントラスト（光の強度（輝度値）の差）の大きい検査用画像から所定の閾値を超える（または下回る）部位を検出することによって、検査対象部位Ｐを画像認識して部品（たとえば、部品１２０）検査処理を行うように構成されている。なお、「検査用画像」は、本発明の「検査用の画像」の一例である。また、「抽出光画像」は、本発明の「撮像画像」および「第１撮像画像」の一例である。また、「除外光画像」は、本発明の「撮像画像」および「第２撮像画像」の一例である。

なお、図３に示すように、実装済み基板１１０に搭載される部品（部品１２０、１２１および１２２）は多種多様であり、それぞれの照明を用いて撮像された撮像画像における写り方も部品（部品１２０、１２１および１２２）の形状などにより異なる。このため、画像認識に適した検査用画像を生成することができる２つの撮像画像（抽出光画像および除外光画像）は、検査対象部位Ｐが写る部品の種類（形状）によって異なる。このため、第１実施形態では、演算処理部５１は、実装済み基板１１０の検査処理に先立って、実装済み基板１１０に搭載される部品（部品１２０、１２１および１２２）毎に、検査用画像を生成するための２つの撮像画像（抽出光画像および除外光画像）の組み合わせを決定する処理（組み合わせ決定処理）を行うように構成されている。なお、この組み合わせ決定処理の詳細な内容は、後述する。

記憶部５２は、各種データの記憶および演算処理部５１による読み出しが可能な不揮発性の記憶装置からなる。記憶部５２には、撮像部４２によって撮像された撮像画像データ、実装済み基板１１０に実装される部品（部品１２０、１２１および１２２）の設計上の位置情報（位置および向きなどの）を定めた基板データ、および、実装済み基板１１０に実装される部品（部品１２０、１２１および１２２）の形状を定めた部品形状データベースなどが記憶されている。

モータ制御部５３は、演算処理部５１から出力される制御信号に基づいて、外観検査装置１００の各サーボモータ（移動テーブル２０をＹ方向に移動するためのＹ軸モータ２４、撮像ユニット４０をＸ方向に移動させるためのＸ軸モータ３５、基板搬送コンベア１０の実装済み基板１１０の搬送用のモータ１４など）などの駆動を制御するように構成されている。また、モータ制御部５３は、各サーボモータのエンコーダ（図示せず）からの信号に基づいて、撮像部４２の撮像位置および実装済み基板１１０の位置などを取得するように構成されている。

照明制御部５４は、演算処理部５１から出力される制御信号に基づいて、照明部４１の上段照明４１２、中段照明４１３、下段照明４１４および赤外照明４１５の各々を、所定のタイミングで点灯させるように構成されている。

撮像制御部５５は、演算処理部５１から出力される制御信号に基づいて、撮像部４２から所定のタイミングで撮像信号の読み出しを行うことにより、撮像画像のデータを取得するように構成されている。

表示ユニット６０は、ユーザからの情報入力（操作入力）を受け付け可能なタッチパネルを有し、撮像部４２により撮像された撮像画像の表示を行う表示部としての機能と、表示画面上での入力操作を受け付ける入力部としての機能とを有している。

次に、図３、図４および図６〜図１４を参照して、本発明の第１実施形態の外観検査装置１００による検査用画像を生成するために用いる撮像画像の組み合わせを、部品種毎、さらには搭載位置毎に決定する処理（組み合わせ決定処理）について説明する。上記のように、この組み合わせ決定処理は、実装済み基板１１０の検査処理に先立って行われる。なお、以下に示す組み合わせ決定処理においては、制御装置５０の演算処理部５１が外観検査装置１００の各部を制御することにより行われる。また、以下では、図６に示すように、部品（チップ抵抗）１２０の電極部分１２０ａや、さらに加えて外周の半田はみ出し部（図示せず）を検査対象部位Ｐとして、非検査対象部位（部品１２０の保護膜部分（部品中央部）１２０ｂおよびプリント基板１３０（背景））Ｑとのコントラストの大きい検査用画像を生成するための撮像画像の組み合わせを決定する場合について説明する。

上記のように、検査用画像を生成するために用いる撮像画像の組み合わせは、検査対象となる部品（部品１２０、１２１および１２２）の種類（形状など）や搭載位置によって異なる。このため、図８に示すように、ステップＳ１では、まず、実際に実装済み基板１１０に搭載される部品（部品１２０、１２１および１２２）が搭載されたサンプル基板（図３に示す実装済み基板１１０と同様のもの）を用いて、撮像が行われる。具体的には、サンプル基板に対し撮像ユニット４０を所定の撮像位置に相対配置し、３角度の照明（上段照明４１２、中段照明４１３、下段照明４１４）および赤外照明４１５による照明光をそれぞれ用いて、合計４回の撮像がサンプル基板の上方に配置された撮像部４２により行われる。これにより、図３の領域Ａ１（破線参照）で示すように、撮像画像中に部品１２０、小型の部品１２１および大型の部品１２２が写る撮像画像が取得される。

この際、演算処理部５１は、図４に示すように、上段照明（Ｈ）４１２、中段照明（Ｍ）４１３、下段照明（Ｌ）４１４を用いてそれぞれ撮像されたカラー画像をＲＧＢ分解して、赤色（ｒ）成分に対応するｒ画像（Ｈｒ、ＭｒおよびＬｒ）と、緑色（ｇ）成分に対応するｇ画像（Ｈｇ、ＭｇおよびＬｇ）と、青色（ｂ）成分に対応するｂ画像（Ｈｂ、ＭｂおよびＬｂ）とを取得する。そして、演算処理部５１は、これらの９枚の撮像画像（色成分画像）と赤外照明４１５を用いて撮像された赤外（Ｉｒ）画像とをグレー処理して、２５６階調の輝度値（光の強度）を有する１０枚（Ｈｒ、Ｈｇ、Ｈｂ、Ｍｒ、Ｍｇ、Ｍｂ、Ｌｒ、Ｌｇ、ＬｂおよびＩｒ）のグレー画像を得る。この撮像画像から、組み合わせ決定処理を行う部品１２０の写る画像領域が切り出され、図７に示すように濃淡で示された部品１２０の撮像画像（グレー画像）が得られる。演算処理部５１は、この１０枚の撮像画像（グレー画像）の中から、検査用画像を生成するための、２枚の撮像画像の組み合わせを選択する。

次に、ステップＳ２において、得られた１０枚の撮像画像の内から任意の撮像画像を表示ユニット６０に表示するとともに、撮像画像上でユーザによる検査対象部位Ｐの教示（位置情報入力）が受け付けられる。表示ユニット６０の表示画面上でユーザが部品１２０の電極部分１２０ａを指定して表示ユニット６０のタッチパネルから入力することにより、図７の丸（ドット）で示す検査対象部位Ｐ（電極部分１２０ａ）の位置情報が入力される。この検査対象部位Ｐの教示は、たとえば１００箇所分（Ｐ１〜Ｐ１００）だけ行われ、撮像画像の組み合わせを選択するための検査対象部位Ｐのサンプルとなる。なお、１０枚の撮像画像は同一の撮像対象を同じ位置で撮像しているため、各撮像画像においてユーザにより指定される位置（検査対象部位Ｐの位置）は、部品１２０の同一位置を示す。なお、図３の領域Ａ１（破線参照）で示すように、同一の部品１２０が撮像画像中に複数存在する。この場合、部品１２０の検査対象部位Ｐ（電極部分１２０ａやさらに加えて外周の半田はみ出し部（図示せず））の教示（位置情報入力）は一つの部品１２０に対してのみ行い、他の位置の部品１２０に対しては、演算処理部５１により位置および向きの差に応じた座標変換演算により算出される。

次に、図８に示すように、ステップＳ３では、表示ユニット６０により、ユーザによる非検査対象部位Ｑの教示（位置情報入力）が受け付けられる。ステップＳ２と同様に、表示ユニット６０の表示画面上でユーザが電極部分１２０ａ以外の部分（部品１２０の保護膜部分（部品中央部）１２０ｂおよびプリント基板１３０（背景））を指定して表示ユニット６０のタッチパネルから入力することにより、図７のバツで示す非検査対象部位Ｑの位置情報が入力される。この非検査対象部位Ｑの教示も、ステップＳ２と同様に、たとえば１００箇所分（Ｑ１〜Ｑ１００）だけ行われ、撮像画像の組み合わせを選択するための非検査対象部位Ｑのサンプルとなる。なお、他の位置における部品１２０の非検査対象部位Ｑの位置情報は、演算処理部５１により、教示対称の部品１２０に対する位置および向きの差に応じた座標変換演算により算出される。

ステップＳ４では、上記ステップＳ２およびＳ３で教示された各位置（サンプルの位置）における、１０枚の各撮像画像の輝度値（光の強度）が取得される。上記のように１０枚の撮像画像は同一の撮像対象を同じ位置で撮像しているため、サンプルの位置における各撮像画像の輝度値の差異は、部品１２０のサンプル位置における照明光の照射角度や色成分の差異による写り具合の差異を反映したものとなる。これにより、図９に示すように、たとえば１０枚の撮像画像中の検査対象部位Ｐの位置Ｐ１（ｘ１，ｙ１）（図７参照）における輝度値（Ｈｒ，Ｈｇ，Ｈｂ，Ｍｒ，Ｍｇ，Ｍｂ，Ｌｒ，Ｌｇ，Ｌｂ）＝（２１０，１２９，１９０，２４５，１１８，１３１，１１０，６９，１２２，１９９）が得られる。同様に、検査対象部位Ｐの位置Ｐ２（ｘ２，ｙ２）〜Ｐ１００（図示せず）までの１００箇所の各撮像画像における輝度値が取得されるとともに、非検査対象部位Ｑ１（ｘ１０１，ｙ１０１）〜Ｑ１００（図示せず）までの１００箇所の各撮像画像における輝度値が取得される。

ステップＳ５では、１０枚の撮像画像の内から、２枚の撮像画像を一方を抽出光画像（第１撮像画像）、他方を除外光画像（第２撮像画像）として抽出して、抽出光画像の輝度値をＹ軸に取るとともに除外光画像の輝度値をＸ軸に取ったＸＹ空間上に、各１００箇所のサンプル位置（検査対象部位Ｐの位置Ｐ１〜Ｐ１００および非検査対象部位Ｑの位置Ｑ１〜Ｑ１００）のデータを展開する。たとえば、図１０に示すように、抽出光画像として下段照明４１４の赤色画像（Ｌｒ）、除外光画像として中段照明４１３の緑色画像（Ｍｇ）を抽出し、各１００箇所のサンプル位置をプロットする。すなわち、図９に示すように、検査対象部位Ｐの位置Ｐ１の場合、Ｌｒ＝１１０、Ｍｇ＝１１８であるため、図１０のＸＹ空間の点（１１８，１１０）にＰ１がプロットされる。同様に、非検査対象部位Ｑの点Ｑ１の場合、Ｌｒ＝１４３、Ｍｇ＝６８であるため、図１０のＸＹ空間の点（６８，１４３）にＱ１がプロットされる。このようにして、検査対象部位Ｐの位置Ｐ１〜Ｐ１００の抽出光画像および除外光画像における輝度値（光の強度）の集合Ｐｓと、非検査対象部位Ｑの位置Ｑ１〜Ｑ１００との抽出光画像および除外光画像における輝度値（光の強度）の集合Ｑｓとが、ＸＹ空間上に配置される。なお、図９の表における各輝度値は、便宜的に付したランダムな値であり、点Ｐ１およびＱ１を除き、図１０のＸＹ空間上の各点の位置座標と対応していない。

ステップＳ６では、演算処理部５１により、ＸＹ空間上に配置された検査対象部位Ｐの集合Ｐｓ（Ｐ１〜Ｐ１００の集合）と、非検査対象部位Ｑの集合Ｑｓ（Ｑ１〜Ｑ１００の集合）とを分断する直線（Ｇ（ｘ）＝ａｘ＋ｂ）が決定される。この直線Ｇ（ｘ）は、サポートベクターマシン（ＳＶＭ）理論を用いることにより、２群に分けられたサンプル集合から、各群に属するサンプルからの距離（マージン）を最大化するように決定される。すなわち、図１１および図１２に示すように、ＸＹ平面上に配置された検査対象部位Ｐの集合Ｐｓ（Ｐ１〜Ｐ１００の集合）と、非検査対象部位Ｑの集合Ｑｓ（Ｑ１〜Ｑ１００の集合）との２群に分けられた各１００点のサンプルからのそれぞれの距離（マージンＷ）が最大化されるようなライン（直線Ｇ（ｘ）＝ａｘ＋ｂ）が、ＸＹ平面上に引かれる。

なお、図１３に示すように、実際の撮像画像では、たとえば部品１２０に付されたマークや文字、および画像中のノイズなどに起因して、検査対象部位Ｐ（または非検査対象部位Ｑ）に輝度値が周囲とは顕著に乖離した値（外れ値）を有する輝点または暗点（図１３の白抜きの丸（ドット）参照）が混じる場合がある。このような外れ値を有する点Ｐｄ（ｒ，ｓ）がサンプル位置として入力されると、適切なライン（直線Ｇ（ｘ））を引くことができずにマージンＷが不必要に小さくなる場合がある。つまり、外れ値を考慮しない場合のマージンＷ１と比べて、外れ値を有する点を考慮する場合にはマージンＷ２が著しく小さくなり、ラインの位置もずれてしまう。このため、集合Ｐｓおよび集合Ｑｓを分けるライン（直線Ｇ（ｘ））を引く場合には、両集合を完全に分離するのではなく、それぞれ異なる集合に属する点（外れ値）の混入を許容してライン（直線Ｇ（ｘ））を引くとともに、この外れ値を有する点Ｐｄ（ｒ，ｓ）については計算から除外する。

次に、図８に示すように、ステップＳ７において、演算処理部５１により、検査対象部位Ｐの集合Ｐｓ（Ｐ１〜Ｐ１００の集合）と、非検査対象部位Ｑの集合Ｑｓ（Ｑ１〜Ｑ１００の集合）とをそれぞれ母集団として、これらの母集団の直線Ｇ（ｘ）からの離れ具合と母集団に属する各点のばらつきとを評価する評価基準が算出される。この評価基準は、下式（１）に示すように、集合Ｐｓ（Ｐ１〜Ｐ１００）および集合Ｑｓ（Ｑ１〜Ｑ１００）に属する各点の直線Ｇ（ｘ）からの距離の平均値である距離μ_ｘ１およびμ_ｘ２と、直線Ｇ（ｘ）からの距離の分散σ_ｘ１およびσ_ｘ２と、外れ値として除外した点（たとえば、図１３の点Ｐｄ（ｒ，ｓ））の個数Ｎｕｍ（ξ）（ξ＞０）とに基づく。

なお、上記式（１）の各項におけるｋ_１、ｋ_２およびｋ_３の値は、評価基準においてどの要素を重視するかを考慮した重み係数である。

具体的には、上記式（１）の第１項において、選択された抽出光画像および除外光画像における検査対象部位Ｐと非検査対象部位Ｑとの輝度値（光の強度）の差を評価している。図１１および図１２に示すように、集合Ｐｓの輝度値の平均値の直線Ｇ（ｘ）からの距離の大きさμ_ｘ１、および、集合Ｑｓの輝度値の平均値の直線Ｇ（ｘ）からの距離の大きさμ_ｘ２との合計が、選択された抽出光画像および除外光画像における検査対象部位の輝度値と非検査対象部位の輝度値との差に対応する。したがって、このμ_ｘ１＋μ_ｘ２が大きい程、選択された抽出光画像および除外光画像を用いて生成される検査用画像の検査対象部位の輝度値（光の強度）と非検査対象部位の輝度値（光の強度）との差（コントラスト）が大きくなる。このため、検査用画像に用いる撮像画像の組み合わせとしては、集合Ｐｓの輝度値の平均値の直線Ｇ（ｘ）からの距離の大きさμ_ｘ１、および、集合Ｑｓの輝度値の平均値の直線Ｇ（ｘ）からの距離の大きさμ_ｘ２との合計が大きいものが好ましい。つまり、上記式（１）の第１項の１／（μ_ｘ１＋μ_ｘ２）が小さいものが望ましい。

また、上記式（１）の第２項では、検査対象部位Ｐと非検査対象部位Ｑとのそれぞれの輝度値（光の強度）のばらつきを評価している。図１１および図１２に示すように、検査対象部位Ｐの集合Ｐｓに属する各点（Ｐ１〜Ｐ１００）から直線Ｇ（ｘ）までの距離のばらつき（分散σ_ｘ１）と、非検査対象部位Ｑの集合Ｑｓに属する各点（Ｑ１〜Ｑ１００）から直線Ｇ（ｘ）までの距離のばらつき（分散σ_ｘ２）とが大きい場合には、選択された抽出光画像および除外光画像を用いて生成される検査用画像の検査対象部位Ｐ内部の輝度値（光の強度）のばらつきと、非検査対象部位Ｑ内部の輝度値（光の強度）のばらつきとが大きくなる。つまり、生成される検査用画像において、検査対象部位Ｐおよび非検査対象部位Ｑの内部に輝度ムラが生じる。このため、検査用画像に用いる撮像画像の組み合わせとしては、検査対象部位Ｐの集合Ｐｓに属する各点と、非検査対象部位Ｑの集合Ｑｓに属する各点との直線Ｇ（ｘ）までの距離のばらつき（分散σ_ｘ１およびσ_ｘ２）がそれぞれ小さいものが望ましい。

さらに、上記式（１）の第３項では、上記ステップＳ６において外れ値として除外した点の個数に基づいて、検査対象部位Ｐの集合Ｐｓと非検査対象部位Ｑの集合Ｑｓとがライン（直線Ｇ（ｘ））によってより完全に分離されているか否かを評価している。すなわち、外れ値として除外した点の個数Ｎｕｍ（ξ）（ξ＞０）が大きい場合には、検査対象部位Ｐの集合Ｐｓと非検査対象部位Ｑの集合Ｑｓとがライン（直線Ｇ（ｘ））によって完全に分離されていない（異なる集合に属する点（外れ値）の混入が多い）ことになる。このため、検査用画像に用いる撮像画像の組み合わせとしては、外れ値として除外した点の個数Ｎｕｍ（ξ）（ξ＞０）が小さいほうが望ましい。これにより、輝度値のばらつきの顕著に大きい点（外れ値）を除外することによって評価結果の信頼性が低下するのを抑制する一方で、上記式（１）に除外した点の個数Ｎｕｍ（ξ）を加算することによって、ライン（直線Ｇ（ｘ））によってより完全に分離されている抽出光画像および除外光画像の組み合わせを評価することができる。なお、この第３項は、輝度値のばらつきの顕著に大きい点（外れ値）の個数に基づくものであるので、第２項と同様に、検査対象部位と非検査対象部位とのそれぞれの輝度値（光の強度）のばらつきを評価しているともいえる。

第１実施形態では、得られた１０枚の撮像画像の中から、図８の組み合わせ決定フローにより、上記式（１）に示す評価基準の値Ｓが最も小さい値となる抽出光画像および除外光画像を最良の撮像画像の組み合わせとして決定する。この結果、決定された抽出光画像および除外光画像によって得られる検査用画像は、検査対象部位Ｐの輝度値（光の強度）と非検査対象部位Ｑの輝度値（光の強度）との差（コントラスト）が大きいこと、検査対象部位Ｐと非検査対象部位Ｑとのそれぞれの輝度値（光の強度）のばらつきが小さいこと、および、ライン（直線Ｇ（ｘ））によってより完全に分離されていること、という評価基準において、得られた１０枚の撮像画像の中で最も望ましい組み合わせにより生成される検査用画像となる。

上記式（１）に示す評価基準の値Ｓが最も小さい値となる抽出光画像および除外光画像の組み合わせを得るべく、図８のステップＳ８では、演算処理部５１により、得られた評価基準値ＳがＲＡＭに記憶された抽出光画像および除外光画像の組み合わせにおける評価基準値Ｓよりも小さいか否かが判断される。最初に評価基準値Ｓが算出された場合、および、前回ＲＡＭに記憶された抽出光画像および除外光画像の組み合わせにおける評価基準値ＳよりもステップＳ７で得られる(今回の)評価基準値Ｓが小さい場合には、ステップＳ９に進み、（現時点で）最良の抽出光画像および除外光画像の組み合わせとして、組み合わせおよび評価基準値Ｓが演算処理部５１のＲＡＭに記憶される。一方、前回の抽出光画像および除外光画像の組み合わせにおける評価基準値ＳよりもステップＳ７で得られる(今回の)評価基準値Ｓが大きい場合には、今回の組み合わせは記憶されずに、ステップＳ１０に進む。

ステップＳ１０では、演算処理部５１により、１０枚の撮像画像から組み合わせ可能な全ての組み合わせについて、評価基準値Ｓに基づく評価が行われたか否かが判断される。未評価の組み合わせが存在する場合には、ステップＳ５に戻り、それらの撮像画像を抽出光画像および除外光画像として、評価基準値Ｓの算出と、前回ＲＡＭに記憶された組み合わせの評価基準値Ｓとの比較とが行われる。そして、全ての組み合わせについて評価が完了すると、最後にＲＡＭに記憶されている抽出光画像および除外光画像の組み合わせおよび最も小さい評価基準値Ｓ（ｍｉｎ Ｓ）が、部品１２０の検査に用いる検査用画像を得るための組み合わせとして記憶される。以上により、図６に示した部品１２０（チップ抵抗）の組み合わせ決定処理が完了する。

このように、ステップＳ５〜ステップＳ１０を撮像画像の全ての組み合わせについて繰り返し行うことにより、得られた１０枚の撮像画像の中から、上記式（１）に示す評価基準の値Ｓが最も小さい値となる抽出光画像および除外光画像が、最良の撮像画像の組み合わせとして決定される。その後、図３の領域Ａ１内の別の位置に搭載されている同一の部品１２０について、ステップＳ２からステップＳ１０までの処理が行われる。ステップＳ２およびＳ３においては、座標変換演算により検査対象部位Ｐの位置情報および非検査対象部位Ｑの位置情報の各算出が実施されるとともに、ステップＳ５〜ステップＳ１０を撮像画像の全ての組み合わせについて繰り返し行うことにより、得られた１０枚の撮像画像の中から、上記式（１）に示す評価基準の値Ｓが最も小さい値となる抽出光画像および除外光画像が、別の位置に搭載されている同一の部品１２０についての最良の撮像画像の組み合わせとして決定される。さらに、他の部品（たとえば、小型の部品１２１）について同様の処理が行われ、さらに、図３の領域Ａ２〜Ａ４についても、同様の処理（この中でも領域Ａ１の部品に対する教示による検査対象部位Ｐの位置情報、および、教示による非検査対象部位Ｑの位置情報を利用した各位置情報を演算による算出が実施される）が行われ、実装済み基板１１０に搭載される全ての部品についての撮像画像の組み合わせが決定される。

以上のように、実際の検査処理においては、サンプル基板に対する撮像ユニット４０の相対配置の位置毎の撮像画像の組み合わせを、組み合わせ決定処理によって予め決定し、この予め決定された撮像画像の組み合わせを用いて画像演算が行われ、搭載位置毎および部品ごとにそれぞれの組み合わせで検査用画像が生成される。第１実施形態では、この画像演算は、検査用画像＝抽出光画像−ａ×除外光画像とする。ここで、「ａ」は、検査対象部位Ｐの集合Ｐｓと、非検査対象部位Ｑの集合Ｑｓとを分離したライン（直線Ｇ（ｘ）＝ａｘ＋ｂ）の傾きである。この画像演算の結果、図１４に示すような検査用画像１５０が得られる。この検査用画像１５０では、濃淡（輝度のばらつき）が一様で、かつ、検査対象部位Ｐと非検査対象部位Ｑとのコントラストが明確な画像が得られている。これにより、画像認識を行う際に検査対象部位Ｐを正確に認識することができる。なお、検査用画像１５０は、本発明の「検査用の画像」の一例である。

次に、図１〜図４、図７、および図１４〜図１６を参照して、本発明の第１実施形態の外観検査装置１００による実装済み基板１１０の検査処理について説明する。なお、以下に示す実装済み基板１１０の検査処理においては、制御装置５０の演算処理部５１が外観検査装置１００の各部を制御することにより行われる。

まず、図１５のステップＳ２１において、図１に示すように、検査対象の実装済み基板１１０（図３参照）が基板搬送コンベア１０の搬入部１１から搬入され、移動テーブル２０上に設けられた移動部１３上まで搬送される。そして、ステップＳ２２で移動部１３の図示しない保持機構によって実装済み基板１１０が移動部１３上の所定位置で固定（保持）される。

次に、ステップＳ２３において、記憶部５２の基板データに基づいて、撮像ユニット４０がユニット支持部３０によってＸ方向に移動されるとともに、実装済み基板１１０（移動部１３）が移動テーブル２０によってＹ方向に移動され、撮像部４２によって実装済み基板１１０の所定位置に付された基板フィデューシャルマーク（図示せず）が撮像される。撮像された基板フィデューシャルマークの画像認識が演算処理部５１により行われることによって、実装済み基板１１０の位置（傾き）補正が行われる。これにより、外観検査装置１００の位置座標と実装済み基板１１０（実装済み基板１１０の基板データ）上の位置とが対応付けられ、検査処理を行う準備が完了する。

ステップＳ２４では、撮像ユニット４０がユニット支持部３０によってＸ方向に移動されるとともに、実装済み基板１１０（移動部１３）が移動テーブル２０によってＹ方向に移動され、実装済み基板１１０上の所定の検査箇所（撮像位置）へ撮像部４２が配置される。たとえば、図３に示すように、実装済み基板１１０を撮像部４２の視野（撮像範囲）の大きさに応じた領域Ａ１〜Ａ４（検査箇所）に分割して、最初に撮像を行う検査箇所（たとえば、Ａ１）に撮像部４２が移動される。

ステップＳ２５では、検査箇所（Ａ１）の上方において、図２に示すように、照明部４１の上段照明４１２、中段照明４１３、下段照明４１４および赤外照明４１５のうちのいずれかの照明（たとえば、上段照明４１２）が点灯される。そして、ステップＳ２６において、点灯された照明（上段照明４１２）からの照明光を用いて、撮像部４２により撮像が行われる。これにより、検査箇所Ａ１を撮像した撮像画像が取得される。また、上段照明４１２、中段照明４１３および下段照明４１４を用いた場合には、カラー画像が撮像され、赤外照明４１５を用いた場合には、赤外（Ｉｒ）画像が撮像される。

次に、ステップＳ２７において、演算処理部５１により、全ての照明を用いて撮像画像の撮像が行われたか否かが判断される。撮像を行っていない照明が存在する場合には、ステップＳ２５に戻り、次の照明（たとえば、中段照明４１３）を用いて検査箇所Ａ１の撮像（ステップＳ２６）が行われる。このステップＳ２５〜Ｓ２７を繰り返すことにより、上段照明４１２、中段照明４１３、下段照明４１４および赤外照明４１５のそれぞれを用いて、合計４枚の撮像画像（カラー画像３枚および赤外（Ｉｒ）画像１枚）が１つの検査箇所Ａ１について取得される。各照明を用いた撮像が完了すると、ステップＳ２８に進む。

ステップＳ２８では、上段照明４１２、中段照明４１３および下段照明４１４を用いて得られたカラー画像について、演算処理部５１により、ＲＧＢ分解が行われ、各３枚の色成分画像（ｒ画像、ｇ画像およびｂ画像）が取得される。さらに、演算処理部５１により、各３枚の色成分画像と赤外（Ｉｒ）画像とを含む１０枚の画像（図４参照）にグレー化処理が行われ、検査箇所Ａ１についての合計１０枚の撮像画像（グレー画像）が得られる。

次に、ステップＳ２９において、演算処理部５１により、検査領域の絞込みが行われる。すなわち、図７に示した部品１２０の画像と同様に、検査箇所Ａ１の撮像画像に写る複数の部品（部品１２０、１２１および１２２）の内から、検査対象となる部品１２０の写る画像領域が切り出される。

そして、ステップＳ３０において、演算処理部５１により、上記組み合わせ決定処理によって予め決定された撮像画像の組み合わせを用いて画像演算（検査用画像＝抽出光画像−ａ×除外光画像）が行われ、図１４に示す部品１２０の検査用画像（グレー画像）１５０と同様の検査用画像が生成される。

ステップＳ３１では、生成された検査用画像に基づいて、検査対象となる部品１２０の検査処理が行われる。

ここで、図１４、図１５および図１６を参照して、検査用画像を用いた検査対象の部品１２０の検査処理について説明する。ここでは、検査処理の一例として、検査対象の部品１２０の欠品および位置ズレの検査を行う場合について説明する。

まず、図１６のステップＳ４１において、所定の閾値に基づいて検査対象部位Ｐの抽出が行われる。このとき、図１４に示すように、グレー画像からなる検査用画像１５０では、ハッチングで示した輝度値（濃度値）の低い非検査対象部位Ｑと、輝度値（濃度値）の高い検査対象部位Ｐとのコントラスト（輝度値の差）が強いため、閾値に基づいて検査対象部位Ｐのみを抽出することが可能である。

次に、ステップＳ４２において、演算処理部５１により、検査用画像から抽出された検査対象部位Ｐの面積が計算される。そして、ステップＳ４３において、得られた検査対象部位Ｐの面積の値が、記憶部５２の部品データに基づく所定の範囲内であるか否かが判定される（欠品検査）。このとき、検査対象部位Ｐの面積が所定の範囲に収まらない（たとえば、面積が顕著に小さい）場合には、部品１２０が存在していないため、ステップＳ４７に移行して検査ＮＧ（欠品）と判定される。一方、検査対象部位Ｐの面積が所定の範囲内に収まる場合には、部品１２０の存在が確認されることにより、欠品検査に合格してステップＳ４４に進む。

ステップＳ４４では、演算処理部５１により、検査用画像から抽出された検査対象部位Ｐの重心位置（ＸＹ方向の重心位置、すなわち部品１２０の図心、中心）が計算される。そして、ステップＳ４５において、検査対象部位Ｐの重心位置（部品１２０の中心）と、記憶部５２の基板データに基づく適正位置とのズレが計算され、所定の許容ズレ範囲内にあるか否かが判定される（位置ズレ検査）。このとき、検査対象部位Ｐの重心位置ずれが許容範囲に収まらない場合には、半田付け不良や接続不良となるため、ステップＳ４７に移行して検査ＮＧ（位置不良）と判定される。一方、検査対象部位Ｐの重心位置ずれが許容範囲内に収まる場合には、位置ずれ検査に合格してステップＳ４６に進み、欠品検査および位置ズレ検査の両検査に合格した（検査ＯＫ）と判定される。以上により、ステップＳ４６で検査ＯＫと判定されるか、またはステップＳ４７で検査ＮＧと判定されると、その検査対象の部品１２０に対する検査処理（欠品および位置ズレ検査）が終了し、図１５のステップＳ３２以降の処理に進む。なお、検査ＮＧと判定された場合、実装済み基板１１０の所定位置にバッドマークが付与されるとともに、基板識別コードとともに検査結果データが記憶部５２に記録され、補修時にデータ呼び出しが可能とされる。

図１５に示すように、ステップＳ３２では、演算処理部５１により、撮像画像内（検査箇所Ａ１内）の全ての部品（部品１２０、１２１および１２２）について検査処理が完了したか否かが判定される。未検査の部品が存在する場合には、ステップＳ２９に戻り、次の検査対象の部品（たとえば、小型の部品１２１）の検査処理を行うために、検査領域の絞込みが行われる。これにより、検査箇所Ａ１の撮像画像に写る複数の部品（部品１２０、１２１および１２２）の内から、次に検査対象となる部品１２１の写る画像領域が切り出される。その後、ステップＳ３０で上記組み合わせ決定処理によって予め決定された撮像画像の組み合わせを用いて画像演算が行われ、部品１２１の検査用画像（グレー画像）が生成されるとともに、ステップＳ３１で部品１２１の検査処理が行われる。このように、ステップＳ２９〜Ｓ３２が繰り返されることにより、検査箇所Ａ１の撮像画像に写る全ての部品（部品１２０、１２１および１２２）について検査処理が完了すると、ステップＳ３３に進む。

ステップＳ３３では、演算処理部５１により、実装済み基板１１０の全ての検査箇所Ａ１〜Ａ４について、検査処理が完了したか否かが判断される。検査箇所Ａ１〜Ａ４の内、未検査の検査箇所が存在する場合には、ステップＳ２４に戻る。そして、ステップＳ２４〜Ｓ３２によって、次の検査箇所（たとえば、Ａ２）の撮像が行われ、撮像画像内に写る各部品毎に検査処理が行われる。実装済み基板１１０の全ての検査箇所Ａ１〜Ａ４について、検査処理が完了した場合には、その実装済み基板１１０についての検査が終了する。以降は、検査が完了した実装済み基板１１０の搬出動作が行われる。

ステップＳ３４において、ステップＳ２２で行われた実装済み基板１１０の固定が解除される。そして、ステップＳ３５において、図１に示すように、実装済み基板１１０（移動部１３）が矢印Ｙ２方向に移動されて、各前側コンベア１１ａ、１２ａおよび１３ａがＸ方向に並び、各後側コンベア１１ｂ、１２ｂおよび１３ｂがＸ方向に並ぶ位置に配置される。さらに、移動テーブル２０に設けられたモータ１４によってそれぞれの搬送ベルトが駆動されることにより、実装済み基板１１０が矢印Ｘ１方向（下流側）に搬送され、搬出部１２から搬出される。以上により、外観検査装置１００による実装済み基板１１０の検査処理が終了する。なお、図１５のフローチャートは、一枚の実装済み基板１１０についての検査処理の流れを示しているが、外観検査装置１００による実装済み基板１１０の検査処理は、たとえば１００枚、５００枚、１０００枚等のロット単位で実施されるので、ロットの全ての実装済み基板１１０に対する検査処理が終了するまで、検査処理が順次実施される。

第１実施形態では、上記のように、演算処理部５１により、複数の照射角度の上段照明４１２、中段照明４１３、下段照明４１４および赤外照明４１５による照明光を用いてそれぞれ撮像された複数の撮像画像（Ｈｒ、Ｈｇ、Ｈｂ、Ｍｒ、Ｍｇ、Ｍｂ、Ｌｒ、Ｌｇ、ＬｂおよびＩｒ）中の検査対象部位Ｐにおける光の強度（輝度値）と、複数の撮像画像中の非検査対象部位Ｑにおける光の強度（輝度値）とに基づいて、検査用画像に用いる撮像画像を決定することによって、複数の撮像画像の内から検査用画像に用いる撮像画像を、撮像画像中に写る検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値とに基づいて自動で、かつ、一定の基準で適切に決定することができる。また、複数の撮像画像中の検査対象部位Ｐにおける輝度値と、複数の撮像画像中の非検査対象部位Ｑにおける輝度値とに基づいて検査用画像に用いる撮像画像を決定することにより、複数の撮像画像中から、画像認識に適した（検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強い（光の強度の差が大きい））検査用画像を得ることができる。これにより、ユーザが経験的に行っていた検査用画像に用いる撮像画像を決定するための作業を演算処理部５１によって自動で、かつ、一定の基準で適切に行うことができるので、画像認識に適した検査用画像に用いる撮像画像を決定するための作業の簡素化および決定基準の標準化（均一化）を行うことができる。

また、第１実施形態では、上記のように、演算処理部５１により、合計１０枚の撮像画像の内で、検査対象部位の集合Ｐｓ（Ｐ１〜Ｐ１００）の輝度値（光の強度）と非検査対象部位の集合Ｑｓ（Ｑ１〜Ｑ１００）の輝度値（光の強度）との輝度値の差（上記式（１）の第１項）に基づいて、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が大きい第１撮像画像を抽出光画像とし、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が小さい第２撮像画像を除外光画像とする組み合わせを求め、第１撮像画像（抽出光画像）の各画素における輝度値から第２撮像画像（除外光画像）の対応する各画素における輝度値の差を求め（引き算処理。この差が負値となる場合、負値は物理的に意味を持たないので、この場合は差を改めて０とする）、得られた値を各画素における輝度値とする新たな画像（検査用画像）とするように構成した。これにより、１０枚の撮像画像の内から検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が大きい第１撮像画像（抽出光画像）と、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が小さい第２撮像画像（除外光画像）との組み合わせを決定する（求める）ことによって、決定した第１撮像画像（抽出光画像）と第２撮像画像（除外光画像）とを用いて引き算処理することにより、検査用画像を得ることができる。これにより、検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強く（輝度値の差が大きく）、画像認識に適した検査用画像を得ることができる。

すなわち、検査対象部位Ｐの輝度値は第１撮像画像において大きく、第２撮像画像において小さなものとなり、非検査対象部位Ｑの輝度値は第１撮像画像において小さく、第２撮像画像において大きなものとなるので、図１０に示す座標系（ＸＹ空間）において、検査対象部位Ｐと非検査対象部位Ｑとの各座標は図１１に示すように、互いに離間したものとなる。すなわち、μ_ｘ１＋μ_ｘ２は大きくなり、式（１）における評価基準値Ｓは小さな値となる。式（１）が小さくなる抽出光画像と除外光画像との組み合わせを求めることは、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が大きい第１撮像画像と、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差が小さい第２撮像画像との組み合わせを求めることと同じことになる。この結果、検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強く（輝度値の差が大きく）、画像認識に適した検査用画像を得ることができる。

また、第１実施形態では、上記のように、演算処理部５１により、合計１０枚の撮像画像の内で、検査対象部位Ｐ（Ｐ１〜Ｐ１００）と非検査対象部位Ｑ（Ｑ１〜Ｑ１００）のそれぞれの輝度値（光の強度）のばらつき（上記式（１）の第２項）と、外れ値の個数（上記式（１）の第３項）とに基づいて、検査用画像に用いる撮像画像（抽出光画像および除外光画像）を決定することによって、検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との輝度値の差に加えて、検査対象部位Ｐおよび非検査対象部位Ｑのそれぞれにおける輝度値のばらつきにも基づいて、検査用画像に用いる撮像画像（組み合わせ）を決定することができる。すなわち、輝度値の差が同一であっても、検査用画像において、検査対象部位Ｐ内での輝度値のばらつきや、非検査対象部位Ｑ内での輝度値のばらつきが大きい場合には、検査対象部位Ｐと非検査対象部位Ｑとの境界（輪郭）が不鮮明となって画像認識には適さない画像となるので、輝度値のばらつきに基づき検査用画像に用いる撮像画像を決定することによって、より画像認識に適した検査用画像を得ることができる。

また、第１実施形態では、上記のように、演算処理部５１により、１０枚の撮像画像中の検査対象部位Ｐにおける輝度値と、１０枚の撮像画像中の非検査対象部位Ｑにおける輝度値とに基づいて、検査用画像を生成するための２枚の撮像画像（抽出光画像および除外光画像）の組み合わせを決定することによって、１０枚の撮像画像中の検査対象部位Ｐにおける輝度値と、非検査対象部位Ｑにおける輝度値とに基づいて、画像認識に適した（検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強い（輝度値の差が大きい））検査用画像を生成することが可能な撮像画像の組み合わせを決定することができる。この結果、決定した２枚の撮像画像（抽出光画像および除外光画像）を組み合わせて演算処理（新たな検査画像を作り出すため、抽出光画像および除外光画像の対応する各画素における光の強度（輝度値）の差を求める引き算処理）を行うことにより、検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強く（輝度値の差が大きく）、より画像認識に適した検査用画像を得ることができる。

また、第１実施形態では、上記のように、演算処理部５１により、１０枚の撮像画像から組み合わせ可能な全ての撮像画像の組み合わせ（抽出光画像および除外光画像の組み合わせ）を抽出するとともに、抽出した全ての組み合わせの中から撮像画像の組み合わせを決定することによって、１０枚の撮像画像を組み合わせて生成することが可能な全ての演算画像の中から、より画像認識に適した検査用画像を生成することが可能な複数の撮像画像の組み合わせ（抽出光画像および除外光画像の組み合わせ）を決定することができる。

また、第１実施形態では、上記のように、演算処理部５１により、撮像された撮像画像（カラー画像）からＲＧＢ分解して抽出した各３枚の色成分画像（ｒ画像、ｇ画像およびｂ画像）を生成して、それぞれの色成分画像を撮像画像として用いて、検査用画像に用いる撮像画像の組み合わせを決定する。このように撮像されたカラー画像からＲ（赤色）、Ｇ（緑色）およびＢ（青色）成分を抽出した各３枚の色成分画像を生成することによって、検査対象部位Ｐ（非検査対象部位Ｑ）の実際の色味（部品の色）によってそれぞれの色成分画像における写り方（輝度値）は異なるから、１枚のカラー画像から検査対象部位Ｐ（非検査対象部位Ｑ）の写り方（輝度値）の異なる３枚の色成分画像を得ることができる。この結果、少ない撮像回数で検査用画像に用いる撮像画像の候補（抽出光画像または除外光画像の候補）をより多く得ることができる。

また、第１実施形態では、上記のように、演算処理部５１により、各撮像画像における検査対象部位Ｐおよび非検査対象部位Ｑのそれぞれの位置データＰ１〜Ｐ１００およびＱ１〜Ｑ１００を用いて、各撮像画像中の検査対象部位Ｐおよび非検査対象部位Ｑにおけるそれぞれの輝度値を取得することによって、各撮像画像における検査対象部位Ｐおよび非検査対象部位Ｑのそれぞれの位置データＰ１〜Ｐ１００およびＱ１〜Ｑ１００から、容易に検査対象部位Ｐの輝度値および非検査対象部位Ｑの輝度値を取得することができる。

また、第１実施形態では、上記のように、演算処理部５１により、検査前に検査用画像に用いる撮像画像の組み合わせ（抽出光画像および除外光画像）を予め決定するとともに、検査時には予め決定した撮像画像（抽出光画像および除外光画像）を用いて生成した検査用画像により、検査対象部位Ｐを有する検査対象物（部品１２０、１２１および１２２）の検査を行うことによって、検査前に検査用画像に用いる撮像画像の組み合わせ（抽出光画像および除外光画像）を予め決定しておくことによって、検査対象物（部品１２０、１２１および１２２）の検査時にはどの撮像画像（抽出光画像および除外光画像）を用いるかを決定する必要がない。これにより、検査対象物（部品１２０、１２１および１２２）の検査時に予め決定した撮像画像（抽出光画像および除外光画像）をそれぞれ用いて検査用画像を得ることによって、検査対象物（部品１２０、１２１および１２２）の迅速な検査を行うことができる。

（第２実施形態）
次に、図６〜図９および図１７を参照して、本発明の第２実施形態の外観検査装置による検査用画像を生成するために用いる撮像画像の組み合わせを決定する処理（組み合わせ決定処理）について説明する。この第２実施形態では、上記式（１）に示す評価基準の値Ｓが最も小さい値となる抽出光画像および除外光画像の組み合わせを、最良の撮像画像の組み合わせとして決定するように構成した上記第１実施形態と異なり、上記式（１）に示す評価基準の値Ｓが小さい組み合わせ（コントラストが良好な組み合わせ）と、評価基準の値Ｓが大きい組み合わせ（コントラストが良好でない組み合わせ）とに分けて、評価基準の値Ｓが小さい組み合わせから検査用画像（演算画像）に用いる撮像画像の組み合わせを決定するように構成した例について説明する。なお、第２実施形態の外観検査装置の構造は、上記第１実施形態と同様であるので、同一の符号を用いるとともに、説明を省略する。

図１７に示すように、本発明の第２実施形態による組み合わせ決定処理において、ステップＳ１〜Ｓ４までの処理は上記第１実施形態（図８参照）と同様である。すなわち、サンプル基板を撮像することにより、撮像画像中に部品（部品１２０、１２１および１２２）が写る撮像画像が取得され、検査対象部位Ｐのサンプルとなる点Ｐ１〜Ｐ１００と、非検査対象部位Ｑのサンプルとなる点Ｑ１〜Ｑ１００とがユーザにより教示される。そして、合計１０画像における、集合Ｐｓ（Ｐ１〜Ｐ１００）および集合Ｑｓ（Ｑ１〜Ｑ１００）の各点の輝度値が、図９の表に示すようにそれぞれ取得される。

次に、第２実施形態では、ステップＳ１０５において、１０枚の撮像画像から組み合わせ可能な全ての組み合わせ（抽出光画像および除外光画像の組み合わせ）をそれぞれ抽出して、上記式（１）の評価基準の値Ｓが算出される。なお、式（１）の評価基準の値Ｓの算出方法は、図８のステップＳ５〜Ｓ７に示した上記第１実施形態の算出方法と同様である。すなわち、上記第１実施形態では図８のステップＳ５〜Ｓ１０を繰り返すことにより１組毎に評価基準の値Ｓを算出して演算処理部５１のＲＡＭに記憶された組み合わせの評価基準値Ｓと比較を行ったが、この第２実施形態では、ステップＳ１０５において全ての組み合わせについて評価基準の値Ｓの算出を行う。

そして、ステップＳ１０６では、演算処理部５１により、算出された全ての組み合わせの評価基準の値Ｓが比較され、評価基準値Ｓの小さい順（コントラストが良好な組み合わせ順）に並び替えて、上位（評価基準値Ｓの小さい）５％に属する組み合わせが抽出される。これにより、評価基準の値Ｓが小さい組み合わせ（検査対象部位Ｐの輝度値と非検査対象部位Ｑの輝度値との差（コントラスト）が大きく、検査対象部位Ｐと非検査対象部位Ｑとの輝度値のばらつきが小さく、かつ、ライン（直線Ｇ（ｘ））によってより完全に分離されている組み合わせ）と、評価基準の値Ｓが大きい組み合わせ（輝度値の差（コントラスト）が小さく、輝度値のばらつきが大きく、ラインによる分離が完全ではない組み合わせ）とが判定され、評価基準の値Ｓが小さい順に上位５％の組み合わせのみが抽出される。

次に、ステップＳ１０７において、抽出された評価基準の値Ｓが小さい上位５％の組み合わせの中から、演算処理部５１により、検査用画像に用いる撮像画像（抽出光画像および除外光画像）の組み合わせが決定される。上位５％の組み合わせの中からどの組み合わせに決定するかの決定方法は、種々のものが考えられる。たとえば、演算処理部５１がユーザの選択を受け付けることにより決定してもよいし、予め設定された基準に従って決定してもよい。すなわち、上記式（１）のうち、輝度値（光の強度）の差を評価する第１項の値が最も小さい組み合わせや、輝度値（光の強度）のばらつきを評価する第２項の値が最も小さい組み合わせを基準として決定してもよい。

以上により検査用画像に用いる撮像画像（抽出光画像および除外光画像）の組み合わせが決定されると、図６および図７に示した部品１２０の組み合わせ決定処理が完了する。そして、他の部品（たとえば、小型の部品１２１）について同様の処理が行われ、実装済み基板１１０に搭載される全ての部品についての撮像画像の組み合わせが決定される。

なお、第２実施形態の外観検査装置による検査処理動作や検査処理の内容は、上記第１実施形態と同様であるので、説明を省略する。

第２実施形態では、上記のように、合計１０枚の撮像画像の内で、検査対象部位の集合Ｐｓ（Ｐ１〜Ｐ１００）の輝度値（光の強度）と非検査対象部位の集合Ｑｓ（Ｑ１〜Ｑ１００）の輝度値（光の強度）との光の強度の差（上記式（１）の第１項）と、それぞれの輝度値（光の強度）のばらつき（上記式（１）の第２項）と、外れ値の個数（上記式（１）の第３項）とに基づいて、評価基準値Ｓの大きい組み合わせ（検査対象部位Ｐの光の強度と非検査対象部位Ｑの光の強度との光の強度の差が小さい撮像画像の組み合わせ）と、評価基準値Ｓの小さい組み合わせ（検査対象部位Ｐの光の強度と非検査対象部位Ｑの光の強度との光の強度の差が大きい撮像画像の組み合わせ）とを判定して、評価基準値Ｓの小さい上位５％の組み合わせの内から検査用画像に用いる撮像画像の組み合わせを決定するように構成した。このように構成することによって、１０枚の撮像画像の内から評価基準値Ｓの小さい組み合わせを選択して、検査用画像に用いることができるので、検査対象部位Ｐと非検査対象部位Ｑとのコントラストが強く（光の強度の差が大きく）、画像認識に適した検査用画像を得ることができる。

また、第２実施形態のその他の効果は、上記第１実施形態と同様である。

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記第１実施形態および第２実施形態では、照明部４１を、上段照明４１２および赤外照明４１５と、中段照明４１３と、下段照明４１４とによって３つの異なる照射角度で照明光を照射可能に構成した例を示したが、本発明はこれに限られない。照明部は、たとえば上段照明および下段照明のみにより２つの照射角度で照明光を照射可能なように構成してもよい。また、照明部を、４つ以上の異なる照射角度で照明光を照射可能なように構成してもよい。

また、上記第１実施形態および第２実施形態では、上記式（１）に示す評価基準に基づいて、検査用画像に用いる撮像画像の組み合わせ（抽出光画像および除外光画像）を評価（判定）した例を示したが、本発明はこれに限られない。本発明では、上記式（１）とは異なる評価基準を用いて検査用画像に用いる撮像画像の組み合わせを評価してもよい。たとえば、上記式（１）の第３項を考慮することなく、第１項および第２項のみを考慮してもよいし、第１項のみを考慮してもよい。また、第１項〜第３項以外の他の要素を評価してもよい。本発明では、少なくとも上記式（１）の第１項に相当する光の強度の差を評価するように構成すればよい。

また、上記第１実施形態および第２実施形態では、検査用画像に用いる撮像画像の組み合わせ（抽出光画像および除外光画像）を決定する際に、組み合わせ可能な全ての撮像画像の組み合わせ（抽出光画像および除外光画像）を評価するように構成した例を示したが、本発明はこれに限られない。本発明では、全ての組み合わせを評価することなく、一部の組み合わせのみを評価するように構成してもよい。

また、上記第１実施形態および第２実施形態では、上段照明４１２、中段照明４１３および下段照明４１４を用いて撮像されたカラー画像をＲＧＢ分解して、それぞれ赤色（ｒ）画像、緑色（ｇ）画像および青色（ｂ）画像の３枚の色成分画像を取得するように構成した例を示したが、本発明はこれに限られない。本発明では、色成分画像を取得することなく、撮像した画像をグレー化処理してそのまま用いてもよい。また、カラー画像を４色以上に色分解して、４枚以上の色成分画像を取得するように構成してもよい。なお、色成分画像を取得しに場合には、照明として白色ＬＥＤ（白色光）を用いる必要はない。

また、上記第１実施形態および第２実施形態では、ユーザにより、各１００点の検査対象部位Ｐおよび非検査対象部位Ｑの位置データの教示（位置情報入力）が行われるように構成した例を示したが、本発明はこれに限られない。本発明では、位置データの教示は、１００点よりも少ないサンプル数でもよいし、１００点よりも多いサンプル数の教示を行ってもよい。また、検査対象部位Ｐおよび非検査対象部位Ｑに属する点を指定するのではなく、たとえば検査対象部位Ｐの領域（境界）を囲むように指定してもよい。この場合、ユーザの教示によって囲まれた領域外が非検査対象部位Ｑとなる。

また、上記第１実施形態および第２実施形態では、撮像ユニット４０をユニット支持部３０によりＸ方向に移動可能に構成し、実装済み基板１１０（移動部１３）を移動テーブル２０によりＹ方向に移動可能に構成することによって、実装済み基板１１０の任意の位置（ＸＹ方向の任意の位置）を撮像可能とするように構成した例を示したが、本発明はこれに限られない。たとえば、実装済み基板を基板搬送コンベア（移動部）上の所定位置に配置するとともに、撮像ユニットをＸＹ方向（水平方向）に移動可能に構成してもよい。また、撮像ユニットを実装済み基板上方の位置で固定的に設けるとともに、ＸＹ方向（水平方向）に移動可能な基板テーブル上で実装済み基板をＸＹ方向に移動させるように構成してもよい。

また、上記第１実施形態および第２実施形態では、検査用画像に用いる撮像画像の組み合わせを予め決定しておいて、実装済み基板１１０の検査時には、予め決定された組み合わせに基づいて検査用画像を取得するように構成した例を示したが、本発明はこれに限られない。たとえば、実装済み基板の検査時に検査用画像に用いる撮像画像の組み合わせを決定してもよい。

また、上記第１実施形態および第２実施形態では、検査用画像に用いる撮像画像の組み合わせ決定処理において、撮像ユニット４０を用いてサンプル基板を撮像するように構成しした例を示したが、本発明はこれに限られない。検査用画像に用いる撮像画像の組み合わせ決定処理では、別途サンプル基板を撮像した撮像画像を用意しておき、撮像ユニットにより撮像を行う処理を省略してもよい。

また、上記第１実施形態および第２実施形態では、検査用画像に用いる撮像画像の組み合わせ決定処理において、外観検査装置１００の演算処理部５１によって撮像画像の組み合わせを決定するように構成した例を示したが、本発明はこれに限られない。たとえば、検査用画像に用いる撮像画像の組み合わせ決定処理において、撮像ユニット４０を用いてサンプル基板を撮像した後、撮像された撮像画像データを用いて外部のＰＣや、ホストコンピュータなどにより撮像画像の組み合わせを決定するように構成してもよい。

また、上記第２実施形態では、検査用画像に用いる撮像画像の全ての組み合わせの内から、評価基準の値Ｓが小さい上位５％の組み合わせを抽出して、この上位５％の組み合わせの中から検査用画像に用いる撮像画像の組み合わせを決定するように構成した例を示したが、本発明はこれに限られない。たとえば、５％より絞り込んで上位４％以上の組み合わせの中から検査用画像に用いる撮像画像の組み合わせを決定してもよい。また、たとえば評価基準値Ｓが予め設定された閾値を下回るか否かを判定して、閾値を下回る組み合わせの中から検査用画像に用いる撮像画像の組み合わせを決定してもよい。この場合には、部品の種類や、実装済み基板の用途などに応じて、閾値の値を任意に設定可能なように構成するとよい。

４１ 照明部
４２ 撮像部
５１ 演算処理部（制御部）
１００ 外観検査装置（検査装置）
１１０ 実装済み基板（検査対象物）
１５０ 検査用画像（検査用の画像）
Ｐ 検査対象部位
Ｑ 非検査対象部位

Claims (7)

1. 複数の照射角度で照明光を照射可能な照明部と、
   検査対象部位および非検査対象部位を前記複数の照射角度の照明光を用いてそれぞれ撮像する撮像部と、
   前記複数の照射角度の照明光を用いてそれぞれ撮像された前記複数の撮像画像中の前記検査対象部位と前記非検査対象部位とに基づいて、検査用の画像に用いる前記撮像画像を決定する制御部とを備え、
   前記検査用の画像は、前記複数の撮像画像を組み合わせて生成される演算画像であり、
   前記制御部は、前記複数の撮像画像の内で、前記検査対象部位の光の強度と、前記非検査対象部位の光の強度と、前記検査対象部位および前記非検査対象部位のそれぞれにおける光の強度のばらつきとに基づいて、前記検査用の画像に用いる前記撮像画像の組み合わせを決定するように構成されている、検査装置。
2. 前記制御部は、前記複数の撮像画像の内で、少なくとも前記検査対象部位の光の強度と前記非検査対象部位の光の強度との光の強度の差に基づいて、前記検査対象部位の光の強度と前記非検査対象部位の光の強度との光の強度の差が大きい第１撮像画像と、前記検査対象部位の光の強度と前記非検査対象部位の光の強度との光の強度の差が小さい第２撮像画像との組み合わせを求め、前記第１撮像画像から前記第２撮像画像を引き算処理して求められる画像を、前記検査用の画像とするように構成されている、請求項１に記載の検査装置。
3. 前記制御部は、前記複数の撮像画像から組み合わせ可能な全ての前記撮像画像の組み合わせを抽出するとともに、抽出した全ての組み合わせの中から前記撮像画像の組み合わせを決定するように構成されている、請求項１または２に記載の検査装置。
4. 前記制御部は、撮像された前記撮像画像から所定の色成分を抽出した複数の色成分画像を生成して、それぞれの前記色成分画像を前記撮像画像として用いて、前記検査用の画像に用いる前記撮像画像を決定するように構成されている、請求項１〜３のいずれか１項に記載の検査装置。
5. 前記制御部は、前記複数の撮像画像における前記検査対象部位および前記非検査対象部位のそれぞれの位置データを用いて、前記複数の撮像画像中の前記検査対象部位および前記非検査対象部位におけるそれぞれの光の強度を取得するように構成されている、請求項１〜４のいずれか１項に記載の検査装置。
6. 前記制御部は、検査前に前記検査用の画像に用いる前記撮像画像を予め決定するとともに、検査時には予め決定した前記撮像画像を用いた前記検査用の画像により、前記検査対象部位を有する検査対象物の検査を行うように構成されている、請求項１〜５のいずれか１項に記載の検査装置。
7. 複数の照射角度の照明光を用いて検査対象部位および非検査対象部位がそれぞれ撮像された複数の撮像画像を取得するステップと、
   前記複数の照射角度の照明光を用いてそれぞれ撮像された前記複数の撮像画像中の前記検査対象部位と前記非検査対象部位とに基づいて、検査用の画像に用いる前記撮像画像を決定するステップとを備え、
   前記検査用の画像は、前記複数の撮像画像を組み合わせて生成される演算画像であり、
   前記検査用の画像に用いる前記撮像画像を決定するステップは、前記複数の撮像画像の内で、前記検査対象部位の光の強度と、前記非検査対象部位の光の強度と、前記検査対象部位および前記非検査対象部位のそれぞれにおける光の強度のばらつきとに基づいて、前記検査用の画像に用いる前記撮像画像の組み合わせを決定するステップを含む、検査方法。

Images