JP5948797B2 - 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法 - Google Patents

Description

本発明は、画像を用いた自動外観検査による検査結果を、実際の検査対象物を目視する方法により確認する作業を支援するためのシステムおよび支援用の装置、ならびに支援方法に関する。

部品実装基板の製造現場では、部品の有無やはんだフィレットの状態などを自動外観検査装置により検査した後に、不良と判定された部品を作業員が目視により最終確認するようにしている。また、不良であると確定された部品のうち修正が可能なものに対し、作業員がその状態を確認しながら手操作で修正を行う場合もある。

不良箇所を目視する作業を行う装置の従来例として、検査対象の基板を支持するステージの上方に拡大鏡が配備された構成の装置がある。この装置に関して、たとえば特許文献１には、外観検査装置から不良と判定された箇所の位置情報を取得して、この位置情報に基づきステージの動作を制御することにより、不良と判定された箇所を拡大鏡の視野の中央に位置づけることが記載されている。

特許文献２には、拡大鏡、ＸＹテーブル、レーザ光源などを具備するはんだ付け不良部位の修正作業用の装置が開示されている。この装置では、拡大鏡の視野内にレーザー光線を照射すると共に、はんだ付け検査装置から得た不良箇所の位置データに基づき、不良部位をレーザー光線の照射位置に合わせることにより、不良部位が明示される。

特開２００１−１６５８６０号公報 特開平８−１９５５５４号公報

高品質を確保されることが要求される基板を生産する現場では、自動外観検査による検査規準を厳しく設定し、不良と判定された部品を、作業員が肉眼で念入りにチェックしたり、不良箇所を手作業で修正し、不良が解消したことを念入りに確認する体制がとられている。近年の部品実装基板は部品の実装密度が高いので、目視による確認や修正が必要となる部品の数も多くなり、目視確認をする作業者の労力は多大なものとなる。しかも、同種の部品が複数箇所に実装される基板や、同じ構成の個片基板が複数連結される基板が多いため、確認対象の部位を見つけるのに要する負荷がきわめて大きくなる。また、作業に慣れた人でないと、確認対象部位を見誤るおそれがある。

特許文献１や２に記載されているような構成の装置によれば、実物の不良箇所が拡大または識別表示されるので、作業の負荷を軽減でき、見誤りを防ぐことができる。しかし、いずれの装置も構成が大がかりでコストがかかる。また、設置のために広いスペースが必要になることも、導入の妨げとなる。

このほか、自動外観検査に使用された検査対象基板の画像から不良箇所を中心とする一部範囲を切り出して、この範囲の拡大画像を表示することで、確認対象部位を知らせる方法も考えられる。しかし、先にも述べたように、基板には、同じような構成を有する箇所が複数存在することが多いため、不良箇所を中心とする範囲の画像を表示しただけでは、その箇所が実際の基板のどの箇所に相当するかを、すぐに特定するのは困難である。この結果、作業員の作業効率が低下し、全体の生産効率にも大きな影響が及ぶおそれがある。

上記の問題点に鑑み、本発明は、自動外観検査に使用された画像や検査結果を用いて、確認対象部位を容易に特定できるような支援を行うことを、課題とする。

本発明による目視確認作業の支援用システムは、画像を用いた自動外観検査が行われた部位を複数有する検査対象物の少なくとも１つの被検査部位の状態を、実物の検査対象物を目視する方法により確認する作業を支援するもので、以下の画像記憶手段、計測データ記憶手段、画像読出手段、特徴部位抽出手段、画像編集手段、表示手段を具備する。

画像記憶手段には、自動外観検査のための撮像により生成された検査対象物の画像が保存され、計測データ記憶手段には、自動外観検査装置における計測処理において得られた計測データがその計測対象部位の位置情報に紐付けられて保存される。画像読出手段は、確認対象部位の位置情報または識別情報に基づき、当該確認対象部位を含み、かつ検査対象物の一部に相当する領域の画像を、画像記憶手段から読み出す。

特徴部位抽出手段は、画像読出手段により読み出される画像に対応する領域内に含まれる位置情報に紐付けられて計測データ記憶手段に保存されている計測データを分析して、当該領域内の確認対象部位以外の被検査部位の中から、前記自動外観検査における計測処理において求められた計測値は良判定の範囲に入るが最適な計測値に対する当該計測値の乖離度が所定の値を上回る部位を、特徴部位として１つ以上抽出する。画像編集手段は、画像読出手段により読み出された画像を、当該画像中の各特徴部位および確認対象部位が互いに異なる態様でマーキングされた状態に編集し、表示手段は、画像編集手段により編集された画像を表示する。

上記の構成によれば、作業者は、表示された画面中のマーキングにより、どの部位が確認対象であるかを確認すると共に、その確認対象部位の周囲に分布する複数の特徴部位の特徴やこれらの相対位置関係から、実際の検査対象物の確認対象部位を特定することができる。確認対象部位の周囲に分布する被検査部位の中から、自動外観検査では良品と判定されたが計測値は最適な値でないことを目視で確認することが可能な部位を抽出してマーキングすることにより、他に類似する構成の箇所があっても、マーキングされた部位の外観の特徴により確認対象部位を見誤るのを防ぐことができる。

上記のシステムの第１の実施形態では、特徴部位抽出手段は、自動外観検査における計測処理において求められた計測値の最適な計測値に対する乖離度をキーとして、処理対象の領域に含まれる確認対象部位以外の被検査部位であって前記自動外観検査における計測処理における計測値が良判定の範囲に入りかつ前記乖離度が前記所定の値を上回る被検査部位の中から前記乖離度が相対的に大きい部位を抽出する。自動外観検査では良品と判定されたが、その判定に用いられた計測値が最適値から大きく離れた部位を特徴部位として抽出すれば、確認対象部位や各特徴部位と同種の部位が同じような位置関係をもって配置されている箇所が他にあったとしても、特徴部位の外観により見分けることが可能になる。

第２の実施形態によるシステムでは、自動外観検査の計測処理に、被検査部位以外の場所にある異物を検出するための計測が含まれ、特徴部位抽出手段は、画像編集手段によるマーキング対象の特徴部位として、さらに処理対象の領域内の確認対象部位の周囲で異物を表す計測データが得られている箇所を抽出する。このようにすれば、作業者は、異物を目印にして確認対象部位を容易に特定することができる。

第３の実施形態によるシステムは、自動外観検査における目印として同種の検査対象物に共通に設定された目印パターンを特定するための情報が保存される目印パターン記憶手段をさらに具備する。画像編集手段は、目印パターン記憶手段に保存されている情報に基づき、処理対象の領域に含まれる目印パターンの場所を特定し、特定された場所が少なくとも確認対象部位とは異なる態様でマーキングされた状態になるように、画像を編集する。

上記の実施形態によれば、特徴部位のほか目印パターンの場所がマーキングされるので、確認対象部位をより容易に特定することができる。なお、目印パターンには、確認対象部位および特徴部位のいずれへのマーキングとも異なる第３の態様によるマーキングを施すのが望ましいが、特徴部位と同じ態様によるマーキングを施してもよい。

上記のシステムには、外観検査装置との通信により外観検査に用いられた画像および計測データを含む検査結果情報を受け取るサーバと、確認作業のための表示部を有する端末装置とを含むことができる。この場合には、サーバに少なくとも画像記憶手段および計測データ記憶手段が設けられ、端末装置の表示部が表示手段として機能する。その他の手段は、サーバおよび端末装置のいずれに設けてもよいし、一部の手段をサーバに設け、残りの手段を端末装置に設けてもよい。またサーバと端末装置とが協働して１つの手段として機能するようにしてもよい。

画像記憶手段や計測データ記憶手段は、サーバに限らず、外観検査装置に設けることもできる。また、サーバと端末装置という切り分けをなくして、画像記憶手段、計測データ記憶手段、画像読出手段、特徴部位抽出手段、画像編集手段、表示手段の各手段を単体のコンピュータに設けてもよい。

本発明による目視確認作業の支援用装置は、上記の各手段のうち、少なくとも画像読出手段、特徴部位抽出手段、画像編集手段を具備し、さらに画像編集手段により編集された画像の画像データを表示のために出力する出力手段を具備する。さらにこの支援用装置には、画像記憶手段や計測データ記憶手段を設けることもできるが、これらの記憶手段は、外部のコンピュータまたは外観検査装置に設けてもよい。

本発明による検査結果の目視確認作業の支援方法では、自動外観検査に応じて、この検査のための撮像により生成された検査対象物の画像を画像記憶手段に保存すると共に、自動外観検査における計測処理において得られた計測データをその計測対象の部位の位置情報に紐付けて計測データ記憶手段に保存するステップと、確認対象部位の位置情報または識別情報に基づき、当該確認対象部位を含み、検査対象物の一部に相当する領域の画像を、画像記憶手段から読み出すステップと、画像記憶手段から読み出される画像に対応する領域内に含まれる位置情報に紐付けられて計測データ記憶手段に保存されている計測データを分析して、当該領域内の確認対象部位以外の被検査部位の中から、自動外観検査における計測処理において求められた計測値は良判定の範囲に入るが最適な計測値に対する当該計測値の乖離度が所定の値を上回った部位を、特徴部位として１つ以上抽出するステップと、画像記憶手段から読み出された画像を、当該画像中の各特徴部位および確認対象部位が互いに異なる態様でマーキングされた状態に編集して表示するステップとを実行する。

上記の方法は、前述したサーバと端末装置との組み合わせ、または単体のコンピュータにより実施することができる。また上記の画像記憶手段や計測データ記憶手段が外観検査装置に設けられ、さらに当該外観検査装置に表示部が組み込まれる場合には、当該外観検査装置において上記の方法を実施してもよい。
また、各ステップのうち、画像を読み出すステップと特徴部位を抽出するステップとは、いずれを先に実行しても良いし、両ステップを並列で実行してもよい。

目視確認の対象部位は、外観検査において不良と判定された部位に限定されるものではない。たとえば外観検査では良好と判定されたが、計測値の適正値からの乖離度が大きい部位を確認対象部位としてもよい。また、重要な機能を有する部位については、ダブルチェックのために、常に目視確認の対象部位に設定してもよい。
また、どの部位を確認するかについては、たとえば、検査結果や計測結果の分析により確認対象部位を自動的に選択してもよいし、確認が必要と思われる部位のリストを表示して、作業者に選択させるようにしてもよい。

本発明によれば、表示画面中のマーキングの特徴に基づき、実物の検査対象物においてマーキング箇所に対応する箇所を容易に判別し、確認対象部位を特定することができる。よって、確認対象部位を見誤ることなく、目視による確認作業を、効率良く進行させることが可能になる。

部品実装基板の検査用のシステムの構成を示す機能ブロック図である。 不良部品の情報を確認するための確認画面のレイアウト図である。 図２の領域３００内に表示される画像の例を示す図である。 確認作業の手順を示すフローチャートである。 分析データテーブルのデータ構成例を示す図である。 分析データテーブルの作成処理の手順を示すフローチャートである。 確認端末において実行される処理の手順を示すフローチャートである。

図１は、部品実装基板の検査用のシステムの構成例を機能ブロック図により示す。
この実施例は、はんだ印刷工程、部品実装工程、リフロー工程の各工程を経て完成した部品実装基板（以下、単に「基板」という。）を対象に、自動外観検査を行った後に、当該検査で不良と判定された部位を作業員の目視により確認するもので、外観検査装置１、管理サーバ２、確認作業用の端末装置３（以下、「確認用端末３」という。）が含まれる。各装置１，２，３はＬＡＮ回線４を介して接続されているが、管理用端末３と外観検査装置１との間で直接に通信をすることはなく、外観検査装置１と管理サーバ２との間および確認用端末３と管理サーバ２との間で、それぞれ情報をやりとりする。管理サーバ２と確認用端末３とＬＡＮ回線４とによるネットワークシステムは、目視による確認作業を支援するためのシステムとして機能する。

外観検査装置１は、撮像部１１，検査実行部１２，通信処理部１３などを具備する。検査実行部１２は、あらかじめ定められた検査規準に従って、撮像部１１を作動して画像を生成し、生成された画像を用いて、部品毎に、実装の有無、位置ずれや回転ずれの有無、はんだフィレットの形状や大きさの適否などを検査する。また、画像中の部品が実装されていない場所を対象に、ブリッジやはんだボールなどの異物を検出する場合もある。各種の検査に用いられた画像や検査結果情報は、通信処理部１３より管理サーバ２に送信される。

管理サーバ２には、検査結果データベース２１，画像データベース２２，検査規準データベース２３などを含む記憶部や、保存処理部２４，通信処理部２５，対端末処理部２６などの機能が設けられる。外観検査装置１から送信された情報は、通信処理部２５で受け付けられた後に保存処理部２４によって、検査結果データベース２１や画像データベース２２に保存される。

検査規準データベース２３には、基板の種毎に、外観検査のための検査規準が登録される。たとえば、部品単位の検査規準として、検査領域の設定データ、二値化のためのしきい値などが登録され、さらに、部品に対して実施される計測項目毎に「良」を表す計測値の範囲が登録される。異物の検出に関しても、検出に用いられる二値化しきい値、検出された特徴に関する計測値と比較するためのしきい値などが、検査規準として登録される。

さらに、この実施例では、１枚の基板を複数回に分けて撮像し、各撮像による画像を繋ぎ合わせて基板全体の画像を生成しており、各撮像対象領域に撮像部１１の視野を合わせる制御や、画像を繋ぎ合わせる処理に用いられる情報群も、検査規準データベース２３に格納される。この情報群には、基板上の目印となるパターン（以下、「目印パターン」という。）を特定するための情報が含まれる。

外観検査装置１から送信される検査結果情報は、基板毎および基板内の部品毎に計測値や良否の判定結果を読み出すことができるように階層化されている。この基板単位での検査結果情報に不良の情報が含まれている場合には、保存処理部２４は、その検査結果情報を分析して後述する分析データテーブルを作成する。分析データテーブルは、基板の単位で読み出すことができるように構成され、元情報である検査結果情報に紐付けられて検査結果データベース２１に保存される。

対端末処理部２６は、通信処理部２５を介して確認用端末３からの送信要求を受け付け、その要求に応じた情報を該当するデータベースから読み出し、確認用端末３に送信する。また、確認用端末３から当該端末３で作業を行った作業者により入力された判定データ入りの検査結果情報を取得すると、この取得情報により検査結果データベース２１内の既存の検査結果情報を更新する。
検査規準データベース２３内の検査規準は、外観検査装置１にも、必要に応じて送信される。

確認用端末３は、入力部３１，表示部３２，分析処理部３３，表示処理部３４，通信処理部３５などを具備する。入力部３１および表示部３２はハードウェアを含み、他の処理部は、ソフトウェアによりＣＰＵに設定される機能である。

入力部３１は、確認対象の基板の識別コード（以下、「基板コード」という。）や確認結果などの入力を受け付けるためのもので、キーボードやマウスのほか、基板コードの読取装置（バーコードリーダなど）を含めることができる。表示部３２は、液晶モニタなど、画像の表示が可能な構成を含む。なお、表示部３２は、確認用端末３の外部装置として位置づけられる場合もある。

分析処理部３３は、基板コードの入力に応じて起動した後に、通信処理部３５を介して管理サーバ２と通信をして、入力された基板コードに対応する基板について、画像、検査結果情報、検査規準の各情報を取得する。表示処理部３４は、分析処理部３３による処理結果に基づき、外観検査で不良と判定された部品（以下、「不良部品」という。）に関する情報を確認するための確認画面のデータを生成し、この確認画面を表示部３２に表示する。

図２は、確認画面のレイアウトの一例を示す。
この例の確認画面では、画像と画像以外の情報とが左右に分かれて表示される。まず、画像を表示する左側のエリアには、面積が大きな領域３００が設けられ、その下方に２つの小領域３０１，３０２が左右に並べて配置される。

領域３００には、確認対象の部品を中心とする範囲（基板の一部）の拡大画像が表示されるが、この拡大画像Ｇの左上隅には、基板全体のマップ画像ＭＰが重ねて表示される。領域３０１には確認対象部品のみを含む範囲の画像がさらに拡大されて表示され、領域には確認対象部品の見本画像（理想的な実装状態を示す。）が表示される。

先にも触れたように、この実施例の外観検査では、１枚の基板を複数の領域に分けて撮像して、各撮像により生成された画像（以下、「分割画像」という。）を繋ぎ合わせることにより、基板全体の画像を作成する。確認画面３０における拡大画像Ｇも、確認対象の部品を含む分割画像ｇ０とその周囲８近傍の分割画像ｇ１〜ｇ８とを繋ぎ合わせることにより生成される。
一方、マップ画像ＭＰは、処理中の基板ではなく、事前にモデルの基板を撮像して生成した画像、またはＣＡＤデータなどによる模式図である。マップ画像ＭＰは、基板全体における確認対象部品のおよその位置を作業者に把握させるためのもので、拡大画像Ｇは、確認対象部品およびその周囲の詳細な構成を作業者に知らせるためのものである。

画面の右側には、３つの領域３１１，３１２，３１３が上下方向に沿って配列される。一番上の領域３１１には、確認対象の基板に関する概略情報（基板コード、検査規準を示すプログラムの名称、不良部品の数など）が表示され、中央の領域３１２には、確認すべき不良部品のリストが表示される。一番下の領域３１３には、現在の確認対象の部品に関する検査結果が、計測項目毎の計測値と共に表示される。

図３は、領域３００内の拡大画像Ｇおよびマップ画像ＭＰの具体例を示す。拡大画像Ｇの中央部に位置する部品１００が、この例の確認対象部品である。
マップ画像ＭＰには、基板の全体像（白抜き部分）のほか背景部分（グレーの部分。実際には基板が支持されるステージの面の色で着色される。）が含まれる。図３では、省略しているが、マップ画像ＭＰ内の基板には、当該基板上の各種部品が縮小されて表示される。さらに、この実施例のマップ画像ＭＰには、確認対象部品の中心のＸ座標およびＹ座標を表す２本のラインｍ１，ｍ２が、黄色や白などの輝度の高い色彩で表示される。

拡大画像Ｇでも、確認対象部品１００のＸ，Ｙ座標を表す２本のラインＬ１，Ｌ２がラインｍ１，ｍ２と同じ色彩により設定される。ただし、これらのラインＬ１，Ｌ２は確認対象部品１００の実装範囲には設定されず、ラインＬ１，Ｌ２と同色の矩形枠ＵＷにより確認対象部品１００が取り囲まれる。

さらに拡大画像Ｇには、赤色の枠ＲＷと青色の枠ＢＷとがそれぞれ複数設定される（図３では、赤色を一点鎖線により、青色を点線によりそれぞれ表現する。）以下、これらの色彩枠ＲＷ，ＢＷを、「赤枠ＲＷ」「青枠ＢＷ」と呼ぶ。

赤枠ＲＷは、部品や電極ピンなど、外観検査が行われた構造物の中の選択されたものに対して設定される。図３の例では、確認対象部品１００の上方の比較的大きなチップ部品１０１と、右下の比較的小さなチップ部品１０２と、左下のＩＣ部品１０３の一電極ピンとに、それぞれ赤枠ＲＷが設定されている。これらは、いずれも外観検査で「良」と判定されたが、チップ部品１０１では、一方の電極に対するはんだ領域がやや大きくなり、チップ部品１０２はやや傾いて実装されている。また、ＩＣ部品１０３の赤枠で囲まれた電極ピンはやや歪んだ形状になっている。

青枠ＢＷは、外観検査において、画像の位置ずれの補正や各分割画像の位置合わせなどの処理が行われる場合の目印として使用されたパターンに設定される。これらの目印パターンは、パターンの位置情報および形状により特定されるもので、各特定情報は、管理サーバ２の検査規準データベース２３に登録されている。図３の例では、実装部品の部品コードを表す文字パターンのほか、基板上のシルク印刷パターンの突出部分ａ，スルーホールの配列ｂ，シルク印刷パターンの角部のスルーホールｃに、それぞれを囲むように青枠ＢＷが設定されている。

外観検査装置１による検査で不良部品があると判断された基板は、スタッカに収容されたり、コンベアにより搬送されるなどして、確認用端末３の前に座る作業者に供給される。作業者は、上記の拡大画像Ｇおよびマップ画像ＭＰを含む確認画面を見ながら、図４に示すような手順で確認作業を実行する。

まず作業者は、１枚の基板を手にとり、その基板コードを確認用端末３に入力する（ステップＳ１）。この実施例の基板には、端縁の余白などに基板コードを示すバーコードが印刷されているので、バーコードリーダを用いた読取処理により基板コードを入力することができる。

確認用端末３では、基板コードの入力に応じて管理サーバ２と通信を行って、該当する基板の検査結果情報や検査規準を取得し、これらに基づき、初期の確認画面を立ち上げる（後記する図７のステップＳ２０２）。この段階では領域３００内には拡大画像Ｇは表示されず、ラインｍ１，ｍ２のないマップ画像ＭＰのみが表示される。また確認対象部品の画像や情報を表示する領域３０１，３０２，３１３も空白状態となるが、領域３１１，３１２の基板情報や不良部品のリストは表示される。

作業者は、不良部品リストの表示を確認し、そのリスト内の１不良部品を選択する（ステップＳ２）。この選択に応じて、確認端末３では、図７のステップＳ２０３〜Ｓ２１２が実施されて、確認画面の左の領域３００に、図３に示したような拡大画像Ｇが表示され、領域３００の左上隅のマップ画像ＭＰにも、選択された部品の位置を示すラインｍ１，ｍ２が設定される。下方の２つの領域３０１，３０２にも、それぞれ選択された部品の拡大画像や見本画像が表示され、右下の領域３１３にも、選択された部品に対する検査結果が表示される。

作業者は、マップ画像Ｍ内のラインｍ１，ｍ２により、確認対象部品のおよその位置を判別する（ステップＳ３）。次に、拡大画像Ｇの各種のマーキングが付された部品や目印パターンの特徴や分布状態を参照して、実際の基板で拡大画像Ｇに対応する範囲を判別する（ステップＳ４）。さらに、各マーキング箇所の位置関係などに基づき確認対象部品を特定する（ステップＳ５）。

この後は、実際の確認対象部品を目視して、その良否を判定し、判定データ（ＯＫまたはＮＧ）を入力する（ステップＳ６）。
第１不良部品リスト中に不良部品が残っている場合には（ステップＳ７が「ＮＯ」）、次の部品を選択し（ステップＳ２に戻る。）、以下、同様の要領で作業を続行する。全ての不良部品を確認し、さらに確認対象の基板がある場合（ステップＳ８が「ＮＯ」）には、次の基板を手にとって、上記と同様の作業を実行する。

青枠ＢＷで囲まれる目印パターンを特定するための情報は、先に述べたように、管理サーバ２の検査規準データベース２３に格納されている。一方、赤枠ＲＷで囲まれる部品や電極は、検査結果データベース２１内の分析データテーブルを用いて特定される。分析データテーブルは、基板上で見分けがつきやすい特徴を有する部品をリストアップしたもので、不良部品が検出された基板毎に作成される。

図５は、分析データテーブルの構成例を示す。
この例の分析データテーブルには、全ての項目について「良」と判定された部品のうち、その判定に用いられた計測値の最適な計測値に対する乖離度が１０％以上となった部品の情報が保存される。図示例では、対象の部品の識別コード（部品コード）、当該部品の中心部のＸ，Ｙ座標、１０％以上の乖離度を得た計測項目、当該計測項目に関する計測で得た計測値および乖離度などが格納される。

なお、部品の中心位置を示すＸ，Ｙ座標も計測されたものであるが、検査規準に含まれる標準の位置情報を抽出してもよい。また、部品の電極毎に実行される計測項目については、どの電極に対応する計測項目であるかを示す枝番が付与される（図中の「ＩＣ００６」の計測項目「フィレット−１」を参照。）。この枝番により、計測値に該当する電極の部品における相対位置を特定することができる。

上記の分析データテーブルは、管理サーバ２で作成されて、検査結果データベース２１に保存された後、確認用端末３からの送信要求に応じて対応する検査結果情報と共に読み出され、確認用端末３に送信される。

図６は、管理サーバ２による分析データテーブルを作成する処理の手順を示す。
この処理は、外観検査装置１から基板単位での検査結果情報の送信を受ける都度、管理サーバ２の保存処理部２４により実行されるが、これに限らず、検査結果情報を検査結果データベース２１に保存してから所定の期間が経過した時点で実行してもよい。

まず、最初のステップＳ１０１で、外観検査装置１から検査結果情報を取得し、その情報に不良部品に関する情報が含まれているか否かをチェックする。不良部品が含まれていない場合（ステップＳ１０２が「ＮＯ」）には、以下のステップをスキップして、処理を終了する。

不良部品がある場合（ステップＳ１０２が「ＹＥＳ」）には、不良部品以外の部品、すなわち「良」と判定された部品に順に着目して、ループＬＰを実行する。
ループＬＰでは、着目中の部品に係る検査結果情報を用いて、当該部品に対して実施された計測項目毎に、以下の演算により、良判定の範囲の最適値に対する実際の計測値の乖離度を求める（ステップＳ１０３）。

計測値毎の乖離度が算出されると、その中で最大になる乖離度が１０％以上であるかどうかをチェックする。最大の乖離度が１０％以上であれば（ステップＳ１０４が「ＹＥＳ」）、その乖離度を得た計測項目およびその計測値ならびに乖離度を、着目中の部品の部品コードおよび位置情報と共に分析データテーブルに保存する（ステップＳ１０５）。なお、電極の浮き検査やフィレット検査など電極毎に実施される検査にかかる計測項目がこの保存の対象となる場合には、対応する電極を表す枝番も保存される。

上記の処理によって、「良」と判定された部品のうち、最適値に対する計測値の乖離値度が大きい部品に対象が絞り込まれて、各対象部品の乖離度と位置情報とを紐付けて登録した分析データテーブルが作成される。

つぎに、図７は確認用端末３において、基板コードの入力（図４のステップＳ１）に応じて実行される処理の手順を示す。
まず、ステップＳ２０１では、入力された基板コードを用いて管理用サーバ２に送信要求を出すことによって、該当する基板の検査結果情報、分析データテーブル、および検査規準を取得する。なお、検査規準については、必ずしも全ての情報を取得しなくとも良いが、目印パターンを特定するための情報や、分割画像の位置合わせに関する定義情報、各部品と分割画像との対応関係を示す情報（どの分割画像にどの部品が含まれているかを示すもの）など、表示対象の拡大画像Ｇの作成および編集に必要な情報を取得する必要がある。

ステップＳ２０２では、検査結果情報に基づき、表示部３２に初期の確認画面を表示する。その後は、作業者の不良部品を選択する操作が行われる都度、ループＬＰ１を実行することにより、確認画面を更新しつつ、作業者による判定入力を受け付ける。

以下、ループＬＰ１内の処理を詳細に説明する。
まず、ステップＳ２０３において、選択中の不良部品（確認対象部品）に関する検査結果情報を読み出す。つぎのステップＳ２０４では、読み出した情報の中の位置情報に基づき、選択中の不良部品がどの分割画像に含まれるかを特定し、管理サーバ２との通信により、特定された分割画像ｇ０およびその周囲８近傍の分割画像ｇ１〜ｇ８を取得する。さらに、ステップＳ２０５では、取得した各分割画像を繋ぎ合わせて、領域３００に表示するための拡大画像Ｇを作成する。

なお、選択中の不良部品が複数の分割画像に跨っている場合には、当該不良部品が占める割合が一番大きくなる分割画像を中央に配置する画像ｇ０とする。また、基板上の各部品がそれぞれの部品コードによって分割画像に紐付けられている場合には、ステップＳ２０４では、選択中の不良部品の部品コードに基づき中央に配置する画像ｇ０を特定してもよい。

この後は、上記の拡大画像Ｇを対象としてステップＳ２０６〜２１１を実行する。
ステップＳ２０６では、選択中の不良部品の位置を起点に、あらかじめ定められた特定の方向を基準とするサーチ範囲を設定する。たとえば、特定の方向を中心として所定角度θをもって広がる範囲をサーチ範囲とすることができる。

ステップＳ２０７では、分析データテーブルに登録されている部品の中から、設定されたサーチ範囲内に含まれる部品を抽出する。ここで複数の部品が抽出された場合には、その中で乖離度が最も大きい部品を１つ抽出する。

ステップＳ２０６，Ｓ２０７は、予め定められた複数の方向に対して実行され、これにより、相対的に大きな乖離度を有する部品が複数抽出される。
全ての方向に対する抽出処理が終了すると（ステップＳ２０８が「ＹＥＳ」）、ステップＳ２０９では、検査規準を用いて、拡大画像Ｇ内の目印パターンを抽出する。

ステップＳ２１０では、ステップＳ２０７で乖離度に基づき抽出した部品を赤枠ＲＷによりマーキングし、ステップＳ２０９で抽出した目印パターンを青枠ＢＷによりマーキングする。ステップＳ２１１では、拡大画像中の不良部品に、識別用の枠ＵＷやＸ，Ｙの座標を表すラインＬ１，Ｌ２を設定する。

なお、赤枠ＲＷによるマーキングでは、原則として設定対象の部品全体を囲む範囲をマーキングするが、電極単位での計測値に大きな乖離度が生じている場合には、対応する計測項目の枝番に基づき、大きな乖離度の計測値が得られた電極のみを赤枠ＲＷで囲んでもよい。図３のＩＣ部品１０３の一電極に対する赤枠ＲＷは、この方法により設定されたものである。

ステップＳ２１０およびＳ２１１の処理により、拡大画像は、選択中の不良部品とその周囲にある乖離度が大きな部品および目印パターンとが、それぞれ異なる色彩によりマーキングされた状態の画像に編集される。ステップＳ２１２では、この編集後の拡大画像により確認画面の表示を更新する。詳細な手順は省略するが、この表示の更新では、マップ画像ＭＰにも位置識別用のラインｍ１，ｍ２を入れ、図２に示した領域３０１，３０２，３１３にも、それぞれ画像や検査結果情報を表示する。

さらにステップＳ２１３では、作業者による判定データ（ＯＫまたはＮＧ）の入力（図４のステップＳ４）を受け付けて、入力された判定データを選択中の不良部品の検査結果情報に追加する。

上記のループＬＰ１が、不良と判定された全ての部品に対して実行されることにより、自動外観検査で不良と判定された部品の検査結果情報に目視に基づく判定データが追加される。全ての不良部品が処理されると、最後のステップＳ２１４で、この追加が完了した検査結果情報ファイルが管理サーバに送信される。これにより処理が終了する。

なお、上記の例では、作業者による良否の判定入力を常に行い、入力された判定データを検査結果情報に追加するとしたが、これに代えて、作業者が選択中の部品を良品と判定した場合にのみ、確認画面中の領域３１３内の検査結果を書き換えてもよい。

部品実装基板の生産ラインは、外観検査と同様に自動化されていることが多いが、クリームはんだの塗布量やリフロー工程での加熱温度は一律にはならず、マウンタによる部品の装着も画一的には進行しない。このため、同種の部品であっても、部品の位置や姿勢、フィレットの形状や大きさなどにばらつきが生じる。同じ型式の基板の同じ場所に実装される部品の状態にも、同様のばらつきが認められる。

外観検査における計測処理は、いずれも視認が可能な部位に対して行われるので、最適値から大きく離れた計測値が得られた部位は、その計測の対象となった外観に他の同種の部位とは顕著に異なる特徴が生じている可能性が高い。この点に着目して、上記の実施例では、最適な計測値に対する実際の計測値の乖離度が大きい部品を、赤枠ＲＷによるマーキングの対象として抽出するので、肉眼でも見分けることが可能な特徴を有する部品にマーキングを施すことが可能になる。

さらに、図７の処理によれば、確認対象の不良部品を基準にした複数の方位で赤枠ＲＷによるマーキングが設定されると共に、不良部品の周囲の複数箇所で青枠ＢＷにより目印パターンが明示されるので、作業者は、マーキングされた箇所の外観の特徴や分布状態に基づき、実物の基板でこれらに該当する箇所を容易に見つけることができる。よって、確認対象の不良部品を誤らずに特定して、その良否を判定することができる。

なお、乖離度の大きな部品を抽出する場合のサーチの方向は特には限定されないが、抽出された部品により確認対象部品が取り囲まれるようにサーチの方向を設定するのが望ましい。たとえば図３の例の場合には、不良部品の真上方向、斜め右下方向、斜め左下方向の３方向でサーチを実行している。または、確認対象部品に対し、上下左右の４方向でサーチを行ってもよいし、さらに、斜め上方向および斜め下方向を加えた計８方向でサーチを行ってもよい。

また図７に示した手順では、サーチ範囲毎にその範囲内で最大の乖離度を有する部品を１つ抽出しているが、これに限らず、乖離度が所定の値を上回る部品を全て抽出してもよい。また、サーチの方向を設定することなく、拡大画像全体を対象として乖離度が所定の値を上回る部品を抽出し、その中から、確認対象部品を取り囲んで分布させることを条件に、赤枠ＲＷを付す部品を選別してもよい。また、抽出された部品の乖離度が、抽出の条件とする最低値（１０％）を大きく上回る場合には、サーチにより抽出される部品の数が１つとなってもよい。

マーキングの方法は、枠に限るものではないが、画像中のマーキング対象の特徴が確認できないような態様のマーキングは避けねばならない。
また、赤枠ＲＷでマーキングする対象は部品に限るものではなく、たとえば、異物検査で検出されたはんだボールやブリッジ検査で抽出されたブリッジをマーキングの対象としてもよい。たとえば、検査で計測された大きさが所定の値を超えたはんだボールやブリッジは、目視でも容易に認識できるので、赤枠ＲＷのマーキング対象として適している。

上記のシステムに関するその他の変形例について述べる。
まず、上記の実施例では、確認対象の基板の基板コードを入力することによって、検査に用いた画像を含む種々の情報を読み出して確認画面を設定したが、外観検査装置１で検査された基板が検査の順に確認端末３に順に流れ、確認対象の基板が一意に特定できる場合には、基板コードを入力することなく、検査の順に従って、確認端末３に情報を送信してもよい。この場合には、管理サーバ２を介することなく、外観検査装置１から確認端末３に直接に情報を送信してもよい。
また確認対象は、不良部品に限らず、良品と判定されたが計測値の乖離度が大きい部品も確認対象に含めてもよい。

確認対象部品を含む領域内の画像を画像データベース２２から読み出して、マーキング入りの拡大画像Ｇに編集する機能は、確認用端末３に限らず、管理サーバ２に設けてもよい。この場合、確認用端末３には、管理サーバ２から拡大画像Ｇを含む確認画面３０の情報の提供を受けて、これを表示部３２に表示する機能と、作業者による判定データの入力を受け付けて、その判定データを管理サーバ２に送信する機能とが設定される。

上記の実施例では、画像データベース２２から画像を読み出して拡大画像Ｇを生成した後に、赤枠ＲＷや青枠ＢＷを付す箇所を特定したが、この処理の順序は逆であってもよく、各処理を並列して実施してもよい。

上記の実施例では、確認対象部品が含まれる分割画像を特定して、この画像および周囲８近傍の画像により拡大画像Ｇを生成したが、これに限らず、確認対象部品の位置情報に基づき、当該部品を中心とする所定大きさの領域を特定し、基板の全体画像から特定された領域の画像を切り出すようにしてもよい。

また、拡大画像Ｇの倍率は一律に限らず、赤枠ＲＷが付される乖離度が大きな部品が確認対象部品の近くにある場合には倍率を大きくし、赤枠ＲＷが付される部品が確認対象部品の遠くにある場合には倍率を小さくしてもよい。たとえば、乖離度が大きな部品として抽出された部品の中で確認対象部品に最も近い部品と確認対象部品との距離を求め、この距離に対して拡大画像Ｇの倍率が反比例するようにして、拡大画像Ｇの倍率を決定することが考えられる。
または、９個の分割画像による画像全体が表示される標準倍率と、標準倍率よりも大きい拡大倍率の２通りを設定し、拡大倍率による表示範囲内に乖離度が大きな部品が所定数以上含まれる場合には拡大倍率を採用し、その他の場合には標準倍率を採用するようにしてもよい。また、倍率の切り替えは２段階に限らず、３段階以上としてもよい。

上記の実施例では、最終の工程を経て完成した基板を目視確認の対象としているが、中間工程が終了した段階でも、その工程での自動外観検査を終了した基板を対象にした目視確認作業を行うと共に、同様のマーキング画像の表示によって確認作業を支援することができる。

最後に、本発明が適用される検査対象物は、部品実装基板に限らず、自動外観検査による検査の対象部位が複数存在し、これらの部位の外観に、視認が可能な固有の特徴が生じる可能性がある他の構造体に適用することもできる。

１ 外観検査装置
２ 管理サーバ
３ 確認用端末
４ ＬＡＮ回線
２１ 検査結果データベース
２２ 画像データベース
２３ 検査規準データベース
２４ 保存処理部
３２ 表示部
３３ 分析処理部
３４ 表示処理部

Claims (7)

1. 画像を用いた自動外観検査が行われた部位を複数有する検査対象物の少なくとも１つの被検査部位の状態を、実物の検査対象物を目視する方法により確認する作業を支援するシステムであって、
   自動外観検査のための撮像により生成された検査対象物の画像が保存される画像記憶手段と、
   自動外観検査における計測処理において得られた計測データがその計測対象部位の位置情報に紐付けられて保存される計測データ記憶手段と、
   確認対象部位の位置情報または識別情報に基づき、当該確認対象部位を含み、かつ検査対象物の一部に相当する領域の画像を、前記画像記憶手段から読み出す画像読出手段と、
   前記画像読出手段により読み出される画像に対応する領域内に含まれる位置情報に紐付けられて前記計測データ記憶手段に保存されている計測データを分析して、当該領域内の前記確認対象部位以外の被検査部位の中から、前記自動外観検査における計測処理において求められた計測値は良判定の範囲に入るが最適な計測値に対する当該計測値の乖離度が所定の値を上回る部位を、特徴部位として１つ以上抽出する特徴部位抽出手段と、
   前記画像読出手段により読み出された画像を、当該画像中の各特徴部位および前記確認対象部位が互いに異なる態様でマーキングされた状態に編集する画像編集手段と、
   前記画像編集手段により編集された画像を表示する表示手段とを、
   具備することを特徴とする検査結果の目視確認作業の支援用システム。
2. 前記特徴部位抽出手段は、前記自動外観検査における計測処理において求められた計測値の最適な計測値に対する乖離度をキーとして、前記領域に含まれる確認対象部位以外の被検査部位であって前記自動外観検査における計測処理において求められた計測値が良判定の範囲に入りかつ前記乖離度が前記所定の値を上回る被検査部位の中から前記乖離度が相対的に大きい部位を抽出する、請求項１に記載された検査結果の目視確認作業の支援用システム。
3. 前記自動外観検査の計測処理には、被検査部位以外の場所にある異物を検出するための計測が含まれており、
   前記特徴部位抽出手段は、画像編集手段によるマーキング対象の特徴部位として、さらに前記領域内の確認対象部位の周囲で異物を表す計測データが得られている箇所を抽出する、請求項１または２に記載された検査結果の目視確認作業の支援システム。
4. 請求項１に記載されたシステムであって、自動外観検査における目印として同種の検査対象物に共通に設定された目印パターンを特定するための情報が保存される目印パターン記憶手段をさらに具備し、
   前記画像編集手段は、前記目印パターン記憶手段に保存されている情報に基づき、前記領域に含まれる目印パターンの場所を特定し、特定された場所が少なくとも確認対象部位とは異なる態様でマーキングされた状態になるように前記画像を編集する、検査結果の目視確認作業の支援用システム。
5. 請求項１に記載されたシステムであって、外観検査装置との通信により外観検査に用いられた画像および計測データを含む検査結果情報を受け取るサーバと、確認作業のための表示部を有する端末装置とを含み、
   前記サーバには少なくとも前記画像記憶手段および計測データ記憶手段が設けられ、前記端末装置の表示部が前記表示手段として機能する、検査結果の目視確認作業の支援用システム。
6. 画像を用いた自動外観検査が行われた部位を複数有する検査対象物の少なくとも１つの被検査部位の状態を、実物の検査対象物を目視する方法により確認する作業を支援するための装置であって、
   確認対象部位の位置情報または識別情報に基づき、検査対象物の画像が保存される画像記憶手段から、確認対象部位を含み、かつ検査対象物の一部に相当する領域の画像を読み出す画像読出手段と、
   前記自動外観検査における計測処理において得られた計測データがその計測対象部位の位置情報に紐付けられて保存される計測データ記憶手段から、前記画像読出手段により読み出される画像に対応する領域内に含まれる位置情報に紐付けられた計測データを読み出して分析して、当該領域内の前記確認対象部位以外の被検査部位の中から、前記自動外観検査における計測処理において求められた計測値は良判定の範囲に入るが最適な計測値に対する当該計測値の乖離度が所定の値を上回る部位を、特徴部位として１つ以上抽出する特徴部位抽出手段と、
   前記画像読出手段により読み出された画像を、当該画像中の各特徴部位および前記確認対象部位が互いに異なる態様でマーキングされた状態に編集する画像編集手段と、
   前記画像編集手段により編集された画像の画像データを表示のために出力する出力手段とを、
   具備することを特徴とする検査結果の目視確認作業の支援用装置。
7. 画像を用いた自動外観検査が行われた部位を複数有する検査対象物の少なくとも１つの被検査部位の状態を、実物を目視する方法により確認する作業を支援するための方法であって、
   自動外観検査に応じて、この検査のための撮像により生成された検査対象物の画像を画像記憶手段に保存すると共に、自動外観検査における計測処理において得られた計測データをその計測対象の部位の位置情報に紐付けて計測データ記憶手段に保存するステップと、
   確認対象部位の位置情報または識別情報に基づき、当該確認対象部位を含み、かつ検査対象物の一部に相当する領域の画像を、前記画像記憶手段から読み出すステップと、
   前記画像記憶手段から読み出される画像に対応する領域内に含まれる位置情報に紐付けられて前記計測データ記憶手段に保存されている計測データを分析して、当該領域内の前記確認対象部位以外の被検査部位の中から、前記自動外観検査における計測処理において求められた計測値は良判定の範囲に入るが最適な計測値に対する当該計測値の乖離度が所定の値を上回る部位を、特徴部位として１つ以上抽出するステップと、
   前記画像記憶手段から読み出された画像を、当該画像中の各特徴部位および前記確認対象部位が互いに異なる態様でマーキングされた状態に編集して表示するステップとを、
   実行することを特徴とする検査結果の目視確認作業の支援方法。

Images