JP6723373B2 - 保存画像の再分類システム及び再分類方法 - Google Patents

Description

本明細書は、部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を正常画像と異常画像とに分類して記憶装置に保存し、保存した画像を再分類する保存画像の再分類システム及び再分類方法を開示したものである。

従来より、部品実装機においては、フィーダから供給される部品を吸着ノズルで吸着して回路基板上へ搬送する途中で、吸着ノズルに吸着した部品をカメラで撮像して、その撮像画像を処理して部品を認識し、その認識結果に基づいて部品吸着姿勢等の正常／異常を判定して、当該部品を回路基板に実装すると共に、部品実装機に発生した様々な異常の原因を究明する際に、その異常発生時の画像を調査できるようにするために、生産中に撮像した画像を正常画像と異常画像とに分類して記憶装置に保存するようにしている。尚、保存した画像は、画像処理用部品形状データの改善や部品吸着姿勢（位置・角度）の認識精度の改善等にも利用される。

しかし、生産中に撮像した画像を全て記憶装置に長期間保存すると、保存する画像数が膨大になるため、部品実装機に発生した様々な異常の原因究明時に保存画像を調査する作業に多大な手間がかかってしまう。

そこで、特許文献１（特開２０１２−１６９３９４号公報）では、フィーダや実装ヘッドの作動状況が変化し得る原因事象の画像のみを選択して記憶装置に長期間保存するようにしている。

特開２０１２−１６９３９４号公報

しかし、部品実装機には、フィーダや実装ヘッド以外にも、様々な装置が搭載されているため、部品実装機に発生する様々な異常の原因箇所は、フィーダや実装ヘッドのみに限定されない。このため、上記特許文献１のように、フィーダや実装ヘッドの作動状況が変化し得る原因事象の画像のみを選択して保存したのでは、その保存画像を調査しても、フィーダや実装ヘッド以外の装置が原因で発生する異常の原因を究明することは困難である。

かといって、前述したように、生産中に撮像した画像を全て保存するようにすると、保存する画像数が膨大になるため、部品実装機に発生する様々な異常の原因究明時等に保存画像を調査する作業に大変な手間がかかってしまう。

また、部品実装機の画像認識システムの部品認識結果が必ずしも正確であるとは限らず、誤認識している可能性もある。例えば、図２〜図４は、いずれも正常画像に分類されたリード付き部品の画像であるが、図２の画像のみが部品の吸着姿勢（位置と角度）を正しく認識できた画像であり、図３の画像は、ごみ等の異物をリードと誤判定して部品の吸着姿勢を誤認識した例であり、図４の画像は、部品吸着ミスで部品が吸着されていない吸着ノズルの下端面の研磨痕をリードと誤判定して部品を誤認識した例である。このように、保存した多数の正常画像の中には、その正常の判定が疑わしいものが混在するため、保存した正常画像を作業者が利用する場合は、多数の正常画像を１枚ずつ目視確認して、図３、図４等のように、正常の判定が疑わしい画像を分類し直す必要があり、その作業に大変な手間がかかってしまう。

上記課題を解決するために、部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存すると共に、前記部品実装機から搬出された部品実装基板を検査装置によって検査するシステムに適用され、前記検査装置の検査結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部を備えた構成としたものである。

例えば、部品実装機から搬出された部品実装基板を検査する検査装置によって実装不良（実装位置のずれ）又は実装されていないと判定された部品は、部品実装機の画像認識システムで正常画像と判定されていても、図３に示すように、ごみ等の異物により部品の吸着姿勢を誤認識したり、図４に示すように、部品を吸着ミスした吸着ノズルの下端面の研磨痕等によって部品を誤認識した可能性がある。

そこで、部品実装機の画像認識システムで分類された正常画像を検査装置の検査結果に基づいて正常の判定が疑わしいものと疑わしくないものとに自動的に再分類して記憶装置に保存するようにしたものである。このようにすれば、記憶装置に保存されている多数の正常画像を作業者が１枚ずつ目視確認して再分類する手間のかかる作業を行う必要がなくなると共に、実装不良等の原因を究明する際に、調査対象を正常の判定が疑わしいものに絞り込むことができて、原因究明を能率良く比較的短時間で行うことができる。

この場合、検査装置として、回路基板に実装した部品毎に実装状態の良否を検査する検査装置を使用している場合は、前記再分類部は、記憶装置に保存されている正常画像のうち、前記検査装置の検査結果が不合格となった部品の正常画像を、その正常の判定が疑わしいものとして再分類するようにすれば良い。

また、記憶装置に保存されている複数の正常画像の部品の位置と角度を計測する部品吸着姿勢計測部と、前記部品吸着姿勢計測部で計測した正常画像の部品の位置と角度をそれぞれ部品種毎に統計処理して部品の位置と角度のいずれかが所定のばらつき範囲から外れているか否かで前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部を備えた構成としても良い。一般に、部品実装機で部品を基板の実装位置に安定的に実装できた部品は、概ね似たような姿勢で吸着ノズルに吸着されているものと推定される。従って、記憶装置に保存されている複数の正常画像の部品吸着姿勢（位置と角度）を計測して、その計測値を部品種毎に統計処理して、部品吸着姿勢の計測値が所定のばらつき範囲から外れる正常画像は、部品実装機の画像認識システムで正常画像と判定されていても、誤認識の可能性があるため、その正常の判定が疑わしいものとして再分類するものである。

この場合、前記所定のばらつき範囲は、部品の位置と角度のそれぞれの平均値を中心にして標準偏差に応じて設定するようにしても良い。尚、平均値に代えて、中央値や最頻値を用いても良く、要は、計測値の分布の中心的な位置を示す値を用いれば良い。

また、前記部品吸着姿勢計測部は、記憶装置に保存されている異常画像についても、当該異常画像の部品の位置と角度を計測し、前記再分類部は、前記部品吸着姿勢計測部で計測した異常画像の部品の位置と角度の両方が当該部品と同じ部品種の正常画像の所定のばらつき範囲内であるか否かで前記異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存するようにしても良い。要するに、記憶装置に保存されている異常画像の部品吸着姿勢（位置と角度）を計測して、異常画像の部品吸着姿勢の計測値が当該部品と同じ部品種の正常画像の部品吸着姿勢の所定のばらつき範囲内であれば、当該異常画像が正常画像の所定のばらつき範囲内に収まっているため、誤認識の可能性があり、部品実装機の画像認識システムの異常の判定が疑わしいものとして再分類するものである。

また、記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択する正常画像選択部と、前記正常画像選択部により選択された正常画像の部品の位置と角度がそれぞれ基準位置と一致するように当該正常画像を移動及び回転させてテンプレート画像を作成するテンプレート画像作成部と、前記テンプレート画像作成部により作成された前記テンプレート画像を使用して残りの正常画像に対してマッチング処理を行うマッチング処理部と、前記マッチング処理部の処理結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部とを備えた構成としても良い。このように、記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択してテンプレート画像を作成して、そのテンプレート画像を使用して残りの正常画像に対してマッチング処理を行えば、両画像の相関性（類似度）を示す指標となる相関値とずれ量を求めることができる。両画像の相関性が低い場合（相関値が小さい場合やずれ量が部品実装機の画像認識システムの認識結果と大きく異なる場合）には、部品実装機の画像認識システムで正常画像と判定されていても、誤認識の可能性があるため、その正常の判定が疑わしいものとして再分類するものである。

この場合、前記正常画像選択部は、部品実装機から搬出された部品実装基板を検査する検査装置の検査結果に基づいて記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択するようにしても良い。

或は、前記正常画像選択部は、記憶装置に保存されている複数の正常画像の部品の位置と角度を計測し、その計測値を部品種毎に統計処理して、その処理結果に基づいて前記複数の正常画像の中からその正常の判定が疑わしくないもの（例えば分布の中央に位置する正常画像）を選択するようにしても良い。

或は、前記正常画像選択部は、記憶装置に保存されている複数の正常画像から平均的な正常画像を作成し、その平均的な正常画像を正常の判定が疑わしくないものとして選択するようにしても良い。

また、前記マッチング処理部は、前記テンプレート画像を使用して前記異常画像に対してもマッチング処理を行い、前記再分類部は、前記マッチング処理部の処理結果に基づいて前記異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存するようにしても良い。要するに、正常の判定が疑わしくない正常画像を用いて作成したテンプレート画像を使用して異常画像に対してマッチング処理を行い、両画像の相関性が高い場合には、部品実装機の画像認識システムで異常画像と判定されていても、誤認識の可能性があるため、その異常の判定が疑わしいものとして再分類するものである。

また、前記再分類部によって正常の判定が疑わしくないものに再分類された正常画像を学習して部品を認識する識別器（分類器）を作成するようにしても良い。このようにすれば、正常の判定が疑わしくない正常画像のみを教師データとして用いて学習して、精度の高い識別器を作成することができ、この識別器を部品実装機の画像認識システムに搭載することで、部品実装機の画像認識システムの部品認識精度を向上させることができる。

図１は実施例１の部品実装ラインと保存画像再分類システムの構成を概略的に示すブロック図である。 図２はリード付き部品の吸着姿勢を正しく認識した正常画像の例を示す図である。 図３はリード付き部品の吸着姿勢をごみにより誤認識した正常画像の例を示す図である。 図４は部品が吸着されていない吸着ノズルの下端面の研磨痕をリードと誤判定して部品を誤認識した正常画像の例を示す図である。 図５は実施例１の保存画像再分類プログラムの処理の流れを示すフローチャートである。 図６は実施例２の保存画像再分類プログラムの前半部の処理の流れを示すフローチャートである。 図７は実施例２の保存画像再分類プログラムの後半部の処理の流れを示すフローチャートである。 図８は正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の分布の一例を示す図である。 図９は実施例３の保存画像再分類プログラムの前半部の処理の流れを示すフローチャートである。 図１０は実施例３の保存画像再分類プログラムの後半部の処理の流れを示すフローチャートである。

以下、３つの実施例１〜３を説明する。

実施例１を図１乃至図５を用いて説明する。
まず、図１に基づいて部品実装ライン１０の構成を説明する。
部品実装ライン１０は、回路基板１１の搬送方向に沿って、１台又は複数台の部品実装機１２と、半田印刷機１３やフラックス塗布装置（図示せず）等の実装関連機を配列して構成されている。部品実装ライン１０の基板搬出側には、回路基板１１に実装した部品毎に実装状態の良否を検査する外観検査装置等の検査装置１４が設置されている。尚、部品実装ライン１０に設置する検査装置１４の台数は、１台に限定されず、複数台であっても良く、その一部の検査装置が部品実装ライン１０の途中の部品実装機１２の間に設置されていても良い。

部品実装ライン１０の各部品実装機１２、半田印刷機１３及び検査装置１４は、ネットワーク１６を介して生産管理用コンピュータ２１と相互に通信可能に接続され、この生産管理用コンピュータ２１によって部品実装ライン１０の生産が管理される。各部品実装機１２は、生産管理用コンピュータ２１から送信されてくる生産ジョブに従って、実装ヘッド１８を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ１９から供給される部品を実装ヘッド１８の吸着ノズル（図示せず）で吸着して当該部品を部品撮像用カメラ（図示せず）で撮像して、その撮像画像を部品実装機１２の画像認識システム１７で処理して当該部品の吸着姿勢（位置Ｘ，Ｙと角度θ）を計測し、当該部品の位置Ｘ，Ｙや角度θのずれを補正して当該部品を回路基板１１に実装するという動作を繰り返して、当該回路基板１１に所定数の部品を実装する。

更に、各部品実装機１２の画像認識システム１７は、部品撮像用カメラで撮像した画像を、部品認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置２０に保存する。この記憶装置２０は、部品実装機１２の異常発生時の原因調査に必要な数の画像を保存できる記憶容量を持ち、電源オフ状態でも記憶データを保持する書き換え可能な不揮発性の記憶媒体（例えばハードディスク装置等）によって構成されている。この記憶装置２０の保存画像数は、予め決められた所定数又は所定メモリ容量を超えると、最古の保存画像が自動削除されて、最新の画像が保存される。

部品実装ライン１０の各部品実装機１２を順番に通過して生産された部品実装基板は、検査装置１４に搬入されて、回路基板１１に実装された部品毎に実装状態の良否が検査される。ネットワーク１６には、保存画像再分類コンピュータ２２が接続され、検査装置１４の検査結果（合格／不合格）が生産管理用コンピュータ２１と保存画像再分類コンピュータ２２に送信される。

ところで、部品実装機１２から搬出された部品実装基板を検査する検査装置１４によって実装不良（実装位置のずれ）又は実装されていないと判定された部品は、部品実装機１２の画像認識システム１７で正常画像と判定されていても、図３に示すように、ごみ等の異物により部品の吸着姿勢を誤認識したり、図４に示すように、部品を吸着ミスした吸着ノズルの下端面の研磨痕等によって部品を誤認識した可能性がある。

そこで、保存画像再分類コンピュータ２２は、後述する図５の保存画像再分類プログラムを実行することで、記憶装置２０に保存されている正常画像を読み出して、検査装置１４の検査結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する「再分類部」として機能する。ここで、「正常の判定が疑わしい」とは、「正常画像ではない可能性がある」という意味である。再分類の結果を保存する際に、例えば、再分類した画像のファイル名を分類毎に分けてテキストファイルに書き込んでも良いし、再分類した画像を保存する記憶エリアを分類毎に分けても良いし、再分類した画像のファイル名に、分類を示す特定の文字列を付加しても良く、要は、作業者が再分類の結果を容易に目視確認できるようにすれば良い。

更に、本実施例１では、検査装置１４は、回路基板１１に実装した部品毎に実装状態の良否を検査するため、保存画像再分類コンピュータ２２は、部品実装機１２の記憶装置２０に保存されている正常画像のうち、検査装置１４の検査結果が不合格となった部品の正常画像を、その正常の判定が疑わしいものとして再分類するようにしている。

尚、部品実装機１２の画像認識システム１７で異常画像と判定された場合には、吸着ノズルに吸着されている部品は、廃棄されて回路基板１１に実装されないため、異常画像と判定された部品については検査装置１４で検査されない。

以上説明した本実施例１の正常画像の再分類は、保存画像再分類コンピュータ２２によって図５の保存画像再分類プログラムに従って次のように実行される。図５の保存画像再分類プログラムは、生産中（部品実装機１２の稼働中）又は生産終了後に起動される。尚、部品実装機１２の画像認識システム１７の主体となる制御装置のＣＰＵ処理能力に余裕がある場合は、部品実装機１２の制御装置で図５の保存画像再分類プログラムを実行するようにしても良い。この場合は、部品実装機１２の制御装置が「再分類部」を兼ねるため、保存画像再分類コンピュータ２２を設ける必要はない。或は、生産管理用コンピュータ２１によって図５の保存画像再分類プログラムを実行するようにしても良い。この場合は、生産管理用コンピュータ２１が「再分類部」を兼ねるため、保存画像再分類コンピュータ２２を設ける必要はない。

図５の保存画像再分類プログラムが起動されると、まず、ステップ１０１で、部品実装機１２の記憶装置２０に保存されている正常画像を取得し、次のステップ１０２で、検査装置１４から当該正常画像中の部品の検査結果を取得する。

この後、ステップ１０３に進み、当該部品の検査結果が不合格であるか否かを判定して、不合格であると判定されれば、ステップ１０４に進み、当該正常画像を、正常の判定が疑わしいものとして再分類して記憶装置２０に保存してステップ１０６に進む。一方、上記ステップ１０３で、当該部品の検査結果が合格であると判定されれば、ステップ１０５に進み、当該正常画像を、正常の判定が疑わしくないものとして再分類して記憶装置２０に保存してステップ１０６に進む。

このステップ１０６で、再分類する正常画像が残っているか否かを判定して、残っていると判定されれば、上述したステップ１０１以降の処理を繰り返して、検査装置１４の検査結果に基づいて正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する処理を繰り返す。その後、上記ステップ１０６で、再分類する正常画像が残っていないと判定された時点で、本プログラムを終了する。

尚、図５の保存画像再分類プログラムでは、ステップ１０１〜１０２で、正常画像の取得と検査結果の取得を、１つずつ行うようにしたが、その時点で取得可能な全ての正常画像と全ての検査結果を一括して取得するようにしても良い。

以上説明した本実施例１では、図５の保存画像再分類プログラムによって、部品実装機１２の画像認識システム１７で分類された正常画像を、検査装置１４の検査結果に基づいて正常の判定が疑わしいものと疑わしくないものとに自動的に再分類して記憶装置２０に保存するようにしたので、記憶装置２０に保存されている多数の正常画像を作業者が１枚ずつ目視確認して再分類する手間のかかる作業を行う必要がなくなると共に、実装不良等の原因を究明する際に、調査対象を正常の判定が疑わしいものに絞り込むことができて、原因究明を能率良く比較的短時間で行うことができる。

また、図５の保存画像再分類プログラムによって再分類された正常画像の他の利用方法として、正常の判定が疑わしくないものに再分類された正常画像を学習して、部品を認識する識別器（分類器）を作成するようにしても良い。このようにすれば、正常の判定が疑わしくない正常画像のみを教師データとして用いて学習して、精度の高い識別器を作成することができ、この識別器を部品実装機１２の画像認識システム１７に搭載することで、部品実装機１２の画像認識システム１７の部品認識精度を向上させることができる。

尚、本実施例１では、検査装置１４が回路基板１１に実装した部品毎に実装状態の良否を検査するようにしたが、回路基板１１の実装面に部品毎に検査できない実装エリアが存在する場合や、複数の部品が含まれる実装エリア毎に検査する場合は、検査結果が不合格になった実装エリアに含まれる全ての部品の正常画像を、その正常の判定が疑わしいものとして再分類するようにすれば良い。

次に、実施例２を図６乃至図８を用いて説明する。但し、上記実施例１と実質的に同じ部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。

一般に、部品実装機１２で部品を回路基板１１の実装位置に安定的に実装できた部品は、概ね似たような姿勢で吸着ノズルに吸着されているものと推定される。この特性を考慮して、本実施例２では、保存画像再分類コンピュータ２２によって、後述する図６及び図７の保存画像再分類プログラムを実行することで、部品実装機１２の記憶装置２０に保存されている複数の正常画像の部品吸着姿勢（位置Ｘ，Ｙと角度θ）を計測して、その計測値Ｘ，Ｙ，θを部品種毎に統計処理して分布を評価し（図８参照）、その計測値Ｘ，Ｙ，θのいずれかが所定のばらつき範囲から外れる正常画像は、部品実装機１２の画像認識システム１７で正常画像と判定されていても、誤認識の可能性があるため、その正常の判定が疑わしいものとして再分類する。

本実施例２では、所定のばらつき範囲は、部品の位置Ｘ，Ｙと角度θのそれぞれの平均値（Ｘav，Ｙav，θav）を中心にしてそれぞれの標準偏差（σ_X ，σ_Y ，σθ ）に応じて次式により設定されている。

Ｘの所定のばらつき範囲＝平均値Ｘav±標準偏差σ_X ×ａ_X …（１）
Ｙの所定のばらつき範囲＝平均値Ｙav±標準偏差σ_Y ×ａ_Y …（２）
θの所定のばらつき範囲＝平均値θav±標準偏差σθ ×ａθ …（３）

ここで、ａ_X 、ａ_Y 、ａθ は、所定のばらつき範囲の幅を調整する係数である。この係数ａ_X 、ａ_Y 、ａθ は、予め設定された固定値としても良いし、作業者が入力操作で調整可能な係数としても良い。
尚、平均値に代えて、中央値や最頻値を用いても良く、要は、計測値Ｘ，Ｙ，θの分布の中心的な位置を示す値を用いれば良い。

更に、本実施例２では、部品実装機１２の記憶装置２０に保存されている異常画像についても、当該異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）を計測し、その計測値Ｘ，Ｙ，θが当該部品と同じ部品種の正常画像の部品吸着姿勢の所定のばらつき範囲内であるか否かで異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存するようにしている。要するに、記憶装置２０に保存されている異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）を計測して、その計測値Ｘ，Ｙ，θが当該部品と同じ部品種の正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の所定のばらつき範囲内であれば、当該異常画像が正常画像の所定のばらつき範囲内に収まっており、誤認識の可能性があるため、部品実装機１２の画像認識システム１７の異常の判定が疑わしいものとして再分類するものである。

以上説明した本実施例２の正常画像の再分類は、保存画像再分類コンピュータ２２によって図６及び図７の保存画像再分類プログラムに従って次のように実行される。尚、部品実装機１２の制御装置又は生産管理用コンピュータ２１によって図６及び図７の保存画像再分類プログラムを実行するようにしても良い。

図６及び図７の保存画像再分類プログラムは、生産終了後に起動され、「再分類部」としての役割を果たす。尚、生産中であっても、部品実装機１２の記憶装置２０に保存した画像数が統計処理（平均値と標準偏差の算出）を必要な精度で実行可能な画像数に達した後であれば、図６及び図７の保存画像再分類プログラムを実行するようにしても良い。

図６及び図７の保存画像再分類プログラムが起動されると、まず、ステップ２０１で、部品実装機１２の記憶装置２０に保存されている全ての正常画像を取得した後、ステップ２０２に進み、各正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）を計測する。このステップ２０２の処理が「部品吸着姿勢計測部」としての役割を果たす。

この後、ステップ２０３に進み、部品吸着姿勢（Ｘ，Ｙ，θ）の計測値を部品種毎に統計処理して、平均値（Ｘav，Ｙav，θav）と標準偏差（σ_X ，σ_Y ，σθ ）を算出する。この後、ステップ２０４に進み、前述した（１）〜（３）式を用いて、部品吸着姿勢（Ｘ，Ｙ，θ）の所定のばらつき範囲を算出する。

この後、ステップ２０５に進み、再分類する正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が所定のばらつき範囲から外れているか否かを判定し、その結果、当該正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が所定のばらつき範囲から外れていると判定されれば、ステップ２０６に進み、当該正常画像を、正常の判定が疑わしいものとして再分類して記憶装置２０に保存してステップ２０８に進む。一方、上記ステップ２０５で、当該正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が所定のばらつき範囲内と判定されれば、ステップ２０７に進み、当該正常画像を、正常の判定が疑わしくないものとして再分類して記憶装置２０に保存してステップ２０８に進む。

このステップ２０８で、再分類する正常画像が残っているか否かを判定して、残っていると判定されれば、上述したステップ２０５以降の処理を繰り返して、正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が所定のばらつき範囲から外れているか否で、正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する処理を繰り返す。

その後、上記ステップ２０８で、再分類する正常画像が残っていないと判定された時点で、図７のステップ２０９以降の処理を実行して、部品実装機１２の記憶装置２０に保存されている異常画像についても、次のようにして、その異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する。

まず、ステップ２０９で、部品実装機１２の記憶装置２０に保存されている全ての異常画像を取得した後、ステップ２１０に進み、各異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）を計測する。このステップ２１０の処理が「部品吸着姿勢計測部」としての役割を果たす。この後、ステップ２１１に進み、再分類する異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値がこれと同じ部品種の正常画像の部品吸着姿勢の所定のばらつき範囲内であるか否かを判定する。この際、所定のばらつき範囲は、前記ステップ２０４で算出した値をそのまま用いても良いし、所定のばらつき範囲の幅を調整する係数ａ_X 、ａ_Y 、ａθ を変更して所定のばらつき範囲の幅を変更しても良い。

このステップ２１１で、当該異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が正常画像の所定のばらつき範囲内と判定されれば、ステップ２１２に進み、当該異常画像を、異常の判定が疑わしいものとして再分類して記憶装置２０に保存してステップ２１４に進む。一方、上記ステップ２１１で、当該異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が正常画像の所定のばらつき範囲から外れていると判定されれば、ステップ２１３に進み、当該異常画像を、異常の判定が疑わしくないものとして再分類して記憶装置２０に保存してステップ２１４に進む。

このステップ２１４で、再分類する異常画像が残っているか否かを判定して、残っていると判定されれば、上述したステップ２１１以降の処理を繰り返して、異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値が正常画像の所定のばらつき範囲内であるか否で、異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する処理を繰り返す。その後、上記ステップ２１４で、再分類する異常画像が残っていないと判定された時点で、本プログラムを終了する。

以上説明した本実施例２においても、前記実施例１と同様の効果を得ることができる。
更に、本実施例２では、部品実装機１２の記憶装置２０に保存されている異常画像についても、当該異常画像の部品吸着姿勢（Ｘ，Ｙ，θ）の計測値がこれと同じ部品種の正常画像の部品吸着姿勢の所定のばらつき範囲内であるか否かで、当該異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類するようにしたので、記憶装置２０に保存されている異常画像についても、作業者が１枚ずつ目視確認して再分類する手間のかかる作業を行う必要がなくなると共に、実装不良等の原因を究明する際に、異常画像の調査対象を異常の判定が疑わしいもの絞り込むことができて、原因究明を能率良く比較的短時間で行うことができる。

ところで、部品実装機１２の画像認識システム１７で異常画像と判定された場合は、吸着ノズルに吸着した部品を回路基板１１に実装せずに廃棄するため、異常画像の誤判定の回数が増えると、無駄な部品廃棄が増えて、生産時間が長くなり、生産が予定通りに終了しなくなる。このため、生産の遅れが顕著になると、作業者は、その原因を調査する必要がある。この際、作業者は、部品実装機１２の記憶装置２０に保存されている異常画像を目視確認して無駄な部品廃棄が多いか否かを調査することがあるが、記憶装置２０に保存されている多くの異常画像を１枚ずつ目視確認すると、非常に手間がかかる。

その点、本実施例２では、部品実装機１２の記憶装置２０に保存されている異常画像を、その異常の判定が疑わしいものと疑わしくないものとに再分類するため、無駄な部品廃棄が多い場合（即ち生産が予定通りに終了しない場合）に、作業者は、異常画像の調査対象を異常の判定が疑わしいもの絞り込むことができて、無駄な部品廃棄が多い原因をいち早く気付くことができる。

尚、図６及び図７の保存画像再分類プログラムによって再分類された正常画像の他の利用方法として、正常の判定が疑わしくないものに再分類された正常画像を学習して、部品を認識する識別器（分類器）を作成して、この識別器を部品実装機１２の画像認識システム１７に搭載するようにしても良い。

次に、実施例３を図９及び図１０を用いて説明する。但し、前記実施例１と実質的に同じ部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。

本実施例３では、保存画像再分類コンピュータ２２によって図９及び図１０の保存画像再分類プログラムを実行することで、部品実装機１２の記憶装置２０に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを１つ選択してテンプレート画像を作成して、そのテンプレート画像を使用して残りの正常画像に対してマッチング処理を行うことで、正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存すると共に、記憶装置２０に保存されている異常画像に対しても、前記テンプレート画像を使用してマッチング処理を行うことで、異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する。

このように、正常の判定が疑わしくない正常画像を用いて作成したテンプレート画像を使用して残りの正常画像に対してマッチング処理を行えば、両画像の相関性（類似度）を示す指標となる相関値とずれ量を求めることができる。両画像の相関性が低い場合（相関値が小さい場合やずれ量が部品実装機１２の画像認識システム１７の認識結果と大きく異なる場合）には、部品実装機１２の画像認識システム１７で正常画像と判定されていても、誤認識の可能性があるため、その正常の判定が疑わしいものとして再分類することができる。

また、正常の判定が疑わしくない正常画像を用いて作成したテンプレート画像を使用して異常画像に対してマッチング処理を行い、両画像の相関性が高い場合には、部品実装機１２の画像認識システム１７で異常画像と判定されていても、誤認識の可能性があるため、その異常の判定が疑わしいものとして再分類することができる。ここで、「異常の判定が疑わしい」とは、「異常画像ではない可能性がある」という意味である。

以上説明した本実施例３の保存画像の再分類は、保存画像再分類コンピュータ２２によって図９及び図１０の保存画像再分類プログラムに従って実行される。図９及び図１０の保存画像再分類プログラムは、生産中（部品実装機１２の稼働中）又は生産終了後に起動され、「再分類部」としての役割を果たす。尚、部品実装機１２の制御装置又は生産管理用コンピュータ２１によって図９及び図１０の保存画像再分類プログラムを実行するようにしても良い。

図９及び図１０の保存画像再分類プログラムが起動されると、まず、ステップ３０１で、部品実装機１２の記憶装置２０に保存されている全ての正常画像を取得した後、ステップ３０２に進み、取得した正常画像の中からその正常の判定が疑わしくないものを次の（１）〜（３）のいずれかの方法で１つ選択する。このステップ３０２の処理が「正常画像選択部」としての役割を果たす。

（１）前記実施例１と同様に、部品実装機１２から搬出された部品実装基板を検査する検査装置１４の検査結果に基づいて、ステップ３０１で取得した複数の正常画像の中からその正常の判定が疑わしくないものを１つ選択する。つまり、検査装置１４の検査結果が合格となった部品の正常画像を、その正常の判定が疑わしくないものとして選択する。

（２）前記実施例２と同様に、ステップ３０１で取得した複数の正常画像の部品吸着姿勢（Ｘ，Ｙ，θ）を計測し、その計測値を部品種毎に統計処理して、その処理結果に基づいて複数の正常画像の中からその正常の判定が疑わしくないもの（例えば分布の中央に位置する正常画像）を１つ選択する。

（３）ステップ３０１で取得した複数の正常画像から平均的な正常画像を作成し、その平均的な正常画像を正常の判定が疑わしくないものとして選択する。この際、複数の正常画像を単純に平均化して作成した平均画像を用いても良いし、その他の方法（例えばＫＬ展開等）を用いて平均的な正常画像を作成しても良い。

その後、ステップ３０３に進み、上記ステップ３０１で選択された、正常の判定が疑わしくない正常画像の部品の位置（Ｘ，Ｙ）と角度θがそれぞれ基準位置と一致するように当該正常画像を移動及び回転させてテンプレート画像を作成する。このステップ３０２の処理が「テンプレート画像作成部」としての役割を果たす。

この後、ステップ３０４に進み、テンプレート画像を使用して、再分類する正常画像に対してマッチング処理（例えば正規化相関、位相限定相関等）を行って、両画像の相関性を示す指標となる相関値とずれ量を求める。

そして、次のステップ３０５で、再分類する正常画像とテンプレート画像との相関性が低いか否かを相関値とずれ量に基づいて判定する。この際、相関値が所定値より小さい場合やずれ量が部品実装機１２の画像認識システム１７の認識結果と所定値以上に大きく異なる場合には、両画像の相関性が低いと判定して、ステップ３０６に進み、当該正常画像を、正常の判定が疑わしいものとして再分類して記憶装置２０に保存してステップ３０８に進む。一方、上記ステップ３０５で、両画像の相関性が高いと判定されれば、ステップ３０７に進み、当該正常画像を、正常の判定が疑わしくないものとして再分類して記憶装置２０に保存してステップ３０８に進む。

このステップ３０８で、再分類する正常画像が残っているか否かを判定して、残っていると判定されれば、上述したステップ３０４以降の処理を繰り返して、再分類する正常画像とテンプレート画像との相関性が低いか否かで、当該正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する処理を繰り返す。その後、上記ステップ３０８で、再分類する正常画像が残っていないと判定された時点で、図１０のステップ３０９以降の処理を実行して、部品実装機１２の記憶装置２０に保存されている異常画像についても、次のようにして、その異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する。

まず、ステップ３０９で、部品実装機１２の記憶装置２０に保存されている全ての異常画像を取得した後、ステップ３１０に進み、上記ステップ３０３で作成したテンプレート画像を使用して、再分類する異常画像に対してマッチング処理（例えば正規化相関、位相限定相関等）を行って、両画像の相関性を示す指標となる相関値とずれ量を求める。

そして、次のステップ３１１で、再分類する異常画像とテンプレート画像との相関性が高いか否かを相関値とずれ量に基づいて判定する。この際、相関値が所定値より大きい場合やずれ量が部品実装機１２の画像認識システム１７の認識結果とさほど異ならない場合には、両画像の相関性が高いと判定して、ステップ３１２に進み、当該異常画像を、異常の判定が疑わしいものとして再分類して記憶装置２０に保存してステップ３１４に進む。一方、上記ステップ３１１で、両画像の相関性が低いと判定されれば、ステップ３１２に進み、当該異常画像を、異常の判定が疑わしくないものとして再分類して記憶装置２０に保存してステップ３１４に進む。

このステップ３１４で、再分類する異常画像が残っているか否かを判定して、残っていると判定されれば、上述したステップ３１０以降の処理を繰り返して、再分類する異常画像とテンプレート画像との相関性が高いか否かで、当該異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して記憶装置２０に保存する処理を繰り返す。その後、上記ステップ３１４で、再分類する異常画像が残っていないと判定された時点で、本プログラムを終了する。
以上説明した本実施例３においても、前記実施例１、２と同様の効果を得ることができる。

尚、図９及び図１０の保存画像再分類プログラムによって再分類された正常画像の他の利用方法として、正常の判定が疑わしくないものに再分類された正常画像を学習して、部品を認識する識別器（分類器）を作成して、この識別器を部品実装機１２の画像認識システム１７に搭載するようにしても良い。

また、上記実施例１〜３では、正常画像と異常画像を部品実装機１２の記憶装置２０に保存するようにしたが、保存画像再分類コンピュータ２２の記憶装置又は生産管理用コンピュータ２１の記憶装置、或は他のサーバーに保存するようにしても良い。

その他、本発明は、上記実施例１〜３に限定されず、例えば、部品実装ライン１０の構成を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。

１０…部品実装ライン、１１…回路基板、１２…部品実装機、１４…検査装置、１７…画像認識システム、１９…フィーダ、２０…記憶装置、２２…保存画像再分類コンピュータ（再分類部，部品吸着姿勢計測部，正常画像選択部，テンプレート画像作成部，マッチング処理部）

Claims (14)

1. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存すると共に、前記部品実装機から搬出された部品実装基板を検査装置によって検査するシステムに適用され、
   前記検査装置の検査結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部を備える、保存画像の再分類システム。
2. 前記検査装置は、回路基板に実装した部品毎に実装状態の良否を検査し、
   前記再分類部は、前記正常画像のうち、前記検査装置の検査結果が不合格となった部品の正常画像を、その正常の判定が疑わしいものとして再分類する、請求項１に記載の保存画像の再分類システム。
3. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存するシステムに適用され、
   前記記憶装置に保存されている複数の正常画像の部品の位置と角度を計測する部品吸着姿勢計測部と、
   前記部品吸着姿勢計測部で計測した正常画像の部品の位置と角度をそれぞれ部品種毎に統計処理して部品の位置と角度のいずれかが所定のばらつき範囲から外れているか否かで前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部を備える、保存画像の再分類システム。
4. 前記再分類部は、前記所定のばらつき範囲を、前記部品の位置と角度のそれぞれの平均値を中心にして標準偏差に応じて設定する、請求項３に記載の保存画像の再分類システム。
5. 前記部品吸着姿勢計測部は、前記記憶装置に保存されている異常画像についても、当該異常画像の部品の位置と角度を計測し、
   前記再分類部は、前記部品吸着姿勢計測部で計測した異常画像の部品の位置と角度の両方が当該部品と同じ部品種の前記正常画像の所定のばらつき範囲内であるか否かで前記異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する、請求項３又は４に記載の保存画像の再分類システム。
6. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存するシステムに適用され、
   前記記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択する正常画像選択部と、
   前記正常画像選択部により選択された正常画像の部品の位置と角度がそれぞれ基準位置と一致するように当該正常画像を移動及び回転させてテンプレート画像を作成するテンプレート画像作成部と、
   前記テンプレート画像作成部により作成された前記テンプレート画像を使用して残りの正常画像に対してマッチング処理を行うマッチング処理部と、
   前記マッチング処理部の処理結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する再分類部と
   を備える、保存画像の再分類システム。
7. 前記正常画像選択部は、前記部品実装機から搬出された部品実装基板を検査する検査装置の検査結果に基づいて前記記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択する、請求項６に記載の保存画像の再分類システム。
8. 前記正常画像選択部は、前記記憶装置に保存されている複数の正常画像の部品の位置と角度を計測し、その計測値を部品種毎に統計処理して、その処理結果に基づいて前記複数の正常画像の中からその正常の判定が疑わしくないものを選択する、請求項６に記載の保存画像の再分類システム。
9. 前記正常画像選択部は、前記記憶装置に保存されている複数の正常画像から平均的な正常画像を作成し、その平均的な正常画像を正常の判定が疑わしくないものとして選択する、請求項６に記載の保存画像の再分類システム。
10. 前記マッチング処理部は、前記テンプレート画像を使用して前記異常画像に対してもマッチング処理を行い、
    前記再分類部は、前記マッチング処理部の処理結果に基づいて前記異常画像をその異常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する、請求項６乃至９のいずれかに記載の保存画像の再分類システム。
11. 前記再分類部によって正常の判定が疑わしくないものに再分類された正常画像を学習して正常画像を分類する識別器を作成する識別器作成部を備える、請求項１乃至１０のいずれかに記載の保存画像の再分類システム。
12. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存すると共に、前記部品実装機から搬出された部品実装基板を検査装置によって検査するシステムを使用し、
    前記検査装置の検査結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する、保存画像の再分類方法。
13. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存するシステムを使用し、
    前記記憶装置に保存されている複数の正常画像の部品の位置と角度を計測し、計測した部品の位置と角度をそれぞれ部品種毎に統計処理して部品の位置と角度のいずれかが所定のばらつき範囲から外れているか否かで前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する、保存画像の再分類方法。
14. 部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、撮像した画像を画像認識システムで処理して当該部品を認識し、その認識結果に基づいて正常か異常かを判定して、当該画像を正常画像と異常画像とに分類して記憶装置に保存するシステムを使用し、
    前記記憶装置に保存されている複数の正常画像の中からその正常の判定が疑わしくないものを選択し、
    選択した正常画像の部品の位置と角度がそれぞれ基準位置と一致するように当該正常画像を移動及び回転させてテンプレート画像を作成し、
    作成した前記テンプレート画像を使用して残りの正常画像に対してマッチング処理を行い、
    前記マッチング処理部の処理結果に基づいて前記正常画像をその正常の判定が疑わしいものと疑わしくないものとに再分類して前記記憶装置に保存する、保存画像の再分類方法。

Images