JP6809891B2

JP6809891B2 - 画像処理システム及び画像処理方法

Info

Publication number: JP6809891B2
Application number: JP2016243461A
Authority: JP
Inventors: 雅史天野; 秀一郎鬼頭
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-12-15
Filing date: 2016-12-15
Publication date: 2021-01-06
Anticipated expiration: 2036-12-15
Also published as: JP2018097731A

Description

本明細書は、生産中にカメラで撮像対象を撮像した画像を超解像処理して当該撮像対象を認識する画像処理システム及び画像処理方法に関する技術を開示したものである。

カメラで撮像した画像の解像度が低いために微細な対象物の認識が困難な場合に、その画像を高解像度画像に変換して微細な対象物の認識を可能とする技術として超解像技術が知られている。この超解像技術は、特許文献１（特開平１１−１９１１５７号公報）、特許文献２（国際公開２０１５／０８３２２０号公報）に記載されているように、低解像度画像から高解像度画像を推定する再構成型超解像と、ディープラーニング等の機械学習を用いて高解像度画像を推定する学習型超解像とに大別される。

後者の学習型超解像は、１枚の低解像度画像から高解像度画像を推定する場合（シングルフレーム学習型とも呼ばれる）には、撮像対象の撮像と高解像度画像の推定に要する時間も短く、高速処理が可能である。さらに学習型超解像は、複数の低解像度画像から高解像度画像を推定する場合（マルチフレーム学習型とも呼ばれる）も、シングルフレーム学習型の場合も、事前に学習する教師データの学習精度を高めることで、画質改善効果が高い高解像度画像を比較的短時間で推定できる利点がある。その反面、事前に教師データとなる低解像度画像と高解像度画像とのペアを多数学習しておく必要があるため、事前の教師データの学習に長い時間がかかるという欠点がある。とりわけ、部品実装機のように、取り扱う撮像対象物（電子部品等）の品種が多い場合は、多品種にわたる撮像対象物の教師データを用意することが困難であり、たとえ用意できたとしても、学習に必要な教師データの数が非常に多くなるため、教師データの学習に必要な時間も長くなり、その分、生産開始が遅れて生産性が低下するという欠点がある。

そのため、部品実装機のように、生産中に取り扱う撮像対象物の品種が多い場合は、特許文献１、２のように、事前の学習が不要な再構成型超解像が使用される。

特開平１１−１９１１５７号公報国際公開２０１５／０８３２２０号公報

しかし、再構成型超解像技術では、複数枚の低解像度画像から高解像度画像を推定するマルチフレーム再構成型の場合、カメラ又は撮像対象物を移動させて複数回撮像して複数枚の低解像度画像を取得する必要があり、低解像度画像の取得に要する時間が長くなると共に、各フレーム間の移動量を演算したり、高解像度画像の推定を繰り返し行う必要があるため、高解像度画像の推定に要する演算時間も長くなり、その分、サイクルタイムが長くなって生産性を低下させてしまう欠点がある。同様に、１枚の低解像度画像から高解像度画像を推定するシングルフレーム再構成型の場合も、高解像度画像の推定に要する演算時間が長くなり、生産性を低下させてしまう欠点がある。最近では、高解像度画像のさらなる画質向上の要求がある。再構成型超解像技術でこの要求に対応するには、情報量を増やすために、低解像度画像の撮像回数を増やしたり、高解像度画像の推定回数を増やしたりするので、さらなる生産性の低下が問題となっている。

上記課題を解決するために、生産中にカメラで撮像対象を撮像した画像を超解像処理して前記撮像対象を認識する画像処理システムにおいて、生産中に前記撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理を行う再構成型超解像処理部と、前記再構成型超解像処理部による前記再構成型超解像処理の実行期間中に、入力である前記低解像度画像と出力となる前記高解像度画像とのペアを教師データとして収集して前記低解像度画像と前記高解像度画像との関係性を学習する学習部と、生産中に前記学習部の学習結果に基づいて前記撮像対象を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理を行う学習型超解像処理部と、生産中に前記再構成型超解像処理又は前記学習型超解像処理で推定した前記高解像度画像を処理して前記撮像対象を認識する認識部と、生産中に前記学習部による前記教師データの学習が完了するまでは前記再構成型超解像処理部で前記再構成型超解像処理により前記高解像度画像を推定し、前記学習部による前記教師データの学習が完了した後は前記学習型超解像処理部に切り替えて前記学習型超解像処理により前記高解像度画像を推定する超解像処理切替部とを備えた構成としている。

この構成では、学習型超解像処理に必要な教師データの学習が完了するまでは再構成型超解像処理により高解像度画像を推定すると共に、この再構成型超解像処理の実行期間中に、学習部によって、入力である低解像度画像と出力となる高解像度画像とのペアを教師データとして収集して学習し、この学習が完了した後に再構成型超解像処理から学習型超解像処理に切り替えて高解像度画像を推定するようにしているため、生産開始前に学習型超解像処理に用いる教師データの収集や学習を行う必要がなく、生産開始後に再構成型超解像処理により高解像度画像を推定する処理と並行して、学習部によって教師データの収集と学習を自動的に行うことができる。しかも、生産中に教師データの学習が完了した後は、再構成型超解像処理から学習型超解像処理に切り替えるため、再構成型超解像処理よりも撮像対象の撮像や画像処理を高速化でき、生産性および／あるいは、撮像対象の認識精度を向上できる。

この場合、教師データの学習完了の判断方法は、例えば、（１）学習した教師データの数が学習精度を確保するのに必要な所定数に達した時点で教師データの学習を完了するようにしても良い。或は、（２）学習部が学習した最新の学習結果を用いて学習型超解像処理で推定した高解像度画像と再構成型超解像処理で推定した高解像度画像との間の誤差が所定値以内になった時点で前記教師データの学習を完了するようにしても良い。或は、（３）学習部が学習した最新の学習結果を用いて学習型超解像処理で推定した高解像度画像の画像処理結果（撮像対象の認識結果）と再構成型超解像処理で推定した高解像度画像の画像処理結果との間の誤差が所定値以内になった時点で教師データの学習を完了するようにしても良い。学習型超解像処理と再構成型超解像処理との間で高解像度画像の誤差や画像処理結果の誤差が十分に小さくなれば、学習が十分に進んだと判断できるためである。

また、前記学習部の学習結果は、電源オフ状態でも記憶データが保持される書き換え可能な不揮発性の記憶装置に保存するようにすると良い。このようにすれば、生産開始時に取り扱う撮像対象に関する教師データの学習結果が記憶装置に保存されている場合は、生産開始当初から記憶装置に保存されている教師データの学習結果を用いて学習型超解像処理を行うことができる。

一般に、再構成型超解像処理は、推定回数を増加させると高解像度画像の画質が向上する性質があるが、生産中に再構成型超解像処理部が行う推定回数を増加させると、高解像度画像の推定に要する演算時間が長くなり、生産性が低下する要因となる。そのため、生産中に再構成型超解像処理部は、撮像対象の認識に必要最低限の画質を確保できる範囲内で少ない推定回数で推定処理を打ち切ることで、演算時間を短縮して生産性の低下を防ぐことになる。

これに対し、再構成型超解像処理部が行う再構成型超解像処理と並行して行う学習部の学習は、生産とは関係なく、時間的な制約を受けずに実行できる。この点を考慮して、前記学習部は、前記再構成型超解像処理部による前記再構成型超解像処理よりも推定回数の多い再構成型超解像処理を改めて実行して前記低解像度画像から前記高解像度画像を改めて推定して前記教師データを収集して学習するようにしても良い。このように、学習時に推定回数の多い再構成型超解像処理を改めて実行すれば、画質を改善した高解像度画像を用いて教師データを学習することができるため、教師データの学習精度を高めることができて、推定される高解像度画像の画質を向上できる。推定される高解像度画像の画質が向上することで、学習型超解像処理による撮像対象の認識精度を向上できる。

また、再構成型超解像処理では、レンズのボケ関数（点拡がり関数とも呼ばれる）を定義して高解像度画像の推定に用いるが、このレンズのボケ関数に関しても、推定回数と同様に、撮像対象の認識に必要最低限の画質を確保できる範囲内で単純化したボケ関数を用いることで、演算時間を短縮して生産性の低下を防ぐことになる。

その点、上述したように、学習部の学習は、生産とは関係なく、時間的な制約を受けずに実行できるため、前記学習部は、前記再構成型超解像処理部による前記再構成型超解像処理よりもレンズのボケ関数を厳密化した再構成型超解像処理を改めて実行して前記低解像度画像から前記高解像度画像を改めて推定して前記教師データを収集して学習するようにしても良い。このように、学習時にレンズのボケ関数を厳密化した再構成型超解像処理を改めて実行すれば、画質を改善した高解像度画像を用いて教師データを学習することができるため、教師データの学習精度を高めることができて、学習型超解像処理による撮像対象の認識精度を向上できる。

また、前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記学習部の学習結果を更新する必要があると判断したときに前記再構成型超解像処理部に切り替えて前記再構成型超解像処理により前記高解像度画像を推定すると共に、前記学習部で前記教師データを再収集して再学習するようにすると良い。このようにすれば、学習型超解像処理の実行期間中に、何らかの原因で撮像対象の認識精度が低下して誤認識する前に、再構成型超解像処理に切り替えて撮像対象を認識することができ、撮像対象の認識精度を確保できる。

この場合、学習部の学習結果を更新する必要があるか否かの判断方法としては、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記カメラで撮像した前記撮像対象の写り方（例えば撮像条件等）が変化したと判断したときに前記学習部の学習結果を更新する必要があると判断するようにしても良い。

或は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、画像処理エラーが発生したときに前記学習部の学習結果を更新する必要があると判断するようにしても良い。学習部の学習結果の不適合により画像処理エラーが発生した可能性があるためである。

この画像処理システムは、生産中にカメラで撮像対象を撮像した画像を超解像処理して撮像対象を認識する様々な装置に適用可能であり、例えば、部品実装機を含むシステムに適用して、フィーダによって供給される部品を撮像対象とし、前記カメラは、前記部品実装機の吸着ノズルに吸着した前記部品を撮像するようにしても良い。近年の部品実装機は、部品実装速度が高速化され、撮像対象である部品の撮像や画像処理に使用できる時間が短くなっているが、この画像処理システムを適用することで、部品実装速度の高速化を実現しながら超解像技術を用いた高精度な画像認識を行うことができる。

この場合、前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記フィーダが交換されたときに前記再構成型超解像処理部に切り替えて前記再構成型超解像処理により前記高解像度画像を推定し、前記学習型超解像処理で推定した高解像度画像又はその画像処理結果と、前記再構成型超解像処理で推定した高解像度画像又はその画像処理結果との間の誤差が所定値以内であれば前記学習部の学習結果を更新せずに前記学習型超解像処理部に切り替えて前記学習型超解像処理に戻し、前記誤差が前記所定値を超えていれば前記再構成型超解像処理を継続して前記学習部で前記教師データを再収集して再学習するようにしても良い。要するに、フィーダが交換されると、供給する部品の品種が同じであっても、その部品の製造会社が変わって部品の写り方が変化している可能性があるため、フィーダが交換されたときに、再構成型超解像処理に切り替えるが、部品の写り方が変化していない可能性もあるため、学習型超解像処理で推定した高解像度画像又はその画像処理結果（部品の認識結果）と、再構成型超解像処理で推定した高解像度画像又はその画像処理結果との間の誤差が所定値以内であれば、部品の写り方が変化していないと判断して、学習部の学習結果を更新せずに学習型超解像処理に戻して部品を認識するものである。一方、前記誤差が所定値を超えていれば、部品の写り方が変化しているため、学習部の学習結果を更新する必要があると判断して、再構成型超解像処理を継続して学習部で前記教師データを再収集して再学習するものである。

この画像処理システムを構成する再構成型超解像処理部、学習部、学習型超解像処理部、認識部及び前記超解像処理切替部の各機能は、１台のコンピュータ又は２台以上のコンピュータが実行するプログラム（ソフトウエア）によって実現するようにすれば良い。例えば、再構成型超解像処理部、学習型超解像処理部、認識部及び超解像処理切替部の各機能は、部品実装機を制御する制御装置に搭載し、学習部の機能は、部品実装機の制御装置とネットワークを介して接続されたコンピュータに搭載した構成としても良い。学習部の学習処理は演算負荷が大きいため、部品実装機の制御装置とは別のコンピュータを学習部として使用すれば、部品実装機の制御装置の演算負荷が過大にならず、演算処理が遅くなることもない。

図１は一実施例の部品実装ラインの構成例を示すブロック図である。図２は生産中に部品実装機の制御装置が行う再構成型超解像処理と学習型超解像処理との切り替えと学習用コンピュータが行う教師データの収集及び学習との関係を説明する図である。図３は部品実装機の制御装置が実行する超解像処理プログラムの処理の流れを示すフローチャートである。図４は学習用コンピュータが実行する教師データ学習処理プログラムの処理の流れを示すフローチャートである。

以下、一実施例を図面を参照して説明する。
まず、図１に基づいて部品実装ライン１０の構成を説明する。
部品実装ライン１０は、回路基板１１の搬送方向に沿って、１台又は複数台の部品実装機１２と、半田印刷機１３やフラックス塗布装置（図示せず）等の実装関連機を配列して構成されている。部品実装ライン１０の基板搬出側には、回路基板１１に実装した各部品の実装状態の良否を検査する外観検査装置１４が設置されている。

部品実装ライン１０の各部品実装機１２、半田印刷機１３及び外観検査装置１４は、ネットワーク１６を介して生産管理用コンピュータ２１と相互に通信可能に接続され、この生産管理用コンピュータ２１によって部品実装ライン１０の生産が管理される。各部品実装機１２の制御装置１７は、コンピュータを主体として構成され、生産管理用コンピュータ２１から送信されてくる生産ジョブに従って、実装ヘッド（図示せず）を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ１９から供給される部品を実装ヘッドの吸着ノズル（図示せず）で吸着して当該部品を部品撮像用カメラ１８で撮像して、その撮像画像を部品実装機１２の制御装置１７の後述する画像処理機能によって処理して当該部品の吸着姿勢（位置Ｘ，Ｙと角度θ）を計測し、当該部品の位置Ｘ，Ｙや角度θのずれを補正して当該部品を回路基板１１に実装するという動作を繰り返して、当該回路基板１１に所定数の部品を実装する。

また、外観検査装置１４の制御装置２０は、コンピュータを主体として構成され、搬入された回路基板１１上の各部品の実装状態を検査用カメラ２２で撮像して、その撮像画像を処理して、回路基板１１上の各部品の実装状態を認識してその認識結果に基づいて各部品の実装不良（検査不合格）の有無を検査する。
部品実装ライン１０のネットワーク１６には、後述する学習型超解像処理に用いる教師データの収集及び学習を行う学習用コンピュータ２３が接続されている。

各部品実装機１２の制御装置１７は、生産中に後述する図３の超解像処理プログラムを実行することで、図２に示すように、生産中に部品撮像用カメラ１８で撮像対象である部品を撮像した低解像度画像から例えば１枚の高解像度画像を推定する再構成型超解像処理部として機能すると共に、生産中に後述する学習用コンピュータ２３の学習処理の学習結果に基づいて部品を撮像した低解像度画像から例えば１枚の高解像度画像を推定する学習型超解像処理部としても機能し、更に、生産中に学習用コンピュータ２３の学習処理が完了するまでは前記再構成型超解像処理により高解像度画像を推定し、学習用コンピュータ２３の学習処理が完了した後は前記学習型超解像処理に切り替えて高解像度画像を推定する超解像処理切替部として機能すると共に、生産中に前記再構成型超解像処理又は前記学習型超解像処理で推定した前記高解像度画像を処理して部品を認識する認識部としても機能する。

一方、学習用コンピュータ２３は、後述する図４の教師データ学習処理プログラムを実行することで、図２に示すように、部品実装機１２の制御装置１７が再構成型超解像処理を実行している期間中に、各部品実装機１２の制御装置１７から、入力である低解像度画像と出力となる高解像度画像とのペアをネットワーク１６を介して教師データとして収集して前記低解像度画像と前記高解像度画像との関係性を学習する学習部として機能する。

各部品実装機１２の制御装置１７は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求を学習用コンピュータ２３へ送信する。これにより、学習用コンピュータ２３は、学習結果の更新要求を受信したときに、教師データを再収集して再学習して教師データの学習結果を更新し、この学習処理が完了したと判断した時点で、その学習結果と学習完了信号を部品実装機１２の制御装置１７へ送信する。これにより、部品実装機１２の制御装置１７は、生産中に学習用コンピュータ２３から教師データの学習結果と学習完了信号を受信する毎に、再構成型超解像処理から学習型超解像処理に切り替える。

この場合、教師データの学習完了の判断は、例えば、次の（１）〜（３）のいずれかの方法で行えば良い。
（１）学習した教師データの数が学習精度を確保するのに必要な所定数に達した時点で教師データの学習を完了する。これは、学習した教師データの数が増加するに従って、学習が進むことを考慮したものである。

（２）学習用コンピュータ２３が学習した最新の学習結果を用いて学習型超解像処理で推定した高解像度画像と部品実装機１２の制御装置１７が再構成型超解像処理で推定した高解像度画像との間の誤差が所定値以内になった時点で教師データの学習を完了する。これは、学習が進むに従って、学習用コンピュータ２３が学習型超解像処理で推定した高解像度画像と、部品実装機１２の制御装置１７が再構成型超解像処理で推定した高解像度画像との誤差が小さくなることを考慮したものである。

（３）学習用コンピュータ２３が学習した最新の学習結果を用いて学習型超解像処理で推定した高解像度画像の画像処理結果（部品の認識結果）と部品実装機１２の制御装置１７が再構成型超解像処理で推定した高解像度画像の画像処理結果との間の誤差が所定値以内になった時点で教師データの学習を完了する。これは、学習が進むに従って、学習用コンピュータ２３が学習型超解像処理で推定した高解像度画像の画像処理結果と、部品実装機１２の制御装置１７が再構成型超解像処理で推定した高解像度画像の画像処理結果との誤差が小さくなることを考慮したものである。

更に、本実施例では、学習用コンピュータ２３は、教師データの学習結果を電源オフ状態でも記憶データが保持される書き換え可能な不揮発性の記憶装置２４（例えばハードディスク装置等）に保存するようにしている。各部品実装機１２の制御装置１７は、生産開始時にフィーダ１９から供給される部品に関する教師データの学習結果が学習用コンピュータ２３の記憶装置２４に保存されているか否かを学習用コンピュータ２３に問い合わせ、その結果、記憶装置２４に当該学習結果が保存されていることが判明すれば、当該学習結果を記憶装置２４から取り寄せて、生産開始当初から当該学習結果を用いて学習型超解像処理を行う。

一般に、再構成型超解像処理は、推定回数を増加させると高解像度画像の画質が向上する性質があるが、生産中に部品実装機１２の制御装置１７が行う推定回数を増加させると、高解像度画像の推定に要する演算時間が長くなり、生産性が低下する。そのため、生産中に、部品実装機１２の制御装置１７は、部品の認識に必要最低限の画質を確保できる範囲内で少ない推定回数で推定処理を打ち切ることで、演算時間を短縮して生産性の低下を防ぐことになる。

これに対し、部品実装機１２の制御装置１７が行う再構成型超解像処理と並行して行う学習用コンピュータ２３の学習処理は、生産とは関係なく、時間的な制約を受けずに実行できる。この点を考慮して、学習用コンピュータ２３は、部品実装機１２の制御装置１７による再構成型超解像処理よりも推定回数の多い再構成型超解像処理を改めて実行して、複数枚の低解像度画像から例えば１枚の高解像度画像を改めて推定して教師データを収集して学習するようにしている。このように、学習時に推定回数の多い再構成型超解像処理を改めて実行すれば、画質を改善した高解像度画像を用いて教師データを学習することができるため、教師データの学習精度を高めることができて、学習習型超解像処理による部品の認識精度を向上できる。

また、再構成型超解像処理では、レンズのボケ関数（点拡がり関数とも呼ばれる）を定義して高解像度画像の推定に用いるが、このレンズのボケ関数に関しても、推定回数と同様に、部品実装機１２の制御装置１７は、部品の認識に必要最低限の画質を確保できる範囲内で単純化したボケ関数を用いることで、演算時間を短縮して生産性の低下を防ぐことになる。

その点、上述したように、学習用コンピュータ２３の学習は、生産とは関係なく、時間的な制約を受けずに実行できるため、学習用コンピュータ２３は、部品実装機１２の制御装置１７による再構成型超解像処理よりもレンズのボケ関数を厳密化した再構成型超解像処理を改めて実行して複数枚の低解像度画像から例えば１枚の高解像度画像を改めて推定して前記教師データを収集して学習するようにしても良い。このように、学習時にレンズのボケ関数を厳密化した再構成型超解像処理を改めて実行すれば、画質を改善した高解像度画像を用いて教師データを学習することができるため、教師データの学習精度を高めることができて、学習型超解像処理による学習の認識精度を向上できる。尚、学習用コンピュータ２３は、レンズのボケ関数を厳密化し且つ推定回数の多い再構成型超解像処理を改めて実行して教師データを学習するようにしても良い。

前述したように、各部品実装機１２の制御装置１７は、学習型超解像処理の実行期間中に、教師データの学習結果を更新する必要があると判断したときに、再構成型超解像処理に切り替えるようにしている。このようにすれば、学習型超解像処理の実行期間中に、何らかの原因で部品の認識精度が低下して誤認識する前に、再構成型超解像処理に切り替えて部品を認識することができ、部品の認識精度を確保できる。

この場合、教師データの学習結果を更新する必要があるか否かの判断方法として、例えば、各部品実装機１２の制御装置１７は、学習型超解像処理の実行期間中に部品撮像用カメラ１８で撮像した部品の写り方が変化したと判断したときに教師データの学習結果を更新する必要があると判断する。例えば、部品の撮像条件が変更されたり、フィーダ１９の交換により供給する部品の製造会社が変更された場合は、部品の写り方が変化したと判断する。

或は、各部品実装機１２の制御装置１７は、学習型超解像処理の実行期間中に画像処理エラーが発生したときに教師データの学習結果を更新する必要があると判断するようにしても良い。学習結果の不適合により画像処理エラーが発生した可能性があるためである。

或は、各部品実装機１２の制御装置１７は、学習型超解像処理の実行期間中にフィーダ１９が交換されたときに教師データの学習結果を更新する必要があると判断するようにしても良い。これは、フィーダ１９が交換されると、供給する部品の品種が同じであっても、その部品の製造会社が変わって部品の写り方が変化している可能性があるためである。

但し、フィーダ１９が交換されても、部品の製造会社が変わらず、部品の写り方が変化しない場合も多いため、部品実装機１２の制御装置１７は、フィーダ１９が交換されたときに、再構成型超解像処理に切り替えて高解像度画像を推定すると共に、フィーダ交換信号を学習用コンピュータ２３へ送信するが、学習用コンピュータ２３は、フィーダ交換信号を受信したときに、学習型超解像処理で推定した高解像度画像（又はその画像処理結果）と、部品実装機１２の制御装置１７が再構成型超解像処理で推定した高解像度画像（又はその画像処理結果）との間の誤差が所定値以内であれば、部品の写り方が変化していないと判断して、教師データの学習結果を更新せずに学習完了信号を部品実装機１２の制御装置１７へ送信する。これにより、部品実装機１２の制御装置１７は、再構成型超解像処理から学習型超解像処理に戻す。一方、学習用コンピュータ２３は、前記誤差が前記所定値を超えていれば、部品の写り方が変化しているため、教師データの学習結果を更新する必要があると判断して、再構成型超解像処理を継続して教師データを再収集して再学習する。

以上説明した本実施例の超解像処理と教師データの学習処理は、各部品実装機１２の制御装置１７と学習用コンピュータ２３によって図３及び図４の各プログラムに従って実行される。以下、図３及び図４の各プログラムの処理内容を説明する。

［超解像処理プログラム］
図３の超解像処理プログラムは、各部品実装機１２の制御装置１７によって電源投入直後から実行され、再構成型超解像処理部、学習型超解像処理部、認識部及び超解像処理切替部としての役割を果たす。

図３の超解像処理プログラムが起動されると、まず、ステップ１０１で、生産開始時になるまで待機する。その後、生産開始時になった時点で、ステップ１０２に進み、フィーダ１９から供給される部品に関する教師データの学習結果が学習用コンピュータ２３の記憶装置２４に保存されているか否かを学習用コンピュータ２３に問い合わせ、その結果、記憶装置２４に当該教師データの学習結果が保存されていることが判明すれば、ステップ１０３に進み、当該教師データの学習結果を記憶装置２４から取り寄せて、生産開始当初から当該教師データの学習結果を用いて学習型超解像処理を行い、部品撮像用カメラ１８で部品を撮像した例えば１枚の低解像度画像から１枚の高解像度画像を推定して、この高解像度画像を処理して部品を認識する。

一方、上記ステップ１０２で、フィーダ１９から供給される部品に関する教師データの学習結果が学習用コンピュータ２３の記憶装置２４に保存されていないと判定されれば、ステップ１０５に進み、生産開始当初から再構成型超解像処理を行って、部品撮像用カメラ１８で部品を撮像した例えば複数枚の低解像度画像から１枚の高解像度画像を推定して、この高解像度画像を処理して部品を認識する。

この再構成型超解像処理の実行中は、ステップ１０６で、学習用コンピュータ２３から教師データの学習結果と学習完了信号を受信したか否かを判定し、これらを受信するまで再構成型超解像処理を継続する。その後、学習用コンピュータ２３から教師データの学習結果と学習完了信号を受信した時点で、ステップ１０３に進み、再構成型超解像処理から学習型超解像処理に切り替えて、学習用コンピュータ２３から受信した教師データの学習結果に基づいて、部品を撮像した例えば１枚の低解像度画像から１枚の高解像度画像を推定して、この高解像度画像を処理して部品を認識する。

この学習型超解像処理の実行中は、ステップ１０４で、教師データの学習結果を更新する必要があるか否かを判定し、教師データの学習結果を更新する必要があると判定されるまで学習型超解像処理を継続する。その後、教師データの学習結果を更新する必要があると判定された時点で、ステップ１０５に進み、学習型超解像処理から再構成型超解像処理に切り替えて高解像度画像を推定すると共に、学習結果の更新要求（つまり再構成型超解像処理に切り替えられたことの情報）を学習用コンピュータ２３へ送信する。以後、上述した処理を繰り返す。

［教師データ学習処理プログラム］
教師データ学習処理プログラムは、学習用コンピュータ２３によって電源投入直後から実行され、学習部としての役割を果たす。

図４の教師データ学習処理プログラムが起動されると、まず、ステップ２０１で、部品実装機１２の制御装置１７が再構成型超解像処理を実行中（学習結果の更新要求を受信した）か否かを判定し、再構成型超解像処理が実行されるまで（学習結果の更新要求を受信するまで）待機する。その後、再構成型超解像処理を実行中（学習結果の更新要求を受信した）と判定された時点で、ステップ２０２に進み、部品実装機１２の制御装置１７から、入力である低解像度画像と出力となる高解像度画像とのペアを教師データとして収集して学習する。

教師データの収集及び学習の実行中は、ステップ２０３で、教師データの学習が完了したか否かを判定し、この学習が完了するまで、教師データの学習を継続する。その後、教師データの学習が完了したと判定された時点で、ステップ２０４に進み、教師データの収集及び学習を終了して、ステップ２０５に進み、教師データの学習結果と学習完了信号を部品実装機１２の制御装置１７へ送信する。以後、上述したステップ２０１〜２０５の処理を繰り返す。

以上説明した本実施例によれば、各部品実装機１２の制御装置１７は、学習型超解像処理に必要な教師データの学習が完了するまでは、再構成型超解像処理により高解像度画像を推定すると共に、この再構成型超解像処理の実行期間中に、学習用コンピュータ２３によって、入力である低解像度画像と出力となる高解像度画像とのペアを教師データとして収集して学習し、この学習が完了した後に再構成型超解像処理から学習型超解像処理に切り替えて高解像度画像を推定するようにしているため、生産開始前に学習型超解像処理に用いる教師データの収集や学習を行う必要がなく、生産開始後に再構成型超解像処理により高解像度画像を推定する処理と並行して、学習用コンピュータ２３によって教師データの収集と学習を自動的に行うことができる。しかも、生産中に教師データの学習が完了した後は、再構成型超解像処理から学習型超解像処理に切り替えるため、再構成型超解像処理よりも部品の撮像や画像処理を高速化でき、生産性を向上できる。

上記実施例では、再構成型超解像処理として、複数枚の低解像度画像から高解像度画像を推定するマルチフレーム再構成型超解像処理について説明したが、１枚の低解像度画像から高解像度画像を推定するシングルフレーム再構成型超解像処理であってもよい。シングルフレーム再構成型超解像処理としては、例えば、１枚の低解像度画像から、仮の高解像度画像を作成し、仮の高解像度画像から撮像時の劣化過程を模倣した劣化画像を作成し、元の低解像度画像との誤差を演算し、仮の高解像度画像に対して誤差分の画像修正を行う演算過程を繰り返すことにより、最終的な高解像度画像を推定する態様などがある。シングルフレーム再構成型超解像処理も、高解像度画像の推定に要する演算時間が長いが、教師データが不要なので、学習部による教師データの学習が完了するまでの処理に適している。

上記実施例では、学習型超解像処理として、１枚の低解像度画像から高解像度画像を推定するシングルフレーム学習型超解像処理について説明したが、複数枚の低解像度画像から高解像度画像を推定するマルチフレーム学習型超解像処理であってもよい。マルチフレーム学習型超解像処理としては、例えば、複数の低解像度画像の入力と１枚の高解像度画像の出力からなる教師データの学習結果に基づいて、１枚の高解像度画像を推定する態様などがある。マルチフレーム学習型超解像処理は、複数の低解像度画像を撮像するため、シングルフレーム学習型超解像処理よりも画像取得に要する時間は長くなるが、情報量が増えることによって、高画質な超解像画像が得られるので、撮像対象の認識精度を向上できる。

尚、教師データの収集と学習を、学習用コンピュータ２３に代えて、生産管理用コンピュータ２１によって行うようにしても良い。或は、部品実装機１２の制御装置１７の演算能力に余裕があれば、教師データの収集と学習も部品実装機１２の制御装置１７によって行うようにしても良い。また、マルチフレーム学習型超解像処理によって得られる超解像画像と同等の画質の超解像画像を再構成型超解像処理で得る場合と比較すれば、マルチフレーム学習型超解像処理であっても、画像処理を高速化でき、生産性を向上できるといえる。

また、外観検査装置１４で回路基板１１上の各部品の実装状態を画像認識する場合も、上記実施例と同様の方法で、生産中に再構成型超解像処理と学習型超解像処理とを切り替えて、検査用カメラ２２で回路基板１１上の各部品の実装状態を撮像した低解像度画像から高解像度画像を推定して、この高解像度画像を処理して回路基板１１上の各部品の実装状態を認識するようにしても良い。

その他、本発明は、上記実施例のような部品実装ライン１０に限定されず、生産中にカメラで撮像対象を撮像した画像を超解像処理して撮像対象を認識する様々な装置に適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。

１０…部品実装ライン、１１…回路基板、１２…部品実装機、１４…外観検査装置、１７…制御装置（再構成型超解像処理部，学習型超解像処理部，認識部，超解像処理切替部）、１８…部品撮像用カメラ、１９…フィーダ、２１…生産管理用コンピュータ、２３…学習用コンピュータ（学習部）、２４…記憶装置

Claims

生産中にカメラで撮像対象を撮像した画像を超解像処理して前記撮像対象を認識する画像処理システムにおいて、
生産中に前記撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理を行う再構成型超解像処理部と、
前記再構成型超解像処理部による前記再構成型超解像処理の実行期間中に、入力である前記低解像度画像と出力となる前記高解像度画像とのペアを教師データとして収集して前記低解像度画像と前記高解像度画像との関係性を学習する学習部と、
生産中に前記学習部の学習結果に基づいて前記撮像対象を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理を行う学習型超解像処理部と、
生産中に前記再構成型超解像処理又は前記学習型超解像処理で推定した前記高解像度画像を処理して前記撮像対象を認識する認識部と、
生産中に前記学習部による前記教師データの学習が完了するまでは前記再構成型超解像処理部で前記再構成型超解像処理により前記高解像度画像を推定し、前記学習部による前記教師データの学習が完了した後は前記学習型超解像処理部に切り替えて前記学習型超解像処理により前記高解像度画像を推定する超解像処理切替部と
を備える、画像処理システム。
前記学習部は、学習した前記教師データの数が所定数に達した時点で前記教師データの学習を完了する、請求項１に記載の画像処理システム。
前記学習部は、学習した最新の学習結果を用いて前記学習型超解像処理で推定した高解像度画像と前記再構成型超解像処理で推定した高解像度画像との間の誤差が所定値以内になった時点で前記教師データの学習を完了する、請求項１に記載の画像処理システム。
前記学習部は、学習した最新の学習結果を用いて前記学習型超解像処理で推定した高解像度画像の画像処理結果と前記再構成型超解像処理で推定した高解像度画像の画像処理結果との間の誤差が所定値以内になった時点で前記教師データの学習を完了する、請求項１に記載の画像処理システム。
前記学習部の学習結果は、電源オフ状態でも記憶データが保持される書き換え可能な不揮発性の記憶装置に保存される、請求項１乃至４のいずれかに記載の画像処理システム。
前記学習部は、前記再構成型超解像処理部による前記再構成型超解像処理よりも推定回数の多い及び／又はレンズのボケ関数を厳密化した再構成型超解像処理を改めて実行して前記低解像度画像から前記高解像度画像を改めて推定して前記教師データを収集して学習する、請求項１乃至５のいずれかに記載の画像処理システム。
前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記学習部の学習結果を更新する必要があると判断したときに前記再構成型超解像処理部に切り替えて前記再構成型超解像処理により前記高解像度画像を推定すると共に、前記学習部で前記教師データを再収集して再学習する、請求項１乃至６のいずれかに記載の画像処理システム。
前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記カメラで撮像した前記撮像対象の写り方が変化したと判断したときに前記学習部の学習結果を更新する必要があると判断する、請求項７に記載の画像処理システム。
前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、画像処理エラーが発生したときに前記学習部の学習結果を更新する必要があると判断する、請求項７に記載の画像処理システム。
部品実装機を含むシステムに適用され、
前記撮像対象は、フィーダによって供給される部品であり、
前記カメラは、前記部品実装機の吸着ノズルに吸着した前記部品を撮像する、請求項１乃至９のいずれかに記載の画像処理システム。
前記超解像処理切替部は、前記学習型超解像処理部による前記学習型超解像処理の実行期間中に、前記フィーダが交換されたときに前記再構成型超解像処理部に切り替えて前記再構成型超解像処理により前記高解像度画像を推定し、前記学習型超解像処理で推定した高解像度画像又はその画像処理結果と、前記再構成型超解像処理で推定した高解像度画像又はその画像処理結果との間の誤差が所定値以内であれば前記学習部の学習結果を更新せずに前記学習型超解像処理部に切り替えて前記学習型超解像処理に戻し、前記誤差が前記所定値を超えていれば前記再構成型超解像処理を継続して前記学習部で前記教師データを再収集して再学習する、請求項１０に記載の画像処理システム。
前記再構成型超解像処理部、前記学習型超解像処理部、前記認識部及び前記超解像処理切替部の各機能は、前記部品実装機を制御する制御装置に搭載され、
前記学習部の機能は、前記部品実装機の前記制御装置とネットワークを介して接続されたコンピュータに搭載されている、請求項１０又は１１に記載の画像処理システム。
生産中にカメラで撮像対象を撮像した画像を超解像処理して前記撮像対象を認識する画像処理方法において、
生産中に前記撮像対象を撮像した低解像度画像から高解像度画像を推定する再構成型超解像処理と、
前記再構成型超解像処理の実行期間中に入力である前記低解像度画像と出力となる前記高解像度画像とのペアを教師データとして収集して前記低解像度画像と前記高解像度画像との関係性を学習する学習処理と、
生産中に前記学習処理の学習結果に基づいて前記撮像対象を撮像した低解像度画像から高解像度画像を推定する学習型超解像処理と、
生産中に前記再構成型超解像処理又は前記学習型超解像処理で推定した前記高解像度画像を処理して前記撮像対象を認識する認識処理と
を含み、
生産中に前記学習処理が完了するまでは前記再構成型超解像処理により前記高解像度画像を推定し、前記学習処理が完了した後は前記学習型超解像処理に切り替えて前記高解像度画像を推定する、画像処理方法。
前記学習型超解像処理の実行期間中に前記学習処理の学習結果を更新する必要があると判断したときに前記再構成型超解像処理に切り替えて前記高解像度画像を推定すると共に、前記学習処理で前記教師データを再収集して再学習する、請求項１３に記載の画像処理方法。