JP4607616B2 - 画像取得方法、画像取得装置、表面実装機、プリント配線板用はんだ印刷機、ウエハチップ供給装置、電子部品移載装置および電子部品用外観検査装置 - Google Patents

Description

本発明は、光度可変の光源の最適な光度を画像処理によって特定するための画像を取得する画像取得方法、この画像取得方法を実施する画像取得装置、この画像取得装置を備えた表面実装機、プリント配線板用はんだ印刷機、ウェハチップ供給装置、電子部品移載装置および電子部品用外観検査装置に関するものである。

従来、例えば電子部品をプリント配線板に実装する表面実装機においては、吸着ノズルに吸着された電子部品をカメラによって撮像し、画像処理によって電子部品の有無、吸着位置などを検出する構成が採られている。

このように電子部品を撮像するに当たり部品の認識精度を高めるためには、電子部品の形状や大きさに応じて最適な照明を行うことが必要になる。これは、電子部品の被撮像面は一様ではなく、電子部品の種類によっては被撮像面の多くが鏡面になっていたり、粗面に形成されていたりするからである。このため、従来においては、電子部品を実際に撮像することによって取得した画像データに基づいて最適な照明光を確実に照射できるようにする照明制御データを設定している。この設定に使用するための画像データを取得する従来の画像取得方法としては、例えば特許文献１に開示された方法がある。

この特許文献１に示された画像取得方法は、光を照射する方向が異なりかつ光度を複数段階に変更可能な複数の光源を使い、この光源の種類や、光源の光度を変えて撮像するものである。そして、その照明制御データの設定方法は、この複数の光源と、各光源の光度の組み合わせ（照明条件）のうち、被撮像電子部品の形状、被撮像面の状態などに応じた最適な組み合わせを特定する構成が採られている。この設定に使用するための画像データを取得する画像取得方法においては、前記組み合わせを特定するため、全ての組み合わせにおいてそれぞれ実際に撮像を行っている。

そして、照明制御データの設定方法において、全ての画像データのなかから最適なものを選ぶことによって行っている。例えば、未点灯状態を含めて光度を８段階に変更可能な３種類の光源を有する場合、この方法によれば、８の３乗回（５１２回）撮像を行い、これらの多くの画像の中から最適な画像を選択する。
なお、本出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に密接に関連する先行技術文献を出願時までに見付け出すことはできなかった。
特開２０００−３３２５００号公報（第４−７頁、第１図）

しかしながら、特許文献１に示された画像取得方法およびこの方法を実施する画像取得装置においては、全ての照明条件で実際に電子部品を撮像するものであるから、この撮像に多大な時間を要するという問題があった。特に、表面実装機のように、被撮像物を照明装置や撮像手段に対して移動させながら撮像する装置においては、撮像に要する時間より被撮像物の移動に必要な時間の方が長くなるため、撮像回数を低減することが強く要請されている。

このような要請に応えるためには、全ての照明条件について撮像を行うのではなく、照明条件を間引いて撮像することが考えられる。しかし、この場合、間引かれた照明条件が特定対象外となってしまい、最適な照明条件ではない光源と光度との組み合わせが生じるおそれがある。

上述したような照明条件を特定する際に生じる問題は、表面実装機において実装用部品を認識する場合の他に、例えば、プリント配線板上に実装された電子部品をヘッドユニットのカメラで撮像する場合、プリント配線板用はんだ印刷機において、プリント配線板上の各種のマークをカメラで撮像する場合、ウエハチップ供給装置においてウエハチップをカメラで撮像する場合、電子部品移載装置において電子部品をカメラで撮像する場合、電子部品用外観検査装置において検査時に電子部品をカメラで撮影する場合にも同様に生じる。

本発明はこのような問題を解消するためになされたもので、被撮像物に光を照射する光源の照明条件（照明と光度の組み合わせ）を短時間でかつ適切に特定できるようにすることを目的とする。

この目的を達成するために、本発明に係る画像取得方法は、光度が変更可能な光源によって照明された被撮像物を撮像手段により撮像し、最適な光度を特定するための画像データを取得する画像取得方法において、前記光源の光度を変えて被撮像物を複数撮像し、これらの画像の画像データの差に基づいて、光度を単位量だけ変化させることにより変化する画像データを生成し、この画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成することにより実施する。

請求項２に記載した画像取得装置は、光度を変更可能に構成され被撮像物に光を照射する光源と、前記被撮像物を撮像する撮像手段とを備えた画像取得装置において、光源の光度を予め定めた第１の光度として前記撮像手段で被撮像物の第１の画像を撮像する第１の画像生成手段と、光源の光度を前記第１の光度より予め定めた単位量だけ変化させた第２の光度として前記撮像手段で被撮像物を撮像し第２の画像を生成する第２の画像生成手段と、画像処理により前記第１の画像と第２の画像のうち光源の光度が高い方の画像から他方の画像を差し引くことによって前記光源の単位光度増大分の画像データを生成する単位画像生成手段と、画像処理により前記単位光度増大分の画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する仮想画像生成手段とを備えているものである。

請求項３に記載した発明に係る画像取得装置は、請求項２に記載した画像取得装置において、光源を複数備え、第１の画像生成手段は全ての光源を第１の光度として第１の画像を撮像し、第２の画像生成手段は全ての光源について第２の画像を撮像し、単位画像生成手段は全ての光源について単位光度増大分の画像データを生成し、仮想画像生成手段は光源と光度との全ての組み合わせについて仮想画像データを生成するものである。

請求項４に記載した発明に係る画像取得装置は、光度を変更可能に構成され被撮像物に光を照射する光源と、前記被撮像物を撮像する撮像手段とを備えた画像取得装置において、光源の光度を予め定めた第１の光度として前記撮像手段で被撮像物の第１の画像を撮像する第１の画像生成手段と、光源の光度を前記第１の光度より予め定めた単位量だけ変化させた第２の光度として前記撮像手段で被撮像物を撮像し第２の画像を生成する第２の画像生成手段と、画像処理により前記第１の画像と第２の画像のうち光源の光度が高い方の画像から他方の画像を差し引くことによって前記光源の単位光度増大分の画像データを生成する単位画像生成手段と、画像処理により前記単位光度増大分の画像データにその複製データを複数重ね合わせてなる合成画像データを生成する合成画像生成手段と、前記合成画像データと飽和状態での画像データとを比較することにより、前記合成画像データが飽和状態とならない複製データの重ね合わせ数のうち最大の重ね合わせ数を求める光度範囲変更手段と、光源の光度を前記単位量に前記重ね合わせ数を乗じた光度とし、前記撮像手段により被撮像物の第３の画像を撮像する第３の画像生成手段と、画像処理により前記第３の画像から前記第１の画像を差し引いてなる画像データを前記重ね合わせ数で除算することにより新たな単位量による単位光度増大分の画像データを生成する新単位画像生成手段と、画像処理により前記新単位光度増大分の画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記新単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する仮想画像生成手段とを備えているものである。

請求項５に記載した発明に係る画像取得装置は、請求項４に記載した画像取得装置において、光源を複数備え、第１の画像生成手段は全ての光源を第１の光度として第１の画像を撮像し、第２の画像生成手段は全ての光源について第２の画像を撮像し、単位画像生成手段は全ての光源について単位光度増大分の画像データを生成し、仮想画像生成手段は全ての光源について複数の仮想画像データを生成し、画像データ合成手段は全ての光源について合成画像データを生成し、光度範囲変更手段は全ての光源について複製データの重ね合わせ数を求め、第３の画像生成手段は全ての光源について第３の画像を生成し、新単位画像生成手段は全ての光源について新たな単位光度増大分の画像データを生成し、仮想画像生成手段は全ての光源と光度との全ての組み合わせについて仮想画像データを生成するものである。

請求項６に記載した発明に係る画像取得装置は、請求項２ないし請求項５のうちいずれか一つに記載した画像取得装置において、光源の光度は、０から最大光度までの間を複数に等分した段階をもって変更され、第２の光度は、前記段階的に変化する光度の１段階分だけ第１の光度より高く設定されているものである。

請求項７に記載した発明に係る画像取得装置は、請求項２ないし請求項６のうちいずれか一つに記載した画像取得装置において、第１の画像の画像データ、第２の画像の画像データ、あるいは前記仮想画像データのうち、少なくとも一つの前記仮想画像データを含む一つあるいは複数の画像データから、光源の最適な光度を特定する照明条件特定手段を備えているものである。

請求項８に記載した発明に係る表面実装機は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた表面実装機であって、部品移載装置に吸着された実装用部品を被撮像物とするものである。

請求項９に記載した発明に係る表面実装機は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた表面実装機であって、プリント配線板に設けられた位置決め用マークを被撮像物とするものである。

請求項１０に記載した発明に係るプリント配線板用はんだ印刷機は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えたプリント配線板用はんだ印刷機であって、プリント配線板に設けられた位置決め用マークを被撮像物としたものである。

請求項１１に記載した発明に係るウエハチップ供給装置は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えたウエハチップ供給装置であって、ウエハチップ移載装置に吸着されたウエハチップを被撮像物としたものである。

請求項１２に記載した発明に係る電子部品移載装置は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた電子部品移載装置であって、電子部品移載ヘッドに吸着された電子部品を被撮像物としたものである。

請求項１３に記載した発明に係る電子部品用外観検査装置は、請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた電子部品用外観検査装置であって、電子部品移載ヘッドに保持された被検査用電子部品を被撮像物としたものである。

本発明に係る画像取得方法および画像取得装置によれば、第１の画像と第２の画像とから生成する単位光度増大分の画像データを複数重ねるようにして全ての光度について実際に撮像した画像と同等の仮想画像が得られる。
したがって、変更可能な全ての光度において画像を得るために行う撮像は、第１の画像と第２の画像とを撮像するための最低２回でよい。このため、光度を例えば３段階以上に変えることができる光源であっても、撮像回数を最低２回とすることができ、撮像回数を低減することができる。
この結果、本発明によれば、光度が変更可能な光源によって照明する画像取得方法および画像取得装置において、最適な光度となる照明条件の特定に必要な画像データを短時間で得ることができ、結果として照明条件を短時間でかつ適切に特定することができる。

請求項３記載の発明によれば、複数の光源の照明条件を特定するに当たって行う撮像は、全ての光源を第１の光度として行う１度の第１の画像の撮像と、光源の数だけ行う第２の画像の撮像のみでよい。したがって、光源を複数備えている場合は、少なくとも光源の数に１を加えた回数だけ撮像を行えばよいから、従来の画像取得装置に較べて、最適な光度となる照明条件の特定に必要な画像データを得るための撮像回数を低減することができる。

請求項４記載の発明によれば、変更可能な全ての光度において画像を得るために行う撮像は、第１〜第３の画像を撮像するための最低３回でよい。このため、光度を例えば４段階以上に変えることができる光源であっても、撮像回数を最低３回とすることができ、撮像回数を低減することができる。

この結果、この発明によれば、光度が変更可能な光源を有する画像取得装置において、最適な光度となる照明条件の特定に必要な画像データを短時間で得ることができる。この画像データを使って最適な光度となる照明条件の特定が可能となる。
特に、この発明によれば、撮像手段によって撮像された画像が暗い画像となる場合のように、第１の画像と第２の画像とによって生成した単位光度増大分の画像データにノイズが相対的に多く含まれる場合であっても、飽和することがない仮想画像データを得ることができる。
したがって、この発明によれば、より一層精度が高い仮想画像データを得ることができる。

請求項５記載の発明によれば、複数の光源の照明条件を特定するに当たって行う撮像は、全ての光源の光度を予め定めた第１の光度として行う１度の第１の画像の撮像と、光源の数だけ行う第２、第３の画像の撮像のみでよい。したがって、光源を複数備えている場合は、少なくとも光源の数の２倍に１を加えた回数だけ撮像を行えばよいから、最適な光度となる照明条件の特定に必要な画像データの取得のための撮像回数は、従来の画像取得装置における撮像回数に較べて著しく低減することができる。

請求項６記載の発明によれば、段階的に変化する光度に対応するように仮想画像データが生成されるから、より一層精度が高い仮想画像データを得ることができる。
請求項７記載の発明によれば、画像取得装置はさらに、撮像による実画像データから作り出される仮想画像データを含む画像データから、光源の最適な光度を特定することも可能である。

請求項８記載の発明によれば、実装用部品の最適な照明条件を短時間でかつ適切に特定することができる表面実装機を提供することができる。
請求項９記載の発明によれば、プリント配線板に設けられた位置決め用マークの最適な照明条件を短時間でかつ適切に特定することができる表面実装機を提供することができる。

請求項１０記載の発明によれば、プリント配線板に設けられた位置決め用マークの最適な照明条件を短時間でかつ適切に特定することができるプリント配線板用はんだ印刷機を提供することができる。
請求項１１記載の発明によれば、ウエハチップの最適な照明条件を短時間でかつ適切に特定することができるウエハチップ供給装置を提供することができる。

請求項１２記載の発明によれば、電子部品移載ヘッドに吸着された電子部品の最適な照明条件を短時間でかつ適切に特定することができる電子部品移載装置を提供することができる。
請求項１３記載の発明によれば、電子部品移載ヘッドに保持された被検査用電子部品の最適な照明条件を短時間でかつ適切に特定することができる電子部品用外観検査装置を提供することができる。

（第１の実施の形態）
以下、本発明に係る画像取得装置の一実施の形態を図１ないし図７によって詳細に説明する。ここでは、本発明に係る画像取得方法を実施するための画像取得装置を表面実装機に装備する例について説明する。
図１は本発明に係る画像取得方法を実施する画像取得装置を備えた表面実装機の構成を示す平面図、図２は部品移載装置の側面図、図３は画像取得装置の構成を示す側面図、図４は表面実装機の制御系の構成を示すブロック図、図５は照明条件特定手段の構成を示すブロック図、図６および図７は本発明に係る画像取得方法および画像取得装置の動作を説明するためのフローチャートである。

これらの図において、符号１で示すものは、この実施の形態による表面実装機を示す。この表面実装機１は、基台２と、この基台２の上にプリント配線板３を搬送するためのコンベア４と、基台２の両側部に装備された多数のテープフィーダ５，５‥‥と、これらのテープフィーダ５から実装用部品６（図３参照）をプリント配線板３上に移載するための部品移載装置７と、実装用部品６を撮像するための撮像ユニット８と、制御装置９（図４参照）とを備えている。

前記テープフィーダ５は、ＩＣ、トランジスタ、抵抗、コンデンサ等の小片状の実装用部品６を供給する。
前記部品移載装置７は、基台２の上でＹ軸方向に延びる２本の固定レール１１，１１と、Ｘ方向に延びる形状に形成され前記固定レール１１に移動自在に支持されたガイド部材１２と、このガイド部材１２にＸ軸方向に移動自在に支持されたヘッドユニット１３とを備えている。前記ガイド部材１２は、一方の固定レール１１に設けられたボールねじ軸１４に螺合するナット１５を備えており、ボールねじ軸１４がＹ軸サーボモータ１６によって回転駆動されることによってＹ軸方向に往復動する。

前記ヘッドユニット１３は、前記ガイド部材１２に設けられたボールねじ軸１７に螺合しており、このボールねじ軸１７がＸ軸サーボモータ１８によって回転駆動することによってＸ軸方向に往復動する。
また、このヘッドユニット１３は、図２に示すように、複数の実装用ヘッド１９がＸ軸方向に等間隔おいて並ぶ状態で設けられている。

これらの実装用ヘッド１９は、それぞれヘッドユニット１３のフレーム（図示せず）に対してＺ軸方向（上下方向）に移動可能に支持されるとともにＺ軸回りに回転可能に支持されており、下端部に実装用部品６を吸着するための吸着ノズル２０が設けられている。また、この実装用ヘッド１９は、ヘッドユニット１３に設けられた昇降駆動手段（図示せず）によってＺ軸方向に駆動し、ヘッドユニット１３に設けられた回転駆動手段（図示せず）によってＺ軸回りに回転させられる。

前記撮像ユニット８は、図１に示すように、前記各テープフィーダ５と実装作業位置との間の二箇所にそれぞれ設けられている。これらの撮像ユニット８，８は、互いに同一の構成が採られている。このため、ここでは一方の撮像ユニット８について説明する。

撮像ユニット８は、図３に示すように、前記実装用ヘッド１９に吸着されて撮像位置（図３に図示した位置）に移動した実装用部品６を下方からカメラ２１によって撮像するもので、実装用部品６に光を照射する三種類の照明２２〜２４を装備している。前記カメラ２１によって本発明でいう撮像手段が構成され、三種類の照明２２〜２４によって本発明でいう光源が構成されている。

前記三種類の照明２２〜２４とは、実装用部品６に斜め下方から光を照射するメイン照明２２と、カメラ２１の上方に位置付けられたハーフミラー２５を使って実装用部品６に真下から光を照射する同軸照明２３と、実装用部品６に略側方から光を照射するサイド照明２４とである。これらの三種類の照明２２〜２４は、それぞれ多数のＬＥＤ２６によって構成されており、後述する制御装置９により供給電流値が制御されることによって、光度が多段階に変えられる。この光度は、０から最大光度までの間を複数に等分した段階をもって変更される。この実施の形態による照明は、光度を未点灯状態を含めて９段階に変えることができるように構成されている。

前記ハーフミラー２５は、同軸照明２３の光を実装用部品６に向けて反射させるとともに、実装用部品６からの反射光を下方へ（カメラ２１側へ）通過させるもので、４５°傾斜させた状態で撮像ユニット８のフレームに固定さている。

前記カメラ２１は、図示してはいないがＣＣＤエリアセンサおよび結像用のレンズを一体に備えており、撮像ユニット８のフレームに固定され、前記撮像位置にある実装用部品６を真下から撮像する。この実施の形態によるカメラ２１は、出力が入力光量に対してリニアに変化するものが用いられている。このカメラ２１の出力、すなわち撮像された画像のデータ（画像データ）は、図４に示す制御装置９の画像処理部３１に送られる。

制御装置９は、表面実装機１の動作を制御するためのもので、前記画像データが送られる前記画像処理部３１と、主演算部３２と、前記部品移載装置７やヘッドユニット１３の各駆動手段などの動作を制御する軸制御部３３と、Ｉ／Ｏ制御部３４と、記憶部３５と、、通信制御部３６などによって構成されている。前記画像処理部３１は、カメラ２１の出力をデジタル画像として取り込むキャプチャーボードなどからなる画像入力装置（図示せず）を備えている。この画像入力装置は、２５６階調のデジタル画像を取り込むことができるものが用いられている。

また、画像処理部３１は、前記吸着ノズル２０に吸着された実装用部品６の有無および正誤、Ｘ・Ｙ方向の位置、Ｚ軸まわりの角度などを、前記カメラ２１が撮像した画像の画像データに基づき画像処理によって検出する構成が採られている。この画像処理用の画像をカメラ２１が撮像する際に、制御装置９は、前記三種類の照明２２〜２４の光度を実装用部品６毎に最適な照明条件となるように設定する。

これは、実装用部品６の下面（被撮像面）は、実装用部品６の種類毎に形状、大きさ、色などが異なり、さらに、リードや端子などの金属部分においてはその表面状態（光沢の有無）が異なるからである。このように照明条件を実装用部品６毎に特定するために、制御装置９には照明条件特定手段４１（図５参照）が設けられている。この照明条件特定手段４１と、前記カメラ２１と、前記三種類の照明２２〜２４などによって本発明に係る画像取得装置４２（図３参照）が構成されている。

前記照明条件特定手段４１は、後述する事前処理により実装用部品６毎に最適な照明条件（照明と光度との組み合わせ）を特定し、実装用部品６をその吸着位置や角度などの検出を行うために撮像するときに、前記照明条件を満たすように三種類の照明２２〜２４の各々について光度を設定する。
前記事前処理は、実装用部品６を前記照明２２〜２４で照らした状態でカメラ２１によって事前に撮像し、最も正しく撮像されるような照明条件をその実装用部品６毎の照明条件データとして記憶する処理である。

照明条件特定手段４１は、図５に示すように、第１の画像生成手段４３と、第２の画像生成手段４４と、単位画像生成手段４５と、仮想画像生成手段４６と特定画像生成手段４７などによって構成されており、これらの各手段によって前記事前処理を行う。

前記第１の画像生成手段４３は、前記三種類の照明２２〜２４を例えば消灯状態としてカメラ２１によって実装用部品６の第１の画像を撮像する構成が採られている。
前記第２の画像生成手段４４は、三種類の照明２２〜２４のうち一種類の照明の光度を第１段階だけ高くするとともに、他の照明を消灯状態としてカメラ２１によって実装用部品６の第２の画像を撮像するように構成されている。この第２の画像は、全ての照明２２〜２４について撮像する。すなわち、第２の画像生成手段４４は、第２の画像を合計３回撮像する。

前記単位画像生成手段４５は、画像処理により前記第２の画像から第１の画像を差し引くことによって照明毎の単位光度増大分（変更可能な光度の１段階分）の画像データを生成する。この実施の形態では照明は３種類あるから、単位画像生成手段４５は合計三つの単位光度増大分の画像データを生成する。

前記仮想画像生成手段４６は、画像処理により前記単位光度増大分の画像データにその複製データを重ね合わせる（加算する）ことによって、照明２２〜２４と光度の全ての組み合わせについて仮想画像データを生成する。例えば、照明の光度を２段階として撮像した実画像に相当する仮想画像データは、単位光度増大分の画像データを二つ重ね合わせることによって生成される。すなわち、仮想画像生成手段４６は、照明の光度を低光度から高光度まで各段階毎（単位量毎）に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する。

この実施の形態による仮想画像生成手段４６は、下記の式（１）に示す演算によって全ての組み合わせについて仮想画像データを生成する。式（１）において、Ｉ（ｍ，ｃ，ｓ）は、目的の照明と光度の組み合わせの画像データを示し、Ｂは照明を全て消灯した状態で撮像した画像データ（第１の画像）を示し、ｍはメイン照明２２の光度の段数（例えば１〜８）を示し、ΔＭはメイン照明２２の単位光度増大分の画像データを示す。ｃは同軸照明２３の光度の段数（例えば１〜８）を示し、ΔＣは同軸照明２３の単位光度増大分の画像データを示し、ｓはサイド照明２４の光度の段数（例えば１〜８）を示し、ΔＳはサイド照明２４の単位光度増大分の画像データを示す。

Ｉ（ｍ，ｃ，ｓ）＝｛Ｂ＋ｍ×ΔＭ＋ｃ×ΔＣ＋ｓ×ΔＳ｝…（１）
なお、上記式（１）の右辺が２５５以上となる場合は、右辺の値は２５５とする。

前記特定画像生成手段４７は、前記仮想画像生成手段４６によって生成された照明と光度の全ての組み合わせの仮想画像データの中から表面実装用部品６を正しく表現できる最適な仮想画像データを特定する。この特定画像生成手段４７が仮想画像データを特定するに当たっては、例えば特許文献１に示されているような特定方法を採用することができる。

次に前記照明条件特定手段４１の動作を図６および図７に示すフローチャートによって説明する。
照明条件特定手段４１は、先ず、図６に示すフローチャートのステップＳ１において、全ての照明２２〜２４の光度を０とし、ステップＳ２において、対象とする実装用部品６をヘッドユニット１３によりカメラ２１の上方に移動させ、このカメラ２１によって撮像する。この撮像により得られた第１の画像の画像データは、ステップＳ３において記憶部３５に保存される。

その後、照明条件特定手段４１は、ステップＳ４において、一つの照明をその光度を第１段階（照明レベル１）として点灯させ、ステップＳ５で前記実装用部品６をカメラ２１によって再び撮像し、この撮像によって得られた第２の画像の画像データをステップＳ６で前記記憶部３５に保存する。そして、ステップＳ７とステップＳ８に示すように、残りの二つの照明について前記第２の画像の撮像と保存とを繰り返す。

三種類の照明２２〜２４の各々について第２の画像を撮像した後、ステップＳ９に示すように、照明条件特定手段４１は単位光度増大分の画像データ（ΔＭ，ΔＣ，ΔＳ）を生成する。その後、照明条件特定手段４１は、図７に示すフローチャートのステップＳ１０〜Ｓ１２に示すように、メイン照明２２の光度（ｙ１）の段数（光度レベル）を０（消灯）とし、同軸照明２３の光度（ｙ２）の段数（光度レベル）を０とし、サイド照明２４の光度（ｙ３）の段数（光度レベル）を０とする。

次いで、照明条件特定手段４１は、ステップＳ１３において、上記（１）式の右辺に示されている演算を行う。すなわち、ステップＳ１３では、照明毎の単位光度増大分の画像データ（ΔＭ，ΔＣ，ΔＳ）に照明毎の光度の段数（ｙ１〜ｙ３）を乗算し、この照明毎の乗算値どうしを加算することによって、照明と光度との全ての組み合わせについて仮想画像データを生成する。

ステップＳ１３においては、メイン照明２２を照明光源ｘ１で示し、同軸照明２３を照明光源ｘ２で示し、サイド照明２４を照明光源ｘ３で示す。
ステップＳ１２からステップＳ１３に移行した最初のルーチンでは、前記段数は全て０に設定されているために全ての照明を消灯させた状態に相当する仮想画像データが生成される。その後、ステップＳ１４およびステップＳ１５に示すように、照明条件特定手段４１は、メイン照明２２と同軸照明２３の両方を消灯した状態で、サイド照明２４（照明光源ｘ３）の光度を１段階ずつ増大させて各段階毎に仮想画像データを生成する。

このようにサイド照明２４のみの光度を変化させた場合の仮想画像データを生成した後、照明条件特定手段４１は、ステップＳ１６およびステップＳ１７に示すように、メイン照明２２を消灯した状態でサイド照明２４と同軸照明２３の両方の光度を変化させた場合の全ての組み合わせについて仮想画像データを生成する。その後、照明条件特定手段４１は、ステップＳ１８およびステップＳ１９に示すように、メイン照明２２の光度を１段階ずつ増大させ、この各段階において同軸照明２３とサイド照明２４の両方の光度を変化させた場合の全ての組合わせについて仮想画像データを生成する。

すなわち、ステップＳ１０〜ステップＳ１９によって、照明と光度の全ての組み合わせについて仮想画像データが生成されることになる。これらの仮想画像データは記憶部３５に保存される。

このように仮想画像データを生成した後、照明条件特定手段４１は、Ｓ２０において被撮像物を正しく表すことができるような最適な仮想画像データを特定し、この仮想画像データが得られる照明と光度の組み合わせを上述した実装用部品６毎の照明条件データとして記憶部３５に保存する。

したがって、この実施の形態による画像取得方法および画像取得装置においては、第１の画像と第２の画像とから生成した単位光度増大分の画像データを利用することにより、照明と光度の全ての組み合わせについて実際に撮像した画像と同等の仮想画像データを生成するものであるから、照明条件を特定するために実際に行う撮像は、第１の画像と、照明毎の第２の画像とを撮像するための最低４回でよい。

このため、この実施の形態による画像取得装置４２は、光度を８段階に変えることができる照明を３種類備えているにもかかわらず、照明条件を特定するために行う撮像は上述したように最低４回でよいから、照明と光度の全ての組合わせについてそれぞれ撮像を行う従来の画像取得装置に較べ撮像回数を著しく低減することができる。さらに、この実施の形態における画像取得装置４２は、第１の画像の画像データ、第２の画像の画像データ、あるいは実際に撮像した画像と同等の仮想画像データのうち、少なくとも一つの前記仮想画像データを含む一つあるいは複数の画像データから、光源の最適な光度を特定する照明条件特定手段４１を備えている。これにより、短時間で照明条件が特定でき、一旦照明条件が特定できた後は、対象とする実装用部品６を撮像する度に、特定できた照明条件で照明しつつ撮像することで、最適な画像を得ることができる。
この結果、この実施の形態による画像取得装置４２を装備した表面実装機１においては、最適な照明条件を短時間でかつ適切に特定することができる。

(第２の実施の形態）
照明条件特定手段は図８ないし図１０に示すように構成することができる。
図８は照明条件特定手段の他の実施の形態を示すブロック図、図９は照明条件特定手段の動作を説明するためのフローチャート、図１０は光度の段数と画像データの階調の関係を示すグラフである。これらの図において、前記図１〜図７によって説明したものと同一もしくは同等の部材については、同一符号を付し詳細な説明を適宜省略する。

この実施の形態による照明条件特定手段４１は、カメラ２１が撮像した画像が暗い画像（ダイナミックレンジの狭い画像）であっても高い精度で仮想画像データを生成できるように構成されている。

この照明条件特定手段４１は、図８に示すように、第１の形態で示したものに合成画像生成手段５１と、光度範囲変更手段５２と、第３の画像生成手段５３と、新単位画像生成手段５４とを設けたものである。
前記合成画像生成手段５１は、単位画像生成手段４５により生成された単位光度増大分の画像データに画像処理によってその複製データを複数重ね合わせ、合成画像データを生成する（図９におけるステップＳ１００）。この合成画像データは、各照明２２〜２４について、変更可能な光度の段数分だけ生成する。

前記光度範囲変更手段５２は、前記各合成画像データと予め記憶されている飽和状態での画像データとを比較し、前記合成画像データが飽和状態とならない複製データの重ね合わせ数のうち最大の重ね合わせ数（最大の照明レベル）を求める（図９におけるステップＳ１０１）。
すなわち、光度範囲変更手段５２は、下記の式（２）〜（４）の条件を満たす照明毎の重ね合わせ数Ｌｍ，Ｌｃ，Ｌｓを求める。下記の式（２）〜（４）において、Ｂは照明を消灯させて撮像した画像データ（第１の画像）を示し、ΔＭはメイン照明２２の単位光度増大分の画像データを示し、ΔＣは同軸照明２３の単位光度増大分の画像データを示し、ΔＳはサイド照明２４の単位光度増大部の画像データを示す。
Ｂ＋Ｌｍ×ΔＭ＜２５５‥‥（２）：メイン照明２２について
Ｂ＋Ｌｃ×ΔＣ＜２５５‥‥（３）：同軸照明２３について
Ｂ＋Ｌｓ×ΔＳ＜２５５‥‥（４）：サイド照明２４について
ここで、前記重ね合わせ数について図１０によって説明する。カメラ２１によって撮像された画像が暗い画像である場合、光度を第１段階として撮像した画像データにノイズが多く含まれることがある。図１０において、理想的な画像データである場合をＡ点で示し、ノイズを多く含む画像データである場合をＢ点で示す。このノイズを多く含む画像データに基づいて単位光度増大分の画像データを生成し、これを複数重ね合わせると、同図中に二点鎖線で示すように、光度の段数が最大より少ない場合でも画像が飽和状態になる。この実施の形態による光度範囲変更手段５２は、図１０に示す場合には飽和状態になる限界の光度の段数５を最大の重ね合わせ数Ｌ（ｍ，ｃ，ｓ）（最大の照明レベル）として設定する。

前記第３の画像生成手段５３は、各照明の光度を前記重ね合わせ数Ｌｍ，Ｌｃ，Ｌｓに相当する光度に設定し、一種類の照明のみを点灯させた状態でカメラ２１によって実装用部品６の第３の画像を撮像する（図９におけるステップＳ１０２）。
図１０に示す例の場合では、光度の段数を５として第３の画像が撮像される。この第３の画像の撮像は、照明の数、すなわち３回行われる。これらの第３の画像の画像データは記憶部３５に保存する。

前記新単位画像生成手段５４は、画像処理により前記第３の画像から第１の画像を差し引くことによって新たな画像データを生成する。そして、この新単位画像生成手段５４は、前記新たな画像データを上述した重ね合わせ数Ｌｍ，Ｌｃ，Ｌｓで除算し、新たな単位量による新たな単位光度増大分の画像データを生成する（図９におけるステップＳ１０３）。すなわち、新単位画像生成手段５４は、下記の式（５）〜（７）で示す演算を行い、照明毎に新たな単位光度増大分の画像データ（新ΔＭ，新ΔＣ，新ΔＳ）を求める。下記の式（５）〜（７）において、Ｍｍはメイン照明２２を使用して撮像した第３の画像の画像データを示し、Ｍｃは同軸照明２３を使用して撮像した第３の画像の画像データを示し、Ｍｓはサイド照明２４を使用して撮像した第３の画像の画像データを示す。
新ΔＭ＝（Ｍｍ−Ｂ）／Ｌｍ‥‥（５）メイン照明２２について
新ΔＣ＝（Ｍｃ−Ｂ）／Ｌｃ‥‥（６）同軸照明２３について
新ΔＳ＝（Ｍｓ−Ｂ）／Ｌｓ‥‥（７）サイド照明２４について

この実施の形態による仮想画像生成手段４６は、前記新単位画像生成手段５４によって生成された新たな単位光度増大分の画像データを用いて第１の実施の形態の場合と同様に照明と光度との全ての組み合わせについて仮想画像データを生成する。

この第２の実施の形態によれば、カメラ２１によって撮像された画像が暗い画像となる場合のように、第１の画像と第２の画像とによって生成した単位光度増大分の画像データにノイズが相対的に多く含まれる場合であっても、飽和することがない仮想画像データを得ることができる。
したがって、この実施の形態による画像取得装置４２においては、より一層精度が高い仮想画像データを得ることができる。

また、この実施の形態による画像取得装置４２においては、複数の照明２２〜２４の照明条件を特定するに当たって行う撮像は、全ての照明２２〜２４の光度を第１段階として行う１度の第１の画像の撮像と、照明の数だけ行う第２、第３の画像の撮像のみでよい。したがって、この実施の形態による画像取得装置４２は、少なくとも照明の種類の数の２倍に１を加えた回数だけ撮像を行えばよいから、従来の画像取得装置に較べて著しく撮像回数を低減することができる。

上述した各実施の形態においては、第１の画像を撮像するときの光度（第１の光度）を０としているから、計算速度の向上と記憶容量の低減を図ることができる。これは、照明を消灯させた状態で撮像した第１の画像はカメラ２１の暗出力と略同一と見なすことができ、画像データとして記憶するのではなく定数として記憶することができるからである。すなわち、このように第１の画像データを定数とすることにより、画像データに対して演算を行う場合に較べて計算速度を向上させることができるとともに、データを記憶する際の記憶容量を低減することができる。

上述した各実施の形態においては、第１の画像をその都度撮像する例を示したが、第１の画像を撮像するときの光度を０とする場合は、第１の画像として工場出荷時に予め撮像した画像の画像データを使用することができる。この場合、第１の画像の画像データは記憶部３５に保存しておき、必要に応じて記憶部３５から読み出して用いる。この構成を採ることにより、照明条件を特定する際に第１の画像を撮像する必要がなくなるから、撮像回数をより一層低減することができる。

上述した各実施の形態においては、照明の光度は０から最大光度までの間を複数に等分した段階をもって変更し、第２の画像を撮像するときの第２の光度を前記段階的に変化する光度の１段階分だけ第１の光度より高く設定している。
このような構成を採ることにより、段階的に変化する光度に対応するように仮想画像データが生成されるから、より一層精度が高い仮想画像データを得ることができる。なお、照明の光度を変える段数は、この実施の形態で示した８段階に限定されるものではなく、適宜変更することができる。

また、カメラ２１の出力が入力光量に対してリニアに変化しないような場合には、予め入出力特性を測定し変換テーブルを準備しておき、前記式（１）の右辺を入力値として変換する。さらに、このような場合の別の解決方法として、数式として表現可能な場合にはその数式に則って変換を行う。これと同様に、照明光量が設定した照明レベルに対してリニアに変化しないような場合には、変換テーブルまたは数式により前記式（１）の右辺、Ｂ以外の各項に対して変換を行う。例えば、各照明が指定照明レベルに対して指数変化する場合などで、カメラ２１の出力特性を変換テーブルにより補正する場合には、下記の式（８）のようになる。

Ｉ（ｍ，ｃ，ｓ）＝Ｔａｂｌｅ［Ｂ＋２^m ×ΔＭ＋２^c ×ΔＣ＋２^s ×ΔＳ］‥‥（８）
なお、この式（８）を含め上述した各式（１）〜（７）において、画像データＩ，Ｂ，Ｍ，Ｃ，Ｓは行列であり、上記各式は、行列の各要素について示す。

上述した各実施の形態では、部品移載装置７に吸着された実装用部品６を被撮像物とする表面実装機１に本発明に係る画像取得装置４２を適用しているから、実装用部品６の最適な照明条件を短時間でしかも適切に特定することができる表面実装機を得ることができる。本発明に係る画像取得装置４２は、この例に限定されることはなく、他の装置にも用いることができる。

本発明に係る画像取得装置４２を適用する他の装置としては、プリント配線板に設けられた位置決め用マークを被撮像物とする表面実装機を挙げることができる。この表面実装機に本発明に係る画像取得装置を装備することにより、プリント配線板３に設けられた位置決め用マークの最適な照明条件を短時間でしかも適切に特定することができる。

本発明に係る画像取得装置を適用する他の装置としては、プリント配線板に設けられた位置決め用マークを被撮像物とするプリント配線板用はんだ印刷機を挙げることができる。このプリント配線板用はんだ印刷機に本発明に係る画像取得装置を装備することにより、プリント配線板に設けられた位置決め用マークの最適な照明条件を短時間でしかも適切に特定することができるプリント配線板用はんだ印刷機を得ることができる。

本発明に係る画像取得装置を適用する他の装置としては、ウエハチップ移載装置に吸着されたウエハチップを被撮像物とするウエハチップ供給装置を挙げることができる。このウエハチップ供給装置に本発明に係る画像取得装置を装備することにより、ウエハチップの最適な照明条件を短時間でしかも適切に特定することができるウエハチップ供給装置を得ることができる。

本発明に係る画像取得装置を適用する他の装置としては、電子部品移載ヘッドに吸着された電子部品を被撮像物とした電子部品移載装置を挙げることができる。この電子部品移載装置に本発明に係る画像取得装置を装備することにより、電子部品移載ヘッドに吸着された電子部品の最適な照明条件を短時間でしかも適切に特定することができる電子部品移載装置を得ることができる。

本発明に係る画像取得装置を適用する他の装置としては、電子部品移載ヘッドに保持された被検査用電子部品を被撮像物とする電子部品用外観検査装置を挙げることができる。この電子部品用外観検査装置に本発明に係る画像取得装置を装備することにより、電子部品移載ヘッドに保持された被検査用電子部品の最適な照明条件を短時間でしかも適切に特定することができる電子部品用外観検査装置を得ることができる。

なお、上述した実施の形態では３種類の照明２２〜２４を装備する例を示しているが、本発明は、照明を１種類だけ有する画像取得装置に適用することもできるし、光源として波長の異なるもの（例えばＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）を使用する画像取得装置において波長の異なる光を合成する場合にも適用することができる。

本発明に係る画像取得方法を実施する画像取得装置を備えた表面実装機の構成を示す平面図である。 部品移載装置の側面図である。 画像取得装置の構成を示す側面図である。 表面実装機の制御系の構成を示すブロック図である。 照明条件特定手段の構成を示すブロック図である。 画像取得装置の動作を説明するためのフローチャートである。 画像取得装置の動作を説明するためのフローチャートである。 照明条件特定手段の他の実施の形態を示すブロック図である。 照明条件特定手段の動作を説明するためのフローチャートである。 光度の段数と画像データの階調の関係を示すグラフである。

符号の説明

１…表面実装機、６…実装用部品、９…制御装置、２０…吸着ノズル、２１…カメラ、２２…メイン照明、２３…同軸照明、２４…サイド照明、４１…照明条件特定手段、４２…画像取得装置、４３…第１の画像生成手段、４４…第２の画像生成手段、４５…単位画像生成手段、４６…仮想画像生成手段、４７…特定画像生成手段、５１…合成画像生成手段、５２…光度範囲変更手段、５３…第３の画像生成手段、５４…新単位画像生成手段。

Claims (13)

1. 光度が変更可能な光源によって照明された被撮像物を撮像手段により撮像し、最適な光度を特定するための画像データを取得する画像取得方法において、前記光源の光度を変えて被撮像物を複数撮像し、これらの画像の画像データの差に基づいて、光度を単位量だけ変化させることにより変化する画像データを生成し、この画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成することを特徴とする画像取得方法。
2. 光度を変更可能に構成され被撮像物に光を照射する光源と、前記被撮像物を撮像する撮像手段とを備えた画像取得装置において、
   光源の光度を予め定めた第１の光度として前記撮像手段で被撮像物の第１の画像を撮像する第１の画像生成手段と、
   光源の光度を前記第１の光度より予め定めた単位量だけ変化させた第２の光度として前記撮像手段で被撮像物を撮像し第２の画像を生成する第２の画像生成手段と、
   画像処理により前記第１の画像と第２の画像のうち光源の光度が高い方の画像から他方の画像を差し引くことによって前記光源の単位光度増大分の画像データを生成する単位画像生成手段と、
   画像処理により前記単位光度増大分の画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する仮想画像生成手段とを備えていることを特徴とする画像取得装置。
3. 請求項２に記載した画像取得装置において、
   光源を複数備え、
   第１の画像生成手段は全ての光源を第１の光度として第１の画像を撮像し、
   第２の画像生成手段は全ての光源について第２の画像を撮像し、
   単位画像生成手段は全ての光源について単位光度増大分の画像データを生成し、
   仮想画像生成手段は光源と光度との全ての組み合わせについて仮想画像データを生成することを特徴とする画像取得装置。
4. 光度を変更可能に構成され被撮像物に光を照射する光源と、前記被撮像物を撮像する撮像手段とを備えた画像取得装置において、
   光源の光度を予め定めた第１の光度として前記撮像手段で被撮像物の第１の画像を撮像する第１の画像生成手段と、
   光源の光度を前記第１の光度より予め定めた単位量だけ変化させた第２の光度として前記撮像手段で被撮像物を撮像し第２の画像を生成する第２の画像生成手段と、
   画像処理により前記第１の画像と第２の画像のうち光源の光度が高い方の画像から他方の画像を差し引くことによって前記光源の単位光度増大分の画像データを生成する単位画像生成手段と、
   画像処理により前記単位光度増大分の画像データにその複製データを複数重ね合わせてなる合成画像データを生成する合成画像生成手段と、
   前記合成画像データと飽和状態での画像データとを比較することにより、前記合成画像データが飽和状態とならない複製データの重ね合わせ数のうち最大の重ね合わせ数を求める光度範囲変更手段と、
   光源の光度を前記単位量に前記重ね合わせ数を乗じた光度とし、前記撮像手段により被撮像物の第３の画像を撮像する第３の画像生成手段と、
   画像処理により前記第３の画像から前記第１の画像を差し引いてなる画像データを前記重ね合わせ数で除算することにより新たな単位量による単位光度増大分の画像データを生成する新単位画像生成手段と、
   画像処理により前記新単位光度増大分の画像データにその複製データを重ね合わせることによって、前記光源の光度を低光度から高光度まで前記新単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する仮想画像生成手段とを備えていることを特徴とする画像取得装置。
5. 請求項４に記載した画像取得装置において、
   光源を複数備え、
   第１の画像生成手段は全ての光源を第１の光度として第１の画像を撮像し、
   第２の画像生成手段は全ての光源について第２の画像を撮像し、
   単位画像生成手段は全ての光源について単位光度増大分の画像データを生成し、
   仮想画像生成手段は全ての光源について複数の仮想画像データを生成し、
   画像データ合成手段は全ての光源について合成画像データを生成し、
   光度範囲変更手段は全ての光源について複製データの重ね合わせ数を求め、
   第３の画像生成手段は全ての光源について第３の画像を生成し、
   新単位画像生成手段は全ての光源について新たな単位光度増大分の画像データを生成し、
   仮想画像生成手段は全ての光源と光度との全ての組み合わせについて仮想画像データを生成することを特徴とする画像取得装置。
6. 請求項２ないし請求項５のうちいずれか一つに記載した画像取得装置において、光源の光度は、０から最大光度までの間を複数に等分した段階をもって変更され、第２の光度は、前記段階的に変化する光度の１段階分だけ第１の光度より高く設定されていることを特徴とする画像取得装置。
7. 請求項２ないし請求項６のうちいずれか一つに記載した画像取得装置において、第１の画像の画像データ、第２の画像の画像データ、あるいは前記仮想画像データのうち、少なくとも一つの前記仮想画像データを含む一つあるいは複数の画像データから、光源の最適な光度を特定する照明条件特定手段を備えていることを特徴とする画像取得装置。
8. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた表面実装機であって、部品移載装置に吸着された実装用部品を被撮像物とすることを特徴とする表面実装機。
9. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた表面実装機であって、プリント配線板に設けられた位置決め用マークを被撮像物とする表面実装機。
10. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えたプリント配線板用はんだ印刷機であって、プリント配線板に設けられた位置決め用マークを被撮像物としたことを特徴とするプリント配線板用はんだ印刷機。
11. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えたウエハチップ供給装置であって、ウエハチップ移載装置に吸着されたウエハチップを被撮像物としたことを特徴とするウエハチップ供給装置。
12. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた電子部品移載装置であって、電子部品移載ヘッドに吸着された電子部品を被撮像物としたことを特徴とする電子部品移載装置。
13. 請求項２ないし請求項７のうちいずれか一つに記載した画像取得装置を備えた電子部品用外観検査装置であって、電子部品移載ヘッドに保持された被検査用電子部品を被撮像物としたことを特徴とする電子部品用外観検査装置。
    

Images