JPWO2017126025A1 - 実装装置および撮像処理方法 - Google Patents

Abstract

実装装置は、基準マークの位置の取得に用いられるマーク画像に含まれる部品６０の本体部の粗位置に基づいて超解像処理の処理領域を設定して、超解像処理を行う。これにより、超解像処理の処理領域が部品６０の本体部に対して必要以上に大きくなるのを防止して適切に設定することができる。また、超解像処理に用いられる部品画像とは異なる撮像条件で撮像されるマーク画像を用いて超解像処理の処理領域を定めるから、部品画像は超解像処理に適した撮像条件としたままで、処理領域を適切に設定することができる。したがって、超解像処理を行う処理領域をより適切に設定し、超解像処理を効率よく行うことができる。

Description

本発明は、実装装置および撮像処理方法に関する。

従来、保持した電子部品を移動させて基板に実装する実装装置において、保持した電子部品の位置や角度などの保持状態を精度よく取得するために、電子部品を撮像した撮像画像よりも解像度の高い超解像画像を生成するものが提案されている（例えば、特許文献１参照）。この実装装置では、電子部品の外形に対して所定の余裕をもたせた処理領域を設定し、処理領域に対して所定の超解像処理を行うことで超解像画像を生成している。

ＷＯ２０１５／０４９７２３号公報

このような超解像処理では、電子部品が正常な位置や角度からずれた状態で保持されていても処理領域に電子部品を含むようにするため、所定の余裕として十分な余裕をもたせる必要がある。しかしながら、そのような余裕をもたせて処理領域を設定すると、電子部品の位置や角度の取得に必要のない領域についても超解像処理を行うことになるから、処理時間が必要以上に長くなってしまう。

本発明は、超解像処理の対象である処理領域をより適切に設定することで、超解像処理を効率よく行うことを主目的とする。

本発明の実装装置は、
基準マークに基づいて複数の低解像画像を用いて電子部品の高解像画像を生成する超解像処理により、前記電子部品の保持状態を取得して前記電子部品を基板に実装する実装装置であって、
前記電子部品を保持する保持部材と前記基準マークとを有するヘッドと、
前記保持部材に保持された電子部品と前記基準マークとを撮像範囲に含む撮像装置と、
前記基準マークの位置の取得に用いられるマーク画像と、前記超解像処理に用いられる低解像画像とを、異なる撮像条件で撮像するよう前記撮像装置を制御し、前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記超解像処理の対象となる処理領域を設定する制御装置と、
を備えることを要旨とする。

本発明の実装装置は、基準マークの位置の取得に用いられるマーク画像と、超解像処理に用いられる低解像画像とを異なる撮像条件で撮像する。また、実装装置は、マーク画像に含まれる電子部品の画像領域に基づいて超解像処理の対象となる処理領域を設定し、低解像画像内の処理領域に対して超解像処理を行う。これにより、超解像処理の対象となる処理領域が電子部品に対して必要以上に大きくなることなく、処理領域を適切に設定することができる。また、超解像処理に用いられる低解像画像とは異なる撮像条件で撮像されるマーク画像を用いて処理領域を定めるから、低解像画像は超解像処理に適した撮像条件としたままで、処理領域を適切に設定することができる。したがって、超解像処理を行う処理領域をより適切に設定し、超解像処理を効率よく行って高速処理を実現することができる。

本発明の実装装置において、前記超解像処理により前記高解像画像から前記電子部品の精密位置を含む保持状態を取得し、前記制御装置は、前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記電子部品の粗位置を取得し、該取得した前記電子部品の粗位置に基づいて前記処理領域を設定するものとしてもよい。こうすれば、超解像処理の処理領域を電子部品の粗位置に基づいて簡易な処理で設定することができる。

本発明の実装装置において、前記制御装置は、前記電子部品の粗位置として前記本体部の粗位置を取得し、該取得した前記本体部の粗位置に基づいて前記処理領域を設定するものとしてもよい。こうすれば、超解像処理の処理領域を、電子部品の本体部の画像処理に必要な領域とすることができるから、超解像処理をより効率のよいものとすることができる。

本発明の実装装置において、前記制御装置は、前記電子部品の前記本体部に対する電極の位置を定めた部品情報を取得し、該取得した部品情報と前記本体部の粗位置とに基づいて、前記電極の粗位置を導出し、該導出した前記電極の粗位置に基づいて前記処理領域を設定するものとしてもよい。こうすれば、超解像処理の処理領域を、電子部品内の電極の画像処理に必要な領域とすることができるから、超解像処理を更に効率のよいものとすることができる。

本発明の実装装置において、前記制御装置は、前記撮像範囲内の第１位置に前記ヘッドが位置している場合に前記マーク画像と前記超解像処理に用いられる低解像画像とをこの順で撮像してから、前記撮像範囲内の前記第１位置とは異なる第２位置に前記ヘッドが位置している場合に前記マーク画像と前記超解像処理に用いられる低解像画像とを撮像するよう前記撮像装置を制御し、前記第１位置で撮像された前記マーク画像を用いて前記処理領域を設定するものとしてもよい。こうすれば、制御装置が並行処理を行うことにより、第１位置で撮像したマーク画像から超解像処理の処理領域を設定している間に、第１位置の低解像画像の撮像や第２位置のマーク画像および低解像画像の撮像が可能となる。即ち、処理領域の設定を画像の撮像と並行して行うことができるから、画像の一部に処理領域を設定する場合でも、超解像処理に要する時間が長くなるのを防止することができる。

本発明の撮像処理方法は、
基準マークに基づいて、複数の低解像画像を用いて電子部品の高解像画像を生成する超解像処理を行う撮像処理方法であって、
前記基準マークの位置の取得に用いられるマーク画像と、前記超解像処理に用いられる低解像画像とを、異なる撮像条件で撮像するステップと、
前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記超解像処理の対象となる処理領域を設定するステップと、
を含むことを要旨とする。

本発明の撮像処理方法は、上述した実装装置と同様に、超解像処理を行う処理領域をより適切に設定して、超解像処理を効率よく行うことができる。

本発明の撮像処理方法において、前記マーク画像を、前記高解像画像の生成に用いられる低解像画像の撮像よりも先に撮像し、前記超解像処理に用いられる低解像画像を、前記処理領域の設定と並行して撮像するものとしてもよい。こうすれば、処理領域の設定を画像の撮像と並行して行うことができるから、画像の一部に処理領域を設定する場合でも、超解像処理に要する時間が長くなるのを防止することができる。

実装システム１０の一例を表す概略説明図。 実装ヘッド２２及び撮像ユニット３０の説明図。 実装装置１１の構成を表すブロック図。 実装処理ルーチンの一例を示すフローチャート。 超解像処理に必要な画像を撮像する様子を示す説明図。 画像処理ルーチンの一例を示すフローチャート。 実施形態の超解像処理の処理領域を示す説明図。 比較例の超解像処理の処理領域を示す説明図。 変形例の画像処理ルーチンを示すフローチャート。 変形例の処理領域を示す説明図。 変形例の処理領域を示す説明図。

次に、本発明の実施の形態を図面を用いて説明する。図１は、実装システム１０の一例を表す概略説明図である。図２は、実装ヘッド２２及び撮像ユニット３０の説明図である。図３は、実装装置１１の構成を表すブロック図である。実装システム１０は、例えば、部品６０を基板Ｓに実装する処理を実行するシステムである。この実装システム１０は、実装装置１１と、管理コンピュータ（ＰＣ）５０とを備える。実装システム１０は、電子部品を基板Ｓに実装する実装処理を実施する複数の実装装置１１が上流から下流に配置されている。図１では、説明の便宜のため実装装置１１を１台のみ示している。なお、実装処理とは、部品を基板上に配置、装着、挿入、接合、接着する処理などを含む。また、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１、図２に示した通りとする。

実装装置１１は、図１〜３に示すように、基板搬送ユニット１２と、実装ユニット１３と、部品供給ユニット１４と、撮像ユニット３０と、制御装置４０とを備える。基板搬送ユニット１２は、基板Ｓの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板搬送ユニット１２は、図１の前後に間隔を開けて設けられ左右方向に架け渡された一対のコンベアベルトを有している。基板Ｓはこのコンベアベルトにより搬送される。

実装ユニット１３は、電子部品（以下、部品６０ともいう）を部品供給ユニット１４から採取し、基板搬送ユニット１２に固定された基板Ｓへ配置するものである。部品６０は、例えば、図１に示すように、板状の本体の下部に半球状のバンプ６１（電極）が複数設けられたＢＧＡ部品である。なお、部品６０がチップ部品やリード部品の場合もある。実装ユニット１３は、ヘッド移動部２０と、実装ヘッド２２と、吸着ノズル２４とを備える。ヘッド移動部２０は、ガイドレールに導かれてＸＹ方向へ移動するスライダと、スライダを駆動するモータとを備える。実装ヘッド２２は、スライダに取り外し可能に装着されており、ヘッド移動部２０によりＸＹ方向へ移動する。実装ヘッド２２の下面には、１以上の吸着ノズル２４が取り外し可能に装着される。ここでは、実装ヘッド２２が４つの吸着ノズル２４ａ〜２４ｄを装着する場合を説明する（図２）。また、吸着ノズル２４ａ〜２４ｄを吸着ノズル２４と総称する。吸着ノズル２４は、負圧を利用して部品６０を保持するものであり、実装ヘッド２２に取り外し可能に装着されている。この実装ヘッド２２は、Ｚ軸モータ２３を内蔵しており、このＺ軸モータ２３によってＺ軸に沿って吸着ノズル２４の高さを調整する。また、実装ヘッド２２は、図示しない駆動モータによって吸着ノズル２４を回転（自転）させる回転装置を備え、吸着ノズル２４に保持（吸着）された部品の角度を調整可能となっている。

実装ヘッド２２は、図２に示すように、その下面に、保持された部品の位置の基準となる基準マーク２５が、実装ヘッド２２の内周側である中央部に配設されている。なお、基準マーク２５は、実装ヘッド２２の外周側、即ち、撮像ユニット３０の撮像範囲の隅に配設されてもよい。この基準マーク２５は、４つの円形状のマークで構成されている。基準マーク２５の中心は、吸着ノズル２４と所定の位置関係、例えば、所定距離で配設されている。吸着ノズル２４ａ〜２４ｄは、基準マーク２５と所定の位置関係（距離や配置位置）を有するから、基準マーク２５の位置が認識できれば、それぞれの吸着ノズル２４の位置を認識することができる。

部品供給ユニット１４は、複数のリールを備え、実装装置１１の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、複数の部品がテープの長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル２４で吸着される供給位置にフィーダ部により送り出される。この部品供給ユニット１４は、部品を複数配列して載置するトレイを有するトレイユニットを備える。トレイユニットは、トレイをパレットに固定して図示しないマガジンカセットから引きだし、所定の供給位置へトレイを移動する移動機構を備える。トレイには、多数の矩形のキャビティが形成されており、このキャビティに部品を収容している。このトレイに収容される部品は、リールに収容される部品に比して高さや大きさが大きいものである。部品６０は、トレイユニットのトレイに収納されている。

撮像ユニット３０は、実装ヘッド２２の吸着ノズル２４に吸着された部品や基準マーク２５を撮像するユニットである。この撮像ユニット３０は、部品供給ユニット１４と基板搬送ユニット１２との間に配置されている。撮像ユニット３０の撮像範囲は、撮像ユニット３０の上方であり、吸着ノズル２４に吸着された部品と基準マーク２５とを含む。撮像ユニット３０は、照明部３１と、照明制御部３２と、撮像素子３３と、画像処理部３４とを備える。照明部３１は、実装ヘッド２２に保持された部品６０に対して複数の照明状態で光を照射可能に構成されている。照明部３１は、例えば、上、中、下段に配設されたランプ、及び図示しない落射ランプを光源として有し、吸着ノズル２４に吸着された部品へ照射される光の明るさ（光量）、光の波長及び光の照射位置などを調整可能な光源ユニットである。照明部３１は、上段のランプを点灯すると側方から光を照射し、下段のランプを点灯すると側方且つ下方から光を照射し、落射ランプを点灯すると下方から光を照射し、全部のランプを点灯すると全体がより明るくなるよう光を照射する。照明制御部３２は、所定の照明条件に基づき、吸着ノズル２４に吸着された部品に応じた照明状態になるように照明部３１を制御する。撮像素子３３は、受光により電荷を発生させ発生した電荷を出力する素子である。撮像素子３３は、露光後の電荷の転送処理と次画像の露光処理とをオーバーラップさせることにより高速な連続取込み処理をすることができるＣＭＯＳイメージセンサとしてもよい。画像処理部３４は、入力された電荷に基づいて画像データを生成する処理を行う。撮像ユニット３０は、部品を吸着した吸着ノズル２４が撮像ユニット３０の上方を通過する際、実装ヘッド２２を移動しながら、あるいは実装ヘッド２２を停止した状態で、１以上の画像を撮像し、撮像画像データを制御装置４０へ出力する。

制御装置４０は、図３に示すように、ＣＰＵ４１を中心とするマイクロプロセッサとして構成されており、処理プログラムを記憶するＲＯＭ４２、各種データを記憶するＨＤＤ４３、作業領域として用いられるＲＡＭ４４、外部装置と電気信号のやり取りを行うための入出力インタフェース４５などを備える。これらはバス４６を介して接続されている。この制御装置４０は、基板搬送ユニット１２、実装ユニット１３、部品供給ユニット１４、撮像ユニット３０へ制御信号を出力し、実装ユニット１３や部品供給ユニット１４、撮像ユニット３０からの信号を入力する。

管理ＰＣ５０は、実装システム１０の各装置の情報を管理するコンピュータである。管理ＰＣ５０は、作業者が各種指令を入力するキーボード及びマウス等の入力装置５２と、各種情報を表示するディスプレイ５４とを備える。

次に、こうして構成された本実施形態の実装システム１０の動作、具体的には、実装装置１１の実装処理について説明する。図４は、制御装置４０のＣＰＵ４１により実行される実装処理ルーチンの一例を表すフローチャートである。このルーチンは、制御装置４０のＨＤＤ４３に記憶され、作業者による開始指示により実行される。ここでは、吸着ノズル２４ａ〜２４ｄのそれぞれに部品６０を吸着し、これを基板Ｓに実装する場合を主として説明する。このルーチンを開始すると、制御装置４０のＣＰＵ４１は、まず、実装ジョブ情報を管理ＰＣ５０から取得する（Ｓ１００）。実装ジョブ情報には、部品の実装順、実装する部品の種別及びその部品の特徴などの部品情報、部品を吸着する吸着ノズル２４の情報、撮像ユニット３０での撮像条件（照明条件も含む）などが含まれている。部品の特徴には、部品のサイズの情報やバンプ６１の配置や数、サイズ（バンプ径）の情報、正常な形状の部品の画像であるリファレンス画像なども含まれる。

次に、ＣＰＵ４１は、基板Ｓの搬入処理を行い（Ｓ１１０）、吸着する部品を設定し、その部品の部品情報を実装ジョブ情報から取得する（Ｓ１２０）。次に、ＣＰＵ４１は、必要に応じて実装ヘッド２２に吸着ノズル２４を装着させ、設定した部品の吸着処理を行う（Ｓ１３０）。吸着処理では、ＣＰＵ４１は、該当する部品が収納されている部品供給ユニット１４の供給位置まで実装ヘッド２２を移動させ、吸着ノズル２４を下降させて吸着ノズル２４に部品を吸着させる処理を行う。この吸着処理では、１以上の部品６０を吸着ノズル２４ａ〜２４ｄに吸着させるものとしてもよい。

次に、ＣＰＵ４１は、超解像処理を必要とする部品であるか否かを判定する（Ｓ１４０）。この判定は、Ｓ１２０で取得した部品情報に基づいて行われる。実装対象の部品には、光学的特性（例えば、表面の輝度や光の反射率など）や、電極の形状や配置が異なるものがあり、撮像時の露光時間や使用照明の変更を要するものがある。そのような部品に合わせた撮像条件では、基準マーク２５を明瞭に撮像できない場合がある。なお、撮像条件には、例えば、照明部３１の点灯位置、照明の色、露光時間及び焦点距離のうち１以上が含まれる。また、実装対象の部品は、様々な大きさを有しており、撮像ユニット３０が大きな部品を撮像可能な視野範囲を有するものとすると、小さな部品を撮像する際に十分な解像度が得られないことがある。実装装置１１では、そのような小さな部品を撮像する際に、低解像度の画像を複数用い基準マーク２５で位置決めして高解像度の画像を得る超解像処理を行う。Ｓ１４０では、ＣＰＵ４１は、実装ヘッド２２に吸着された部品が、基準マーク２５と撮像条件が異なり且つ高解像度の画像を要するか否かに基づいて、超解像処理を必要とするか否かを判定する。ここで、部品６０は、バンプ６１と基準マーク２５とで照明の適切な照射角度が異なるため、基準マーク２５と部品６０とで異なる撮像条件になる。また、ＣＰＵ４１は、部品６０が正常であるかを判断するために、比較的小さなバンプ６１の欠損や変形などを検出する必要がある。さらに、比較的小さなバンプ６１を有する部品６０は、基板Ｓに搭載する際の僅かな位置ずれにより接触不良が生じるから、高い搭載精度が要求される部品といえる。したがって、比較的小さなバンプ６１を有する部品６０は、高解像度の画像を要するものであり、超解像処理を必要とする部品であるといえる。

ＣＰＵ４１は、Ｓ１４０で超解像処理が必要でないと判定すると、所定の撮像条件で撮像ユニット３０により画像を撮像させる（Ｓ１５０）。Ｓ１４０で超解像処理が必要でないと判定された部品が、チップ部品やリード部品の場合には、所定の撮像条件として第１撮像条件を用いる。第１撮像条件は、例えば、基準マーク２５や部品の外形を十分明瞭に撮像可能な条件とすることができ、照明部３１のすべてのランプを点灯し全方向から光が照射されるよう設定されている。この場合、ＣＰＵ４１は、Ｓ１５０で実装ヘッド２２を移動させながら撮像ユニット３０により部品を撮像させてもよい。こうすれば、実装ヘッド２２を停止させて撮像する場合に比して、撮像時間をより短縮することができる。ＣＰＵ４１は、吸着ノズル２４に吸着されている部品に対し、撮像画像を用いて位置ずれや形状異常などを求める画像処理を行う。また、Ｓ１４０で超解像処理が必要でないと判定された部品が、サイズ（バンプ径）が比較的大きく、高い搭載精度が要求されないＢＧＡ部品の場合には、所定の撮像条件として第２撮像条件を用いる。第２撮像条件は、例えば、半球状のバンプ６１が十分明瞭に撮像可能な条件とすることができ、照明部３１の上段のランプを点灯し側方から光が照射されるよう設定されている。この場合、ＣＰＵ４１は、実装ヘッド２２を停止させて第２撮像条件で画像を撮像させるものとし、第２撮像条件の撮像画像からバンプの位置や形状異常などを求める画像処理を行う。一方、ＣＰＵ４１は、実装ヘッド２２を移動させながら撮像ユニット３０により撮像させてもよく、その場合には、撮像ユニット３０に第１撮像条件での撮像と第２撮像条件での撮像とを行わせるものとする。ＣＰＵ４１は、第１撮像条件の撮像画像から基準マーク２５の位置を認識する画像処理を行い、認識した基準マーク２５の位置に基づいて第２撮像条件の撮像画像からバンプの位置や形状異常などを求める画像処理を行う。

一方、ＣＰＵ４１は、部品６０が比較的小さなバンプ６１を有するものであるなど、Ｓ１４０で超解像処理が必要であると判定すると、以下に説明するように超解像処理に必要な画像の撮像を行い、画像の撮像と並行して後述の画像処理を行う。図５は、超解像処理に必要な画像を撮像する様子を示す説明図である。画像の撮像では、ＣＰＵ４１は、まず、撮像ユニット３０の撮像領域内の第１位置に実装ヘッド２２を移動させてから（Ｓ１６０）、撮像ユニット３０により第１撮像条件で基準マーク２５の画像（マーク画像ＬＲ１１）を撮像させる（Ｓ１７０，図５（ａ））。続いて、ＣＰＵ４１は、実装ヘッド２２を第１位置としたまま、撮像ユニット３０により第２撮像条件で部品６０の画像（部品画像ＬＲ１２）を撮像させる（Ｓ１８０，図５（ｂ））。第１撮像条件は、基準マーク２５や部品の外形を十分明瞭に撮像可能な条件が設定される。また、第２撮像条件は、半球状のバンプ６１が十分明瞭に撮像が可能な条件が設定される。このため、第２撮像条件は、例えば、照明部３１の上段のランプを点灯し側方から光が照射されるような条件が設定されることになり、第２撮像条件で撮像された画像は、バンプ６１以外の部分は殆ど映り込まないことになる。このように、ＣＰＵ４１は、マーク画像ＬＲ１１と部品画像ＬＲ１２とを異なる撮像条件で、同じ第１位置で撮像する。

次に、ＣＰＵ４１は、撮像ユニット３０の撮像領域内に設定され、第１位置とは異なる第２位置に実装ヘッド２２を移動させる（Ｓ１９０）。この第２位置は、マルチフレームの超解像処理を実行できるように、第１位置で撮像する第１画像に対して１／Ｘピクセル（但し１＜Ｘ、例えばＸ＝２）ずらした第２画像を撮像できる位置に設定されていてもよい。実装ヘッド２２が第２位置に移動すると、ＣＰＵ４１は、Ｓ１７０と同様に、撮像ユニット３０により第１撮像条件で基準マーク２５の画像（マーク画像ＬＲ２１）を撮像させる（Ｓ２００，図５（ｃ））。続いて、ＣＰＵ４１は、実装ヘッド２２を第２位置としたまま、Ｓ１８０と同様に、撮像ユニット３０により第２撮像条件で部品６０の画像（部品画像ＬＲ２２）を撮像させる（Ｓ２１０，図５（ｄ））。このようにして、超解像処理に必要な画像の撮像が行われる。ＣＰＵ４１は、第１位置で撮像されたマーク画像ＬＲ１１と部品画像ＬＲ１２とを用いて、第１位置での基準マーク２５及び部品６０の相対位置を求めることができる。また、ＣＰＵ４１は、第２位置で撮像されたマーク画像ＬＲ２１と部品画像ＬＲ２２とを用いて、第２位置での基準マーク２５及び部品６０の相対位置を求めることができる。また、ＣＰＵ４１は、前述したように、画像の撮像と並行して画像処理を行う。図６は、制御装置４０のＣＰＵ４１により実行される画像処理ルーチンの一例を表すフローチャートである。

このルーチンを開始すると、制御装置４０のＣＰＵ４１は、まず、マーク画像ＬＲ１１の処理開始タイミングであるか否かを判定する（Ｓ３００）。ＣＰＵ４１は、図４の実装処理ルーチンのＳ１７０で撮像されたマーク画像ＬＲ１１が撮像ユニット３０から入力された場合に、Ｓ３００で肯定判定する。ＣＰＵ４１は、マーク画像ＬＲ１１の処理開始タイミングであると判定すると、マーク画像ＬＲ１１における基準マーク２５の位置を決める位置決め処理を行い（Ｓ３１０）、処理対象の部品の画像領域があるか否かを判定する（Ｓ３２０）。前述したように、吸着ノズル２４ａ〜２４ｄは、基準マーク２５と所定の位置関係にあるから、位置決め処理により求めた基準マーク２５の位置に基づいて、吸着ノズル２４ａ〜２４ｄにそれぞれ吸着されている部品の位置を認識することができる。このため、ＣＰＵ４１は、Ｓ３２０では、吸着ノズル２４ａ〜２４ｄにそれぞれ吸着されている部品を、吸着ノズル２４ａ〜２４ｄの順に処理対象に設定し、設定した処理対象の部品の位置を基準マーク２５の位置から認識し、その処理対象の部品の位置に背景領域と画素値が異なる部品の画像領域があるか否かを判定する。

ＣＰＵ４１は、Ｓ３２０で処理対象の部品の画像領域があると判定すると、マーク画像ＬＲ１１における部品６０の粗位置を決める粗位置決め処理を行う（Ｓ３３０）。ＣＰＵ４１は、Ｓ３３０では、マーク画像ＬＲ１１から、Ｓ３２０で認識した部品６０の画像領域を抽出し、抽出した部品６０の本体部（外形）の隅の座標を取得することにより、部品６０の粗位置を決定する。例えば、部品６０の本体部の形状が矩形状であれば、四隅の座標を取得することにより、部品６０の粗位置を決定する。なお、各座標は、基準マーク２５の中心位置を基準としたＸＹ座標で定めるものとしてもよい。前述したように、マーク画像ＬＲ１１は、基準マーク２５の検出に加え部品６０の外形の検出に適した撮像条件で撮像されている。このため、ＣＰＵ４１は、マーク画像ＬＲ１１から部品６０の本体部の粗位置を容易に決定することができる。部品６０の本体部の粗位置を決定すると、ＣＰＵ４１は、粗位置決め結果に基づいて超解像処理の処理領域（超解像領域）を設定する（Ｓ３４０）。ここでは、粗位置として決定した部品６０の本体部の隅の座標に基づいて、部品６０の本体部の隅を含む最小の矩形状の領域を処理領域に設定する。勿論、部品６０の本体部の隅を含む最小の矩形状の領域に、検出誤差や画像精度などに基づく若干のマージンを加えた領域を処理領域に設定してもよい。また、ＣＰＵ４１は、Ｓ３２０で処理対象の部品の画像領域がないと判定すると、吸着ノズル２４に部品６０を吸着していない吸着ミスが生じていると判断して、処理対象の部品を超解像処理のスキップ対象に設定する（Ｓ３５０）。

図７，図８は、超解像処理の処理領域を示す説明図である。図７は本実施形態の処理領域であり、図８は比較例の処理領域である。比較例では、部品６０の粗位置に基づいて処理領域を設定するものではなく、一定の大きさの処理領域を設定するものである。吸着ノズル２４に吸着されている部品６０は、吸着ノズル２４に対して位置ずれしている場合がある。このため、比較例では、図８に示すように、部品６０が左上（実線）や右下（点線）などに位置ずれしていても、部品６０が処理領域に含まれるよう、部品６０に対して比較的大きな領域を超解像処理の処理領域に設定している。このため、超解像処理の処理領域の大部分が、部品６０が存在しない超解像処理の不要な領域となる。これに対し、本実施形態では、マーク画像ＬＲ１１から部品６０の本体部（外形）の粗位置を決め、その粗位置に基づいて処理領域を設定する。このため、図７に示すように、部品６０の本体部における四隅の座標（（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４））に基づいて、四隅を含む最小の矩形状の領域における四隅の座標（例えば、（ｘ２，ｙ１），（ｘ２，ｙ３），（ｘ４，ｙ３），（ｘ４，ｙ１））を求めて処理領域を設定する。このように、超解像処理を行う処理領域を、部品６０の粗位置に基づく比較的小さな領域として定めるから、超解像処理を行う領域を必要な領域に限定して、超解像処理を効率よく行うことができる。

Ｓ３４０またはＳ３５０の処理を行うと、ＣＰＵ４１は、吸着ノズル２４（２４ａ〜２４ｄ）に吸着されている各部品の処理が完了したか否かを判定し（Ｓ３６０）、各部品の処理が完了していないと判定すると、Ｓ３２０に戻り次の処理対象の部品の処理を行う。また、ＣＰＵ４１は、各部品の処理が完了したと判定すると、次のＳ３７０の処理に進む。なお、ＣＰＵ４１は、Ｓ３００でマーク画像ＬＲ１１の処理開始タイミングでないと判定すると、Ｓ３１０〜Ｓ３６０の処理をスキップして、Ｓ３７０の処理に進む。

次に、ＣＰＵ４１は、マーク画像ＬＲ２１の処理開始タイミングであるか否かを判定する（Ｓ３７０）。ＣＰＵ４１は、図４の実装処理ルーチンのＳ２００で撮像されたマーク画像ＬＲ２１が撮像ユニット３０から入力され、且つ、他の画像を画像処理していない場合に、Ｓ３７０で肯定判定する。ＣＰＵ４１は、マーク画像ＬＲ２１の処理開始タイミングであると判定すると、Ｓ３１０と同様に、マーク画像ＬＲ２１における基準マーク２５の位置を求める位置決め処理を行う（Ｓ３８０）。なお、ＣＰＵ４１は、マーク画像ＬＲ２１については、部品６０の粗位置決め処理や超解像処理の処理領域の設定処理は行わない。また、ＣＰＵ４１は、Ｓ３７０でマーク画像ＬＲ２１の処理開始タイミングでないと判定すると、Ｓ３８０の処理をスキップする。

続いて、ＣＰＵ４１は、部品画像ＬＲ１２，ＬＲ２２の処理開始タイミングであるか否かを判定する（Ｓ３９０）。ＣＰＵ４１は、図４の実装処理ルーチンのＳ１８０，Ｓ２１０で撮像された部品画像ＬＲ１２，ＬＲ２２が撮像ユニット３０から入力され、且つ、他の画像を画像処理してない場合に、Ｓ３９０で肯定判定する。ＣＰＵ４１は、部品画像ＬＲ２１，ＬＲ２２の処理開始タイミングであると判定すると、処理対象の部品が超解像処理のスキップ対象であるか否かを判定する（Ｓ４００）。Ｓ４００では、ＣＰＵ４１は、吸着ノズル２４ａ〜２４ｄの順に処理対象の部品を設定し、設定した処理対象の部品がＳ３５０でスキップ対象に設定されているか否かを判定する。

ＣＰＵ４１は、処理対象の部品６０がスキップ対象に設定されていないと判定すると、各部品画像ＬＲ１２，ＬＲ２２の処理領域内の画素値を取得し（Ｓ４１０）、取得した処理領域内の画素値を用いて基準マーク２５の位置に基づいて超解像画像ＳＲを生成する超解像処理を行う（Ｓ４２０）。超解像処理では、撮像ユニット３０により撮像された第１解像度（低解像度）の部品画像を用いて、第１解像度よりも高解像度である第２解像度（高解像度）の画像を生成する。この超解像処理は、例えば、複数（ここでは２つ）の画像の処理領域を用い、基準マーク２５の位置を基準に画像（処理領域）が正確に重なる位置を求め、モーション推定処理、レジストレーションなどの処理を行い仮の高解像度画像を生成する。そして、この仮の画像に対してぼけ推定処理、再構成処理を行い、撮像した画像に比して高解像度の画像を生成する。なお、超解像処理が画像処理部３４により行われるものとしてもよい。低解像度画像を１ピクセル未満の範囲でずらして撮像した画像を重ね合わせると、画素間の情報をより増やすことができる。また、実際に撮像した画像を用いるため、画素間の情報を推定により補間するものに比して、信頼性の高い超解像画像ＳＲを生成することができる。前述したように、実装装置１１は、比較的小さなチップ部品から比較的大きな部品まで実装している。一般的に、撮像ユニット３０は、高解像度の画像を撮像しようとすると撮像範囲（視野）が狭くなり大型部品を撮像できず、大型部品を撮像しようとすると小さな部品の解像度が不足する。この実装装置１１では、大型部品を撮像する際の撮像範囲を十分に確保すると共に、超解像処理により小型部品や小さな部位（バンプ６１などの特徴部分）を撮像する際の画像解像度を十分確保することができる。

こうして超解像画像ＳＲを生成すると、ＣＰＵ４１は、超解像画像ＳＲにおける部品６０の精密位置を決定する精密位置決めを行うと共にバンプ６１などの形状を確認する（Ｓ４３０）。精密位置は、例えば、部品６０の中心位置と吸着ノズル２４の中心位置とのＸ軸、Ｙ軸の座標値の差として求めることができる。部品形状の確認は、例えば、撮像に基づく画像とリファレンス画像とのマッチングを行い、バンプ６１の欠損や変形に基づくマッチング度に基づいて行うことができる。また、ＣＰＵ４１は、Ｓ４００で処理対象の部品がスキップ対象であると判定すると、Ｓ４１０〜Ｓ４３０の処理をスキップして、部品を吸着していない吸着ノズル２４（２４ａ〜２４ｄのいずれか）に対応付けて部品吸着ミスの情報を登録する（Ｓ４４０）。このように、マーク画像ＬＲ１１から超解像処理の処理領域を設定する際に部品６０の吸着の有無を合わせて判定しているから、吸着されていない部品６０について超解像処理を省略することができる。このため、無駄な超解像処理を行うのを防止することができる。

そして、ＣＰＵ４１は、吸着ノズル２４（２４ａ〜２４ｄ）に吸着されている各部品の処理が完了したか否かを判定し（Ｓ４５０）、各部品の処理が完了していないと判定すると、Ｓ４００に戻り次の処理対象の部品の処理を行う。また、ＣＰＵ４１は、各部品の処理が完了したと判定すると、画像処理ルーチンを終了する。なお、ＣＰＵ４１は、Ｓ３９０で部品画像ＬＲ１２，ＬＲ２２の処理開始タイミングでないと判定すると、Ｓ４００〜Ｓ４５０の処理をスキップして、画像処理ルーチンを終了する。

図４の実装処理ルーチンの説明に戻る。実装処理ルーチンでは、ＣＰＵ４１は、画像処理の結果が取得されるのを待つ（Ｓ２２０）。ＣＰＵ４１は、吸着ノズル２４（２４ａ〜２４ｄ）に吸着されている各部品について、図６の画像処理ルーチンのＳ４３０またはＳ４４０の処理が行われて画像処理ルーチンが終了した場合に、Ｓ２２０で肯定的に判定する。また、ＣＰＵ４１は、Ｓ１５０の処理で撮像された撮像画像を用いた画像処理が終了した場合に、Ｓ２２０で肯定的に判定する。ＣＰＵ４１は、画像処理の結果が取得されると、その画像処理の結果（部品６０の精密位置など）に基づいて位置ずれ量及び部品形状が許容範囲内であるか否かを判定する（Ｓ２３０）。許容範囲は、例えば、部品を適正に基板Ｓに配置できる位置ずれ量の範囲や、部品の特性を損なわない形状範囲を経験的に求め、この範囲に設定されている。ＣＰＵ４１は、実装ヘッド２２に吸着された部品の位置ずれ量及び部品形状が許容範囲内であると判定すると、位置ずれ量を補正した位置に部品を実装（配置）する処理を実行する（Ｓ２４０）。一方、実装ヘッド２２に吸着された部品の位置ずれ量及び部品形状が許容範囲内でないときには、ＣＰＵ４１は、その部品６０が不具合の生じる部品であるとして廃棄処理を行う（Ｓ２５０）。なお、ＣＰＵ４１は、吸着ノズル２４ａ〜２４ｄのいずれかに吸着されている部品６０が廃棄処理の対象である場合には、その部品６０を廃棄処理してから他の正常な部品６０を実装するなどの処理を行う。また、吸着ノズル２４ａ〜２４ｄのいずれかに部品吸着ミスの情報が対応付けて登録されている場合には、ＣＰＵ４１は、部品吸着ミスの吸着ノズル２４を除いてＳ２４０の実装処理を行う。なお、ＣＰＵ４１は、部品吸着ミスの情報や部品を廃棄処理した旨の情報を、管理ＰＣ５０に送信することができる。

ＣＰＵ４１は、Ｓ２４０またはＳ２５０の処理を実行すると、現基板Ｓの実装処理が完了したか否かを判定し（Ｓ２６０）、現基板Ｓの実装処理が完了していないと判定すると、Ｓ１２０以降の処理を実行する。即ち、ＣＰＵ４１は、次に吸着する部品を設定し、この部品を吸着したのち、必要に応じて撮像ユニット３０で画像を撮像し超解像処理を行って、部品の吸着位置ずれや形状を判定する。一方、ＣＰＵ４１は、Ｓ２６０で現基板Ｓの実装処理が完了したと判定すると、実装処理が完了した基板Ｓを排出して（Ｓ２７０）、基板Ｓの生産が完了したか否かを判定する（Ｓ２８０）。ＣＰＵ４１は、基板Ｓの生産が完了していないと判定すると、Ｓ１１０以降の処理を実行する。即ち、ＣＰＵ４１は、新たな基板Ｓを搬入し、Ｓ１２０以降の処理を実行する。一方、ＣＰＵ４１は、Ｓ２８０で基板Ｓの生産が完了したと判定すると、実装処理ルーチンを終了する。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の吸着ノズル２４が本発明の保持部材に相当し、基準マーク２５が基準マークに相当し、実装ヘッド２２がヘッドに相当し、撮像ユニット３０が撮像装置に相当し、制御装置４０が制御装置に相当する。なお、本実施形態では、実装装置１１の動作を説明することにより本発明の撮像処理方法の一例も明らかにしている。

以上説明した実施形態の実装装置１１は、マーク画像に含まれる部品６０の本体部の粗位置に基づいて超解像処理の対象となる処理領域を設定して、超解像処理を行う。これにより、超解像処理の処理領域が部品６０の本体部に対して必要以上に大きくなるのを防止して、処理領域を適切に設定することができる。また、超解像処理に用いられる部品画像とは異なる撮像条件で撮像されるマーク画像を用いて超解像処理の処理領域を定めるから、部品画像は超解像処理に適した撮像条件としたままで、処理領域を適切に設定することができる。したがって、超解像処理を効率よく行うことができる。

また、実装装置１１は、撮像範囲内の第１位置でマーク画像ＬＲ１１と部品画像ＬＲ１２とをこの順で撮像してから、撮像範囲内の第２位置でマーク画像ＬＲ２１と部品画像ＬＲ２２とをこの順で撮像し、マーク画像ＬＲ１１を用いて超解像処理の処理領域を設定する。このため、超解像処理に必要な画像（部品画像ＬＲ１２、マーク画像ＬＲ２１、部品画像ＬＲ２２）を撮像している間に、超解像処理の処理領域を並行して設定することができるから、超解像処理に要する時間が長くなるのを防止することができる。また、マーク画像ＬＲ１１から粗位置を検出することができない場合には、部品６０の吸着ミスとして超解像処理を実行しないから、超解像処理が無駄に行われるのを防止することができる。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、部品６０の本体部の粗位置に基づいて超解像処理の処理領域を設定するものとしたが、これに限られるものではなく、部品６０の画像領域に基づいて取得された部品６０の粗位置に基づいて処理領域を設定するものであればよい。例えば、部品６０の側方にリード端子（電極）が突出しているものであれば、そのリード端子を含む部品６０の外形の粗位置に基づいて処理領域を設定してもよい。また、次のように、バンプ６１（電極）の部分のみの処理領域を設定してもよい。図９は変形例の画像処理ルーチンを示すフローチャートである。図９の画像処理ルーチンでは、一部を除いて図６の画像処理ルーチンと同じ処理が行われるため、同じ処理についての説明は省略する。

図９の変形例の画像処理ルーチンでは、ＣＰＵ４１は、Ｓ３３０で部品の本体部の粗位置決めを行うと、図４の実装処理ルーチンのＳ１２０で取得した部品情報と本体部の粗位置とに基づいてバンプ６１（電極）の粗位置決めを行う（Ｓ３３５）。ここで、前述したように、実装ジョブ情報から取得される部品情報には、バンプ６１などの電極の配置やサイズ（バンプ径など）に関する情報が含まれている。このため、ＣＰＵ４１は、本体部の粗位置から本体部の基準位置（例えば、中心位置）を定め、その基準位置に基づいてバンプ６１の粗位置を決めることができる。ＣＰＵ４１は、１つの部品６０に対し、バンプ６１の粗位置を複数（ここでは４つ）決めることになる。また、ＣＰＵ４１は、各バンプ６１の粗位置決め結果に基づいて、部品６０内の各バンプ６１の領域を超解像処理の処理領域に設定する（Ｓ３４０ａ）。ＣＰＵ４１は、バンプ６１の粗位置を中心として、バンプ６１のサイズ（バンプ径）に応じた矩形状の領域を超解像処理の処理領域に設定する。図１０は、変形例の超解像処理の処理領域を示す説明図である。図示するように、部品６０内に、各バンプ６１に対応する４つの処理領域が設定されている。そして、ＣＰＵ４１はＳ３６０〜Ｓ４００の処理を行うと、部品画像ＬＲ１２，ＬＲ２２の部品の本体部内における各処理領域内の画素値を取得し（Ｓ４１０ａ）、Ｓ４２０で各処理領域に対してそれぞれ超解像処理を行って超解像画像ＳＲを生成する。

このように、変形例では、部品６０のバンプ６１（電極）の粗位置に基づいて超解像処理の処理領域を設定するのである。このため、超解像処理の処理領域をさらに小さな領域に限定することができるから、超解像処理をより効率のよいものとして、超解像画像ＳＲの生成時間を更に高速化することができる。ここで、この変形例では、超解像画像は部品６０の本体部内における処理領域（バンプ６１とその近傍の領域）のみ生成されるが、本体部内における処理領域以外の領域の画素値を設定して超解像画像と合成することにより、部品６０の全体の画像を生成してもよい。例えば、本体部内における処理領域以外の領域の画素値として、所定の固定値（例えば値０）を用いて、バンプ６１の超解像画像と合成して部品６０の画像を生成してもよい。あるいは、処理領域以外の領域の画素値として、部品画像ＬＲ１２，ＬＲ２２の画素値をバイリニアやバイキュービックなどで補間した値を用いて、バンプ６１の超解像画像と合成して部品６０の画像を生成してもよい。このようにすれば、超解像画像の画像処理の結果を表示部（実装装置１１の図示しない表示部や管理ＰＣ５０のディスプレイ５４など）に表示する場合に、部品６０の一部の超解像画像だけでなく、超解像画像を含む部品６０の全体の画像を表示することができる。

また、この変形例では、部品６０のバンプ６１毎に超解像処理の処理領域を設定するものとしたが、これに限られるものではない。図１１は、変形例の超解像処理の処理領域を示す説明図である。図示するように、複数のバンプ６１を含むバンプ群の領域を、超解像処理の処理領域に設定している。ここで、ＣＰＵ４１は、隣接するバンプ６１の間隔（バンプピッチ）が所定間隔以上であれば１つのバンプ６１を含む処理領域を設定し、隣接するバンプ６１の間隔が所定間隔未満であれば複数のバンプ６１を含む処理領域を設定するものなどとすることができる。このように、ＣＰＵ４１は、バンプ群（電極群）毎に超解像処理の処理領域を設定することができる。こうすれば、バンプ６１毎に超解像処理の処理領域を設定すると、バンプ６１の間隔が狭いために処理領域に重なりが生じて、重複した領域に対して超解像処理が行われる場合があるなど、却って処理効率が低下するのを適切に防止することができる。

上述した実施形態では、マーク画像ＬＲ１１から超解像処理の処理領域を設定する処理と並行して、部品画像ＬＲ１２やマーク画像ＬＲ２１，部品画像ＬＲ２２の撮像を行うものとした。即ち、超解像処理の処理領域の設定と、画像の撮像とを並行して行うものとしたが、これに限定されるものではない。制御装置４０のＣＰＵ４１は、超解像処理に必要な画像の撮像が終了してから、超解像処理の処理領域を設定するものなどとしてもよい。なお、超解像処理の処理時間の短縮の観点から、ＣＰＵ４１は、超解像処理の処理領域の設定と、画像の撮像とを並行して行うことが望ましい。

上述した実施形態では、第１位置と第２位置の２つの位置で撮像した画像に基づいて超解像画像ＳＲを生成するものとしたが、これに限られず、第３位置や第４位置など３以上の位置で撮像した画像に基づいて超解像画像ＳＲを生成するものとしてもよい。

上述した実施形態では、保持部材を吸着ノズル２４として説明したが、部品を保持するものであれば特にこれに限定されず、例えば、部品を機械的に挟持して保持するメカニカルチャックなどとしてもよい。

本発明は、部品を基板上に配置する実装処理を行う装置に利用可能である。

１０ 実装システム、１１ 実装装置、１２ 基板搬送ユニット、１３ 実装ユニット、１４ 部品供給ユニット、２０ ヘッド移動部、２２ 実装ヘッド、２３ Ｚ軸モータ、２４，２４ａ〜２４ｄ 吸着ノズル、２５ 基準マーク、３０ 撮像ユニット、３１ 照明部、３２ 照明制御部、３３ 撮像素子、３４ 画像処理部、４０ 制御装置、４１ ＣＰＵ、４２ ＲＯＭ、４３ ＨＤＤ、４４ ＲＡＭ、４５ 入出力インタフェース、４６ バス、５０ 管理コンピュータ、５２ 入力装置、５４ ディスプレイ、６０ 部品、６１ バンプ、ＬＲ１１，ＬＲ２１ マーク画像、ＬＲ１２，ＬＲ２２ 部品画像、Ｓ 基板。

Claims (7)

1. 基準マークに基づいて複数の低解像画像を用いて電子部品の高解像画像を生成する超解像処理により、前記電子部品の保持状態を取得して前記電子部品を基板に実装する実装装置であって、
   前記電子部品を保持する保持部材と前記基準マークとを有するヘッドと、
   前記保持部材に保持された電子部品と前記基準マークとを撮像範囲に含む撮像装置と、
   前記基準マークの位置の取得に用いられるマーク画像と、前記超解像処理に用いられる低解像画像とを、異なる撮像条件で撮像するよう前記撮像装置を制御し、前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記超解像処理の対象となる処理領域を設定する制御装置と、
   を備える実装装置。
2. 請求項１に記載の実装装置であって、
   前記超解像処理により、前記高解像画像から前記電子部品の精密位置を含む保持状態を取得するものであり、
   前記制御装置は、前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記電子部品の粗位置を取得し、該取得した前記電子部品の粗位置に基づいて前記処理領域を設定する
   実装装置。
3. 請求項２に記載の実装装置であって、
   前記制御装置は、前記電子部品の粗位置として前記本体部の粗位置を取得し、該取得した前記本体部の粗位置に基づいて前記処理領域を設定する
   実装装置。
4. 請求項３に記載の実装装置であって、
   前記制御装置は、前記電子部品の前記本体部に対する電極の位置を定めた部品情報を取得し、該取得した部品情報と前記本体部の粗位置とに基づいて、前記電極の粗位置を導出し、該導出した前記電極の粗位置に基づいて前記処理領域を設定する
   実装装置。
5. 請求項１ないし４いずれか１項に記載の実装装置であって、
   前記制御装置は、前記撮像範囲内の第１位置に前記ヘッドが位置している場合に前記マーク画像と前記超解像処理に用いられる低解像画像とをこの順で撮像してから、前記撮像範囲内の前記第１位置とは異なる第２位置に前記ヘッドが位置している場合に前記マーク画像と前記超解像処理に用いられる低解像画像とを撮像するよう前記撮像装置を制御し、前記第１位置で撮像された前記マーク画像を用いて前記処理領域を設定する
   実装装置。
6. 基準マークに基づいて複数の低解像画像を用いて電子部品の高解像画像を生成する超解像処理を行う撮像処理方法であって、
   前記基準マークの位置の取得に用いられるマーク画像と、前記超解像処理に用いられる低解像画像とを、異なる撮像条件で撮像するステップと、
   前記マーク画像に含まれる前記電子部品の画像領域に基づいて前記超解像処理の対象となる処理領域を設定するステップと、
   を含むことを特徴とする撮像処理方法。
7. 請求項６に記載の撮像処理方法であって、
   前記マーク画像を、前記高解像画像の生成に用いられる低解像画像の撮像よりも先に撮像し、
   前記超解像処理に用いられる低解像画像を、前記処理領域の設定と並行して撮像する
   撮像処理方法。

Images