JP6615438B2 - モデル登録方法及びモデル登録装置 - Google Patents

Description

本発明は、位置決め用モデルを画像にマッチングさせて、検査対象物の位置決めを行う際のモデル登録方法及びモデル登録装置に関する。

微小な電子部品をカメラで撮影する場合、高倍率のレンズを使用するため、被写界深度（画像の中で焦点が合っているかのように見える範囲）が浅くなる。このため、検査対象物である電子部品に焦点が合わず、ぼけた状態で撮影され易くなり、電子部品の位置決めや検査処理に悪影響を及ぼしやすい。

そこで、全焦点画像を作成し、この全焦点画像に基づいて位置決めモデルの登録を行う方法がある（特許文献１）。全焦点画像とは、撮像系と物体との位置を連続的に相対変化させて（カメラをｚ方向にスキャンさせて）、焦点の異なる画像を複数枚撮影し、局所領域ごとにフォーカスを評価し、フォーカスの合っている局所画像の組み合わせで再構成したものである。このようにして作成された全焦点画像は、全てのピクセルにおいて焦点が合ったものとなる。

特開２０１２−２３３４０号公報

全焦点画像は、前記したように複数の画像を合成して作成されることから、合成過程において誤差（本来は存在しないはずのパターン）が混入する場合が多い。このため、特許文献１のように全焦点画像に基づいて位置決めモデルの登録を行う場合、モデルの質が低下し、これによって位置決めの精度が悪くなるという問題がある。

また、全焦点画像の元となる画像を撮像する際に、カメラのスキャン範囲が誤っている場合には、重要なエッジ（図柄の端部）を逃してしまったり、逆に不要なエッジを含んでしまったりして、適切なモデルが得られなくなる。また、適切なモデルを得るために、カメラのスキャン範囲を変化させ、適切なモデルが得られるまで繰り返し試みる必要があり、手間がかかるという問題がある。

そこで、本発明は斯かる実情に鑑み、質の高い適切な位置決め用モデルを簡単に得ることのできるモデル登録方法及びモデル登録装置を提供するものである。

本発明のモデル登録方法は、焦点の異なる複数の実画像に基づいて合焦点法により作成された全焦点画像の中からマッチングさせて検査対象物の位置決めを行う際に使用される位置決め用モデルのモデル登録方法であって、検査対象物が撮影されるように、一部に焦点の合った実画像を取得し、前記実画像において、時間経過により変化することのない図柄を含む範囲を位置決め用モデルのモデル領域として指定し、前記モデル領域を、自動焦点合わせを行う領域として、これらの領域を一致させて自動焦点合わせを行って、前記モデル領域で焦点の合った図柄を位置決め用モデルとして登録するものである。ここで実画像とは、撮影した画像を加工等せず、撮影時のそのままの状態の画像をいう。ここで、「被写界深度が浅い」とは、ある一点に焦点を合わせたときに、被写体が鮮明に写る深度方向の範囲が狭いことを意味しており、その深度方向の範囲としては、例えば１００μｍ以下である。

本発明のモデル登録方法によれば、被写界深度が浅い実画像に基づいて、位置決め用モデルのモデル登録を行うことができる。すなわち、位置決め用モデルの登録に全焦点画像を用いることがなく、実画像に基づいてモデル登録を行うことができる。また、モデル領域を、自動焦点合わせを行う領域としており、モデル領域と自動焦点合わせ領域とを一致させている。すなわち、モデル領域は、モデルが存在する領域であると同時に、自動焦点合わせを行う領域としている。このため、ユーザは、モデル領域の指定を行うことで、自動焦点合わせ領域の指定をも行ったことになり、ユーザは適切な領域で自動焦点合わせを行うことができ、焦点の合った位置決め用モデルを得ることができる。

前記構成において、自動焦点合わせは、画像を撮像する撮像手段がオートフォーカスするものとできる。また、自動焦点合わせは、焦点の異なる複数の実画像から、前記モデル領域の位置決め用モデルの図柄に焦点が最も合った画像を選択するものとできる。

前記モデル領域のうち、位置決め用モデルの図柄とは異なる図柄が存在する範囲をマスキング領域として指定し、このマスキング領域を除外して自動焦点合わせを行うことができる。これにより、登録すべき図柄のみをモデル登録することができるため、誤差の少ない適切なモデル登録を行うことができる。

前記位置決め用モデルの図柄は、半導体デバイスに用いられる基板の図柄とすることができる。

本発明のモデル登録装置は、焦点の異なる複数の実画像に基づいて合焦点法により作成された全焦点画像の中からマッチングさせて検査対象物の位置決めを行う際に使用される位置決め用モデルのモデル登録装置であって、画像を撮像する撮像手段と、検査対象物が撮影され、一部に焦点の合った実画像において、時間経過により変化することのない図柄を含む範囲を位置決め用モデルのモデル領域として指定するモデル領域指定手段と、前記モデル領域を、自動焦点合わせを行う領域として、これらの領域を一致させて自動焦点合わせを行って、前記位置決め用モデルの図柄の焦点を合わせる焦点合わせ手段と、前記モデル領域で焦点の合った図柄を位置決め用モデルとして登録するモデル登録手段とを備えたものである。

前記構成において、前記焦点合わせ手段は、撮像手段に設けられてオートフォーカスを行うものとできる。また、前記自動焦点合わせは、焦点の異なる複数の実画像から、前記モデル領域の位置決め用モデルの図柄に焦点が最も合った画像を選択するものとできる。

前記モデル領域のうち、位置決め用モデルの図柄とは異なる図柄が存在する範囲をマスキング領域として指定するマスキング手段を備え、前記マスキング範囲を除外して自動焦点合わせを行うことができる。

本発明では、実画像に基づいて位置決め用モデルのモデル登録を行うことができるため、全焦点画像の合成過程において生じる誤差が生じることがなく、質の高い適切な位置決め用モデルを得ることができる。しかも、ユーザは、適切な領域で自動焦点合わせをすることができ、焦点の合った位置決め用モデルを得られることができて、一層質の高い適切な位置決め用モデルを得ることができる。また、ユーザは実画像のモデル領域を指定するだけでよく、全焦点画像を作成する際に、撮像手段のスキャン範囲を変更する等の試行錯誤が不要となって、簡単にモデル登録を行うことができる。

本発明の第１実施形態のモデル登録装置を示すブロック図である。 本発明の第１実施形態のモデル登録装置により撮像した実画像を示す図である。 本発明の第１実施形態のモデル登録装置により撮像した実画像のモデル領域を示す図である。 本発明の第２実施形態のモデル登録装置を示すブロック図である。

以下、本発明の実施の形態を図１〜図４に基づいて説明する。

本発明のモデル登録装置は、時間経過により変化することのない図柄を位置決め用モデル（以下、単にモデルという）として登録するものである。例えば半導体デバイスに用いられる基板に電子部品が搭載されている場合、基板の特徴のある図柄をモデルとして登録しておく。その後、検査対象となる画像を取得して、登録したモデルが、その画像の中でどこに位置するかを探す（マッチングさせる）ことにより、検査対象物である電子部品の位置、向き等を検査して位置決めを行うことができる。

時間経過により変化する図柄とは、例えば、最初は電子部品が搭載されていなかった位置に、その後その位置に電子部品が搭載される等により、平面視において最初あった図柄の一部又は全部が存在しないものをいう。本発明の「時間経過により変化することのない図柄」とは、モデル登録を行ったときから、少なくとも検査すべき画像を取得するまでは、平面視で変化することなく、モデル登録を行ったときの状態でそのまま存在する図柄をいう。

本発明の第１実施形態のモデル登録装置は、図１に示すように撮像手段１と、モデル領域指定手段２と、マスキング手段３と、モデル登録手段４とを備えている。撮像手段１はＣＣＤカメラ等からなり、図２や図３に示すようなモデルを含んだ画像を取得する。撮像手段１はｚ方向に（上下方向に）移動することができ、基板１０との位置を連続的に相対変化させて、上下方向に焦点が異なる画像を取得する。

また、撮像手段１は、焦点合わせ手段５を備えている。この焦点合わせ手段５はオートフォーカスを行うものであって、焦点が合った位置からの差異量（焦点ずれ）を自動的に検出し、この差異量に応じて対物レンズを移動させるものである。

モデル領域指定手段２と、マスキング手段３と、モデル登録手段４とは、図示省略のコンピュータに設けられている。モデル領域指定手段２は、モデルＭの図柄を含む範囲をモデル領域として指定するものである。具体的には、ユーザが、コンピュータを操作して画像が表示された画面（図示省略）上で指定したい任意の領域を囲む等の操作を行って、特定の範囲を指定するものである。

マスキング手段３は、モデルＭの図柄とは異なる図柄（ノイズ）が存在する範囲をマスキング範囲として指定するものである。具体的には、ユーザがコンピュータを操作して画像が表示された画面（図示省略）上でマスキングしたい任意の領域を囲む等の操作を行って、特定の範囲をマスキング領域として指定できるものである。

モデル登録手段４は、モデル領域でフォーカスの合った図柄をモデルＭとして登録する（コンピュータに記憶させる）ものである。

図１に示すように、モデル領域指定手段２と、マスキング手段３と、モデル登録手段４とを備えたコンピュータは、さらに全焦点画像作成手段６と、位置合わせ手段７とを備えている。全焦点画像作成手段６は、撮像手段１により撮像されて焦点が異なる複数枚の画像から全焦点画像を作成する。

位置合わせ手段６は、全焦点画像作成手段６により作成された全焦点画像の中から、モデル登録手段４に登録されているモデルがどこに位置するかを探す（マッチングさせる）ものである。これにより、検査対象物である電子部品の位置、向き等を検査することができる。

本発明の第１実施形態のモデル登録装置を使用したモデル登録方法は次のようになる。まず、撮像手段１は、図２に示すように、基板上の検査対象物が存在する位置（例えば図２において丸で囲った範囲Ｏ）及びその近傍が撮影範囲となるように、被写界深度が浅い基板１０の実画像１１を取得する。ここで、「被写界深度が浅い」とは、ある一点に焦点を合わせたときに、被写体が鮮明に写る深度方向の範囲が狭いことを意味しており、その深度方向の範囲としては、例えば１００μｍ以下である。このため、撮像した実画像１１（撮影した画像を加工等せず、撮影時のそのままの状態の画像）は、一部のみに焦点が合っており、それ以外の部分では焦点が合わずにぼけた状態となっている。図２において、実線は焦点が合っている箇所を示し、点線は焦点が合っていない箇所を示している。また、図２における黒点は、例えばゴミ等であり、基板１０の図柄とは異なるものである。

ユーザは、図３に示すように、撮像した実画像１１において、時間経過により変化することのない図柄を位置決め用のモデルＭとして特定する。そして、ユーザは、モデル領域指定手段２により、モデルＭの図柄を含む範囲をモデル領域Ａとして指定する。また、ユーザは、マスキング手段３によりモデルの図柄とは異なる図柄（図３における黒点）が存在する範囲をマスキング領域Ｂとして指定する。

前記したような領域指定を行った後、ユーザがコンピュータのモデル登録を決定するボタン（図示省略）を押すと、焦点合わせ手段５は、モデル領域Ａのうちマスキング範囲Ｂを除外した範囲においてオートフォーカスし、自動焦点合わせを行う。その後、又はほぼ同時に、モデル登録手段４が、焦点の合ったモデルＭをコンピュータに記憶させてモデル登録する。このようにして、モデル領域Ａの自動焦点合わせと、モデルＭのモデル登録とを一連して実行する。

通常、オートフォーカスを行う場合、焦点を合わせる場所を指定することなく、例えば、画像の中央部で焦点を合わせたり、複数点で合わせたりするのが一般的である。この場合、モデル領域と自動焦点合わせ領域とは一致することなく、モデルＭに焦点が合わない。そこで、本発明は、モデル領域Ａを、自動焦点合わせを行う領域としており、モデル領域Ａと自動焦点合わせ領域とを一致させている。すなわち、モデル領域Ａは、モデルが存在する領域であると同時に、自動焦点合わせを行う領域としている。このため、ユーザは、モデル領域Ａの指定を行うことで、自動焦点合わせ領域の指定をも行ったことになり、ユーザは適切な領域で自動焦点合わせをすることができる。

また、本発明では、被写界深度が浅い実画像に基づいて、モデル登録を行うことができる。すなわち、モデルＭの登録に全焦点画像を用いることがなく、実画像に基づいてモデル登録を行うことができる。

基板上に搭載された電子部品などの検査対象物を検査する場合は、撮像手段１をｚ方向にスキャンさせて、撮像手段１が焦点の異なる実画像を複数枚取得すると、全焦点画像作成手段５は、これらの画像から全焦点画像を生成する。その後、位置合わせ手段７がこの全焦点画像内において、モデル登録手段４に記憶されているモデルＭを探す（マッチングさせる）ことにより、全焦点画像の中の検査対象物の位置、向き等を検査して位置決めを行うことができる。

本発明の第１実施形態のモデル登録装置及びモデル登録方法は、実画像１１に基づいてモデル登録を行うことができるため、全焦点画像の合成過程において生じる誤差が生じることがなく、質の高い適切なモデルを得ることができる。しかも、ユーザは、適切な領域で自動焦点合わせをすることができ、焦点の合ったモデルを得ることができて、一層質の高い適切な位置決め用モデルを得ることができる。また、ユーザは実画像のモデル領域を指定するだけでよく、全焦点画像を作成する際に、撮像手段のスキャン範囲を変更する等の試行錯誤が不要となって、簡単にモデル登録を行うことができる。

図４は、本発明の第２実施形態のモデル登録装置を示す。このモデル登録装置は、図４に示すように、焦点合わせ手段８が、モデル領域指定手段２等が設けられるコンピュータ内に設けられている。この焦点合わせ手段８は、焦点の異なる複数の実画像から、モデル領域の図柄に焦点が最も合った画像を選択するものである。

本発明の第２実施形態のモデル登録装置を使用したモデル登録方法は次のようになる。まず、撮像手段１により、検査対象物が存在する位置及びその近傍が撮影範囲となるように、被写界深度が浅い実画像を取得する。このとき、撮像手段１をｚ方向にスキャンさせて上下方向に焦点が異なった実画像を複数枚取得し、全焦点画像作成手段５は、これらの画像から全焦点画像を生成する。

一方、ユーザは生成した全焦点画像において、前記した方法と同様の方法でモデル領域の指定を行い、ユーザがモデル登録を決定するボタン（図示省略）を押すと、焦点合わせ手段８は、全焦点画像を作成する元となる複数の実画像（最初に撮像したものが記憶されている）から、モデル領域の図柄に焦点が最も合った画像を選択することにより、モデル領域の焦点合わせを行う。その後、又はそれとほぼ同時に、モデル登録手段４が、焦点の合ったモデルＭをコンピュータに記憶させ、モデル登録する。この場合も、前記第１実施形態の方法と同様にして、モデル領域のうちマスキング範囲を除外した範囲においてオートフォーカスし、マスキング範囲を除外してモデル登録することができる。

そして、前記した方法と同様の方法で、位置合わせ手段７が全焦点画像内においてモデル登録手段４に記憶されているモデルＭを探す（マッチングさせる）ことにより、全焦点画像の中の検査対象物の位置、向き等を検査することができる。

このように、第２実施形態のモデル登録装置も、前記第１実施形態のモデル登録装置と同様の効果を奏する。なお、図４に示すモデル登録装置において、図１に示すモデル登録装置と同一の構成については、図１と同一符号を付してその説明を省略する。

以上、本発明の実施形態につき説明したが、本発明は前記実施形態に限定されることなく種々の変形が可能であって、例えば、撮像手段１は、ＣＣＤカメラに限られず、ＣＭＯＳカメラ等種々のものを採用することができる。マスキング手段３は省略してもよい。本発明によって登録されるモデルの図柄は基板の図柄に限られず、位置決めが必要となるものであれば種々の図柄で適用することができる。

１ 撮像手段
２ モデル領域指定手段
３ マスキング手段
４ モデル登録手段
５、８ 焦点合わせ手段
６ 全焦点画像作成手段
７ 位置合わせ手段
１０ 基板
１１ 実画像
Ａ モデル領域
Ｂ マスキング領域
Ｍ モデル

Claims (9)

1. 焦点の異なる複数の実画像に基づいて合焦点法により作成された全焦点画像の中からマッチングさせて、検査対象物の位置決めを行う際に使用される位置決め用モデルのモデル登録方法であって、
   検査対象物が撮影されるように、一部に焦点の合った実画像を取得し、
   前記実画像において、時間経過により変化することのない図柄を含む範囲を位置決め用モデルのモデル領域として指定し、
   前記モデル領域を、自動焦点合わせを行う領域として、これらの領域を一致させて自動焦点合わせを行って、前記モデル領域で焦点の合った図柄を位置決め用モデルとして登録することを特徴とするモデル登録方法。
2. 前記自動焦点合わせは、画像を撮像する撮像手段がオートフォーカスするものであることを特徴とする請求項１に記載のモデル登録方法。
3. 前記自動焦点合わせは、焦点の異なる複数の実画像から、前記モデル領域の位置決め用モデルの図柄に焦点が最も合った画像を選択することを特徴とする請求項１に記載のモデル登録方法。
4. 前記モデル領域のうち、位置決め用モデルの図柄とは異なる図柄が存在する範囲をマスキング領域として指定し、このマスキング領域を除外して自動焦点合わせを行うことを特徴とする請求項１〜請求項３に記載のモデル登録方法。
5. 前記位置決め用モデルの図柄は、半導体デバイスに用いられる基板の図柄であることを特徴とする請求項１〜請求項４のいずれか１項に記載のモデル登録方法。
6. 焦点の異なる複数の実画像に基づいて合焦点法により作成された全焦点画像の中からマッチングさせて、検査対象物の位置決めを行う際に使用される位置決め用モデルのモデル登録装置であって、
   画像を撮像する撮像手段と、
   検査対象物が撮影され、一部に焦点の合った実画像において、時間経過により変化することのない図柄を含む範囲を位置決め用モデルのモデル領域として指定するモデル領域指定手段と、
   前記モデル領域を、自動焦点合わせを行う領域として、これらの領域を一致させて自動焦点合わせを行って、前記位置決め用モデルの図柄の焦点を合わせる焦点合わせ手段と、
   前記モデル領域で焦点の合った図柄を位置決め用モデルとして登録するモデル登録手段とを備えたことを特徴とするモデル登録装置。
7. 前記焦点合わせ手段は、前記撮像手段に設けられてオートフォーカスを行うものであることを特徴とする請求項６に記載のモデル登録装置。
8. 前記焦点合わせ手段は、焦点の異なる複数の実画像から、前記モデル領域の位置決め用モデルの図柄に焦点が最も合った画像を選択するものであることを特徴とする請求項６に記載のモデル登録装置。
9. 前記モデル領域のうち、位置決め用モデルの図柄とは異なる図柄が存在する範囲をマスキング領域として指定するマスキング手段を備え、前記マスキング範囲を除外して自動焦点合わせを行うことを特徴とする請求項６〜請求項８のいずれか１項に記載のモデル登録装置。

Images