JP4446609B2 - 画像処理方法および装置 - Google Patents

画像処理方法および装置 Download PDF

Info

Publication number
JP4446609B2
JP4446609B2 JP2001003153A JP2001003153A JP4446609B2 JP 4446609 B2 JP4446609 B2 JP 4446609B2 JP 2001003153 A JP2001003153 A JP 2001003153A JP 2001003153 A JP2001003153 A JP 2001003153A JP 4446609 B2 JP4446609 B2 JP 4446609B2
Authority
JP
Japan
Prior art keywords
image
point
rotation
comparison target
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001003153A
Other languages
English (en)
Other versions
JP2002208010A (ja
Inventor
健二 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinkawa Ltd
Original Assignee
Shinkawa Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinkawa Ltd filed Critical Shinkawa Ltd
Priority to JP2001003153A priority Critical patent/JP4446609B2/ja
Priority to TW090128912A priority patent/TW512220B/zh
Priority to KR1020010085661A priority patent/KR20020060570A/ko
Priority to US10/044,498 priority patent/US6868176B2/en
Publication of JP2002208010A publication Critical patent/JP2002208010A/ja
Application granted granted Critical
Publication of JP4446609B2 publication Critical patent/JP4446609B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/74—Apparatus for manufacturing arrangements for connecting or disconnecting semiconductor or solid-state bodies
    • H01L24/78—Apparatus for connecting with wire connectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42—Wire connectors; Manufacturing methods related thereto
    • H01L2224/44—Structure, shape, material or disposition of the wire connectors prior to the connecting process
    • H01L2224/45—Structure, shape, material or disposition of the wire connectors prior to the connecting process of an individual wire connector
    • H01L2224/45001—Core members of the connector
    • H01L2224/45099—Material
    • H01L2224/451—Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
    • H01L2224/45138—Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof the principal constituent melting at a temperature of greater than or equal to 950°C and less than 1550°C
    • H01L2224/45144—Gold (Au) as principal constituent
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/74—Apparatus for manufacturing arrangements for connecting or disconnecting semiconductor or solid-state bodies and for methods related thereto
    • H01L2224/78—Apparatus for connecting with wire connectors
    • H01L2224/7825—Means for applying energy, e.g. heating means
    • H01L2224/783—Means for applying energy, e.g. heating means by means of pressure
    • H01L2224/78301—Capillary
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001—Technical content checked by a classifier
    • H01L2924/00014—Technical content checked by a classifier the subject-matter covered by the group, the symbol of which is combined with the symbol of this group, being disclosed without further technical details
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01004—Beryllium [Be]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01005—Boron [B]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01013—Aluminum [Al]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01015—Phosphorus [P]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01033—Arsenic [As]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01039—Yttrium [Y]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01052—Tellurium [Te]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01074—Tungsten [W]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01075—Rhenium [Re]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01079—Gold [Au]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/01—Chemical elements
    • H01L2924/01082—Lead [Pb]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/049—Nitrides composed of metals from groups of the periodic table
    • H01L2924/0495—5th Group
    • H01L2924/04953—TaN

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Processing (AREA)
  • Wire Bonding (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法および装置に係り、特に比較対象と基準画像とのパターンマッチングを行うことにより比較対象の位置を算出する方法および装置に関する。
【０００２】
【従来の技術】
画像処理技術においては、比較対象の画像中に含まれる既知の画像の位置を検出することによって、比較対象の位置を検出するために、既知の画像としての基準画像の一部をテンプレート画像として用いるパターンマッチングが広く用いられている。
【０００３】
このパターンマッチングを利用した位置検出方法を、例えば半導体組立装置であるワイヤボンディング装置を例として説明する。ワイヤボンディング装置では、半導体チップ上のアルミニウムなどからなるボンディングパッドと、半導体チップを囲むように形成された導体からなるリードとを結ぶように、金線などからなるワイヤをボンディングするが、このボンディング動作に先立って、ボンディングを実行する点であるボンディング点を、パターンマッチングを利用して算出する。
【０００４】
まず、図１８に示すように、位置合わせ用の基準点であるアライメント点を登録する。この登録は、ＸＹテーブル１の動作によりこれに固定されたカメラ７を半導体チップ１４ａに対し相対的に水平方向に移動可能とした構造、例えば図１に示すものと同様の構造のワイヤボンディング装置において、半導体チップ１４ａを撮像しているカメラ７からの画像をモニタ３９の表示画面に表示させながら、カメラ７を固定しているＸＹテーブル１を移動させることにより視野を移動させ、モニタ３９の表示画面に表示されている視野の中心を示すクロスマーク３２の中心点３２ａを、半導体チップ１４ａ上の任意の点に合わせて、手動入力手段３３の入力スイッチを押す等の入力動作を行い、その際の中心点３２ａを中心とする矩形のレチクルマーク４２に囲まれた領域の画像を、テンプレート画像として記憶すると共に、そのときのＸＹテーブル１上の座標を、アライメント点としてデータメモリ３６に記憶する。
【０００５】
アライメント点は、検出誤差を最小にするために、一般的には半導体チップ１４ａ上の四隅付近の対角線上から、パッド側について（Ｐａ１ｘ，Ｐａ１ｙ）、（Ｐａ２ｘ，Ｐａ２ｙ）の２カ所、リード側について（Ｌａ１ｘ，Ｌａ１ｙ）、（Ｌａ２ｘ，Ｌａ２ｙ）の２カ所を選択する。
【０００６】
次に、個々のパッドＰやリードＬにおける適宜の位置、一般的には各パッドＰの略中央と、リードＬの幅方向の略中央及びリード端から一定距離の点に、クロスマーク３２の中心点３２ａを合わせ入力スイッチを押すなどして、各ボンディング点の座標をデータメモリ３６に記憶する。
【０００７】
そしてランタイム（すなわち、製品の生産時）の処理としては、比較対象となる新たな半導体デバイス１４を配置し、ＸＹテーブル１を制御部３４の制御によって移動させ、登録されているアライメント点Ａ０の近傍がカメラ７の視野となるようにし（図１９）、カメラ７で半導体デバイス１４の画像をとらえ、登録されている基準画像を使って、パターンマッチング検出により、比較対象の画像と基準画像との一致量が最大となる相対位置で基準画像を比較対象の画像と重ね合わせ、その姿勢における中心点３２ａのＸＹテーブル１上の位置座標と、先にテンプレート画像を登録した際の中心点３２ａの位置であるアライメント点Ａ０のＸＹテーブル１上の位置座標、例えば（Ｐａ１ｘ，Ｐａ１ｙ）との間の位置ずれ量（ΔＸ，ΔＹ）を求める。同様にして全アライメント点についての位置ずれを算出し、算出した位置ずれ量（ΔＸ，ΔＹ）を、先にテンプレート画像を登録した際のアライメント点の位置座標に、例えば（Ｐａ１ｘ＋ΔＸ，Ｐａ１ｙ＋ΔＹ）のように加算し、得られた値を新たなアライメント点Ａｍとする。
【０００８】
次に、登録時の各パッド、リードのアライメント点Ａ０に対する相対位置を守った形で、新たなアライメント点Ａｍの位置から各パッド、リード位置を計算にて求め出して（以下、位置補正と呼ぶ）、実ボンディング点を求める。そして、この実ボンディング点に対してボンディング動作を実行する。
【０００９】
【発明が解決しようとする課題】
ところで、比較対象となる半導体デバイス１４が、回転方向の位置ずれを含んだ姿勢で配置されている場合には、登録された基準画像を使ったパターンマッチング検出を行っても、高精度なパッドＰ・リードＬの位置補正ができないという問題点があった。
【００１０】
これは、本来であれば、基準となるパターン（図１９におけるパッドＰ）について一致量が最大となるように比較対象の画像と基準画像とを重ねれば、基準となるパターンに対する相対位置で規定される新たなアライメント点Ａｍの位置は、同じく基準画像におけるパッドＰとの相対位置で規定される元のアライメント点Ａ０の位置と一致すべきところ、図２０に示すように、比較対象である半導体デバイス１４が回転方向の位置ずれを含んだ姿勢で配置されている場合には、基準となるパターン（図２０におけるパッドＰ）について一致量が最大となるように比較対象の画像と基準画像とを重ねても、元のアライメント点Ａ０と、新たなアライメント点Ａｍとが一致しないためである。
【００１１】
また、比較対象である半導体デバイス１４等の姿勢の回転による影響を受けにくい点をアライメント点とすればよいが、そのようなアライメント点をオペレータが探し出すことは困難である。この比較対象の回転方向の位置ずれに起因する誤差は、パッドＰ間あるいはリードＬ間のピッチが十分大きければ問題にならないが、近年のファインピッチ化、すなわちパッドＰやリードＬ間のピッチの精細化に対応する上では、大きな問題となる。
【００１２】
他方、基準画像を回転させながら、比較対象の画像とのパターンマッチングを行う方法も種々提案されており（例えば、特開平９−１０２０３９号公報）、これによれば回転方向の位置ずれを考慮した位置検出が可能であるが、回転方向に数度刻みのパターンマッチングを、視野内の多くのポイントについて実行しなければならず、演算量が膨大になるため認識スピードが遅く、実用的でない。
【００１３】
そこで本発明の目的は、比較対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現できる手段を提供することにある。
【００１４】
【課題を解決するための手段】
第１の本発明は、あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングを実行する工程と、前記パターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する工程と、前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、を含むことを特徴とする画像処理方法である。
【００１５】
第１の本発明では、あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングを実行する。このパターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する。そして、特定した耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する。
【００１６】
このように第１の本発明では、あらかじめ回転画像と基準画像とのパターンマッチングを実行することで、耐回転基準点を求めるので、この耐回転基準点を基準として比較対象画像と基準画像との位置合わせを行った場合に、比較対象の位置の検出誤差を低減でき、これにより比較対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現できる。
【００１７】
第２の本発明は、あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングに基づいて、両者の間の位置ずれ量を算出する工程と、前記回転の角度と前記位置ずれ量とに基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する工程と、前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、を含むことを特徴とする画像処理方法である。
【００１８】
第２の本発明では、基準画像を回転させた回転画像と前記基準画像とのパターンマッチングに基づいて、両者の間の位置ずれ量を算出し、前記回転の角度と前記位置ずれ量とに基づいて、耐回転基準点を特定する。すなわち、回転画像と前記基準画像とのパターンマッチングによって得られる位置ずれ量と、既知である回転の角度とを用いて、耐回転基準点を特定することができる。
【００１９】
第３の本発明は、あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像との一致量を、前記基準画像内の複数の異なる回転中心点についてそれぞれ演算する工程と、前記複数の異なる回転中心点のうち前記一致量が最大値から所定範囲内にある回転中心点またはその近傍領域内の点を、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点として特定する工程と、前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、を含むことを特徴とする画像処理方法である。
【００２０】
第３の本発明では、基準画像を回転させた回転画像と前記基準画像との一致量を、前記基準画像内の複数の異なる回転中心点についてそれぞれ演算し、前記複数の異なる回転中心点のうち一致量が最大値から所定範囲内にある回転中心点またはその近傍領域内の点を、耐回転基準点として特定するので、これによって比較対象の姿勢における回転方向の位置ずれの影響を低減できる。
【００２１】
第４の本発明は、第１ないし第３のいずれかの本発明の画像処理方法であって、単一の前記比較対象について少なくとも２つの前記耐回転基準点を特定し、前記位置合わせにあたり前記少なくとも２つの耐回転基準点を単一の画像フレームに含ませることを特徴とする画像処理方法である。
【００２２】
第４の本発明では、単一の比較対象について少なくとも２つの耐回転基準点を特定し、かつ、比較対象と基準画像との位置合わせにあたり、前記少なくとも２つの耐回転基準点を単一の画像フレームに含ませるので、上記第１ないし第３の本発明による効果に加え、位置合わせの際の画像の取り込みを１回で済ませることができ、位置検出工程の作業効率を向上できる。
【００２３】
第５の本発明は、第１ないし第４のいずれかの本発明の画像処理方法であって、前記耐回転基準点を基準として、前記比較対象における加工処理点を算出する工程を更に含むことを特徴とする画像処理方法である。
【００２４】
第５の本発明では、耐回転基準点を基準として、比較対象における加工処理点を算出するので、耐回転基準点の位置が高精度に求められる結果として、加工処理点の位置検出をも高精度化できる。
【００２５】
第６の本発明は、第５の本発明の画像処理方法であって、単一の前記比較対象について２つの前記耐回転基準点を特定し、これら２つの耐回転基準点に接し前記２つの耐回転基準点を結ぶ直線を直径とする円の外側に存在する前記加工処理点を算出することを特徴とする画像処理方法である。
【００２６】
第６の本発明では、単一の前記比較対象について、２つの耐回転基準点に囲まれる領域の外側に存在する加工処理点を算出するので、従来のように２つのアライメント点に囲まれる領域の内側に存在する加工処理点を算出する構成に比べ、２つの耐回転基準点の撮像の間のカメラと比較対象との相対移動距離を小さくすることができ、特に第４の本発明のように２つの耐回転基準点を単一の画像フレームに含ませる場合には、２つの耐回転基準点の撮像の間におけるカメラと比較対象との相対移動距離をゼロにすることができる。したがって、第５の本発明の効果に加え、位置検出工程の作業効率を向上できる。
【００２７】
第７の本発明は、あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングを実行する試行処理手段と、前記パターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する基準点算出手段と、前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する位置検出手段と、を含むことを特徴とする画像処理装置である。第７の本発明では、第１の本発明と同様の効果を得ることができる。
【００２８】
【発明の実施の形態】
＜第１実施形態＞
本発明の実施形態を以下に図面に従って説明する。図１は本発明の実施形態に係るワイヤボンダの概略構成を示す。図１において、ＸＹテーブル１に搭載されたボンディングヘッド２には、ボンディングアーム３が設けられ、ボンディングアーム３の先端部にはツール４が取り付けられている。ボンディングアーム３はＺ軸モータ（図示せず）により上下方向に駆動される。ボンディングアーム３の上方には、ワイヤＷを保持するクランパ５が設けられており、ワイヤＷの下端はツール４に挿通されている。本実施形態におけるツール４はキャピラリである。
【００２９】
ボンディングヘッド２にはカメラアーム６が固定されており、カメラアーム６にはカメラ７が固定されている。カメラ７は、半導体チップ１４ａ等が搭載された半導体デバイス１４を撮像するものである。ＸＹテーブル１は、その近傍に設置され２個のパルスモータ等からなるＸＹテーブル用モータ（図示せず）により、水平方向の互いに直交する座標軸方向であるＸ方向およびＹ方向に、正確に移動できるように構成されている。以上は周知の構造である。
【００３０】
ＸＹテーブル１は、マイクロプロセッサなどからなる制御部３４の指令により、モータ駆動部３０およびＸＹテーブル用モータを介して駆動される。カメラ７により撮像された画像は、変換されて電気信号である画像データとなり、画像処理部３８により処理され、制御部３４を経由して演算処理部３７に入力される。演算処理部３７では、後述する位置検出に係る演算を含む各種の演算が実行され、制御メモリ３５では、そのような演算のためのプログラムやデータが一時的に保持される。制御部３４には、手動入力手段３３およびモニタ３９が接続されている。手動入力手段３３は、少なくともＸＹ方向の方向指示機能と入力ボタンによるセット信号入力機能とを備えたマウス入力装置などのポインティングデバイス、および文字入力機能を備えた周知のキーボードが好適である。
【００３１】
モニタ３９は、ＣＲＴもしくは液晶表示装置などからなり、その表示画面には、カメラ７により撮像された画像や、関連する座標値・倍率などの数値、後述する各種の文字メッセージなどが、制御部３４の出力に基づいて表示される。位置検出工程においては、表示画面には、図４に示すように、視野の中心を示すクロスマーク３２と、このクロスマーク３２を囲む視野内の領域を示すものとして表示・記憶される矩形のレチクルマーク４２とが表示される。クロスマーク３２における縦線と横線との交点は中心点３２ａである。
【００３２】
データメモリ３６は、データ読み出し・書き込み可能な周知のメモリやハードディスク装置などから構成される。データメモリ３６の記憶領域にはデータライブラリ３６ａが格納されており、このデータライブラリ３６ａには、後述するテンプレート画像、相関値などの過去の値やこれらの初期状態であるデフォルト値、および本装置の他の動作に用いられる各種の設定値が記憶されており、また制御部３４からの信号により各種の設定値が後述のとおり記憶される。
【００３３】
本実施形態では、まず新規の半導体デバイス１４についての登録の処理として、アライメント点の登録と、各ボンディング点の登録とが行われ、次に、ランタイムにおける処理として、パターンマッチングを用いた位置検出が行われる。
【００３４】
図２は、新規の半導体デバイス１４についての登録の処理を示すフロー図である。まず、制御部３４の出力によりＸＹテーブル１が駆動され、カメラ７が１ｓｔアライメント点となるべき点の近傍に移動される（Ｓ１０２）。すると図４に示すように、移動した姿勢におけるクロスマーク３２の中心点３２ａの位置は、基準撮像点の座標（Ｘｐ１，Ｙｐ１）として、制御部３４の出力によりデータメモリ３６に記憶される（Ｓ１０４）。また、この位置で半導体デバイス１４がカメラ７によって撮像され、電気信号に変換された画像データは、画像処理部３８で処理され、基準画像としてデータメモリ３６のデータライブラリ３６ａに記憶される（Ｓ１０６）。基準画像のうち、レチクルマーク４２で囲まれる領域は、後述する位置検出の工程においてテンプレート画像として用いられる。図４において実線で、また図５ないし図８において点線で示される正立姿勢の画像が、基準画像に相当する。なお、中心点３２ａの位置である基準撮像点（Ｘｐ１，Ｙｐ１）は、本発明による改良前のアライメント点に相当する。
【００３５】
次に、演算処理部３７において、基準画像を＋Ｑ°（度）だけ回転させる処理が行われる（Ｓ１０８）。この回転は、例えば図５におけるレチクルマーク４２の左下隅の点Ｏを中心に行われる。このような回転の処理の実行の結果として得られた画像を、以下「回転画像」という。図５および図６、ならびに後述する図７及び図８において、実線で描かれた傾斜した姿勢の画像が、回転画像である。
【００３６】
次に、回転画像と基準画像とのパターンマッチングの処理として、回転画像における基準画像との最一致点が、正規化相関演算を利用して検索される（Ｓ１１０）。具体的には、次の数１において算出される回転画像と基準画像との相関値Ｒが、回転画像の領域内の各画素について、あるいは回転画像の領域内で離散的に設けられた各基準点について演算され、相関値Ｒが最大となる点が検索され前記最一致点として求まる。
【００３７】
【数１】
Figure 0004446609
ここで、Ｒ：相関値、Ｎ：回転画像内の画素数、Ｉ：回転画像内の各位置の輝度値、Ｍ：回転画像の輝度値である。
【００３８】
また、このようにして求められた最一致点の座標（Ｘ１，Ｙ１）が、データメモリ３６に記憶される（Ｓ１１２、図６）。
【００３９】
次に、演算処理部３７において、基準画像を−Ｑ°（度）だけ回転させる処理が行われる（Ｓ１１４、図７）。この回転は、ステップＳ１０８の場合と同様に、レチクルマーク４２の左下隅の点Ｏを中心に行われる。
【００４０】
次に、回転画像と基準画像とのパターンマッチングの処理として、回転画像における基準画像との最一致点が、上記数１の正規化相関演算を利用して検索される（Ｓ１１６）。具体的には、数１において算出される回転画像と基準画像との相関値Ｒが、回転画像の領域内の各画素について、あるいは回転画像の領域内で離散的に設けられた各基準点について演算され、相関値Ｒが最大となる点が検索され、前記最一致点が求まる。
【００４１】
また、このようにして求められた最一致点の座標（Ｘ２，Ｙ２）が、データメモリ３６に記憶される（Ｓ１１８、図８）。
【００４２】
そして、このようにして求められた最一致点の座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）と、既知の回転角度であるＱ（度）とを用いて、本発明における耐回転基準点としての１ｓｔアライメント点が求められる（Ｓ１２０）。この演算は、次の数２および数３により近似的に行われ、１ｓｔアライメント点は、上記点Ｏを基準とし半径ｒおよび角度αを用いて表した極座標形式で算出される。
【００４３】
【数２】
α＝ｔａｎ-1｛（Ｘ２−Ｘ１）／（Ｙ１−Ｙ２）｝
【数３】
ｒ＝√｛（Ｘ２−Ｘ１）2＋（Ｙ２−Ｙ１）2｝／２ｓｉｎＱ
なお、数２は、図９に示すとおり、角度Ｑが微小である場合に、図９における∠Ｏ・Ａ１・Ａｍ１の角度が、直角で近似できることを利用したものである。つまり、いま、Ａ１からＸ軸（図９においては、点線で示されるレチクルマーク４２の底辺）に下ろした垂線の脚をＢ点とし、∠Ａｍ１・Ａ１・Ｂをθとすると、上記近似から、（∠Ｏ・Ａ１・Ｂ）≒９０−θであり、他方、∠Ａ１・Ｂ・Ｏは直角であるから、∠Ａ１・Ｏ・Ｂの角度αは、α≒θと近似することができる。他方、角度θはθ＝ｔａｎ-1(Ｘ１／Ｙ１）で求められるから、これらより、α≒ｔａｎ-1（Ｘ１／Ｙ１）が得られる。数２はこれを、正負の角度＋Ｑ，−Ｑについて求めて得られる座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）を用いた式に直したものである。なお、本実施形態において、正負の角度＋Ｑ，−Ｑに分けてパターンマッチングを行うこととしたのは、角度Ｑが大きすぎると（例えば５°を越えると）パターンマッチングの精度が落ち、誤認識が生ずるからである。
【００４４】
また、数３は、回転角度Ｑが微小である場合に、角度Ｑを挟んだ長さの互いに等しい線分の先端間の距離がｒ・ｓｉｎＱで近似できることを利用したものである。つまり、基準画像を用いたパターンマッチングは幾何学的には平行移動として行われるから、パターンマッチングにおける検出点（最一致点）Ｏ２と、元の画像中心マークの位置である点Ｏ１との距離（Ｏ１Ｏ２）は、パターンマッチングされた姿勢の基準画像におけるパッドの画像の中心点Ａｍ１と、元の姿勢の基準画像におけるパッドＰの画像の中心点Ａ１との距離（Ａ１Ａｍ１）と等しい。ここで、上記近似より、（Ａ１Ａｍ１）≒ｒ・ｓｉｎＱである。したがって、ｒ・ｓｉｎＱ≒（Ｏ１Ｏ２）が成立し、他方、この式の右辺に、（Ｏ１Ｏ２）＝√｛（Ｘ１）2＋（Ｙ１）2｝を代入し、両辺をｓｉｎＱで除することにより、ｒ≒√｛（Ｘ１）2＋（Ｙ１）2｝／ｓｉｎＱが得られる。数３はこれを正負の角度＋Ｑ，−Ｑについて求めて得られる座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）を用いた式に直したものである。
【００４５】
さて、以上のようにして、数２および数３により得られるαおよびｒを、直交座標系に変換し、かつ点Ｏの座標を（ＸＣ１，ＹＣ１）とすると、点Ｏを基準とした１ｓｔアライメント点の座標（ＡＸ１，ＡＹ１）は、（ＡＸ１，ＡＹ１）＝（ＸＣ１＋ｒ・ｃｏｓα，ＹＣ１＋ｒ・ｓｉｎα）で表すことができる。この１ｓｔアライメント点は、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と、基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が、最小になるような耐回転基準点である。なお、利用するパターン（本実施形態では、パッドＰ）が正方形や円形のように点対称の図形である場合には、そのパターンの中心点（本実施形態では、パッドＰの中心点Ａ１）が１ｓｔアライメント点となる。
【００４６】
そして、算出された１ｓｔアライメント点Ａ１の座標（ＡＸ１，ＡＹ１）は、データメモリ３６に記憶される（Ｓ１２２）。
【００４７】
次に、ステップＳ１０２〜Ｓ１２２と同様の処理が、２ｎｄアライメント点について行われ（Ｓ１２４）、求められた２ｎｄアライメント点Ａ２の座標（ＡＸ２，ＡＹ２）がデータメモリ３６に記憶される。この２ｎｄアライメント点Ａ２は図示していない。
【００４８】
次に、各ボンディング点の座標が登録される（Ｓ１２６）。この各ボンディング点の座標の登録は、１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２として選択されたパッドＰ以外の、個々のパッドＰやリードＬについて、それらの適宜の位置、典型的には各パッドＰやリードＬの略中央の点に視野を移動させ、クロスマーク３２の中心点３２ａを合わせて手動入力手段３３の入力スイッチを押すなどして、各ボンディング点の座標をデータメモリ３６に記憶させることによって行われる。なお、このようなマニュアル的な入力方法に代えて、各パッドＰやリードＬの略中央の点を画像処理により求め、これらの座標値をデータメモリ３６に記憶することとしてもよい。以上が、新規の半導体デバイス１４についての登録の際の処理である。
【００４９】
ランタイムの処理は、図３および図１０に示すとおりである。まず、比較対象となる新たな半導体デバイス１４を配置し、ＸＹテーブル１を制御部３４の出力によって動作させ、カメラ７の視野の中心点が１ｓｔアライメント点を登録した際の撮像点の位置（Ｘｐ１，Ｙｐ１）と一致するように、カメラ７を移動させる（Ｓ２０２）。そして、この位置から、比較対象である半導体デバイス１４をカメラ７で撮像することにより、比較対象画像が取得される。
【００５０】
次に、比較対象画像と、登録されている基準画像とのパターンマッチングの処理として、比較対象における基準画像との最一致点が、正規化相関演算を利用して検索される（Ｓ２０４）。この演算は、上記数１と同様の正規化相関の式によって行われ、比較対象画像と基準画像との相関値Ｒが、比較対象画像の領域内の各画素について、あるいは比較対象画像の領域内で離散的に設けられた各基準点について演算され、相関値Ｒが最大となる点が検索される。
【００５１】
次に、求められた最一致点、つまり比較対象画像と基準画像との一致量が最大となる相対位置で、基準画像を比較対象画像と重ね合わせ（図１０）、その姿勢におけるクロスマーク３２の中心点３２ａの位置座標（Ｘｍ１，Ｙｍ１）と、先に基準画像を登録した際のクロスマーク３２の中心点の位置である撮像点の座標（Ｘｐ１，Ｙｐ１）との間の位置ずれ量（Ｘ１，Ｙ１）を求める。
【００５２】
パターンマッチングは幾何学的には平行移動として行われるから、この位置ずれ量（Ｘ１，Ｙ１）は、１ｓｔアライメント点Ａ１の位置ずれ量に等しいはずである。したがって、算出された位置ずれ量（Ｘ１，Ｙ１）は、１ｓｔアライメント点Ａ１の位置ずれ量として用いて良いことになる。そこで、位置ずれ量（Ｘ１，Ｙ１）を、撮像時の半導体デバイス１４における１ｓｔアライメント点Ａ１に対する、新たな半導体デバイス１４における１ｓｔアライメント点Ａ１の位置ずれ量として、データメモリ３６に記憶する（Ｓ２０６）。なお、この場合の新たな半導体デバイス１４における１ｓｔアライメント点Ａ１の位置座標は（ＡＸ１＋Ｘ１，ＡＹ１＋Ｙ１）である。
【００５３】
次に、２ｎｄアライメント点Ａ２についても、ステップＳ２０２ないしＳ２０６で１ｓｔアライメント点Ａ１について行ったものと同様の処理を実行し、得られた位置ずれ量（Ｘ２，Ｙ２）を、撮像時の半導体チップ１４ａにおけるアライメント点に対する、新たな半導体デバイス１４におけるアライメント点Ａ２の位置ずれ量として、データメモリ３６に記憶する（Ｓ２１２）。なお、この場合の新たな半導体デバイス１４における２ｎｄアライメント点Ａ２の位置座標は（ＡＸ２＋Ｘ２，ＡＹ２＋Ｙ２）である。
【００５４】
次に、先にステップＳ１２６で登録されている各ボンディング点の座標に基づき、１ｓｔアライメント点Ａ１および２ｎｄアライメント点Ａ２に対する相対位置を守った形で、新たな半導体デバイス１４における１ｓｔアライメント点Ａ１および２ｎｄアライメント点Ａ２の位置から各パッドＰ、リードＬの位置を計算にて求め出して（位置補正）、実ボンディング点を求める。
【００５５】
そして、この実ボンディング点に対してボンディング動作を実行する（Ｓ２１６）。具体的には、制御部３４の出力によりＸＹテーブル１を駆動してツール４を各実ボンディング点に移動してボンディングを行う。
【００５６】
以上のとおり、本実施形態では、回転画像と基準画像とのパターンマッチングを実行し（Ｓ１１０）、このパターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点としての１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を特定する（Ｓ１２０）。そして、特定した１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を基準として、比較対象画像と基準画像との位置合わせを行い（Ｓ２０４・Ｓ２１０）、比較対象の位置を算出する。
【００５７】
このように本実施形態では、あらかじめ回転画像と基準画像とのパターンマッチングを実行することで、耐回転基準点としての１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を求めるので、この１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を基準として比較対象画像と基準画像との位置合わせを行った場合に、比較対象の位置の検出誤差を低減でき、これにより、比較対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現できる。
【００５８】
また本実施形態では、回転画像と基準画像とのパターンマッチングに基づいて、両者の間の位置ずれ量（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）を算出し（Ｓ１１０，Ｓ１１６）、回転の角度Ｑと前記位置ずれ量（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）とに基づいて、耐回転基準点としての１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を特定する（Ｓ１２０）。すなわち、回転画像と基準画像とのパターンマッチングによって得られる位置ずれ量（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）と、既知である回転の角度Ｑとを用いて、１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を特定することができる。
【００５９】
また本実施形態では、１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を基準として、比較対象における加工処理点としての各ボンディング点の位置を算出するので、１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２の位置が高精度に求められる結果として、各ボンディング点の位置検出をも高精度化できる。
【００６０】
なお、本実施形態では、ランタイムの処理において、新たな半導体デバイス１４を撮像する際に、１ｓｔアライメント点Ａ１や２ｎｄアライメント点Ａ２にカメラ７を位置させるのではなく、各アライメント点の登録時の撮像点にカメラ７を位置させることとした（Ｓ２０２，Ｓ２０８）。これは、図１１に示すように、レチクルマーク４２に囲まれた領域が基準画像として用いられるところ、アライメント点Ａｎがレチクルマーク４２内の周縁付近にあった場合、仮にステップＳ２０２・Ｓ２０８でアライメント点Ａｎにカメラ７の視野の中心点を位置させることとすると、この場合に有効に利用できる基準画像が、その姿勢における視野（図１１において一点鎖線で示される領域）と前記基準画像との重複部分（図１１においてハッチングで示される領域）に限られてしまい、基準画像として有効に利用できる領域が狭くなってしまうからである。しかしながら、この不都合を除いて相当程度の検出精度を実現できるため、ステップＳ２０２・Ｓ２０８でアライメント点Ａｎにカメラ７の視野の中心点を位置させる構成を採用することは可能であり、そのような構成も本発明の範疇に属するものである。
【００６１】
また、上記実施形態では、基準画像のうち、矩形のレチクルマーク４２で囲まれる領域をテンプレート画像として用いる構成とし、基準画像内におけるテンプレート画像の数を１つとしたが、このような構成に代えて、単一の基準画像における複数の部分についてテンプレート画像を作成し、複数のテンプレート画像を用いる構成としてもよい。例えば、図１２に示すように、クロスマーク３２およびレチクルマーク４２で上下左右に仕切られた計４つの領域のうち、目印となるパッドＰが含まれる３つの領域を、それぞれ小基準画像ｒ１，ｒ２，ｒ３とする。そして、上記第１実施形態におけるステップＳ１０８ないしＳ１２０と同様の処理により、各パッドＰにおける耐回転基準点としての中心点Ａｒ１ないしＡｒ３を求め、ランタイムの処理では、新たな半導体デバイス１４における中心点Ａｒ１ないしＡｒ３の位置ずれ量をそれぞれ算出することとするのが好適である。このような場合には、単一の基準画像について単一のテンプレート画像を用いる場合に比して、検出精度を向上できることは明らかであり、このような構成も本発明の範疇に属する。
【００６２】
また、上記実施形態では、近似式である数２および数３を用いてアライメント点の位置座標を算出することとしたが、このような構成に代えて、これと異なる数式によってアライメント点を求める構成としてもよいことは勿論である。また、あらかじめ最一致点の座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）と、回転角度であるＱ（度）と、アライメント点の位置座標との関係を示したテーブルを用意し、入力された最一致点の座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）と、回転角度であるＱ（度）とに基づいて、上記テーブルからアライメント点の位置座標を読み出す構成としてもよい。
【００６３】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、第１実施形態と同様に、基準画像を回転させた回転画像と、前記基準画像とのパターンマッチングに基づいて、耐回転基準点である１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２を特定するものであるが、特に、回転させた回転画像と基準画像との一致量を、前記基準画像内の複数の異なる回転中心点についてそれぞれ演算し、前記複数の異なる回転中心点のうち一致量が比較的に大きい回転中心点を、耐回転基準点として特定するものである。なお、以下の各実施形態における機械的構成は、上記第１実施形態のものと同様であるので、その詳細な説明は省略する。
【００６４】
第２実施形態の動作について、図１３のフロー図に従って説明する。まず、制御部３４の出力によりＸＹテーブル１が駆動され、カメラ７が１ｓｔアライメント点となるべき点の近傍に移動される（Ｓ３０２）。移動した姿勢におけるクロスマーク３２の中心点の位置は、基準撮像点の座標（Ｘｐ１，Ｙｐ１）として、制御部３４の出力によりデータメモリ３６に記憶される（Ｓ３０４）。また、この位置で半導体デバイス１４がカメラ７によって撮像され、電気信号に変換された画像データは、画像処理部３８で処理され、基準画像としてデータメモリ３６に記憶される（Ｓ３０６）。基準画像のうち、矩形のレチクルマーク４２で囲まれる領域は、後述する位置検出の工程においてテンプレート画像として用いられる。以上の処理は、上記第１実施形態におけるステップＳ１０２ないしＳ１０６と同様である。
【００６５】
次に、演算処理部３７において、基準画像を＋Ｑ°（度）だけ回転させる処理が行われる（Ｓ３０８）。この回転は、基準画像内の複数の異なる回転中心点であるサンプリング点のそれぞれについて行われる。このサンプリング点は、例えば図１４におけるサンプリング点Ｓｐ１１ないしＳｐ４６の４行６列が設定されている。
【００６６】
次に、回転画像と基準画像とのパターンマッチングの処理として、第１のサンプリング点Ｓｐ１１に回転の処理の実行の結果として得られた回転画像と、基準画像との相関値が、上記数１と同様の正規化相関演算の式によって算出される（Ｓ３１０）。
【００６７】
これらステップＳ３０８およびＳ３１０は、基準画像内の全てのサンプリング点Ｓｐ１１ないしＳｐ４６についての相関値が算出されるまで繰り返される（Ｓ３１２・Ｓ３１４）。
【００６８】
そして、全てのサンプリング点Ｓｐ１１ないしＳｐ４６のうち、算出された相関値が最大となる点が、１ｓｔアライメント点Ａ１として選択され、その座標（ＡＸ１，ＡＹ１）がデータメモリ３６に登録（記憶）される（Ｓ３１６）。
【００６９】
ここで、図１４に示される例では、全てのサンプリング点Ｓｐ１１ないしＳｐ４６のうち、サンプリング点Ｓｐ２２における相関値が最大となる。したがって、この場合にはサンプリング点Ｓｐ２２が、１ｓｔアライメント点Ａ１として登録されることになる。
【００７０】
次に、ステップＳ３０２〜Ｓ３１６と同様の処理が、２ｎｄアライメント点について行われ（Ｓ３１８）、求められた２ｎｄアライメント点Ａ２の座標（ＡＸ２，ＡＹ２）がデータメモリ３６に記憶される。なお、２ｎｄアライメント点Ａ２は図示していない。
【００７１】
次に、各ボンディング点の座標が登録される（Ｓ３２０）。この各ボンディング点の座標の登録は、上記第１実施形態における場合と同様に、例えば、１ｓｔアライメント点Ａ１・２ｎｄアライメント点Ａ２として選択されたパッドＰ以外の、個々のパッドＰやリードＬについて、それらの適宜の位置、典型的には各パッドＰやリードＬの略中央の点に視野を移動させ、クロスマーク３２を合わせて手動入力手段３３の入力スイッチを押すなどして、各ボンディング点の座標をデータメモリ３６に記憶させること等によって行われる。以上が、新規の半導体デバイス１４についての登録の際の処理である。
【００７２】
以後のランタイムの処理は、上記第１実施形態のもの（図３）と同様である。
【００７３】
以上のとおり、第２実施形態では、回転画像と基準画像との一致量である相関値を、基準画像内の複数の異なる回転中心点であるサンプリング点Ｓｐ１１ないしＳｐ４６についてそれぞれ演算し、サンプリング点Ｓｐ１１ないしＳｐ４６のうち相関値が最大となるサンプリング点Ｓｐ２２を、耐回転基準点である１ｓｔアライメント点Ａ１として特定するので、これによって比較対象の姿勢における回転方向の位置ずれの影響を低減できる。
【００７４】
なお、第２実施形態では、サンプリング点Ｓｐ１１ないしＳｐ４６のうち相関値が最大となるサンプリング点Ｓｐ２２を、１ｓｔアライメント点Ａ１として選択する構成としたが、このサンプリング点Ｓｐ２２そのものを１ｓｔアライメント点Ａ１とする構成に代えて、その近傍の点を１ｓｔアライメント点として選択する構成としても、相当程度の位置検出精度を実現できる。例えば、相関値が高いサンプリング点を上位から複数（例えば所定個数や、所定の値の範囲に含まれるもの全て）選択し、これらサンプリング点の位置座標の平均値をアライメント点としたり、選択された複数のサンプリング点の位置座標に基づいて相関値が最大となる点の位置座標を計算により推定し、この点をアライメント点とする構成としてもよい。
【００７５】
また、本実施形態では、サンプリング点の数を増やすほど検出精度が高まるが、サンプリング点が基準画像内に２個以上ありさえすれば、従来のように基準画像内のクロスマーク３２の中心点３２ａの位置座標を無条件にアライメント点とする構成に比べて、検出精度を向上できる。例えば、図１５に示すように、基準画像となるべきレチクルマーク４２に囲まれた領域を上下左右に各２等分し、分割された領域の計４つの中心点を、それぞれサンプリング点Ｓｐ１１ないしＳｐ２２とする構成としてもよい。この場合には、サンプリング点Ｓｐ１１ないしＳｐ２２のうち相関値が最大となるサンプリング点（図１５の例では、サンプリング点Ｓｐ１１）をアライメント点Ａ１とするのが好適である。このような構成では、サンプリング点の数を図１４のように多数設ける場合に比して検出精度は劣るが、従来のように基準画像内のクロスマーク３２の中心点の位置座標を無条件にアライメント点とする構成に比べて、検出精度を向上することができる。
【００７６】
さらに、サンプリング点の位置座標をそのままアライメント点とすることは必須でなく、例えば図１５におけるレチクルマーク４２の四隅の頂点をサンプリング点としてそれぞれ相関値を求めると共に、レチクルマーク４２に囲まれた領域を上下左右に各２等分し、分割された領域の計４つの中心点をアライメント点の候補とし、相関値が最大となるサンプリング点が含まれる４分割領域の中心点を、アライメント点として選択する構成としてもよい。
【００７７】
＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、単一の比較対象について少なくとも２つのアライメント点を特定し、かつ、比較対象と基準画像との位置合わせにあたり、前記少なくとも２つのアライメント点を、単一の画像フレームに含ませるものである。第３実施形態の機械的構成は、上記第１実施形態のものと同様であるので、その詳細な説明は省略する。
【００７８】
図１６に示すとおり、第３実施形態では、半導体チップ１４ａにおけるパッドＰの位置に対して内側の領域に、２つの基準パターンＤ，Ｅを備えた半導体デバイス１４を使用する。本実施形態では、これら基準パターンＤ，Ｅにおける各中心点Ｄｃ，Ｅｃが、それぞれ１ｓｔアライメント点Ａ１および２ｎｄアライメント点Ａ２として用いられる。また、パッドＰの各中心点が、ボンディング点となる。すなわち、２つの基準パターンＤ，Ｅの中心点Ｄｃ，Ｅｃ（アライメント点Ａ１，Ａ２）に接し、かつ両中心点を結ぶ直線を直径とする円の外側に、加工処理点としてのボンディング点が存在する。
【００７９】
第３実施形態の動作について説明する。図１７において、まず、制御部３４の出力によりＸＹテーブル１が駆動され、カメラ７が、１ｓｔアライメント点となるべき点および２ｎｄアライメント点となるべき点（中心点Ｄｃ，Ｅｃ）をその視野内に含む位置、具体的には基準パターンＤ，Ｅがレチクルマーク４２に囲まれるような位置に移動される（Ｓ４０２）。移動した姿勢におけるクロスマーク３２の中心点の位置は、基準撮像点の座標（Ｘｐ１，Ｙｐ１）として、制御部３４の出力によりデータメモリ３６に記憶される（Ｓ４０４）。また、この位置で半導体デバイス１４がカメラ７によって撮像され、電気信号に変換された画像データは、画像処理部３８で処理され、基準画像としてデータメモリ３６に記憶される（Ｓ４０６）。
【００８０】
ここで、このようにして取得された基準画像において、矩形のレチクルマーク４２で囲まれる領域は、クロスマーク３２によって上下左右に各２等分される。この分割された計４つの領域のうち、目印となる基準パターンＤ，Ｅが含まれる２つの領域を、それぞれ小基準画像Ｔｄ，Ｔｅとする。
【００８１】
そして、上記第１実施形態におけるステップＳ１０８ないしＳ１２６と同様の処理により、各基準パターンＤ，Ｅにおける耐回転基準点としての中心点Ｄｃ，Ｅｃを求める（Ｓ４０８ないしＳ４２６）。ただし、２ｎｄアライメント点となるべき点である中心点Ｅｃを含む基準パターンＥの画像は、先にステップＳ４０６における撮像の際に既に取得されているので、ステップＳ４２４では、基準パターンＥの撮像を再度は行わない。すなわち、１度の半導体デバイス１４の撮像により、基準パターンＤ，Ｅの両方についての画像が取得される。
【００８２】
ランタイムの処理では、上記第１実施形態と同様の処理（図３）が行われる。すなわち、新たな半導体デバイス１４における中心点Ｄｃ，Ｅｃの位置ずれ量がそれぞれ算出され、各ボンディング点である各パッドＰの中心点の位置座標が位置補正され、ボンディングが実行される。
【００８３】
以上のとおり、第３実施形態では、単一の比較対象である半導体デバイス１４について、２つの耐回転基準点である基準パターンＤ，Ｅの各中心点Ｄｃ，Ｅｃ（アライメント点Ａ１，Ａ２）を特定し、かつ、比較対象と基準画像との位置合わせにあたり、基準パターンＤ，Ｅの各中心点Ｄｃ，Ｅｃを単一の画像フレームであるカメラ７の視野中のレチクルマーク４２に囲まれた領域内に含ませるので、基準パターンＤ，Ｅのそれぞれについて別個に画像の取り込みを行うことなく、位置合わせの際の画像の取り込みを１回で済ませることができ（Ｓ４０６）、位置検出工程の作業効率を向上できる。
【００８４】
また第３実施形態では、単一の比較対象である半導体デバイス１４について、２つの耐回転基準点である基準パターンＤ，Ｅの各中心点Ｄｃ，Ｅｃ（アライメント点Ａ１，Ａ２）を特定し、かつ、これら基準パターンＤ，Ｅの各中心点Ｄｃ，Ｅｃに接し両中心点を結ぶ直線を直径とする円（図１６において一点鎖線で示される）の外側に存在するボンディング点を算出することとしたので、従来のように２つのアライメント点に囲まれる領域の内側に存在するボンディング点を算出する構成に比べ、基準パターンＤ，Ｅの撮像の間のカメラ７と半導体デバイス１４との相対移動距離を小さくすることができ、特に、第３実施形態では基準パターンＤ，Ｅを単一の画像フレームであるカメラ７の視野中のレチクルマーク４２に含ませたので、基準パターンＤ，Ｅの撮像の間におけるカメラ７と半導体デバイス１４との相対移動距離をゼロにすることができる。したがって、位置検出工程の作業効率を向上でき、特に大型の半導体デバイスに対するボンディングに好適である。
【００８５】
なお、上記各実施形態では、基準画像と回転画像との一致量、あるいは基準画像と入力された画像との一致量を評価する指標として、相関値を用いたが、このような構成は例示にすぎず、本発明における一致量としては、一致する度合いを評価するための他の種々の公知の方法を採用でき、例えば残差を用いる方法でもよい。また、２値画像同士の一致量を評価する場合には、値の一致するピクセルを１、一致しないピクセルを０とカウントする方法によるカウント値を、一致量として用いることができる。
【００８６】
また、上記各実施形態では、パッドＰや基準パターンＤ，Ｅを利用してアライメント点を算出することとしたが、アライメント点がパッドＰや基準パターンＤ，Ｅを利用して定められることは必須でなく、半導体デバイス１４に現れる検出可能なユニークな形状であれば他のパターン、とくに半導体チップ１４ａの一部の形状や、複数のパターンのユニークな配列、もしくはそれらの組み合わせを利用することも可能である。また、上記各実施形態では、主としてパッドＰにおけるボンディング点を算出する工程について説明したが、同様の工程をリードＬやその他の部材におけるボンディング点の算出において実行することも、勿論可能である。
【００８７】
また、上記各実施形態では本発明をワイヤボンディング装置に適用した例について説明したが、本発明は他の種類の半導体製造装置や、パターンマッチングを用いた他の装置における位置検出について広く適用でき、かかる構成も本発明の範疇に属するものである。
【図面の簡単な説明】
【図１】 本発明の実施形態に係るボンディング装置の概略構成を示すブロック図である。
【図２】 第１実施形態における新規半導体デバイスの登録処理の一例を示すフロー図である。
【図３】 第１実施形態におけるランタイムにおける処理の一例を示すフロー図である。
【図４】 第１実施形態における基準画像を示す説明図である。
【図５】 第１実施形態における回転画像（正方向）を示す説明図である。
【図６】 第１実施形態における回転画像（正方向）に対するパターンマッチングの工程を示す説明図である。
【図７】 第１実施形態における回転画像（逆方向）を示す説明図である。
【図８】 第１実施形態における回転画像（逆方向）に対するパターンマッチングの工程を示す説明図である。
【図９】 第１実施形態におけるアライメント点の算出方法を示す説明図である。
【図１０】 第１実施形態における比較対象画像と基準画像とのパターンマッチングの工程を示す説明図である。
【図１１】 第１実施形態における比較対象画像の取得の際のカメラの位置と基準画像の有効な領域との関係を示す説明図である。
【図１２】 第１実施形態の変形例を示す説明図である。
【図１３】 第２実施形態における新規半導体デバイスの登録処理の一例を示すフロー図である。
【図１４】 第２実施形態におけるサンプリング点の設定を示す説明図である。
【図１５】 第２実施形態の変形例におけるサンプリング点の設定を示す説明図である。
【図１６】 第３実施形態に用いられる半導体デバイスを示す平面図である。
【図１７】 第３実施形態における新規半導体デバイスの登録処理の一例を示すフロー図である。
【図１８】 従来におけるアライメント点の設定工程を示す説明図である。
【図１９】 従来における比較対象画像と基準画像とのパターンマッチングの工程を示す説明図である。
【図２０】 従来の方法における位置検出誤差の発生原因を示す説明図である。
【符号の説明】
１ ＸＹテーブル
２ ボンディングヘッド
４ ツール
５ クランパ
７ カメラ
１４ 半導体デバイス
１４ａ 半導体チップ
３２ クロスマーク
３２ａ 中心点
３３ 手動入力手段
３４ 制御部
３６ データメモリ
３６ａ データライブラリ
３７ 演算処理部
３８ 画像処理部
３９ モニタ
４２ レチクルマーク
Ａ０，Ａ１，Ａ２，Ａｎ，Ａｒ１，Ａｒ２，Ａｒ３，Ｄｃ，Ｅｃ アライメント点
Ｌ リード
Ｐ パッド
Ｓｐ１１〜Ｓｐ４６ サンプリング点
Ｗ ワイヤ

Claims (7)

  1. あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングを実行する工程と、
    前記パターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する工程と、
    前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、
    を含むことを特徴とする画像処理方法。
  2. あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングに基づいて、両者の間の位置ずれ量を算出する工程と、
    前記回転の角度と前記位置ずれ量とに基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する工程と、
    前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、
    を含むことを特徴とする画像処理方法。
  3. あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像との一致量を、前記基準画像内の複数の異なる回転中心点についてそれぞれ演算する工程と、
    前記複数の異なる回転中心点のうち前記一致量が最大値から所定範囲内にある回転中心点またはその近傍領域内の点を、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点として特定する工程と、
    前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する工程と、
    を含むことを特徴とする画像処理方法。
  4. 請求項１ないし３のいずれかに記載の画像処理方法であって、
    単一の前記比較対象について少なくとも２つの前記耐回転基準点を特定し、
    前記位置合わせにあたり前記少なくとも２つの耐回転基準点を単一の画像フレームに含ませることを特徴とする画像処理方法。
  5. 請求項１ないし４のいずれかに記載の画像処理方法であって、
    前記耐回転基準点を基準として、前記比較対象における加工処理点を算出する工程を更に含むことを特徴とする画像処理方法。
  6. 請求項５に記載の画像処理方法であって、
    単一の前記比較対象について２つの前記耐回転基準点を特定し、
    これら２つの耐回転基準点に接し前記２つの耐回転基準点を結ぶ直線を直径とする円の外側に存在する前記加工処理点を算出することを特徴とする画像処理方法。
  7. あらかじめ入力されている基準画像を回転させた回転画像と前記基準画像とのパターンマッチングを実行する試行処理手段と、
    前記パターンマッチングの結果に基づいて、回転方向の位置ずれを含んだ姿勢で配置されている比較対象を撮像した比較対象画像と前記基準画像とのパターンマッチングで検出される前記比較対象の位置の誤差が最小になるような耐回転基準点を特定する基準点算出手段と、
    前記耐回転基準点を基準として、前記比較対象画像と前記基準画像との位置合わせを行い、前記比較対象の位置を算出する位置検出手段と、
    を含むことを特徴とする画像処理装置。
JP2001003153A 2001-01-11 2001-01-11 画像処理方法および装置 Expired - Fee Related JP4446609B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001003153A JP4446609B2 (ja) 2001-01-11 2001-01-11 画像処理方法および装置
TW090128912A TW512220B (en) 2001-01-11 2001-11-22 Image processing method and device
KR1020010085661A KR20020060570A (ko) 2001-01-11 2001-12-27 화상처리방법 및 장치
US10/044,498 US6868176B2 (en) 2001-01-11 2002-01-10 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001003153A JP4446609B2 (ja) 2001-01-11 2001-01-11 画像処理方法および装置

Publications (2)

Publication Number Publication Date
JP2002208010A JP2002208010A (ja) 2002-07-26
JP4446609B2 true JP4446609B2 (ja) 2010-04-07

Family

ID=18871548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001003153A Expired - Fee Related JP4446609B2 (ja) 2001-01-11 2001-01-11 画像処理方法および装置

Country Status (4)

Country Link
US (1) US6868176B2 (ja)
JP (1) JP4446609B2 (ja)
KR (1) KR20020060570A (ja)
TW (1) TW512220B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035446B2 (en) * 2002-05-22 2006-04-25 Lsi Logic Corporation Quality measurement of an aerial image
KR20040050569A (ko) * 2002-12-10 2004-06-16 한국전자통신연구원 피두셜 마크의 중심 위치 측정방법
JP4128513B2 (ja) 2003-10-07 2008-07-30 株式会社新川 ボンディング用パターン識別方法、ボンディング用パターン識別装置及びボンディング用パターン識別プログラム
JP4088232B2 (ja) 2003-10-07 2008-05-21 株式会社新川 ボンディング方法、ボンディング装置及びボンディングプログラム
US7783113B2 (en) * 2004-10-08 2010-08-24 Drvision Technologies Llc Partition pattern match and integration method for alignment
JP4611708B2 (ja) * 2004-10-18 2011-01-12 富士通株式会社 高精度マーク位置・姿勢検出装置
TWI282268B (en) * 2005-09-15 2007-06-11 Univ Chung Shan Medical Medical image system and method for measuring vertebral axial rotation
KR100709107B1 (ko) * 2006-03-02 2007-04-18 주식회사 코로 모션 시스템의 원점 검출 방법
KR101133130B1 (ko) * 2006-03-28 2012-04-06 삼성테크윈 주식회사 기준 본드 패드들을 이용한 본딩 좌표 보정 방법
JP5090725B2 (ja) * 2006-12-20 2012-12-05 株式会社日立ハイテクノロジーズ 異物検査装置
KR100975832B1 (ko) * 2008-05-21 2010-08-13 윈텍 주식회사 압흔 검사장치 및 방법
JP5805536B2 (ja) * 2008-10-12 2015-11-04 エフ・イ−・アイ・カンパニー 局所領域ナビゲーション用の高精度ビーム配置
JP5342210B2 (ja) * 2008-10-30 2013-11-13 三菱重工業株式会社 アライメント装置制御装置およびアライメント方法
JP2011232851A (ja) * 2010-04-26 2011-11-17 Ricoh Co Ltd 対象物検出方法及び対象物検出プログラム
KR101795603B1 (ko) 2011-11-17 2017-12-01 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9082231B2 (en) * 2012-01-12 2015-07-14 Siemens Medical Solutions Usa, Inc. Symmetry-based visualization for enhancing anomaly detection
TWI591377B (zh) * 2015-12-11 2017-07-11 財團法人工業技術研究院 廣角鏡頭校正系統及其方法
CN107155058B (zh) * 2016-03-02 2020-04-21 由田新技股份有限公司 对象自动校正方法及其自动校正检测装置
US10832399B2 (en) * 2018-10-23 2020-11-10 International Business Machines Corporation Detection for abnormal connectivity on a product
CN112462234A (zh) * 2020-11-27 2021-03-09 日月光半导体（昆山）有限公司 集成电路测试方法、计算机可读介质以及集成电路测试装置
CN113252079B (zh) * 2021-07-05 2022-03-29 北京远度互联科技有限公司 无人机的吊舱校准方法、装置、电子设备及存储介质
KR102600821B1 (ko) * 2021-12-22 2023-11-09 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
WO2023199572A1 (ja) * 2022-04-11 2023-10-19 パナソニックＩｐマネジメント株式会社 テンプレート登録装置、テンプレート登録方法およびテンプレート登録システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60119407A (ja) * 1983-11-30 1985-06-26 Nippon Kogaku Kk <Nikon> 比較検査装置
US5850466A (en) * 1995-02-22 1998-12-15 Cognex Corporation Golden template comparison for rotated and/or scaled images
JPH09102039A (ja) 1995-10-05 1997-04-15 Nippon Steel Corp テンプレートマッチング方法

Also Published As

Publication number Publication date
JP2002208010A (ja) 2002-07-26
KR20020060570A (ko) 2002-07-18
US20020122584A1 (en) 2002-09-05
TW512220B (en) 2002-12-01
US6868176B2 (en) 2005-03-15

Similar Documents

Publication Publication Date Title
JP4446609B2 (ja) 画像処理方法および装置
JP4571763B2 (ja) 画像処理装置、およびボンディング装置
US7330582B2 (en) Bonding program
KR100466678B1 (ko) 화상처리방법과 장치 및 이를 포함하는 본딩장치
US7324683B2 (en) Bonding pattern discrimination device
KR19990036608A (ko) 웨이퍼의 측정정보작성방법 및 측정위치결정방법
TW201915443A (zh) 基於影像尺的定位量測系統
JP3855244B2 (ja) 顕微鏡を用いた３次元画像認識装置
KR0169845B1 (ko) 와이어 본딩부의 볼 검출방법 및 검출장치
JP3545542B2 (ja) ウェハの回転方向検出方法
US11826919B2 (en) Work coordinate generation device
KR0161332B1 (ko) 본딩좌표의 티칭방법 및 티칭수단
JP4061265B2 (ja) 突起の高さ測定方法および測定装置
JP3679460B2 (ja) 移動体装置及びその制御方法
JP3779118B2 (ja) 撮像装置におけるカメラの位置ずれ検出方法、撮像装置におけるカメラの傾き検出方法、および、撮像装置におけるカメラの移動量補正方法
JP2694462B2 (ja) 半導体ウェーハチップの位置合わせ方法
JP2853252B2 (ja) アライメント方法並びにその装置
JP2002221404A (ja) 画像処理方法および装置
JPH06309436A (ja) Ｑｆｐ型ｉｃ用ｉｃソケットの位置検出方法
JPH0766251A (ja) Ｉｃチップの位置決め方法
JPH0729016A (ja) 寸法測定装置
JPH02176406A (ja) 位置調整装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070312

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees