JP4571763B2 - 画像処理装置、およびボンディング装置 - Google Patents

画像処理装置、およびボンディング装置 Download PDF

Info

Publication number
JP4571763B2
JP4571763B2 JP2001218157A JP2001218157A JP4571763B2 JP 4571763 B2 JP4571763 B2 JP 4571763B2 JP 2001218157 A JP2001218157 A JP 2001218157A JP 2001218157 A JP2001218157 A JP 2001218157A JP 4571763 B2 JP4571763 B2 JP 4571763B2
Authority
JP
Japan
Prior art keywords
image
difference
value
absolute value
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001218157A
Other languages
English (en)
Other versions
JP2003030653A (ja
Inventor
健二 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinkawa Ltd
Original Assignee
Shinkawa Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinkawa Ltd filed Critical Shinkawa Ltd
Priority to JP2001218157A priority Critical patent/JP4571763B2/ja
Priority to TW91113734A priority patent/TWI237683B/zh
Priority to KR10-2002-0041521A priority patent/KR100478568B1/ko
Priority to US10/196,879 priority patent/US7013039B2/en
Publication of JP2003030653A publication Critical patent/JP2003030653A/ja
Application granted granted Critical
Publication of JP4571763B2 publication Critical patent/JP4571763B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/80Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
    • H01L24/85Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a wire connector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04Manufacture or treatment of semiconductor devices or of parts thereof the devices having at least one potential-jump barrier or surface barrier, e.g. PN junction, depletion layer or carrier concentration layer
    • H01L21/50Assembly of semiconductor devices using processes or apparatus not provided for in a single one of the subgroups H01L21/06 - H01L21/326, e.g. sealing of a cap to a base of a container
    • H01L21/60Attaching or detaching leads or other conductive members, to be used for carrying current to or from the device in operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/02Bonding areas; Manufacturing methods related thereto
    • H01L2224/04Structure, shape, material or disposition of the bonding areas prior to the connecting process
    • H01L2224/05Structure, shape, material or disposition of the bonding areas prior to the connecting process of an individual bonding area
    • H01L2224/0554External layer
    • H01L2224/0555Shape
    • H01L2224/05552Shape in top view
    • H01L2224/05554Shape in top view being square
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/44Structure, shape, material or disposition of the wire connectors prior to the connecting process
    • H01L2224/45Structure, shape, material or disposition of the wire connectors prior to the connecting process of an individual wire connector
    • H01L2224/45001Core members of the connector
    • H01L2224/45099Material
    • H01L2224/451Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/44Structure, shape, material or disposition of the wire connectors prior to the connecting process
    • H01L2224/45Structure, shape, material or disposition of the wire connectors prior to the connecting process of an individual wire connector
    • H01L2224/45001Core members of the connector
    • H01L2224/45099Material
    • H01L2224/451Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
    • H01L2224/45138Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof the principal constituent melting at a temperature of greater than or equal to 950°C and less than 1550°C
    • H01L2224/45144Gold (Au) as principal constituent
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/80Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
    • H01L2224/85Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a wire connector
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001Technical content checked by a classifier
    • H01L2924/00014Technical content checked by a classifier the subject-matter covered by the group, the symbol of which is combined with the symbol of this group, being disclosed without further technical details

Description

【0001】
【発明の属する技術分野】
本発明は画像処理方法、同装置、および同装置を含んで構成されるボンディング装置に係り、特に検出対象と基準画像とのパターンマッチングを行うことにより検出対象の位置を検出するものに関する。
【0002】
【従来の技術】
画像処理技術においては、検出対象の画像中に含まれる既知の画像の位置を検出することによって、検出対象の位置を検出するために、既知の画像としての基準画像の一部をテンプレート画像として用いるパターンマッチングが広く用いられている。
【0003】
このパターンマッチングを利用した位置検出方法を、例えば半導体組立装置であるワイヤボンディング装置を例として説明する。ワイヤボンディング装置では、半導体チップ上のアルミニウムなどからなるボンディングパッドと、半導体チップを囲むように形成された導体からなるリードとを結ぶように、金線などからなるワイヤをボンディングするが、このボンディング動作に先立って、ボンディングを実行する点であるボンディング点を、パターンマッチングを利用して算出する。
【0004】
まず、図8に示すように、位置合わせ用の基準点である各アライメント点32aを登録する。この登録は、XYテーブルの動作によりこれにボンディングヘッドおよびカメラアームを介して固定されたカメラを半導体チップに対し相対的に水平方向に移動可能とした構造、例えば図1に示すものと同様の構造のワイヤボンディング装置において、半導体チップ14aを撮像しているカメラ7からの画像をモニタ39の表示画面に表示させながら、ボンディングヘッド2およびカメラアーム6を介してカメラ7を固定しているXYテーブル1を移動させることにより視野を移動させ、モニタ39の表示画面に表示されている視野の中心を示すクロスマーク32の中心点32aを、半導体チップ14a上の任意の点に合わせて、手動入力手段33の入力スイッチを押す等の入力動作を行い、その際の中心点32aを中心とする矩形のレチクルマーク42に囲まれた領域の画像を、テンプレート画像として記憶すると共に、そのときのXYテーブル1上の座標を、アライメント点としてデータメモリ36に記憶する。
【0005】
アライメント点は、検出誤差を最小にするために、一般的には半導体チップ14a上の四隅付近の対角線上から、パッド側について(Pa1x,Pa1y)、(Pa2x,Pa2y)の2カ所、リード側について(La1x,La1y)、(La2x,La2y)の2カ所を選択する。
【0006】
次に、個々のパッドPやリードLにおける適宜の位置、典型的には各パッドPやリードLの略中央の点に、クロスマーク32の中心点32aを合わせ入力スイッチを押すなどして、各ボンディング点の座標をデータメモリ36に記憶する。
【0007】
そしてランタイム(すなわち、製品の生産時)の処理としては、検出対象となる新たな半導体デバイス14を配置し、XYテーブル1を演算装置の制御によって移動させ、登録されているアライメント点A0の近傍がカメラ7の視野となるようにし(図9)、カメラ7で半導体デバイス14の画像をとらえ、登録されている基準画像を使って、パターンマッチング検出により、検出対象の画像と基準画像との一致量が最大となり且つ所定の閾値を越えた場合に検出良好と判定し、その相対位置で基準画像を検出対象の画像と重ね合わせ、その姿勢における中心点32aのXYテーブル1上の位置座標と、先にテンプレート画像を登録した際の中心点32aの位置であるアライメント点A0のXYテーブル1上の位置座標、例えば(Pa1x,Pa1y)との間の位置ずれ量(ΔX,ΔY)を求める。
同様にして残りのアライメント点32aについての位置ずれを算出し、算出した位置ずれ量(ΔX,ΔY)を、先にテンプレート画像を登録した際のアライメント点の位置座標に、例えば(Pa1x+ΔX,Pa1y+ΔY)のように加算し、得られた値を新たなアライメント点Amとする。なお、この「Am」は符号であって、ここにいう「m」は範囲を持つ数値ではない。
【0008】
次に、登録時の各パッド、リードのアライメント点A0に対する相対位置を守った形で、新たなアライメント点Amの位置から各パッド、リード位置を計算にて求め出して(以下、位置補正と呼ぶ)、実ボンディング点を求める。そして、この実ボンディング点に対してボンディング動作を実行する。
【0009】
【発明が解決しようとする課題】
ところで、検出対象となる半導体デバイス14が、回転方向の位置ずれを含んだ姿勢で配置されている場合には、検出対象の画像のうち基準画像と一致しない部分が増大するため、基準画像を使ったパターンマッチング検出において最大となる一致量が閾値を越えず、検出不能と判定される場合が多くなる。このため通常、検出対象の回転方向の位置ずれは±5°が限界とされている。
【0010】
この検出対象の回転方向の位置ずれの限界を拡張するための方法として、基準画像を様々な角度で回転させた複数種類の回転画像を、テンプレート画像としてあらかじめ用意し、これら複数のテンプレート画像と検出対象の画像とのパターンマッチングを行う方法も種々提案されているが(例えば、特開平9−102039号公報)、回転方向に数度刻みのパターンマッチングを、視野内の多くのポイントについて実行しなければならず、演算量が膨大になるため認識スピードが遅く、実用的でない。
【0011】
また、検出対象の回転方向の位置ずれは、検出精度を低下させてしまう。これは、本来であれば、基準となるパターン(図9におけるパッドP)について一致量が最大となるように検出対象の画像と基準画像とを重ねれば、基準となるパターンに対する相対位置で規定される新たなアライメント点Amの位置は、同じく基準画像におけるパッドPとの相対位置で規定される元のアライメント点A0の位置と一致すべきところ、図10に示すように、検出対象である半導体デバイス14が回転方向の位置ずれを含んだ姿勢で配置されている場合には、基準となるパターン(図10におけるパッドP)について一致量が最大となるように検出対象の画像と基準画像とを重ねても、元のアライメント点A0と、新たなアライメント点Amとが一致しないためである。
【0012】
この検出対象の回転方向の位置ずれに起因する誤差は、パッドP間あるいはリードL間のピッチが十分大きければ問題にならないが、近年のファインピッチ化、すなわちパッドPやリードL間のピッチの精細化に対応する上では、大きな問題となる。
【0013】
また、通常の大きさのテンプレート画像の他に、画像の領域を狭小化した小テンプレート画像を多数用意し、通常の大きさのテンプレート画像で大まかな位置を割り出し、その後に小テンプレート画像で正確な位置を検出する方法もあるが、多数の小テンプレート画像を使ってパターンマッチングを行うため、やはり認識スピードが遅いという欠点がある。
【0014】
他方、マスクパターンを利用して、パターンマッチングの際に検出対象の画像における不要な部分、とくに検出対象の回転によって検出精度が低下するような部分をマスクする方法も種々提案されているが(例えば特開平7−21377号公報、特開平2−148180号公報)、このマスクパターンの生成は人手によって行われており、これを効率化する手段が要請される。この点、検出対象の画像における基準となるパターンのエッヂ(輪郭)部分を覆うように、一定幅のマスクパターンを自動的に生成する構成もあるが、この方法では回転方向の位置ずれを含まない場合に検出精度を低下させてしまう欠点がある。
【0015】
そこで本発明の目的は、検出対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現でき、また検出精度を低下させることなくマスクパターンの生成を能率的に実行できる手段を提供することにある。
【0016】
【課題を解決するための手段】
本発明の画像処理方法は、撮像手段を備えるボンディング装置の画像処理方法であって、あらかじめ入力されている基準画像を前記撮像手段の視野領域で回転画像との相関値が最大となる最一致点の周りに複数の所定の角度だけ回転させた回転画像と前記基準画像との差分の各絶対を算し、該絶対値を前記撮像手段の視野領域の複数の所定の座標にそれぞれマッピングして各回転角度に対応する各相違画像を生成する相違画像生成工程と前記各所定の座標における各相違画像の絶対値の最大値を選択し、前記各所定の座標における各相違画像の各差分の各最大絶対値とした最大値画像を生成し、生成した前記最大値画像を二値化処理し、所定の閾値以上の最大絶対値の各相違画像の前記所定の座標を選択し、その各所定座標のみを含む領域をマスクパターン画像として生成するマスクパターン生成工程と、前記撮像手段によって検出対象を撮像した検出対象画像、前記基準画像の前記マスクパターン画像に対応する領域をパターンマッチングの対象から除外するマスキング処理を行ったマスキング処理後の前記基準画像との間でパターンマッチングにより前記検出対象の位置を検出する位置検出工程と、を含むことを特徴とする。
【0017】
発明では、あらかじめ回転画像と基準画像との差分値を算出し、この差分値に基づいてマスクパターンを生成する。そしてランタイムでは、検出対象画像、基準画像およびマスクパターンを用いて、パターンマッチングにより検出対象の位置を検出する。したがって、検出対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、その回転による影響を受けやすい部分であるマスクパターンの部分をパターンマッチングの対象から除外して、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現できる。
【0018】
また、マスクパターンが回転画像と基準画像との差分値に基づいて生成されるので、マスクパターンの領域が検出対象の回転に起因した部分に限定され、これにより、一定幅のマスクパターンを用いる場合に比べ、検出対象が回転方向の位置ずれを含まない場合における検出精度の低下を抑制できる。
【0028】
本発明のボンディング装置は、撮像手段と、前記撮像手段によって取得した画像を処理する画像処理部と、を備えるボンディング装置であって、前記画像処理部は、あらかじめ入力されている基準画像を前記撮像手段の視野領域で回転画像との相関値が最大となる最一致点の周りに複数の所定の角度だけ回転させた各回転画像と前記基準画像との各差分の各絶対値を算出し、該絶対値を前記撮像手段の視野領域の複数の所定の座標にそれぞれマッピングして各回転角度に対応する各相違画像を生成する相違画像生成手段と、前記各所定の座標における各相違画像の絶対値の最大値を選択し、前記各所定の座標における各相違画像の各差分の各最大絶対値とした最大値画像を生成し、生成した前記最大値画像を二値化処理し、所定の閾値以上の最大絶対値の各相違画像の前記所定の座標を選択し、その各所定座標のみを含む領域をマスクパターン画像として生成するマスクパターン生成手段と、前記撮像手段によって検出対象を撮像した検出対象画像と、前記基準画像の前記マスクパターン画像に対応する領域をパターンマッチングの対象から除外するマスキング処理を行ったマスキング処理後の前記基準画像との間でパターンマッチングにより前記検出対象の位置を検出する位置検出手段と、を含むことを特徴とする。
【0029】
【発明の実施の形態】
本発明の実施形態を以下に図面に従って説明する。図1は本発明の実施形態に係るワイヤボンダの概略構成を示す。図1において、XYテーブル1に搭載されたボンディングヘッド2には、ボンディングアーム3が設けられ、ボンディングアーム3の先端部にはツール4が取り付けられている。ボンディングアーム3はZ軸モータ(図示せず)により鉛直方向上下に駆動される。ボンディングアーム3の上方には、ワイヤWを保持するクランパ5が設けられており、ワイヤWの下端はツール4に挿通されている。本実施形態におけるツール4はキャピラリである。
【0030】
ボンディングヘッド2にはカメラアーム6が固定されており、カメラアーム6にはカメラ7が固定されている。カメラ7は、半導体チップ14a等が搭載された半導体デバイス14を撮像するものである。XYテーブル1は、その近傍に設置され2個のパルスモータ等からなるXYテーブル用モータ(図示せず)により、水平方向の互いに直交する座標軸方向であるX方向およびY方向に、正確に移動できるように構成されている。以上は周知の構造である。
【0031】
XYテーブル1は、マイクロプロセッサなどからなる制御部34の指令により、モータ駆動部30およびXYテーブル用モータを介して駆動される。カメラ7により撮像された画像は、変換されて電気信号である画像データとなり、画像処理部38により処理され、制御部34を経由して演算処理部37に入力される。演算処理部37では、後述する位置検出に係る演算を含む各種の演算が実行され、制御メモリ35では、そのような演算のためのプログラムやデータが一時的に保持される。制御部34には、手動入力手段33およびモニタ39が接続されている。手動入力手段33は、少なくともXY方向の方向指示機能と入力ボタンによるセット信号入力機能とを備えたマウス入力装置などのポインティングデバイス、および文字入力機能を備えた周知のキーボードが好適である。
【0032】
モニタ39は、CRTもしくは液晶表示装置などからなり、その表示画面には、カメラ7により撮像された画像や、関連する座標値・倍率などの数値、後述する各種の文字メッセージなどが、制御部34の出力に基づいて表示される。位置検出工程においては、表示画面には、図4に示すように、視野の中心を示すクロスマーク32と、このクロスマーク32を囲む視野内の領域を示すものとして表示・記憶される矩形のレチクルマーク42とが表示される。クロスマーク32における縦線と横線との交点は中心点32aである。
【0033】
データメモリ36は、データ読み出し・書き込み可能な周知のメモリやハードディスク装置などから構成される。データメモリ36の記憶領域にはデータライブラリ36aが格納されており、このデータライブラリ36aには、後述するテンプレート画像、相関値、相違画像、最大値画像などの過去の値やこれらの初期状態であるデフォルト値、および本装置の他の動作に用いられる各種の設定値が記憶されており、また制御部34からの信号により各種の設定値が後述のとおり記憶される。
【0034】
本実施形態では、まず新規の半導体デバイス14についての登録の処理として、アライメント点の登録と、各ボンディング点の登録とが行われ、次に、ランタイムにおける処理として、パターンマッチングを用いた位置検出が行われる。
【0035】
図2は、新規の半導体デバイス14についての登録の処理を示すフロー図である。まず、制御部34の出力によりXYテーブル1が駆動され、カメラ7が1stアライメント点となるべき点の近傍に移動される(S102)。この移動後にカメラ7によって取得される画像は図4に示すとおりである。
【0036】
次に、移動した姿勢におけるクロスマーク32の中心点32aの位置座標(Xp1,Yp1)が、制御部34の出力によりデータメモリ36に記憶される(S104)。なお、本実施形態では1stアライメント点A1として、パッドPの中心点を用いるが、視野の中心点である中心点32aに一致する点をアライメント点としてもよい。
【0037】
また、この位置で半導体デバイス14がカメラ7によって撮像され、電気信号に変換された画像データは、画像処理部38で処理され、基準画像としてデータメモリ36のデータライブラリ36aに記憶される(S106)。基準画像のうち、レチクルマーク42で囲まれる領域は、後述する位置検出の工程においてテンプレート画像として用いられる。図4において実線で、また図5および図6において一点鎖線で示される正立姿勢の画像が、基準画像に相当する。なお、本実施形態では理解の容易のため、正立姿勢の半導体デバイス14を撮像した画像を基準画像およびテンプレート画像として使用するが、本発明における基準画像やテンプレート画像における半導体デバイス14の姿勢は任意でよい。
【0038】
次に、演算処理部37において、基準画像を+Q°(度)だけ回転させる処理が行われる(S108)。この回転は任意の点を中心点としてよく、例えば基準画像における左上隅の点(図示せず)このような回転の処理の実行の結果として得られた画像を、以下「回転画像」という。図5および図6において、実線で描かれた傾斜した姿勢の画像が、回転画像である。
【0039】
次に、回転画像と基準画像とのパターンマッチングの処理として、回転画像における基準画像との最一致点が、正規化相関演算を利用して検索される(S110)。具体的には、次の数1において算出される回転画像と基準画像との相関値Rが、回転画像の領域内の各画素について、あるいは回転画像の領域内で離散的に設けられた各基準点について演算され、相関値Rが最大となる点が検索され前記最一致点として求まる。
【0040】
【数1】
Figure 0004571763
ここで、R:相関値、N:回転画像内の画素数、I:回転画像内の各位置の輝度値、M:回転画像の輝度値である。
【0041】
次に、このようにして求められた最一致点の座標(X1,Y1)について、検出対象画像とテンプレート画像との差分値(絶対値)が算出され、相違画像N1(x,y)として、データメモリ36に記憶される。具体的には、検出対象画像とテンプレート画像との間で画像間減算が行われ、その結果に絶対値処理(すなわち、画像間減算の結果が負であった場合にその符号を逆転する処理)が施される。そして、差分値の絶対値を各座標にマッピングした一組の相違画像N1(x,y)が作成される。図5においてハッチングで示された領域が、その位置(X1,Y1)についての相違画像N1(x,y)において値をもつことになる。
【0042】
次に、現在の回転角が、予め定められている最大回転角Mの範囲内かが判定され(S114)、肯定の場合には、ステップS108ないしS112の処理が繰り返し実行される。このようにして、例えば回転角0,+Q,+2Qの場合のそれぞれについて、相違画像Nn(x,y)がデータメモリ36に記憶される。
【0043】
現在の回転角が最大回転角Mに達した場合には、次に回転角が0°にリセットされ(S116)、ステップS118ないしS124において、基準画像を−Q°ずつ回転(図6)させながら同様の処理が行われ、例えば回転角−Q,−2Qの場合のそれぞれについて、相違画像Nn(x,y)がデータメモリ36に記憶される。現在の回転角が予め定められている最大回転角−Mを下回った場合には、ステップS126に移行する。
【0044】
ステップS126では、取得された全ての相違画像を、各座標についてOR処理することにより、最大値画像A(x,y)が生成される。すなわち、回転角度−2Q〜+2Qについて算出された相違画像Nn(x,y)において、各座標についての差分値の絶対値のうち最大値が選択され、その最大値を全ての座標について集めてなる新たな一組の最大値画像A(x,y)が生成される。図7においてハッチングで示された領域が、その位置(X1,Y1)についての最大値画像A(x,y)において値をもつことになる。
【0045】
次に、このようにして生成された最大値画像A(x,y)について、所定の閾値を用いて二値化処理(すなわち、例えば閾値を上回る点の値を1、下回る点の値を0に変換する処理)が施され、これにより最大値画像A(x,y)が、二値化画像B(x,y)に変換される(S128)。
【0046】
そして、このようにして得られた二値化画像が、マスクパターン画像として採用され、データメモリ36に記憶される(S130)。
【0047】
次に、1stアライメント点A1についての処理(S102ないしS130)と同様にして、2ndアライメント点A2(図示せず)について二値化画像が生成され、マスクパターン画像としてデータメモリ36に記憶される(S132)。
【0048】
次に、各ボンディング点の座標が登録される(S134)。この各ボンディング点の座標の登録は、1stアライメント点A1・2ndアライメント点A2として選択されたパッドP以外の、個々のパッドPやリードLについて、それらの適宜の位置、典型的には各パッドPやリードLの略中央の点に視野を移動させ、クロスマーク32の中心点32aを合わせて手動入力手段33の入力スイッチを押すなどして、各ボンディング点の座標をデータメモリ36に記憶させることによって行われる。なお、このようなマニュアル的な入力方法に代えて、各パッドPやリードLの略中央の点を画像処理により求め、これらの座標値をデータメモリ36に記憶することとしてもよい。以上が、新規の半導体デバイス14についての登録の際の処理である。
【0049】
ランタイムの処理は、図3に示すとおりである。まず、検出対象となる新たな半導体デバイス14を配置し、XYテーブル1を制御部34の出力によって動作させ、カメラ7の視野の中心点が1stアライメント点を登録した際の撮像点の位置(X1,Y1)と一致するように、カメラ7を移動させる(S202)。そして、この位置から、検出対象である半導体デバイス14をカメラ7で撮像することにより、検出対象画像が取得される。
【0050】
次に、検出対象画像においてマスクパターン画像に対応する領域をパターンマッチングの対象から除外する除外処理として、テンプレート画像に対するマスキング処理が行われる(S204)。このマスキング工程は、具体的には、1stアライメント点A1のテンプレート画像に対し、二値化画像において値が1をとる領域のデータを無効にすることによって行われる。
【0051】
次に、検出対象画像と、マスキング処理が施されたテンプレート画像とのパターンマッチングの処理として、検出対象におけるテンプレート画像との最一致点が、正規化相関演算を利用して検索される(S206)。この演算は、上記数1と同様の正規化相関の式によって行われ、検出対象画像とテンプレート画像との相関値Rが、検出対象画像の領域内の各画素について、あるいは検出対象画像の領域内で離散的に設けられた各基準点について演算され、相関値Rが最大となる点が検索される。
【0052】
次に、求められた最一致点、つまり検出対象画像と基準画像との一致量が最大となる相対位置で、テンプレート画像を検出対象画像と重ね合わせ、その姿勢におけるクロスマーク32の中心点32aの位置座標と、先に基準画像を登録した際のクロスマーク32の中心点の位置である撮像点の座標(X1,Y1)との間の位置ずれ量を求め、データメモリ36に記憶する(S208)。
【0053】
次に、2ndアライメント点A2についても、ステップS202ないしS208で1stアライメント点A1について行ったものと同様の処理を実行し(S212〜S216)、得られた位置ずれ量を、撮像時の半導体チップ14aにおけるアライメント点に対する、新たな半導体デバイス14におけるアライメント点A2の位置ずれ量として、データメモリ36に記憶する。
【0054】
次に、先にステップS126で登録されている各ボンディング点の座標に基づき、1stアライメント点A1および2ndアライメント点A2に対する相対位置を守った形で、新たな半導体デバイス14における1stアライメント点A1および2ndアライメント点A2の位置から各パッドP、リードLの位置を計算により求め出して(位置補正)、実ボンディング点を求める(S218)。
【0055】
そして、この実ボンディング点に対してボンディング動作を実行する(S220)。具体的には、制御部34の出力によりXYテーブル1を駆動してツール4を各実ボンディング点に移動してボンディングを行う。
【0056】
以上のとおり、本実施形態では、あらかじめ回転画像と基準画像との差分値を算出し(S112,S122)、この差分値に基づいてマスクパターン画像を生成する(S130)。そしてランタイムでは、検出対象画像、基準画像およびマスクパターン画像を用いて、パターンマッチングにより検出対象の位置を検出する(S206,S214)。したがって、検出対象が回転方向の位置ずれを含んだ姿勢で配置されている場合にも、その回転による影響を受けやすい部分であるマスクパターン画像の部分をパターンマッチングの対象から除外することにより、演算量が膨大となりがちな回転方向のパターンマッチングを行うことなく、高精度の位置検出を実現できる。
【0057】
また、マスクパターン画像の使用により、一致量としての相関値の低下を抑制できるので、相関値が所定の閾値を下回ることによる検出不能が生じる頻度を減少させ、検出対象の回転方向の位置ずれの限界を、従来の±5°を越えて拡張することも可能となる。
【0058】
また本実施形態では、マスクパターン画像が回転画像と基準画像との差分値に基づいて生成されるので、マスクパターン画像の領域が検出対象の回転に起因した部分に限定され、これにより、一定幅のマスクパターンを用いる場合に比べ、検出対象が回転方向の位置ずれを含まない場合における検出精度の低下を抑制できる。
【0059】
また本実施形態では、回転画像と基準画像との一致量が最大となる両者の相対位置において(S110,S120)、差分値の算出(S112,S122)が実行されることとしたので、検出対象の回転がパターンマッチングに与える影響を良く抽出できる。
【0060】
また本実施形態では、ステップS112・S122における差分値の算出が、互いに異なる複数の回転角度について(S108・S114,S118・S124)実行されると共に、マスクパターンの生成では、前記複数の回転角度について算出された前記基準点についての差分値の絶対値のうち最大値を当該基準点についての評価値として含んだ最大値画像A(x,y)を生成することとしたので(S126)、ある位置についていずれかの回転角度で差分値が大きければその位置をマスクパターンに含めることができる。したがって、複数の回転角度にわたる差分値を反映した共通のマスクパターンを生成でき、位置検出工程を単純化して作業効率を向上できる。
【0061】
また本実施形態では、最大値画像A(x,y)における各差分値を所定の閾値と比較し、閾値を上回った値を選択することでマスクパターン画像を生成することとしたので(S128)、簡易な方法によりマスクパターン画像を得ることができる。
【0062】
また本実施形態では、テンプレート画像に対するマスキング処理を行うことにより(S204,S212)、検出対象画像においてマスクパターン画像に対応する領域をパターンマッチングの対象から除外することとしたので、マスクパターンを利用した演算を簡潔に実行できる。
【0063】
なお、本実施形態では、マスクパターン画像に対応する領域を、パターンマッチングの対象から除外することとしたが、このような構成に代えて、一致量(本実施形態における相関値に相当)の算出にあたり、マスクパターン画像に対応する領域を、差分値の大きさや最大値の大きさに応じて低く重み付けする構成としてもよい。これは例えば、マスクパターン画像に対応する画素について、パターンマッチング時の相関値から差分値(絶対値)に応じた値を減じたり、相関値を差分値(絶対値)に応じた値で割るなどにより、相関値を多段階的あるいは無段階的に、小さく重みづけすることで実行できる。
【0064】
また本実施形態では、回転画像と基準画像との一致量が最大となる両者の相対位置において(S110,S120)、差分値の算出(S112,S122)が実行される構成としたが、このような構成に代えて、回転画像と基準画像との一致量が最大となる両者の相対位置からの所定範囲内の相対位置関係において、差分値の算出が実行される構成としてもよく、本発明による効果を相当程度に得ることができる。
【0065】
また本実施形態では、複数の回転角度について算出された差分値の絶対値のうち最大値を、当該基準点(位置座標)についての評価値として含んだ最大値画像A(x,y)を生成することとしたが(S126)、このような構成に代えて、差分値の絶対値の最大値から所定範囲内にある値を採用して、これによりマスクパターン画像を生成することとしてもよく、本発明による効果を相当程度に得ることができる。
【0066】
なお、上記実施形態では、基準画像と回転画像との一致量、あるいは基準画像と入力された画像との一致量を評価する指標として、相関値を用いたが、このような構成は例示にすぎず、本発明における一致量としては、一致する度合いを評価するための他の種々の公知の方法を採用でき、例えば残差を用いる方法でもよい。また、2値画像同士の一致量を評価する場合には、値の一致するピクセルを1、一致しないピクセルを0とカウントする方法によるカウント値を、一致量として用いることができる。
【0067】
また、上記各実施形態では、パッドPを利用してアライメント点を算出することとしたが、アライメント点がパッドPを利用して定められることは必須でなく、半導体デバイス14に現れる検出可能なユニークな形状であれば他のパターン、とくに半導体チップ14aの一部の形状や、複数のパターンのユニークな配列、もしくはそれらの組み合わせを利用することも可能である。また、上記各実施形態では、主としてパッドPにおけるボンディング点を算出する工程について説明したが、同様の工程をリードLやその他の部材におけるボンディング点の算出において実行することも、勿論可能である。また、上記各実施形態ではアライメント点の個数を2個としたが、3個以上のアライメント点を用いる構成の装置に本発明を適用することも可能である。
【0068】
また、上記各実施形態では本発明をワイヤボンディング装置に適用した例について説明したが、本発明は他の種類の半導体製造装置や、パターンマッチングを用いた他の装置における位置検出について広く適用でき、かかる構成も本発明の範疇に属するものである。
【図面の簡単な説明】
【図1】本発明の実施形態に係るボンディング装置の概略構成を示すブロック図である。
【図2】新規半導体デバイスの登録処理の一例を示すフロー図である。
【図3】ランタイムの処理の一例を示すフロー図である。
【図4】基準画像を示す説明図である。
【図5】回転画像(正方向)に対するパターンマッチングの工程を示す説明図である。
【図6】回転画像(逆方向)に対するパターンマッチングの工程を示す説明図である。
【図7】最大値画像を示す要部拡大図である。
【図8】従来におけるアライメント点の設定工程を示す説明図である。
【図9】従来における検出対象画像と基準画像とのパターンマッチングの工程を示す説明図である。
【図10】従来の方法における位置検出誤差の発生原因を示す説明図である。
【符号の説明】
1 XYテーブル
2 ボンディングヘッド
4 ツール
5 クランパ
7 カメラ
14 半導体デバイス
14a 半導体チップ
32 クロスマーク
32a 中心点
33 手動入力手段
34 制御部
36 データメモリ
36a データライブラリ
37 演算処理部
38 画像処理部
39 モニタ
42 レチクルマーク
A(x,y) 最大値画像
A0,A1,A2,Am アライメント点
L パッド
P パッド
W ワイヤ

Claims (2)

  1. 撮像手段を備えるボンディング装置の画像処理方法であって、
    あらかじめ入力されている基準画像を前記撮像手段の視野領域で回転画像との相関値が最大となる最一致点の周りに複数の所定の角度だけ回転させた回転画像と前記基準画像との差分の各絶対を算し、該絶対値を前記撮像手段の視野領域の複数の所定の座標にそれぞれマッピングして各回転角度に対応する各相違画像を生成する相違画像生成工程と
    前記各所定の座標における各相違画像の絶対値の最大値を選択し、前記各所定の座標における各相違画像の各差分の各最大絶対値とした最大値画像を生成し、生成した前記最大値画像を二値化処理し、所定の閾値以上の最大絶対値の各相違画像の前記所定の座標を選択し、その各所定座標のみを含む領域をマスクパターン画像として生成するマスクパターン生成工程と、
    前記撮像手段によって検出対象を撮像した検出対象画像、前記基準画像の前記マスクパターン画像に対応する領域をパターンマッチングの対象から除外するマスキング処理を行ったマスキング処理後の前記基準画像との間でパターンマッチングにより前記検出対象の位置を検出する位置検出工程と、
    を含むことを特徴とする画像処理方法。
  2. 撮像手段と、
    前記撮像手段によって取得した画像を処理する画像処理部と、を備えるボンディング装置であって、
    前記画像処理部は、
    あらかじめ入力されている基準画像を前記撮像手段の視野領域で回転画像との相関値が最大となる最一致点の周りに複数の所定の角度だけ回転させた各回転画像と前記基準画像との各差分の各絶対値を算出し、該絶対値を前記撮像手段の視野領域の複数の所定の座標にそれぞれマッピングして各回転角度に対応する各相違画像を生成する相違画像生成手段と、
    前記各所定の座標における各相違画像の絶対値の最大値を選択し、前記各所定の座標における各相違画像の各差分の各最大絶対値とした最大値画像を生成し、生成した前記最大値画像を二値化処理し、所定の閾値以上の最大絶対値の各相違画像の前記所定の座標を選択し、その各所定座標のみを含む領域をマスクパターン画像として生成するマスクパターン生成手段と、
    前記撮像手段によって検出対象を撮像した検出対象画像と、前記基準画像の前記マスクパターン画像に対応する領域をパターンマッチングの対象から除外するマスキング処理を行ったマスキング処理後の前記基準画像との間でパターンマッチングにより前記検出対象の位置を検出する位置検出手段と、
    を含むことを特徴とするボンディング装置。
JP2001218157A 2001-07-18 2001-07-18 画像処理装置、およびボンディング装置 Expired - Fee Related JP4571763B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001218157A JP4571763B2 (ja) 2001-07-18 2001-07-18 画像処理装置、およびボンディング装置
TW91113734A TWI237683B (en) 2001-07-18 2002-06-24 Image processing method, image processor and bonding device
KR10-2002-0041521A KR100478568B1 (ko) 2001-07-18 2002-07-16 화상처리방법, 동장치, 및 본딩장치
US10/196,879 US7013039B2 (en) 2001-07-18 2002-07-16 Image processing method, an image processing device and a bonding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001218157A JP4571763B2 (ja) 2001-07-18 2001-07-18 画像処理装置、およびボンディング装置

Publications (2)

Publication Number Publication Date
JP2003030653A JP2003030653A (ja) 2003-01-31
JP4571763B2 true JP4571763B2 (ja) 2010-10-27

Family

ID=19052380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001218157A Expired - Fee Related JP4571763B2 (ja) 2001-07-18 2001-07-18 画像処理装置、およびボンディング装置

Country Status (4)

Country Link
US (1) US7013039B2 (ja)
JP (1) JP4571763B2 (ja)
KR (1) KR100478568B1 (ja)
TW (1) TWI237683B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3886471B2 (ja) * 2003-05-20 2007-02-28 ファナック株式会社 画像処理装置
JP4088232B2 (ja) * 2003-10-07 2008-05-21 株式会社新川 ボンディング方法、ボンディング装置及びボンディングプログラム
JP4154374B2 (ja) * 2004-08-25 2008-09-24 株式会社日立ハイテクノロジーズ パターンマッチング装置及びそれを用いた走査型電子顕微鏡
US7697016B2 (en) * 2004-09-30 2010-04-13 Sharp Kabushiki Kaisha Image display device, image display method, image display program, and computer-readable storage medium
US20060098844A1 (en) * 2004-11-05 2006-05-11 Huitao Luo Object detection utilizing a rotated version of an image
US7650029B2 (en) * 2004-11-23 2010-01-19 Hewlett-Packard Development Company, L.P. Multiple layer alignment sensing
US7679025B1 (en) * 2005-02-04 2010-03-16 Mahadevan Krishnan Dense plasma focus apparatus
CN102621053B (zh) * 2005-09-21 2015-05-06 卢米尼克斯股份有限公司 图像数据处理的方法和系统
JP5100145B2 (ja) 2006-06-20 2012-12-19 株式会社東芝 磁気共鳴イメージング装置
US8411896B2 (en) * 2006-12-21 2013-04-02 Cypress Envirosystems, Inc. Gauge reading device and system
JP2008252080A (ja) * 2007-03-08 2008-10-16 Shinkawa Ltd ボンディング部の圧着ボール検出方法及び圧着ボール検出装置
US8594365B2 (en) * 2008-01-30 2013-11-26 Cypress Envirosystems, Inc. Gauge monitoring methods, devices and systems
JP4993614B2 (ja) * 2008-02-29 2012-08-08 東京エレクトロン株式会社 搬送手段のティーチング方法、記憶媒体及び基板処理装置
JP2010189130A (ja) * 2009-02-18 2010-09-02 Nippon Yusoki Co Ltd フォークリフトの荷役支援装置
US8463074B2 (en) * 2009-11-11 2013-06-11 General Dynamics Advanced Information Systems System and method for rotating images
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
DE102011077296B4 (de) * 2011-06-09 2020-12-10 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zur Bestimmung der relativen Lage einer ersten Struktur zu einer zweiten Struktur oder eines Teiles davon
JP5164230B1 (ja) * 2011-09-28 2013-03-21 株式会社カイジョー ボンディング装置
AU2012326198B2 (en) 2011-10-18 2014-12-11 Luminex Corporation Methods and systems for image data processing
US10460439B1 (en) 2015-08-12 2019-10-29 Cireca Theranostics, Llc Methods and systems for identifying cellular subtypes in an image of a biological specimen
WO2018158903A1 (ja) * 2017-03-02 2018-09-07 三菱電機株式会社 重畳位置補正装置及び重畳位置補正方法
CN108986167B (zh) * 2017-06-05 2022-01-11 梭特科技股份有限公司 置晶设备的校正方法及使用该方法的置晶设备
WO2019010432A1 (en) 2017-07-06 2019-01-10 Compagnie Generale Des Etablissements Michelin NON-PNEUMATIC WHEEL
CN114486181B (zh) * 2020-11-13 2024-03-01 深圳中科飞测科技股份有限公司 半导体检测设备的调试件及半导体检测设备的调试方法
CN113459644B (zh) * 2021-06-25 2023-02-10 合肥维信诺科技有限公司 矫正装置
CN116469175B (zh) * 2023-06-20 2023-08-29 青岛黄海学院 一种幼儿教育可视化互动方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592330A (ja) * 1982-06-28 1984-01-07 Fujitsu Ltd パタ−ンマツチング方法及びその装置
JPH08315147A (ja) * 1995-05-18 1996-11-29 Sanyo Electric Co Ltd テンプレートマッチング方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02148180A (ja) 1988-11-29 1990-06-07 Nippon Seiko Kk パターン検査方法及び装置
JP2835262B2 (ja) 1993-06-18 1998-12-14 アジアエレクトロニクス株式会社 画像処理システム
JPH09102039A (ja) 1995-10-05 1997-04-15 Nippon Steel Corp テンプレートマッチング方法
US5754679A (en) * 1995-10-31 1998-05-19 Cognex Corp. Image rotating method for locating bond pads in an image
US6185343B1 (en) * 1997-01-17 2001-02-06 Matsushita Electric Works, Ltd. Position detection system and method
JP2002319028A (ja) * 2001-04-20 2002-10-31 Shinkawa Ltd 画像処理方法、同装置、およびボンディング装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592330A (ja) * 1982-06-28 1984-01-07 Fujitsu Ltd パタ−ンマツチング方法及びその装置
JPH08315147A (ja) * 1995-05-18 1996-11-29 Sanyo Electric Co Ltd テンプレートマッチング方法

Also Published As

Publication number Publication date
KR20030009166A (ko) 2003-01-29
JP2003030653A (ja) 2003-01-31
US20030016860A1 (en) 2003-01-23
US7013039B2 (en) 2006-03-14
TWI237683B (en) 2005-08-11
KR100478568B1 (ko) 2005-03-28

Similar Documents

Publication Publication Date Title
JP4571763B2 (ja) 画像処理装置、およびボンディング装置
JP4446609B2 (ja) 画像処理方法および装置
US7324684B2 (en) Bonding apparatus
JP3522280B2 (ja) ボールボンド検査システム用の方法および装置
US7324683B2 (en) Bonding pattern discrimination device
US6917699B2 (en) Image processing method, an image processing device and a bonding apparatus
CN110487189B (zh) 平坦度检测方法、平坦度检测装置及存储介质
US6711304B2 (en) Method and apparatus for measuring angular rotation of an object
JP3545542B2 (ja) ウェハの回転方向検出方法
TWI732506B (zh) 線形狀測量裝置、線三維圖像產生方法以及線形狀測量方法
JP2963328B2 (ja) 半導体ウェハのウェハマップ作成方法及び作成装置
JP2003156311A (ja) アライメントマークの検出、登録方法及び装置
JP2002190021A (ja) 位置検出装置および方法
JP2012255826A (ja) Fpd実装装置および位置合わせ画像検出方法
JPH10117100A (ja) 部品の位置検出方法
JP2003035523A (ja) 部品形状検査方法、及び部品形状検査装置
JPH04225300A (ja) 画像位置決め方法
JP2002221404A (ja) 画像処理方法および装置
JPH05280930A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070816

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees