JP3856911B2 - Lead width detector - Google Patents

Lead width detector Download PDF

Info

Publication number
JP3856911B2
JP3856911B2 JP18746797A JP18746797A JP3856911B2 JP 3856911 B2 JP3856911 B2 JP 3856911B2 JP 18746797 A JP18746797 A JP 18746797A JP 18746797 A JP18746797 A JP 18746797A JP 3856911 B2 JP3856911 B2 JP 3856911B2
Authority
JP
Japan
Prior art keywords
lead
data
video memory
width
imaged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18746797A
Other languages
Japanese (ja)
Other versions
JPH1126497A (en
Inventor
雄三 市山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaijo Corp
Original Assignee
Kaijo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaijo Corp filed Critical Kaijo Corp
Priority to JP18746797A priority Critical patent/JP3856911B2/en
Publication of JPH1126497A publication Critical patent/JPH1126497A/en
Application granted granted Critical
Publication of JP3856911B2 publication Critical patent/JP3856911B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Wire Bonding (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はリード幅検出装置に関し、特に、半導体チップをマウントするリードフレーム上での半導体チップの位置ずれを、リードフレーム上に配設したリードのうちの平行配列して成る外部接続部分のアウターリードを対象として撮像カメラで俯瞰的に撮像する撮像装置の取得した画像に基づいて検出し、半導体チップの正しい位置整合を確保して、半導体チップのリードに対する正しい配線処理としてのワイヤボンディング処理を可能とする画像処理装置付きワイヤボンダにおける位置決めのためのリード幅検出処理の著しい簡素化を図ったリード幅検出装置に関する。
【0002】
【従来の技術】
半導体チップを正しくリードフレームに対して位置決めしてマウントし、配線処理としてのワイヤボンディングを行うワイヤボンダは近時よく知られている。このワイヤボンダに対し、CCDカメラ等の撮像センサを利用する撮像装置を利用する画像処理装置を併設し、リードフレーム上にマウントしたIC等の半導体チップを含む対象を俯瞰的に撮像し、半導体チップのリードフレームに対する相対的な位置ずれを、リードのうちの平行配列して外部と接続する部分、いわゆるアウターリードを対象としたリードのリード幅検出に基づいて検出し、位置ずれのある場合は、位置ずれ量を補正するための位置合わせ操作を自動化してボンディングを行う、いわゆるフルオートボンダと称するボンダも近時半導体製造分野において多用されている。
【0003】
このようなフルオートボンダに備えられる画像処理装置は、ワイヤボンダの位置決め機構における良否判断の視覚装置としての役割を分担し、半導体チップの小型化、多ピン化に伴って機能も多岐化されている。
【0004】
図5は、従来のリード幅検出装置の構成を示すブロック図である。図5に示すリード幅検出装置は、撮像センサ、例えばCCDカメラにより撮像対象を俯瞰的に撮像する撮像装置1と、撮像装置1の出力するリード(アウターリード)の画像を、基準サンプリングクロックによってリード幅検出を行う大きさの画素単位でサンプリングしてディジタル化するA/D変換器2、A/D変換器2から出力されるデータ列の入力を、あらかじめ設定した基準レベル301との比較によって二値化したシリアル信号を出力する比較器3と、比較器3が出力する2値化シリアル信号を、ビデオメモリ5の水平方向におけるデータ配列ビット幅としてのデータバスビット幅単位のビット数分のパラレル信号に基準サンプリングクロックに同期して変換し出力するシリアル/パラレル変換器としてのシフトレジスタ4と、撮像画像の1フレーム分の2値化画像を更新しつつ水平方向、垂直方向それぞれ所定の配列ビット数で格納するビデオメモリ5と、制御プログラムを内蔵し、ビデオメモリ5の格納データに基づいてリード幅検出を行うとともにシステム全体の動作を制御するCPU6と、CPU6の制御の下に装置全体の制御タイミングを制御する制御タイミング信号を生成するタイミング信号発生部7と、ビデオメモリ5に2値化画像データ格納のための規定されたエリアを確保し、確保したエリアの含むアドレスの座標をアドレス信号として出力するビデオメモリ座標出力部8とを備える。
【0005】
撮像装置1は、CCDカメラにより、ボンディングすべき半導体チップとリード並びにリードフレームを含む撮像対象を俯瞰的に撮像し、平行配列したアウターリードの撮像データをA/D変換器2に送出する。この場合、撮像装置1の撮像タイミングは、CPU6の制御の下に動作するタイミング信号発生部7の送出するタイミング信号によって制御される。
【0006】
A/D変換器2は、A/D変換器2の出力を基準レベル301と比較して2値化し、シリアルデータのビット列としてシフトレジスタ4に送出する。
シフトレジスタ4は、入力したシリアルデータを、ビデオメモリ5の列方向(水平方向)の配列ビット数としてのデータバスビット幅単位のパラレルデータとしてビデオメモリ5に送出する。こうして提供されるパラレルデータは、CPU6の制御の下に、ビデオメモリ座標出力部8の出力するアドレスの指定に伴ってビデオメモリ5に格納される。
【0007】
CPU6は、ビデオメモリ5から読み出したリード幅検出に必要な検出対象データを利用し、内蔵プログラムに基づいてリード幅を算出し、この算出データからボンディングすべきリードと半導体チップ間のあるべき状態からの位置ずれを求め、この位置ずれデータを、図示しない位置修正装置に送出し、リードフレームの半導体パッケージに対する相対位置をあるべき状態に整合せしめ、その後はボンディングの自動処理を行わしめる。
【0008】
図6は、従来のリード幅検出動作の説明図であり、図6の(a)は水平方向に撮像されたリードに対するリード幅検出例を、また図6の(b)は垂直方向に撮像されたリードに対するリード幅検出例を示す。
【0009】
図6の(a)には、水平方向撮像のリード101aと、図5のビデオメモリ5上の格納領域の水平方向の配列ビット数を表現するデータバスビット幅103と、データバスビット幅103からリード幅検出処理のために抽出する検出対象列102a及び斜線で示す画素対応の8個の検出対象データ102bと、検出対象データ102bの読出しのために必要となる全読出しデータとしての読出しデータ104とを示している。尚、検出対象データ102bとしては、この場合は、読出しデータ104として読み出されるピクセルP1からピクセルP2までの8ピクセル(pixel,画素)分を含むが、これらのうちピクセルP1とP2とに関するデータは、それぞれリード幅検出のために必要な実データのエッジ(edge,端部)に関する情報を提供するものである。
尚、ビット幅検出の対象とする検出対象列102aをデータバスビット幅103の含むいずれの画素列とするかは、あらかじめ設定される。
【0010】
また、図6の(b)には、垂直方向に撮像されたリード101bと、ビデオメモリ5のデータバスビット幅に対応する記憶領域からビット幅抽出のために利用する検出対象行105aと、検出対象行105aの含む画素域としてのピクセルQ1からQ2までの8個のピクセル対応の検出対象データ105bとを示し、尚CPU6によるリード幅検出処理に必要な全読出しデータとしての読出しデータ107を併記して示す。
尚、検出対象行をいずれの行とするかは、あらかじめ設定される。
【0011】
従来のリード幅検出装置は、ビデオメモリ5に格納された2値化画像データが、CPU6の制御の下に、水平方向に撮像された図6の(a)の場合は垂直方向の、また垂直方向に撮像された図6の(b)の場合は水平方向のリードエッジがそれぞれピクセルP1,P2及びQ1,Q2を介して検出され、リード幅の検出と、リード幅検出における探索方向上のリード中心点とが検出され、これにより基準中心軸Lとのずれも決定されて、これらの情報は図示しない位置修正装置に提供され自動的な位置整合に供される。
【0012】
【発明が解決しようとする課題】
上述した従来のリード幅検出装置には、しかしながら次のような問題点がある。即ち、図6の(a)に示すように水平方向に撮像されたリードのリード幅検出処理の場合には、図5に示すCPU6が、ビデオメモリ5からのデータ読出しを、読出しデータ104だけ、即ち、検出対象列102aのリード幅に対応する回数だけ行うことが必要となるので多大の処理時間を必要とする問題点がある。
【0013】
これを、図6の(b)に示すように、垂直方向に撮像されたリードのリード幅検出処理の場合と比較すると、CPU6はビデオメモリ5からのデータ読出しを、検出対象行105aに対応する連続ビットデータとしての読出しデータ107だけで済ますことができ、この場合は、1回のみで済ますことができるので処理時間が著しく少なくて済む。
【0014】
さらに詳しく言えば、水平方向に撮像されたリードのリード幅検出、即ち垂直方向のリード幅検出処理を行う場合には、検出対象列102aの画像情報をビデオメモリ5から、必要なリード幅に対応する回数だけ読み出す必要があった。
【0015】
これは、図6の(b)に示すように、初期の画像上で垂直方向に撮像されるリード101bの水平方向のリード幅を検出する場合のビデオメモリ5からのデータ読出し回数が、リード幅がビデオメモリ5のデータバスビット幅より少ない場合には1回で、多い場合でも(リード幅/データバスビット幅)回で完了するのに比較し、初期の画像上で水平方向に撮像されるリード101aの垂直方向のリード幅を検出する場合には、〈リード幅/ピクセル幅+2回(エッジピクセル分)〉のビデオメモリ5からのデータ読出し回数が必要となり、読出し回数が増えて検出処理が終了するまでの時間を多く要するため高速処理という要求を満たすことができなかったという問題点があった。
【0016】
本発明の目的は、上述した問題点を解決し初期に水平方向に撮像されたリードを対象とするリード幅検出時間を著しく短縮しうるリード幅検出装置を提供することにある。即ち、リードフレームに配設したリードのうちの並行配列して成るアウターリードのリード幅検出に基づいて、リードフレームに対する半導体チップの相対的位置に位置ずれが生じた場合に、リードの中心線と、あるべき中心線とのずれを検出し、この検出データに基づいて半導体チップのリードフレームに対する正しい位置整合を確保せしめて正しいワイヤボンディングを行うことを可能ならしめるリード幅検出装置を提供することにある。
【0017】
【課題を解決するための手段】
上述した目的を達成するため、本発明は次の構成を有する。
即ち、本発明の装置は、マウントした半導体チップの電極と自動ボンティングによって配線すべきリードを配設した方形のリードフレームを撮像装置によって俯瞰的に撮像し、リードフレームに平行配列して成る外部接続部分としてのアウターリードを対象とするリードの撮像データの2値化画像データを格納したフレームメモリとしての第1のビデオメモリから前記リードの幅を検出するに必要なデータを読み出して求めたリード幅に基づいて自動ボンディングに必要な半導体チップとリードとの位置整合を確保せしめるリード幅検出装置において、前記ビデオメモリに格納した2値化画像データの配列方向を90度右回転した90度変換2値化画像データを格納した前記第1のビデオメモリと同じ記憶領域を有する第2のビデオメモリを備え、水平方向に撮像された前記リードの幅を検出するに必要な検出対象データを前記第2のビデオメモリから読み出して、水平方向に撮像された前記リードを実効的に垂直方向に撮像された前記リードと同様に取り扱うことを可能ならしめることにより、リード幅検出に必要な検出対象データの読出し回数を、水平方向に撮像された前記リードのリード幅検出と同様に削減することを可能ならしめる読出し回数抑圧手段を備えた構成を有する。
【0018】
また、本発明の装置は、前記読出し回数抑圧手段が、前記第2のビデオメモリの水平方向の配列ビット数の記憶容量を有するラインメモリを、前記ビデオメモリの垂直方向の配列ビット数に等しいn個として並列に配設し、前記n個のラインメモリに前記2値化画像データを先行データから順次前記第2のビデオメモリの水平方向の配列ビット数分ずつ格納せしめて成る1フレーム分の格納データを、前記n個のラインメモリから並列かつ同時に時系列順に1ビットずつ読み出し、これを前記第2のビデオメモリに読出し順に書き込むことにより前記90度変換2値化画像データを生成する構成を備える。
【0019】
【発明の実施の形態】
半導体チップをリードフレームにマウントし、半導体チップの電極とリードフレームのリードとをワイヤボンディング(配線接続)するボンダに、半導体チップとリードフレームとの位置ずれを検出する撮像装置を併設して位置合わせを自動化する、画像処理装置付きワイヤボンダにおけるリード幅検出装置は、リードのうちの並行配列してなるアウターリードのリード幅検出に基づいてリードの中心線とあるべき基準線との差を検出し、この検出データに基づいて半導体チップとリードフレームとの位置ずれを検出し、両者の位置整合を位置修正装置により自動的に行わしめている。
【0020】
リード幅検出装置は、CCDカメラ等の撮像センサを利用する撮像装置で俯瞰的に撮像したリードの画像データを利用してリード幅を検出しているが、撮像装置で取得して2値化した画像データは、フレームごとに更新しつつビデオメモリに一旦格納され、これを読み出してリード幅検出に利用される。
【0021】
この場合、問題となるのがリードの初期画像が水平方向に撮像(描画)されているか垂直方向に撮像されているかによって、ビデオメモリからのデータの読出し回数に著しい差があり、水平方向に撮像されている場合の読出し回数は垂直方向に撮像されている場合に比して処理量が著しく増大することが避けられないということである。
【0022】
本発明では、初期画像に対する90度の画像変換を行った画像データを利用して、水平方向に撮像されたリードのリード幅検出処理を行うことにより、上述した問題点を回避できることに着目し、2値化した画像データの配列変換に基づく90度の画像変換を実現している。
【0023】
図1に示すビデオメモリ5aと、CPU6aと、タイミング信号発生部7aと、ビデオメモリ座標出力部8aと、ラインメモリ座標出力部9と、n個のラインメモリ10a,10b,……,10nとが、主として90度の画像変換に必要な配列変換を行うための構成であり、ラインメモリ10a,10b,……,10nは、それぞれビデオメモリ5aの列方向(水平方向)の配列ビット数としてのデータバスビット幅の配列ビット数に等しい記憶容量を有するラインメモリであり、且つ行方向(垂直方向)の配列ビット数に等しい段数n段を有し、それぞれのラインメモリのビデオメモリ5a上における座標はラインメモリ座標出力部9から与えられ、CPU6aの制御の下に、ビデオメモリ座標出力部8aの座標指定によりビデオメモリ5aに格納され、データの配列変換に基づく実効的な画像の90度変換を行っている。
【0024】
こうして、ビデオメモリ5の読出しデータは垂直方向に撮像されたリードのリード幅検出のための検出対象データに利用し、ビデオメモリ5の読出しデータは水平方向に撮像されたリードのリード幅検出のための検出対象データに利用し、水平方向及び垂直方向何れの撮像リードに対してもリード幅検出のためのビデオメモリの読出し回数を垂直方向並みに抑圧することを可能ならしめている。
尚、ビデオメモリ5と5aとの何れから読み出すかは、CPU6aの内蔵プログラムの制御の下に入力データに対応して決定される。
【0025】
【実施例】
次に、図面を参照して本発明を詳細に説明する。
図1は、本発明の一実施例の構成を示すブロック図である。図1に示す実施例の構成は、図5に示す従来例と同じ撮像装置1と、A/D変換器2と、比較器3と、シフトレジスタ4と、ビデオメモリ5と、ビデオメモリ座標出力部8のほか、本発明に直接かかわり、読出し回数抑圧手段を構成するビデオメモリ5aと、CPU6aと、タイミング信号発生部7aと、ビデオメモリ座標出力部8aと、ラインメモリ座標出力部9と、ラインメモリ10a,10b,……10nとを備える。
【0026】
次に、本実施例の動作について説明する。
撮像装置1で取得したリードの画像データは、A/D変換器2により、且つタイミング信号発生部7aの出力するタイミング信号の制御タイミングで、基準サンプリングクロックによってリード幅検出を行う大きさの画素単位でサンプリングしてディジタル化される。
【0027】
比較器3は、A/D変換器2の出力するディジタルデータを基準レベル301と比較して2値化し、2値化画像データとして送出する。シフトレジスタ4は、2値化画像データのシリアル/パラレル変換を行い、ビデオメモリ5のデータバスビット幅(水平方向の配列ビット数)単位のビット数構成のパラレルデータに基準サンプリングクロックに同期して変換し、その変換データはシステム全体の動作を制御するCPU6aの制御の下にビデオメモリ5に格納される。
【0028】
ビデオメモリ5には、初期の2値化画像データがデータバスビット幅、且つ垂直方向には配列ビット数nの配列状態の1フレーム単位で格納される。一方、ビデオメモリ5aには、初期の2値化画像データを90度配列変換した90度変換2値化画像データが次のようにして、ビデオメモリ5の格納と同時に格納される。尚、これら2つのビデオメモリ5と5aはそれぞれ、ビデオメモリ座標出力部8と8aとによってエリアの設定とその座標指定とが行われる。
【0029】
比較器3の出力するシリアル形式の初期の2値化画像データは、それぞれデータバスビット幅分の記憶容量を有するn個のラインメモリ10a,10b,……,10nに順次格納され、1フレームのデータのうちの先頭データ列はラインメモリ10nに、また末尾データ列はラインメモリ10aに格納され、こうしてn個のラインメモリに格納された2値化画像データは、CPU6aの制御の下にビデオメモリ座標出力部8aの指定するアドレスによってビデオメモリ5aに格納され、結果としてビデオメモリ5a上には、初期の2値化画像データを90度回転した画像が格納されることとなる。
【0030】
図2は、図1の実施例における2値化画像データの90度配列変換動作の説明図である。図2の(a)は、初期2値化画像データ配列11を示し、水平方向配列数(データバスビット幅)が、aaからapまでとして表現する16ピクセル、垂直方向配列数も同じく16ピクセルのaaからpaまでの場合を例としている。符号aa〜ppは、対応ピクセル識別のために便宜的に付与したものであり、これらの符号で表現されるピクセルは、それぞれ2値の論理値1、もしくは0で示される。
【0031】
図2の(b)は、ラインメモリデータ配列12を示す。ラインメモリデータ配列12は、n個、本実施例では図2の(a)に示す垂直方向配列数に等しい数のn=16個のラインメモリ10a〜10nに格納される16個のデータ列であるラインメモリ10aの配列〜ラインメモリ10nの配列を表記したものであり、最上行はラインメモリ10nのデータ配列で、以下ラインメモリ10aの配列までそれぞれ先行データ順に格納されていることを示す。ラインメモリデータ配列12は、初期2値化画像データ配列11と同じ1フレーム分のデータである。
【0032】
ラインメモリデータ配列12は、矢印121で示す列のaa,ba,……paから順次矢印122で示す方向に1列ずつ並列に且つ同時に読み出されてビデオメモリ5aに書き込まれる。このように、ラインメモリデータ配列12の読出しは、図1に示すラインメモリ10a〜10nの先行データ順の並列読出しの形式で行われる。前述したように、ラインメモリ10nにはaaから始まってapに到る先行のデータ列が格納されており、ラインメモリ10aにはフレーム中の最後尾のデータ列pa〜ppが格納されていて上述した並列読出しが可能となる。
【0033】
図2の(c)は、こうして読み出される初期2値化画像データを、ビデオメモリ5aに、ビデオメモリ5と同様にしてデータバスビット幅ずつ順次1フレーム分を書き込んだものであり、これが90度変換2値化画像データ配列13である。
【0034】
つまり、90度変換2値化画像データ配列13は、図2の(b)に示すラインメモリデータ配列12を、先行列のaa〜pa列から最後尾列のap〜pp列まで先行順に読み出したもので、結果的に図2の(a)に示す初期2値化画像データ配列11の配列方向を90度回転した配列である。こうして、初期2値化画像の90度変換画像が得られる。
【0035】
尚、ビデオメモリ5と5aの読出しを何れとするかはCPU6aの内蔵プログラムの制御の下に、入力データに対応して随時切り替えて、常時垂直方向のデータ読出しを確保するように行われる。
【0036】
図3は、図1の実施例における90度画像変換動作の説明図である。
図3の(a)に示すリード101は、水平方向に撮像されたリードで、このリードの幅を検出すべく検出対象列1011を対象としてピクセル単位に2値化した検出対象データ1012が、90度画像変換動作によって、図3の(b)に示すように、恰もリード101を垂直方向に撮像した場合と同じく、検出対象行1013の検出対象データ1014を処理する場合と同じ状態となり、著しく読出し回数を抑圧することができる。
【0037】
図4は、図3の検出対象データの具体例を示す図である。図4の(a)は、水平方向に撮像されたリードを対象として得た検出対象データで、これが90度変換されると図4の(b)に示す配列状態となる。尚、1a〜6rはそれぞれピクセル対応の2値化データを示し、またリード幅検出においては、リードエッジ検出の目的で、図4の(b)の左右に1ピクセル分ずつの検出対象データが追加されることとなる。
このようにして、リード幅検出における格納データの読出し回数を著しく削減することができる。
【0038】
【発明の効果】
以上説明したように本発明は、半導体チップをリードフレームにマウントしてボンディングする場合の半導体チップとリードフレームとの位置整合を確保するために行う撮像装置によるリード幅検出において、初期画像として水平方向に撮像されたリードのシリアル2値化画像を、ビデオメモリの水平方向配列幅のビット数に等しい記憶容量且つビデオメモリの垂直方向配列幅に等しい配列数の並列構成から成るラインメモリに書き込み、各ラインメモリの記憶データを並列に読出し且つ先行データ順にビデオメモリに書き込むことにより、データ画像の90度配列変換を可能として、リード幅検出処理における画像データの読出し回数を著しく削減し、リード幅検出処理時間の大幅な圧縮を可能として、半導体製造装置としてのワイヤボンダのボンディング処理効率を著しく向上することができる効果を有する。
【図面の簡単な説明】
【図1】本発明の一実施例のリード幅検出装置の構成を示すブロック図である。
【図2】図1の実施例における2値化画像データの90度配列変換動作の説明図である。
【図3】図1の実施例のリード幅検出動作の説明図である。
【図4】図3の検出対象データの具体例を示す図である。
【図5】従来のリード幅検出装置の構成を示すブロック図である。
【図6】従来のリード幅検出動作の説明図である。
【符号の説明】
1 撮像装置
2 A/D変換器
3 比較器
4 シフトレジスタ
5,5a ビデオメモリ
6,6a CPU
7,7a タイミング信号発生部
8,8a ビデオメモリ座標出力部
9 ラインメモリ座標出力部
10a〜10n ラインメモリ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a lead width detecting device, and more particularly, to an outer lead of an external connection portion formed by parallel arrangement of semiconductor chip position shifts on a lead frame on which a semiconductor chip is mounted. Detecting based on the image acquired by the imaging device that takes a bird's-eye view with an imaging camera, ensuring the correct position alignment of the semiconductor chip, and enabling wire bonding processing as correct wiring processing for semiconductor chip leads The present invention relates to a lead width detection device that significantly simplifies lead width detection processing for positioning in a wire bonder with an image processing device.
[0002]
[Prior art]
2. Description of the Related Art A wire bonder that correctly positions and mounts a semiconductor chip with respect to a lead frame and performs wire bonding as a wiring process is well known recently. The wire bonder is provided with an image processing device that uses an imaging device that uses an imaging sensor such as a CCD camera, and a bird's-eye view of an object including a semiconductor chip such as an IC mounted on a lead frame is obtained. The relative displacement with respect to the lead frame is detected based on the lead width detection of a lead that is connected to the outside in parallel arrangement of the leads, so-called outer leads. A bonder called a so-called full-auto bonder that performs bonding by automating a positioning operation for correcting the shift amount is also frequently used in the field of semiconductor manufacturing recently.
[0003]
The image processing apparatus provided in such a full-auto bonder shares a role as a visual device for determining pass / fail in the wire bonder positioning mechanism, and the functions are diversified as the semiconductor chip is miniaturized and the number of pins is increased. .
[0004]
FIG. 5 is a block diagram showing a configuration of a conventional lead width detecting device. The lead width detection device shown in FIG. 5 reads an image of an imaging device 1 that captures an image of an imaging target from an imaging sensor, for example, a CCD camera, and an image of a lead (outer lead) output from the imaging device 1 using a reference sampling clock. The A / D converter 2 that performs sampling and digitization in units of pixels for width detection, and the input of the data string output from the A / D converter 2 are compared with a reference level 301 that is set in advance. A comparator 3 that outputs a digitized serial signal, and a binary serial signal that is output from the comparator 3 are parallelized by the number of bits in a data bus bit width unit as a data array bit width in the horizontal direction of the video memory 5. A shift register 4 as a serial / parallel converter that converts the signal into a signal in synchronization with the reference sampling clock and outputs the signal; A video memory 5 that stores a binary image of one frame and stores a predetermined number of bits in each of the horizontal and vertical directions while updating it, and a control program are incorporated, and a read width based on data stored in the video memory 5 A CPU 6 that performs detection and controls the operation of the entire system, a timing signal generator 7 that generates a control timing signal for controlling the control timing of the entire apparatus under the control of the CPU 6, and binarized image data in the video memory 5 A video memory coordinate output unit 8 that secures a prescribed area for storage and outputs coordinates of an address included in the secured area as an address signal.
[0005]
The image pickup apparatus 1 takes a bird's-eye view of an image pickup target including a semiconductor chip to be bonded, a lead, and a lead frame with a CCD camera, and sends image data of outer leads arranged in parallel to the A / D converter 2. In this case, the imaging timing of the imaging apparatus 1 is controlled by a timing signal sent from the timing signal generator 7 that operates under the control of the CPU 6.
[0006]
The A / D converter 2 compares the output of the A / D converter 2 with the reference level 301 and binarizes it, and sends it to the shift register 4 as a bit string of serial data.
The shift register 4 sends the input serial data to the video memory 5 as parallel data in units of data bus bit width as the number of array bits in the column direction (horizontal direction) of the video memory 5. The parallel data thus provided is stored in the video memory 5 under the control of the CPU 6 in accordance with the designation of the address output from the video memory coordinate output unit 8.
[0007]
The CPU 6 uses the detection target data necessary for detection of the read width read from the video memory 5 and calculates the read width based on the built-in program. From the calculated data, the state between the lead to be bonded and the semiconductor chip is calculated. This positional deviation data is sent to a position correction device (not shown), the relative position of the lead frame with respect to the semiconductor package is aligned with the desired state, and then automatic bonding processing is performed.
[0008]
FIG. 6 is an explanatory diagram of a conventional lead width detection operation. FIG. 6A shows an example of lead width detection for a lead imaged in the horizontal direction, and FIG. 6B shows an image imaged in the vertical direction. An example of lead width detection with respect to a lead is shown.
[0009]
6A shows a horizontal imaging lead 101a, a data bus bit width 103 representing the number of horizontal arrangement bits of the storage area on the video memory 5 in FIG. A detection target column 102a to be extracted for the lead width detection process, eight detection target data 102b corresponding to pixels indicated by diagonal lines, and read data 104 as all read data necessary for reading the detection target data 102b Is shown. In this case, the detection target data 102b includes 8 pixels (pixels) from the pixel P1 to the pixel P2 read as the read data 104. Of these, the data regarding the pixels P1 and P2 are Each provides information on the edge (edge) of actual data necessary for lead width detection.
It should be noted that which pixel column including the data bus bit width 103 is the detection target column 102a that is the target of bit width detection is set in advance.
[0010]
6B shows a lead 101b imaged in the vertical direction, a detection target row 105a used for bit width extraction from a storage area corresponding to the data bus bit width of the video memory 5, and detection. The detection target data 105b corresponding to the eight pixels from the pixels Q1 to Q2 as the pixel area included in the target row 105a is shown, and the read data 107 as all the read data necessary for the read width detection processing by the CPU 6 is also shown. Show.
Note that it is set in advance which row is to be detected.
[0011]
In the conventional read width detecting device, the binarized image data stored in the video memory 5 is imaged in the horizontal direction under the control of the CPU 6, and in the case of FIG. In the case of FIG. 6B imaged in the direction, the lead edge in the horizontal direction is detected via the pixels P1, P2, and Q1, Q2, respectively, and the lead width is detected and the lead in the search direction in the lead width detection. The center point is detected, and thereby the deviation from the reference center axis L is also determined, and these pieces of information are provided to a position correction device (not shown) for automatic position alignment.
[0012]
[Problems to be solved by the invention]
However, the conventional lead width detecting device described above has the following problems. That is, as shown in FIG. 6A, in the case of the lead width detection processing of the lead imaged in the horizontal direction, the CPU 6 shown in FIG. That is, since it is necessary to perform the number of times corresponding to the read width of the detection target column 102a, there is a problem that a lot of processing time is required.
[0013]
When this is compared with the case of the lead width detection processing of the lead imaged in the vertical direction as shown in FIG. 6B, the CPU 6 reads the data from the video memory 5 and corresponds to the detection target row 105a. Only the read data 107 as continuous bit data can be used. In this case, the processing time can be remarkably shortened because only one read operation is required.
[0014]
More specifically, in the case of performing the lead width detection of a lead imaged in the horizontal direction, that is, the lead width detection process in the vertical direction, the image information of the detection target column 102a is corresponded from the video memory 5 to the necessary lead width. It was necessary to read as many times as possible.
[0015]
This is because, as shown in FIG. 6B, the number of times of reading data from the video memory 5 when the horizontal lead width of the lead 101b imaged in the vertical direction on the initial image is detected is determined by the read width. Is taken once when the data bus bit width of the video memory 5 is smaller than the data bus bit width of the video memory 5, and even when it is larger than the number of times (read width / data bus bit width), the image is picked up horizontally on the initial image When the lead width in the vertical direction of the lead 101a is detected, the number of times of reading data from the video memory 5 of <lead width / pixel width + two times (for edge pixels)> is necessary, and the number of reading times increases, and the detection process is increased. There was a problem in that it took time to complete the process and could not satisfy the demand for high-speed processing.
[0016]
An object of the present invention is to provide a lead width detection apparatus that can solve the above-described problems and can significantly shorten the lead width detection time for a lead that is initially imaged in the horizontal direction. That is, based on the detection of the lead width of the outer leads arranged in parallel among the leads arranged on the lead frame, when the positional shift of the semiconductor chip relative to the lead frame occurs, the center line of the lead An object of the present invention is to provide a lead width detecting device that detects a deviation from a center line, and ensures correct alignment with respect to a lead frame of a semiconductor chip based on the detected data, thereby enabling correct wire bonding. is there.
[0017]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention has the following configuration.
In other words, the apparatus of the present invention is an external image obtained by taking a bird's-eye view of a rectangular lead frame in which electrodes of a mounted semiconductor chip and leads to be wired by automatic bonding are arranged by an imaging device and arranging them in parallel with the lead frame. A lead obtained by reading out data necessary to detect the width of the lead from the first video memory as a frame memory storing the binary image data of the imaging data of the lead for the outer lead as the connection portion In a lead width detecting device that ensures the positional alignment between a semiconductor chip and a lead necessary for automatic bonding based on the width, a 90 degree conversion 2 in which the array direction of the binarized image data stored in the video memory is rotated 90 degrees to the right. A second video memory having the same storage area as the first video memory storing the binarized image data; The detection target data necessary for detecting the width of the lead imaged in the horizontal direction is read from the second video memory, and the lead imaged in the horizontal direction is effectively imaged in the vertical direction. By making it possible to handle in the same way as the lead, it is possible to reduce the number of times of reading of the detection target data necessary for lead width detection in the same manner as the lead width detection of the lead imaged in the horizontal direction. It has a configuration provided with read count suppression means.
[0018]
Further, in the apparatus according to the present invention, the number-of-reads suppression means uses a line memory having a storage capacity equal to the number of arrangement bits in the horizontal direction of the second video memory to be equal to the number of arrangement bits in the vertical direction of the video memory. One bin is stored in parallel, and the binary image data is stored in the n line memories sequentially from the preceding data by the number of arrangement bits in the horizontal direction of the second video memory. Data is read from the n line memories in parallel and simultaneously in a time-sequential order one bit at a time, and this is written in the second video memory in the order of reading, thereby generating the 90-degree converted binary image data. .
[0019]
DETAILED DESCRIPTION OF THE INVENTION
A semiconductor chip is mounted on a lead frame, and an image pickup device that detects misalignment between the semiconductor chip and the lead frame is aligned with a bonder that wire bonds (wire connection) the electrodes of the semiconductor chip and the leads of the lead frame. The lead width detection device in the wire bonder with an image processing device that detects the difference between the center line of the lead and the reference line that should be based on the lead width detection of the outer leads that are arranged in parallel among the leads, Based on the detected data, a positional deviation between the semiconductor chip and the lead frame is detected, and the positional alignment between the two is automatically performed by the position correcting device.
[0020]
The lead width detection device detects the lead width by using the image data of the lead imaged in an overhead view by an imaging device using an imaging sensor such as a CCD camera, but is acquired by the imaging device and binarized. The image data is temporarily stored in the video memory while being updated for each frame, and is read out and used for lead width detection.
[0021]
In this case, there is a significant difference in the number of times data is read from the video memory depending on whether the initial image of the lead is imaged (drawn) in the horizontal direction or in the vertical direction. The number of times of reading in the case of being taken is that the amount of processing is inevitably increased as compared with the case where the image is taken in the vertical direction.
[0022]
In the present invention, attention is paid to the fact that the above-mentioned problems can be avoided by performing the lead width detection processing of the lead imaged in the horizontal direction using the image data obtained by performing the image conversion of 90 degrees with respect to the initial image. 90 degree image conversion based on the array conversion of binarized image data is realized.
[0023]
1 includes a video memory 5a, a CPU 6a, a timing signal generator 7a, a video memory coordinate output unit 8a, a line memory coordinate output unit 9, and n line memories 10a, 10b,. The line memories 10a, 10b,..., 10n are data as array bit numbers in the column direction (horizontal direction) of the video memory 5a. It is a line memory having a storage capacity equal to the number of array bits of the bus bit width, and has n stages equal to the number of array bits in the row direction (vertical direction), and the coordinates of each line memory on the video memory 5a are Given from the line memory coordinate output unit 9, under the control of the CPU 6a, the video memory 5 is designated by the coordinate designation of the video memory coordinate output unit 8a. Stored, it is performed by 90 degrees conversion effective image based on the sequence data conversion.
[0024]
Thus, the read data of the video memory 5 is used as detection target data for detecting the read width of the lead imaged in the vertical direction, and the read data of the video memory 5 is used for detecting the read width of the lead imaged in the horizontal direction. It is possible to suppress the number of readings of the video memory for detecting the lead width to the same level as the vertical direction for both horizontal and vertical imaging leads.
Note that which of the video memories 5 and 5a is to be read is determined according to the input data under the control of the internal program of the CPU 6a.
[0025]
【Example】
Next, the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention. The configuration of the embodiment shown in FIG. 1 is the same as that of the conventional example shown in FIG. 5, the A / D converter 2, the comparator 3, the shift register 4, the video memory 5, and the video memory coordinate output. In addition to the unit 8, the video memory 5a, the CPU 6a, the timing signal generator 7a, the video memory coordinate output unit 8a, the line memory coordinate output unit 9, the line memory directly constituting the present invention and constituting the reading number suppression means, Memory 10a, 10b, ... 10n.
[0026]
Next, the operation of this embodiment will be described.
The read image data acquired by the imaging apparatus 1 is a pixel unit having a size for detecting the read width by the reference sampling clock at the control timing of the timing signal output by the A / D converter 2 and the timing signal generator 7a. Is sampled and digitized.
[0027]
The comparator 3 compares the digital data output from the A / D converter 2 with the reference level 301, binarizes it, and sends it as binary image data. The shift register 4 performs serial / parallel conversion of the binarized image data, and synchronizes the parallel data of the bit number unit of the data bus bit width (the number of arrangement bits in the horizontal direction) of the video memory 5 in synchronization with the reference sampling clock. The converted data is stored in the video memory 5 under the control of the CPU 6a that controls the operation of the entire system.
[0028]
In the video memory 5, the initial binarized image data is stored in units of one frame in the arrangement state with the data bus bit width and the arrangement bit number n in the vertical direction. On the other hand, in the video memory 5a, the 90-degree converted binary image data obtained by converting the initial binary image data by 90-degree arrangement is stored simultaneously with the storage of the video memory 5 as follows. Note that these two video memories 5 and 5a are subjected to area setting and coordinate designation by the video memory coordinate output units 8 and 8a, respectively.
[0029]
Initial binary image data in the serial format output from the comparator 3 is sequentially stored in n line memories 10a, 10b,..., 10n each having a storage capacity corresponding to the data bus bit width, and is stored in one frame. Of the data, the first data string is stored in the line memory 10n and the last data string is stored in the line memory 10a. Thus, the binary image data stored in the n line memories is stored in the video memory under the control of the CPU 6a. The image is stored in the video memory 5a by an address designated by the coordinate output unit 8a. As a result, an image obtained by rotating the initial binarized image data by 90 degrees is stored on the video memory 5a.
[0030]
FIG. 2 is an explanatory diagram of the 90-degree array conversion operation of the binarized image data in the embodiment of FIG. FIG. 2A shows an initial binarized image data array 11, in which the horizontal array number (data bus bit width) is 16 pixels expressed as aa to ap, and the vertical array number is also 16 pixels. The case from aa to pa is taken as an example. Symbols aa to pp are given for convenience for identification of corresponding pixels, and pixels represented by these symbols are represented by binary logical values 1 or 0, respectively.
[0031]
FIG. 2B shows the line memory data array 12. The line memory data array 12 is 16 data strings stored in n, which is n = 16 line memories 10a to 10n, which is equal to the number in the vertical direction shown in FIG. The array of a certain line memory 10a to the array of the line memory 10n is shown. The top row is the data array of the line memory 10n, and the following shows that the array of the line memory 10a is stored in the order of preceding data. The line memory data array 12 is the same data for one frame as the initial binarized image data array 11.
[0032]
The line memory data array 12 is read out in parallel and simultaneously in the direction indicated by the arrow 122 from aa, ba,... Pa in the column indicated by the arrow 121 and written to the video memory 5a. Thus, the reading of the line memory data array 12 is performed in the form of parallel reading in the order of preceding data in the line memories 10a to 10n shown in FIG. As described above, the line memory 10n stores the preceding data string starting from aa and reaching ap, and the line memory 10a stores the last data string pa to pp in the frame. Parallel reading is possible.
[0033]
FIG. 2C shows the initial binarized image data read out in this manner, in which one frame is sequentially written in the video memory 5a by the data bus bit width in the same manner as the video memory 5, and this is 90 degrees. This is a converted binary image data array 13.
[0034]
That is, the 90 degree conversion binarized image data array 13 reads the line memory data array 12 shown in FIG. 2B in order of precedence from the aa to pa columns of the previous matrix to the ap to pp columns of the last column. As a result, the initial binarized image data array 11 shown in FIG. 2A is an array obtained by rotating the array direction by 90 degrees. In this way, a 90-degree converted image of the initial binarized image is obtained.
[0035]
It should be noted that which of the video memories 5 and 5a is to be read is switched at any time corresponding to the input data under the control of a built-in program of the CPU 6a so as to always ensure vertical data reading.
[0036]
FIG. 3 is an explanatory diagram of the 90-degree image conversion operation in the embodiment of FIG.
The lead 101 shown in FIG. 3A is a lead imaged in the horizontal direction, and detection target data 1012 binarized in units of pixels with respect to the detection target column 1011 to detect the width of the lead is 90. 3B, as shown in FIG. 3B, the same state as when processing the detection target data 1014 in the detection target row 1013 is the same as the case where the lead 101 is imaged in the vertical direction. The number of times can be suppressed.
[0037]
FIG. 4 is a diagram illustrating a specific example of the detection target data in FIG. 3. FIG. 4A shows detection target data obtained with respect to a lead imaged in the horizontal direction, and when this is converted by 90 degrees, an array state shown in FIG. 4B is obtained. In addition, 1a to 6r indicate binary data corresponding to each pixel, and in the lead width detection, detection target data for each pixel is added to the left and right of FIG. 4B for the purpose of lead edge detection. Will be.
In this way, the number of read times of stored data in read width detection can be significantly reduced.
[0038]
【The invention's effect】
As described above, according to the present invention, in the lead width detection by the image pickup apparatus performed to ensure the positional alignment between the semiconductor chip and the lead frame when the semiconductor chip is mounted on the lead frame and bonded, the horizontal direction is used as the initial image. The serialized binarized image of the read image is written in a line memory having a parallel configuration with a storage capacity equal to the number of bits of the horizontal arrangement width of the video memory and a number of arrangements equal to the vertical arrangement width of the video memory, Data stored in the line memory is read in parallel and written to the video memory in the order of preceding data, enabling 90 degree array conversion of the data image, significantly reducing the number of times image data is read in the read width detection process, and the read width detection process. Wire bonding as a semiconductor manufacturing equipment that can significantly reduce time It has an advantage of being able to significantly improve the bonding performance of.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a lead width detection apparatus according to an embodiment of the present invention.
2 is an explanatory diagram of a 90-degree array conversion operation of binarized image data in the embodiment of FIG.
FIG. 3 is an explanatory diagram of a read width detection operation of the embodiment of FIG. 1;
4 is a diagram illustrating a specific example of detection target data in FIG. 3; FIG.
FIG. 5 is a block diagram showing a configuration of a conventional lead width detection device.
FIG. 6 is an explanatory diagram of a conventional read width detection operation;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Imaging device 2 A / D converter 3 Comparator 4 Shift register 5, 5a Video memory 6, 6a CPU
7, 7a Timing signal generator 8, 8a Video memory coordinate output unit 9 Line memory coordinate output unit 10a-10n Line memory

Claims (2)

マウントした半導体チップの電極と自動ボンティングによって配線すべきリードを配設した方形のリードフレームを撮像装置によって俯瞰的に撮像し、リードフレームに平行配列して成る外部接続部分としてのアウターリードを対象とするリードの撮像データの2値化画像データを格納したフレームメモリとしての第1のビデオメモリから前記リードの幅を検出するに必要なデータを読み出して求めたリード幅に基づいて自動ボンディングに必要な半導体チップとリードとの位置整合を確保せしめるリード幅検出装置において、前記ビデオメモリに格納した2値化画像データの配列方向を90度右回転した90度変換2値化画像データを格納した前記第1のビデオメモリと同じ記憶領域を有する第2のビデオメモリを備え、水平方向に撮像された前記リードの幅を検出するに必要な検出対象データを前記第2のビデオメモリから読み出して、水平方向に撮像された前記リードを実効的に垂直方向に撮像された前記リードと同様に取り扱うことを可能ならしめることにより、リード幅検出に必要な検出対象データの読出し回数を、水平方向に撮像された前記リードのリード幅検出と同様に削減することを可能ならしめる読出し回数抑圧手段を備えることを特徴とするリード幅検出装置。A rectangular lead frame in which the electrodes of the mounted semiconductor chip and the leads to be wired by automatic bonding are arranged is imaged from a bird's-eye view with an imaging device, and the outer lead as an external connection part arranged in parallel with the lead frame is targeted Necessary for automatic bonding based on the read width obtained by reading out the data necessary to detect the width of the lead from the first video memory as a frame memory storing the binary image data of the imaging data of the lead In a lead width detecting apparatus for ensuring alignment between a semiconductor chip and a lead, 90 degree converted binary image data obtained by rotating the array direction of the binarized image data stored in the video memory 90 degrees to the right is stored. A second video memory having the same storage area as the first video memory is provided and imaged in the horizontal direction. The detection target data necessary to detect the width of the lead is read from the second video memory, and the lead imaged in the horizontal direction is handled in the same manner as the lead imaged in the vertical direction effectively. The number of times of reading of the detection target data necessary for lead width detection can be reduced in the same manner as the lead width detection of the lead imaged in the horizontal direction. Lead width detection device characterized by the above. 前記読出し回数抑圧手段が、前記第2のビデオメモリの水平方向の配列ビット数の記憶容量を有するラインメモリを、前記ビデオメモリの垂直方向の配列ビット数に等しいn個として並列に配設し、前記n個のラインメモリに前記2値化画像データを先行データから順次前記第2のビデオメモリの水平方向の配列ビット数分ずつ格納せしめて成る1フレーム分の格納データを、前記n個のラインメモリから並列かつ同時に時系列順に1ビットずつ読み出し、これを前記第2のビデオメモリに読出し順に書き込むことにより前記90度変換2値化画像データを生成する構成を備えたことを特徴とする請求項1記載のリード幅検出装置。The number-of-reads suppression means is arranged in parallel with n line memories having a storage capacity of the number of arrangement bits in the horizontal direction of the second video memory as n equal to the number of arrangement bits in the vertical direction of the video memory, The n line memories store the binarized image data sequentially from the preceding data by the number of arrangement bits in the horizontal direction of the second video memory, and store the stored data for one frame. 2. The apparatus according to claim 1, further comprising a configuration in which the 90-degree converted binary image data is generated by reading one bit at a time in parallel in a time series from a memory, and writing the read data in the second video memory in the reading order. The lead width detecting device according to 1.
JP18746797A 1997-06-27 1997-06-27 Lead width detector Expired - Lifetime JP3856911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18746797A JP3856911B2 (en) 1997-06-27 1997-06-27 Lead width detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18746797A JP3856911B2 (en) 1997-06-27 1997-06-27 Lead width detector

Publications (2)

Publication Number Publication Date
JPH1126497A JPH1126497A (en) 1999-01-29
JP3856911B2 true JP3856911B2 (en) 2006-12-13

Family

ID=16206600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18746797A Expired - Lifetime JP3856911B2 (en) 1997-06-27 1997-06-27 Lead width detector

Country Status (1)

Country Link
JP (1) JP3856911B2 (en)

Also Published As

Publication number Publication date
JPH1126497A (en) 1999-01-29

Similar Documents

Publication Publication Date Title
US8274579B2 (en) Image processing apparatus and imaging apparatus
US7893972B2 (en) Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
US7170553B2 (en) Image processing apparatus, image processing method and portable imaging apparatus
JP2001101396A (en) Processor and method for correcting image distortion and medium with program performing image distortion correction processing stored therein
US7724921B2 (en) Vehicle-onboard driving lane recognizing apparatus
US7034872B1 (en) Image processing apparatus and method
WO2001088663A2 (en) Real time electronic registration of scanned documents
JP5602532B2 (en) Image processing apparatus and image processing method
US20070216784A1 (en) Imaging apparatus, picked-up image correcting method, and program product
US6603509B1 (en) Digital camera controllable by a program
JP3856911B2 (en) Lead width detector
JP3932379B2 (en) Image processing apparatus and image sensor
JP2000200896A (en) Defective pixel detection of image sensor, correction device and method therefor
JP3805421B2 (en) Pixel defect correction device
JP2001145012A (en) Image distorting correction device
US20040196380A1 (en) Image processing device, camera and image processing method
JP2001186409A (en) Image distortion correction device
JP4390940B2 (en) Defective pixel detection device
JP4343484B2 (en) Image data processing apparatus and imaging system
JPH06268922A (en) Smear correction device
JP2850641B2 (en) Semiconductor device manufacturing method and manufacturing apparatus
JP2000354193A (en) Camera system and video signal processor
US6810158B2 (en) Device and method for reading image, and recording medium for image reading program
JP2011018248A (en) Board, device and method for processing image
JPS635666A (en) Defect correcting device for solid-state image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060913

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

EXPY Cancellation because of completion of term