JPH08180185A - 電子部品の外観検査装置 - Google Patents

電子部品の外観検査装置

Info

Publication number
JPH08180185A
JPH08180185A JP6320868A JP32086894A JPH08180185A JP H08180185 A JPH08180185 A JP H08180185A JP 6320868 A JP6320868 A JP 6320868A JP 32086894 A JP32086894 A JP 32086894A JP H08180185 A JPH08180185 A JP H08180185A
Authority
JP
Japan
Prior art keywords
image
signal
inspection
input
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6320868A
Other languages
English (en)
Other versions
JP3359446B2 (ja
Inventor
Kazuyuki Tanaka
一幸 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyo Yuden Co Ltd
Original Assignee
Taiyo Yuden Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyo Yuden Co Ltd filed Critical Taiyo Yuden Co Ltd
Priority to JP32086894A priority Critical patent/JP3359446B2/ja
Publication of JPH08180185A publication Critical patent/JPH08180185A/ja
Application granted granted Critical
Publication of JP3359446B2 publication Critical patent/JP3359446B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 1つの電子部品から複数の画像を取り込んで
その外観検査を行う場合でも、画像処理装置とCRTが
夫々1台で済み、しかも一画像に対する検査処理と変わ
らぬ時間にて外観検査を行える外観検査装置を提供す
る。 【構成】 2台のカメラ1,2の画像信号V1,V2をこ
れら入力画像全てが一画面中に区画配置されるように合
成し、該画像合成信号VGに基づいて各入力画像I1
2 に対し所定の検査処理を行うと共に、検査結果と一
緒に2つの入力画像I1 ,I2 をCRT11に同時に表
示しているので、2台のカメラ1,2を用いて検査部品
Pを同時撮像する場合でも画像処理装置とCRTが夫々
1台で済み、しかも一画像に対する検査処理と変わらぬ
時間にて外観検査を行える。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、電子部品の外観検査、
例えば寸法良否や損傷有無等の検査を画像処理によって
行う装置に関するものである。
【0002】
【従来の技術】図9(a)(b)にはこの種従来の外観
検査装置の全体構成を示してある。
【0003】図9(a)に示した装置は、2台のCCD
カメラ101,111によって検査部品Pを異なる方向
(図示例では上面側と下面側)から同時に撮像し、各カ
メラ101,111からの画像信号を各々専用の画像処
理装置102,112に取り込み、これら画像信号に基
づいて入力画像に対し所定の検査処理を行うと共に、各
カメラ101,111の入力画像を検査結果と共に各々
専用のCRT103,113に表示している。
【0004】図9(b)に示した装置は、検査部品Pを
異なる方向(図示例では上面側と下面側)から撮像可能
な2台のCCDカメラ201,202を使用し、カメラ
切り替えを切替回路203にて行いながら何れか一方の
カメラ201(202)からの画像信号を画像処理装置
204に取り込み、この画像信号に基づいて入力画像に
対し所定の検査処理を行うと共に、検査に使用している
一方の入力画像を検査結果と共にCRT205に表示し
ている。
【0005】
【発明が解決しようとする課題】しかしながら、図9
(a)に示した装置では、カメラ毎に専用の画像処理装
置とCRTが必要になるため、カメラ台数に応じて装置
価格が増加する問題点がある。一方、図9(b)に示し
た装置では、画像処理装置とCRTが夫々1台で済む反
面、各カメラの入力画像毎に撮像と検査処理を順番に行
う必要があるため、カメラ台数に応じて検査時間が増加
する問題点がある。
【0006】本発明は上記問題点に鑑みてなされたもの
で、その目的とするところは、1つの電子部品から複数
の画像を取り込んでその外観検査を行う場合でも、画像
処理装置とCRTが夫々1台で済み、しかも一画像に対
する検査処理と変わらぬ時間にて外観検査を行える外観
検査装置を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するた
め、請求項1の発明に係る外観検査装置は、検査部品を
異なる方向から同時撮像可能な複数の画像入力手段と、
各画像入力手段からの画像信号を入力画像全てが一画面
中に区画配置されるように合成する画像信号合成手段
と、画像信号合成手段からの画像合成信号に基づいて各
入力画像に対し所定の検査処理を行う画像処理手段と、
画像処理手段における検査結果と共に入力画像全てを上
記の区画配置をもって同時に表示する画像出力手段とを
具備した、ことを特徴としている。
【0008】請求項2の発明に係る外観検査装置は、請
求項1記載の外観検査装置における画像信号合成手段
が、水平・垂直同期信号から水平・垂直走査周期の1/
nを表す水平・垂直切替信号を生成するパルス発生手段
と、該切替信号が規定する時間間隔に応じて各画像入力
手段からの画像信号を順次切り替えて画像合成信号を生
成する画像信号切替手段とを備えた、ことを特徴として
いる。
【0009】
【作用】請求項1の発明に係る外観検査装置では、複数
の画像入力手段からの画像信号を入力画像全てが一画面
中に区画配置されるように合成し、該画像合成信号に基
づいて各入力画像に対し所定の検査処理を行うと共に、
検査結果と共に入力画像全てを上記の区画配置をもって
CRT等に同時表示できる。
【0010】請求項2の発明に係る外観検査装置では、
上記の画像信号の合成が、水平・垂直走査周期の1/n
を表す水平・垂直切替信号が規定する時間間隔に応じ
て、各画像入力手段からの画像信号を順次切り替えるこ
とよって行われる。他の作用は請求項1の発明と同様で
ある。
【0011】
【実施例】図1には本発明を適用した外観検査装置、詳
しくは2台のカメラを用いた外観検査装置の全体構成を
示してある。
【0012】同図において、Pは検査部品、1,2は第
1,第2カメラ、3は同期信号発生回路、4は同期信号
分離回路、5,6はパルス発生回路、7は画像信号切替
回路、8は画像メモリ、9は画像処理部、10は制御
部、11はCRTである。本実施例では画像メモリ8,
画像処理部9及び制御部10によって画像処理装置12
が構成されている。
【0013】第1,第2カメラ1,2は、検査部品Pを
異なる方向(図面では上面側と下面側)から撮像する。
図2に示すように、各カメラ1,2は、レンズ1a,2
aと、CCD等の2次元撮像素子1b,2bと、信号処
理回路1c,2cと、出力回路1d,2dと、タイミン
グパルス発生回路1e,2eと、同期信号発生回路1
f,2fを内蔵しており、撮像素子1b,2bからの画
像信号をNTSC信号に変換して変換後の画像信号V
1 ,V2 を出力端子1g,2gから出力する。
【0014】また、各カメラ1,2は同期信号の出力端
子1h,2hと入力端子1i,2iを備えており、内蔵
回路1f,2fの水平・垂直同期信号Hs,Vsを外部
に出力できると共に、外部から水平・垂直同期信号H
s,Vsを取り込んでこれを優先して使用できる。本実
施例では外部同期方式を採用してあるので、各カメラ
1,2には同期信号発生回路3から水平・垂直同期信号
Hs,Vsが夫々同時入力される。
【0015】同期信号分離回路4は、一方のカメラ(図
示例では第1カメラ1)から出力される画像信号V1
ら水平同期信号Hsと垂直同期信号Vsを分離する。
尚、水平同期信号Hsと垂直同期信号Vsを同期信号発
生回路3から直接各パルス回路5,6に入力するように
すれば、同期信号分離回路4を省略して装置構成を簡略
化することもできる。
【0016】パルス発生回路5は、水平同期信号Hsか
ら図3(a)に示すような水平切替信号Ph、即ち、水
平走査周期thの半周期(1/2th)に相当するON
領域AとOFF領域Bを備えたパルス信号を生成する。
尚、この水平切替信号Phは水平走査周期thの半周期
が表現できるものであれば、図示例以外の波形、例えば
各領域A,BのON,OFFが逆転したもの等であって
もよい。
【0017】パルス発生回路6は、垂直同期信号Vsか
ら図3(b)に示すような垂直切替信号Pv、即ち、垂
直走査周期tvの半周期(1/2tv)に相当するON
領域CとOFF領域Dを備えたパルス信号を生成する。
尚、この垂直切替信号Pvは垂直走査周期tvの半周期
が表現できるものであれば、図示例以外の波形、例えば
各領域C,DのON,OFFが逆転したもの等であって
もよい。図3では、便宜上、水平走査周期thと垂直走
査周期tvを同一波形で示してあるが、実際の水平走査
周期thは垂直走査周期tvよりも短い。
【0018】画像信号切替回路7は、入力信号切替用の
スイッチング素子を備えており、上記の水平切替信号P
hと垂直切替信号Pvの領域A乃至D(時間間隔)に応
じて各カメラ1,2からの画像信号V1 ,V2 を順次切
り替え、これら画像信号V1,V2 を入力画像全てが一
画面中に区画配置されるように合成し該画像合成信号V
Gを画像処理装置12に出力する。この画像信号切替回
路7における画像信号の合成については後に詳述する。
【0019】画像処理装置12を構成する画像メモリ8
は、画像信号切替回路7からの画像合成信号VGを取り
込み記憶する。メモリ上に記憶される画像は各カメラ
1,2の入力画像が一画面に区画配置されたものであ
る。画像処理部9は、画像メモリ8に取り込まれた画像
データを読み込んで2値化等の各種前処理を行うと共
に、寸法良否や損傷有無等の検査を実行する。制御部1
0は、前処理の種類やパラメータ等を画像処理部9に指
令すると共に、検査結果等のデータ記憶,管理等を行
う。
【0020】CRT11は、画像処理装置12における
検査結果と共に各カメラ1,2の入力画像を所定の区画
配置をもって同時に表示する。このCRT11における
画像表示については後に詳述する。
【0021】ここで、画像信号の合成方法と入力画像の
表示形態について図4(a)(b)を参照して説明す
る。
【0022】図4(a)に示すように、CRT11の画
面11aの左側半分に第1カメラ1の入力画像I1 を表
示し、右側半分に第2カメラ2の入力画像I2 を表示す
る場合は、パルス発生回路5の水平切替信号Phを利用
し、該水平切替信号PhのON領域Aに相当する時間で
第1カメラ1の画像信号V1 を取り込み、OFF領域B
に相当する時間で第2カメラ2の画像信号V2 を取り込
むように画像信号切替回路7を作動させる。画像信号切
替回路7から出力される画像合成信号VGは、各カメラ
1,2の入力画像I1 ,I2 が一画面中の左右に区画配
置されたものとなり、CRT11の画面11aには各カ
メラ1,2の入力画像I1 ,I2 が左右に同時表示され
る。
【0023】また、CRT11の画面11aの左側半分
に第2カメラ2の入力画像I2 を表示し、右側半分に第
1カメラ1の入力画像I1 を表示する場合は、水平切替
信号PhのON領域Aに相当する時間で第2カメラ2の
画像信号V2 を取り込み、且つOFF領域Bに相当する
時間で第1カメラ1の画像信号V1 を取り込むように画
像信号切替回路7を作動させればよい。
【0024】一方、図4(b)に示すように、CRT1
1の画面11aの上側半分に第1カメラ1の入力画像I
1 を表示し、下側半分に第2カメラ2の入力画像I2
表示する場合は、パルス発生回路6の垂直切替信号Pv
を利用し、該垂直切替信号PvのON領域Cに相当する
時間で第1カメラ1の画像信号V1 を取り込み、OFF
領域Dに相当する時間で第2カメラ2の画像信号V2
取り込むように画像信号切替回路7を作動させる。画像
信号切替回路7から出力される画像合成信号VGは、各
カメラ1,2の入力画像I1 ,I2 が一画面中の上下に
区画配置されたものとなり、CRT11の画面11aに
は各カメラ1,2の入力画像I1 ,I2が上下に同時表
示される。
【0025】また、CRT11の画面11aの上側半分
に第2カメラ2の入力画像I2 を表示し、下側半分に第
1カメラ1の入力画像I1 を表示する場合は、垂直切替
信号PvのON領域Cに相当する時間で第2カメラ2の
画像信号V2 を取り込み、且つOFF領域Dに相当する
時間で第1カメラ1の画像信号V1 を取り込むように画
像信号切替回路7を作動させればよい。
【0026】画像処理装置12における一連の検査処理
は上記の画像合成信号VGに基づいて各入力画像I1
2 に対し実施される。2つの入力画像I1 ,I2 を一
画面中に区画配置することで解像度が若干低下するが、
検査精度への影響及び支障はない。
【0027】上述の外観検査装置では、2台のカメラ
1,2の画像信号V1,V2をこれら入力画像全てが一画
面中に区画配置されるように合成し、該画像合成信号V
Gに基づいて各入力画像I1 ,I2 に対し所定の検査処
理を行うと共に、検査結果と一緒に2つの入力画像I
1 ,I2 をCRT11に同時に表示しているので、2台
のカメラ1,2を用いて検査部品Pを同時撮像する場合
でも画像処理装置とCRTが夫々1台で済み、しかも一
画像に対する検査処理と変わらぬ時間にて外観検査を行
える。
【0028】図5には上記実施例のカメラに内部同期方
式を採用した例を示してある。
【0029】上記実施例のように、同期信号発生回路を
内蔵し、且つ水平・垂直同期信号の入・出力端子を備え
たものをカメラとして用いる場合は、図5に示すよう
に、一方のカメラ(図示例では第1カメラ1)の出力端
子1hを第2カメラ2の入力端子2iに結線すること
で、両カメラ1,2を同期して作動させることが可能
で、これにより外設の同期信号発生回路3を省略して装
置構成を簡略化できる。
【0030】図6には上記同様の画像合成信号を得るた
めの他の構成を示してある。
【0031】同図において、21,22はCCD等の2
次元撮像素子、23は画像信号切替回路、24は信号処
理回路、25は出力回路、26はタイミングパルス発生
回路、27は同期信号発生回路、28,29はパルス発
生回路であり、同一名称部分の機能は図1に示した実施
例と同様である。
【0032】本構成では、各撮像素子21,22を同期
信号発生回路27からの水平・垂直同期信号によって同
期して作動させると共に、各撮像素子21,22の画像
信号を水平切替信号Phと垂直切替信号Pvを利用し上
記同様の手法にて先に合成し、これをNTSC信号に変
換して出力端子25aから出力できるようにしてある。
このようにすれば、図1に示した実施例のように同一仕
様のカメラを2台用いる必要がないので価格的にも有利
であり、画像処理装置及びCRTを除く構成を簡略化で
きる。
【0033】図7には検査部品の撮像に4台のカメラを
用いた外観検査装置の部分構成を示してある。
【0034】同図において、31乃至34はカメラ、3
5は同期信号発生回路、36は同期信号分離回路、3
7,38はパルス発生回路、39は画像信号切替回路で
あり、同一名称部分の機能は図1に示した実施例と同様
である。
【0035】本構成では、4台のカメラ31乃至34か
らの画像信号をこれら入力画像全てが一画面中に区画配
置されるように合成し、該画像合成信号に基づいて各入
力画像に対し所定の検査処理を行うと共に、検査結果と
一緒に4つの入力画像をCRT11に同時に表示でき
る。
【0036】例えば、図8に示すように、CRTの画面
11aの左上1/4部分にカメラ31の入力画像I31
表示し、右上1/4部分にカメラ32の入力画像I32
表示し、左下1/4部分にカメラ33の入力画像I33
表示し、右下1/4部分にカメラ34の入力画像I34
表示する場合は、パルス発生回路37の水平切替信号P
hとパルス発生回路38の垂直切替信号Pvの両方を利
用し、水平切替信号PhのON領域Aと垂直切替信号P
vのON領域Cに相当する時間でカメラ31の画像信号
を取り込み、水平切替信号PhのOFF領域Bと垂直切
替信号PvのON領域Cに相当する時間でカメラ32の
画像信号を取り込み、水平切替信号PhのON領域Aと
垂直切替信号PvのOFF領域Dに相当する時間でカメ
ラ33の画像信号を取り込み、水平切替信号PhのOF
F領域Bと垂直切替信号PvのOFF領域Dに相当する
時間でカメラ34の画像信号を取り込むように画像信号
切替回路39を作動させる。
【0037】画像信号切替回路39から出力される画像
合成信号VGは、各カメラ31乃至34の入力画像I31
乃至I34が一画面中の上下左右に区画配置されたものと
なり、CRTの画面11aには各カメラ31乃至34の
入力画像I31乃至I34が上下左右に同時表示される。上
記領域A,Bと領域C,Dを適宜組み合わせれば各入力
画像I31乃至I34を好みの位置に表示することができ
る。
【0038】画像処理装置における一連の検査処理は上
記の画像合成信号VGに基づいて各入力画像I31乃至I
34に対し実施される。4つの入力画像I31乃至I34を一
画面中に区画配置することで解像度が若干低下するが、
検査精度への影響及び支障はない。
【0039】図7に示した構成では、各カメラ31乃至
34を図5と同様の内部同期方式に変更することも可能
ではあるが、カメラ台数が多い場合にはカメラ相互の同
期を確実に行うため外部同期方式を採用した方が好まし
い。また、図7と同様の画像合成信号VGを図6と同様
の構成、即ち、4つの撮像素子からの画像信号を先に合
成してからこれをNTSC信号に変換して得るようにし
てもよい。
【0040】尚、上記各実施例では、水平・垂直切替信
号に基づいてCRTの画面を2分割或いは4分割した
が、CRTに表示される各カメラの入力画像の大きさ
は、図3(a)に示した領域A,Bの時間比と図3
(b)に示した領域C,Dの時間比を適宜変化させるこ
とで調整することができる。また、水平・垂直切替信号
として水平・垂直走査周期の1/3,1/4…1/n
(nは整数)を表すものを使用すれば、該水平・垂直切
替信号を利用して最大でn2 のカメラ入力画像をCRT
に同時表示することが可能である。
【0041】
【発明の効果】以上詳述したように、請求項1及び2の
発明によれば、複数の画像入力手段を用いて検査部品を
同時撮像する場合でも画像処理装置とCRTが夫々1台
で済み、しかも一画像に対する検査処理と変わらぬ時間
にて外観検査を行える。
【図面の簡単な説明】
【図1】2台のカメラを用いた外観検査装置の全体構成
【図2】図1に示したカメラの詳細図
【図3】水平・垂直同期信号と水平・垂直切替信号を示
す図
【図4】CRT画面における画像表示形態を示す図
【図5】図1のカメラに内部同期方式を採用した例を示
す図
【図6】図1と同様の画像合成信号の得るための他の構
成を示す図
【図7】4台のカメラを用いた外観検査装置の部分構成
【図8】CRT画面における画像表示形態を示す図
【図9】従来の外観検査装置の構成図
【符号の説明】
P…検査部品、1,2…カメラ、3…同期信号発生回
路、4…同期信号分離回路、5,6…パルス発生回路、
7…画像信号切替回路、8…画像メモリ、9…画像処理
部、10…制御部、11…CRT、11a…画面、V
1 ,V2 …画像信号、Hs…水平同期信号、Vs…垂直
同期信号、Ph…水平切替信号、Pv…垂直切替信号、
VG…画像合成信号、I1 ,I2 …画像、21,22…
撮像素子、23…画像信号切替回路、27…同期信号発
生回路、28,29…パルス発生回路、31,32,3
3,34…カメラ、35…同期信号発生回路、36…同
期信号分離回路、37,38…パルス発生回路、39…
画像信号切替回路、I31,I32,I33,I34…画像。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 検査部品を異なる方向から同時撮像可能
    な複数の画像入力手段と、 各画像入力手段からの画像信号を入力画像全てが一画面
    中に区画配置されるように合成する画像信号合成手段
    と、 画像信号合成手段からの画像合成信号に基づいて各入力
    画像に対し所定の検査処理を行う画像処理手段と、 画像処理手段における検査結果と共に入力画像全てを上
    記の区画配置をもって同時に表示する画像出力手段とを
    具備した、 ことを特徴とする電子部品の外観検査装置。
  2. 【請求項2】 上記画像信号合成手段が、水平・垂直同
    期信号から水平・垂直走査周期の1/nを表す水平・垂
    直切替信号を生成するパルス発生手段と、該切替信号が
    規定する時間間隔に応じて各画像入力手段からの画像信
    号を順次切り替えて画像合成信号を生成する画像信号切
    替手段とを備えた、 ことを特徴とする請求項1記載の電子部品の外観検査装
    置。
JP32086894A 1994-12-22 1994-12-22 電子部品の外観検査装置 Expired - Fee Related JP3359446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32086894A JP3359446B2 (ja) 1994-12-22 1994-12-22 電子部品の外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32086894A JP3359446B2 (ja) 1994-12-22 1994-12-22 電子部品の外観検査装置

Publications (2)

Publication Number Publication Date
JPH08180185A true JPH08180185A (ja) 1996-07-12
JP3359446B2 JP3359446B2 (ja) 2002-12-24

Family

ID=18126158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32086894A Expired - Fee Related JP3359446B2 (ja) 1994-12-22 1994-12-22 電子部品の外観検査装置

Country Status (1)

Country Link
JP (1) JP3359446B2 (ja)

Also Published As

Publication number Publication date
JP3359446B2 (ja) 2002-12-24

Similar Documents

Publication Publication Date Title
JP2001268601A (ja) 画質検査装置及び画質検査方法
KR100211004B1 (ko) 화상 처리 방법 및 그 방법을 사용한 화상 처리 시스템
JP3359446B2 (ja) 電子部品の外観検査装置
JP3617130B2 (ja) 映像信号処理回路及び画像表示装置
JPH0636020A (ja) 撮像監視装置
JPS62295588A (ja) 画面合成装置
JP2640030B2 (ja) 固体撮像装置
JPH06311426A (ja) 画像処理装置
JPH067294Y2 (ja) 高速測距装置
JPH04117776A (ja) 高画面周波数画像処理方式
JP2615156B2 (ja) 電子内視鏡装置
JP2001045443A (ja) テレビジョン画像データ生成装置および方法
JP3400649B2 (ja) モニタ装置における画像合成方法及び監視カメラ装置
JPS63208385A (ja) 書籍印刷状態検査装置
JPS63177274A (ja) パタ−ン認識装置
JP2655698B2 (ja) 電子内視鏡装置
JPH06124080A (ja) 大容量画像表示方法及びその装置
JPH05340889A (ja) 対象物のモニタ画像表示方法およびその装置
JPH0316482A (ja) 撮像装置
JPH07193747A (ja) 画像表示装置
JPH09322152A (ja) カメラシステム及び遊技機器用カメラシステム
JPH09224192A (ja) 画面合成装置
JPH08279947A (ja) 撮像装置
JPH056424A (ja) 画像処理装置
JPS63283354A (ja) 画像入力装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020917

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081011

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081011

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091011

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101011

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101011

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111011

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111011

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121011

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121011

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131011

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees