JPH095022A - 画像認識によるパターン位置出し方法及び装置 - Google Patents

画像認識によるパターン位置出し方法及び装置

Info

Publication number
JPH095022A
JPH095022A JP15724295A JP15724295A JPH095022A JP H095022 A JPH095022 A JP H095022A JP 15724295 A JP15724295 A JP 15724295A JP 15724295 A JP15724295 A JP 15724295A JP H095022 A JPH095022 A JP H095022A
Authority
JP
Japan
Prior art keywords
target pattern
pattern
target
gravity
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15724295A
Other languages
English (en)
Other versions
JP3166816B2 (ja
Inventor
Motoharu Honda
素春 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Machinery Inc
Original Assignee
Nichiden Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nichiden Machinery Ltd filed Critical Nichiden Machinery Ltd
Priority to JP15724295A priority Critical patent/JP3166816B2/ja
Publication of JPH095022A publication Critical patent/JPH095022A/ja
Application granted granted Critical
Publication of JP3166816B2 publication Critical patent/JP3166816B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Supply And Installment Of Electrical Components (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 画像認識による簡単な処理でもって対象パタ
ーンのみを確実に位置出しすることにある。 【構成】 基板1上に形成されて基準となる対象パター
ンm及びその周辺の対象外パターンnを撮像したカメラ
視野a内で、隣接する対象外パターンn間の狭小なエリ
アeに形成された対象パターンmを画像認識により検出
して位置出しする方法であって、前記狭小なエリアe内
に前記対象外パターンnを除外する認識ウィンドウbを
設定し、その認識ウィンドウb内で前記対象パターンm
の重心及び面積を算出し、その面積データに基づいて前
記対象パターンmが認識ウィンドウb内か否かを判別
し、その判別結果に基づいて対象パターンmを重心デー
タにより位置補正する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像認識によるパターン
位置出し方法及び装置に関し、詳しくは、基板上に形成
されて基準となる対象パターンを画像認識により検出し
て位置出しするパターン位置出し方法及び装置に関す
る。
【0002】
【従来の技術】例えば、電子機器などに組み込まれるプ
リント配線基板(以下、単に基板と称す)は、各種の電
子部品が実装される導電性の配線パターンが基板表面に
形成されたものが一般的である。電子機器などの製造に
おいては、電子部品を前記配線パターンに自動実装する
ために、それら配線パターンに対して位置基準となるパ
ターンを前記配線パターンとは別に設けている。
【0003】この基準となるパターンは、通常、基板上
での高密度実装化により配線パターンが密集状態で近接
しているため、その周辺で隣接する配線パターン間の狭
小なエリアに基準となるパターンを形成せざるを得な
い。
【0004】このように基板上の配線パターンに電子部
品を高精度に位置決めして実装するためには、基準とな
るパターンの位置を予め正確に認識しておく必要があ
る。そこで、その基準となるパターンを認識対象とし
て、光学系のカメラで基板表面を撮像することにより基
準となるパターンを画像認識し、その認識データに基づ
いて基準となるパターンを位置出しするようにしてい
る。
【0005】
【発明が解決しようとする課題】しかしながら、前述し
た基準となるパターン(以下、対象パターンと称す)
は、隣接する配線パターン(以下、対象外パターンと称
す)間の狭小なエリアに形成されているため、光学系の
カメラで撮像したカメラ視野内に、前記対象パターンだ
けでなく、対象外パターンも入ってくることになる。こ
のようにカメラ視野内に対象パターンと対象外パターン
とが存在すると、その両者を区別する必要があり、前記
対象外パターンを除外して対象パターンのみを検出する
機能を持たせようとした場合、複雑なソフトウェアを構
築する必要があるなど、装置自体が高価なものになると
いう問題があった。
【0006】そこで、本発明は上記問題点に鑑みて提案
されたもので、その目的とするところは、画像認識によ
る簡単な処理でもって対象パターンのみを検出し得る機
能を持たせたパターン位置出し方法及び装置を提供する
ことにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
の技術的手段として、本発明方法は、基板上に形成され
て基準となる対象パターン及びその周辺の対象外パター
ンを撮像したカメラ視野内で、隣接する対象外パターン
間の狭小なエリアに形成された対象パターンを画像認識
により検出して位置出しする方法であって、前記対象外
パターンを除外した認識ウィンドウを前記狭小なエリア
内に設定し、その認識ウィンドウ内で前記対象パターン
の重心及び面積を算出し、その面積データに基づいて前
記対象パターンが認識ウィンドウ内か否かを判別し、そ
の判別結果に基づいて対象パターンを重心データにより
位置補正することを特徴とする。
【0008】また、本発明装置は、基準となる対象パタ
ーン及びその周辺の対象外パターンが形成された基板を
XY方向に移動させる駆動系と、前記対象パターン及び
対象外パターンを撮像する光学系と、そのカメラ視野内
で、隣接する対象外パターン間の狭小なエリア内に前記
対象外パターンを除外する認識ウィンドウを設定し、前
記認識ウィンドウ内で対象パターンの重心及び面積を算
出し、その重心及び面積データを出力する画像認識系
と、前記面積データに基づいて対象パターンが認識ウィ
ンドウ内か否かを判別し、その判別結果に基づいて対象
パターンを重心データにより位置補正する制御系とを具
備したことを特徴とする。
【0009】上記装置は、前記基板が長尺で、且つ、そ
の長手方向に沿い間隔を有して二つの対象パターンがそ
れぞれ形成され、前記駆動系が基板をXYθ方向に移動
させるものであり、二つの対象パターン及びその周辺の
対象外パターンを撮像する第1及び第2の光学系と、そ
れぞれのカメラ視野内で、隣接する対象外パターン間の
狭小なエリア内に前記対象外パターンを除外する認識ウ
ィンドウを設定し、前記認識ウィンドウ内で対象パター
ンの重心及び面積を算出し、その重心及び面積データを
出力する第1及び第2の画像認識系とを含むことが可能
である。
【0010】
【作用】本発明では、まず、基板上に形成されて基準と
なる対象パターン及びその周辺の対象外パターンを光学
系により撮像して設定されたカメラ視野内で、隣接する
対象外パターン間の狭小なエリア内に前記対象外パター
ンを除外する認識ウィンドウを画像認識系により設定す
る。その画像認識系で認識ウィンドウ内で前記対象パタ
ーンの重心及び面積を算出し、その面積データに基づい
て前記対象パターンが認識ウィンドウ内か否かを制御系
で判別する。その判別結果に基づいて駆動系により基板
をXY方向に移動させることによって対象パターンを重
心データにより位置補正する。このように画像認識によ
る簡単な処理でもって対象パターンのみを確実に位置出
しすることができる。
【0011】
【実施例】本発明の実施例を図1乃至図4に示して説明
する。
【0012】本発明の位置出し装置は、以下の概略構成
を有する。まず、この位置出し装置では、対象パターン
(基準パターン)及びその周辺の対象外パターン(配線
パターン)が形成された基板について、隣接する対象外
パターン間の狭小なエリア内の前記対象パターンを認識
対象とする。
【0013】位置出し装置の概略構成は、図3に示すよ
うに前記基板1をXYθ方向に移動させる駆動系2と、
所定の倍率で拡大して撮像するズーム機能を有するカメ
ラ7を含んで、その視野a(位置、広さ:図1参照)
は、基板1の種類に応じて対象パターンmを基板1の寸
法精度や可動テーブル6への載置精度を考慮して十分取
り込むよう設定される光学系3と、そのカメラ視野a内
で、隣接する対象外パターンn間の狭小なエリアe内に
前記対象外パターンnを除外する認識ウィンドウbを設
定し、前記認識ウィンドウb内で対象パターンmの重心
及び面積を算出し、その重心及び面積データを出力する
画像認識系4と、前記面積データに基づいて対象パター
ンmが認識ウィンドウb内か否かを判別し、その判別結
果に基づいて対象パターンmを重心データにより位置補
正する制御系5とを具備する。
【0014】具体的に、前記駆動系2は、前記制御系5
からの駆動信号に基づいて、基板1が位置決め載置され
た可動テーブル6をXY方向に所定量だけ移動させる駆
動機構を有する。
【0015】画像認識系4には、前記光学系3からの撮
像信号に基づいて対象パターンm及び対象外パターンn
を所定の倍率で撮像した画像情報に対し、そのカメラ視
野a内で対象外パターンnを除外した認識ウィンドウb
が設定される。そして、その認識ウィンドウb内での対
象パターンmの重心及び面積の算出を行い、その重心及
び面積データを制御系5へ出力する。また、制御系5
は、前記画像認識系4から出力された面積データに基づ
いて対象パターンmが認識ウィンドウb内か否かを判別
し、その判別結果に基づく駆動信号を駆動系2へ出力
し、その駆動信号に基づいて可動テーブル6を作動さ
せ、基板1の対象パターンmを重心データにより位置補
正する。
【0016】画像認識による対象パターンmの位置出し
方法は、図1に示すカメラ視野a及び図2に示すフロー
チャートに基づいて以下の要領で行なわれる。
【0017】まず、設定は、可動テーブル6上に載置さ
れた基板1がほぼ正しい位置にあるとき、対象パターン
m及び対象外パターンnを光学系3のカメラ7により所
定の倍率で拡大して撮像し、図1(c)に示すようなカ
メラ視野aを設定する。このカメラ視野aは対象パター
ンmがほぼ中央に位置し、広さは基板1の載置のバラツ
キを考慮しても視野aに十分おさまる広さとする。次
に、このカメラ視野a内で前記対象外パターンnを除外
した認識ウィンドウbを画像認識系4に設定する。認識
ウィンドウbは基板1の載置のバラツキを考慮しても対
象外パターンnがその内に入らない狭さであって、且
つ、対象パターンmは必ず少なくとも一部はその内に入
る広さに選定される。
【0018】このように前記認識ウィンドウbは、狭小
なエリアe内で対象外パターンnとのクリアランスを確
保してその周囲の対象外パターンnを除外することによ
り、後述する認識ウィンドウb内での対象パターンmの
重心及び面積データを正確に算出することができる。一
方、認識ウィンドウbをきわめて狭小に設定することに
より、対象パターンmが認識ウィンドウbから食み出す
ことがある〔図1(a)参照〕。
【0019】次に、個々の基板の位置出し方法について
説明する。基板1を可動テーブル6に載置して光学系3
による画像入力(ステップ100)後、認識ウィンドウ
b内に一部が食み出した状態で存在する対象パターンm
について、その対象パターンmの認識ウィンドウb内に
存在する部分の重心及び面積を画像認識系4で算出する
(ステップ101)。制御系5では、画像認識系4から
出力される面積データに基づいて対象パターンmが認識
ウィンドウb内にあるのか、或いは食み出しているのか
を判別する(ステップ102)。尚、この認識ウィンド
ウb内にあるか否かの判別は、画像認識系4から出力さ
れる面積データが、予め記憶保持された対象パターンm
の正規の面積値と一致するか否かにより判別される。
【0020】ここで、対象パターンmの重心及び面積の
算出回数を所定回数、例えば2回に設定し(ステップ1
03)、その算出回数が3回以上となれば、位置補正不
能としてブザーやランプ等による警報を発し(ステップ
104)、その算出回数が2回以下であれば、後述の重
心データによる位置補正(ステップ105)を実行す
る。
【0021】従って、画像認識系4から出力される面積
データに基づいて対象パターンmが食み出していること
が判明すると(ステップ102)、この時には重心及び
面積の算出回数が1回であるため(ステップ103)、
制御系5から駆動信号を駆動系2へ出力し、その駆動系
2により可動テーブル6をXY方向に作動させ、基板1
の対象パターンmを重心データにより位置補正する(ス
テップ105)。尚、前記可動テーブル6のXYθ方向
への作動は、X方向及びY方向についてそれぞれ別々に
行なうか或いは同時に行なうようにすればよい。
【0022】そして、光学系3による画像入力(ステッ
プ100)を再度実行した後、対象パターンmの重心及
び面積を算出する(ステップ101)。次に、画像認識
系4から出力される面積データが前述した正規の面積値
と一致すれば、対象パターンmが認識ウィンドウb内に
入っていることになるので〔図1(b)参照〕、重心デ
ータによる位置補正(ステップ106)を実行し、制御
系5から出力される駆動信号に基づいて駆動系2により
可動テーブル6をXY方向に作動させ、対象パターンm
を認識ウィンドウbの中心に配置して対象パターンmの
位置出しを終了する〔図1(c)参照〕。
【0023】一方、前記画像認識系4から出力される面
積データが正規の面積値と一致しなければ、対象パター
ンmが依然として認識ウィンドウbから食み出している
ことになるので、この時には重心及び面積の算出回数が
2回であるため、前述と同様、重心データによる位置補
正(ステップ105)を実行する。その上で、光学系3
による画像入力(ステップ100)、対象パターンmの
重心及び面積の算出(ステップ101)、面積データに
基づく認識ウィンドウb内にあるか否かの判別(ステッ
プ102)を実行する。
【0024】そして、対象パターンmが認識ウィンドウ
b内に入っていれば、重心データによる位置補正(ステ
ップ106)を実行し、対象パターンmが認識ウィンド
ウbから依然として食み出していれば、重心及び面積の
算出回数が3回であるため、ブザーやランプによる警報
を発して(ステップ104)、対象パターンmの位置出
しを中止する。
【0025】尚、上記実施例では、一つの対象パターン
mが基板1上に形成されている場合について説明した
が、図4に示すように基板1が長尺で、且つ、その長手
方向に沿う両端部に第1及び第2の対象パターンm,
m’及び対象外パターンn,n’がそれぞれ形成されて
いる場合にも適用可能である。
【0026】この場合、本発明装置は、二つの対象パタ
ーンm,m’及びその周辺の対象外パターンn,n’を
撮像する第1及び第2の光学系3,3’と、前記二つの
対象パターンm,m’及び対象外パターンn,n’を撮
像した二つのカメラ視野を設定し、それぞれのカメラ視
野内で、隣接する対象外パターンn,n’間の狭小なエ
リア内に前記対象外パターンn,n’を除外する認識ウ
ィンドウを設定し、前記認識ウィンドウ内で対象パター
ンm,m’の重心及び面積を算出し、その重心及び面積
データを出力する第1及び第2の画像認識系4,4’と
を具備する。
【0027】更に、この場合は対象パターンが二個ある
のでθ方向の位置出しが可能であるので制御系15は駆
動系12、にXYθ方向に関する制御信号を送る。駆動
系12には可動テーブル16をXYθ方向に動かし位置
合わせを行なう。
【0028】
【発明の効果】本発明によれば、対象パターン及びその
周辺の対象外パターンを撮像したカメラ視野内で設定さ
れた認識ウィンドウに基づいて、対象パターンの面積デ
ータによる判別でもって、対象パターンの重心データに
よる位置補正を実行するようにしたから、画像認識によ
る簡単な処理でもって対象パターンのみを確実に位置出
しすることができ、信頼性が向上すると共に安価な装置
を提供できてその実用的価値は大である。
【図面の簡単な説明】
【図1】本発明方法を説明するためにカメラ視野を示す
図で、(a)は認識ウィンドウから対象パターンが食み
出した状態を示し、(b)は1回目の位置補正により対
象パターンが認識ウィンドウ内に入った状態を示し、
(c)は2回目の位置補正により対象パターンが認識ウ
ィンドウの中心にきた状態を示す。
【図2】本発明方法の手順を示すフローチャート
【図3】本発明装置の概略構成を示すブロック図
【図4】本発明の応用例を示すブロック図
【符号の説明】
1 基板 2 駆動系 3,3’ 光学系 4,4’ 画像認識系 5,15 制御系 6,16 可動テーブル a カメラ視野 b 認識ウィンドウ e 狭小なエリア m 対象パターン n 対象外パターン

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 基板上に形成されて基準となる対象パタ
    ーン及びその周辺の対象外パターンを撮像したカメラ視
    野内で、隣接する対象外パターン間の狭小なエリアに形
    成された対象パターンを画像認識により検出して位置出
    しする方法であって、前記対象外パターンを除外した認
    識ウィンドウを前記狭小なエリア内に設定し、その認識
    ウィンドウ内で前記対象パターンの重心及び面積を算出
    し、その面積データに基づいて前記対象パターンが認識
    ウィンドウ内か否かを判別し、その判別結果に基づいて
    対象パターンを重心データにより位置補正することを特
    徴とする画像認識によるパターン位置出し方法。
  2. 【請求項2】 基準となる対象パターン及びその周辺の
    対象外パターンが形成された基板をXY方向に移動させ
    る駆動系と、前記対象パターン及び対象外パターンを撮
    像する光学系と、そのカメラ視野内で、隣接する対象外
    パターン間の狭小なエリア内に前記対象外パターンを除
    外する認識ウィンドウを設定し、前記認識ウィンドウ内
    で対象パターンの重心及び面積を算出し、その重心及び
    面積データを出力する画像認識系と、前記面積データに
    基づいて対象パターンが認識ウィンドウ内か否かを判別
    し、その判別結果に基づいて対象パターンを重心データ
    により位置補正する制御系とを具備したことを特徴とす
    る画像認識によるパターン位置出し装置。
  3. 【請求項3】 前記基板が長尺で、且つ、その長手方向
    に沿い間隔を有して二つの対象パターンがそれぞれ形成
    され、前記駆動系が基板をXYθ方向に移動させるもの
    であり、二つの対象パターン及びその周辺の対象外パタ
    ーンを撮像する第1及び第2の光学系と、それぞれのカ
    メラ視野内で、隣接する対象外パターン間の狭小なエリ
    ア内に前記対象外パターンを除外する認識ウィンドウを
    設定し、前記認識ウィンドウ内で対象パターンの重心及
    び面積を算出し、その重心及び面積データを出力する第
    1及び第2の画像認識系とを含むことを特徴とする請求
    項2記載の画像認識によるパターン位置出し装置。
JP15724295A 1995-06-23 1995-06-23 画像認識によるパターン位置出し方法及び装置 Expired - Fee Related JP3166816B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15724295A JP3166816B2 (ja) 1995-06-23 1995-06-23 画像認識によるパターン位置出し方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15724295A JP3166816B2 (ja) 1995-06-23 1995-06-23 画像認識によるパターン位置出し方法及び装置

Publications (2)

Publication Number Publication Date
JPH095022A true JPH095022A (ja) 1997-01-10
JP3166816B2 JP3166816B2 (ja) 2001-05-14

Family

ID=15645361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15724295A Expired - Fee Related JP3166816B2 (ja) 1995-06-23 1995-06-23 画像認識によるパターン位置出し方法及び装置

Country Status (1)

Country Link
JP (1) JP3166816B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1213951A2 (en) * 2000-12-08 2002-06-12 Matsushita Electric Industrial Co., Ltd. Component-mounting method and component-mounting apparatus
JP2008311487A (ja) * 2007-06-15 2008-12-25 Yamaha Motor Co Ltd 部品実装装置
US20120007281A1 (en) * 2010-07-06 2012-01-12 Faurecia Interior Systems, Inc. Powder slush molding process and equipment
EP2903399A4 (en) * 2012-09-26 2016-07-27 Meiko Electronics Co Ltd METHOD FOR MANUFACTURING INTEGRATED COMPONENT SUBSTRATE AND INTEGRATED COMPONENT SUBSTRATE MADE USING THE SAME

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5064905B2 (ja) 2007-06-26 2012-10-31 ルネサスエレクトロニクス株式会社 半導体装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1213951A2 (en) * 2000-12-08 2002-06-12 Matsushita Electric Industrial Co., Ltd. Component-mounting method and component-mounting apparatus
US7020322B2 (en) 2000-12-08 2006-03-28 Matsushita Electric Industrial Co., Ltd. Component-mounting method and component-mounting apparatus
JP2008311487A (ja) * 2007-06-15 2008-12-25 Yamaha Motor Co Ltd 部品実装装置
US20120007281A1 (en) * 2010-07-06 2012-01-12 Faurecia Interior Systems, Inc. Powder slush molding process and equipment
US8851880B2 (en) * 2010-07-06 2014-10-07 Faurecia Interior Systems, Inc. Powder slush molding process and equipment
EP2903399A4 (en) * 2012-09-26 2016-07-27 Meiko Electronics Co Ltd METHOD FOR MANUFACTURING INTEGRATED COMPONENT SUBSTRATE AND INTEGRATED COMPONENT SUBSTRATE MADE USING THE SAME
US9622352B2 (en) 2012-09-26 2017-04-11 Meiko Electronics Co., Ltd. Manufacturing method for component incorporated substrate and component incorporated substrate

Also Published As

Publication number Publication date
JP3166816B2 (ja) 2001-05-14

Similar Documents

Publication Publication Date Title
JP2003004427A (ja) 画像比較による欠陥検査方法及びその装置
JP2768042B2 (ja) 距離測定装置
US6697146B2 (en) Range finder for finding range by image realization
JPH1096613A (ja) 欠陥検出方法及びその装置
JP3166816B2 (ja) 画像認識によるパターン位置出し方法及び装置
JP2001124700A (ja) ラインセンサーカメラを備えた検査機のキャリブレーション方法
JP2870695B2 (ja) 実装極性部品の極性検査方法および実装基板外観検査方法
JP3098847B2 (ja) 部品認識方法
JP2006234554A (ja) パターン検査方法およびパターン検査装置
JP3435578B2 (ja) パタ−ンの検査方法
JP3349292B2 (ja) 部品位置認識装置
JP3123275B2 (ja) 電子部品の欠品検査における検査データの作成方法
JPH07114688A (ja) 車両登録番号認識方法
JPH03201454A (ja) 半導体装置の位置合わせ方法
JP2974794B2 (ja) 多角形部品の多視野認識方法
JP3771329B2 (ja) 電子部品の取付方向検査方法
JPH06260794A (ja) 電子部品の位置認識方法および位置認識装置
JPH0674714A (ja) 基板位置検出方法
JP2601232B2 (ja) Icリードずれ検査装置
JP2974788B2 (ja) パターン位置検出方法
JP2708776B2 (ja) 面付部品のリードピン縦曲り検出方法
JP2001174221A (ja) 部品位置検出方法及び装置
JP2000249517A (ja) 実装部品の部品間検査方法およびその装置
JPH05275900A (ja) 部品リードの実装状態検査方法
JP3262030B2 (ja) 欠陥検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010123

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080309

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090309

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees