JPH10141928A - 非接触画像計測システム - Google Patents

非接触画像計測システム

Info

Publication number
JPH10141928A
JPH10141928A JP29425796A JP29425796A JPH10141928A JP H10141928 A JPH10141928 A JP H10141928A JP 29425796 A JP29425796 A JP 29425796A JP 29425796 A JP29425796 A JP 29425796A JP H10141928 A JPH10141928 A JP H10141928A
Authority
JP
Japan
Prior art keywords
measurement
imaging
edge
measured
design value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29425796A
Other languages
English (en)
Other versions
JP2971822B2 (ja
Inventor
Giyokubu Chiyou
玉武 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP29425796A priority Critical patent/JP2971822B2/ja
Publication of JPH10141928A publication Critical patent/JPH10141928A/ja
Application granted granted Critical
Publication of JP2971822B2 publication Critical patent/JP2971822B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 曲率の大きい部位のエッジも確実に検出し、
撮像手段と被測定対象との間の相対的な移動回数を減ら
して、被測定対象の輪郭形状を効率良く測定する。 【解決手段】 CCDカメラで撮像された被測定対象の
画像に含まれるエッジに沿って当該エッジを検出するた
めの検出ツールを順次生成する測定む制御部34と、こ
の測定制御部34によって生成された検出ツールによっ
て前記エッジの位置を測定する画像計測部35と、被測
定対象のエッジに関する設計値を記憶する設計値記憶部
33とが備えられる。測定制御部34は、設計値記憶部
33に記憶された設計値に基づいてエッジの予測曲線を
生成すると共にこの生成された予測曲線上に測定目標点
を設定し、この測定目標点上に検出ツールを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、CCDカメラ等
の撮像手段で被測定対象を撮像して得られた画像から被
測定対象の輪郭形状等を測定する非接触画像計測システ
ムに関する。
【0002】
【従来の技術】精密機械部品の輪郭形状は、直線や円弧
で表せる簡単なものよりも自由曲線でしか表せない複雑
なものが多い。このような輪郭形状を精密検査するに
は、数千或いはそれ以上の点を測定する必要がある。こ
のため、輪郭形状を効率よく測定できる非接触画像計測
システムが求められている。
【0003】従来の非接触画像計測システムでは、輪郭
形状を測定する場合、例えば図9(a)に示すように、
CCDカメラ等の撮像手段で捉えた撮像視野S内の被測
定対象の画像41のエッジ上に、オペレータの操作によ
って最初の2つの測定点(x1,y1),(x2,y2)を
設定する。そして、3番目以降の測定点(xi,yi)
は、直前の2つの既測定点(xi-2,yi-2),(xi-
1,yi-1)を利用して順次自動的に設定される。具体的
には、点(xi-2,yi-2)から点(xi-1,yi-1)へ向
かう直線Lを生成し、この直線L上に点(xi-1,yi-
1)から所定の距離H(H:測定ピッチ)だけ離れた点
(xi',yi')を測定目標点とする。次に、この測定目
標点(xi',yi')を中点とし、直線Lと直交する所定
長さ(サーチ距離)の直線からなるエッジ検出ツールT
を生成し、このエッジ検出ツールT上の画像の濃度変化
からエッジの位置を測定点(xi,yi)として求める。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の非接触画像計測システムでは、以下のような
問題がある。 (1)上記の測定点の検出方法は、エッジがほぼ直線に
沿って延びることを前提としているので、図9(b)に
示すように、被測定対象の画像41の輪郭に曲率の大き
い部位が存在していると、測定目標点(xi',yi')が
エッジから大きく外れるため、エッジ検出が不能にな
り、測定が途中で中断される場合がある。
【0005】(2)図9(c)に示すように、次の測定
点(xi,yi)の測定目標点(xi',yi')が撮像視野
Sから外れると、次の測定目標点(xi',yi')が次の
撮像視野S’内に入るように撮像手段を被測定対象に対
して移動させるが、次の測定点以後の測定点が全く分か
らないため、次の測定目標点(xi',yi')が次の撮像
視野S’の中心に位置するように撮像手段を駆動する。
そうすると、駆動前の撮像視野Sと駆動後の撮像視野
S’との間に大きなオーバラップ部分が発生する。この
ため、測定全体における撮像手段の駆動回数が多くな
り、測定時間が長くなるという問題がある。
【0006】本発明は、このような点に鑑みなされたも
ので、曲率の大きい部位のエッジも確実に検出すること
ができる非接触画像計測システムを提供することを目的
とする。本発明はまた、撮像手段と被測定対象との間の
相対的な移動回数を減らして、被測定対象の輪郭形状を
効率良く測定することができる非接触画像計測システム
を提供することを他の目的とする。
【0007】
【課題を解決するための手段】本発明の第1の非接触画
像計測システムは、被測定対象を撮像する撮像手段と、
この撮像手段で撮像された前記被測定対象の画像に含ま
れるエッジに沿って当該エッジを検出するための検出ツ
ールを順次生成する制御手段と、この制御手段によって
生成された検出ツールによって前記エッジの位置を測定
する計測手段と、前記被測定対象の前記エッジに関する
設計値を記憶する設計値記憶手段とを備え、前記制御手
段が、前記設計値記憶手段に記憶された設計値に基づい
て前記エッジの予測曲線を生成すると共にこの生成され
た予測曲線上に測定目標点を設定し、この測定目標点上
に前記検出ツールを生成するものであることを特徴とす
る。
【0008】また、本発明の第2の非接触画像計測シス
テムは、上記構成において、前記制御手段が、前記撮像
手段の撮像視野内に可能な限り多くの前記検出ツールを
収納し、且つ同一の検出ツールが異なる撮像視野内に重
複して収納されないように、前記被測定対象に対する前
記撮像手段の測定位置を順次移動させるものであり、前
記計測手段が、前記各測定位置において前記撮像視野内
に含まれる検出ツールによって前記エッジの位置を測定
するものであることを特徴とする。
【0009】即ち、対象物の輪郭形状の設計値は、CA
D/CAMシステムにおいて、所定の言語で記述され、
CADデータ・ファイルの形で保存されているのが一般
的である。本発明では、この点に着目し、エッジ(輪郭
形状)に関する設計値を設計値記憶手段に記憶してお
き、この記憶された設計値に基づいてエッジの予測曲線
を生成し、この生成された予測曲線上に測定目標点を設
定するようにしている。このため、どのような曲率の部
位であっても測定目標点がエッジから大きく外れること
はなく、検出ツールを常にエッジに沿った正しい位置に
生成することができる。これにより、測定開始点から測
定終了点までエッジを見失うことなしに連続的な計測が
可能となる。
【0010】また、本発明によれば、設計値に基づいて
測定目標点を決定するので、測定開始点から測定終了点
に至る全ての測定目標点が予め分かっている。このた
め、撮像手段の撮像視野内に可能な限り多くの検出ツー
ルを収納し、且つ同一の検出ツールが異なる撮像視野内
に重複して収納されないように、被測定対象に対する撮
像手段の測定位置を順次移動させるようにすれば、隣接
する撮像視野間でオーバラップする部分が非常に少なく
なる。このため、測定全体における撮像手段と被測定対
象との相対的な移動動作を従来よりも大幅に少なくする
ことができ、被測定対象の輪郭形状の測定効率を向上さ
せることができる。
【0011】
【発明の実施の形態】以下、図面を参照してこの発明の
好ましい実施の形態について説明する。図1は、この発
明の一実施例に係る非接触画像計測システムの全体構成
を示す斜視図である。このシステムは、非接触画像計測
型の三次元測定機1と、この三次元測定機1を駆動制御
すると共に、必要なデータ処理を実行するコンピュータ
システム2と、計測結果をプリントアウトするプリンタ
3とにより構成されている。
【0012】三次元測定機1は、次のように構成されて
いる。即ち、架台11上には、被測定対象であるワーク
12を載置する測定テーブル13が装着されており、こ
の測定テーブル13は、図示しないY軸駆動機構によっ
てY軸方向に駆動される。架台11の両側縁中央部には
上方に延びる支持アーム14,15が固定されており、
この支持アーム14,15の両上端部を連結するように
X軸ガイド16が固定されている。このX軸ガイド16
には、撮像ユニット17が支持されている。撮像ユニッ
ト17は、図示しないX軸駆動機構によってX軸ガイド
16に沿って駆動される。撮像ユニット17の下端部に
は、CCDカメラ18が測定テーブル13と対向するよ
うに装着されている。また、撮像ユニット17の内部に
は、図示しない照明装置及びフォーカシング機構の他、
CCDカメラ18のZ軸方向の位置を移動させるZ軸駆
動機構が内蔵されている。
【0013】コンピュータシステム2は、コンピュータ
本体21、キーボード22、ジョイスティックボックス
23、マウス24及びCRTディスプレイ25を備えて
構成されている。コンピュータ本体21は、図示しない
CPU、ROM、RAM及びハードディスク装置等から
構成され、所定のソフトウェアとの協働によって、図2
に示すような各種の機能を実現する。
【0014】即ち、CCDカメラ18で捉えたワーク1
2の撮像視野内の多値画像データは、画像メモリ31に
格納される。画像メモリ31に格納された多値画像デー
タは、表示制御部32の動作によってCRTディスプレ
イ25に表示される。また、設計値記憶部33には、ワ
ーク12の輪郭形状等を記述した設計値データが記憶さ
れている。この設計値データとしては、例えばIGES
(Initial Graphic Exchange Specification)ファイ
ル、DXFファイル(DXF:米国オートデスク社の商
標)等のCADデータ・ファイルとして記述されたデー
タを使用する。
【0015】測定制御部34は、キーボード22,マウ
ス22及びジョイスティックボックス23からのオペレ
ータによる指令、並びに設計値記憶部33に記憶された
設計値データに基づいて、撮像視野内のワーク12の輪
郭測定に必要なエッジ検出ツールを生成して画像計測部
35に計測指令を出力したり、ワーク12に対する撮像
視野を移動させるため、三次元測定機1に測定テーブル
13の移動指令を出力する。画像計測部35は、測定制
御部34の制御の下で、生成されたエッジ検出ツールに
基づいて輪郭測定処理を実行する。この測定結果は測定
結果評価部36に与えられる。測定結果評価部36は、
画像計測部35からの測定結果と設計値記憶部33に記
憶された設計値データとを比較して測定結果を評価し、
この評価結果をプリンタ3に出力する。
【0016】次に、このように構成された本実施例に係
る非接触画像計測システムの輪郭測定処理を説明する。
図3は、輪郭測定処理のための測定制御部34のフロー
チャートである。先ず、キーボード22、マウス24に
よるオペレータの指令に基づいて、ワーク12の座標系
と設計値座標系とを一致させるため、ワーク12の複数
点を測定し、これらの点の座標を設計値座標系の座標に
対応させるようにワーク座標系を設定する(S1)。次
に、設計値記憶部33からワーク12の輪郭形状の設計
値データを取り出し(S2)、図4に示すように、設計
値データ(xi",yi")(但し、i=1〜n)の点列
(図中○で表示)をつなぐエッジの予測曲線Cを例えば
スプライン関数で作成し、この予測曲線Cを始点から終
点まで予め指定された測定ピッチHで分割して測定目標
点(xi',yi')(但し、i=1〜N)の点列(図中・
で表示)を算出する(S3)。なお、ここでは設計値デ
ータの点列と測定目標点の点列とが異なっているが、こ
れらを全く同じにしてもよい。
【0017】続いて、図5に示すように、各測定目標点
(xi',yi')を中点とし、予測曲線Cに直交する所定
長さの直線をエッジ検出ツールTi(但し、i=1〜
N)として生成する(S4)。このとき、各エッジ検出
ツールTiの始点(xsi,ysi)と終点(xei,yei)
の座標も同時に算出しておく。
【0018】次に計測制御処理を実行する(S5)。こ
の計測制御処理では、図6に示すように、CCDカメラ
18の撮像視野S内に可能な限り多くのエッジ検出ツー
ルTiが収まるように、且つ同じエッジ検出ツールTiが
異なる撮像視野内に重複して収容されないように撮像視
野を順次移動させながら、視野内のエッジ検出ツールT
iに沿ったエッジ点の測定処理が実行される。
【0019】図7は、この計測制御処理のフローチャー
トである。撮像視野Sのx軸方向長さをSx、y軸方向
長さをSyとすると、ステップS11〜S17では、1
つの撮像視野S(Sx×Sy)に収容可能なエッジ検出
ツールTiの組を決定する。即ち、まず、1つの撮像視
野S内に収容される最も始点に近いツールの番号iと同
じく最も終点に近いツールの番号jをそれぞれ1に初期
設定する(S11)。そして、jの値を更新しながら1
つの撮像視野Sをはみ出すまでj番目のツールTjの始
点(xsi,ysi)と終点(xei,yei)に基づいて、撮
像視野Sの範囲及び位置を決定するためのパラメータ、
即ちx軸方向の最大値xmax、最小値xmin、並びにy軸
方向の最大値ymax、最小値yminを順次更新しながら求
めていく(S12〜S17)。
【0020】具体例に沿ってこれを説明すると、例え
ば、図8(a)のように、xy座標系が設定されている
場合、1番目(i=j=1)のツールT1については、
ステップS12でその始点(xsj,ysj)が(xmin,
ymin)となり、終点(xej,yej)が(xmax,yma
x)となる。次に、図8(b)のように、j=2となる
と、xmin,ymaxは変化なしとなるが、xmax,yminは、
それぞれ新たなツールT2の始点及び終点座標に基づい
て、xmax=xej,ymin=ysjとなる。このようなxma
x,xmin,ymax,yminの更新を行っているのがステッ
プS16である。図8(c)に示すように、j=4にな
ってツールT1〜T4までの範囲を求めると、この範囲の
y軸方向長さが撮像視野Sのy軸方向の長さSyを越え
る。これを判定しているのがステップS17である。そ
こで、続くステップS18では、図8(d)に示すよう
に、jを1つ減らし、それまでに求められたxmax,xm
in,ymax,yminで示される範囲の中心点(xc,yc)
(ステップS15で逐次求められている)へ撮像視野S
の中心点を位置させるべく三次元測定機への移動指令を
出力し、画像計測部35に計測実行を指示する。計測が
終了したら、iとjをj+1に更新して(S19)、こ
れらがNを越えるまでステップS12〜S18の処理を
繰り返す。
【0021】この処理により、図6に示すように、撮像
範囲Sの重複する部分を極力少なくしながら効率の良い
計測が可能になる。
【0022】
【発明の効果】以上述べたようにこの発明によれば、エ
ッジ(輪郭形状)に関する設計値を設計値記憶手段に記
憶しておき、この記憶された設計値に基づいてエッジの
予測曲線を生成し、この生成された予測曲線上に測定目
標点を設定するようにしているので、どのような曲率の
部位であっても測定目標点がエッジから大きく外れるこ
とがなく、測定開始点から測定終了点までエッジを見失
うことなしに連続的な計測が可能となるという効果を奏
する。
【0023】また、本発明によれば、撮像手段の撮像視
野内に可能な限り多くの検出ツールを収納し、且つ同一
の検出ツールが異なる撮像視野内に重複して収納されな
いように、被測定対象に対する撮像手段の測定位置を順
次移動させるようにすることにより、隣接する撮像視野
間でオーバラップする部分を少なくすることができるの
で、測定全体における撮像手段と被測定対象との相対的
な移動動作を従来よりも大幅に少なくすることができ、
被測定対象の輪郭形状の測定効率を向上させることがで
きるという効果を奏する。
【図面の簡単な説明】
【図1】 本発明の一実施例に係る非接触画像計測シス
テムの斜視図である。
【図2】 同システムにおけるコンピュータシステムの
機能を示す機能ブロック図である。
【図3】 同システムにおける輪郭計測処理のフローチ
ャートである。
【図4】 同輪郭計測処理の設計値に基づく測定目標点
の設定処理を説明するための図である。
【図5】 同測定目標点にエッジ検出ツールを設定した
状態を示す図である。
【図6】 同輪郭計測処理における効率的な撮像視野の
設定方法を説明するための図である。
【図7】 同撮像視野の設定を含む計測制御処理のフロ
ーチャートである。
【図8】 同撮像視野の設定処理を説明するための図で
ある。
【図9】 従来の輪郭計測処理を説明するための図であ
る。
【符号の説明】
1…三次元測定機、2…コンピュータシステム、3…プ
リンタ、11…架台、12…ワーク、13…測定テーブ
ル、14,15…支持アーム、16…X軸ガイド、17
…撮像ユニット、18…CCDカメラ、21…コンピュ
ータ本体、22…キーボード、23…ジョイスティック
ボックス、24…マウス、25…CRTディスプレイ、
31…画像メモリ、32…表示制御部、33…設計値記
憶部、34…測定制御部、35…画像計測部、36…測
定結果評価部。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 被測定対象を撮像する撮像手段と、 この撮像手段で撮像された前記被測定対象の画像に含ま
    れるエッジに沿って当該エッジを検出するための検出ツ
    ールを順次生成する制御手段と、 この制御手段によって生成された検出ツールによって前
    記エッジの位置を測定する計測手段と、 前記被測定対象の前記エッジに関する設計値を記憶する
    設計値記憶手段とを備え、 前記制御手段は、前記設計値記憶手段に記憶された設計
    値に基づいて前記エッジの予測曲線を生成すると共にこ
    の生成された予測曲線上に測定目標点を設定し、この測
    定目標点上に前記検出ツールを生成するものであること
    を特徴とする非接触画像計測システム。
  2. 【請求項2】 前記制御手段は、前記撮像手段の撮像視
    野内に可能な限り多くの前記検出ツールを収納し、且つ
    同一の検出ツールが異なる撮像視野内に重複して収納さ
    れないように、前記被測定対象に対する前記撮像手段の
    測定位置を順次移動させるものであり、 前記計測手段は、前記各測定位置において前記撮像視野
    内に含まれる検出ツールによって前記エッジの位置を測
    定するものであることを特徴とする請求項1記載の非接
    触画像計測システム。
JP29425796A 1996-11-06 1996-11-06 非接触画像計測システム Expired - Fee Related JP2971822B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29425796A JP2971822B2 (ja) 1996-11-06 1996-11-06 非接触画像計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29425796A JP2971822B2 (ja) 1996-11-06 1996-11-06 非接触画像計測システム

Publications (2)

Publication Number Publication Date
JPH10141928A true JPH10141928A (ja) 1998-05-29
JP2971822B2 JP2971822B2 (ja) 1999-11-08

Family

ID=17805384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29425796A Expired - Fee Related JP2971822B2 (ja) 1996-11-06 1996-11-06 非接触画像計測システム

Country Status (1)

Country Link
JP (1) JP2971822B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0972913A1 (en) 1998-07-15 2000-01-19 Fuji Oozx Inc. Method of controlling an electric valve drive device and a control system therefor
EP0972912A1 (en) 1998-07-15 2000-01-19 Fuji Oozx Inc. Electric valve drive device in an internal combustion engine
JP2006138782A (ja) * 2004-11-15 2006-06-01 Nikon Corp 画像測定機
WO2012057283A1 (ja) * 2010-10-27 2012-05-03 株式会社ニコン 形状測定装置、形状測定方法、構造物の製造方法およびプログラム
JP2018522240A (ja) * 2015-07-13 2018-08-09 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company アーチファクトを測定するための方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0972913A1 (en) 1998-07-15 2000-01-19 Fuji Oozx Inc. Method of controlling an electric valve drive device and a control system therefor
EP0972912A1 (en) 1998-07-15 2000-01-19 Fuji Oozx Inc. Electric valve drive device in an internal combustion engine
JP2006138782A (ja) * 2004-11-15 2006-06-01 Nikon Corp 画像測定機
WO2012057283A1 (ja) * 2010-10-27 2012-05-03 株式会社ニコン 形状測定装置、形状測定方法、構造物の製造方法およびプログラム
CN103180691A (zh) * 2010-10-27 2013-06-26 株式会社尼康 形状测定装置、形状测定方法、构造物的制造方法及程序
JP5648692B2 (ja) * 2010-10-27 2015-01-07 株式会社ニコン 形状測定装置、形状測定方法、構造物の製造方法およびプログラム
TWI510756B (zh) * 2010-10-27 2015-12-01 尼康股份有限公司 A shape measuring device, a shape measuring method, a manufacturing method and a program for a structure
JP2018522240A (ja) * 2015-07-13 2018-08-09 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company アーチファクトを測定するための方法

Also Published As

Publication number Publication date
JP2971822B2 (ja) 1999-11-08

Similar Documents

Publication Publication Date Title
JP3608920B2 (ja) 非接触画像計測システム
JP3596753B2 (ja) 画像測定装置用パートプログラム生成装置及び方法
JP3853620B2 (ja) 画像測定装置用パートプログラム生成装置及びプログラム
JP2971822B2 (ja) 非接触画像計測システム
JP2873883B2 (ja) 線画像の線幅検出方法
JP2007071835A (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
CN117506931A (zh) 一种基于机器视觉的坡口切割路径规划及校正设备与方法
JP3595014B2 (ja) エッジ検出方法及びこれを用いた非接触画像計測システム
JP2978808B2 (ja) 画像測定装置
JPH05318280A (ja) 研削ロボットの研削姿勢生成装置
JPH05150835A (ja) ロボツトによる組み立て装置
JPH09250909A (ja) 非接触画像計測方法及びシステム
JPH11203485A (ja) 画像測定装置
JP3853507B2 (ja) 線幅測定方法及び装置
US5471536A (en) Figure digitizing system
JPH11351824A (ja) 座標系補正方法及び画像測定装置
JP3595015B2 (ja) 画像の重心位置検出方法
JP2836281B2 (ja) 溶接ロボットのためのデータ作成方法
JP3650205B2 (ja) 非接触画像計測システム及びエッジ追跡測定方法
JP2501150B2 (ja) レ―ザ溶接方法
JP2023152778A (ja) 寸法測定装置及び寸法測定方法並びに寸法測定用プログラム、溶接箇所の良否判定装置
JPH10105717A (ja) パターンマッチング用テンプレートの作成方法
JPH10103921A (ja) 光切断法によるワークの断面計測方法
JP3967400B2 (ja) 物体認識装置
JP2536948B2 (ja) 3点指定円弧検出方法及び装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110827

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140827

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees