JP3788060B2 - 三次元形状計測法および装置 - Google Patents

三次元形状計測法および装置 Download PDF

Info

Publication number
JP3788060B2
JP3788060B2 JP25940198A JP25940198A JP3788060B2 JP 3788060 B2 JP3788060 B2 JP 3788060B2 JP 25940198 A JP25940198 A JP 25940198A JP 25940198 A JP25940198 A JP 25940198A JP 3788060 B2 JP3788060 B2 JP 3788060B2
Authority
JP
Japan
Prior art keywords
light
dimensional shape
shape measuring
measurement
optical shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25940198A
Other languages
English (en)
Other versions
JP2000074637A (ja
Inventor
義紀 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP25940198A priority Critical patent/JP3788060B2/ja
Publication of JP2000074637A publication Critical patent/JP2000074637A/ja
Application granted granted Critical
Publication of JP3788060B2 publication Critical patent/JP3788060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は三次元形状計測法および装置に係り、特に信頼性の高い距離情報の取得に好適な三次元形状計測法および装置に関する。
【0002】
【従来の技術】
非接触で測定対象物の三次元情報を得る方法は、受動的方法と能動的方法に大別できる。受動的方法には、ステレオ画像を用いた両眼視法やShape from Xと総称される単眼視法がある。ステレオ画像法とは、視点を変えた左右2枚の対象物画像を取り込み、両画像の対応点を抽出することにより視差を算出し、三角測量の原理により対象物までの距離を求める方式である。この方式は、左右2枚の画像に特徴的な画像情報がない場合、対応点の決定にあいまいさが残り計測精度が低くなる。また、Shape from Xは一つの画像から三次元情報を得ることができるものである。Shape from Xの中の一つであるShape from Shadingは、物体の反射光の傾きからその物体の面の傾きを求め、得られた複数の面を繋ぎあわせて三次元形状を再構成する方式である。この方式は、対象物の反射率が一様でないと計測精度が低くなる。このようなことから、この種の受動的方法は実用的なレベルに至ってない。
【0003】
一方、能動的方法は、何らかのエネルギーを対象物に照射し、その反射エネルギーを検出して距離を求めるものである。この方法では、測定精度の点で光を用いた方式が主流であり、受動的方法に比べて測定精度が高いが、受動的方法のようにシーン全体の距離画像を一括に取り込むことはできない。そのため光線等を対象物全体に照射して走査しなければならず、計測時間が長くかかるといった問題がある。
【0004】
計測時間の短縮を目的として工夫された方式として、空間コード化法がある。これは光切断法の改良である。光切断法においても、光源をスポット光からスリット光にすることにより照射領域を点から線に変更し、計測時間の短縮を計っている。測定原理は、いずれも光源と撮像面を幾何学的に既知の配置にしておき、射出部と撮像面からなる線(基線)に対する光源から射出された光の角度と撮像面上の反射像と対象物上の像を結ぶ線と基線がなす角度から、三角測量の原理に基づいて対象物までの距離を求めるものである。
【0005】
光切断法をさらに改良したのが空間コード化法である。光切断法のスリット光がちょうど空間を1進数でコード化しているのに対し、空間コード化法は、2進数のようなコードで符号化することにより、少ない撮像回数で距離画像を得ようとするものである。この方式では、グレーコードパターンと呼ばれる2進符号で明暗をつけられた光パターンが順番に投影される。nビットの2進数で符号化された光パターンを用いれば、測定空間は2n−1本のスリット光を投影しているのと等価になる。例えば4ビットのグレーコードでは、4回の投影で15本のスリット光を投影したのと等価になる。
【0006】
これらの方式とは発想を異にしたものが、米国特許第4199253号明細書に提案されている。この方式は、先に示した方式の照射光であるスポット光あるいはスリット光が形成する光線あるいは光の面が距離方向に対して平行であるのに対し、距離方向に垂直な面を持つ平面光を形成し、それらの平面光の距離方向における幅をコード化し、測定対象に照射/撮像を繰り返すものである。この方式は、いわば距離方向における空間コード化法と言える。測定対象までの距離は、平面光の射出から反射像を取り込むまでの時間と光速とで求まる。コード化しているため、撮像回数を少なくすることができる。
【0007】
これらの能動的方法は種々の改良がなされてきているが、距離データの一括取得に関してはいまだ完全ではなく、特に動きのある計測対象には適用しにくいという使用条件の大きな制約があった。
【0008】
距離方向における空間コード化法に類する方式として、例えば「フェムト秒パルス光による形状計測」、計測・制御・システム工学部会シンポジウム、3次元形状計測の最新動向、17頁−28頁、1997に提案されている方式がある。この方式は、一つのパルス光の先頭から末尾にかけて、色が時間とともに連続的に変化する光パルス(チャープした光パルス)を照射し、反射光をあるタイミングで高速光シャッタを用いて切り出して、一括で三次元形状を計測するものである。この方式によれば、一括で距離情報を取得できるため、動画における計測にも適用できる。
【0009】
【発明が解決しようとする課題】
しかしながらこの上記方式では、ダイナミックレンジがチャープパルス幅により、また距離分解能が色分解能によって決定される。このため、ダイナミックレンジを大きくとると、色のスペクトル幅が広がることにより距離分解能が低下してしまう。それに対してダイナミックレンジが小さい場合は、撮像系の色分解能の限界により距離分解能が制限される。このようなことからこの方式では、距離情報の信頼性の面において問題があった。
【0010】
従って本発明の目的は、信頼性の高い距離情報を一括で取得可能な三次元形状計測法および装置を提供することにある。
【0011】
【課題を解決するための手段】
上記目的は、光源から射出する異なる波長の光の順番をM系列符号等を用いてコード化し、あるいは単一波長の光の射出タイミングを変えてM系列符号等を用いてコード化することにより、ダイナミックレンジと距離分解能の相互関係を無くして、両者を任意に設定し得るようにした三次元形状計測法および装置により、達成される。
【0012】
本発明に係る三次元形状計測法は、具体的には、測定対象に光が射出されてから反射像が取り込まれるまでの時間を用いて測定対象までの距離を計測するものであって、射出される光の順番をコード化し、コード化された光の反射像をデコードすることにより距離計測を行うようにしたものである。ここで、測定対象に射出される光は、平面光あるいは略平面光を用いる。平面光とは、波面が伝搬方向に垂直な平面である光をいう。またコード化は、射出される光の波長あるいは光の射出タイミングを変えることにより行われる。これらのコード化は、上述のとおり、例えばM系列符号に従って行われる。
【0013】
また、本発明に係る三次元形状計測装置は、測定対象に光を射出する光射出装置と、測定対象の反射像を取り込む撮像装置とを備え、光射出装置による光の射出から撮像装置による反射像の取り込みまでの時間を用いて測定対象までの距離を計測するものであって、前記光射出装置は射出する光の順番をコード化する手段を有し、また前記撮像装置は前記コード化された光の反射像をデコードする手段を有する。そして、この光射出装置は平面光又は略平面光を射出するように構成される。
【0014】
ここで用いる光射出装置は、異なる波長の光を発生する複数の光源と、各光源からの光をそれぞれオンオフする複数の光シャッタとを備えて構成される。この複数の光源は、それぞれ赤色(R)、緑色(G)および青色(B)の波長成分を有する光を発生するものである。また光射出装置は、単一波長の光を発生する光源と、前記光源からの光の射出タイミングを変える光シャッタとを備えて構成することもできる。これらの光シャッタはM系列符号に対応した動作を行うように制御される。一方、撮像装置の方は、光の反射像をオンオフする光シャッタと、光シャッタを介して入力された反射像をストアする感光性フィルムとを備えて構成される。光シャッタとしては、例えばカーセルあるいはポッケルスセルが用いられる。
【0015】
このように構成することにより、信頼性の高い距離情報を一括で取得可能な三次元形状計測法および装置を得ることができる。
【0016】
【発明の実施の形態】
以下、本発明の実施例を述べる前に、その原理を説明する。本発明は、光射出装置と測定対象を結ぶ方向に対してパルス状で垂直な面状の光(平面光)を光射出装置により形成し、これを測定対象に向かって進行させ、反射像を撮像するものである。平面光の射出時刻と反射像の撮像時刻を計測することにより、これらの計測値と光速とから測定対象までの距離が求まる。この作業を測定対象全体に渡って繰り返し行って、測定対象全体の三次元形状を求める。
【0017】
予め複数の平面光を形成することにより繰り返し撮像は不要となり、ワンショットで距離画像を取得できることになるが、このままでは対象物上のそれぞれの像と撮像装置で取り込んだそれぞれの撮像イメージとの対応がとれず、対象物の凹凸の判断がつかない。そこで、複数の平面光の順番をコード化し、撮像装置で得られたの撮像イメージをデコードする。これにより、それぞれの撮像イメージの射出時刻が明らかとなり、対象物の凹凸を判断することができる。本発明では、コード化する方法としてM系列符号法を用いることができる。これは符号長が同じであれば、系列長を最も長く取れるコード化法であるため、本方式には有効である。q元の符号長nのM系列は、次式で与えられる。
【0018】
【数1】
n−1 (数1)
【0019】
qの値(平面光を特徴づける種類の個数)は、多いほどコード化の効率は高くなるが、それに伴って判定が難しくなり判定ミスが多く発生する。実用的には2〜3が適当である。平面光を特徴づけるやり方は、特に指定はない。例えば、光の波長や強度を変えても良いし、単一の波長で射出のタイミングを変えても良い。また平面光の距離方向の幅を変えても良い。そして、それらの組み合わせを用いることもできる。このように、何らかの特徴付けをした平面光をM系列化し、測定対象に複数の平面光を照射し、高速撮像装置により一括で取り込んだ複数の反射像をデコードする。これにより、それぞれの撮像イメージの射出時刻が明らかとなり、対象物の凹凸を判断することができる。
【0020】
以下、図面を参照しながら実施例に基づいて、本発明を具体的に説明する。
図1は本発明に係る三次元形状計測法の一実施例を示す図である。図のように、光射出装置1により所定のタイミングに従って平面光2を複数形成し、これを測定対象3に向けて進行させ、測定対象3上に所定の像(等高線イメージ)を形成させる。そして、この反射像を高速撮像装置4で取り込んで処理をする。ここで光射出装置1は、光射出部5、エクスパンダー6およびコリメーター7を備えて構成される。光射出部5から射出された光は、エクスパンダー6およびコリメーター7により一旦拡大され平面光2が形成される。この平面光2は、厳密に言うとエクスパンダー6からコリメーター7までの光路長が中心と端で異なるため完全な平面光ではないが、光路差を距離方向の分解能に対して十分小さく取ることにより平面光として扱うことができる。また、より厳密に測定する場合は、後で光路差分を補正する。
【0021】
平面光2は、図2に示すように赤緑青(RGB)の3色から構成される。光源としては、それらの色に対応するRGBのレーザ光を用いた。RGB夫々の平面光の順番は、3元のM系列符号に従っており、これにより平面光はコード化される。
【0022】
図3は、光射出部5および高速撮像装置4の一例を示すブロック図である。光射出部5は、RGBの光を発生するレーザ光源51と、レーザ光源51からの光をオン/オフする光シャッタ52と、レーザ光源51に信号を出力するカウンタ53と、光シャッタ52に信号を出力する高精度パルスジェネレータ54とを備えて構成される。光シャッタ51は、距離方向に幅の狭い平面光を形成するために、高い周波数で動作する。光シャッタ51としては、例えばカーセル(Kerr Cell)やポッケルスセル(Pockels Cell)のような光学素子が用いられる。これらの光学素子は動作周波数が1GHz以上であるため、レーザ光源51が連続射出の場合であっても、短パルスの光源と同様な平面光が形成される。
【0023】
上述のとおり光射出部5は、RGBのレーザ光源51と、それに対応して設けられた光シャッタ52とを組み合わせて構成される。レーザ光源51は連続発振動作をするものであり、通常のカウンタ53等のコントローラからの信号lr、lg、lbにより制御される。一方、光シャッタ52は高精度なオン/オフ動作を必要とするものであり、高精度パルスジェネレータ54からの信号Sr、Sg、Sbにより制御される。この高精度パルスジェネレータ54は、例えば時間分解能が5psec、レンジが0〜1000sec、周期が1MHzのもので、各光シャッタ52のオン/オフ動作を高精度に制御することができる。
【0024】
図4は、レーザ光源51と光シャッタ52のタイミングチャートを示す図である。RGBのレーザ光源51にはカウンタ53からそれぞれ図に示すような信号lr、lg、lbが与えられ、連続的に光を射出する。高精度パルスジェネレータ54にSTS(Start Trigger Signal:スタートトリガ信号)を入力すると、図に示すような信号Sr、Sg、Sbが出力される。これらの信号に基づいてRGBの光シャッタ52はオン/オフする。図のパルス信号の間隔が距離方向の分解能に相当する。本実施例ではパルス間隔を50psecに設定することにより、分解能を15mmとした。これらの信号は、M系列符号に従って設定されている。このように、レーザ光源51より射出した連続光を光シャッタ52でオン/オフすることにより形成された平面光2は、先の図2に示したような、M系列符号に従った順番で連続して測定対象3に照射され、測定対象3上に像が形成される。
【0025】
高速撮像装置4は測定対象3からの反射像を取り込むもので、図3に示すように、RGB用の3つの光シャッタ41と、フィルタ42と、感光性フィルム43とを備えて構成される。本実施例では、高速な撮像を可能にするため、光のオン/オフを瞬時で行うことのできる光シャッタと、光シャッタを通過した光情報をストアする媒体とを組み合わせている。光シャッタ41としては、先の光射出部5で説明したカーセル(Kerr Cell)やポッケルスセル(Pockels Cell)のような光学素子を用いる。また光情報をストアする媒体としては、感光性フィルム43を用いる。
【0026】
これらを図に示したように3つ配列し、光シャッタ41と感光性フィルム43の間にRGBに対応したフィルタ42を介在させることにより、測定対象3上のRGB3色の反射像をストアする。感光性フィルム43は、当然のことながら可視光線領域に感度を持つ材料を用いる。光シャッタ41は、光射出部5と同様に高精度パルスジェネレータ54からの信号により制御される。この場合、高精度パルスジェネレータ54からは図4に示すような信号aが与えられ、測定対象3上のRGB3色の反射像を一括でストアする。
【0027】
また図示していないが、ビームスプリッタを用いれば、一つの光シャッタでも済む。この場合、光シャッタを通過した光をビームスプリッタでRGBに分割し、それぞれに対応する感光性フィルムで光の像をストアする。ストアされた像をデコードすることにより、測定対象上の等高線イメージとストアされた像の対応が付く。従って、測定対象3上の等高線イメージまでの距離は、図4で示したタイミングチャートの信号Sr、Sg、Sbと信号a間のタイミングを計測することにより求めることができる。このようにして測定対象上の三次元形状を一括で計測する。
【0028】
図5は、平面光2の系列の他の例を示す図である。先の図2の例では平面光の特徴付けを光の波長を変えることにより行っているが、本例では単一の波長で射出のタイミングを変えることにより行っている。すなわち図5に示すように、射出の間隔を3通り設定し、それらを−1、0、1として対応づけ、3元のM系列符号に割り当てる。本例における光射出装置および高速撮像装置の構成および動作は、上述の実施例と同様である。また、図4におけるタイミングチャートの信号Sr、Sg、SbがM系列符号に対応するように高精度パルスジェネレータを動作させる。
【0029】
このように本発明は、光射出装置と測定対象を結ぶ方向に対して垂直な面を持つ複数の平面光の光の波長あるいは射出タイミングをコード化して測定対象に照射し、複数の反射像を高速撮像装置で取り込むことにより、光射出装置と測定対象を結ぶ方向において距離的に等価な等高線イメージを得るものである。そして、高速撮像装置で取り込んだ反射像をデコードし、平面光の夫々の出射時刻から高速撮像装置の反射像取り込み時刻までの時間を用いて、測定対象上の夫々の等高線イメージまでの距離を計測する。これにより一括で信頼性の高い距離情報を取得可能となり、三次元形状計測法および装置として、より広い用途に適用することができるようになる。
【0030】
【発明の効果】
本発明によれば、信頼性の高い距離情報を一括で取得可能な三次元形状計測法および装置を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る三次元形状計測法の一実施例を示す図である。
【図2】平面光の系列の一例を示す図である。
【図3】光射出部および高速撮像装置の一例を示すブロック図である。
【図4】レーザ光源と光シャッタのタイミングチャートを示す図である。
【図5】平面光の系列の他の例を示す図である。
【符号の説明】
1 光射出装置
2 平面光
3 測定対象
4 高速撮像装置
5 光射出部
41 光シャッタ
42 フィルタ
43 感光性フィルム
51 レーザ光源
52 光シャッタ
53 カウンタ
54 高精度パルスジェネレータ

Claims (11)

  1. 測定対象に光が射出されてから反射像が取り込まれるまでの時間を用いて測定対象までの距離を計測する三次元形状計測法であって、前記射出される異なる波長の光の順番をコード化し、または単一波長の光の射出タイミングを変えてコード化し、前記コード化された光の反射像をデコードすることにより距離計測を行うようにしたことを特徴とする三次元形状計測法。
  2. 前記測定対象に射出される光が測定対象に光を射出する光射出装置と測定対象を結ぶ方向に対して垂直な平面光又は略平面光であることを特徴とする請求項1記載の三次元形状計測法。
  3. 前記コード化がM系列符号に従って行われることを特徴とする請求項又は記載の三次元形状計測法。
  4. 測定対象に光を射出する光射出装置と、前記測定対象の反射像を取り込む撮像装置とを備え、前記光射出装置による光の射出から前記撮像装置による反射像の取り込みまでの時間を用いて測定対象までの距離を計測する三次元形状計測装置であって、前記光射出装置は射出する異なる波長の光の順番をコード化し、または単一波長の光の射出タイミングを変えてコード化する手段を有し、前記撮像装置は前記コード化された光の反射像をデコードする手段を有することを特徴とする三次元形状計測装置。
  5. 前記光射出装置が平面光又は略平面光を射出するよう構成されたことを特徴とする請求項記載の三次元形状計測装置。
  6. 前記光射出装置は、異なる波長の光を発生する複数の光源と、前記各光源からの光をそれぞれオンオフする複数の光シャッタとを備えたことを特徴とする請求項又は記載の三次元形状計測装置。
  7. 前記複数の光源は、それぞれ赤色、緑色および青色の波長成分を有する光を発生するものであることを特徴とする請求項記載の三次元形状計測装置。
  8. 前記光射出装置は、単一波長の光を発生する光源と、前記光源からの光の射出タイミングを変える光シャッタとを備えたことを特徴とする請求項又は記載の三次元形状計測装置。
  9. 前記光シャッタがM系列符号に対応した動作を行うことを特徴とする請求項乃至のいずれかに記載の三次元形状計測装置。
  10. 前記撮像装置は、前記光の反射像をオンオフする光シャッタと、前記光シャッタを介して入力された反射像をストアする感光性フィルムとを備えたことを特徴とする請求項又は記載の三次元形状計測装置。
  11. 前記光シャッタがカーセル又はポッケルスセルにより構成されることを特徴とする請求項10記載の三次元形状計測装置。
JP25940198A 1998-08-28 1998-08-28 三次元形状計測法および装置 Expired - Fee Related JP3788060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25940198A JP3788060B2 (ja) 1998-08-28 1998-08-28 三次元形状計測法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25940198A JP3788060B2 (ja) 1998-08-28 1998-08-28 三次元形状計測法および装置

Publications (2)

Publication Number Publication Date
JP2000074637A JP2000074637A (ja) 2000-03-14
JP3788060B2 true JP3788060B2 (ja) 2006-06-21

Family

ID=17333626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25940198A Expired - Fee Related JP3788060B2 (ja) 1998-08-28 1998-08-28 三次元形状計測法および装置

Country Status (1)

Country Link
JP (1) JP3788060B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2870935A1 (fr) * 2004-05-25 2005-12-02 Insidix Sarl Dispositif de mesure de deformations de surface
JP4673674B2 (ja) * 2005-06-06 2011-04-20 株式会社リコー 形状測定装置
JP5164938B2 (ja) * 2009-07-02 2013-03-21 本田技研工業株式会社 三次元形状測定装置
WO2017149912A1 (ja) 2016-03-02 2017-09-08 国立大学法人電気通信大学 形状測定方法及び形状測定装置

Also Published As

Publication number Publication date
JP2000074637A (ja) 2000-03-14

Similar Documents

Publication Publication Date Title
US6252623B1 (en) Three dimensional imaging system
US11567175B2 (en) Apparatuses and method for light detection and ranging
US10986328B2 (en) Device, method and system for generating dynamic projection patterns in a camera
US9267790B2 (en) Measuring device of measurement object, calculating device, measurement method, and method for producing item
CN109489583B (zh) 投影装置、采集装置及具有其的三维扫描系统
WO2006013635A1 (ja) 3次元形状計測方法及びその装置
CN107024850B (zh) 高速结构光三维成像系统
JP2714152B2 (ja) 物体形状測定方法
KR20140130038A (ko) 물체표면에 여러 개의 파장을 동시에 투사하는 3차원 측정 장치 및 방법
US6396587B1 (en) Method for recording depth profiles in a specimen and apparatus therefor
CN111829449A (zh) 深度数据测量头、测量装置和测量方法
JP3788060B2 (ja) 三次元形状計測法および装置
JPH05332737A (ja) 形状計測装置
CN112987021B (zh) 一种飞行时间法和结构光法相融合的结构光三维成像系统及方法
CN106454334B (zh) 一种x射线分幅相机曝光时间的测量装置
JP3818028B2 (ja) 3次元画像撮像装置および3次元画像撮像方法
JP3840813B2 (ja) 三次元形状計測法および装置
US20210405165A1 (en) Time-of-flight distance measuring method and related system
CN110297255A (zh) 3d成像系统和3d成像方法
JP3729035B2 (ja) 3次元画像撮像装置および3次元画像撮像方法
KR100952254B1 (ko) 삼차원 대상의 형태를 검파하는 방법 및 장치
US10971900B2 (en) Vertical-cavity surface-emitting laser, structured light module and method for light projection and terminal
JP3668466B2 (ja) 実時間レンジファインダ
JP2002206919A (ja) 3次元形状計測装置および3次元形状計測方法
JPH08178632A (ja) 表面形状測定装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060320

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120407

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140407

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees