JPH0968409A - 位置認識方法および装置 - Google Patents

位置認識方法および装置

Info

Publication number
JPH0968409A
JPH0968409A JP7223054A JP22305495A JPH0968409A JP H0968409 A JPH0968409 A JP H0968409A JP 7223054 A JP7223054 A JP 7223054A JP 22305495 A JP22305495 A JP 22305495A JP H0968409 A JPH0968409 A JP H0968409A
Authority
JP
Japan
Prior art keywords
point light
light source
frame
counter
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7223054A
Other languages
English (en)
Other versions
JP2784163B2 (ja
Inventor
Tsutomu Kanamori
務 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMEEJI JOHO KAGAKU KENKYUSHO
Original Assignee
IMEEJI JOHO KAGAKU KENKYUSHO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMEEJI JOHO KAGAKU KENKYUSHO filed Critical IMEEJI JOHO KAGAKU KENKYUSHO
Priority to JP7223054A priority Critical patent/JP2784163B2/ja
Publication of JPH0968409A publication Critical patent/JPH0968409A/ja
Application granted granted Critical
Publication of JP2784163B2 publication Critical patent/JP2784163B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【構成】 マイクロコンピュータ18は垂直同期信号V
syncに同期してLED12a,12bまたは12cを駆
動し、CCDカメラ14はそのときの映像信号を取り込
む。映像信号は比較回路24によって2値化され、LE
D12a,12bまたは12cの部分がハイレベルとな
り他の部分がローレベルとなる。CPU26は2値化映
像信号の立ち上がりでYカウンタ28で垂直方向位置を
検出し、2値化映像信号の立ち上がりおよび立ち下がり
のXカウンタ30のカウント値で水平方向位置を検出す
る。 【効果】 フレームメモリを用いることなくリアルタイ
ムで点光源(LED)の位置を認識することができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は位置認識方法および装
置に関し、特にたとえば発光ダイオード(LED)のよ
うな点光源およびその点光源が取り付けられた物体の位
置を認識する、位置認識方法および装置に関する。
【0002】
【従来の技術】画像処理によって物体の位置を認識する
方法が既に数多く提案されているが、このような認識方
法は、離れたところから非接触で物体の位置を認識する
ことができる点で有用である。画像処理による物体の位
置認識方法において、点光源を認識の対象としたとき、
最も高い輝度をもつピクセル情報に基づいて点光源の位
置を検出することができる。
【0003】
【発明が解決しようとする課題】しかしながら、従来技
術のいずれにおいても、画像処理のためにフレームメモ
リを用いる必要があり、回路規模が大きくなるばかりで
なく、リアルタイム処理が困難であるという欠点があっ
た。それゆえに、この発明の主たる目的は、フレームメ
モリを用いないで、リアルタイム処理が可能な、位置認
識方法を提供することである。
【0004】この発明の他の目的は、そのような位置認
識方法を実現する装置を提供することである。
【0005】
【課題を解決するための手段】第1の発明は、点光源を
含む映像を撮影したビデオカメラからの映像信号によっ
て点光源の位置を認識する方法であって、(a) フレーム
に同期して点光源を駆動し、(b) 映像信号の走査線情報
に基づいて当該フレーム内における点光源の位置を検出
する、位置認識方法である。
【0006】第2の発明は、点光源、点光源を含む映像
を撮影するビデオカメラ、フレームに同期して点光源を
駆動する駆動手段、およびビデオカメラからの映像信号
の走査線情報に基づいて当該フレーム内における点光源
の位置を検出する検出手段を備える、位置認識装置であ
る。
【0007】
【作用】点光源は、たとえばLEDであり、人体や動物
あるいは機械等の位置を検出したい部位または部分に取
り付けられる。ビデオカメラはそのような部位または部
分に取り付けられたLEDを含む映像を撮影し、テレビ
ジョン信号(映像信号)を出力する。点光源はフレー
ム、具体的には垂直同期信号に同期して駆動され、点光
源が駆動されたときのビデオカメラからの映像信号の走
査線情報、たとえば水平同期信号によってリセットされ
かつ適宜のクロックに従ってインクリメントされる第1
カウンタおよび垂直同期信号によってリセットされかつ
水平同期信号に従ってインクリメントされる第2カウン
タのカウント値に基づいて、画面(フレーム)内におけ
る点光源の位置を検出する。
【0008】複数の点光源(LED)が複数の部位また
は部分に取り付けられたとき、各点光源は互いに異なる
フレームで駆動される。したがって、複数の点光源のい
ずれであるかはフレームによって特定することができ
る。
【0009】
【発明の効果】この発明によれば、点光源の位置を認識
するためにフレームメモリを用いる必要はなく、また、
走査線情報に基づいて点光源の位置を検出することがで
きるので、リアルタイム処理が可能である。さらに、複
数の点光源のそれぞれの位置を認識する場合、異なるフ
レームで異なる点光源を駆動するようにすれば、点光源
の識別のためのラベリングの問題は生じない。
【0010】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0011】
【実施例】図1に示すこの実施例の位置認識システム1
0は、点光源としてのLED12a,12bおよび12
cを含む。点光源、すなわちLED12a〜12cは、
この実施例では、赤外線LEDである。LED12a〜
12cは、この実施例では、人体の変位する部位ないし
部分にそれぞれ取り付けられていて、したがって、この
実施例のシステム10は、点光源12a〜12cの位置
を検出することによって、人体の各部位ないし部分の位
置およびその変位を検出する。
【0012】CCDカメラ14は、この実施例では、赤
外領域で高感度な特性をもつ赤外フィルタ付CCDカメ
ラであり、点光源12a〜12cを含む映像、すなわち
人体やその背景を撮影する。CCDカメラ14からは、
映像信号すなわちテレビジョン信号が出力され、その映
像信号は同期検出回路16に与えられる。この同期検出
回路16としては、たとえば、“LM1881”のよう
な同期分離用ICが用いられ得る。そして、同期検出回
路16は、CCDカメラ14から出力される映像信号
(テレビジョン信号)から水平同期信号Hsyncおよび垂
直同期信号Vsyncを取り出し、それを1チップの16ビ
ットマイクロコンピュータ18の入力ポート20に与え
る。
【0013】一方、同期検出回路16によって同期分離
された映像信号は、ピーク検波回路22および比較回路
24に与えられる。ピーク検波回路22は、映像信号の
ピーク値を検出するものであり、その検出されたピーク
値は比較回路24に与えられる。比較回路24では、ピ
ーク値に応じて適当な基準レベル(閾値)を設定し、同
期分離された映像信号をその基準レベル(閾値)で2値
化することによって、背景部分よりも大きいレベルの点
光源の映像信号だけを分離する。したがって、比較回路
24からは、点光源すなわちLED12a,12bまた
は12cの部分だけがハイレベルとなり他の部分はロー
レベルとなる2値化信号が出力され、それが入力ポート
20に与えられる。
【0014】マイクロコンピュータ18は、たとえば
“V25”または“V55”のようなタイムキャプチャ
機能を有するものであり、CPU26や必要なメモリの
ほかに、Yカウンタ28およびXカウンタ30を含む。
Yカウンタ28は、入力ポート20を通して与えられる
垂直同期信号Vsyncでリセットされかつ同じように入力
ポート20から与えられる水平同期信号Hsyncによって
インクリメントされる。Xカウンタ30は、水平同期信
号Hsyncでリセットされ、適当な周波数(たとえば10
MHz)のクロックに従ってインクリメントされる。マ
イクロコンピュータ18に含まれるYレジスタ32は、
Yカウンタ28のカウント値をロードするためのもので
あり、X1レジスタ34およびX2レジスタ36は、そ
れぞれ、Xカウンタ30のカウント値をロードするもの
である。
【0015】マイクロコンピュータ18は、出力ポート
38を介して、LED12a,12bおよび12cのそ
れぞれに対して駆動信号を与える。したがって、マイク
ロコンピュータ18がLED12a,12bまたは12
cを駆動したときの映像信号がCCDカメラ14によっ
て撮影され、マイクロコンピュータ18は、そのときに
得られる図2のような映像信号に基づいて、図2の画面
40の左上を原点として、点光源12a,12bまたは
12cの位置を検出する。
【0016】次に、図3に示すフロー図とともに、図1
実施例の動作について説明する。図3の最初のステップ
S1では、CPU26は、入力ポート20から水平同期
信号Hsyncが入力されたかどうかを検出する。つまり、
図3のフロー図は、CPU26が水平同期信号Hsyncを
検出したとき、スタートする。そして、ステップS1で
水平同期信号Hsyncを検出すると、CPU26は、Xカ
ウンタ30をリセットするとともに、そのXカウンタ3
0をトリガ(スタート)する。したがって、Xカウンタ
30は、この時点から図示しないクロックに従ってイン
クリメントされる。
【0017】次のステップS3では、CPU26は、再
び、水平同期信号Hsyncが入力されたかどうか判断す
る。ステップS1で水平同期信号Hsyncが検出されさら
にステップS3で水平同期信号Hsyncが検出されるとい
うことは、ステップS1において検出された水平同期信
号Hsyncのライン(水平走査線)に点光源の映像が存在
しなかったことを意味し、この場合には、再びステップ
S2に戻って、Xカウンタ30がリセット/スタートさ
れる。
【0018】ステップS3で水平同期信号Hsyncが検出
されない場合には、CPU26は、次のステップS4に
おいて、比較回路24からの2値化された映像信号の立
ち上がりを検出したかどうか判断する。映像信号の立ち
上がりがなければ、先のステップS3に戻る。映像信号
の立ち上がりが検出されると、続くステップS5におい
て、CPU26は、そのときのXカウンタ30のカウン
ト値を立ち上がりレジスタすなわちX1レジスタ34に
ロードするとともに、Yカウンタ28のカウント値をY
レジスタ32にロードする。つまり、ステップS5で
は、図4(B)に示す点光源映像信号の立ち上がりLE
でYカウンタ28のカウント値すなわち垂直同期信号V
syncからの走査線数(垂直方向位置)がYレジスタ32
にロードされるとともに、Xカウンタ30のカウント
値、すなわち、水平同期信号Hsyncからの水平方向位置
がX1レジスタ34にロードされる。
【0019】次のステップS6では、CPU26は、再
び、水平同期信号Hsyncが入力されたかどうか判断す
る。そして、このステップS6で“YES”が判断され
ると、先のステップS2に戻る。そして、次のステップ
S7において、CPU26は、図4(B)に示す2値化
映像信号の立ち下がりTEが検出されたかどうか判断す
る。
【0020】このステップS7において“YES”が判
断されると、CPU26は、次のステップS8におい
て、そのときのXカウンタ30のカウント値を立ち下が
りレジスタすなわちX2レジスタ36にロードする。ス
テップS5でX1レジスタ34に立ち上がり位置がロー
ドされかつステップS8でX2レジスタ36に立ち下が
り位置がロードされるので、2つのレジスタ32および
34には、図4(B)で示す点光源映像信号の幅を示す
データが得られる。そして、ステップS9において、C
PU26は、Yレジスタ32,X1レジスタ34および
X2レジスタ36のそれぞれのデータを取り込む。
【0021】その後、ステップS10において、CPU
26は、入力ポート20から垂直同期信号Vsyncが入力
されたかどうか判断する。このステップS10において
“NO”が判断されると、ステップS1に戻るが、“Y
ES”が判断されると、次のステップS11において、
CPU26はYカウンタ28をリセットする。そして、
ステップS12において、ステップS9で取り込んだ各
レジスタ32,34および36のデータから、図4
(A)で示す中心位置を計算する。すなわち、ステップ
S12では、点光源の映像信号が図4(A)に示すよう
に複数の走査線に跨がる場合には、その中心位置をもっ
てその点光源の位置とする。すなわち、図4(A)にお
いては、点光源映像が水平走査線H2〜H7に跨がって
表示されている。この場合、ステップS5およびS8
で、各水平走査線H2〜H7毎の立ち上がりLEと立ち
下がりTEとが求められる。したがって、水平方向の中
心位置は各水平走査線毎の立ち上がりLEと立ち下がり
TEとの中間として求めることができる。他方、図4
(A)の例でいえば、水平走査線H2〜H7まで連続し
てステップS5で垂直方向位置が求められるので、その
最初の水平走査線、この場合はH2から最後の水平走査
線、この場合はH7の中間に位置する水平走査線たとえ
ばH4が垂直方向中心位置となる。
【0022】そして、ステップS12に続いて、ステッ
プS13では、CPU26は、出力ポート38から駆動
信号を出力し、次に検出すべき点光源(LED)12
a,12bまたは12cのいずれかを駆動する。すなわ
ち、ステップS13において、垂直同期信号Vsyncに同
期してLED12a,12bまたは12cが駆動され、
その後ステップS1〜S12が実行されるので、結果的
に、1つのLED(点光源)12a,12bまたは12
cは、それぞれ異なるフレームで処理される。
【0023】なお、上述の実施例では、1つのフレーム
では1つの点光源(LED)だけを駆動するようにした
が、各フレーム毎に点灯する点光源の数は1個だけでな
く、複数であってもよい。たとえば、棒の両端にそれぞ
れLEDを取り付けておき、その2つのLEDを同時に
駆動するようにしてもよい。この場合、棒の両端間距離
すなわち2つのLED間距離は一定であるので、その棒
が回転されてLEDの位置が変わっても、その距離や回
転角度等に基づいて、棒の状態を識別できる。つまり、
このような拘束条件を付加するならば、複数の点光源を
同時に駆動するようにしてもよい。拘束条件としては、
ほかに、上下関係が不変であるような複数の点光源など
が考えられる。
【0024】さらに、上述の実施例では、LED12a
〜12cを赤外線LEDとし、CCDカメラ14を赤外
線フィルタ付のカメラで構成したが、LEDとして他の
可視光線を出力するものを用い、CCDカメラ14のフ
ィルタとしてはその可視光線を検出するフィルタを用い
るようにすれば、LEDの色とフィルタの色とによって
複数のLED(点光源)を同時に発光させても、そのい
ずれであるかを特定することができる。
【0025】また、上述の実施例では、1つのCCDカ
メラ14を用いてLED12a,12bまたは12cの
二次元的な位置を検出するようにしたが、互いに同期し
た複数のカメラを用いれば、三次元的な位置情報を検出
することもできる。さらに、上述の実施例では点光源を
駆動するために有線方式を採用したが、無線方式が用い
られてもよい。つまり、マイクロコンピータ18からの
駆動信号を無線送信装置から出力し、点光源側にその無
線信号を受信する受信装置を設け、点光源がその受信装
置からの信号で駆動されるようにしてもよい。
【0026】上述のような位置検出システムは、様々な
分野で応用が可能である。たとえば、マルチメディアに
おけるバーチャルリアリティ等で、人間の動作を認識す
る必要がある。従来は、極めて高価なデータスーツやデ
ータグローブおよび多量のハードウェアと計算時間を消
費する画像認識による認識が一般的であったが、上述の
実施例のようなシステムを用いれば、極めて安価でかつ
リアルタイムで人間の動作を認識することができるの
で、たとえば、舞踏芸術のデータベース化、人間工学で
の行動分析(心理的な挙動の計測等)、対戦格闘ゲーム
などの参加型ゲームの入力インタフェース、ジェスチャ
の認識(手話認識など)、スポーツへの応用(ゴルフス
イングの診断など)、リハビリテーションにおける歩行
等の動作解析での臨床応用、動物の行動パターンの解
析、ペン先の変位に従った文字認識などに応用すること
ができる。また、物体への応用としては、機械や建造物
の動作解析や、空間変位を検出するために利用できる。
たとえば、物体の位置決め、形状検出、橋梁,建設機
械,浮体動揺等微小変位の遠隔的計測などにも利用でき
るし、ロボット,模型,機械等の動きを非接触で計測し
てそれを駆動系にフィードバックすることによってそれ
らをリアルタイムに制御することができる。
【図面の簡単な説明】
【図1】この発明の一実施例を示す図解図である。
【図2】図1実施例のCCDカメラで撮影した映像信号
に従って表示した画面の一例を示す図解図である。
【図3】図1実施例の動作を示すフロー図である。
【図4】図1実施例において2値化された映像信号の立
ち上がりおよび立ち下がりと各水平走査線との関係を示
す図解図である。
【符号の説明】
10 …位置認識システム 12a,12b,12c …LED 14 …CCDカメラ 16 …同期検出回路 18 …マイクロコンピュータ 24 …比較回路 26 …CPU 28 …Yカウンタ 30 …Xカウンタ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】点光源を含む映像を撮影したビデオカメラ
    からの映像信号によって前記点光源の位置を認識する方
    法であって、 (a) フレームに同期して前記点光源を駆動し、 (b) 前記映像信号の走査線情報に基づいて当該フレーム
    内における前記点光源の位置を検出する、位置認識方
    法。
  2. 【請求項2】複数の点光源を準備し、 前記ステップ(a) では1つのフレームで実質的に1つの
    点光源を駆動し、 前記ステップ(b) では当該フレームの走査線情報に従っ
    て前記実質的に1つの点光源の位置を検出する、請求項
    1記載の位置認識方法。
  3. 【請求項3】前記ステップ(a) では固定的な関係にある
    2以上の点光源を同時に駆動し、 前記ステップ(b) では前記走査線情報と前記固定的な関
    係とに従って前記2以上の点光源の位置をそれぞれ検出
    する、請求項2記載の位置認識方法。
  4. 【請求項4】前記ステップ(b) では前記映像信号を所定
    の閾値に従って2値化することによって前記点光源を特
    定する、請求項1ないし3のいずれかに記載の位置認識
    方法。
  5. 【請求項5】前記ステップ(b) では、(b-1) 水平同期信
    号によってリセットされかつ適当なクロックに従ってイ
    ンクリメントされる第1カウンタによって前記点光源の
    前記画面内における水平位置を検出し、(b-2) 垂直同期
    信号によってリセットされかつ前記水平同期信号に従っ
    てインクリメントされる第2カウンタによって前記点光
    源の前記画面内における垂直位置を検出する、請求項1
    ないし4のいずれかに記載の位置認識方法。
  6. 【請求項6】請求項1ないし5のいずれかにおいて前記
    点光源を物体に取り付けて前記物体の位置を認識する、
    物体位置認識方法。
  7. 【請求項7】点光源、 前記点光源を含む映像を撮影するビデオカメラ、 フレームに同期して前記点光源を駆動する駆動手段、お
    よび前記ビデオカメラからの映像信号の走査線情報に基
    づいて当該フレーム内における前記点光源の位置を検出
    する検出手段を備える、位置認識装置。
JP7223054A 1995-08-31 1995-08-31 位置認識方法および装置 Expired - Lifetime JP2784163B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7223054A JP2784163B2 (ja) 1995-08-31 1995-08-31 位置認識方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7223054A JP2784163B2 (ja) 1995-08-31 1995-08-31 位置認識方法および装置

Publications (2)

Publication Number Publication Date
JPH0968409A true JPH0968409A (ja) 1997-03-11
JP2784163B2 JP2784163B2 (ja) 1998-08-06

Family

ID=16792120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7223054A Expired - Lifetime JP2784163B2 (ja) 1995-08-31 1995-08-31 位置認識方法および装置

Country Status (1)

Country Link
JP (1) JP2784163B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006121562A1 (en) * 2005-04-11 2006-11-16 Faro Technologies, Inc. Three-dimensional coordinate measuring device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03218407A (ja) * 1989-09-11 1991-09-26 Toshiba Corp 形状測定装置、形状測定方法、および形状測定装置の校正方法
JPH0445907U (ja) * 1990-08-20 1992-04-20

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03218407A (ja) * 1989-09-11 1991-09-26 Toshiba Corp 形状測定装置、形状測定方法、および形状測定装置の校正方法
JPH0445907U (ja) * 1990-08-20 1992-04-20

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006121562A1 (en) * 2005-04-11 2006-11-16 Faro Technologies, Inc. Three-dimensional coordinate measuring device
JP2008536146A (ja) * 2005-04-11 2008-09-04 ファロ テクノロジーズ インコーポレーテッド 3次元座標測定デバイス
EP2105698A1 (en) * 2005-04-11 2009-09-30 Faro Technologies, Inc. Three-dimensional coordinate measuring device

Also Published As

Publication number Publication date
JP2784163B2 (ja) 1998-08-06

Similar Documents

Publication Publication Date Title
US8565479B2 (en) Extraction of skeletons from 3D maps
US9898651B2 (en) Upper-body skeleton extraction from depth maps
US6697072B2 (en) Method and system for controlling an avatar using computer vision
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
US20110292036A1 (en) Depth sensor with application interface
EP2135197A2 (en) System and method for tracking three dimensional objects
KR20040055310A (ko) 고속 마커프리 모션 캡쳐 장치 및 방법
JP2003514298A (ja) モーション・キャプチャ・データの捕捉方法
WO2009061283A2 (en) Human motion analysis system and method
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
CN112348942A (zh) 一种健身交互方法和系统
CN114722913A (zh) 姿态检测方法、装置、电子设备及计算机可读存储介质
JP2008288684A (ja) 人物検出装置及びプログラム
JP2804949B2 (ja) 動画像の処理方法
Li et al. A hybrid pose tracking approach for handheld augmented reality
CN108521594A (zh) 一种基于体感相机手势识别的自由视点视频播放方法
JP2004248725A (ja) 打球の解析装置及び方法
JPH0968409A (ja) 位置認識方法および装置
JP2854831B2 (ja) 三次元位置認識方法および装置
JPH09311759A (ja) ジェスチャ認識方法および装置
JP2002008043A (ja) 動作解析装置及び動作解析方法
JP3440644B2 (ja) 手動作認識装置
JP2021099666A (ja) 学習モデルの生成方法
JP7500333B2 (ja) 生成装置、生成方法、およびプログラム
Bailey et al. Real Time 3D motion tracking for interactive computer simulations

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980512

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080522

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090522

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160522

Year of fee payment: 18

EXPY Cancellation because of completion of term