JP3533029B2 - 仮想物体表示装置 - Google Patents

仮想物体表示装置

Info

Publication number
JP3533029B2
JP3533029B2 JP05725896A JP5725896A JP3533029B2 JP 3533029 B2 JP3533029 B2 JP 3533029B2 JP 05725896 A JP05725896 A JP 05725896A JP 5725896 A JP5725896 A JP 5725896A JP 3533029 B2 JP3533029 B2 JP 3533029B2
Authority
JP
Japan
Prior art keywords
information
display device
virtual object
video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05725896A
Other languages
English (en)
Other versions
JPH09244853A (ja
Inventor
博明 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP05725896A priority Critical patent/JP3533029B2/ja
Publication of JPH09244853A publication Critical patent/JPH09244853A/ja
Application granted granted Critical
Publication of JP3533029B2 publication Critical patent/JP3533029B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、3次元リアルタイ
ムグラフィックスを用いた仮想物体表示装置に関し、特
に仮想空間における表示物体とのインタラクションを容
易に行うことができる仮想物体表示装置に関するもので
ある。 【0002】 【従来の技術】従来より、バーチャルリアリティーやコ
ンピュータグラフィックスの分野においては、3次元物
体の表示と操作のために大掛かりな装置が用いられてお
り、実用のシステムとして操作を容易にし、できる限り
ユーザーに負担がかからないようにすることが望まれて
いる。 【0003】そこで、先に本願出願人により特願平7−
115963号にて表示画面を見ながら容易に仮想物体
とのインタラクションを行える仮想物体表示装置が提案
されている。この仮想物体表示装置について、図10乃
至図12とともに以下説明する。ここで、図10は従来
の仮想物体表示装置の構成を示す概略説明図、図11は
従来の仮想物体表示装置の使用状態を示す説明図、図1
2は従来の仮想物体表示装置における表示例を示す説明
図である。 【0004】従来の仮想物体表示装置は、図10に示す
ように、インターフェース部とグラフィック生成部とか
ら構成されており、該インターフェース部は、映像を表
示する映像表示画面2を備えた携帯用映像表示装置(液
晶ハンディービューワー:以下、単にビューワーと称
す)1と、該ビューワー1に搭載されるとともに仮想物
体の位置を3次元的に検知する3次元位置センサレシー
バ3と、使用者に装着されるとともに、使用者の位置を
3次元的に検知する3次元位置センサトランスミッタ5
と、両3次元位置センサ3,5により検知された仮想物
体及び使用者の位置データを無線で送信するデータ送信
器6とから構成されている。 【0005】一方、グラフィック生成部は、上記インタ
ーフェース部のデータ送信器6により無線で送信された
位置データを受信するデータ受信器8と、該データ受信
器8により受信された位置データに基づいて映像データ
を算出するグラフィックプロセッサ9と、該グラフィッ
クプロセッサ9により算出された映像データを無線で送
信する映像送信器10とから構成されており、該グラフ
ィックプロセッサ9により算出された映像データはディ
スプレイ装置に表示することができる。 【0006】さらに、インターフェース部のビューワー
1はグラフィック生成部の映像送信器10から無線で送
信される映像データを受信する映像受信アンテナ7を備
えている。これによって、受信された映像データは、画
像として映像表示画面2に表示される。 【0007】グラフィックプロセッサ9では、データ受
信器8で受信された3次元位置データを基に、仮想空間
におけるユーザの意図する視点からのリアルタイムなコ
ンピュータグラフィックス(CG)映像を算出し、算出
された映像データを無線で映像送信器10を介してイン
ターフェース部へ送出する。グラフィックプロセッサ9
は既存のグラフィックワークステーションを例にとって
いるが、リアルタイムCG描画用に特化した回路を備え
た装置であっても良い。 【0008】上記のように構成してなる仮想物体表示装
置においては、図11に示すように、使用者は3次元位
置センサトランスミッタ5とデータ送信器6とを上半身
に装着し、両手でビューワー1を保持して、3次元的に
移動・回転操作する。その結果、仮想空間におけるユー
ザの意図する視点からのインタラクティブなCG映像を
映像表示画面2で見ることが可能となり、映像表示画面
2より大きな領域を有する第1情報から所望の一部を切
り出して得ることができる。 【0009】すなわち、図12に示すように、実空間で
ビューワー1を左右前後に動かせば、表示されるCGが
映像表示画面2内で移動・拡大縮小し、所望の領域の映
像を好みの角度から得ることが可能となる。尚、図12
では左右前後のみの移動しか記されていないが、この仮
想物体表示装置においては実際は6自由度(X,Y,
Z,yow,pitch,roll)の動きに対応でき
る。ビューワー1の座標を視点座標として、予めプログ
ラムされている仮想空間の物体の基準座標をビューイン
グ変換(投影変換)して描画することにより、この仮想
空間ビューワーの機能が実現できる。 【0010】 【発明が解決しようとする課題】しかしながら、上述し
た従来の仮想物体表示装置においては、3次元映像デー
タを単に投影変換した1種類の画像のみを表示すること
しかできず、異なる複数の情報を切り替えて表示するこ
とができないという問題があった。 【0011】これに対して、ハイパーテキストを取り扱
う装置においては、第1情報に対してマウスやトラック
ボール等を用いて所定の位置を指してクリックすること
により、第1情報とは異なる第2情報(詳細情報)を表
示させるようにしたものがあるが、両手で携帯用映像表
示装置(ビューワー)を持つこの種の仮想物体表示装置
では、マウスやトラックボールを扱うことは非常に困難
であるという問題があった。 【0012】本発明は、上述したような点に鑑みてなさ
れたものであって、両手で携帯用映像表示装置を保持し
た状態で、第1情報とは異なる第2情報を得ることがで
きる仮想物体表示装置を提供することを目的としてい
る。 【0013】 【課題を解決するための手段】本願請求項1に記載の仮
想物体表示装置は、移動可能な映像表示装置に多次元セ
ンサを設け、該映像表示装置より大きな領域を有する第
1情報に対して、該映像表示装置の移動位置に対応した
一部領域のみを選択して該映像表示装置に表示する仮想
物体表示装置において、上記映像表示装置が予め決めら
れた所定の位置に移動されたことを検出する検出手段
と、該検出手段により上記映像表示装置が所定の位置に
移動されたことが検出されたとき、第2情報を上記映像
表示装置の画面上にウィンドウ表示する第2情報表示手
段とを設け、上記第2情報の表示の大きさを、上記映像
表示装置の位置と上記予め決められた所定の位置との距
離に応じて変化させるように制御する表示制御手段を設
け、上記第2情報の表示の可否を切り換える切換手段を
設け、上記第2情報は複数の情報からなり、該複数の情
報から任意の情報を切換選択する選択手段を設けてなる
ものである。 【0014】これによって、映像表示装置を両手で保持
した状態で、該映像表示装置を予め決められた所定の位
置に移動させるだけで、第1情報のみならず該第1情報
にリンクされた第2情報をウィンドウ表示することがで
きるので、特別な入力デバイスを用いたり、特別な操作
を行うことなく、第2情報を得ることが可能となる。
た、映像表示装置の位置が予め決められた所定の位置に
近づく程スムーズに第2情報の表示の大きさを拡大し
て、第1情報と第2情報との関係を理解しやすくするこ
とができる。 また、第1情報のみを見たい場合には、第
2情報の表示を消すことができ、第1情報だけに注目す
ることが可能となる。 また、第1情報に対して複数の情
報のリンクを張ることが可能となり、複数の情報を扱う
ことができる。 【0015】 【0016】 【0017】 【0018】 【発明の実施の形態】以下、本発明の仮想物体表示装置
の一実施形態を、図1乃至図7とともに説明するが、上
述した従来例と同一部分には同一符号を付し、その説明
は省略する。ここで、図1は本実施形態の仮想物体表示
装置の構成を示す概略説明図、図2は本実施形態の仮想
物体表示装置における動作を示すフローチャート、図3
は本実施形態の仮想物体表示装置における第1情報と第
2情報とを関連付けるデータテーブル示す説明図であ
る。 【0019】図4は本実施形態の仮想物体表示装置にお
ける映像表示装置を水平方向に移動したときの表示例を
示す説明図、図5は本実施形態の仮想物体表示装置にお
ける映像表示装置を垂直方向に移動したときの表示例を
示す説明図、図6は本実施形態の仮想物体表示装置にお
ける表示例を示す説明図である。 【0020】本実施形態の仮想物体表示装置は、図2と
ともに後述するグラフィックプロセッサ9でのソフトウ
ェア処理において、上記従来例のものとは相違してお
り、また、図1に示すように、上記従来例のものに加え
て、第2情報の表示の可否を切り換えるモード切換操作
部11を設けている。 【0021】本実施形態の仮想物体表示装置におけるグ
ラフィックプロセッサ9は、図2に示すように、プログ
ラムが実行される(ステップ1)と、3次元位置センサ
3からビューワー1の現在位置における3次元座標デー
タが入力されるとともに、モード切換操作部11からの
モード情報が入力される(ステップ2)。そして、映像
表示画面より大きな領域を有する第1情報から、ビュー
ワー1の現在位置における3次元座標データに対応した
表示領域が生成される(ステップ3)。 【0022】また、上記ステップ2にて入力されたモー
ド情報が第2情報の表示を指示しているかどうかを判断
し(ステップ4)、第2情報の表示が指示されていない
場合は、そのまま上記ステップ3で生成された第1情報
の一部を映像表示画面2に表示する(ステップ7)。 【0023】第2情報の表示が指示されている場合は、
上記ステップ3で生成された表示領域における予め決め
られた所定の位置に第2情報が付加されているかどうか
を判断し(ステップ5)、第2情報が付加されていなけ
れば、上記ステップ3で生成された第1情報の一部をそ
のまま映像表示画面2に表示する(ステップ7)。 【0024】第2情報が付加されていれば、該第2情報
の表示ウィンドウを作成し(ステップ6)、第1情報の
表示画面データに第2情報の表示画面データを含むウィ
ンドウ画面を重畳した画像データを生成して、映像表示
画面2に表示する(ステップ7)。そして、プログラム
を終了するかどうかを判断し(ステップ8)、終了しな
い場合はステップ2に戻り、終了する場合は終了処理を
行う(ステップ9)。 【0025】ここで、第1情報に付加されている第2情
報を検索する際には、図3に示すような、第1情報にお
ける座標値と第2情報との対応を示すデータテーブルを
予め用意しておき、画面内の所定の位置に対応したデー
タテーブルの座標値と現在位置における座標値との距離
が一定値以下になると、第2情報がリンクされていると
判断する。例えば、映像表示画面2が640ドット×4
80ドットである場合、第1情報の所定の位置に対応し
た座標値を中心として縦横方向及び垂直方向に各々50
ドットの領域内にデータテーブルの座標値があれば、第
2情報が付加されていると判断する。 【0026】上述した本実施形態の仮想物体表示装置に
おいては、例えば、図4に示すように、第1情報として
風景の画像データが、第2情報として生物の画像データ
が予め登録されており、第1情報における画面内の所定
の位置には、第2情報としてそこに生息している生物の
情報が付加されている。 【0027】すなわち、図4(a)に示す状態からビュ
ーワー1を移動させると、映像表示画面2に表示される
第1情報が変化する。そして、リンクが張られている第
1情報の所定の位置が映像表示画面2における中央にく
ると、図4(b)に示すように、該映像表示画面2内に
ウィンドウが開かれ、データテーブルにて該第1情報の
所定の位置と関連付けされた第2情報が表示される。 【0028】尚、第2情報は第1情報内に3次元的に配
置されているので、例えば、第2情報を第1情報の垂直
方向に複数登録しておくことによって、図5に示すよう
に、ビューワー1を垂直方向に移動させると、第2情報
として生物の成長する様子をウィンドウ表示させること
ができる。 【0029】また、リンクが張られている第1情報の所
定の位置と第2情報とを同時に視認したい場合は、図6
に示すように、第2情報を表示するウィンドウが第1情
報の所定の位置に重ならないように、ウィンドウ表示す
る位置を任意に可変できるようにすれば良い。 【0030】次に、本発明の仮想物体表示装置の他の実
施形態を、図7とともに説明するが、上述した本発明の
一実施形態と同一部分には同一符号を付し、その説明は
省略する。ここで、図7は本実施形態の仮想物体表示装
置における表示例を示す説明図である。 【0031】本実施形態の仮想物体表示装置において
は、第1情報の表示領域における予め決められた所定の
位置に対応した座標値と、現在位置におけるビューワー
1の3次元座標データに対応した第1情報中の座標値と
の差(距離)を検出し、該検出した距離に応じた大きさ
の第2情報の表示ウィンドウを作成して、第1情報に多
重して表示するものである。 【0032】例えば、図7に示すように、リンクが張ら
れている第1情報の所定の位置が映像表示画面2の中央
部にくると、第2情報を表示するウィンドウが最大とな
るようにウィンドウの大きさを滑らかに可変することに
よって、使用者はリンクが張られている第1情報の所定
の位置を容易に把握することが可能となり、使い勝手を
向上させることができる。 【0033】さらに、本発明の仮想物体表示装置のもう
一つの他の実施形態を、図8及び図9とともに説明する
が、上述した本発明の一実施形態と同一部分には同一符
号を付し、その説明は省略する。ここで、図8は本実施
形態の仮想物体表示装置における映像表示装置を示す説
明図、図9は本実施形態の仮想物体表示装置における動
作を示すフローチャートである。 【0034】本実施形態の仮想物体表示装置は、図8に
示すように、ビューワー1に第2情報としての第2−1
〜第2−n情報を切換選択する表示選択操作部12を設
け、例えば、第2−1情報としての生物図鑑から第2−
2情報としての植物図鑑へと使用者が任意に切り換えで
きるようにしたものである。 【0035】本実施形態の仮想物体表示装置におけるグ
ラフィックプロセッサ9は、図9に示すように、プログ
ラムが実行される(ステップ1)と、3次元位置センサ
3からビューワー1の現在位置における3次元座標デー
タが入力されるとともに、表示選択操作部12からの選
択情報が入力される(ステップ2)。そして、映像表示
画面より大きな領域を有する第1情報から、ビューワー
1の現在位置における3次元座標データに対応した表示
領域が生成される(ステップ3)。 【0036】また、上記ステップ2にて入力された選択
情報が第2−1〜第2−n情報のうちどの情報の表示を
指示しているのかを判断し(ステップ4)、第2−k情
報の表示が指示されている場合は、上記ステップ3で生
成された表示領域における予め決められた所定の位置に
第2−k情報が付加されているかどうかを判断し(ステ
ップ5)、第2−k情報が付加されていなければ、上記
ステップ3で生成された第1情報の一部をそのまま映像
表示画面2に表示する(ステップ7)。 【0037】第2−k情報が付加されていれば、該第2
−k情報の表示ウィンドウを作成し(ステップ6)、第
1情報の表示画面データに第2−k情報の表示画面デー
タを含むウィンドウ画面を重畳した画像データを生成し
て、映像表示画面2に表示する(ステップ7)。そし
て、プログラムを終了するかどうかを判断し(ステップ
8)、終了しない場合はステップ2に戻り、終了する場
合は終了処理を行う(ステップ9)。 【0038】このように、予め第2情報として、第2−
1〜第2−n情報のn個の情報を用意しておき、その中
から所望の第2−k情報を選択して、第1情報の所定の
位置に対して第2−k情報をウィンドウ表示することに
よって、複数の情報を容易に取り扱うことができる。 【0039】尚、上記本発明の実施形態においては、第
1情報として風景の画像データ、第2情報として第1情
報中に生息する生物の画像データを表示するものについ
て説明したが、例えば、第1情報として地図データ、第
2情報として第1情報中の場所詳細データを表示するも
のとしても良く、本発明の仮想物体表示装置は上記実施
形態に限定されるものではない。 【0040】 【発明の効果】本願請求項1に記載の仮想物体表示装置
は、上述したような構成としているので、映像表示装置
を両手で保持した状態で、該映像表示装置を予め決めら
れた所定の位置に移動させるだけで、第1情報のみなら
ず該第1情報にリンクされた第2情報をウィンドウ表示
することができるので、特別な入力デバイスを用いた
り、特別な操作を行うことなく、第2情報を得ることが
可能となる。 【0041】また本願請求項に記載の仮想物体表示装
置は、映像表示装置の位置が予め決められた所定の位置
に近づく程スムーズに第2情報の表示の大きさを拡大さ
せるので、第1情報と第2情報との関係を理解しやすく
することができる。 【0042】また本願請求項に記載の仮想物体表示装
置は、第1情報のみを見たい場合に、第2情報の表示を
消すことができ、第1情報だけに注目することが可能と
なる。 【0043】また本願請求項に記載の仮想物体表示装
置は、第1情報に対して複数の情報のリンクを張ること
が可能となり、複数の情報を扱うことができる。
【図面の簡単な説明】 【図1】本発明の仮想物体表示装置の一実施形態の構成
を示す概略説明図である。 【図2】本発明の仮想物体表示装置の一実施形態におけ
る動作を示すフローチャートである。 【図3】本発明の仮想物体表示装置の一実施形態におけ
る第1情報と第2情報とを関連付けるデータテーブルを
示す説明図である。 【図4】本発明の仮想物体表示装置の一実施形態におけ
る映像表示装置を水平方向に移動したときの表示例を示
す説明図である。 【図5】本発明の仮想物体表示装置の一実施形態におけ
る映像表示装置を垂直方向に移動したときの表示例を示
す説明図である。 【図6】本発明の仮想物体表示装置の一実施形態におけ
る表示例を示す説明図である。 【図7】本発明の仮想物体表示装置の他の実施形態にお
ける表示例を示す説明図である。 【図8】本発明の仮想物体表示装置のもう一つの他の実
施形態におけるビューワーを示す概略説明図である。 【図9】本発明の仮想物体表示装置のもう一つの他の実
施形態における動作を示すフローチャートである。 【図10】従来の仮想物体表示装置の構成を示す概略説
明図である。 【図11】従来の仮想物体表示装置の使用状態を示す説
明図である。 【図12】従来の仮想物体表示装置における表示例を示
す説明図である。 【符号の説明】 1 ビューワー 2 映像表示画面 3 センサレシーバ 5 センサトランスミッタ 6 送信器 7 受信アンテナ 8 受信器 9 グラフィックプロセッサ 10 送信器 11 モード切換操作部 12 表示選択操作部
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/00 G06F 3/14 - 3/153 G06F 17/30

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 移動可能な映像表示装置に多次元センサ
    を設け、該映像表示装置より大きな領域を有する第1情
    報に対して、該映像表示装置の移動位置に対応した一部
    領域のみを選択して該映像表示装置に表示する仮想物体
    表示装置において、 上記映像表示装置が予め決められた所定の位置に移動さ
    れたことを検出する検出手段と、 該検出手段により上記映像表示装置が所定の位置に移動
    されたことが検出されたとき、第2情報を上記映像表示
    装置の画面上にウィンドウ表示する第2情報表示手段と
    を設け 上記第2情報の表示の大きさを、上記映像表示装置の位
    置と上記予め決められた所定の位置との距離に応じて変
    化させるように制御する表示制御手段を設け、 上記第2情報の表示の可否を切り換える切換手段を設
    け、 上記第2情報は複数の情報からなり、該複数の情報から
    任意の情報を切換選択する選択手段を設け たことを特徴
    とする仮想物体表示装置。
JP05725896A 1996-03-14 1996-03-14 仮想物体表示装置 Expired - Lifetime JP3533029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05725896A JP3533029B2 (ja) 1996-03-14 1996-03-14 仮想物体表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05725896A JP3533029B2 (ja) 1996-03-14 1996-03-14 仮想物体表示装置

Publications (2)

Publication Number Publication Date
JPH09244853A JPH09244853A (ja) 1997-09-19
JP3533029B2 true JP3533029B2 (ja) 2004-05-31

Family

ID=13050515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05725896A Expired - Lifetime JP3533029B2 (ja) 1996-03-14 1996-03-14 仮想物体表示装置

Country Status (1)

Country Link
JP (1) JP3533029B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179097A (ja) * 2005-12-26 2007-07-12 Takenaka Komuten Co Ltd 載置状態検出システム及び画像表示システム
JP4330637B2 (ja) * 2007-02-19 2009-09-16 シャープ株式会社 携帯機器
JP5929933B2 (ja) 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム

Also Published As

Publication number Publication date
JPH09244853A (ja) 1997-09-19

Similar Documents

Publication Publication Date Title
EP0856786B1 (en) Window Displaying apparatus and method
US7570275B2 (en) Image information displaying apparatus
US7492362B2 (en) Virtual space rendering/display apparatus and virtual space rendering/display method
EP0528422B1 (en) Three-dimensional object image drawing apparatus and method
US5714972A (en) Display apparatus and display method
CN108762482B (zh) 一种大屏幕和增强现实眼镜间数据交互方法和系统
JP4533087B2 (ja) 画像処理方法、画像処理装置
CN1943229A (zh) 移动可投影图形用户界面
EP1374019A2 (en) Browser system and method of using it
JPH0668758B2 (ja) カーソル制御方法及び3次元図形表示装置
JPH08190640A (ja) 情報表示方法および情報提供システム
JPH07271546A (ja) 画像表示制御方法
US20010009418A1 (en) Method of displaying objects in a virtual 3-dimensional space
CN113961107B (zh) 面向屏幕的增强现实交互方法、装置及存储介质
JP3533029B2 (ja) 仮想物体表示装置
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
JP2012048656A (ja) 画像処理装置、画像処理方法
JPH11232000A (ja) 文字入力装置
Issartel et al. Analysis of locally coupled 3d manipulation mappings based on mobile device motion
EP1720090B1 (en) Computerized method and computer system for positioning a pointer
JPH07225859A (ja) オブジェクト表示装置
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JPH0962438A (ja) 3次元立体画像視点指示装置
JP2005050120A (ja) 仮想空間内位置指示装置
WO2007129502A1 (ja) 情報表示装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040305

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080312

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 9