JP3642779B2 - 3次元シミュレータ装置及び画像合成方法 - Google Patents

3次元シミュレータ装置及び画像合成方法 Download PDF

Info

Publication number
JP3642779B2
JP3642779B2 JP2003080489A JP2003080489A JP3642779B2 JP 3642779 B2 JP3642779 B2 JP 3642779B2 JP 2003080489 A JP2003080489 A JP 2003080489A JP 2003080489 A JP2003080489 A JP 2003080489A JP 3642779 B2 JP3642779 B2 JP 3642779B2
Authority
JP
Japan
Prior art keywords
viewpoint
information
input
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003080489A
Other languages
English (en)
Other versions
JP2003265858A (ja
Inventor
政樹 武田
一史 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Original Assignee
Namco Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd filed Critical Namco Ltd
Priority to JP2003080489A priority Critical patent/JP3642779B2/ja
Publication of JP2003265858A publication Critical patent/JP2003265858A/ja
Application granted granted Critical
Publication of JP3642779B2 publication Critical patent/JP3642779B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、仮想3次元空間をシミュレートできる3次元シミュレータ装置及び画像合成方法に関する。
【0002】
【従来の技術】
従来より、例えば3次元ゲームあるいは飛行機及び各種乗物の操縦シュミレータ等に使用される3次元シミュレータ装置として種々のものが知られている。このような3次元シミュレータ装置では、図18(A)に示す3次元物体300に関する画像情報が、あらかじめ装置に記憶されている。この3次元物体300は、プレーヤ(観者)302がスクリーン306を介して見ることができる風景等の表示物を表すものである。そして、この表示物である3次元物体300の画像情報をスクリーン306上に透視投影変換することにより疑似3次元画像(投影画像)308をスクリーン306上に画像表示している。この装置では、プレーヤ302が、操作パネル304により回転、並進等の操作を行うと、プレーヤ302又はプレーヤ302の搭乗する移動体の位置、方向が変化し、この変化に伴い3次元物体300の画像がスクリーン306上でどのように見えるかを求める演算処理が行われる。この演算処理はプレーヤ302の操作に追従してリアルタイムで行われる。これによりプレーヤ302は、プレーヤ自身又はプレーヤ自身の搭乗する移動体の位置、方向の変化に伴う風景等の変化を疑似3次元画像としてリアルタイムに見ることが可能となり、仮想的な3次元空間を疑似体験で 図18(B)には、以上のような3次元シミュレータ装置により形成される表示画像(ゲーム画面)の一例が示される。
【0003】
【発明が解決しようとする課題】
さて、この種の3次元シミュレータ装置では、レーシングカーゲームを例にとれば、プレーヤの視点位置はプレーヤカーの後方位置、運転席位置等に固定されていた(図18(B)では、プレーヤカー900の後方位置に固定されている)。また、視線方向もプレーヤカーの進行方向に固定されていた。しかし、この種のゲームではプレーヤの好みも多種多様であり、プレーヤカーの後方位置よりも運転席位置に視点が固定されている事を好むプレーヤも多く存在する一方で、その逆を好むプレーヤも多く存在する。更に、視線方向についてもプレーヤカーの進行方向に常に固定されていると、ゲームのバラエティを今一つ増すことができない。従って、視点位置、視線方向等の視点情報をプレーヤカーの位置、方向とは独立に変更できる3次元シミュレータ装置が望まれる。
【0004】
プレーヤの視点情報を変更する手法として、例えば装置の操作部(操作パネル)に、視点切替のための複数の選択ボタンを配置し、これらの選択ボタンのいずれかを押すことでプレーヤに所望の視点位置、視線方向を選択させる手法も考えられる。しかし、この手法によっても、視点情報の選択はこれらの選択ボタンの個数分しかなく、配置できる選択ボタンの個数も限られるため、これだけの個数では全てのプレーヤの好みに対応することはできない。また、この手法では、プレーヤは、ゲームに熱中した状態でゲーム画面を見ながら、手探りで選択ボタンを押す必要がある。従って、プレーヤが所望する選択ボタンを押そうとしても、誤った選択ボタンを押す場合が多く、このためプレーヤのゲームプレイへの集中が欠け、結果としてゲームへの満足度が低下するという問題が生じる。
【0005】
また、例えば戦闘機と戦闘機、戦闘機と戦車を対戦させる等の対戦型ゲームでは、標的に照準を合わせ、この照準方向にミサイル等を発射することで標的に対して攻撃を加える。しかし、従来の装置では、照準の方向は戦闘機等の進行方向であるプレーヤの視線方向に固定されており、従って、標的に攻撃を加えるためには標的の方向に戦闘機の方向を向ける必要があった。このため、プレーヤの所望する標的に攻撃を与えることが難しく、この結果、ゲームの面白味を今一つ高めることができないという問題があった。
【0006】
更に、例えば3−D(3次元)のダンジョンを探検しながら敵を倒すようなロールプレイングゲーム等においては、3−Dダンジョン内を、プレーヤ(あるいはプレーヤキャラクタ)はジョイスティック等を操作して移動する必要がある。この場合、従来の装置では、プレーヤの進行方向と視線方向が一致していたため、プレーヤが異なる方向を見たいと希望する場合は、プレーヤの進行方向も変更する必要があった。このため、ゲームの操作性が悪化し、ゲームの面白味を低下させていた。
【0007】
本発明は以上のような技術的課題を達成するためになされたものであり、その目的とするところは、仮想3次元空間において視界画像を形成する際の視点情報を連続的に変更できる3次元シミュレータ装置及び画像合成方法を提供することにある。
【0008】
また、本発明の他の目的は、観者又は観者の搭乗する移動体の位置、方向の操作と独立に、視点位置、視線方向を操作できる3次元シミュレータ装置及び画像合成方法を提供することにある。
【0009】
【課題を解決するための手段】
上記課題を解決するために、本発明は、操作手段と、該操作手段から入力される操作情報に基づいて仮想3次元空間を形成する演算を行う仮想3次元空間演算手段と、形成された前記仮想3次元空間内において見える視界画像の合成を行う画像合成手段とを含む3次元シミュレータ装置であって、
前記操作手段には視点情報を連続的に変更するための操作情報を入力する手段が含まれ、
前記仮想3次元空間演算手段が、前記入力手段から入力される前記操作情報に基づいて、あらかじめ定められた軌道上で視点情報を連続的に変更する演算を行い、前記画像合成手段が、変更演算が施された前記視点情報に基づいて視界画像の合成を行うことを特徴とする。
【0010】
また、本発明は、操作手段から入力される操作情報に基づいて仮想3次元空間内において見える視界画像の合成を行う画像合成方法であって、
前記操作手段に含まれる入力手段により視点情報を連続的に変更するための操作情報を入力し、前記入力手段から入力される前記操作情報に基づいて、あらかじめ定められた軌道上で視点情報を連続的に変更する演算を行い、変更演算が施された前記視点情報に基づいて視界画像の合成を行うことを特徴とする。
【0011】
本発明によれば、入力手段により入力された操作情報に基づいて、所定の軌道上で視点情報を連続的に変更する演算が行われる。即ち、入力手段を操作するにしたがって、視点情報が連続的に変更される。そして、この変更された視点情報に基づいて視界画像の合成が行われ、観者(画像を見る者、例えばプレーヤ)はこの視界画像を見ることができる。これにより、観者は、所望する視界画像が得られるまで、視点情報を連続的に調整できることになる。なお、ここで視点情報とは視点位置、視線方向等をいう。そして、視点情報を変更する場合には、視点位置を変更し、視線方向については固定する又はあらかじめ定められたパターンで変更してもよい。
【0012】
また、本発明は、操作手段と、該操作手段から入力される操作情報に基づいて仮想3次元空間を形成する演算を行う仮想3次元空間演算手段と、形成された前記仮想3次元空間内において見える視界画像の合成を行う画像合成手段とを含む3次元シミュレータ装置であって、
前記操作手段には、観者又は観者が搭乗する移動体の位置及び方向の少なくとも1つを連続的に変更するための操作情報を入力する第1の入力手段が含まれると共に、視点位置及び視線方向の少なくとも1つを連続的に変更するための操作情報を入力する第2の入力手段が含まれ、
前記仮想3次元空間演算手段が、前記第1の入力手段から入力される前記操作情報に基づいて、観者又は移動体の仮想3次元空間内における位置及び方向の少なくとも1つを指定する第1の指定情報を求めると共に、前記第2の入力手段から入力される前記操作情報に基づいて、視点位置及び視線方向の少なくとも1つを指定する第2の指定情報を求め、前記画像合成手段が、観者又は移動体が前記第1の指定情報により指定される位置、方向にある場合に、前記第2の指定情報により指定される視点位置、視線方向において見える視界画像の合成を行うことを特徴とする。
【0013】
また、本発明は、操作手段から入力される操作情報に基づいて仮想3次元空間内において見える視界画像の合成を行う画像合成方法であって、
前記操作手段に含まれる第1の入力手段により、観者又は観者が搭乗する移動体の位置及び方向の少なくとも1つを連続的に変更するための操作情報を入力し、前記操作手段に含まれる第2の入力手段により、視点位置及び視線方向の少なくとも1つを連続的に変更するための操作情報を入力し、前記第1の入力手段から入力される前記操作情報に基づいて、観者又は移動体の仮想3次元空間内における位置及び方向の少なくとも1つを指定する第1の指定情報を求めると共に、前記第2の入力手段から入力される前記操作情報に基づいて、視点位置及び視線方向の少なくとも1つを指定する第2の指定情報を求め、観者又は移動体が前記第1の指定情報により指定される位置、方向にある場合に、前記第2の指定情報により指定される視点位置、視線方向において見える視界画像の合成を行うことを特徴とする。
【0014】
本発明によれば、第1の入力手段から入力される操作情報に基づいて第1の指定情報が求められ、第2の入力手段から入力される操作情報に基づいて第2の指定情報が求められる。そして、第1の指定情報で指定される位置、方向に観者又は移動体がある場合に、第2の指定情報で指定される視点位置、視線方向において見える視界画像の合成が行われ、観者はこの視界画像を見ることができる。即ち、本発明によれば、観者又は移動体の移動と、視点位置、視線方向の移動とを独立に制御することが可能となり、操作のバラエティを増やすことができる。
【0015】
また、本発明は、前記視点位置、視線方向の少なくとも1つの変更に連動して標的への照準の位置及び方向の少なくとも1つを変更する手段を含むことを特徴とする。
【0016】
本発明によれば、視点位置、視線方向を第2の入力手段で変更すると、標的に対する照準についてもこれに連動して変更される。これにより、観者は、観者又は移動体の進行方向を標的方向に合わせることなく、標的に対して攻撃を行うことができることになる。
【0017】
また、本発明は、前記入力手段により前記操作情報を入力する際に、基準となる視界画像が合成される位置を観者に認識させる手段を含むことを特徴とする3次元シミュレータ装置。
【0018】
本発明によれば、例えば、観者が入力手段を操作する際に機械的な引っかかり部(クリック部)等を設けることで、基準となる視界画像が合成される位置、例えばドライビングゲームを例にとれば運転席、車の後方、車の上方等に視点位置等が設定される場合に見える視界画像が合成される位置を、観者に対して認識させることができる。
【0019】
【発明の実施の形態】
1.ゲームの概要
まず、本3次元シミュレータ装置で実現される3次元ゲームの一例について簡単に説明する。
【0020】
図2には、本3次元シミュレータ装置の一例が示される。この3次元シミュレータ装置では、複数の独立したシミュレータ装置(ゲーム装置)1−1、1−2、1−3、1−4がデータ伝送ラインを介して互いに接続されている。もちろん、本発明は、このようなマルチプレーヤ型ゲーム構成のみならず1人プレーヤ構成の場合にも当然に適用できる。
【0021】
図2に示すように、この各シミュレータ装置は、実際のレーシングカーの運転席と同様に形成されている。そして、プレーヤは、シート18に着座し、ディスプレイ10に映し出されたゲーム画面(レーシングカーの運転席から見える風景の視界画像)を見ながら、操作部12に設けられたハンドル14、アクセル15等を操作して架空のレーシングカーを運転してゲームを行う。そして、本発明では、更に、操作部12にロータリエンコーダ16が設けられている。このロータリエンコーダ16は、プレーヤの視点情報を、あらかじめ定められた軌道上で連続的に変更するために設けられたものである。
【0022】
図3には、本3次元ゲームにおける仮想3次元空間の一例が示される。このように、本3次元ゲームにおける仮想3次元空間には、3次元的に形成されたコース20が配置されている。そして、コース20の周辺には、ビル60、アーチ62、スタンド64、崖66、壁68、トンネル70、木72、ブリッジ74等の3次元オブジェクトが配置されている。プレーヤはこれらのコース等が映し出されたディスプレイ10を見ながらレーシングカーを操作する。そして、スタートポイント76からスタートして、コース20を周回し、所定回数コースを周回するとゴールとなり、プレーヤの順位が決定される。
【0023】
図4(A)、(B)、図5(A)、(B)には、本3次元ゲームにおいてディスプレイ10上に映し出されるゲーム画面(視界画像)の一例が示される。これらのゲーム画面間では、各々視点情報(視点位置、視線方向)が異なっており、図6には、これらの各ゲーム画面に対応する視点位置20〜23、視線方向24〜27が示されている。
【0024】
例えば、図4(A)は、プレーヤカー51の運転席位置に視点情報が設定されている(図6の視点位置20、視線方向24)のゲーム画面の例である。この場合には、ゲーム画面上には相手レーシングカー52のみ描かれプレーヤカーは描かれないが、プレーヤは実際に車を運転しているのと同様の感覚を味わえるため、ゲームのリアリティを高めることができる。また、図4(B)は、プレーヤカー51の後方位置に視点情報が設定されている場合(図6の視点位置21、視線方向25)のゲーム画面の例である。この場合には、相手レーシングカー52のみならずプレーヤカー51もゲーム画面上に描かれる。このため、プレーヤは自身が操作したプレーヤカー51がどのように動くかについても見ることができ(例えばドリフト状態となった自身のプレーヤカーを見ることができる)、ゲームの面白味を高めることができる。また、図5(A)は、プレーヤカー51の後方よりやや上方の位置に視点情報が設定されている場合(図6の視点位置22、視線方向26)のゲーム画面の例である。また、図5(B)は、プレーヤカー51のトップ(ほぼ真上)位置に視点情報が設定されている場合(図6の視点位置23、視線方向27)のゲーム画面の例である。このようなドライビングゲームでは、例えば運転席から見える視界画像を合成するゲーム装置と、プレーヤカーのトップ位置から見える視界画像を合成するゲーム装置等とは、別ジャンルのゲーム装置として確立されている。しかし、本実施例によれば、このように異なるジャンルとして確立されているゲーム装置の視界画像を、1つのゲーム装置により表現することが可能となる。なお、例えば視点がトップ位置にある場合等には、運転席の位置にある場合に比べ、コース20の曲がり具合がよくわかり、初心者に好適なものとなる。
【0025】
さて、本実施例では視点情報を連続的に変更することができる。例えば、図6では、視点情報の中の視点位置を運転席の位置からトップの位置まで(視点位置20〜視点位置23まで)連続的に移動することができる。この場合、視点位置の移動する軌道30はあらかじめ定められており、プレーヤは、図2のロータリエンコーダ16を操作することで、この軌道30上で視点位置を連続的に移動させる。従って、プレーヤは、自分が所望する視点情報を任意に設定し、この設定された視点情報に基づくゲーム画面を見ることが可能となる。これにより、多種多様な好みを持つ多くのプレーヤの要求を満足させることが可能となる。また、プレーヤの所望する視点情報に基づき視界画像を得るために、1つのロータリエンコーダ16を操作すればよいので、プレーヤが操作を間違える可能性が少なくなり、結果として、プレーヤはゲーム画面に集中することができる。また、例えばロータリエンコーダ16を左に回せば視点位置23側に、右に回せば視点位置20側にというように視点情報を変更できるため、見たい画像を得るための操作が直感的に非常に分かり易いものとなる。以上により装置の商品性を大幅に高めることができる。
【0026】
なお、図6では、視点情報の中の視線方向24〜27については、視点位置20〜23の各々において異なったものに設定されている。例えば、視点位置20においては視線方向24はプレーヤカー51の進行方向に設定されている。また、視点位置21では視線方向25はやや下向きとなり、視点位置22、23での視線方向26、27は更に下向きになっている。視点位置を連続的に変更するのに伴い、このように、視線方向24〜27の向きについても連続的に変更させることが望ましい。但し、視線方向の向きは図6に示される設定に限られず、例えば常に1つの方向に固定する等の種々の設定とすることができる。また、軌道の形状も図6に示すものに限られるものではない。
【0027】
2.装置全体の説明
図1には、本実施例に係る3次元シミュレータ装置のブロック図が示される。
【0028】
図1に示すように、本実施例の3次元シミュレータ装置は、プレーヤが操作情報を入力する操作部12、所定のゲームプログラムにより仮想3次元空間形成のための演算を行う仮想3次元空間演算部100、仮想3次元空間演算部100により決められた視点位置における視界画像を合成する画像合成部200、及びこの視界画像を画像出力するディスプレイ10を含んでいる。
【0029】
操作部12には、例えば本3次元シミュレータ装置をレーシングカーゲームに適用した場合には、レーシングカーを運転するためのハンドル14、アクセル15等が含まれ、これにより操作情報が入力される。また、操作部12には、図2のロータリエンコーダ16に相当する入力部2が含まれ、これにより視点情報を連続的に変更するための操作情報を入力できる。
【0030】
仮想3次元空間演算部100では、図3に示す仮想3次元空間における複数の表示物、例えばコース20、ビル60、アーチ62、スタンド64、崖66、プレーヤカー、相手レーシングカー、コンピューターカー等の位置あるいは位置及び方向を設定する演算が行われる。この演算は、操作部12からの操作情報や、あらかじめ設定記憶されているマップ情報等に基づいて行われる。そして、仮想3次元空間演算部100には、視点情報変更部107が含まれている。この視点情報変更部107には、入力部2から、視点情報(視点位置、視線方向)を連続的に変更するための操作情報が入力され、この操作情報に基づいて、あらかじめ定められた軌道(図6の軌道30)上で視点情報を連続的に変更する演算が行われる。そして、変更演算が施された視点情報は画像合成部200に出力される。
【0031】
画像合成部200では、仮想3次元空間演算部100からの演算結果に基づいて視界画像の合成が行われる。この場合、視界画像を合成する際に必要な視点位置、視線方向等の視点情報は仮想3次元空間演算部100から入力されたものを用いる。そして、合成された視界画像はディスプレイ10上に表示される。以上のようにして、あらかじめ定められた軌道上において視点情報を連続的に変更した場合の視界画像を得ることができる。
【0032】
図7には、仮想3次元空間演算部100、画像合成部200等の具体的構成の一例を表すブロック図が示される。但し、本発明における仮想3次元空間演算手段、画像合成手段の構成は図7に示す構成に限られるものではない。
【0033】
3.仮想3次元空間演算部についての説明
図7に示すように操作部12は、第1、第2の入力部4、6を含む。第1の入力部4は、ハンドル14、アクセル15等に相当するものであり、この第1の入力部4により、プレーヤカー(又はプレーヤ)の位置又は方向あるいは位置及び方向を連続的に変更する操作情報が入力される。例えば、ハンドル14を操舵すると、その操舵角により方向についての変化量が入力される。また、アクセル15の踏み具合により位置についての変化量が入力される。
【0034】
また、第2の入力部6は、ロータリエンコーダ16に相当するものであり、この第2の入力部6により視点位置を連続的に変更する操作情報が入力される。また、この第2の入力部6により、視線方向を連続的に変更する操作情報を入力させることもできる。例えばロータリエンコーダ16を回転させると、その回転角により視点位置等の変化量が入力される。
【0035】
なお、第2の入力部6としては、種々のものを採用することができ、例えば図8(A)に示すロータリエンコーダ16以外にも、図8(B)に示すようなポテンショメータ32と呼ばれるものも採用できる。ロータリエンコーダ16によれば視点情報の相対的な変化量を操作情報として入力できるが、ポテンショメータ32によれば視点情報の絶対的な値を操作情報として入力できる。そして、図8(A)では、操作凹部17を用いて回転部分を左右に回転させることで視点情報を変更し、図8(B)では、つまみ33をスライドさせることで視点情報を変更することになる。なお、形状は図8(A)、(B)に示すものに限らず、例えばスライド式のロータリエンコーダや、回転式のポテンショメータを採用することも可能である。
【0036】
ロータリエンコーダ16を用いる場合には、得られる操作情報はデジタルデータとなるため、図8(C)に示すように、この操作情報はそのまま仮想3次元空間演算部100に入力される。一方、ポテンショメータ32を用いる場合には、得られる操作情報はアナログデータになるため、図8(D)に示すように、この操作情報はA/D変換部34でデジタルデータに変換されて、仮想3次元空間演算部100に入力される。但し、仮想3次元空間演算部100がアナログインターフェースを有している場合には、直接にアナログデータの操作情報を入力してもよい。
【0037】
また、ロータリエンコーダ16を回転させた場合に機械的に引っかかる部分(クリック部)を設け、図9(A)に示すように、例えば操作凹部36が表示36〜42の位置にある場合にプレーヤに引っかかりを感じさせるような構成とすることもできる。これにより、プレーヤがロータリエンコーダ16を用いて操作情報を入力する際に、基準となる視界画像(例えば図4(A)、(B)、図5(A)、(B)の視界画像)が合成される位置をプレーヤに認識させることができる。この結果、プレーヤは、基準となる視界画像を合成するための視点情報(例えば図6の視点位置20〜23、視線方向24〜27)を容易に選択することができ、この視点情報を基準にプレーヤの所望する視点情報への変更動作を行うことも可能となる。なお、図9(B)には、ポテンショメータ32の場合についての例が示され、この場合はつまみ33が表示44、46の位置にある場合に、プレーヤは引っかかりを感じることになる。
【0038】
図7に示すように、仮想3次元空間演算部100は、処理部102、仮想3次元空間設定部104、移動演算部106、視点情報変更部107、表示物情報記憶部108を含んでいる。
【0039】
ここで、処理部102では、3次元シミュレータ装置全体の制御が行われる。また、処理部102内に設けられた図示しない記憶部には、所定のゲームプログラムが記憶されている。仮想3次元空間演算部100は、このゲームプログラム及び操作部12からの操作信号にしたがって仮想3次元空間設定の演算を行うことになる。
【0040】
移動演算部106では、第1の入力部4から入力されるプレーヤカーの位置等についての操作情報及び処理部102からの指示等にしたがって、プレーヤカーの位置情報、方向情報の変化量(例えば△Xm、△Ym、△Zm、△θm、△φm、△ρmの全てあるいはその一部)を求める演算が行われる。一方、視点情報変更部107においては、例えば第2の入力部6としてロータリエンコーダを用いた場合には、第2の入力部6から入力される操作情報及び処理部102からの指示等にしたがって、視点位置等の軌道30上に沿った変化量(例えば△Xk、△Yk、△Zk)等を求める演算が行われる。
【0041】
表示物情報記憶部108には、仮想3次元空間を構成する表示物の数に対応する格納エリアがあり、各エリアには該表示物の位置情報・方向情報及びこの位置に表示すべき表示物のオブジェクトを指定するオブジェクトナンバーが記憶されている(以下、この記憶された位置情報・方向情報、オブジェクトナンバーを表示物情報と呼ぶ)。図10には、表示物情報記憶部108に記憶される表示物情報の一例が示される。図10における位置情報、方向情報はワールド座標系(絶対座標系)における値である。
【0042】
表示物情報記憶部108に記憶されている表示物情報は、仮想3次元空間設定部104により読み出される。この場合、表示物情報記憶部108には、当該フレームの1つ前のフレームにおける表示物情報が記憶されている。そして、仮想3次元空間設定部104では、読み出された表示物情報と、移動演算部106で演算された変化量(△Xm、△Ym、△Zm、△θm、△φm、△ρm)とに基づいて、当該フレームにおける表示物情報(第1の指定情報)が求められ、画像合成部200に出力される。なお、静止物体については表示物情報は変化しないのでこのような処理は必要ない。
【0043】
また、視点情報変更部107においても、1つ前のフレームにおける視点情報、演算された当該フレームにおける変化量(△Xk、△Yk、△Zk)、及びプレーヤカーの位置情報等を用いることにより、視点情報を変更する演算が行われ、これにより当該フレームにおける視点情報が求められる。但し、視点情報については、例えば入力手段6から入力される操作情報に1対1に対応させて、プレーヤカー51の位置からの視点位置の変化(△Xj、△Yj、△Zj)等を格納したテーブルを用意し、このテーブルを用いて視点情報を求めてもよい。このようにすれば演算を容易に行うことができる。そして、この演算は、視点情報変更部107により行う。このようにして求められた視点情報は、フレーム情報(第2の指定情報)として画像合成部200に出力される。
【0044】
4.画像合成部についての説明
画像合成部200では、仮想3次元空間において見える視界画像の合成が行われる。このため画像合成部200は、図7に示すように画像供給部210と画像形成部228とを含み、画像供給部210はオブジェクト画像情報記憶部212を含む。オブジェクト画像情報記憶部212には、表示物を表すオブジェクトの画像情報が記憶されており、このオブジェクトは表示物情報に含まれるオブジェクトナンバーにより指定される。
【0045】
画像供給部210では、仮想3次元空間演算部100からの表示物情報、フレーム情報、及びオブジェクト画像情報記憶部212から読み出されたオブジェクト画像情報に基づいて、各種の3次元演算処理が行われる。即ち、まず、図11に示すように、レーシングカー、コース等を表すオブジェクト300、333、334について、それを構成するポリゴンをワールド座標系(絶対座標系)(XW、YW、ZW)で表現される仮想3次元空間上に配置するための演算処理が行われる。次に、これらの各オブジェクトについて、それを構成するポリゴンを視点位置301を原点とする視点座標系(Xv、Yv、Zv)へ座標変換する処理が行われる。その後、いわゆるクリッピング処理が行われ、次に、スクリーン座標系(XS、YS)への透視投影変換処理が行われる。次に、ポリゴンフォーマット変換処理が行われ、最後に、必要に応じてソーティング処理等が行われる。
【0046】
画像形成部228では、画像供給部210において3次元演算処理されたポリゴンの頂点座標等のデータから、ポリゴン内の全てのドットの画像情報が演算される。これによりプレーヤから見ることができる視界画像(疑似3次元画像)が形成されることになる。
【0047】
さて、図12(A)、(B)には、本実施例の画像合成部200において取り扱われるデータのフォーマットの一例が示される。図12(A)に示すように、このデータ列の先頭には、フレームデータが位置し、これに続き各々のオブジェクトについてのオブジェクトデータが連なっている。また、各々のオブジェクトデータには、オブジェクトを構成するポリゴンのデータが連なっている。図12(B)には、このポリゴンデータのフォーマットの一例が示される。
【0048】
仮想3次元空間演算部100により求められた視点位置、視線方向等の視点情報は、このフレームデータに含まれる。フレームデータには、当該フレームにおける視野角情報、モニタ情報等も含まれる。画像供給部210は、これらの視点情報等を用いて、上記3次元演算処理を行う。例えば、視点位置情報に基づいて図11の視点位置301が求められ、これにより視点座標系(Xv、Yv、Zv)の原点が定まる。また、視線方向情報に基づいて、Zvの方向が決まり、これらによりXv、Yvの方向も定まる。そして、本実施例では、視点情報を連続的に変化させることで、この視点座標系を変化させ、図4(A)、(B)、図5(A)、(B)に示されるような視界画像を得ることができる。
【0049】
5.照準の連動
以上では、あらかじめ定められた軌道30上において視点位置及び視線方向を連続的に変更する場合について説明した。しかし、本実施例ではこれ以外にも、視点位置、視線方向を各々独立に任意の位置、方向に変更することも可能である。例えば、図13(A)では、移動体(又はプレーヤ)を移動させる第1の入力部として操縦レバー48が用いられ、視線方向を任意の方向に変更する第2の入力部としてジョイスティック50が用いられる。即ち、操縦レバー48を操舵することで、例えばプレーヤの搭乗する戦闘機等を所望の位置、方向に動かすことができる。また、ジョイスティック50を所望の方向へ倒すことで、視線方向を任意の方向に変更することができる。このようにすれば、移動体である戦闘機の進行方向と、プレーヤの視線方向等とを別々に独立に変更することができ、ゲームの面白味を増すことができる。
【0050】
例えば、図14(A)では、プレーヤの搭乗する戦闘機80は、戦車82に対して攻撃を加えようとしている。この場合、標的に対する照準84は、プレーヤの視線の方向に位置しており、正面の方向に位置している。一方、図14(B)では、戦車82が左方向に移動した場合の図が示される。このような場合、従来の装置では、操縦レバー48を操舵して戦闘機80の進行方向を戦車82の方に向けなければ、攻撃を加えることはできなかった。これに対して、本実施例では、まず、プレーヤは、ジョイスティック50を左方向に倒すことで、プレーヤの視線の方向をゲーム画面上の左の方に変更することができる。そして、更に、この視線方向の変更に連動して、照準84もその方向に移動する。これにより、戦車82に照準を合わせることができ、戦車82に対して攻撃を加えることが可能となり、ゲームの面白味をより増すことができる。
【0051】
図15にはこの場合の3次元シミュレータ装置のブロック図の一例が示される。前述の図7と異なり、画像合成部200が照準画像生成部230を含んでいる。この照準画像生成部230は、照準84の画像を生成するためのものである。また、第1の入力部4は、図13(A)の操縦レバー等がこれに相当し、第2の入力部6は、視線方向について操作情報を入力するためのジョイスティック50がこれに相当する。そして、仮想3次元空間演算部100内には、視点変更部108及び視線変更部109が設けられる。視点変更部108では視点位置を連続的に変更するための演算が行われる。また、視線変更部109では、視線方向を連続的に変更するための演算が行われる。そして、求められた変更後の視点情報は、フレーム情報に含まれ、画像供給部210及び照準画像生成部230に入力される。照準画像生成部230は、この視点情報に基づいて、ゲーム画面上のどの位置に照準84を表示するかを決め、その位置に照準84が表示された画像を画像形成部228に出力する。画像形成部228は、画像供給部210からの画像情報により形成された視界画像と、照準画像生成部230からの画像とをミキシングし、ディスプレイ10への表示処理を行う。これにより、図13(A)、(B)に示すように照準84を表示することが可能となる。
【0052】
6.3−Dダンジョンゲームへの適用
次に、本実施例を3−Dダンジョンゲームに適用した場合の例について説明する。図16(A)〜(E)には、プレーヤ86が、3−Dダンジョンの中のいわゆる袋小路に迷い込んだ場合の例が示される。ここで、実線の矢印で示す方向87はプレーヤの進行方向を表し、点線の矢印で示す方向88はプレーヤの視線方向を表す。従来の3次元シミュレータ装置では、図16(A)、(B)に示すように、プレーヤ86の視線方向88は常にプレーヤの進行方向87と一致していた。従って、このようにプレーヤが袋小路に迷い込んだ場合にプレーヤがこの袋小路を脱出できる方向を見つけ出すためには、プレーヤの進行方向87も変化させなければならなかった。そして、このようにプレーヤの進行方向87も変化させると、プレーヤは初めの状態(図16(A))において進んでいた方向がわからなくなってしまい、3−Dダンジョンの攻略を困難なものにしていた。これに対して、本実施例では、例えば図13(B)のジョイスティック52を用いてプレーヤの進行方向87を決めると共に、ジョイスティック53を用いてプレーヤの視線方向88をも決めることができる。これにより、図13(C)〜(E)に示すように、プレーヤの進行方向87は変化させずに、プレーヤの視線方向88のみを独立に変化させることができる。この結果、このような袋小路の状況を認識することが容易となり、操作性の向上や、新たなイベントの創出が可能となる。これは、丁度、ジョイスティック52によりプレーヤの体を動かし、ジョイスティック53によりプレーヤの頭を動かすことに相当し、これにより、この種のゲームに要求される仮想現実感をより高めることが可能となる。なお、この場合に、よりゲームを現実の世界に近いものにするために、視線方向88を動かすことができる範囲を、実際の頭を動かすことができる範囲に限定することも可能である。
【0053】
さて、図13(C)では、このようなジョイスティック52、53の他に、更に視点位置を移動させるためのロータリエンコーダ55(ポテンショメータ等でも構わない)を設けている。プレーヤは、このロータリエンコーダ55を用いることで、プレーヤの視線方向のみならず、プレーヤの視点位置についても移動させることができる。例えば図17(A)では、壁に設けられる松明90の下方に何か文字が書いてあるが、この視点位置ではプレーヤはこの文字を読むことができない。本実施例では、このような場合に、ロータリエンコーダ55を操作して、プレーヤの視点位置を松明90の方向に近づけることで、図17(B)に示すように松明90の下方に書かれている文字92を読むことができる。以上のようにすることで、ゲームの謎解きの面白さ等をより増すことが可能となる。なお、この場合には、図15のブロック図において、ジョイスティック52が第1の入力部4に相当し、ジョイスティック53及びロータリエンコーダ55が第2の入力部6に相当する。そして、ジョイスティック53からの操作情報は視線変更部109に入力され、これにより視線方向を変更するための演算が行われる。一方、ロータリエンコーダ55からの操作情報は視点変更部108に入力され、これにより視点位置を変更するための演算が行われる。そして、これらの演算が施された視点位置、視線方向の情報がフレーム情報として画像合成部200に入力され、これによりこれらの視点位置、視線方向情報に基づく視界画像が合成されることになる。
【0054】
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【0055】
例えば、本発明における入力手段としては、本実施例で説明したロータリエンコーダ、ポテンショメータ、ジョイスティック以外にも、例えば、トラックボールを用いたもの、単なるボタン操作によるもの等、種々のものを採用できる。
【0056】
また、本発明においては、視点位置、視線方向の両方を変更するようにしてもよいし、どちらか一方のみを変更するようにしてもよい。
【0057】
また、本発明は、業務用のゲーム機のみならず、例えば、家庭用のゲーム装置、フライトシミュレータ、教習所等で使用されるドライビングシミュレータ等にも適用することができる。特に、本発明の原理は、家庭用ゲーム装置、パーソナルコンピュータに使用されるゲームカートリッジ、CD−ROMに格納されるゲームプログラムのアルゴリズム等にも当然に適用できる。更に、多数のプレーヤが参加する大型アトラクション型のゲーム装置、シミュレーション装置にも適用できる。
【0058】
また、本実施例では、レーシングカーゲーム、対戦ゲーム、ロールプレイングゲーム等を例にとり説明したが、本発明はこれに限らず、あらゆる種類のゲームに適用でき、例えば3次元的にマップが形成された宇宙船ゲーム等にも適用できる。
【0059】
また、本発明において仮想3次元空間演算手段、画像合成手段等において行われる演算処理は、専用の画像処理デバイスを用いて処理してもよいし、汎用のマイクロコンピュータ、DSP等を利用してソフトウェア的に処理してもよい。
【0060】
更に、仮想3次元空間演算手段、画像合成手段等で行われる演算処理も本実施例で説明したものに限定されるものではない。
【0061】
【発明の効果】
本発明によれば、観者は、所望する視界画像が得られるまで、視点情報を連続的に変更できる。これにより多種多様な好みを持つ多くの観者の要求を満足させることができる。また、観者の誤操作を少なくし、観者の視界画像への集中度を増させることができる。また、視点情報の変更操作も直感的に分かり易いものとすることができる。
【0062】
また、本発明によれば、観者又は移動体の移動と、視点位置、視線方向の変更とを独立に制御することが可能となる。これにより、観者等の進行方向と視線方向等とを一致させなくてもよくなるため、操作のバラエティを増すことができる。また、これにより、観者は、自分の体の動作を第1の入力手段により、頭の動作を第2の入力手段により操作することが可能となり、仮想現実感をより高めることができる。また、視点方向及び視線方向の双方を移動させることで、例えば迷路内において壁に書かれた文字をのぞき込むというような操作も可能となる。
【0063】
また、本発明によれば、観者は、観者又は移動体の進行方向を標的方向に合わせることなく、標的に対して攻撃を行うことができるため、標的に対する攻撃を行い易くなり、ゲーム等の面白味を増すことができる。
【0064】
また、本発明によれば、基準となる視界画像が合成される位置を観者に対して認識させることができる。これにより、観者は、基準となる視界画像を合成するための視点情報を容易に選択することができ、この視点情報を基準に観者の所望する視点情報の位置へと変更する操作も可能となる。これにより、操作性を向上させることができる。
【図面の簡単な説明】
【図1】本発明に係る実施例のブロック図の一例である。
【図2】本3次元シミュレータ装置の外観の一例を示す図である。
【図3】本3次元ゲームにおける仮想3次元空間の一例を示す図である。
【図4】図4(A)、(B)は、本3次元シミュレータ装置により画像合成されたゲーム画面の一例を示す図である。
【図5】図5(A)、(B)は、本3次元シミュレータ装置により画像合成されたゲーム画面の一例を示す図である。
【図6】視点情報の連続的な変更について説明するための図である。
【図7】仮想3次元空間演算部、画像合成部のブロック図の一例である。
【図8】図8(A)、(B)は入力手段の一例であり、図8(C)、(D)は、これらの入力手段の接続図である。
【図9】図9(A)、(B)は、機械的な引っかかり部を設けた入力手段の一例である。
【図10】表示物情報記憶部に記憶される表示物情報について説明するための図である。
【図11】本実施例における3次元演算処理について説明するための図である。
【図12】図12(A)、(B)は、画像合成部において取り扱われるデータのフォーマットの一例である。
【図13】図13(A)〜(C)は、本実施例で使用される入力手段の組み合わせ形態について示す図である。
【図14】図14(A)、(B)は、照準を視点情報に連動させて変更する場合のゲーム画面の一例である。
【図15】本実施例のブロック図の他の一例である。
【図16】図16(A)〜(E)は、3−Dダンジョンにおけるプレーヤの進む向き及び視線方向について説明するための図である。
【図17】図17(A)、(B)は、視点位置及び視線方向を共に独立に変更する場合のゲーム画面の一例である。
【図18】図18(A)は、3次元シミュレータ装置の概念を説明するための概略説明図であり、図18(B)は、3次元シミュレータ装置により形成される画面の一例を示す図である。
【符号の説明】
4 第1の入力部
6 第2の入力部
10 ディスプレイ
12 操作部
16 ロータリエンコーダ
32 ポテンショメータ
100 仮想3次元空間演算部
102 処理部
104 仮想3次元空間設定部
106 移動演算部
107 視点情報変更部
108 視点変更部
109 視線変更部
108 表示物情報記憶部
110 マップ設定部
200 画像合成部
210 画像供給部
212 オブジェクト画像情報記憶部
228 画像形成部
230 照準画像生成部

Claims (2)

  1. 操作手段と、該操作手段から入力される操作情報に基づいて仮想3次元空間を形成する演算を行う仮想3次元空間演算手段と、形成された前記仮想3次元空間内において見える視界画像の合成を行う画像合成手段とを含む3次元シミュレータ装置であって、
    前記操作手段には、移動体を移動させるための操作情報を入力する第1の入力手段が含まれると共に、視点位置及び視線方向の少なくとも1つを連続的に変更するための操作情報を入力する第2の入力手段が含まれ、
    前記仮想3次元空間演算手段が、
    前記第1の入力手段から入力される前記操作情報に基づいて、前記移動体の仮想3次元空間内における位置及び方向を求める手段と、
    前記第2の入力手段から入力される前記操作情報に基づいて、視点位置及び視線方向の少なくとも1つを指定する視点情報を求める視点情報変更手段とを含み、
    前記画像合成手段が、
    前記移動体が、求められた前記位置、方向にある場合に、前記視点情報により指定される視点位置、視線方向において見える視界画像の合成を行い、
    前記第2の入力手段がジョイスティックを含み、
    前記視点情報変更手段が、
    前記第2の入力手段からの操作情報に従って得られた変化量で、視点位置を、前記移動体の後方から該移動体に向かう軌道上で連続的に変更するとともに、前記ジョイスティックを倒した方向に応じて視線方向を任意の方向に変更することを特徴とする3次元シミュレータ装置。
  2. 操作手段から入力される操作情報に基づいて仮想3次元空間内において見える視界画像の合成を行う画像合成方法であって、
    前記操作手段に含まれる第1の入力手段により、移動体を移動させるための操作情報を入力し、前記操作手段に含まれる第2の入力手段により、視点位置及び視線方向の少なくとも1つを連続的に変更するための操作情報を入力し、
    前記第1の入力手段から入力される前記操作情報に基づいて、前記移動体の仮想3次元空間内における位置及び方向を求め、
    前記第2の入力手段から入力される前記操作情報に基づいて、視点位置及び視線方向の少なくとも1つを指定する視点情報を求め、
    前記移動体が、求められた前記位置、方向にある場合に、前記視点情報により指定される視点位置、視線方向において見える視界画像の合成を行い、
    前記第2の入力手段がジョイスティックを含み、
    前記第2の入力手段からの操作情報に従って得られた変化量で、視点位置を、前記移動体の後方から該移動体に向かう軌道上で連続的に変更するとともに、前記ジョイスティックを倒した方向に応じて視線方向を任意の方向に変更することを特徴とする画像合成方法。
JP2003080489A 2003-03-24 2003-03-24 3次元シミュレータ装置及び画像合成方法 Expired - Fee Related JP3642779B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003080489A JP3642779B2 (ja) 2003-03-24 2003-03-24 3次元シミュレータ装置及び画像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003080489A JP3642779B2 (ja) 2003-03-24 2003-03-24 3次元シミュレータ装置及び画像合成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP28416094A Division JP3447397B2 (ja) 1994-10-24 1994-10-24 3次元シミュレータ装置及び画像合成方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2004330700A Division JP3771248B2 (ja) 2004-11-15 2004-11-15 家庭用ゲーム装置及び家庭用ゲーム装置のゲーム画像合成方法
JP2004330699A Division JP3686078B2 (ja) 2004-11-15 2004-11-15 ゲーム装置及びゲーム画像合成方法

Publications (2)

Publication Number Publication Date
JP2003265858A JP2003265858A (ja) 2003-09-24
JP3642779B2 true JP3642779B2 (ja) 2005-04-27

Family

ID=29208546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003080489A Expired - Fee Related JP3642779B2 (ja) 2003-03-24 2003-03-24 3次元シミュレータ装置及び画像合成方法

Country Status (1)

Country Link
JP (1) JP3642779B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3700857B2 (ja) * 2004-03-03 2005-09-28 コナミ株式会社 ゲームプログラム及びゲーム装置
GB2458910A (en) * 2008-04-01 2009-10-07 Areograph Ltd Sequential image generation including overlaying object image onto scenic image
BR112013005093A2 (pt) 2010-09-09 2016-05-03 Sony Corp dispositivo de processamento de informação, método de processamento de informação, e, programa
JP6219037B2 (ja) * 2013-02-06 2017-10-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2018110118A1 (ja) * 2016-12-15 2018-06-21 株式会社堀場製作所 車両試験システム、車両試験システム用制御装置、車両試験システム制御方法、及び車両試験システム用プログラム
CN114939272B (zh) * 2022-06-15 2023-08-04 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统

Also Published As

Publication number Publication date
JP2003265858A (ja) 2003-09-24

Similar Documents

Publication Publication Date Title
JP5507893B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP2799126B2 (ja) ビデオゲーム装置及びゲーム用入力装置
EP0802508B1 (en) Input device for image formation method and its apparatus
US7198568B2 (en) Game machine and game program for changing the movement of one character based on the movement of another character
JP3103322B2 (ja) シューティングゲーム装置、シューティングゲームの画像表示方法及び可読記録媒体
JP2018110659A (ja) 情報処理プログラム、情報処理方法、情報処理システム、および情報処理装置
JPH06176131A (ja) 画像合成装置及びこれを用いた仮想体験装置
JP2001269482A (ja) ゲームシステム、ゲーム用プログラムを記録したコンピュータ読み取り可能な記録媒体及び画像表示方法
JP2000262738A (ja) ゲーム装置及び情報記憶媒体
JP3447397B2 (ja) 3次元シミュレータ装置及び画像合成方法
JP3273038B2 (ja) 仮想体験型ゲーム装置
EP3796988B1 (en) Virtual camera placement system
JP3642779B2 (ja) 3次元シミュレータ装置及び画像合成方法
JP3685829B2 (ja) 3次元ゲーム装置及び画像合成方法
JP4059408B2 (ja) ゲーム装置及び情報記憶媒体
JP3836121B2 (ja) 家庭用ゲーム装置及び家庭用ゲーム装置のゲーム画像合成方法
JP3686078B2 (ja) ゲーム装置及びゲーム画像合成方法
JP3771248B2 (ja) 家庭用ゲーム装置及び家庭用ゲーム装置のゲーム画像合成方法
JP3855892B2 (ja) ゲームシステム及びその制御方法
JP3482017B2 (ja) 3次元ゲーム装置および3次元ゲーム画像生成方法
JP2002224434A (ja) 画像合成装置、仮想体験装置および画像合成方法
JP2007181713A (ja) ゲーム装置及び情報記憶媒体
JP4067584B2 (ja) 3次元ゲーム装置
JPH0884859A (ja) ゲーム装置
JP2000107467A (ja) ゲーム装置、情報記録媒体および視点位置の移動方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080204

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080204

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees