JP2550832B2 - 仮想現実感生成装置 - Google Patents
仮想現実感生成装置Info
- Publication number
- JP2550832B2 JP2550832B2 JP4193994A JP19399492A JP2550832B2 JP 2550832 B2 JP2550832 B2 JP 2550832B2 JP 4193994 A JP4193994 A JP 4193994A JP 19399492 A JP19399492 A JP 19399492A JP 2550832 B2 JP2550832 B2 JP 2550832B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- sound image
- image
- virtual space
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
Description
【０００１】
【産業上の利用分野】本発明は、生成した画像と音像を
与えることにより視聴者に対して仮想空間における現実
感を与える仮想現実感生成装置に関する。
与えることにより視聴者に対して仮想空間における現実
感を与える仮想現実感生成装置に関する。
【０００２】
【従来の技術】近年、ゲーム装置の分野において遊戯者
に対して仮想的な現実感を与える試みが盛んに行われて
いる。ゲームの画像表示についてはコンピュータグラフ
ィックス技術の発達によりあらゆる方向からの画像表示
が可能になってきているが、ゲームの効果音については
単に効果音をモノラル音声で発するものが多く、現実感
を高めようとしても、せいぜいステレオ音声を用いるも
のしかなかった。ステレオ音声を用いた場合でも両スピ
ーカの中央で聞くことを前提としており、任意の位置に
音像を定位させることができなかった。
に対して仮想的な現実感を与える試みが盛んに行われて
いる。ゲームの画像表示についてはコンピュータグラフ
ィックス技術の発達によりあらゆる方向からの画像表示
が可能になってきているが、ゲームの効果音については
単に効果音をモノラル音声で発するものが多く、現実感
を高めようとしても、せいぜいステレオ音声を用いるも
のしかなかった。ステレオ音声を用いた場合でも両スピ
ーカの中央で聞くことを前提としており、任意の位置に
音像を定位させることができなかった。
【０００３】
【発明が解決しようとする課題】このため、従来は、現
実感ある効果音を発することができず、遊戯者に対して
仮想的な現実感を十分に与えることができなかった。特
に遊戯者が動いた場合にはその動きに応じて画像や音像
の位置がずれてしまい、仮想的な現実感を得ることがで
きなかった。
実感ある効果音を発することができず、遊戯者に対して
仮想的な現実感を十分に与えることができなかった。特
に遊戯者が動いた場合にはその動きに応じて画像や音像
の位置がずれてしまい、仮想的な現実感を得ることがで
きなかった。
【０００４】本発明の目的は、遊戯者が動いた場合でも
遊戯者に対して仮想的な現実感を与えることができる仮
想現実感生成装置を提供することにある。
遊戯者に対して仮想的な現実感を与えることができる仮
想現実感生成装置を提供することにある。
【０００５】
【課題を解決するための手段】上記目的は、視聴者の視
覚に対して仮想空間における画像を生成する画像生成手
段と、前記視聴者の聴覚に対して前記仮想空間における
音像を生成する音像生成手段とを有し、前記画像生成手
段からの画像と前記音像生成手段からの音像により前記
視聴者に対して前記仮想空間における現実感を与える仮
想現実感生成装置において、前記視聴者に設けられ、地
磁気を検出する磁気方位センサを有し、前記視聴者の向
いている方向を検出する方位検出手段と、光を出射する
光出射手段と、前記視聴者に設けられ、前記光出射手段
から出射された光を検出する光検出手段とを有し、前記
視聴者の位置を検出する位置検出手段と、前記仮想空間
における画像の位置を変化させないように、前記視聴者
検出手段により検出された前記視聴者の動きに基づいて
前記画像生成手段により生成された画像を補正する画像
補正手段と、前記仮想空間における音像の位置を変化さ
せないように、前記視聴者検出手段により検出された前
記視聴者の動きに基づいて前記音像生成手段により生成
された音像を補正する音像補正手段とを有し、前記視聴
者が動いても、前記仮想空間における画像及び音像の位
置が変化しないように定位させることを特徴とする仮想
現実感生成装置によって達成される。また、上述した仮
想現実感生成装置において、前記音像生成手段は、前記
音像補正手段により補正された前記仮想空間における音
像を前記視聴者の聴覚に対して２チャンネルで与えるこ
とが望ましい。また、上述した仮想現実感生成装置にお
いて、前記音像生成手段は、前記視聴者に装着され、前
記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるヘッドフォンで
あることが望ましい。また、上述した仮想現実感生成装
置において、前記音像生成手段は、前記視聴者の前方に
配置され、前記音像補正手段により補正された前記仮想
空間における音像を前記視聴者の聴覚に対して与えるス
ピーカであることが望ましい。
覚に対して仮想空間における画像を生成する画像生成手
段と、前記視聴者の聴覚に対して前記仮想空間における
音像を生成する音像生成手段とを有し、前記画像生成手
段からの画像と前記音像生成手段からの音像により前記
視聴者に対して前記仮想空間における現実感を与える仮
想現実感生成装置において、前記視聴者に設けられ、地
磁気を検出する磁気方位センサを有し、前記視聴者の向
いている方向を検出する方位検出手段と、光を出射する
光出射手段と、前記視聴者に設けられ、前記光出射手段
から出射された光を検出する光検出手段とを有し、前記
視聴者の位置を検出する位置検出手段と、前記仮想空間
における画像の位置を変化させないように、前記視聴者
検出手段により検出された前記視聴者の動きに基づいて
前記画像生成手段により生成された画像を補正する画像
補正手段と、前記仮想空間における音像の位置を変化さ
せないように、前記視聴者検出手段により検出された前
記視聴者の動きに基づいて前記音像生成手段により生成
された音像を補正する音像補正手段とを有し、前記視聴
者が動いても、前記仮想空間における画像及び音像の位
置が変化しないように定位させることを特徴とする仮想
現実感生成装置によって達成される。また、上述した仮
想現実感生成装置において、前記音像生成手段は、前記
音像補正手段により補正された前記仮想空間における音
像を前記視聴者の聴覚に対して２チャンネルで与えるこ
とが望ましい。また、上述した仮想現実感生成装置にお
いて、前記音像生成手段は、前記視聴者に装着され、前
記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるヘッドフォンで
あることが望ましい。また、上述した仮想現実感生成装
置において、前記音像生成手段は、前記視聴者の前方に
配置され、前記音像補正手段により補正された前記仮想
空間における音像を前記視聴者の聴覚に対して与えるス
ピーカであることが望ましい。
【０００６】
【作用】本発明によれば、視聴者の視覚に対して仮想空
間における画像を生成する画像生成手段と、前記視聴者
の聴覚に対して前記仮想空間における音像を生成する音
像生成手段とを有し、前記画像生成手段からの画像と前
記音像生成手段からの音像により前記視聴者に対して前
記仮想空間における現実感を与える仮想現実感生成装置
において、前記視聴者に設けられ、地磁気を検出する磁
気方位センサを有し、前記視聴者の向いている方向を検
出する方位検出手段と、光を出射する光出射手段と、前
記視聴者に設けられ、前記光出射手段から出射された光
を検出する光検出手段とを有し、前記視聴者の位置を検
出する位置検出手段と、前記方位検出部からの方位角信
号と前記位置検出部からの位置信号により前記視聴者の
動きを検出する視聴者検出手段と、前記仮想空間におけ
る画像の位置を変化させないように、前記視聴者検出手
段により検出された前記視聴者の動きに基づいて前記画
像生成手段により生成された画像を補正する画像補正手
段と、前記仮想空間における音像の位置を変化させない
ように、前記視聴者検出手段により検出された前記視聴
者の動きに基づいて前記音像生成手段により生成された
音像を補正する音像補正手段とを有するので、方位検出
手段の磁気方位センサからの方位角信号と位置検出手段
の光検出手段から位置信号に基づき、視聴者検出手段に
より視聴者の動きを検出し、仮想空間における画像の位
置を変化させないように、画像補正手段により視聴者の
動きに基づいて画像を補正すると共に、仮想空間におけ
る音像の位置を変化させないように、音像補正手段によ
り視聴者の動きに基づいて音像を補正することにより、
視聴者が動いても、仮想空間における画像及び音像の位
置が変化しないように定位させる。また、上述した仮想
現実感生成装置において、前記音像生成手段は、前記音
像補正手段により補正された前記仮想空間における音像
を前記視聴者の聴覚に対して２チャンネルで与えるよう
にすれば、簡単な構成により仮想空間における補正され
た正確な音像を視聴者に与えることができる。また、上
述した仮想現実感生成装置において、前記音像生成手段
が、前記視聴者に装着され、前記音像補正手段により補
正された前記仮想空間における音像を前記視聴者の聴覚
に対して与えるヘッドフォンであれば、ヘッドフォンに
より仮想空間における補正された正確な音像を視聴者に
与えることができる。また、上述した仮想現実感生成装
置において、前記音像生成手段が、前記視聴者の前方に
配置され、前記音像補正手段により補正された前記仮想
空間における音像を前記視聴者の聴覚に対して与えるス
ピーカであれば、スピーカにより仮想空間における補正
された正確な音像を視聴者に与えることができる。
間における画像を生成する画像生成手段と、前記視聴者
の聴覚に対して前記仮想空間における音像を生成する音
像生成手段とを有し、前記画像生成手段からの画像と前
記音像生成手段からの音像により前記視聴者に対して前
記仮想空間における現実感を与える仮想現実感生成装置
において、前記視聴者に設けられ、地磁気を検出する磁
気方位センサを有し、前記視聴者の向いている方向を検
出する方位検出手段と、光を出射する光出射手段と、前
記視聴者に設けられ、前記光出射手段から出射された光
を検出する光検出手段とを有し、前記視聴者の位置を検
出する位置検出手段と、前記方位検出部からの方位角信
号と前記位置検出部からの位置信号により前記視聴者の
動きを検出する視聴者検出手段と、前記仮想空間におけ
る画像の位置を変化させないように、前記視聴者検出手
段により検出された前記視聴者の動きに基づいて前記画
像生成手段により生成された画像を補正する画像補正手
段と、前記仮想空間における音像の位置を変化させない
ように、前記視聴者検出手段により検出された前記視聴
者の動きに基づいて前記音像生成手段により生成された
音像を補正する音像補正手段とを有するので、方位検出
手段の磁気方位センサからの方位角信号と位置検出手段
の光検出手段から位置信号に基づき、視聴者検出手段に
より視聴者の動きを検出し、仮想空間における画像の位
置を変化させないように、画像補正手段により視聴者の
動きに基づいて画像を補正すると共に、仮想空間におけ
る音像の位置を変化させないように、音像補正手段によ
り視聴者の動きに基づいて音像を補正することにより、
視聴者が動いても、仮想空間における画像及び音像の位
置が変化しないように定位させる。また、上述した仮想
現実感生成装置において、前記音像生成手段は、前記音
像補正手段により補正された前記仮想空間における音像
を前記視聴者の聴覚に対して２チャンネルで与えるよう
にすれば、簡単な構成により仮想空間における補正され
た正確な音像を視聴者に与えることができる。また、上
述した仮想現実感生成装置において、前記音像生成手段
が、前記視聴者に装着され、前記音像補正手段により補
正された前記仮想空間における音像を前記視聴者の聴覚
に対して与えるヘッドフォンであれば、ヘッドフォンに
より仮想空間における補正された正確な音像を視聴者に
与えることができる。また、上述した仮想現実感生成装
置において、前記音像生成手段が、前記視聴者の前方に
配置され、前記音像補正手段により補正された前記仮想
空間における音像を前記視聴者の聴覚に対して与えるス
ピーカであれば、スピーカにより仮想空間における補正
された正確な音像を視聴者に与えることができる。
【０００７】
【実施例】本発明の第１の実施例による仮想現実感生成
装置を図１乃至図３を用いて説明する。本実施例の仮想
現実感生成装置では遊戯者がヘッドマウントディスプレ
イを装着する。遊戯者がヘッドマウントディスプレイを
装着した状態の側面図を図１に示し、上面図を図２に示
す。
装置を図１乃至図３を用いて説明する。本実施例の仮想
現実感生成装置では遊戯者がヘッドマウントディスプレ
イを装着する。遊戯者がヘッドマウントディスプレイを
装着した状態の側面図を図１に示し、上面図を図２に示
す。
【０００８】図１に示すように、ゲーム装置の遊戯者で
ある視聴者はヘッドマウントディスプレイ１０を装着す
る。ヘッドマウントディスプレイ１０の前面には、遊戯
者の視覚に対して画像情報を与えるための画像表示用メ
ガネ１２が設けられている。また、ヘッドマウントディ
スプレイ１０の左右両側面には、遊戯者の聴覚に対して
音像情報を与えるためのヘッドフォン１４が設けられて
いる。
ある視聴者はヘッドマウントディスプレイ１０を装着す
る。ヘッドマウントディスプレイ１０の前面には、遊戯
者の視覚に対して画像情報を与えるための画像表示用メ
ガネ１２が設けられている。また、ヘッドマウントディ
スプレイ１０の左右両側面には、遊戯者の聴覚に対して
音像情報を与えるためのヘッドフォン１４が設けられて
いる。
【０００９】ヘッドマウントディスプレイ１０の天面に
は、遊戯者の向いている方向を検出するために磁気方位
センサ１６（例えば、ＴＭＣ−２０００（株式会社トー
キン））が設けられている。この磁気方位センサ１６
は、地磁気を検出することにより方位角を求めるもので
ある。また、ヘッドマウントディスプレイ１０の上面に
は、遊戯者の位置を検出するために赤外ＬＥＤ１８が設
けられている。赤外ＬＥＤ１８からの赤外光はレンズ２
０を介して位置センサ２２（例えば、ＰＳＤ（浜松ホト
ニクス株式会社製））により検出される。位置センサ２
２はレンズ２０を介して入力された赤外ＬＥＤ１８のス
ポット光の位置から、ヘッドマウントディスプレイ１０
を装着した遊戯者の位置を検出する。
は、遊戯者の向いている方向を検出するために磁気方位
センサ１６（例えば、ＴＭＣ−２０００（株式会社トー
キン））が設けられている。この磁気方位センサ１６
は、地磁気を検出することにより方位角を求めるもので
ある。また、ヘッドマウントディスプレイ１０の上面に
は、遊戯者の位置を検出するために赤外ＬＥＤ１８が設
けられている。赤外ＬＥＤ１８からの赤外光はレンズ２
０を介して位置センサ２２（例えば、ＰＳＤ（浜松ホト
ニクス株式会社製））により検出される。位置センサ２
２はレンズ２０を介して入力された赤外ＬＥＤ１８のス
ポット光の位置から、ヘッドマウントディスプレイ１０
を装着した遊戯者の位置を検出する。
【００１０】本実施例の仮想現実感生成装置のブロック
図を図３に示す。磁気方位センサ１６と位置センサ２２
は位置ずれ算出部３０に接続されている。位置ずれ算出
部３０は磁気方位センサ１６からの方位角信号と位置セ
ンサ２２からの位置信号により、遊戯者の基準位置から
の位置ずれと基準方位からのずれ角を算出する。
図を図３に示す。磁気方位センサ１６と位置センサ２２
は位置ずれ算出部３０に接続されている。位置ずれ算出
部３０は磁気方位センサ１６からの方位角信号と位置セ
ンサ２２からの位置信号により、遊戯者の基準位置から
の位置ずれと基準方位からのずれ角を算出する。
【００１１】画像生成部３２は、画像データメモリ３４
に格納された画像データから選択された画像データに基
づいて、図２に示すように、遊戯者が基準位置に位置
し、基準方向を向いている状態で遊戯者に対して与える
べき基準画像を生成する。画像生成部３２により生成さ
れた基準画像は、画像補正部３６に出力される。画像補
正部３６は、画像生成部３２により生成された基準画像
を、位置ずれ算出部３０により算出された位置ずれ信号
とずれ角信号に基づいて、仮想空間における画像の位置
を変化させないように補正する。
に格納された画像データから選択された画像データに基
づいて、図２に示すように、遊戯者が基準位置に位置
し、基準方向を向いている状態で遊戯者に対して与える
べき基準画像を生成する。画像生成部３２により生成さ
れた基準画像は、画像補正部３６に出力される。画像補
正部３６は、画像生成部３２により生成された基準画像
を、位置ずれ算出部３０により算出された位置ずれ信号
とずれ角信号に基づいて、仮想空間における画像の位置
を変化させないように補正する。
【００１２】画像補正部３６により補正された画像は、
ヘッドマウントディスプレイ１０に設けられた画像表示
用メガネ１２により遊戯者の視覚に対して与えられる。
音像生成部３８は、音像データメモリ４０に格納された
音像データから選択された音像データに基づいて、図２
に示すように、遊戯者が基準位置に位置し、基準方向を
向いている状態で遊戯者に対して与えるべき基準音像を
生成する。音像生成部３８により生成された基準音像
は、ＨL 補正部４２とＨR 補正部４４に出力される。
ヘッドマウントディスプレイ１０に設けられた画像表示
用メガネ１２により遊戯者の視覚に対して与えられる。
音像生成部３８は、音像データメモリ４０に格納された
音像データから選択された音像データに基づいて、図２
に示すように、遊戯者が基準位置に位置し、基準方向を
向いている状態で遊戯者に対して与えるべき基準音像を
生成する。音像生成部３８により生成された基準音像
は、ＨL 補正部４２とＨR 補正部４４に出力される。
【００１３】図２に示すように、伝達関数ＨL は音源Ｏ
から遊戯者の左耳外耳道入口近傍までの伝達関数であ
り、伝達関数ＨR は音源Ｏから遊戯者の右耳外耳道入口
近傍までの伝達関数である。なお、伝達関数ＨL 、ＨR
は実験的に測定することにより求めたものである。遊戯
者の左耳外耳道入口近傍での音声信号をＥL 、右耳外耳
道入口近傍での音声信号をＥR とすると、音声信号
ＥL 、ＥR は次式 ＥL ＝Ｏ・ＨL ＥR ＝Ｏ・ＨR のようになる。
から遊戯者の左耳外耳道入口近傍までの伝達関数であ
り、伝達関数ＨR は音源Ｏから遊戯者の右耳外耳道入口
近傍までの伝達関数である。なお、伝達関数ＨL 、ＨR
は実験的に測定することにより求めたものである。遊戯
者の左耳外耳道入口近傍での音声信号をＥL 、右耳外耳
道入口近傍での音声信号をＥR とすると、音声信号
ＥL 、ＥR は次式 ＥL ＝Ｏ・ＨL ＥR ＝Ｏ・ＨR のようになる。
【００１４】ＨL 補正部４２は、音像生成部３８により
生成された基準音像を、位置ずれ算出部３０により算出
された位置ずれ信号とずれ角信号に基づいて、仮想空間
における音像の位置を変化させないように伝達関数ＨL
を補正する。同様に、ＨR 補正部４４は、音像生成部３
８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨR を補正する。
生成された基準音像を、位置ずれ算出部３０により算出
された位置ずれ信号とずれ角信号に基づいて、仮想空間
における音像の位置を変化させないように伝達関数ＨL
を補正する。同様に、ＨR 補正部４４は、音像生成部３
８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨR を補正する。
【００１５】なお、どの程度の位置ずれに対して伝達関
数ＨL 、ＨR をどの程度補正するかは実験的に測定する
ことにより求めた。ＨL 補正部４２及びＨR 補正部４４
により補正された音像は、ヘッドマウントディスプレイ
１０に設けられたヘッドフォン１４により遊戯者の聴覚
に対して与えられる。
数ＨL 、ＨR をどの程度補正するかは実験的に測定する
ことにより求めた。ＨL 補正部４２及びＨR 補正部４４
により補正された音像は、ヘッドマウントディスプレイ
１０に設けられたヘッドフォン１４により遊戯者の聴覚
に対して与えられる。
【００１６】このように本実施例によれば、遊戯者が位
置や方位を変えても、その変化に応じて画像信号や音像
信号を変化させ、仮想空間における画像及び音像の位置
が変化しないように定位させることができる。本発明の
第２の実施例による仮想現実感生成装置を図４乃至図６
を用いて説明する。図１乃至図３に示す仮想現実感生成
装置と同一の構成要素には同一の符号を付して説明を省
略又は簡略にする。
置や方位を変えても、その変化に応じて画像信号や音像
信号を変化させ、仮想空間における画像及び音像の位置
が変化しないように定位させることができる。本発明の
第２の実施例による仮想現実感生成装置を図４乃至図６
を用いて説明する。図１乃至図３に示す仮想現実感生成
装置と同一の構成要素には同一の符号を付して説明を省
略又は簡略にする。
【００１７】本実施例の仮想現実感生成装置において遊
戯者が装着するヘッドマウントディスプレイ１０は、図
４に示すように、前面に画像表示用メガネ１２が設けら
れているが、左右両側面には第１の実施例のようなヘッ
ドフォン１４が設けられていない。音像情報は、図５に
示すように、遊戯者の前方に設けられた２つのスピーカ
５０、５２により与えられる。
戯者が装着するヘッドマウントディスプレイ１０は、図
４に示すように、前面に画像表示用メガネ１２が設けら
れているが、左右両側面には第１の実施例のようなヘッ
ドフォン１４が設けられていない。音像情報は、図５に
示すように、遊戯者の前方に設けられた２つのスピーカ
５０、５２により与えられる。
【００１８】本実施例の仮想現実感生成装置のブロック
図を図６に示す。第１の実施例と同様に、磁気方位セン
サ１６からの方位角信号と位置センサ２２からの位置信
号により位置ずれ算出部３０は遊戯者の基準位置からの
位置ずれと基準方位からのずれ角を算出する。第１の実
施例と同様に、画像生成部３２は、画像データメモリ３
４に格納された画像データから基準画像を生成し、画像
補正部３６は、画像生成部３２により生成された基準画
像を、位置ずれ算出部３０により算出された位置ずれ信
号とずれ角信号に基づいて、仮想空間における画像の位
置を変化させないように補正する。画像補正部３６によ
り補正された画像は、ヘッドマウントディスプレイ１０
に設けられた画像表示用メガネ１２により遊戯者の視覚
に対して与えられる。
図を図６に示す。第１の実施例と同様に、磁気方位セン
サ１６からの方位角信号と位置センサ２２からの位置信
号により位置ずれ算出部３０は遊戯者の基準位置からの
位置ずれと基準方位からのずれ角を算出する。第１の実
施例と同様に、画像生成部３２は、画像データメモリ３
４に格納された画像データから基準画像を生成し、画像
補正部３６は、画像生成部３２により生成された基準画
像を、位置ずれ算出部３０により算出された位置ずれ信
号とずれ角信号に基づいて、仮想空間における画像の位
置を変化させないように補正する。画像補正部３６によ
り補正された画像は、ヘッドマウントディスプレイ１０
に設けられた画像表示用メガネ１２により遊戯者の視覚
に対して与えられる。
【００１９】音像生成部３８は、音像データメモリ４０
に格納された音像データから選択された音像データに基
づいて、図２に示すように、遊戯者が基準位置に位置
し、基準方向を向いている状態で遊戯者に対して与える
べき基準音像を生成する。音像生成部３８により生成さ
れた基準音像は、ＨL 補正部４２とＨR 補正部４４に出
力される。
に格納された音像データから選択された音像データに基
づいて、図２に示すように、遊戯者が基準位置に位置
し、基準方向を向いている状態で遊戯者に対して与える
べき基準音像を生成する。音像生成部３８により生成さ
れた基準音像は、ＨL 補正部４２とＨR 補正部４４に出
力される。
【００２０】本実施例ではスピーカ５０、５２からの音
声信号により、遊戯者の左右外耳道入口近傍において適
切な音声信号が生ずるようにする。したがって、スピー
カ５０、５２からの遊戯者の左右外耳道入口近傍までの
伝達関数を考慮する必要がある。遊戯者の左耳外耳道入
口近傍での音声信号をＥL 、右耳外耳道入口近傍での音
声信号をＥR とすると、音声信号ＥL 、ＥR は次式 ＥL ＝Ｏ・ＨL ＥR ＝Ｏ・ＨR のようになる。
声信号により、遊戯者の左右外耳道入口近傍において適
切な音声信号が生ずるようにする。したがって、スピー
カ５０、５２からの遊戯者の左右外耳道入口近傍までの
伝達関数を考慮する必要がある。遊戯者の左耳外耳道入
口近傍での音声信号をＥL 、右耳外耳道入口近傍での音
声信号をＥR とすると、音声信号ＥL 、ＥR は次式 ＥL ＝Ｏ・ＨL ＥR ＝Ｏ・ＨR のようになる。
【００２１】左右のスピーカ５０、５２の音声信号をＳ
L 、ＳR とし、左側のスピーカ５０から遊戯者の左耳外
耳道入口近傍までの伝達関数をＨLL、右側のスピーカ５
２から遊戯者の左耳外耳道入口近傍までの伝達関数をＨ
RL、左側のスピーカ５０から遊戯者の右耳外耳道入口近
傍までの伝達関数をＨLR、右側のスピーカ５２から遊戯
者の右耳外耳道入口近傍までの伝達関数をＨRRとする
と、左右外耳道入口近傍での音声信号ＥL 、ＥR は次式 ＥL ＝ＳL ・ＨLL＋ＳR ・ＨRL ＥR ＝ＳL ・ＨLR＋ＳR ・ＨRR のようになる。
L 、ＳR とし、左側のスピーカ５０から遊戯者の左耳外
耳道入口近傍までの伝達関数をＨLL、右側のスピーカ５
２から遊戯者の左耳外耳道入口近傍までの伝達関数をＨ
RL、左側のスピーカ５０から遊戯者の右耳外耳道入口近
傍までの伝達関数をＨLR、右側のスピーカ５２から遊戯
者の右耳外耳道入口近傍までの伝達関数をＨRRとする
と、左右外耳道入口近傍での音声信号ＥL 、ＥR は次式 ＥL ＝ＳL ・ＨLL＋ＳR ・ＨRL ＥR ＝ＳL ・ＨLR＋ＳR ・ＨRR のようになる。
【００２２】これらの式から、左右のスピーカ５０、５
２の音声信号ＳL 、ＳR を求めると、 ＳL ＝（ＯＨL ＨRR−ＯＨR ＨRL）／（ＨLLＨRR−ＨLRＨRL） ＳR ＝（ＯＨR ＨLL−ＯＨL ＨLR）／（ＨLLＨRR−ＨLRＨRL） となる。これらの式に基づいて、スピーカ音声信号演算
部５４は音声信号ＳL 、ＳR を演算し、左右のスピーカ
５０、５２から音声を発生させる。なお、伝達関数
ＨLL、ＨRL、ＨLR、ＨRRは実験的に測定することにより
求めたものである。
２の音声信号ＳL 、ＳR を求めると、 ＳL ＝（ＯＨL ＨRR−ＯＨR ＨRL）／（ＨLLＨRR−ＨLRＨRL） ＳR ＝（ＯＨR ＨLL−ＯＨL ＨLR）／（ＨLLＨRR−ＨLRＨRL） となる。これらの式に基づいて、スピーカ音声信号演算
部５４は音声信号ＳL 、ＳR を演算し、左右のスピーカ
５０、５２から音声を発生させる。なお、伝達関数
ＨLL、ＨRL、ＨLR、ＨRRは実験的に測定することにより
求めたものである。
【００２３】ＨL 補正部４２は、音像生成部３８により
生成された基準音像を、位置ずれ算出部３０により算出
された位置ずれ信号とずれ角信号に基づいて、仮想空間
における音像の位置を変化させないように伝達関数ＨL
を補正する。同様に、ＨR 補正部４４は、音像生成部３
８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨR を補正する。
生成された基準音像を、位置ずれ算出部３０により算出
された位置ずれ信号とずれ角信号に基づいて、仮想空間
における音像の位置を変化させないように伝達関数ＨL
を補正する。同様に、ＨR 補正部４４は、音像生成部３
８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨR を補正する。
【００２４】本実施例では更に伝達関数Ｈ LL 、ＨRL、Ｈ
LR、ＨRRを、位置ずれ算出部３０により算出された位置
ずれ信号とずれ角信号に基づいて補正する。すなわち、
ＨLL補正部５６は、位置ずれ算出部３０により算出され
た位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLLを補
正する。
LR、ＨRRを、位置ずれ算出部３０により算出された位置
ずれ信号とずれ角信号に基づいて補正する。すなわち、
ＨLL補正部５６は、位置ずれ算出部３０により算出され
た位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLLを補
正する。
【００２５】ＨLR補正部５８は、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨLRを補正する。ＨRL補正部６０は、位置ずれ算出
部３０により算出された位置ずれ信号とずれ角信号に基
づいて、仮想空間における音像の位置を変化させないよ
うに伝達関数ＨRLを補正する。
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨLRを補正する。ＨRL補正部６０は、位置ずれ算出
部３０により算出された位置ずれ信号とずれ角信号に基
づいて、仮想空間における音像の位置を変化させないよ
うに伝達関数ＨRLを補正する。
【００２６】ＨRR補正部６０は、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨRRを補正する。なお、どの程度の位置ずれに対し
て伝達関数ＨL 、ＨR をどの程度補正するかは実験的に
測定することにより求めた。
より算出された位置ずれ信号とずれ角信号に基づいて、
仮想空間における音像の位置を変化させないように伝達
関数ＨRRを補正する。なお、どの程度の位置ずれに対し
て伝達関数ＨL 、ＨR をどの程度補正するかは実験的に
測定することにより求めた。
【００２７】スピーカ音声信号演算部５４は、補正され
た伝達関数ＨL 、ＨR 、ＨLL、ＨRL 、ＨLR、ＨRRに基づ
いて、音声信号ＳL 、ＳR を演算し、左右のスピーカ５
０、５２から音声を発生させる。このように本実施例に
よれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における
画像及び音像の位置が変化しないように定位させること
ができる。
た伝達関数ＨL 、ＨR 、ＨLL、ＨRL 、ＨLR、ＨRRに基づ
いて、音声信号ＳL 、ＳR を演算し、左右のスピーカ５
０、５２から音声を発生させる。このように本実施例に
よれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における
画像及び音像の位置が変化しないように定位させること
ができる。
【００２８】本発明は上記実施例に限らず種々の変形が
可能である。例えば、上記実施例では磁気方位センサと
位置センサにより遊戯者の向いている方向と位置を検出
するようにしたが、他の方法により遊戯者の動きを検出
するようにしてもよい。
可能である。例えば、上記実施例では磁気方位センサと
位置センサにより遊戯者の向いている方向と位置を検出
するようにしたが、他の方法により遊戯者の動きを検出
するようにしてもよい。
【００２９】
【発明の効果】以上の通り、本発明によれば、視聴者の
視覚に対して仮想空間における画像を生成する画像生成
手段と、前記視聴者の聴覚に対して前記仮想空間におけ
る音像を生成する音像生成手段とを有し、前記画像生成
手段からの画像と前記音像生成手段からの音像により前
記視聴者に対して前記仮想空間における現実感を与える
仮想現実感生成装置において、前記視聴者に設けられ、
地磁気を検出する磁気方位センサを有し、前記視聴者の
向いている方向を検出する方位検出手段と、光を出射す
る光出射手段と、前記視聴者に設けられ、前記光出射手
段から出射された光を検出する光検出手段とを有し、前
記視聴者の位置を検出する位置検出手段と、前記方位検
出部からの方位角信号と前記位置検出部からの位置信号
により前記視聴者の動きを検出する視聴者検出手段と、
前記仮想空間における画像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の
動きに基づいて前記画像生成手段により生成された画像
を補正する画像補正手段と、前記仮想空間における音像
の位置を変化させないように、前記視聴者検出手段によ
り検出された前記視聴者の動きに基づいて前記音像生成
手段により生成された音像を補正する音像補正手段とを
有するので、方位検出手段の磁気方位センサからの方位
角信号と位置検出手段の光検出手段から位置信号に基づ
き、視聴者検出手段により視聴者の動きを検出し、仮想
空間における画像の位置を変化させないように、画像補
正手段により視聴者の動きに基づいて画像を補正すると
共に、仮想空間における音像の位置を変化させないよう
に、音像補正手段により視聴者の動きに基づいて音像を
補正することにより、視聴者が動いても、仮想空間にお
ける画像及び音像の位置が変化しないように定位させ
る。また、上述した仮想現実感生成装置において、前記
音像生成手段は、前記音像補正手段により補正された前
記仮想空間における音像を前記視聴者の聴覚に対して２
チャンネルで与えるようにすれば、簡単な構成により仮
想空間における補正された正確な音像を視聴者に与える
ことができる。また、上述した仮想現実感生成装置にお
いて、前記音像生成手段が、前記視聴者に装着され、前
記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるヘッドフォンで
あれば、ヘッドフォンにより仮想空間における補正され
た正確な音像を視聴者に与えることができる。また、上
述した仮想現実感生成装置において、前記音像生成手段
が、前記視聴者の前方に配置され、前記音像補正手段に
より補正された前記仮想空間における音像を前記視聴者
の聴覚に対して与えるスピーカであれば、スピーカによ
り仮想空間における補正された正確な音像を視聴者に与
えることができる。
視覚に対して仮想空間における画像を生成する画像生成
手段と、前記視聴者の聴覚に対して前記仮想空間におけ
る音像を生成する音像生成手段とを有し、前記画像生成
手段からの画像と前記音像生成手段からの音像により前
記視聴者に対して前記仮想空間における現実感を与える
仮想現実感生成装置において、前記視聴者に設けられ、
地磁気を検出する磁気方位センサを有し、前記視聴者の
向いている方向を検出する方位検出手段と、光を出射す
る光出射手段と、前記視聴者に設けられ、前記光出射手
段から出射された光を検出する光検出手段とを有し、前
記視聴者の位置を検出する位置検出手段と、前記方位検
出部からの方位角信号と前記位置検出部からの位置信号
により前記視聴者の動きを検出する視聴者検出手段と、
前記仮想空間における画像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の
動きに基づいて前記画像生成手段により生成された画像
を補正する画像補正手段と、前記仮想空間における音像
の位置を変化させないように、前記視聴者検出手段によ
り検出された前記視聴者の動きに基づいて前記音像生成
手段により生成された音像を補正する音像補正手段とを
有するので、方位検出手段の磁気方位センサからの方位
角信号と位置検出手段の光検出手段から位置信号に基づ
き、視聴者検出手段により視聴者の動きを検出し、仮想
空間における画像の位置を変化させないように、画像補
正手段により視聴者の動きに基づいて画像を補正すると
共に、仮想空間における音像の位置を変化させないよう
に、音像補正手段により視聴者の動きに基づいて音像を
補正することにより、視聴者が動いても、仮想空間にお
ける画像及び音像の位置が変化しないように定位させ
る。また、上述した仮想現実感生成装置において、前記
音像生成手段は、前記音像補正手段により補正された前
記仮想空間における音像を前記視聴者の聴覚に対して２
チャンネルで与えるようにすれば、簡単な構成により仮
想空間における補正された正確な音像を視聴者に与える
ことができる。また、上述した仮想現実感生成装置にお
いて、前記音像生成手段が、前記視聴者に装着され、前
記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるヘッドフォンで
あれば、ヘッドフォンにより仮想空間における補正され
た正確な音像を視聴者に与えることができる。また、上
述した仮想現実感生成装置において、前記音像生成手段
が、前記視聴者の前方に配置され、前記音像補正手段に
より補正された前記仮想空間における音像を前記視聴者
の聴覚に対して与えるスピーカであれば、スピーカによ
り仮想空間における補正された正確な音像を視聴者に与
えることができる。
【図１】本発明の第１の実施例の仮想現実感生成装置に
おけるヘッドマウントディスプレイの装着状態の側面図
である。
おけるヘッドマウントディスプレイの装着状態の側面図
である。
【図２】本発明の第１の実施例の仮想現実感生成装置に
おけるヘッドマウントディスプレイの装着状態の上面図
である。
おけるヘッドマウントディスプレイの装着状態の上面図
である。
【図３】本発明の第１の実施例の仮想現実感生成装置の
ブロック図である。
ブロック図である。
【図４】本発明の第２の実施例の仮想現実感生成装置に
おけるヘッドマウントディスプレイの装着状態の側面図
である。
おけるヘッドマウントディスプレイの装着状態の側面図
である。
【図５】本発明の第２の実施例の仮想現実感生成装置に
おけるヘッドマウントディスプレイの装着状態の上面図
である。
おけるヘッドマウントディスプレイの装着状態の上面図
である。
【図６】本発明の第２の実施例の仮想現実感生成装置の
ブロック図である。
ブロック図である。
１０…ヘッドマウントディスプレイ １２…画像表示用メガネ １４…ヘッドフォン １６…磁気方位センサ １８…赤外ＬＥＤ ２０…レンズ ２２…位置センサ ３０…位置ずれ算出部 ３２…画像生成部 ３４…画像データメモリ ３６…画像補正部 ３８…音像生成部 ４０…音像データメモリ ４２…ＨL 補正部 ４４…ＨR 補正部 ５０、５２…スピーカ ５４…スピーカ音声信号演算部 ５６…ＨLL補正部 ５８…ＨLR補正部 ６０…ＨRL補正部 ６２…ＨRR補正部
Claims (4)
- 【請求項１】 視聴者の視覚に対して仮想空間における
画像を生成する画像生成手段と、前記視聴者の聴覚に対
して前記仮想空間における音像を生成する音像生成手段
とを有し、前記画像生成手段からの画像と前記音像生成
手段からの音像により前記視聴者に対して前記仮想空間
における現実感を与える仮想現実感生成装置において、前記視聴者に設けられ、地磁気を検出する磁気方位セン
サを有し、 前記視聴者の向いている方向を検出する方位
検出手段と、光を出射する光出射手段と、前記視聴者に設けられ、前
記光出射手段から出射された光を検出する光検出手段と
を有し、 前記視聴者の位置を検出する位置検出手段と、 前記方位検出部からの方位角信号と前記位置検出部から
の位置信号により前記視聴者の動きを検出する視聴者検
出手段と、 前記仮想空間における画像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の
動きに基づいて前記画像生成手段により生成された画像
を補正する画像補正手段と、 前記仮想空間における音像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の
動きに基づいて前記音像生成手段により生成された音像
を補正する音像補正手段とを有し、 前記視聴者が動いても、前記仮想空間における画像及び
音像の位置が変化しないように定位させることを特徴と
する仮想現実感生成装置。 - 【請求項２】 請求項１記載の仮想現実感生成装置にお
いて、前記音像生成手段は、前記音像補正手段により補正され
た前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与える ことを特徴とする仮想現実感生
成装置。 - 【請求項３】 請求項２記載の仮想現実感生成装置にお
いて、前記音像生成手段は、 前記視聴者に装着され、前記音像
補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであるこ
とを特徴とする仮想現実感生成装置。 - 【請求項４】 請求項２記載の仮想現実感生成装置にお
いて、前記音像生成手段は、 前記視聴者の前方に配置され、前
記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカである
ことを特徴とする仮想現実感生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4193994A JP2550832B2 (ja) | 1992-07-21 | 1992-07-21 | 仮想現実感生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4193994A JP2550832B2 (ja) | 1992-07-21 | 1992-07-21 | 仮想現実感生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0647170A JPH0647170A (ja) | 1994-02-22 |
| JP2550832B2 true JP2550832B2 (ja) | 1996-11-06 |
Family
ID=16317206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4193994A Expired - Fee Related JP2550832B2 (ja) | 1992-07-21 | 1992-07-21 | 仮想現実感生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2550832B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3428151B2 (ja) * | 1994-07-08 | 2003-07-22 | 株式会社セガ | 画像表示装置を用いた遊戯装置 |
| US6522312B2 (en) | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| FR2778248A1 (fr) * | 1998-04-30 | 1999-11-05 | Pierre Emmanuel Bathie | Procede et systeme de diffusion d'images de synthese d'un univers virtuel en relation avec le lieu ou evolue la personne recevant les images de synthese |
| EP1060772B1 (en) * | 1999-06-11 | 2012-02-01 | Canon Kabushiki Kaisha | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof |
| JP2001197598A (ja) * | 2000-01-05 | 2001-07-19 | Mitsubishi Electric Corp | 映像音声再生装置 |
| JP4688267B2 (ja) * | 2000-09-20 | 2011-05-25 | 株式会社バンダイナムコゲームス | ゲーム装置及び情報記憶媒体 |
| JP2005057545A (ja) * | 2003-08-05 | 2005-03-03 | Matsushita Electric Ind Co Ltd | 音場制御装置及び音響システム |
| JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
| US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61142085A (ja) * | 1984-12-11 | 1986-06-28 | 三菱重工業株式会社 | 遠隔制御装置 |
| DE3737972A1 (de) * | 1987-11-07 | 1989-05-24 | Messerschmitt Boelkow Blohm | Helm-lagedarstellungsgeraet |
| DE69113199T2 (de) * | 1990-10-05 | 1996-02-22 | Texas Instruments Inc | Verfahren und Gerät zur Erzeugung einer tragbaren optischen Anzeige. |
| JPH04192066A (ja) * | 1990-11-27 | 1992-07-10 | Matsushita Electric Works Ltd | 商品疑似体験ショウルームシステム |
| JPH0622246A (ja) * | 1992-06-30 | 1994-01-28 | Sony Corp | 映像音声再生装置 |
-
1992
- 1992-07-21 JP JP4193994A patent/JP2550832B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0647170A (ja) | 1994-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10555106B1 (en) | Gaze-directed audio enhancement | |
| CN101662720B (zh) | 声音处理装置、声像定位位置调节方法及视频处理装置 | |
| KR100445513B1 (ko) | 영상음성재생장치 | |
| JP3687099B2 (ja) | 映像信号及び音響信号の再生装置 | |
| US9794722B2 (en) | Head-related transfer function recording using positional tracking | |
| JP5676487B2 (ja) | モバイル用途のための頭部追跡 | |
| US10397728B2 (en) | Differential headtracking apparatus | |
| EP3008691B1 (en) | Head-mountable apparatus and systems | |
| EP0479604B1 (en) | Method and apparatus for presentation of on-line directional sound | |
| US20150326963A1 (en) | Real-time Control Of An Acoustic Environment | |
| KR102230645B1 (ko) | 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들 | |
| US11026024B2 (en) | System and method for producing audio data to head mount display device | |
| JP2021508426A (ja) | 双方向性拡張または仮想現実装置 | |
| CN113170272B (zh) | 近场音频渲染 | |
| BR9712912B1 (pt) | método e dispositivo para a projeção de ondas sonoras em alto-falantes. | |
| JP2021005822A (ja) | 音声処理装置および音声処理方法 | |
| JP2550832B2 (ja) | 仮想現実感生成装置 | |
| KR20120053587A (ko) | 디스플레이장치 및 그 사운드 제어방법 | |
| JP2022542747A (ja) | ヒアスルーオーディオシステムのためのイヤプラグアセンブリ | |
| JP2008160265A (ja) | 音響再生システム | |
| WO2021187147A1 (ja) | 音響再生方法、プログラム、及び、音響再生システム | |
| KR102549948B1 (ko) | 디바이스 위치에 기초하여 오디오 필터를 결정하는 오디오 시스템 및 방법 | |
| JP2550832C (ja) | ||
| KR101851361B1 (ko) | Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템 | |
| JP6957426B2 (ja) | 再生装置、再生方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19960625 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070822 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |