JP6709633B2 - シミュレーションシステム及びゲームシステム - Google Patents

シミュレーションシステム及びゲームシステム Download PDF

Info

Publication number
JP6709633B2
JP6709633B2 JP2016028425A JP2016028425A JP6709633B2 JP 6709633 B2 JP6709633 B2 JP 6709633B2 JP 2016028425 A JP2016028425 A JP 2016028425A JP 2016028425 A JP2016028425 A JP 2016028425A JP 6709633 B2 JP6709633 B2 JP 6709633B2
Authority
JP
Japan
Prior art keywords
user
state
space
player
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016028425A
Other languages
English (en)
Other versions
JP2017144073A (ja
Inventor
田宮 幸春
幸春 田宮
典洋 西村
典洋 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Bandai Namco Entertainment Inc
Original Assignee
Namco Ltd
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd, Bandai Namco Entertainment Inc filed Critical Namco Ltd
Priority to JP2016028425A priority Critical patent/JP6709633B2/ja
Priority to GB1814152.3A priority patent/GB2565657B/en
Priority to CN201780023559.8A priority patent/CN109069928B/zh
Priority to PCT/JP2017/005245 priority patent/WO2017141891A1/ja
Priority to US16/077,865 priority patent/US10661181B2/en
Publication of JP2017144073A publication Critical patent/JP2017144073A/ja
Application granted granted Critical
Publication of JP6709633B2 publication Critical patent/JP6709633B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/27Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Description

本発明は、ヘッドマウントディスプレイなどの装着型画像表示装置を用いたシミュレーションシステムなどに関する。
従来から、ヘッドマウントディスプレイ(以下、「HMD」という。)などのユーザに装着して画像を表示する装着型画像表示装置が知られている。特に、HMDとしては、主に、両眼用又は単眼用に大別され、かつ、ユーザが実際に移動する移動空間(すなわち、実空間)内における視覚を確保する非透過型と、当該ユーザの目をマスクし(すなわち、完全に覆い)、かつ、実空間とリンクさせた画像を表示する透過型に分類される。
また、最近では、このようなHMDに所定の画像を表示させるシミュレーションシステムとしてのゲーム装置において、仮想空間におけるユーザの視界変更をサポートし、臨場感やシミュレーションされた世界への没入感を高めるものが知られている(例えば、特許文献1)。
特開2015−150063号公報
しかしながら、特許文献1に記載のシミュレーションシステムにあっては、ユーザの実空間内での移動や状態に応じて仮想空間における状況をシミュレーションしておらず、より現実的な状況をシミュレートさせてユーザに体験させることが難しい。
本発明は、上記課題を解決するためになされたものであり、その目的は、HMDなどの装着型画像表示装置が装着されたユーザの状態を連動させることによって、危険な場所や現実では経験することが難しい空間を含むあらゆる場所や空間の再現性を高め、擬似的な空間であっても、より現実的な感覚をユーザに体験させることが可能なシミュレーションシステムを提供することにある。
(1)上記課題を解決するため、本発明は、
ユーザの目をマスクする構造を有し、かつ、仮想3次元空間の画像を視認させる装着型画像表示装置を用いて、前記ユーザが移動可能なユーザ移動空間に形成された移動経路を自力で移動する体験型のシミュレーションシステムであって、
前記ユーザ移動空間内におけるユーザの状態を示すユーザ状態を検出する検出手段と、
前記検出されたユーザ状態に応じて、前記移動経路に対応付けた仮想移動経路を有し、かつ、前記ユーザ移動空間に対応する仮想3次元空間の前記ユーザから見えるシミュレーション画像を生成する画像生成処理を実行する画像生成手段と、
前記生成されたシミュレーション画像を前記装着型画像表示装置に表示させる表示制御手段と、
前記ユーザ移動空間内のユーザ状態が所与の条件を具備した場合に、前記ユーザが前記仮想3次元空間上における特定の状態である特定状態と判定する状態判定手段と、
を備え、
前記画像生成手段が、
前記特定状態と判定された場合に、当該特定状態に基づく演出を実行するためのシミュレーション画像を生成する、構成を有している。
この構成により、本発明は、ユーザの状態と連動させつつ、当該ユーザが特定状態の場合に、当該特定状態をシミュレーションとしてユーザに体験させることができるので、ユーザに体験させるべき環境や状況を、特に、移動経路から外れた場合に落下する状況を含めて高所を移動する環境や移動状況などの実際に体験することが難しい環境や状況を的確に再現することができる。
例えば、本発明は、高所だけでなく、閉所、特殊空間、暑い場所又は寒い場所などの危険な場所や現実では経験することが難しい空間における環境や状況を、ユーザの状態に応じて特定状態や当該特定状態を創出する環境として再現することができる。
したがって、本発明は、危険な場所や現実では経験することが難しい空間を含むあらゆる場所や空間の再現性を高めることができるので、擬似的な空間であっても、より現実的な感覚をユーザに体験させることができる。
なお、ユーザの目をマスクする構造を有し、かつ、仮想3次元空間の画像を視認させる装着型画像表示装置とは、いわゆる、非透過型で装着型の画像表示装置であって、ユーザの両眼を完全に覆うこと(マスクすること)によって表示装置外の外界の様子を認識不能にしてユーザに表示させた画像のみを視認させる表示装置をいい、例えば、密閉型のヘッドマウントディスプレイ(HMD)をいう。
また、「ユーザ状態」には、ユーザのユーザ移動空間内における位置及び当該ユーザの姿勢の少なくともいずれか一方を含み、例えば、
(1)頭部、両手又は両足などのユーザの所与の部位の位置、向き、高さ及び時間の少なくとも1の部位の情報(以下、「部位情報」という。)に基づいて、ユーザのユーザ移動空間内における位置(ユーザ移動空間内における座標)を特定し、
(2)ユーザの部位情報に基づいて、ユーザの頭、胴体及び手足などの各部位の位置関係から構築されるユーザの姿勢を特定し、又は、
(3)(1)及び(2)の双方を特定し、
ユーザの位置、姿勢又は双方に基づいて検出されたユーザの状態を示す。
(2)また、本発明は、
前記ユーザ状態、及び、シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間を体験させるための演出処理を実行する、前記ユーザ移動空間内に配設された演出手段を更に備える、構成を有している。
この構成により、本発明は、演出手段を用いることによって、ユーザの視覚以外の感覚をも刺激することができるので、仮想3次元空間を、より現実的な空間として擬似的に創り出すことができる。
したがって、本発明は、例えば、危険な場所や現実では経験することが難しい空間などのあらゆる場所や空間の再現性を高めることができるので、擬似的な空間であっても、より現実的な感覚をユーザに体験させることができる。
なお、演出手段としては、例えば、
(1)送風機、温度調整装置、又は、振動装置などのシミュレーション空間の環境を形成するための演出装置、
(2)壁面や床面の凹凸又は素材などのユーザに接触感を体験させるための部材、及び、
(3)動物や移動経路などのシミュレーション空間内に存在し、ユーザに認識させるための移動可能な又は固定されたオブジェクト(物体)を含む。
(3)また、本発明は、
前記演出手段が、
前記仮想3次元空間における演出用オブジェクトとして画像化され、
前記画像生成手段が、
前記ユーザ状態、及び、前記シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間上における前記演出用オブジェクトの状態を、前記ユーザ移動空間内における状態とは異なる状態によって画像化する、構成を有している。
この構成により、本発明は、例えば、シミュレーション中に仮想3次元空間においてのみ、移動経路の幅を変化(広狭の変化)させる演出、又は、取り扱いが難しい動きのあるオブジェクト(人、猫や犬等)や大型のオブジェクト(飛行機や船等)などを仮想3次元空間においてのみ移動させる演出を実行することができる。
したがって、本発明は、実際の演出手段物体の感覚を認識させつつも、ユーザ移動空間の実空間上において制御することが難しい演出手段、又は、再現することが難しい演出手段をユーザにシミュレーションとして体験させることができるので、仮想3次元空間を、より現実的な空間として確実に擬似的に創り出すことができる。
(4)また、本発明は、
前記演出用オブジェクトとして画像化される前記ユーザ移動空間内に配置されている前記演出手段と、前記ユーザと、が前記ユーザ移動空間内における所与の位置関係にあるか否かの判定を行う位置関係判定手段を更に備え、
前記画像生成手段が、
前記位置関係判定手段における判定結果に応じて、前記演出手段を前記演出用オブジェクトとして画像化した前記シミュレーション画像を生成する、構成を有している。
この構成により、本発明は、ユーザ移動空間内に配置されている実存する演出手段とユーザの関係性に応じてシミュレーションを実行することができるので、画像だけなく、ユーザに体感させる演出を提供することができる。
したがって、本発明は、擬似的な空間であっても、より現実的な感覚をユーザに体験させることができる。
なお、例えば、位置関係の判定としては、演出用オブジェクトと、ユーザ又は頭部、手若しくは足と、の位置関係に応じて判定してもよいし、オブジェクトに設けられた接触センサなどの各種のセンサを用いて当該接触の有無を判定してもよい。
(5)また、本発明は、
前記演出手段には、
当該シミュレーションシステムを形成する構造体の床面から異なる高さによって形成されている移動経路部材を含む、構成を有している。
この構成により、本発明は、例えば移動経路から踏みはずなどの状況を体感的にも作り出すことができるので、臨場感のあるシミュレーションを提供することができる。
(6)また、本発明は、
前記演出手段には、
予め定められた前記ユーザが移動する移動経路下に設けられ、振動可能又は揺動可能に形成されたた演出可能領域を少なくとも有する移動経路部材と、
所与の条件に基づき前記演出可能領域を振動駆動又は揺動駆動をする駆動手段と、
を含む、構成を有している。
この構成により、本発明は、ユーザ移動空間に配設された移動経路を振動又は揺動させることができるので、シミュレーション画像に加えて移動中のユーザに対して種々の環境を実空間に実際に配設された演出手段によって仮想3次元空間における種々の環境を体感させることができる。
(7)また、本発明は、
前記検出手段が、
前記ユーザ移動空間内における前記装着型画像表示装置を装着したユーザの部位の情報を部位情報として検出し、
前記検出された部位情報に基づいて前記ユーザ状態を検出する、構成を有している。
この構成により、本発明は、例えば、上述のように、頭部や手足などのユーザの部位に基づいてユーザ移動空間におけるユーザの位置、姿勢又はその双方をユーザ状態として検出することができるので、当該ユーザ状態を的確に検出することができる。
(8)また、本発明は、
前記検出手段が、
前記ユーザ移動空間内における前記ユーザの複数の部位の部位情報を検出し、
前記検出した複数の部位の部位情報に基づいて前記ユーザの前記ユーザ移動空間内における姿勢を前記ユーザ状態として検出する、構成を有している。
この構成により、本発明は、例えば、頭部や手足などのユーザの複数の部位に基づいてユーザ移動空間におけるユーザの姿勢をユーザ状態として検出することができるので、当該ユーザ状態を的確に検出することができる。
なお、「ユーザの姿勢」は、例えば、ユーザ移動空間にモデリングされたユーザモデルに基づいて形成される姿勢をいう。
(9)また、本発明は、
前記検出手段が、
前記検出した前記ユーザ移動空間内におけるユーザの部位情報に基づいて、当該ユーザ移動空間内における移動経路上のユーザ状態を検出し、
前記検出したユーザ移動空間内における移動経路上のユーザ状態に基づいて、当該ユーザ移動空間内における移動経路に対応付けられた仮想移動経路上に対する前記ユーザ状態を検出する、構成を有している。
この構成により、本発明は、仮想移動経路上に対応付けてユーザ状態を検出することができるので、例えば、シミュレーション中に仮想3次元空間においてのみ、移動経路の幅を仮想的に変化(広狭の変化)させ、当該仮想的な変化に対するユーザの行動を対応付けることができる。
すなわち、本発明は、仮想3次元空間の状況がユーザ移動空間の実空間と異なる状況になっている場合であっても、ユーザ状態を、当該仮想3次元空間の状況に適応させて判断することができるので、実際の演出手段物体の感覚を認識させつつも、ユーザ移動空間の実空間上において制御することが難しい演出手段、又は、再現することが難しい演出手段
をユーザにシミュレーションとして体験させることができる。
(10)また、本発明は、
前記検出手段が、
前記部位情報として、前記ユーザの前記ユーザ移動空間内における所与の部位の向き、位置、及び、当該部位の位置に存在した時間長の少なくともいずれか一方の情報を1以上検出し、
前記部位情報に基づいて、前記ユーザのユーザ移動空間内におけるユーザの位置、及び、当該ユーザの姿勢のいずれか一方を、前記ユーザ状態として検出する、構成を有している。
この構成により、本発明は、ユーザの部位を用いてユーザ移動空間内におけるユーザの位置と姿勢をユーザ状態として的確に検出することができるので、仮想3次元空間における擬似的な空間であっても、より現実的な感覚をユーザに体験させることができる。
なお、「1以上」検出される部位情報とは、「1以上」であればよく、「1つ」でも複数でもよい。ただし、部位情報として検出される部位の位置等が多くなると、ユーザの位置又はユーザの姿勢の確度が高くなる。
また、「ユーザにおける所与の部位」としては、例えば、ユーザの「頭部」、「両手」及び「両足」を含み、「部位の位置」には、ユーザ移動空間における2次元座標(平面座標)又は3次元座標(平面座標及び高さの座標)の位置を示す。
さらに、「ユーザの位置」は、例えば、ユーザのユーザ移動空間内にモデリングされたユーザモデルの「重心の位置」又は「中心の位置」をいう。
(11)また、本発明は、
前記ユーザの部位には、当該ユーザの足が含まれており、
前記検出手段が、
前記検出した足の部位情報に基づいて、前記ユーザの足と前記移動経路に対応付けられた仮想移動経路との前記仮想3次元空間上における関係性を検出し、
当該検出した関係性に基づいて、前記仮想移動経路に対する前記ユーザ状態を検出する、構成を有している。
この構成により、本発明は、ユーザ状態を検出する際に、ユーザの部位として足を用いることができるので、移動経路上のユーザ状態を適切に検出することができるとともに、仮想3次元空間における仮想移動経路との関係性においてもユーザ移動空間上のユーザ状態を的確に検出することができる。
したがって、本発明は、例えば、仮想移動経路が実際の移動経路より狭くなっているなど、仮想移動経路の状態が実際の移動経路の状態と異なる場合であっても、仮想移動経路の状態に合わせてユーザ状態を検出することができるので、仮想3次元空間における擬似的な空間であっても、より現実的な感覚をユーザに体験させることができる。
(12)また、本発明は、
前記検出手段が、
前記ユーザの足と前記移動経路に対応付けた仮想移動経路との前記仮想3次元空間上における関係性として、前記ユーザの足が前記仮想移動経路から離れている時間、及び、当該仮想空間上におけるユーザの足と仮想移動経路との距離の少なくともいずれか一方の、前記ユーザの足と前記仮想移動経路の相関関係を検出する、構成を有している。
この構成により、本発明は、例えば、仮想的な移動経路からの落下などのユーザが当該仮想移動経路から外れた場合などの状況を仮想3次元空間によって実現する場合に、ユーザの足の状態に応じて、移動経路上のユーザ状態を適切に検出することができるとともに、仮想3次元空間における仮想移動経路との関係性においてもユーザ移動空間上のユーザ状態を的確に検出することができる。
(13)また、本発明は、
前記仮想3次元空間上における前記ユーザの足と前記移動経路に対応付けた仮想移動経路との関係性として、当仮想空間上におけるユーザの足と仮想移動経路との距離における前記仮想3次元空間における高さの要素を含み、
前記検出手段が、
前記ユーザの足と前記仮想移動経路の相関関係を検出する際に、前記高さの要素の重み付けを他の要素の重み付けよりも大きくする、構成を有している。
この構成により、本発明は、例えば、仮想的な移動経路からの落下などのユーザが当該仮想移動経路から外れた場合の状況を仮想3次元空間によって実現する場合に、足の高さの要素に重きをおいてユーザ状態を検出することができるので、例えば、落下の有無の判定などユーザ移動空間における高さの状態が重要視されるシミュレーションの際に、仮想三次元空間におけるその状況を適切に検出することができる。
(14)また、本発明は、
ユーザが移動可能なユーザ移動空間が形成された構造体と、
前記装着型画像表示装置を前記構造体から吊時する吊持手段と、
前記ユーザの前記ユーザ移動空間内における移動に応じて、前記吊持手段における前記装着型画像表示装置の吊持位置を変更する吊持位置変更手段を更に備える、構成を有している。
この構成により、本発明は、装着型画像表示装置を吊持しているので、ユーザがユーザ移動空間内を移動することによって、又は、装着型画像表示装置が装着されることによって、ユーザがバランスを崩した場合、又は、当該バランスを崩しユーザの意図に反して転倒した場合であっても、装着型画像表示装置のユーザへの装着を維持し、又は、着脱による落下を防止することができる。
したがって、本発明は、ユーザにおける装着型画像表示装置が装着された状態で転倒することによって生ずる負傷、又は、当該ユーザの意図に反して当該装着型画像表示装置が着脱されることによって床面や壁面への衝突及びそれに伴う当該装着型画像表示装置の一部の破損や故障の発生などの不測の事態を防止することができる。
この結果、本発明は、レールやアーム等によって装着型画像表示装置の吊持位置をユーザの移動に伴って変更させることができれば、例えば、常に上方から吊持するなど適した位置で装着型画像表示装置を吊持し、あらゆる方向への移動や動きに対応させることができるので、装着型画像表示装置を装着させてユーザ移動空間内を移動するユーザの安全性を確保しつつ、ユーザのシミュレーション中の負傷の他に、当該装着型画像表示装置の破損や故障を含めて不測の事態を防止することができる。
また、本発明は、例えば、高解像度によって提供される場合など、装着型画像表示装置への画像供給やその制御が有線で実行される場合には、吊持手段を介して装着型画像表示装置を制御する制御装置と接続するための配線を配設することもできるので、当該配線がユーザの横や足下に存在することに伴う当該ユーザの移動の制限や不快感を解消すること
ができる。
すなわち、本発明は、上記の構成を有することにより、装着型画像表示装置が装着されたユーザのユーザ移動空間内におけるスムーズな移動や安全性を確保し、当該ユーザの負傷などの不測の事態を回避させることができる。
なお、「構造体から吊時する」とは、構造体に吊持手段が吊持されていることを示し、例えば、当該構造体の天井などのユーザの上部から吊持されていることが好ましい。
さらに、吊持手段は、例えば、当該鉤状部材における曲形状の部分に引っ掛ける紐やバンドなどの端部(以下、「第1端部」という。)を有する紐状部材と、紐状部材の第1端部とは異なる第2端部とHMDと接続する接続部材と、から構成され、紐状部材は、少なくとも装着型画像表示装置がユーザに装着されている際に当該装着型画像表示装置と接続される構成を有している。
そして、例えば、吊持位置変更手段としては、直線などのレールやその組合せ、又は、平面若しくは3次元の可動式のアームによって構成される。
本発明に係るゲームシステムの一実施形態における概要構成を示す構成図である。 一実施形態のゲームシステムによって体験可能な仮想3次元空間(シミュレーション空間)を説明するための図である。 一実施形態における構造体の構造を示す平面図である。 一実施形態における構造体の構造を示す断面図である。 一実施形態のゲームシステムに用いるHMDの構成を示す斜視図及び側面図である。 一実施形態におけるシミュレーション制御装置のブロック構成を示す構成図である。 一実施形態における演出用移動オブジェクト(疑似的移動オブジェクト)を説明するための図である。 一実施形態の演出用オブジェクト及び演出装置である移動経路部材の一例を示す図である。 一実施形態の演出装置である移動経路部材において、シミュレーション空間のみ疑似的にその構造又は形態を変化させたシミュレーション画像の一例である。 一実施形態における状態検出処理部において検出されるプレーヤ状態の例について説明するための図(その1)である。 一実施形態における状態検出処理部において検出されるプレーヤ状態の例について説明するための図(その2)である。 一実施形態のおけるゲームシステムの動作を示すフローチャート(その1)である。 一実施形態のおけるゲームシステムの動作を示すフローチャート(その2)である。 一実施形態のおけるゲームシステムにおいて実行されるプレーヤ状態判定処理の動作を示すフローチャートである。 一実施形態の吊持制御ユニットにおける変形例を示す図である。 一実施形態の吊持ユニットにおける変形例を示す図である。
以下、実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲
に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。さらに、以下の実施形態は、装着型画像表示装置としてHMD(ヘッドマウントディスプレイ)を用いて予め定められた構造体内の空間(すなわち、実空間)におけるユーザの移動に対応付けて仮想3次元空間をシミュレートさせてゲームを提供するゲームシステムに対し、本発明に係るシミュレーション装置及びゲーム装置を適用した場合の実施形態である。
[1]ゲームシステムの概要
まず、図1及び図2を用いて本実施形態のゲームシステム1の概要について説明する、なお、図1は、本実施形態のゲームシステム1の概要構成を示す構成図であり、図2は、本実施形態のゲームシステム1によって体験可能な仮想3次元空間(以下、「シミュレーション空間」ともいう。)を説明するための図である。
本実施形態のゲームシステム1は、主な構成として、プレーヤPが移動可能な実空間(以下、単に「実空間」という。)が形成された構造体10と、当該プレーヤPに装着され、実空間に対応付けられた仮想3次元空間(すなわち、シミュレーション空間)のシミュレーション画像を表示するHMD20と、を備えている。
具体的には、本実施形態のゲームシステム1は、実空間内における実空間に対応するシミュレーション空間のプレーヤPから見えるシミュレーション画像を生成し、擬似的な空間内における各種の環境や状況をプレーヤPに体験させるシミュレータである。
特に、本実施形態のゲームシステム1は、
(1)実空間内におけるプレーヤPの状態を示すプレーヤ状態(具体的には、実空間におけるプレーヤの位置及びその姿勢)を検出し、
(2)当該検出したプレーヤ状態に応じて、例えば、図2に示すような、移動経路Rに対応付けた仮想移動経路を有し、かつ、実空間に対応するシミュレーション空間のプレーヤPから見えるシミュレーション画像を生成する画像生成処理を実行し、
(3)当該生成したシミュレーション画像をHMD20に表示させ、
(4)移動経路R上にてプレーヤ状態が所与の条件を具備した場合に、プレーヤPがシミュレーション空間上における特定の状態である特定状態と判定し、
(5)当該特定状態と判定した場合に、当該特定状態に基づく演出を実行するためのシミュレーション画像を生成する、
構成を有している。
そして、本実施形態のゲームシステム1は、当該HMD20を構造体10から吊時する吊持ユニット30を備え、HMD20をプレーヤPとは独立的に吊持することによって、プレーヤPが実空間内を移動する際に、又は、当該プレーヤPの所定の部位(例えば頭部)が動く際に、HMD20を当該プレーヤPの動きに追随させつつ、当該プレーヤPの意図に反して転倒した場合であっても、HMD20のプレーヤPへの装着を維持し、又は、着脱による落下を防止することが可能な構成を有している。
また、本実施形態のゲームシステムは、図1に示すように、構造体10、HMD20及び吊持ユニット30の他に、
(1)実空間内で移動するプレーヤPの転倒を防止する転倒防止ユニット40、
(2)プレーヤPの実空間内における移動に応じて、吊持ユニット30におけるHMD20の吊持位置を変更し、かつ、プレーヤPの実空間内における移動に応じて、当該プレーヤPの吊持位置を変更する吊持制御ユニット50
(3)プレーヤPの所定の部位(例えば、頭部、両手及び両足)に取り付けたマーカユニット60、及び、当該マーカユニット60を検出することによって各部位の向き及び位置
を検出しつつ、実空間内におけるプレーヤPの状態をプレーヤ状態として検出する撮像カメラ70と、
(4)実空間内に配設されるとともに、シミュレーション画像と連動することによってプレーヤPに所与の演出を体感させる各種の演出装置90〜93及び演出用オブジェクト80と、
(5)プレーヤPから見える、実空間に対応付けられた仮想3次元空間であるシミュレーション空間のシミュレーション画像を生成するとともに、検出したプレーヤ状態に応じて、シミュレーション画像に連動させつつ、該当する演出装置90〜93を制御するシミュレーション制御装置100と、
を備えている。
このような構成により、本実施形態のゲームシステム1は、プレーヤPの状態と連動させつつ、当該プレーヤPが特定状態の場合に、当該特定状態をシミュレーションとしてプレーヤPに体験させることができるので、プレーヤPに体験させるべき環境や状況を、特に、移動経路Rから外れた場合に落下する状況を含めて高所を移動する環境や移動状況などの実際に体験することが難しい環境や状況を的確に再現することができるようになっている。
例えば、高所だけでなく、閉所、特殊空間、暑い場所又は寒い場所などの危険な場所や現実では経験することが難しい空間における環境や状況を、プレーヤPの状態に応じて特定状態や当該特定状態を創出する環境として再現することができるようになっている。
したがって、本実施形態のゲームシステム1は、危険な場所や現実では経験することが難しい空間を含むあらゆる場所や空間の再現性を高めることができるので、擬似的な空間であっても、より現実的な感覚をプレーヤPに体験させることができるようになっている。
また、本実施形態のゲームシステム1は、HMD20をプレーヤPとは独立的に吊持することができるので、プレーヤPが実空間内を移動することによって、又は、当該プレーヤPの所定の部位(例えば頭部)が動くことによって、HMD20が前後方向、左右方向及び上下方向に動いた場合において、プレーヤPがバランスを崩して当該プレーヤPの意図に反して転倒した場合であっても、HMD20のプレーヤPへの装着を維持し、又は、着脱による落下を防止することができるようになっている。
したがって、本実施形態のゲームシステム1は、プレーヤPにおけるHMD20が装着された状態で転倒することによって生ずる負傷、又は、当該プレーヤPの意図に反して当該HMD20が着脱されることによって床面や壁面への衝突及びそれに伴う当該HMD20の一部の破損や故障の発生などの不測の事態を防止することができるようになっている。
この結果、本実施形態のゲームシステム1は、レールやアーム等によってHMD20の吊持位置をプレーヤPの移動に伴って変更させることができれば、例えば、常に上方から吊持するなど適した位置でHMD20を吊持し、あらゆる方向への移動や動きに対応させることができるので、HMD20を装着させて実空間内を移動するプレーヤPの安全性を確保しつつ、プレーヤPのシミュレーション中の負傷の他に、当該HMD20の破損や故障を含めて不測の事態を防止することができるようになっている。
例えば、高解像度によって提供される場合など、HMD20への画像供給やその制御が有線で実行される場合には、吊持ユニット30を介してHMD20を制御する制御装置と接続するための配線を配設することもできるので、当該配線がプレーヤPの横や足下に存
在することに伴う当該プレーヤPの移動の制限や不快感を解消することができるようになっている。
すなわち、上記の構成を有することにより、本実施形態のゲームシステム1は、HMD20が装着されたプレーヤPの実空間内におけるスムーズな移動や安全性を確保し、当該プレーヤPの負傷などの不測の事態を回避させることができるようになっている。
なお、本実施形態においては、高所における恐怖体験をシミュレートするゲーム(以下、「高所恐怖体験ゲーム」という。)を用いて以下の説明を行う。
[2]ゲームシステムの構成
[2.1]構造体
次に、上記の図1とともに図3及び図4を用いて本実施形態のゲームシステム1における構造体10について説明する。なお、図3は、本実施形態における構造体10の構造を示す平面図であり、図4は、本実施形態における構造体10の構造を示す断面図である。
構造体10は、プレーヤPが移動可能であってゲームを実行する実空間が形成された筐体であって、例えば、上記の図1、並びに、図3及び図4に示すように、天井15及び床16と、その四方を覆う壁17とによって形成された直方体の箱形構造を有している。
そして、構造体10には、プレーヤPであるプレーヤPが体験型のゲーム開始を待機する待機エリア11と、当該体験型のゲームを実行するプレーエリア12と、を有している。特に、プレーエリア12には、ゲームスタート時にプレーヤPが存在するスタートゾーン13と、プレーヤPが実際に移動して所定の環境及び状況を体験するゾーンであってプレーヤP毎にゲーム中にプレーヤPの存在が許可された移動経路Rが形成された移動体験ゾーン14と、が含まれる。
天井15には、待機エリア11からプレーエリア12に渡って、かつ、移動体験ゾーン14においては移動経路Rに沿って、HMD20を吊持する吊持ユニット30及びプレーヤPの転倒を防止する転倒防止ユニット40が摺動可能に取り付けられた複数の吊持制御ユニット50が形成されている。
そして、各吊持制御ユニット50には、該当する移動経路におけるシミュレーション制御装置100が設けられている。
また、天井15には、プレーヤPのプレーヤ状態及び演出用オブジェクト80の状態を検出するために用いる複数の撮像カメラ70が所定の位置に配設されている。
床16は、待機エリア11及びプレーエリア12のエリア毎、並びに、スタートゾーン13及びに移動体験ゾーン14のゾーン毎に、異なる構成を有している。
具体的には、プレーエリア12のスタートゾーン13においては、演出手段の1つとしてエレベータによって上下する環境を作り出すバネが組み込まれたパネル(すなわち、バネ床パネル)92によって構成されている。
また、プレーエリア12の移動体験ゾーン14は、プレーヤPが歩行するための金属その他の所定の部材(後述の移動経路部材93)によって構成された移動経路Rと、プレーヤPの移動が禁止され、当該プレーヤPが転倒した際に当該プレーヤPを保護するマットなどによって構成された非移動経路NRと、によって構成されている。
さらに、本実施形態のスタートゾーン13は、エレベータの室内空間の仮想3次元空間として提供するための構造を有しており、スタートゾーン13と移動体験ゾーン14の境界には、演出装置として、シミュレーション制御装置100の制御によって開閉が制御されるエレベータの扉として機能する自動扉91が設けられている。
特に、移動経路R上(具体的には移動経路部材93の端点)には、演出用オブジェクト80が配設されている。また、非移動経路NR上には、送風機90などの演出装置が必要に応じて形成されているとともに、必要に応じて接触センサなどのセンサユニットが形成されていてもよい。
壁17は、所定の壁面パネル又はプレーヤPによる衝突に基づく負傷などから保護するマットから構成されている。
[2.2]HMD及び吊持ユニット
次に、上記の図4ともに図5を用いて本実施形態のゲームシステムに用いるHMD20及び当該HMD20を吊持する吊持ユニット30について説明する。
なお、図5は、本実施形態のゲームシステムに用いるHMD20の構成を示す斜視図及び側面図の一例である。また、例えば、本実施形態のHMD20は、本発明の装着型画像表示装置を構成する。
HMD20は、シミュレーション制御装置100の制御の下、プレーヤPの頭部に装着された非透過型の仮想3次元空間の画像を表示するウェアラブルの表示装置あって、当該表示装置外の外界の様子を認識不能にしてプレーヤPに表示させた画像のみを視認させ、拡張現実を視覚によってプレーヤPに体験させるための表示装置である。
例えば、HMD20は、上記の図4及び図5に示すように、プレーヤPの両眼を完全に覆う(すなわち、マスクする)構造を有し、かつ、検出されたプレーヤ状態に連動させつつ、プレーヤPから見える、構造体10内の実空間に対応付けられたシミュレーション空間のシミュレーション画像を視認させるための構成を有している。
また、HMD20の上部には、プレーヤPの頭部の向き及び位置を検出するためのマーカユニット(以下、「頭部検出用マーカユニット」という。)60aが形成されている。そして、HMD20は、例えば、200×1080のピクセルの表示サイズ、及び、90fPSのリフレッシュレートを有している。
なお、HMD20は、図示しないヘッドフォンジャックを有し、当該ヘッドフォンジャックにヘッドフォン61が接続される。そして、ヘッドフォン61は、HMD20とともにプレーヤPに装着される。また、ヘッドフォン61には、シミュレーション制御装置100によって生成されたシミュレーション空間における立体音響を構成する環境音が出力される。
吊持ユニット30は、HMD20及びプレーヤPの上方、例えば、構造体10の天井15に配設された吊持制御ユニット50と連結することによって、構造体10に吊持されつつ、かつ、HMD20を吊持する構成を有している。
特に、本実施形態の吊持ユニット30は、プレーエリア12のプレーヤPにおけるあらゆる方向への移動や動きに対応させて吊持するために、HMD20を構造体10の上方(すなわち、天井15)であってプレーヤPの頭上に形成されている。
そして、吊持ユニット30は、HMD20とシミュレーション制御装置100とを有線によって接続するための配線(以下、「ケーブル」という。)を有している。
具体的には、吊持ユニット30は、例えば、図4及び図5に示すように、吊持制御ユニット50と連結するために用いられる連結部材31と、当該連結部材31に取り付けるための形状が形成された端部(以下、「第1端部」という。)を有する紐状部材(すなわち、ケーブル)32と、紐状部材32の第1端部とは異なる第2端部とHMD20と接続する接続部材33と、から構成される。
特に、紐状部材32は、プレーヤPが転倒しそうになるなどプレーヤPが大きく動くことによってHMD20がプレーヤPから着脱された場合に、構造体10の床面に接地することを未然に防止することが可能な構造を備えている。
具体的には、紐状部材32は、伸縮自在であって、ミュレーション制御装置から送信された所定の信号やデータをHMD20に転送するケーブルによって構成される。
例えば、紐状部材32は、HMD20がプレーヤPから着脱された際に、当該HMD20が構造体10の床面に接地することを未然に防止する構造としては、HMD20がプレーヤPから着脱しても構造体10の床面に接地しない長さを有していること、当該紐状部材が伸縮可能なスパイラル状になっていること、又は、紐状部材の長さを調整するために当該ケーブルを巻き取る構造を備えている。
なお、本実施形態のHMD20は、これらに限らず、プレーヤPに装着されて当該プレーヤPに視認可能に画像が表示されるものであればよく、シミュレーションを的確に行うことができれば透過型のHMD20であってもよい。
また、HMD20とシミュレーション制御装置100とが無線通信によって信号又はデータの転送を行う場合には、紐状部材32は、ケーブルである必要はなく、所定の材質の紐そのものであってもよいし、バンドなどの幅のある帯状の部材であってもよい。
さらに、吊持ユニット30の一部は、具体的には、連結部材31及び紐状部材32は、後述のように、転倒防止ユニット40と共通する部材となっている。
[2.3]転倒防止ユニット
次に、上記の図4を用いて本実施形態のゲームシステムにおける転倒防止ユニット40について説明する。なお、例えば、本実施形態の転倒防止ユニット40は、本発明の転倒防止手段を構成する。
転倒防止ユニット40は、HMD20を装着していること、歩行可能な移動経路Rが狭いこと、又は、その双方によって、プレーヤPがバランスを崩した場合、又は、当該バランスを崩しプレーヤPの意図に反して転倒した場合に、プレーヤPを支持するため、及び、プレーヤPの転倒を防止するために用いられる。
すなわち、転倒防止ユニット40は、プレーヤPがバランスを崩した場合に、HMD20の破損やそれに基づくプレーヤPの負傷を防止するだけなく、ゲームのプレー中にHMD20が装着されていることによって生ずるプレーヤPの転倒(移動中にバランスを崩すことによる転倒など)をも防止することが可能な構成を有している。
具体的には、転倒防止ユニット40は、例えば、上記の図4に示すように、プレーヤPを保持するホルダ部材41と、構造体10からプレーヤPを吊持する吊持部材と、を有し
、吊持部材は、吊持ユニット30の部材、すなわち、上記の連結部材31及び紐状部材32によって構成される。
ホルダ部材は、例えば、袖部分を有していないベストタイプの上着によって構成されており、プレー中に、プレーヤPに着用させることによってプレーヤPの状態を保持する。そして、ホルダ部材41は、紐状部材32の一端と連結されており、構造体10の天井15に形成される連結部材31を介してプレーヤPの身体を支持する構成を有している。
[2.4]吊持制御ユニット
次に、上記の図1、図3及び図4を用いて本実施形態のゲームシステムにおける吊持制御ユニット50について説明する。なお、例えば、本実施形態の吊持制御ユニット50は、本発明の第1吊持位置変更手段及び第2吊持位置変更手段を構成する。
本実施形態の吊持制御ユニット50は、構造体10内の実空間内におけるプレーヤPの移動に応じてプレーヤP自体及びHMD20の吊持位置を変更させるためのユニットであり、常に上方(すなわち、構造体10の天井方向)からHMD20及びプレーヤPを吊持する構成を有している。
そして、吊持制御ユニット50は、HMD20及びプレーヤPを実空間内において適した位置で吊持し、プレーヤPの移動方向への移動や動きに対応させることが可能な構成を有するとともに、プレーヤPの安全性を確保しつつ、プレーヤPのシミュレーション中の負傷やHMD20の破損や故障を含めて不測の事態を防止することができるようになっている。
したがって、吊持制御ユニット50は、プレーヤPが実空間内を自在に移動した場合であっても、HMD20に信号やデータを供給するケーブルやプレーヤPを保持する部材がプレーヤPの横や足下に存在することに基づく当該プレーヤPの移動の制限や不快感を的確に解消することができるとともに、プレーヤPの移動や動きに対しても常に的確にHMD20及びプレーヤPを吊持することができるようになっている。
具体的には、吊持制御ユニット50は、待機エリア11からプレーエリア12にかけて一体的に構成されており、実空間内を移動するプレーヤP又は姿勢が変化するプレーヤPに対してHMD20及び転倒防止ユニット40を追随させる構成を有している。
例えば、本実施形態の吊持制御ユニット50は、図1、図3及び図4に示すように、実空間を移動するプレーヤP毎に設けられ、待機エリア11(より詳細には、HMD20及び転倒防止ユニット40を装着した地点)からからプレーエリア12にかけてプレーヤPの移動の移動方向に沿って形成されレール51と、吊持ユニット30の連結部材31と連結し、当該レール51上を摺動する摺動部材52と、によって形成される。
特に、各レール51は、プレーヤPが移動経路Rに沿って移動する移動体験ゾーン14(すなわち、プレーヤPが直線的に前後に移動する直線移動が行われるゾーン)においては、移動経路R上の天井部分に形成されている。
また、各レール51は、それ以外の実空間内のエリアにおいては、プレーヤPがHMD20及び転倒防止ユニット40の装着準備後やスタート位置への誘導などシミュレーションを実行する上で誘導される経路(以下、「誘導経路」という。)Sに沿って形成されたレール51によって構成される。
なお、レール51においては、プレーヤPの移動に応じて吊持ユニット30の位置を変
更させることができれば、その形状や材質などは限定されない。
摺動部材52は、プレーヤPの移動や姿勢の変更などのプレーヤPの状態に応じて発生した張力に従ってレール51上を摺動し、吊持ユニット30を介してHMD20及びプレーヤPの吊持位置を変更させる。
また、摺動部材52は、図1、図3及び図4に示すように、HMD20とシミュレーション制御装置100とを電気的に接続するケーブルの長さを短くして信号やデータの転送を的確に実施するため、シミュレーション制御装置100が固定される構造を有し、当該シミュレーション制御装置100を一体的に摺動させる構成を有している。
なお、摺動部材52は、レール51上を摺動し、プレーヤPの移動や姿勢の変更などのプレーヤPの状態に応じて吊持ユニット30を介してHMD20及びの位置を変更させるための部材であれば、特に限定されない。
[2.5]シミュレーション制御装置
次に、図6を用いて本実施形態のゲームシステムにおけるシミュレーション制御装置100について説明する。
なお、図6は、本実施形態におけるシミュレーション制御装置100のブロック構成を示す構成図である。また、例えば、本実施形態のシミュレーション制御装置100は、本発明の画像生成手段、状態判定手段及び位置関係判定手段を構成するとともに、撮像カメラ70とともに本発明の検出手段を構成する。さらに、本実施形態のシミュレーション制御装置100は、図8の構成に限定されず、その一部の構成要素を省略すること、他の構成要素を追加するなどの種々の変形実施が可能である。
シミュレーション制御装置100は、例えば、パーソナルコンピュータなどのコンピュータ制御を行うことが可能な装置によって構成され、管理者が操作を行うキーボードなどの操作部(図示せず)が着脱可能に構成されている。
また、シミュレーション制御装置100は、シミュレーション空間をプレーヤPに提供するため、ゲームが開始されると、プレーヤ状態及び経過時間に応じて、当該ゲームを進行させつつ、当該ゲームの進行状態に応じた画像を生成し、かつ、演出制御装置と連動して演出装置90〜93を制御する構成を有している。
特に、シミュレーション制御装置100は、撮像カメラ70から出力された画像を取得し、当該取得した画像からマーカユニット60におけるマーカを検出し、当該マーカが属するエリア及び他のマーカとの位置関係と、マーカが属するエリアにおける滞在時間と、に基づいてプレーヤ状態を検出する。
具体的には、シミュレーション制御装置100は、各種のデータが記憶される記憶部170と、シミュレーションを実行するためのアプリケーションなどのデータが記憶される情報記憶媒体180と、ゲームの実行及びそれによってシミュレートする環境を作り出すための各種の処理を実行する処理部101と、通信部196と、を有している。
記憶部170は、処理部101及び通信のワーク領域となるもので、その機能はRAM(DRAM、VRAM)などにより実現できる。特に、本実施形態の記憶部170は、主に、ゲームプログラムが記録される主記憶部172、画像バッファ174及びデータバッファ176を有している。
主記憶部172は、主に、ゲームプログラムとプレーヤPの属性などゲーム環境に関する情報が記録される。また、データバッファ176は、自機のゲームデータが記憶される記憶領域であり、例えば主記憶の一部に設けられてソフトウェア的によって読み書きの制御が行われる構成でもよい。
具体的には、本実施形態のデータバッファ176には、プレーヤ状態の種別(後述するミッション失敗状態及びイベント発生状態)と、イベント発生状態の場合には実行するイベントの種別と、実空間内におけるプレーヤの位置(例えば、3次元の位置座標)と、姿勢(ボーンデータに基づく当該ボーンデータの中心からの頭部、手及び足の実空間における相対座標)と、当該イベントを実行する際に生成するシミュレーション画像に用いるオブジェクトなどの画像データと、実行する演出制御データと、が記載される。
なお、ゲームプログラムは、ゲーム処理を実行するための命令コードが記述されたソフトウェアである。また、ゲームデータは、プレーヤの特定状態を判定するためのデータ、ゲームプログラムの実行の際に必要なデータであり、演出用オブジェクト80のデータ、または、各種の演出装置90〜93の制御プログラムなどである。
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、HDD(ハードディスクドライブ)、または、メモリ(ROM等)などにより実現できる。
なお、処理部101は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。すなわち、情報記憶媒体180には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
通信部196は、ケーブルを介してHMD20との間で通信を行うとともに、有線又は無線のネットワークを介して撮像カメラ70及び演出装置90〜93との間で通信を行うものであり、その機能は、通信用ASICまたは通信用プロセッサなどのハードウェア、及び、通信用ファームウェアにより実現できる。
なお、本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、図示しないホスト装置(サーバシステム)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(または、記憶部170)に配信されてもよい。このようなホスト装置による情報記憶媒体の使用も本発明の範囲内に含めることができる。
処理部101(プロセッサ)は、ゲーム開始からのタイミング及び撮像カメラ70から出力された画像のデータ(以下、「画像データ」という。)及びプログラムなどに基づいて、ゲーム演算処理、画像生成処理、音生成処理及び演出制御処理などを行う。
処理部101は、記憶部170をワーク領域として各種処理を行う。この処理部101の機能は、各種プロセッサ(CPU、GPU等)、ASIC(ゲートアレイ等)などのハードウェア及びプログラムにより実現できる。
処理部101は、ゲーム演算部110、オブジェクト空間設定部111、状態検出処理部112、移動・動作処理部113、演出制御処理部114、通信制御部120、画像生成部130及び音生成部140を含む。なおこれらの一部を省略する構成としてもよい。
ゲーム演算部110は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、シミュレーション空間を形成する上で必要なオブジェクト(演出用オブジェクト80も含む。)を配置する処理、オブジェクトを表示する処理、及び、ゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
特に、本実施形態のゲーム演算部110は、検出されたプレーヤ状態(具体的には、プレーヤPの実空間内おける位置及び当該プレーヤPの姿勢)に応じてプレーヤPの視認方向及び視認するエリア(以下、「視認エリア」という。)を検出するとともに、当該検出した視認方向、視認エリア、現在のゲーム環境及び当該ゲームの進行状況に応じて3次元空間におけるプレーヤPから見える空間を設定する。
また、ゲーム演算部110は、検出されたプレーヤ状態に応じて、又は、ゲーム開始からの所定の経過時間に基づいて、ゲームの終了条件が満たされたか否かを判定し、当該ゲームの終了条件が満たされたと判定した場合にゲームを終了させる。
一方、ゲーム演算部110は、データバッファ176に予め記憶されたデータに基づいて、検出されたプレーヤ状態に応じてプレーヤPがゲームの進行上予め該当する特定状態になったか否かを判定し、その結果に応じてゲームの進行を行うとともに、演出制御処理部114、画像生成部130、及び、音生成部140に該当する演出を行うための指示を行う。
オブジェクト空間設定部111は、演出用オブジェクト80、建物、移動経路R、柱、壁、マップ(地形)などの所定のシミュレーション空間を構築するための各種オブジェクト(ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブで構成されるオブジェクト)をオブジェクト空間(すなわち、仮想3次元空間)に配置設定する処理を行う。
すなわち、ワールド座標系でのオブジェクトの位置や回転角度(向き、方向と同義)を決定し、その位置(X、Y、Z)にその回転角度(X、Y、Z軸回りでの回転角度)でオブジェクトを配置する。
特に、本実施形態においては、演出用オブジェクト80としては、動物などのシミュレーション空間内に登場する移動可能なオブジェクト(以下、「演出用移動オブジェクト」という。)及びシミュレーション空間内に固定されたオブジェクトをプレーヤPに認識させるための実空間内に実際に存在させるためのオブジェクト(以下、「演出用固定オブジェクト」という。)を含み、オブジェクト空間設定部111は、これらの演出用オブジェクト80をシミュレーション空間に配置する。
なお、本実施形態においては、演出用移動オブジェクトには、実空間内において実際に移動するとともに、シミュレーション空間内においても移動するオブジェクトとして画像化されるオブジェクト(以下、「真性移動オブジェクト」という。)の他に、当該実空間内においては移動せず、画像化された際にシミュレーション空間内おいてのみ移動するオブジェクト(以下、「擬似的移動オブジェクト」という。)も含まれる。
状態検出処理部112は、プレーヤPを画像化した複数の撮像カメラ70からそれぞれ出力されたプレーヤPの画像(以下、「プレーヤ画像」という。)内における同タイミングのプレーヤPの両手及び両足と、HMD20の上部と、に配設されたマーカユニット60の位置を特定する。
そして、状態検出処理部112は、特定した各画像内における各マーカユニット60の
位置、各マーカユニット60における他のマーカユニット60との位置関係性、及び、各マーカユニット60の各位置での滞在時間の各情報に基づいて、プレーヤPの実空間内における位置及び姿勢を示すプレーヤ状態を検出する。
本実施形態においては、撮像カメラ70毎に出力された画像に対して予め定められた実空間内の複数のエリアが設定されており、状態検出処理部112は、各マーカユニット60がいずれのエリアに属しているかを同タイミングにおける各プレーヤP画像に含まれるマーカユニット60の位置を検出することによって、各マーカユニット60の実空間内における位置を画像フレーム毎に検出する。
また、状態検出処理部112は、フレーム毎に当該各マーカユニット60の実空間内における位置を検出しつつ、以前のフレームの各マーカユニット60の位置と比較し,複数のフレームにおいて同一の位置に存在するとして検出した各マーカユニット60におけるフレーム数に基づいて、各マーカユニット60の同一位置における滞在時間を検出する。
そして、状態検出処理部112は、同タイミングにおける各マーカユニット60における実空間における位置、及び、当該各マーカユニット60のそれまでの滞在時間に基づいて、プレーヤPの実空間内における姿勢を検出する。
具体的には、本実施形態の状態検出処理部112は、
(1)頭部、両手又は両足などのプレーヤPの所与の部位の位置、高さ及び時間の少なくとも1の部位の情報(以下、「部位情報」という。)に基づいて、プレーヤPの実空間内における位置(すなわち、実空間内におけるプレーヤPの中心位置(重心位置)の座標)を特定し、
(2)プレーヤPの部位情報に基づいて、プレーヤPの頭、胴体及び手足などの各部位の位置関係から構築されるプレーヤPの姿勢を特定し、又は、
(3)(1)及び(2)の双方を特定し、
プレーヤPの位置、姿勢又は双方に基づいてプレーヤ状態を検出する。
そして、状態検出処理部112は、
(A)プレーヤPの頭の位置に基づいて、実空間におけるプレーヤPの視点位置やその方向を検出すること、
(B)プレーヤPの手の位置又は足の位置に基づいて、実空間におけるプレーヤPの立ち位置や姿勢を検出すること、及び、
(C)検出したプレーヤPの立ち位置や姿勢に基づいて、プレーヤPをモデリングすること(ボーンの形成)、
を実行する。
なお、例えば、プレーヤPの部位には、当該プレーヤPの頭部、手又は足を含み、プレーヤPの部位の向き又は位置としては、頭の向き、頭の位置、手の向き、手の位置、足の向き、及び、足の位置が含まれる。
一方、状態検出処理部112は、演出用移動オブジェクトにおいても、プレーヤPと同様に、当該演出用移動オブジェクトに配設されたマーカユニット60の実空間における位置を特定し、当該したマーカユニット60の実空間内における位置に基づいて、当該演出用移動オブジェクトの実空間内における位置(中心又は重心の位置)、及び、必要に応じてその状態を検出する。
また、状態検出処理部112は、プレーヤ状態が特定状態(具体的には、ゲームの進行上予め該当する状態)であるか否かを判定する判定処理を実行する。なお、本実施形態の
状態検出処理部112は、本発明の状態判定手段及び接触判定手段を構成する。
移動・動作処理部113は、検出されたプレーヤ状態、現在のゲーム環境、ゲームの進行状況又はこれらの2以上の情報に基づいて、プレーヤPと演出用オブジェクト80との位置関係を算出し、当該算出したプレーヤPと演出用オブジェクト80との位置関係に基づいて演出用オブジェクト80の移動・動作演算(移動・動作シミュレーション)を行う。
すなわち、移動・動作処理部113は、検出したプレーヤ状態等に基づいて、各種のオブジェクトをオブジェクト空間内で移動させること、及び、オブジェクトを動作(モーション、アニメーション)させることの各処理を行う。
具体的には、移動・動作処理部113は、各種のオブジェクトの移動情報(位置、回転角度、速度、または、加速度)及び動作情報(オブジェクトを構成する各パーツの位置、または、回転角度)を、1フレーム(1/60秒)毎に順次求めるシミュレーション処理を行う。
なお、フレームは、オブジェクトの移動・動作処理(シミュレーション処理)及び画像生成処理を行う時間の単位である。
また、移動・動作処理部113は、演出用移動オブジェクトに対しては、実空間内における位置、プレーヤPとの実空間内における位置関係、演出用移動オブジェクトの状態(演出用移動オブジェクトの移動方向やその姿勢)、現在のゲーム環境やゲームの進行状況に基づいて、シミュレーション空間における移動情報及び動作情報を算出する。
特に、移動・動作処理部113は、演出用移動オブジェクトの擬似的移動オブジェクトについては、ユーザ状態に応じて、実空間の位置や状態と連動させつつ、又は、当該実空間の位置や状態とシームレスに画像化可能に、擬似的移動オブジェクトの実空間内における位置、状態又はその双方に基づいて、シミュレーション空間における移動情報及び動作情報を算出する。
例えば、擬似的移動オブジェクトが猫などの動物のオブジェクトの場合には、移動・動作処理部113は、当該擬似的移動オブジェクトが実空間に配置されている位置とは異なる位置で動作をし、又は、異なるエリアを動き回り、所定のタイミングで当該擬似的移動オブジェクトが実空間に配置されている位置に戻り、実空間に配置されている状態と同様な状態となるための移動情報及び動作情報の演算を行う。
また、このような場合に、移動・動作処理部113は、当該擬似的移動オブジェクトが実空間に配置されている位置で画像化するものの、その姿勢や仕草などの動作を画像化するための移動情報及び動作情報の演算を行う。
より詳細には、移動・動作処理部113は、
(1)ゲーム開始時に、実空間上の移動経路Rの終点に擬似的移動オブジェクトとしての猫オブジェクトが配置されている場合であっても、当該猫オブジェクトがプレーヤPのそばを動き回る擬似的な動作、
(2)プレーヤPが移動経路Rの終点に向かって一定の距離進んだ際に、実空間上に配置されている位置に向かって猫オブジェクトが移動し、当該配置位置で実空間上の状態と同一の状態となる疑似的な動作から実際の状態への移行動作、
(3)プレーヤPが猫オブジェクトを抱えた際の種々の仕草など実空間上において変化しない疑似的な動作、
(4)プレーヤPが猫オブジェクトを抱えた状態から手放した際に、当該猫オブジェクトが落下する場合に実空間上の移動と連動する動作、
を画像化するための移動情報及び動作情報の演算を行う。
演出制御処理部114は、プレーヤ状態(特定状態含む。)、演出用移動オブジェクトの状態、現在のゲーム環境及びゲームの進行状況に応じて各種の演出装置90〜93を制御するための処理を実行する。具体的には、演出制御処理部114は、各演出装置90〜93における電源のON及びOFF、能力の変更、又は、予め設定されたプログラムに基づく制御を実行する。
例えば、演出制御処理部114は、演出装置90〜93が送風機90の場合には、送風の強弱含む駆動制御及び停止制御、演出装置90〜93が温度調整装置の場合には、温度の調整、演出装置90〜93が移動経路Rの場合には、当該移動経路R内に仕込まれた揺動ユニット、又は、振動ユニットの制御などプレーヤPの状態に応じて変化させる必要のある演出装置90〜93を制御する。
通信制御部120は、HMD20に送信するデータ(主にシミュレーション空間をプレーヤPに見せるための画像データ)を生成する処理等を行う。また、通信制御部120は、各演出装置90〜93を制御するための制御信号を送受信する。
画像生成部130は、処理部101で行われる種々の処理(ゲーム処理)の結果やプレーヤ状態(特定状態を含む。)などの各種の情報に基づいて描画処理を行い、これにより画像(特にシミュレーション空間をプレーヤPに見せるための画像)を生成し、通信制御部120を介してHMD20に出力する。
特に、画像生成部130は、まずオブジェクト(モデル)の各頂点の頂点データ(頂点の位置座標、テクスチャ座標、色データ、法線ベクトルまたはα値等)を含むオブジェクトデータ(モデルデータ)を取得し、当該取得したオブジェクトデータ(モデルデータ)に含まれる頂点データに基づいて、頂点処理(頂点シェーダによるシェーディング)を実行する。
なお、画像生成部130は、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理(テッセレーション、曲面分割、ポリゴン分割)を行うようにしてもよい。
また、画像生成部130は、頂点処理としては、頂点処理プログラム(頂点シェーダプログラム、第1のシェーダプログラム)に従って、頂点の移動処理や、座標変換(ワールド座標変換、カメラ座標変換)、クリッピング処理、または、透視変換等のジオメトリ処理を実行し、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更(更新、調整)する。
そして、画像生成部130は、頂点処理後の頂点データに基づいてラスタライズ(走査変換)を実行し、ポリゴン(プリミティブ)の面とピクセルとを対応付ける。
一方、画像生成部130は、ラスタライズに続いて、画像を構成するピクセル(表示画面を構成するフラグメント)を描画するピクセル処理(ピクセルシェーダによるシェーディング、フラグメント処理)を実行する。
特に、ピクセル処理では、画像生成部130は、ピクセル処理プログラム(ピクセルシェーダプログラム、第2のシェーダプログラム)に従って、テクスチャの読出し(テクス
チャマッピング)、色データの設定/変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を記憶部170(ピクセル単位で画像情報を記憶できるバッファ。VRAM、レンダリングターゲット)に出力(描画)する。
また、ピクセル処理では、画像生成部130は、画像情報(色、法線、輝度、α値等)をピクセル単位で設定または変更するパーピクセル処理を行う。これにより、オブジェクト空間内においてプレーヤPから見える画像を生成する。
さらに、画像生成部130は、頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン(プリミティブ)の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ(頂点シェーダやピクセルシェーダ)により実現する。
なお、プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
他方、画像生成部130は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
特に、画像生成部130は、ジオメトリ処理としては、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を実行する。
そして、画像生成部130は、ジオメトリ処理後(透視投影変換後)のオブジェクトデータ(オブジェクトの頂点の位置座標、テクスチャ座標、色データ(輝度データ)、法線ベクトル、或いはα値等)を、記憶部170に記憶する。
また、画像生成部130は、記憶部170に記憶されるテクスチャ(テクセル値)をオブジェクトにマッピングするための処理であるテクスチャマッピングを実行する。具体的には、画像生成部130は、オブジェクトの頂点に設定(付与)されるテクスチャ座標等を用いて記憶部170からテクスチャ(色(RGB)、α値などの表面プロパティ)を読み出す。
そして、画像生成部130は、2次元の画像であるテクスチャをオブジェクトにマッピングする。画像生成部130は、この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。
さらに、画像生成部130は、隠面消去処理としては、描画ピクセルのZ値(奥行き情報)が入力されるZバッファ(奥行きバッファ)を用いたZバッファ法(奥行き比較法、Zテスト)による隠面消去処理を行う。
すなわち、画像生成部130は、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Zバッファに入力されるZ値を参照する。そして参照されたZバッファのZ値と、プリミティブの描画ピクセルでのZ値とを比較し、描画ピクセルでのZ値が、プレーヤPから見て手前側となるZ値(例えば小さなZ値)である場合には、その描画ピクセルの描画処理を行うとともにZバッファのZ値を新たなZ値に更新する。
そして、画像生成部130は、α値(A値)に基づく半透明合成処理(通常αブレンディング、加算αブレンディング又は減算αブレンディング等)のαブレンディング(α合
成)を実行する。
なお、α値は、各ピクセル(テクセル、ドット)に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度(透明度、不透明度と等価)、バンプ情報などとして出力できる。
音生成部140は、プレーヤ状態(特定状態を含む。)など処理部101で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音(シミュレーション空間における立体音響としての環境音)を生成し、HMD20を介してヘッドフォン61に出力する。
[2.6]プレーヤ用のマーカユニット及び撮像カメラ
次に、上記の図1及び図4を用いて本実施形態のゲームシステムにおけるプレーヤ用のマーカユニット60及び撮像カメラ70について説明する。なお、例えば、本実施形態の撮像カメラ70は、シミュレーション制御装置100とともに本発明の検出手段を構成する。
本実施形態においては、上述のように、プレーヤ状態を検出するために、各プレーヤPには、複数の部位にマーカユニット60を配設する。具体的には、本実施形態のマーカユニット60は、上記の図1及び図4に示すように、頭部、両手及び両足の複数の部位に配設される。
特に、各マーカユニット60は、反射シートなどの表面が反射する材料によって形成され、かつ、球場のマーカによって形成されている。例えば、各マーカユニット60は、光が照射された場合に、当該光を反射して白く光る又は特定の色によって光る構成を有している。
具体的には、各マーカユニット60は、頭部検出用マーカユニット60a、右手又は左手検出用マーカユニット60b、及び、右足又は左足検出用マーカユニット60cから構成される。
なお、本実施形態の構造体10内の移動体験エリアには、各マーカユニット60に光を照射させる図示しない光源ユニットが設けられている。
また、マーカユニット60の光る色は、特に限定されないが、複数のプレーヤPが移動体験エリアに同時に存在する場合には、プレーヤP毎に色を変えてもよいし、マーカユニット60が装着された部位毎にマーカユニット60の光る色を変えてもよい。
各撮像カメラ70は、例えば、図1に示すように、それぞれ、構造体10内の予め設定された位置に固定配設され、画角内に撮像されたエリアを画像化してその画像データをシミュレーション制御装置100に順次出力する。
特に、本実施形態の各撮像カメラ70は、実空間内のプレーヤPが移動する移動範囲(具体的には、移動経路R)の外側に形成されている。
そして、各撮像カメラ70は、プレーエリア12を画像化し、当該プレーエリア12内に移動し、姿勢を変更し、又は、その双方を実施するプレーヤPを全て画像化することが可能に配置されている。
また、本実施形態の各撮像カメラ70は、CCDなどの所定の撮像素子と、所定の焦点
距離を有するレンズと、を備え、予め定められた画角及び焦点距離によって当該画角内のエリアを画像化し、当該画像化した画像データを順次シミュレーション制御装置100に出力する。
なお、プレーヤPがプレーエリア12内を自由に移動する事ができる場合には、プレーエリア12を全て画像化する必要があり、当該プレーエリア12の撮像漏れがないように各撮像カメラ70が配設される。
また、各撮像カメラ70は、有色のマーカユニット60を検出するためには、カラー形式のカメラを用いることが要求される。
また、マーカユニット60の数及び配設位置は、上記に限らない。撮像カメラ70によって撮像可能な位置であれば、基本的にはその数配置位置は限定されない。
[2.7]演出用オブジェクト及び演出装置
次に、上記の図1、図3及び図4並びに図7〜図9を用いて本実施形態のゲームシステムにおける演出用オブジェクト80及び演出装置90〜93について説明する。
なお、図7は、本実施形態の演出用移動オブジェクトにおける疑似的移動オブジェクトを説明するための図であり、図8は、本実施形態の演出装置である移動経路部材93の一例を示す図である。また、図9は、本実施形態の演出装置である移動経路部材93において、シミュレーション空間のみ疑似的にその構造又は形態を変化させたシミュレーション画像の一例である。さらに、例えば、本実施形態の演出オブジェクト及び演出装置90〜93は、本発明の演出手段を構成する。
本実施形態の演出用オブジェクト80及び演出装置90〜93は、構造体10内に形成された実空間内に配設され、プレーヤ状態、及び、シミュレーションの実行状況(すなわち、ゲーム状況)の少なくともいずれか一方に応じて、シミュレーション空間を体験させるための演出処理を実行し、シミュレーション画像と連動することによってプレーヤPに所与の演出を体感させる構成を有している。
そして、演出用オブジェクト80及び演出装置90〜93は、屋外空間や屋内空間のみならず、高所、閉所、危険な場所、特殊空間、暑い場所又は寒い場所などのシミュレーション空間を体感させるための演出用オブジェクト又は演出装置であって、シミュレーション画像と連動させてプレーヤPがシミュレーションによって見えている状況を体感的にも作り出し、臨場感のあるシミュレーションを提供するために用いられる。
具体的には、本実施形態の演出用オブジェクト80は、シミュレーション空間における演出用のオブジェクトとして画像化され、ユーザ状態、及び、ゲーム状況の少なくともいずれか一方に応じて、シミュレーション空間上における状態を、実空間内における状態とは異なる状態によって画像化する。
そして、演出用オブジェクト80は、上述のように、演出用移動オブジェクト及び演出用固定オブジェクトを含み、演出用移動オブジェクトには、真性移動オブジェクト及び擬似的移動オブジェクトが含まれる。
特に、演出用移動オブジェクトに含まれる疑似的移動オブジェクト80bは、図7に示すように、実空間内においては、移動経路Rの端部R1に配置されているが、プレーヤの実空間内における位置などプレーヤ状態に応じて仮想3次元空間のシミュレーション画像には、当該移動経路Rの端部R1からその画像が消去され、移動経路R上を移動する仮想
オブジェクトが表示される。
すなわち、シミュレーション制御装置100は、実空間内における演出用オブジェクト80の状態とは無関係に、プレーヤ状態に応じてシミュレーション空間上で当該演出用オブジェクト80その状態変化を画像化してシミュレーション画像として生成する。
また、演出用移動オブジェクトは、実空間内における位置、プレーヤPとの実空間内における位置関係、及び、演出用移動オブジェクトの状態(演出用移動オブジェクトの移動方向やその姿勢)を検出するためのマーカユニット60dを有している。
そして、演出用移動オブジェクトは、マーカユニット60dを撮像カメラ70によって撮像させることによって、プレーヤPの各部位と同様に、シミュレーション制御装置100に実空間の位置、状態及びその双方を認識させる。
例えば、演出用オブジェクト80のマーカユニット60dとしては、プレーヤPの各部位に配設されるマーカユニット60a、b、cと同じものが用いられる。ただし、プレーヤPのマーカユニット60a、b、cの色又は記憶されている各種の情報を区別することによって複数のプレーヤP又はそのゲームに登場する演出用オブジェクト80毎に異なることが好ましい。
なお、演出用オブジェクト80の内部に振動ユニットを配設し、シミュレーション制御装置100において当該振動ユニットの振動制御を行うことによって、シミュレ−ション画像と連動して又は単独でプレーヤPを驚かす演出を実行してもよい。
一方、演出装置90〜93は、シミュレーション空間を、より現実的な空間として確実に擬似的に創り出すための装置であって、プレーヤPに対して所与の演出効果を直接提供する装置である。
特に、演出装置90〜93は、シミュレーション画像に連動させつつ、実空間に単に配置され、当該配置とその構造によってプレーヤPに所与の演出効果を提供する構造型演出装置と、検出されたプレーヤ状態、ゲーム環境及びゲームの進行状況に応じて所与の演出効果を提供する連動型演出装置を含む。
そして、連動型演出装置には、例えば、図1に示す送風機90、及び、図示しない温度調整装置、照明装置、又は、振動装置などのシミュレーション空間の環境を形成するための演出装置を含む。
また、構造型演出装置には、移動経路Rを構成する移動経路部材93、スタート位置を認識されるスタートブロック(図示しない)、又は、エレベータ内を認識させるためのバネ床パネル92など壁面や床面の凹凸又は素材などのプレーヤPに接触感を体感させるための部材を含む。
例えば、送風機90は、上記の図1及び図4に示すように、プレーヤPがスタートゾーン13から移動体験ゾーン14にゾーンが切り替わったとき、当該プレーヤPの前面に向けて送風を出力し、また、移動経路Rに移動した場合にプレーヤPの下から当該プレーヤPの正面に向けて送風を出力する構成を有している。
特に、移動経路部材93は、上記の図3及び図8に示すように、予め定められたプレーヤPが移動する移動経路R下に設けられ、シミュレーション画像に応じて振動可能又は揺動可能に形成された演出可能領域93aが構成される。
すなわち、演出可能領域93aにおける移動経路部材93は、図8(A)に示すように、構造体10の床面(具体的には、非移動経路NR)から異なる高さ(天井方向の高さ)によって形成されている。
そして、演出可能領域93aにおける移動経路部材93は、プレーヤPが移動経路部材93上に歩行開始するなど所与の条件に基づき演出可能領域を振動駆動又は揺動駆動をする複数の駆動ユニット95によって構成されている。
例えば、各駆動ユニット95は、それぞれ、移動経路部材93が床面と水平方向であって移動経路方向(プレーヤPの進行方向)に対して直角となる方向に回転する車輪96と、車輪96が接地する面から所定の高さ(例えば、5mm程度)の隙間Dを有する移動経路部材93を支持する支持板97と、から構成されている。
そして、駆動ユニット95は、演出可能領域93aにおいて移動経路Rに沿って他の駆動ユニット95と隣接されて配設される。
なお、演出可能領域93aにおける移動経路部材93において、全部の移動経路Rが駆動ユニット95によって構成されていてもよいし、当該全部の移動経路Rが駆動しない移動経路部材93との組み合わせによって構成されていてもよい。そして、図8(B)には、駆動ユニット95が連続的に移動経路Rを構成する例を示す。
さらに、駆動ユニットは、図8(A)及び(B)に示すように、自立的に振動駆動又は揺動駆動するように構成されていてもよいし、演出制御処理部114によって機械的に振動駆動及び揺動駆動が制御されてもよい。
一方、演出装置は、シミュレーション空間のみ疑似的にその構造又は形態を変化させてもよい。すなわち、演出用オブジェクト及び演出装置は、実空間上においては、構造又は形態の変化は生じていないが、シミュレーション空間のみ疑似的にその構造又は形態を変化させることも可能である。
例えば、所定のイベントが発生した場合に、画像生成部130は、図9に示すように、実空間に配設された移動経路部材93の幅をシミュレーション画像内において疑似的に狭く画像化すること、壁17が疑似的に近づいてくること、又は、天井15が疑似的に下がっていることなど、シミュレーション空間のみ疑似的にその構造又は形態を変化させてもよい。
なお、図9は、図中において点線で描かれる移動経路Raが実空間において形成されている移動経路Rであり、図中において実線で描かれる移動経路Rbがシミュレーション画像内で画像化されている移動経路Rである。
[3]高所恐怖体験ゲーム
[3.1]高所恐怖体験ゲームの概要
次に、本実施形態のゲームシステムにおいて実行される高所恐怖体験ゲームの詳細について説明する。
本実施形態のゲームシステム1は、プレーヤの両眼をマスクする構造を有し、かつ、仮想3次元空間の画像を視認させる非透過型のHMD20を用いて高所に設けられた幅の狭い移動経路を移動させる体験型のゲームを実現する。
具体的には、本実施形態のゲームシステム1は、上述したように、図2に示すような高所恐怖体験を行うゲームであって、高所から落下する恐怖感を抱かせつつ、かつ、当該恐怖感を増長させる種々の演出やミッションなどのイベントを提供しつつ、スタートゾーン13から所定の長さを有する幅の狭い移動経路R上を往復させて制限時限内に当該スタートゾーン13まで戻ってくる体験型のゲームを提供する。
すなわち、本実施形態のゲームシステム1は、実空間と連動したシミュレーション空間において、歩行妨害(驚かすことやスムーズに歩行させない障害も含む)を行う妨害演出やゲーム上のミッションなどのイベントをクリアしつつ、当該ゲームを進行させるようになっており、興趣性の高い体験型ゲームを提供することができるようになっている。
特に、本実施形態のゲームシステム1は、
(1)ゲーム中において、プレーヤPの各部位における位置及び滞在時間に基づいて、プレーヤPの実空間内の位置及び姿勢を含むプレーヤ状態を検出し、
(2)ゲーム環境又はゲームの進行状況(演出用オブジェクトの実空間における状態を含む。)を参照しつつ、検出されたプレーヤ状態が所与の条件を具備した場合に、プレーヤPがシミュレーション空間(すなわち、仮想3次元空間)上における特定の状態である特定状態と判定し、
(3)特定状態と判定した場合に、シミュレーション画像を含む当該特定状態に基づく演出やミッションに関するイベントを実行する。
そして、本実施形態のゲームシステム1は、データバッファ176に予め登録されたイベントの発生条件と検出したプレーヤ状態とに基づいて、
(A)ゲーム中のミッションが失敗した状態(以下、「ミッション失敗状態」という。)、及び、
(B)予め定められたイベントが発生する状態(以下、「イベント発生状態」という。)を特定状態として判定する。
このように、本実施形態のゲームシステム1は、ゲーム環境はゲームの進行状況を参照しつつ、プレーヤ状態が特定状態であるか否かを判定し、当該特定状態と判定した場合に、各イベント及び演出を実行することによって、擬似的な空間であっても、より現実的な感覚をプレーヤに体験させる特徴を有するゲームを実現し、それによって興趣性の高い体験型ゲームを提供することができるようになっている。
[3.2]特定状態及び当該特定状態に基づいて実行されるイベント(演出)
次に、本実施形態のゲームシステム1において実行される高所恐怖体験ゲームにおける特定状態及び当該特定状態に基づいて実行されるイベントの詳細について説明する。
本実施形態のゲームシステム1は、上記の各部と連動し、シミュレーション空間におけるシミュレーション画像の表示及び環境音の再生を実行しつつ、HMD20の装着後から準備段階からゲームクリア又は当該ゲームクリアできずに途中で終了するゲーム終了まで、プレーヤ状態がミッション失敗状態及びイベント発生状態の特定状態であるか否かを判定し、当該特定状態と判定された場合には、シミュレーション画像の生成などの演出を含む各種のイベントを実行する。
特に、本実施形態のゲームシステム1は、所定のタイミング毎(例えば、5ms毎)に、プレーヤ状態が高所恐怖体験ゲーム中にミッションが失敗したミッション失敗状態として、
(1)移動経路RからプレーヤPが外れた場合(すなわち、高所から落下した場合)を示す落下状態(以下、「プレーヤ落下状態」という。)、及び、
(2)例えば、演出用オブジェクト80である猫オブジェクトの救出中に当該猫オブジェクトを逃した状態(落下させる落下状態(以下、「オブジェクト落下状態」という。)を含む)を判定する。
そして、ゲームシステム1は、プレーヤ状態がプレーヤ落下状態であると判定した場合には、プレーヤPが移動経路Rから落下する演出を実行し、ゲームを終了させ、また、プレーヤ状態がオブジェクト落下状態であると判定した場合には、演出用オブジェクト80が落下しつつ、移動経路Rの足場が崩壊する演出を実行し、ゲームを終了させる。
一方、ゲームシステム1は、プレーヤ状態が予め記憶された状態に該当すると判定した本実施形態において、当該該当した状態に対応付けられた演出を含む高所恐怖体験ゲーム中に予め定められた各種のイベントを実行する。
例えば、ゲームシステム1は、プレーヤ状態が以下の(1)〜(7)のイベントに対応付けて予め記録された状態であると判定した場合には、
(1)移動経路Rにおける往路の移動中に、演出用オブジェクト80である猫オブジェクトが移動経路のRのスタートゾーン13側の所定の位置から実空間上において実際に配置されている位置まで仮想3次元空間上のみにおいて緯度する疑似的な移動を実行するイベント(以下、「猫オブジェクト移動イベント」という。)、
(2)移動経路Rの端部に到達し、当該端部に到着した際に演出用オブジェクト80である猫オブジェクトを捕獲するための捕獲イベント(以下、「猫オブジェクト捕獲イベント」という。)、
(3)移動経路Rにおける復路の移動中に、移動経路Rが細くなる演出イベント(以下、「足場崩落イベント」という。)、
(4)移動経路Rにおける往路又は復路の移動中の所定のタイミングに、送風機90によって送風を行う演出のイベント(以下、「送風イベント」という。)、
(5)移動経路Rにおける往路又は復路の移動中の所定のタイミングに、移動経路Rが揺動する演出のイベント(以下、「足場揺動イベント」という。)、
などの高所恐怖体験ゲーム中に予め定められた各種のイベントを実行する。
なお、上記の足場揺動イベントにおいては、移動経路部材93は、演出制御処理部114によって揺動制御されている場合のイベントである。
[3.3]プレーヤ状態の検出
次に、図10及び図11を用いて本実施形態における状態検出処理部112において検出されるプレーヤ状態の例について説明する。なお、図10及び図11は、本実施形態における状態検出処理部112において検出されるプレーヤ状態の例について説明するための図である。
(プレーヤ状態(位置及び姿勢)の検出における基本原理)
状態検出処理部112は、上述のように、複数のマーカユニット60を複数の撮像カメラ70によって撮像されたぞれぞれの画像データに基づいて、各部位の位置(実空間上の位置座標)、向き、形状(平面形状や立体形状)又は色(グレースケールを含む。)などの部位の特徴(量)を検出し、当該検出した部位の特徴(量)に応じてプレーヤの位置(重心位置)及び姿勢を含むプレーヤ状態を検出する。
特に、状態検出処理部112は、頭部、両手又は両足などのプレーヤPの位置や姿勢を検出する際に必要な部位の情報(例えば、位置及び向き)を、各画像データからそれぞれ検出し、当該検出した各撮像カメラ70の各画像データにおける複数の部位情報に基づいて、実空間内における位置及び姿勢をプレーヤ状態として検出する。
具体的には、状態検出処理部112は、プレーヤP毎の各部位の実空間上の位置(実空間内における位置座標)からプレーヤPの重心となる位置をプレーヤ状態に含まれるプレーヤの位置として検出する。
例えば、状態検出処理部112は、図10(A)に示すように移動経路Rの移動中のプレーヤPにおいては、実空間上において各部位の平面的な位置が中心となる重心位置をプレーヤ状態に含まれるプレーヤの位置として検出する。
また、状態検出処理部112は、各部位の位置及び向きの部位情報に基づいて、各部位から構成されるボーンデータを形成し、当該ボーンデータによってプレーヤの姿勢、すなわち、歩行中か、屈んでいるか、落下しているか、転倒しているか、猫オブジェクトを抱えているか、または、猫オブジェクトを落下させたかなどの姿勢を検出する。
すなわち、状態検出処理部112は、頭部の位置及び向きと、手足の各部位の位置とに基づいて、ボーンデータを生成し、当該生成したボーンデータに基づいてプレーヤPの姿勢を検出する。
例えば、状態検出処理部112は、図10(B)に示すように、頭部の位置及び向きと、手足の各部位の位置とに基づいて、ボーンデータを生成し、当該生成したボーンデータに基づいてプレーヤPの姿勢を検出する。
また、状態検出処理部112は、ボーンデータを生成せずに、頭部の位置及び向きと、手足の各部位の位置とに基づいて、直接的にプレーヤ状態を検出してもよい。
例えば、図10(C)に示す場合には、状態検出処理部112は、頭部も含めて各部位の実空間内における位置が所定の範囲内に密集しており、頭部の位置が予め定めた高さより低い場合には、プレーヤPは屈んでいる姿勢であることを検出する。
一方、本実施形態の状態検出処理部112は、例えば、プレーヤPは落下している姿勢であるなど、基準となる部位の部位情報に基づいて、プレーヤPの姿勢を検出することが可能な場合には、ボーンデータを生成せずに、直接的にプレーヤ状態を検出してもよい。
例えば、状態検出処理部112は、図11(A)に示すように、一方の足が移動経路Rの高さより低く、かつ、移動経路Rよりはみ出している距離(以下、「はみ出し距離」という。)が所定距離以上の場合には、プレーヤPは落下している姿勢であることを検出する。
なお、上記の判定は、その一例であり、本実施形態の状態検出処理部112は、上記の他に各種のプレーヤPの姿勢を含むプレーヤPの状態を検出する。
(演出オブジェクトとの位置関係に基づくプレーヤ状態)
一方、状態検出処理部112は、上記によって検出されるプレーヤ状態に基づきつつ、演出用オブジェクト80とプレーヤPの実空間内における位置関係に基づいて、当該プレーヤ状態を検出する。
具体的には、状態検出処理部112は、実空間内に配置され、かつ、シミュレーション画像内のオブジェクトとして画像化される演出用オブジェクト80や移動経路部材93と、プレーヤと、が実空間内における所与の位置関係にあるか否かの判定を実行し、当該判定結果に基づいてプレーヤ状態を検出する。
特に、実空間における移動を行う演出用オブジェクト80については、状態検出処理部112は、演出用オブジェクト80のマーカユニット60によって検出された当該演出用オブジェクト80の実空間内における位置座標と、プレーヤPの各部位の部位情報(例えば実空間における位置座標)と、が予め定められた範囲に属する場合には、プレーヤPと演出用オブジェクト80が接触していると判定して当該演出用オブジェクト80を抱えている状態(すなわち、姿勢)と検出する。
例えば、図11(B)に示すように、プレーヤPが屈んだ姿勢になり、演出用オブジェクトに近づいている場合には、プレーヤPの各部位と演出用オブジェクト80の位置とが予め定められた範囲に属することになる。
このような場合に、状態検出処理部112は、プレーヤPが演出用オブジェクト80を抱えていると姿勢(プレーヤ状態)であると検出する。
(仮想移動経路との位置関係に基づくプレーヤ状態の検出)
他方、シミュレーション中において、高所における恐怖感を増大させるために、図9に示すように、実空間に形成された移動経路Rの幅がシミュレーション空間上において狭くなるなど、画像化される演出手段(具体的には、移動経路部材93)が実空間内における状態とは異なる状態によって画像化される場合がある。
通常、このように、実空間に形成された移動経路Rの幅と、シミュレーション空間に画像化された移動経路の幅と、が同一の場合(同一性がある場合)には、上記のように、検出されたプレーヤ状態と実際のプレーヤPの状態は一致するため、プレーヤ状態を検出できれば、シミュレーション空間内のプレーヤ状態として用いることができる。
しかしながら、画像化される演出手段(具体的には、移動経路部材93)が実空間内における状態とは異なる状態によって画像化された場合には、実空間内においては移動経路R上であってもシミュレーション空間においては、移動経路外であることも想定される。
したがって、このような場合には、状態検出処理部112は、検出した特定の部位情報(具体的には足の部位)に基づいて、プレーヤの部位と移動経路Rに対応付けられた仮想移動経路とのシミュレーション空間上における関係性を検出し、当該検出した関係性に基づいて、仮想移動経路に対するプレーヤ状態を検出する。
具体的には、状態検出処理部112は、移動経路Rに対応付けた仮想移動経路の位置座標を検出し、プレーヤPの部位(すなわち、足)と移動経路Rに対応付けられた仮想移動経路とのシミュレーション空間上における関係性として、プレーヤPの足の実空間上の位置座標と、当該検出した仮想移動経路の位置座標と、に基づいて、プレーヤPの足と仮想移動経路の相関関係を検出する。
特に、状態検出処理部112は、プレーヤPの足と仮想移動経路の相関関係としては、プレーヤPの足が仮想移動経路から離れている時間、及び、仮想空間上におけるプレーヤPの足と仮想移動経路との距離(平面的な距離、直線的な距離及び高さ(落下)方向の距離)の少なくともいずれか一方の相関関係を検出する。
すなわち、プレーヤPの足が仮想移動経路から離れている時間が短い場合には、プレーヤPは、バランスを崩したものの、その姿勢を整えた状態(すなわち、通常の歩行状態)に戻ったものと判断できる一方で、プレーヤPの足が仮想移動経路から離れている時間が所定の時間以上の場合には、バランスを崩した状態が維持されていると判断できるととも
に、その状態が続けば移動経路からは落ちていると判断することができる。
また、仮想空間上におけるプレーヤPの足と仮想移動経路との距離が短い場合には、通常の動作中の動きか、又は、バランスを崩したものの、その姿勢を整えた状態(すなわち、通常の歩行状態)に戻ったものと判断できる一方で、当該距離が長い場合には、バランスを崩した状態が維持されていると判断できるとともに、その状態が続けば移動経路からは落ちていると判断することができる。
したがって、状態検出処理部112は、このような時間、距離又は双方を検出することによって仮想移動経路に対するプレーヤ状態を検出するようになっている。
具体的には、状態検出処理部112は、プレーヤPの足が仮想移動経路から離れている時間については、いずれかの足が当該仮想移動経路から離れている時間を計測し、連続して離れている時間が予め定められた時間以上であると判定された場合には、プレーヤ状態として、プレーヤPが仮想移動経路から落ちている体勢(以下、「落下体勢」という。)であることを検出する。
また、状態検出処理部112は、仮想空間上におけるプレーヤPの足と仮想移動経路との距離については、実空間及びシミュレーション空間上において横方向(構造体10の床面と平行)の成分から構成される平面的な距離、足の位置と仮想移動経路の所定の位置とにおける直線的な距離、及び、落下する方向を示す高さ方向(構造体10の床面と垂直となる方向)の成分から構成される距離の1以上の距離を算出し、1以上の距離が予め定められた距離以上となった場合に、プレーヤ状態として、プレーヤPが落下体勢であることを検出する。
そして、本実施形態においては、ゲームの性質上、当該仮想移動経路からの落下の検出においては、高さ方向の距離を重要視する。そこで、状態検出処理部112は、仮想空間上におけるプレーヤPの足と仮想移動経路における2以上の距離に基づいて、又は、1以上の距離とプレーヤPの足が仮想移動経路から離れている時間とに基づいて、など、プレーヤPにおける仮想移動経路からの落下体勢を検出する場合に複合的な要素を用いてプレーヤ状態を検出する場合には、落下する方向を示す高さ方向の要素の重み付けを他の要素の重み付けよりも大きくする。
なお、仮想空間上におけるプレーヤPの足と仮想移動経路との距離としては、例えば、状態検出処理部112は、足の中心位置と、仮想移動経路におけるプレーヤPの重心位置に対して最近接の位置と、によって算出する。
また、上記の距離又は時間の判定基準となるデータ(すなわち、閾値データ)は、予めデータバッファ176に記憶されており、状態検出処理部112は、適宜、当該データを読み出して当該算出を行う。
さらに、状態検出処理部112は、上記の時間や距離など複合的な要素を用いてプレーヤ状態を検出する場合には、上記の重み付けを用いて関数演算し、予め定められた所定の閾値以上であるなどの条件を具備するか否かを判定することによって、プレーヤ状態を検出すればよい。
[3.4]特定状態の判定
次に、本実施形態の状態検出処理部112によって実行されるプレーヤ状態における特定状態の判定について説明する。
状態検出処理部112は、上述のように、データバッファ176に予め記憶されたデータを参照しつつ、検出されたプレーヤ状態が、プレーヤPがゲームの進行上予め該当する特定状態(すなわち、プレーヤ落下状態、オブジェクト落下状態を含むミッション失敗状態及びイベント発生状態)になったか否かを判定する。
そして、状態検出処理部112は、その判定結果に応じてゲームの進行を行うとともに、演出制御処理部114、画像生成部130、及び、音生成部140に該当する演出を行うための指示を行う。
特に、状態検出処理部112は、プレーヤ落下状態及びオブジェクト落下状態を含むミッション失敗状態と、イベント発生状態と、を並列に判定する。
なお、本実施形態において、プレーヤ状態における特定状態の判定の条件については、データバッファ176に予め記憶されており、状態検出処理部112は、当該データを用いてプレーヤ状態における特定状態の判定を実行する。
(ミッション失敗状態1(プレーヤ落下状態))
状態検出処理部112は、検出したプレーヤPの実空間上の位置及び姿勢を含むプレーヤ状態を検出すると、当該プレーヤ状態がプレーヤ落下状態であるか否かを判定する。
特に、状態検出処理部112は、検出された実空間内のプレーヤPの位置(例えば、重心の位置)、当該プレーヤPの姿勢(各部位の位置や滞在時間又はボーンデータ)及びその双方が、プレーヤ落下状態であるか否かを判定する。
特に、状態検出処理部112は、プレーヤPの各部位における位置関係、片足の実空間内における高さやその位置における滞在時間など、1以上の部位の位置及び特定の位置における滞在時間、又は、1以上の部位における他の部位との位置関係を用いてプレーヤPの落下状態を判定する。
具体的には、状態検出処理部112は、上述のように、
(1)検出したプレーヤPの位置(例えば、重心位置)が、実空間における移動経路R上であるか否か、又は、疑似的に当該移動経路Rの幅が狭く画像化されている場合には、その範囲(以下、「仮想移動経路範囲」という。)内であるか否かの判定を実行し、プレーヤPの位置が移動経路R上、又は、仮想移動経路範囲内でないと判定した場合、
(2)プレーヤPの頭部が当該プレーヤPの両足より低い位置にある場合、又は、両手が両足から水平方向に所定の距離(例えば、プレーヤPの身長の2/3以上)離れた場合であって両手の位置が非移動経路Nのエリア上に存在している場合など、1以上の部位の位置によって移動経路R(仮想移動経路範囲を含む。)上においてプレーヤPの体勢が、落下が想定される体勢であると判定した場合、
(3)所定の時間においてプレーヤPの各部位のいずれもが移動経路R(仮想移動経路範囲を含む。)に接地していないと判定した場合など、1以上の部位が一定の時間以上、プレーヤPの落下が想定される位置に滞在した場合、
(4)片方の足が、移動経路Rが形成されている面から低い位置であって、かつ、他の足から所定の距離(プレーヤPの身長の1/2以上)にて平面方向に、かつ、高さ方向(移動経路Rから構造体10の床方向)に離れているなど、1以上の部位において他の部位の位置関係によって落下が想定される条件を具備する場合に、又は、
(5)仮想移動経路に基づくプレーヤ状態が落下が規定される体勢であると判定した場合、
プレーヤ状態がプレーヤ落下状態であると判定する。
一方、状態検出処理部112は、上記の判定に関しては、プレーヤPが上級者又は初級者などプレーヤPのレベルやプレーヤPの属性(性別、年齢、身長など)などのゲーム環境に応じて、又は、プレーヤPの移動速度が一定以上の場合、制限時間に近くなった場合、又は、猫オブジェクトの捕獲に時間がかかっているなどのゲームの進行状況に応じて、上記の判定基準や判定条件を変化させてもよい。
例えば、状態検出処理部112は、プレーヤPが初心者の場合には、プレーヤPの部位の位置関係を判定する際に距離差を小さくする(閾値を低くする)など、プレーヤ落下状態の判定レベルを低くする。
(ミッション失敗状態2(オブジェクト落下状態))
状態検出処理部112は、検出したミッションとして救出すべきオブジェクトに設定された演出用オブジェクト80(以下、「救出対象オブジェクト」という。)の状態に基づきつつ、プレーヤPの実空間上の位置及び姿勢を含むプレーヤ状態がオブジェクト落下状態であるか否かを判定する。
特に、状態検出処理部112は、救出対象オブジェクトを既に抱えている状態であって、当該救出対象オブジェクトの状態(具体的には、実空間における位置)に基づきつつ、上述のように、検出した実空間内のプレーヤPの位置(例えば、重心の位置)、当該プレーヤPの姿勢(具体的には、プレーヤPの各部位における位置関係、1以上の部位の特定の位置における滞在時間、又は、1以上の部位における他の部位との位置関係)及びその双方がオブジェクト落下状態であるか否かを判定する。
具体的には、状態検出処理部112は、
(1)状態検出処理部112によって検出された救出対象オブジェクトの実空間内の位置が前回検出した位置(例えば、前フレーム)から所定の距離(例えば、30cm以上)離れた場合であって、プレーヤPの位置(例えば、重心位置)が、救出対象オブジェクトから所定の距離(例えば、30cm以上)離れている場合、
(2)プレーヤPの一方の手が頭部の上にあり、他方の手が胴部にある(所定の距離離れている)など、各部位の位置によってプレーヤPの姿勢が救出対象オブジェクトを抱えることができない位置であること若しくは姿勢であると判定した場合、又は、
(3)両手が救出対象オブジェクトの実空間内の位置から所定に距離(例えば、50cm)離れた場合、
プレーヤ状態がオブジェクト落下状態であると判定する。
一方、状態検出処理部112は、プレーヤ落下状態と同様に、上記の判定に関しては、プレーヤPが上級者又は初級者などプレーヤPのレベルやプレーヤPの属性(性別、年齢、身長など)などのゲーム環境に応じて、又は、プレーヤPの移動速度が一定以上の場合、制限時間に近くなった場合、又は、猫オブジェクトの捕獲に時間がかかっているなどのゲームの進行状況に応じて、上記の判定基準や判定条件を変化させてもよい。
例えば、状態検出処理部112は、プレーヤPが初心者の場合には、プレーヤPの部位の位置関係を判定する際に距離差を小さくする(閾値を低くする)など、オブジェクト落下状態の判定レベルを低くする。
(イベント発生状態)
状態検出処理部112は、所定のタイミング(例えば5ms)毎に、ゲーム環境及びゲームの進行状況に基づきつつ、必要に応じて救出対象オブジェクトなどの演出用オブジェクト80の状態に応じて、検出したプレーヤPの実空間上の位置及び姿勢を含むプレーヤ状態が、予め定められたイベント発生状態であるか否かを判定する。
具体的には、猫オブジェクト移動イベント、足場崩落イベント、送風イベント及び足場揺動イベントの場合においては、状態検出処理部112は、プレーヤ状態によって示される実空間内におけるプレーヤPの位置(具体的には、重心位置又は進行方向の先頭の部位の位置)が移動経路R上の所定の位置に到達した判定した場合に、当該プレーヤ状態が当該イベント発生状態であると判定する。
また、猫オブジェクト捕獲イベントの場合には、状態検出処理部112は、プレーヤ状態によって示される実空間内におけるプレーヤPの位置(具体的には、重心位置又は手や頭部などの所定の部位の位置)が移動経路R上の端部の位置に到達したと、判定し、かつ、プレーヤPの姿勢が屈んだ姿勢であること、及び、実空間の両手の位置が捕獲対象のオブジェクトの実空間の位置と予め定められた位置関係を有していると判定した場合(すなわち、接触判定により接触と判定した場合)に、当該プレーヤ状態が猫オブジェクト捕獲イベントのイベント発生状態であると判定する。
一方、上記に加えて、送風イベントの場合においては、例えば、プレーヤ落下状態へ移行させるため(すなわち、プレーヤPのゲームクリアを阻止するなどゲームにおける難易度を上げるため)、状態検出処理部112は、頭部の位置が予め定められた高さ以下になったと判定した場合、又は、片足が他の足より大きく離れた場合など、プレーヤPの姿勢が特定の姿勢になったと判定した場合に、当該プレーヤ状態が送風イベントのイベント発生状態であると判定する。
また、同様に、足場揺動イベントおいては、例えば、プレーヤ落下状態へ移行させるため、状態検出処理部112は、各部位の位置関係が短時間で大きく変化する場合など、プレーヤPの姿勢がバランスをくずした姿勢になったと判定した場合に、当該プレーヤ状態が足場揺動イベントのイベント発生状態であると判定する。
他方、状態検出処理部112は、上記の判定に関しては、プレーヤPが上級者又は初級者などプレーヤPのレベルやプレーヤPの属性(性別、年齢、身長など)などのゲーム環境に応じて、又は、プレーヤPの移動速度が一定以上の場合、制限時間に近くなった場合、又は、猫オブジェクトの捕獲に時間がかかっているなどのゲームの進行状況に応じて、上記の判定基準や判定条件を変化させてもよい。
例えば、状態検出処理部112は、プレーヤPが初心者の場合には、送風イベントの数を少なくするなど、ゲームとしての難易度を低くする。
また、状態検出処理部112は、上記の判定に関しては、救出対象オブジェクトを抱えている場合には、移動経路Rの幅を狭くするイベントを発生させ、又は、送風イベントの数を多くするなど、演出オブジェクトの状態に応じて上記の判定基準や判定条件を変化させてもよい。
[3.5]その他
次に、本実施形態における高所恐怖体験ゲームにおけるその他の事項について説明する。
状態検出処理部112は、プレーヤ状態に応じてプレーヤPの転倒を判定し、当該プレーヤPが転倒したと判定した場合には、ゲームを強制的に終了させるとともに、HMD20に転倒した旨の警告表示、ヘッドフォン61への警報の報知、及び、図示しない管理者への通報を実行する。
また、上記においては、ゲーム環境、ゲームの進行状況又はその双方に応じて特定状態の判定処理の判定基準などを変更しているが、単に、ゲーム環境、ゲームの進行状況又はその双方に応じて演出用オブジェクト80又は各種の演出装置90〜93の演出制御の変更(すなわち、演出変更)を実行してもよい。
例えば、送風機90は、プレーヤPの移動速度に応じて送風開始タイミングや送風の強度を変更し、疑似的移動オブジェクトは、プレーヤPの移動するタイミングや屈むタイミングに応じてシミュレーション画像内における移動態様を変化させる。
[4]ゲームシステムの動作
[4.1]メインの動作
次に、図12及び図13を用いて本実施形態のおけるゲームシステム1の動作について説明する。なお、図12及び図13は、本実施形態のおけるゲームシステム1の動作を示すフローチャートである。
本動作は、高所における恐怖体験をシミュレートする高所恐怖体験ゲームを用いて説明する。特に、高所恐怖体験ゲームは、プレーヤPがスタートゾーン13からスタートして所定の幅の移動経路部材93上を移動させ、当該移動経路部材93上の端点(スタートゾーン13から遠い点)に存在する演出用オブジェクト80(例えば猫)を抱えて(救出して)当該スタートゾーン13まで制限時間内に戻ってくるゲームである。
また、プレーヤPは、HMD20及び転倒防止ユニット40を既に装着しており、ハードウェア的な準備は整っているものとする。
まず、ゲーム演算部110は、HMD20及び転倒防止ユニット40が装着されたプレーヤPの所定の位置(具体的にはスタートゾーン13内)に存在することを前提に、管理者の操作に基づく図示しないボタンの押し下げの有無(すなわち、ゲーム開始)を検出する(ステップS101)。
なお、ゲーム演算部110は、ステップS101の処理として、状態検出処理部112によるプレーヤ状態の検出を開始するとともに、プレーヤPが所定の位置に存在するか否かを検出してゲーム開始を検出してもよい。
次いで、ゲーム演算部110は、高所恐怖体験ゲームに関する各種の演算を開始するとともに、オブジェクト空間設定部111、状態検出処理部112、移動・動作処理部113、演出制御処理部114、画像生成部130及び音生成部140は、それぞれ、高所恐怖体験ゲームにおけるシミュレーションに関する各処理を開始する(ステップS102)。
具体的には、
(1)状態検出処理部112は、所定のタイミング(例えば、5ms)毎にプレーヤPの各部及び演出用オブジェクト80に配設されたマーカユニット60の検出を開始しつつ、プレーヤ状態及び演出用オブジェクト80の状態の検出を開始し、
(2)オブジェクト空間設定部111及び移動・動作処理部113は、プレーヤ状態(判定による特定状態も含む。)、演出用オブジェクト80の状態、ゲーム環境及びゲームの進行状況に応じてプレーヤPから見えるシミュレーション空間の構築を開始し、
(3)演出制御処理部114は、プレーヤ状態(判定による特定状態も含む。)、演出用オブジェクト80の状態、ゲーム環境及びゲームの進行状況に応じて該当する演出装置(送風機90、自動扉91及びバネ床パネル92)の制御を開始し、
(4)画像生成部130及び音生成部140は、プレーヤ状態、演出用オブジェクト80
の状態、ゲーム環境及びゲームの進行状況に応じて、シミュレーション画像の生成及びそれに伴う音の生成を開始する。
なお、ステップS102の処理移行は、ゲームの終了が判定されるまで、開始された各処理は継続して実行される。
次いで、画像生成部130は、エレベータ内の画像をHMD20に表示するとともに、演出制御処理部114は、スタートゾーン13におけるバネ床パネル92を制御し、スタートゾーン13におけるシミュレーション処理を実行する(ステップS103)。
次いで、演出制御処理部114は、所定のタイミング(スタートゾーン13におけるシミュレーション処理の終了)を検出すると(ステップS104)、演出制御処理部114は、ゲーム開始処理を実行するとともに(ステップS105)、ゲーム演算部110は、ゲーム開始のカウントダウンを開始する(ステップS106)。
例えば、演出制御処理部114は、ゲーム開始処理としては、
(1)バネ床パネル92の制御の終了、
(2)スタートゾーン13と移動体験ゾーン14の間に形成された自動扉91(すなわち、エレベータの扉)を閉状態から開状態への制御、及び、
(3)送風機90による送風制御
などの該当する演出装置の制御を実行する。
次いで、ゲーム演算部110は、カウントダウンが終了したことを検出しつつ(ステップS107)、状態検出処理部112は、スタートゾーン13を超えて移動体験ゾーン14に移動したか否かの判定(以下、「スタートエラー判定」という。)を実行する(ステップS108)。
このとき、状態検出処理部112は、カウントダウン終了前に、スタートゾーン13を超えて移動体験ゾーン14に移動したことを判定したと判定した場合には、HMD20に警告を通知し(ステップS109)、ステップS107の処理に移行する。
なお、本処理においては、状態検出処理部112は、ステップSゲーム開始動作の中断などのそれに伴う演出を実行して本動作をステップS105の処理からやり直してもよいし、ゲームを中断させてもよい。
また、ゲーム演算部110は、カウントダウンが終了したことを検出すると、高所恐怖体験ゲームの実行に関する各種の演算を開始させる(ステップS110)。具体的には、ゲーム演算部110は、制限時間のカウントを開始し、また、ゲーム終了処理の判定を開始する。
次いで、ゲーム演算部110は、ゲームの終了条件を具備したか否かを判定する(ステップS111)。具体的には、ゲーム演算部110は、状態検出処理部112と連動してプレーヤ状態若しくは演出用オブジェクト80の状態が終了条件を満たしたか否か、及び、制限時間が「0」になったか否かを判定する。
例えば、状態検出処理部112は、検出されたプレーヤ状態に基づいて、プレーヤPが移動経路R上から外れた特定状態となったか、及び、移動中に救出すべき演出用オブジェクト80を落下させ特定状態となったかなど終了条件を満たす特定状態となったか否かを判定する。
次いで、状態検出処理部112は、ゲームの終了条件を具備していないと判定した場合には、画ゲーム環境及びゲームの進行状況に応じて、プレーヤ状態判定処理を実行し(ステップS200)、当該プレーヤ状態判定処理の結果に基づいて、プレーヤ状態が特定状態であるか否かを判定する(ステップS112)。なお、ステップS200におけるイベント制御処理の詳細については、後述する。
このとき、状態検出処理部112によってプレー状態が特定状態であると判定された場合には、演出制御処理部114、画像生成部130及び音生成部140は、データバッファ176に記憶されたデータに基づいて、特定状態におけるイベントに応じた処理を実行し(ステップS113)、状態検出処理部112によってプレー状態が特定状態でないと判定された場合には、ステップS111の処理に移行する。
一方、ゲーム演算部110は、当該ゲームの終了条件を具備したと判定した場合には、画像生成部130及び音生成部140は、ゲーム終了に関する演出を行うための画像及び音を生成して出力し(ステップS114)、本動作を終了させる。なお、ゲーム終了に関する演出としては、ゲームの終了条件に応じて異なる演出が実行される。
[4.2]プレーヤ状態判定処理
次に、図14を用いて本実施形態のおけるゲームシステム1において実行されるプレーヤ状態判定処理の動作について説明する。なお、図14は、本実施形態のおけるゲームシステム1において実行されるプレーヤ状態判定処理の動作を示すフローチャートである。
本動作は、ゲームシステム1のメイン処理において、ステップS200におけるプレーヤ状態判定処理の詳細である。なお、本動作の前提として、データバッファ176には、ゲームの進行状況が適宜記憶されているものとし、ゲーム環境に関す情報は、メイン処理におけるステップS102の処理のときに予めデータバッファ176に記憶されているものとする。
まず、状態検出処理部112は、ゲームシステム1の動作におけるステップS200の処理が開始されると(ステップS201)、所定の時間(例えば、5ms)待機した後に(ステップS202)、予め取得したプレーヤPのレベルや属性などゲーム環境に関する情報及びゲームの進行状況に関する情報(以下、「ゲーム進行状況情報」という。)をデータバッファ176から読み出す(ステップS203)。
次いで、状態検出処理部112は、状態検出処理部112によって検出されたプレーヤ状態(プレーヤPの実空間上の位置、及び、ボーンデータによる姿勢又は各部位の位置情報及び各部位が現在位置に滞在している時間の情報を含む)の情報(以下、「プレーヤ状態情報」という。)及び演出用オブジェクト80の状態の情報を取得する(ステップS204)。
次いで、状態検出処理部112は、ゲーム環境、ゲームの進行状況、演出用オブジェクト80の状態、及び、取得したプレーヤ状態に基づいて、データバッファ176に記憶されたデータを参照しつつ、当該プレーヤ状態が特別状態であるか否かを判定する(ステップS205)。
このとき、状態検出処理部112は、プレーヤ状態が特別状態であると判定すると、ステップS206の処理に移行し、当該プレーヤ状態が特別状態でないと判定すると、本動作を終了させる。
次いで、状態検出処理部112は、プレーヤ状態が特別状態であると判定すると、データバッファ176に記憶されており、ステップS205の処理において検索されたデータ
に基づいて、プレーヤ状態が、プレーヤ落下状態であるか、オブジェクト落下状態であるか、又は、所定のイベント発生状態であるかを特定して(ステップS206)本動作を終了させる。
[5]変形例
[5.1]変形例1
本実施形態は、ゲームとしてシミュレーション空間におけるシミュレーション処理が実行されているが、ゲームに関係なく、単なるシミュレータとして実施してもよい。
[5.2]変形例2
本実施形態は、マーカユニット60及び撮像カメラ70を用いてプレーヤ状態を検出しているが、移動経路R又は非移動経路NRに配設された接触センサなどのセンサユニットによってプレーヤ状態を検出してもよい。
例えば、状態検出処理部112は、移動経路R上に設けられたセンサユニットによってプレーヤPを検出した場合には、当該センサユニットの位置にプレーヤPが存在すると判断する。
また、状態検出処理部112は、非移動経路NR上に設けられたセンサユニットによってプレーヤPを検出した場合には、当該センサユニットの位置で移動経路から外れたと検出して、移動経路の移動を失敗としてゲーム終了を検出してもよい。
一方、本実施形態は、マーカユニット60を利用せずに、撮像カメラ70に撮像されたプレーヤ画像に応じてプレーヤの実空間上の位置及びその姿勢を検出してもよい。例えば、状態検出処理部112は、各撮像カメラ70から出力された各画像に基づいて、各撮像カメラ70に対する奥行き方向を算出するとともに、当該プレーヤPのボーンデータを生成する。
そして、状態検出処理部112は、検出された各撮像カメラ70に基づくプレーヤPの奥行き方向の位置によって、各プレーヤの実空間上の位置を検出するとともに、生成してボーンデータによってプレーヤPの姿勢を検出する。
[5.3]変形例3
本実施形態においては、吊持制御ユニット50は、1の軸によって摺動可能なレール51及び摺動部材52が形成されているが、図15(A)に示すように2軸又は3軸以上によってレール及び摺動部材が形成されていてもよいし、図15(B)に示すように、レール51に変えて3次元的に吊持可能なアームによって形成されていてもよい。
なお、図15は、本実施形態の吊持制御ユニット50における変形例を示す図であり、具体的には、図15(A)は、2軸によってレール及び摺動部材が形成されている吊持制御ユニット50の例を示し、及び、図15(B)は、3時限的に吊持ユニット30を吊持可能なアームによって構成されている吊持制御ユニット50の例を示す。
例えば、吊持制御ユニット50は、図15(A)に示すように、実空間内において平面的(天井面に平行)に移動する一対の第1レール55a、55bと当該第1レール55a、55bと直交して実空間において平面的に移動する第2レール56とによって構成さていてもよい。
すなわち、吊持制御ユニット50は、移動経路Rが実空間内において、二次元的又は三次元的に移動可能な場合には、予め定められた2つの軸に沿って吊持ユニット30の吊持
位置を変更する2つのレールの組合せ、又は、当該2つのレールと、更に実空間において上下方向に吊持ユニット30の位置を変更させるためのレールと、の組み合わせを有していてもよい。
具体的には、吊持制御ユニット50は、実空間内においてプレーヤPが平面的に移動する平面移動が行われる場合には、予め定められた2軸方向(好ましくは2軸は直角)に沿ってそれぞれ形成された2つのレールや2方向に移動可能なアームによって構成すること、及び、プレーヤPにおいて、プレーヤPが上下方向(例えば階段などの段差移動による構造体10の天井方向又は床面方向)に移動する上下移動が行われた場合には、平面移動に加えて予め定められた上下方向に沿って形成されたレールや当該方向に移動可能なアームによって構成する。
また、吊持制御ユニットは、図15(B)に示すように、上記のレールに代えて、平面若しくは3次元的に可動するアーム57によって構成されていてもよい。なお、平面的に可動させる場合には、アーム57のベースに回転台58を設け、プレーヤPの移動方向に沿って又は3次元的に可動させる場合には、さらにアーム57を上下方向に回転させる回転機構59を設ければよい。
[5.4]変形例4
本実施形態の吊持ユニット30は、プレーヤ状態に応じて吊持制御ユニット50によって実空間内を摺動可能に移動するようになっているが、シミュレーション空間において、プレーヤPが当該実空間内を移動する必要が無く(例えば着座してゲーム等を実行する場合)、当該実空間内を移動することと連動する必要が無い場合には、例えば、図11に示すように、直接天井15に連結されていてもよい。
例えば、吊持ユニット30は、図16に示すように、構造体10の天井15に形成される連結部材31と、当該連結部材31に取り付けられる形状を有する紐状部材32と、紐状部材の第1端部とは異なる第2端部とHMD20と接続する接続部材33と、から構成される。
すなわち、当該変形例においては、図16に示すように、紐状部材32が構造体10の天井15の部分に直接接続することになる。なお、図16は、本実施形態の吊持ユニット30における変形例を説明するための図であり、プレーヤPの移動がない場合における吊持ユニット30の例を示す図である。
[5.5]変形例5
本実施形態は、複数のマーカユニット60を撮像カメラ70によって画像化することによってプレーヤPの各部位の位置や姿勢を検出しているが、例えば、頭部又は胴体部などの配設された単一のマーカユニット60のみによってプレーヤの位置や姿勢を検出してもよし、複数のマーカユニット60が配設された演出用オブジェクト80の位置及び姿勢を検出してもよい。
また、HMD20にフォトセンサを設け、当該フォトセンサによって構造体10に配設された複数のマーカの中から認識可能なマーカを特定し、当該特定したマーカに基づいてプレーヤPの位置や姿勢を検出してもよい。
[5.6]変形例6
本実施形態は、高所恐怖体験ゲームについて説明したが、高所だけでなく、閉所、特殊空間、暑い場所又は寒い場所などの危険な場所や現実では経験することが難しい空間における環境や状況を、プレーヤの状態に応じて特定状態や当該特定状態を創出する環境として再現することが可能である。
[5.7]変形例7
本実施形態は、プレーヤP又は演出用オブジェクトに取り付けた各マーカユニット60を複数の撮像カメラ70によって撮像し、当該撮像された画像を解析することによって、当該プレーヤP等における位置、姿勢及びその双方を検出しているが、深度センサを用いて検出するようにしてもよい。
具体的には、複数の撮像カメラ70毎に、複数の発光ユニットと、当該発光ユニットからの光に基づいて特定の物体(具体的には、プレーヤP及び演出用オブジェクト80)の奥行き方向の距離(深度値)を検出する深度センサと、特定の物体を検出する物体検出用センサと、を設け、状態検出処理部112は、深度センサと物体検出用センサとによって得られた情報から、プレーヤ状態又は演出用オブジェクト80の状態を検出する。
特に、深度センサは、照射された光に基づいて、物体検出用センサによって抽出されたプレーヤPやその部位に対する反射光画像を取得し、当該取得した反射光画像に基づいて、プレーヤPやその部位における奥行き方向の距離(深度値)を検出する。
そして、状態検出処理部112は、検出されたプレーヤPやその部位における奥行き方向の距離と、物体検出用センサによって得られたプレーヤPやその部位の画像内の位置と、に基づいて、実空間上におけるプレーヤPやその部位の位置を検出する。
[5.8]変形例8
本実施形態は、プレーヤP等に取り付けた各マーカユニット60を複数の撮像カメラ70によって撮像し、当該撮像された画像を解析することによって、当該プレーヤP等における位置、姿勢及びその双方を検出しているが、各マーカユニット60に変えてプレーヤP又は各部位に取り付けた超音波発信器を用いて検出するようにしてもよい。
具体的には、構造体10の所定の位置に複数の超音波を受信する受信マイクを配設し(例えば、四隅に4個配設し)、超音波発信器からから発振された超音波の受信方向を検知してその距離を測定し、実空間上におけるプレーヤPやその部位の位置を検出する。
なお、各超音波発信器毎に周波数を変更することによって、それぞれのプレーヤPや部位の実空間上の位置を検出することができるようになっている。
[5.9]変形例9
本実施形態は、プレーヤP等に取り付けた各マーカユニット60を複数の撮像カメラ70によって撮像し、当該撮像された画像を解析することによって、当該プレーヤP等における位置、姿勢及びその双方を検出しているが、プレーヤPのパターン画像、演出用オブジェクト80のパターン画像やプレーヤPの部位のパターン画像を用いて、撮像された画像から該当する画像の領域及び大きさを検出することによって、実空間上におけるプレーヤPやその部位の位置を検出してもよい。
[6]その他
本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
本発明は、実施形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施形
態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。
上記のように、本発明の実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。
1 … ゲームシステム
10 … 構造体
20 … HMD
30 … 吊持ユニット
40 … 転倒防止ユニット
50 … 吊持制御ユニット
60 … マーカユニット
70 … 撮像カメラ
80 … 演出用オブジェクト
90 … 演出装置(送風機、自動扉、バネ板及び移動経路部材)
100 … シミュレーション制御装置

Claims (15)

  1. ユーザの目をマスクする構造を有し、かつ、仮想3次元空間の画像を視認させる装着型画像表示装置を用いて、前記ユーザが移動可能なユーザ移動空間に形成された移動経路を自力で移動する体験型のシミュレーションシステムであって、
    前記ユーザ移動空間内におけるユーザの状態を示すユーザ状態を検出する検出手段と、
    前記検出されたユーザ状態に応じて、前記移動経路に対応付けた仮想移動経路を有し、かつ、前記ユーザ移動空間に対応する仮想3次元空間の前記ユーザから見えるシミュレーション画像を生成する画像生成処理を実行する画像生成手段と、
    前記生成されたシミュレーション画像を前記装着型画像表示装置に表示させる表示制御手段と、
    前記ユーザ移動空間内のユーザ状態が所与の条件を具備した場合に、前記ユーザが前記仮想3次元空間上における特定の状態である特定状態と判定する状態判定手段と、
    前記ユーザ状態、及び、シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間を体験させるための演出処理に用いられる手段であって、前記ユーザ移動空間内に配設され、前記仮想3次元空間における演出用オブジェクトとして画像化される演出手段と、
    を備え、
    前記演出用オブジェクトには、前記シミュレーション空間内に登場する移動可能なオブジェクトであって、前記ユーザ移動空間内において実際に移動するとともに、当該シミュレーション空間内においても移動する真性移動オブジェクト、及び、当該ユーザ移動空間内においては移動せず、画像化された際に前記シミュレーション空間内おいてのみ移動する擬似的移動オブジェクトを演出用移動オブジェクトとして含み、
    前記画像生成手段が、
    前記擬似的移動オブジェクトと前記ユーザとの前記ユーザ移動空間内における位置関係に基づく当該ユーザの状態が前記特定状態と判定された場合に、当該特定状態に基づく演出を実行するためのシミュレーション画像を生成するとともに、前記ユーザ状態、及び、前記シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間上における前記擬似的移動オブジェクトの状態を、前記ユーザ移動空間内における状態とは異なる状態によって画像化すること特徴とするシミュレーションシステム。
  2. 請求項1に記載のシミュレーションシステムにおいて、
    前記疑似的移動オブジェクトが、前記ユーザ移動空間において前記ユーザと接触可能なオブジェクトであり、
    前記画像生成手段が、
    前記擬似的移動オブジェクトとの接触に伴う前記ユーザの状態が前記特定状態と判定された場合には、前記仮想3次元空間上における前記擬似的移動オブジェクトの状態を、前記ユーザ移動空間内における状態とは異なる状態によって画像化する、シミュレーションシステム。
  3. 請求項1又は2に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記ユーザ移動空間内における前記擬似的移動オブジェクトの位置を検出し、
    前記状態判定手段が、
    前記検出された擬似的オブジェクトの位置に基づく前記ユーザ移動空間内のユーザ状態が所与の条件を具備した場合に、前記ユーザが前記仮想3次元空間上における特定の状態である特定状態と判定する、シミュレーションシステム。
  4. 請求項1又は2に記載のシミュレーションシステムにおいて、
    前記ユーザ移動空間内に配置されている前記演出用移動オブジェクトと、前記ユーザと、が前記ユーザ移動空間内における所与の位置関係にあるか否かの判定を行う位置関係判定手段を更に備え、
    前記画像生成手段が、
    前記位置関係判定手段における判定結果に応じて、前記演出用移動オブジェクトを画像化した前記シミュレーション画像を生成する、シミュレーションシステム。
  5. 請求項1〜4のいずれか1項に記載のシミュレーションシステムにおいて、
    前記演出用オブジェクトには、
    演出用固定オブジェクトとして、当該シミュレーションシステムを形成する構造体の床面から異なる高さによって形成されている移動経路部材が含まれる、シミュレーションシステム。
  6. 請求項1〜4のいずれか1項に記載のシミュレーションシステムにおいて、
    前記演出用オブジェクトには、
    予め定められた前記ユーザが移動する移動経路下に設けられ、振動可能又は揺動可能に形成された演出可能領域を少なくとも有する移動経路部材と、
    所与の条件に基づき前記演出可能領域を振動駆動又は揺動駆動をする駆動手段と、
    が演出用固定オブジェクトとして含まれる、シミュレーションシステム。
  7. 請求項1〜6のいずれか1項に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記ユーザ移動空間内における前記装着型画像表示装置を装着したユーザの部位の情報を部位情報として検出し、
    前記検出された部位情報に基づいて前記ユーザ状態を検出する、シミュレーションシステム。
  8. 請求項7に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記ユーザ移動空間内における前記ユーザの複数の部位の部位情報を検出し、
    前記検出した複数の部位の部位情報に基づいて前記ユーザの前記ユーザ移動空間内に
    おける姿勢を前記ユーザ状態として検出する、シミュレーションシステム。
  9. 請求項7又は8に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記検出した前記ユーザ移動空間内におけるユーザの部位情報に基づいて、当該ユーザ移動空間内における移動経路上のユーザ状態を検出し、
    前記検出したユーザ移動空間内における移動経路上のユーザ状態に基づいて、当該ユーザ移動空間内における移動経路に対応付けられた仮想移動経路上に対する前記ユーザ状態を検出する、シミュレーションシステム。
  10. 請求項7〜9のいずれか1項に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記部位情報として、前記ユーザの前記ユーザ移動空間内における所与の部位の向き、位置、及び、当該部位の位置に存在した時間長の少なくともいずれか一方の情報を1以上検出し、
    前記部位情報に基づいて、前記ユーザのユーザ移動空間内におけるユーザの位置、及び、当該ユーザの姿勢のいずれか一方を、前記ユーザ状態として検出する、シミュレーションシステム。
  11. 請求項10に記載のシミュレーションシステムにおいて、
    前記ユーザの部位には、当該ユーザの足が含まれており、
    前記検出手段が、
    前記検出した足の部位情報に基づいて、前記ユーザの足と前記移動経路に対応付けられた仮想移動経路との前記仮想3次元空間上における関係性を検出し、
    当該検出した関係性に基づいて、前記仮想移動経路に対する前記ユーザ状態を検出する、シミュレーションシステム。
  12. 請求項11に記載のシミュレーションシステムにおいて、
    前記検出手段が、
    前記ユーザの足と前記移動経路に対応付けた仮想移動経路との前記仮想3次元空間上における関係性として、前記ユーザの足が前記仮想移動経路から離れている時間、及び、当該仮想空間上におけるユーザの足と仮想移動経路との距離の少なくともいずれか一方の、前記ユーザの足と前記仮想移動経路の相関関係を検出する、シミュレーションシステム。
  13. 請求項12に記載のシミュレーションシステムにおいて、
    前記仮想3次元空間上における前記ユーザの足と前記移動経路に対応付けた仮想移動経路との関係性として、当該仮想3次元空間上におけるユーザの足と仮想移動経路との距離における前記仮想3次元空間における高さの要素を含み、
    前記検出手段が、
    前記ユーザの足と前記仮想移動経路の相関関係を検出する際に、前記高さの要素の重み付けを他の要素の重み付けよりも大きくする、シミュレーションシステム。
  14. 請求項1〜13のいずれか1項に記載のシミュレーションシステムにおいて、
    ユーザが移動可能なユーザ移動空間が形成された構造体と、
    前記装着型画像表示装置を前記構造体から吊持する吊持手段と、
    前記ユーザの前記ユーザ移動空間内における移動に応じて、前記吊持手段における前記装着型画像表示装置の吊持位置を変更する吊持位置変更手段を更に備える、シミュレーションシステム。
  15. ユーザの目をマスクする構造を有し、かつ、仮想3次元空間の画像を視認させる装着型画像表示装置を用いて、前記ユーザが移動可能なユーザ移動空間に形成された移動経路を自力で移動する体験型のゲームシステムであって、
    前記ユーザ移動空間内におけるユーザの状態を示すユーザ状態を検出する検出手段と、
    前記検出されたユーザ状態に応じて、前記移動経路に対応付けた仮想移動経路を有し、かつ、前記ユーザ移動空間に対応する仮想3次元空間の前記ユーザから見えるシミュレーション画像を生成する画像生成処理を実行する画像生成手段と、
    前記生成されたシミュレーション画像を前記装着型画像表示装置に表示させる表示制御手段と、
    前記ユーザ移動空間内の前記ユーザ状態が所与の条件を具備した場合に、前記ユーザが前記仮想3次元空間上における特定の状態である特定状態と判定する状態判定手段と、
    前記ユーザ状態、及び、シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間を体験させるための演出処理に用いられる手段であって、前記ユーザ移動空間内に配設され、前記仮想3次元空間における演出用オブジェクトとして画像化される演出手段と、
    を備え、
    前記演出用オブジェクトには、前記シミュレーション空間内に登場する移動可能なオブジェクトであって、前記ユーザ移動空間内において実際に移動するとともに、当該シミュレーション空間内においても移動する真性移動オブジェクト、及び、当該ユーザ移動空間内においては移動せず、画像化された際に前記シミュレーション空間内おいてのみ移動する擬似的移動オブジェクトを演出用移動オブジェクトとして含み、
    前記画像生成手段が、
    前記擬似的移動オブジェクトと前記ユーザとの前記ユーザ移動空間内における位置関係に基づく当該ユーザの状態が前記特定状態と判定された場合に、当該特定状態に基づく演出を実行するためのシミュレーション画像を生成するとともに、前記ユーザ状態、及び、前記シミュレーションの実行状況の少なくともいずれか一方に応じて、前記仮想3次元空間上における前記擬似的移動オブジェクトの状態を、前記ユーザ移動空間内における状態とは異なる状態によって画像化すること特徴とするゲームシステム。
JP2016028425A 2016-02-17 2016-02-17 シミュレーションシステム及びゲームシステム Active JP6709633B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016028425A JP6709633B2 (ja) 2016-02-17 2016-02-17 シミュレーションシステム及びゲームシステム
GB1814152.3A GB2565657B (en) 2016-02-17 2017-02-14 Simulation system and game system
CN201780023559.8A CN109069928B (zh) 2016-02-17 2017-02-14 模拟系统和游戏系统
PCT/JP2017/005245 WO2017141891A1 (ja) 2016-02-17 2017-02-14 シミュレーションシステム及びゲームシステム
US16/077,865 US10661181B2 (en) 2016-02-17 2017-02-14 Simulation system and game system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016028425A JP6709633B2 (ja) 2016-02-17 2016-02-17 シミュレーションシステム及びゲームシステム

Publications (2)

Publication Number Publication Date
JP2017144073A JP2017144073A (ja) 2017-08-24
JP6709633B2 true JP6709633B2 (ja) 2020-06-17

Family

ID=59625960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016028425A Active JP6709633B2 (ja) 2016-02-17 2016-02-17 シミュレーションシステム及びゲームシステム

Country Status (5)

Country Link
US (1) US10661181B2 (ja)
JP (1) JP6709633B2 (ja)
CN (1) CN109069928B (ja)
GB (1) GB2565657B (ja)
WO (1) WO2017141891A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754678B2 (ja) * 2016-11-18 2020-09-16 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US11099397B2 (en) * 2018-03-24 2021-08-24 Tainan National University Of The Arts Overhang rotatable multi-sensory device and a virtual reality multi-sensory system comprising the same
JP7351638B2 (ja) 2019-04-23 2023-09-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および情報提示方法
CN113452896B (zh) * 2020-03-26 2022-07-22 华为技术有限公司 一种图像显示方法和电子设备
KR102395824B1 (ko) * 2020-05-13 2022-05-06 주식회사 인터포름 혼합현실(Mixed Reality) 기술과 AI 음성인식 기술을 활용한 중도· 중복장애 아동의 뇌· 인지 발달과정과 의사소통 교육에 필요한 언어학습 시스템 디바이스 및 실전 체험형 언어와 상황 학습 MR 콘텐츠를 제공하는 방법
US11938402B2 (en) * 2021-05-03 2024-03-26 Rakuten Mobile, Inc. Multi-player interactive system and method of using
CN113617018A (zh) * 2021-07-30 2021-11-09 上海瑞殷信息科技有限公司 基于vr的游戏进程引导系统及方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453451B1 (en) * 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
JP3041990U (ja) * 1997-03-31 1997-10-03 株式会社科学工芸研究所 ジャンプシミュレータ
JPH10293646A (ja) 1997-04-17 1998-11-04 Sega Enterp Ltd 三次元コントローラ
JPH1185725A (ja) * 1997-09-04 1999-03-30 Minolta Co Ltd 仮想現実感装置
JP2000271342A (ja) * 1999-03-26 2000-10-03 Sony Corp 位置情報発信装置およびこれを使用した仮想空間映像表示装置
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP2002112287A (ja) * 2000-09-28 2002-04-12 Takenaka Komuten Co Ltd 仮想現実呈示システム
JP2003178332A (ja) 2001-12-10 2003-06-27 Komatsu Ltd 分解組立のシミュレーション方法
JP3096850U (ja) * 2003-04-02 2004-01-08 日本製紙株式会社 転落防止機構を備えたウィングボディ型貨物車
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US20140274564A1 (en) * 2013-03-15 2014-09-18 Eric A. Greenbaum Devices, systems and methods for interaction in a virtual environment
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN103785169A (zh) * 2013-12-18 2014-05-14 微软公司 混合现实的竞技场
JP6396027B2 (ja) 2014-02-12 2018-09-26 株式会社バンダイナムコエンターテインメント プログラムおよびゲーム装置
WO2015160345A1 (en) * 2014-04-16 2015-10-22 Empire Technology Development Llc Computer-based safety control
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
JP6594041B2 (ja) * 2015-05-22 2019-10-23 Jfeスチール株式会社 危険体感システム
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment

Also Published As

Publication number Publication date
JP2017144073A (ja) 2017-08-24
CN109069928A (zh) 2018-12-21
GB201814152D0 (en) 2018-10-17
US10661181B2 (en) 2020-05-26
US20190143223A1 (en) 2019-05-16
CN109069928B (zh) 2022-03-01
GB2565657A (en) 2019-02-20
GB2565657B (en) 2022-02-09
WO2017141891A1 (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6709633B2 (ja) シミュレーションシステム及びゲームシステム
JP6630607B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6727807B2 (ja) ゲーム装置及びプログラム
JP6761340B2 (ja) シミュレーションシステム及びプログラム
US9599821B2 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
JP6738641B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6200023B1 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP5410710B2 (ja) プログラム、情報記憶媒体、ゲームシステム
JP7041888B2 (ja) シミュレーションシステム及びプログラム
JP2017119032A (ja) ゲーム装置及びプログラム
JP7144796B2 (ja) シミュレーションシステム及びプログラム
JP6625467B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6781324B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2020204856A (ja) 画像生成システム及びプログラム
WO2017141890A1 (ja) シミュレーション装置及びゲーム装置
JP6821832B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6643783B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2021194293A (ja) アミューズメントシステム
WO2022124135A1 (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置
JP2018126341A (ja) シミュレーションシステム及びプログラム
JP2022090964A (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置
JP2022090965A (ja) ゲームプログラム、ゲーム処理方法、及びゲーム装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R150 Certificate of patent or registration of utility model

Ref document number: 6709633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250