WO2017141890A1 - シミュレーション装置及びゲーム装置 - Google Patents

シミュレーション装置及びゲーム装置 Download PDF

Info

Publication number
WO2017141890A1
WO2017141890A1 PCT/JP2017/005244 JP2017005244W WO2017141890A1 WO 2017141890 A1 WO2017141890 A1 WO 2017141890A1 JP 2017005244 W JP2017005244 W JP 2017005244W WO 2017141890 A1 WO2017141890 A1 WO 2017141890A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
simulation
player
space
movement
Prior art date
Application number
PCT/JP2017/005244
Other languages
English (en)
French (fr)
Inventor
田宮 幸春
典洋 西村
平山 剛
Original Assignee
株式会社バンダイナムコエンターテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社バンダイナムコエンターテインメント filed Critical 株式会社バンダイナムコエンターテインメント
Publication of WO2017141890A1 publication Critical patent/WO2017141890A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Definitions

  • the present invention relates to a simulation device using a wearable image display device such as a head-mounted display.
  • a wearable image display device that displays an image by being worn by a user such as a head mounted display (hereinafter referred to as “HMD”) is known.
  • the HMD is mainly classified into binocular or monocular, and a non-transmission type that secures vision in a moving space where the user actually moves (that is, real space), and the user's It is classified as a transmission type that masks the eyes (ie, completely covers) and displays an image linked to the real space.
  • the present invention has been made to solve the above-described problems, and its purpose is to provide smooth movement of a user when moving in a real space with a wearable image display device such as an HMD being worn,
  • An object of the present invention is to provide a simulation apparatus capable of preventing unexpected situations including damage or failure of the wearable image display apparatus while ensuring the safety of the user.
  • the present invention provides: A structure in which a user movement space in which a user can move is formed; A wearable image display device that displays a simulation image of a simulation space attached to the user and associated with the user movement space; Suspension means for hanging the wearable image display device from the structure; It has the composition provided with.
  • the present invention suspends the wearable image display device, so that when the user moves in the user movement space, or when the wearable image display device is worn, the user balances. Even if the balance is broken, or even if the balance is broken and the user falls down against the intention of the user, the wearable image display device can be kept attached to the user, or can be prevented from being dropped due to attachment / detachment. .
  • the present invention provides an injury caused by the user falling over while the wearable image display device is worn, or the wearable image display device is attached or detached against the user's intention to remove the floor surface or It is possible to prevent unforeseen situations such as a collision with a wall surface and a part of the wearable image display apparatus that is damaged or a failure.
  • the suspension position of the wearable image display apparatus can be changed with the movement of the user by a rail, an arm, or the like, for example, the wearable image is always held at a suitable position such as being suspended from above. Since the display device can be suspended and can be moved and moved in all directions, the user simulation can be performed while ensuring the safety of the user who moves in the user movement space by wearing the wearable image display device. In addition to the internal injury, it is possible to prevent unforeseen circumstances including breakage or failure of the wearable image display device.
  • the present invention provides a wearable image display device via a suspension means when image supply to the wearable image display device and its control are executed by wire, for example, when provided with high resolution. Since the wiring for connecting with the control device for controlling the user can be arranged, the restriction of movement of the user and the discomfort caused by the presence of the wiring on the side or under the user can be solved.
  • the present invention has the above-described configuration to ensure smooth movement and safety in the user movement space of the user wearing the wearable image display device, and to prevent unexpected situations such as injury to the user. Can be avoided.
  • the wearable image display device is a wearable display for realizing a transmissive or non-transmissive augmented reality that is worn on the user's head, such as a head-mounted display.
  • the wearable image display device is not limited thereto, and may be any device that can be worn by a user and can be viewed by the user.
  • suspension means is suspended from the structure, and is preferably suspended from the upper part of the user such as the ceiling of the structure. .
  • the suspension means includes, for example, a string-like member having an end portion (hereinafter referred to as “first end portion”) such as a string or a band that is hooked on a curved portion of the hook-shaped member, and a string-like member.
  • first end portion such as a string or a band that is hooked on a curved portion of the hook-shaped member
  • string-like member such as a string or a band that is hooked on a curved portion of the hook-shaped member
  • the second end portion which is different from the first end portion, and a connecting member for connecting to the HMD, and the string-like member at least when the wearable image display device is worn by the user. It has the structure connected with.
  • the present invention also provides: The simulation apparatus according to claim 1, The apparatus further comprises first suspension position changing means for changing the suspension position of the wearable image display device in the suspension means according to the movement of the user in the user movement space.
  • the suspended position of the wearable image display device is positioned above (that is, above the wearable image display device). If the wearable image display device is always suspended from above by changing to the above, it is possible to accurately eliminate restrictions on user movement and discomfort associated with the presence of wiring on the side or under the user's feet.
  • the wearable image display device can always be suspended accurately and reliably for any movement or movement of the user.
  • the suspension position changing means includes a rail such as a straight line or a combination thereof, or a planar or three-dimensional movable arm.
  • the present invention also provides:
  • the first suspension position changing means is The suspension position of the suspension means is changed along a predetermined axial direction in the user movement space.
  • the present invention for example, (A) When a linear movement is performed in which the user linearly moves back and forth in the user movement space, it can move only in one rail formed along the linear movement direction or in the linear direction. Composing by arm, (B) When plane movement is performed in which the user moves in a plane in the user movement space, two rails formed along two predetermined biaxial directions (preferably the two axes are right angles) Comprising an arm movable in two directions; and (C) Instead of (A) or (B), or in accordance with (A) or (B), the user moves in the vertical direction (for example, the ceiling direction or the floor surface of the moving structure by step movement such as stairs) When moving up and down to move in the direction), a rail formed along a predetermined vertical direction and an arm movable in the direction, Can do.
  • the vertical direction for example, the ceiling direction or the floor surface of the moving structure by step movement such as stairs
  • the suspension position changing means can be configured with a simple structure (a well-known structure) without being configured with a complicated structure, and even in a simple structure, The suspension position in can be changed accurately.
  • the present invention also provides: Further comprising fall prevention means for preventing fall of a user moving in the user movement space,
  • the fall prevention means is
  • the structure includes a holder member for holding the user and a user suspension member for suspending the user from the structure.
  • the present invention makes it possible for the wearable image display device to be damaged when the user loses balance by moving in the user movement space or by wearing the wearable image display device.
  • the wearable image display device In addition to preventing injury to the user based on it, it is also possible to prevent the user from falling (such as falling due to loss of balance during movement) caused by the wearing of the wearable image display device during the simulation. .
  • the fall prevention member may be comprised by the member in common with at least one part of the above-mentioned suspension means, for example, and the user may be suspended by the suspension position change means.
  • the present invention also provides: In accordance with the movement of the user in the user movement space, the apparatus further includes second suspension position changing means for changing the suspension position of the user.
  • the present invention can set the user's suspension position above (ie, wearable image) even when the user freely moves in the user movement space. If the wearable image display device is always hung from above by changing to (above the display device), the user can always be hung accurately with respect to any user movement or movement.
  • the suspension position changing means is constituted by a straight rail, a combination thereof, or a planar or three-dimensional movable arm, as in the case of the wearable image display device.
  • the present invention also provides: Image generation means for performing image generation processing for generating a simulation image of a simulation space that is a virtual three-dimensional space associated with the user movement space, visible to the user,
  • the image generating means The structure is disposed above the user of the structure in a state separated from the user, and the generated simulation image data is supplied to the wearable image display means via the suspension means. Yes.
  • the present invention can use the suspension means of the wearable image display means.
  • the wiring length is set elsewhere Therefore, the data can be accurately supplied to the wearable image display device without causing the problem of data supply due to the long wiring.
  • the image generation means is an arithmetic device such as a personal computer, and has hardware such as a CPU and a memory, and is realized by starting a predetermined application.
  • the present invention also provides: And further comprising detection means for detecting a user state in the user movement space as a user state,
  • the wearable image display device includes: The simulation image linked to the detected user state is displayed.
  • the present invention can provide a simulation image to the user in association with the user state indicating the position and orientation of the user in the user movement space, so that the image is changed according to the movement and position of the user. As a result, a realistic simulation can be provided.
  • the imaging camera which images the user in a user movement space, or the sensor which detects the contact to a user's structure is included, for example.
  • the detection means may detect the position and orientation of the user by imaging a marker attached to the user or by analyzing an imaged user image.
  • the position and posture of the user may be detected based on the movement path, contact detection of sensors provided outside or both of the movement path, and position information of each sensor.
  • the “user state” includes at least one of a position in the user movement space of the user and a posture of the user, for example, (A) The user's user movement space based on information on the position, height, and time of at least one part of the user such as the head, both hands, or both feet (hereinafter referred to as “part information”). Specify the position in the user (coordinates in the user movement space) (B) Based on the user's part information, specify the posture of the user constructed from the positional relationship of each part such as the user's head, torso and limbs, or (C) Identify both (A) and (B), The user's state detected based on the user's position, posture or both is shown.
  • part information information on information on the position, height, and time of at least one part of the user such as the head, both hands, or both feet
  • the present invention also provides:
  • the detection means is configured to be formed outside a movement range in which the user moves in the user movement space.
  • the present invention can use a means for detecting the user state such as the position and posture of the user by monitoring the entire moving range of the imaging camera, for example. Can be accurately recognized.
  • the present invention can reliably link (reflect) the position and posture of the user in the user movement space to the position in the simulation image, and thus can provide a realistic simulation.
  • the present invention also provides:
  • the detection means is Detecting a part of a user wearing the wearable image display device in the user movement space as part information; Based on the detected part information, at least one of a position and a posture in the user movement space of the user is detected as the user state.
  • the present invention detects the viewpoint position and direction of the user in the user movement space based on the position of the user's head, and in the user movement space based on the position of the user's hand or foot. It is possible to detect the user's standing position and posture and to model the user (form a bone) based on these.
  • the present invention can accurately detect the user's state such as the user's position (standing position), viewpoint position, and posture in the user movement space, so that the simulation according to the actual position and movement of the user can be performed. Can be provided.
  • the user's part includes the user's head, hand, or foot
  • the part information includes the position of each part (positional coordinates in the user movement space), direction, and shape (planar shape or three-dimensional shape). ) Or color (including gray scale).
  • the present invention also provides:
  • the part information of the user has a configuration that is information indicating the position of the user's foot.
  • the present invention accurately determines the state of the user including whether or not the user has deviated from the moving path. Can be detected.
  • the user part indicates that at least a foot is included, and other parts such as a head and a hand may be included.
  • the present invention also provides:
  • the detection means has a configuration in which the detection means is formed on a movement path in which the user moves in the user movement space or in an adjacent area adjacent to the movement path.
  • the present invention can detect the position and state of the user who is moving along the movement path, so whether or not the user is moving appropriately on the movement path (whether the movement path has been removed), or Since the user's state on the movement path such as the posture of the moving user can be recognized accurately, a simulation according to the actual position and movement of the user can be provided.
  • the present invention also provides: In addition to being arranged in the user movement space, the apparatus further includes an effect unit that allows the user to experience a given effect in conjunction with a simulation image.
  • the present invention can create a situation that the user can see through the simulation in conjunction with the simulation image, so that a realistic simulation can be provided.
  • the directing means is not only outdoor space and indoor space, but also directing means for experiencing simulation space such as high place, closed place, dangerous place, special space, hot place or cold place, for example,
  • simulation space such as high place, closed place, dangerous place, special space, hot place or cold place
  • a member for allowing the user to experience a sense of touch such as wall surface or floor surface irregularities or materials
  • a member for allowing the user to recognize a movable object appearing in the simulation space such as an animal or an object fixed in the simulation space is also included.
  • the present invention also provides:
  • the production means includes A movement path member which is provided under a predetermined movement path where the user moves, and has at least an effectable area formed to be able to vibrate or swing according to the simulation image;
  • Drive means for performing vibration drive or rocking drive on the effectable area based on given conditions; It has the composition containing.
  • the present invention can vibrate or swing the movement path in conjunction with the simulation image, so that various environments in the simulation space can be experienced by simulation.
  • the present invention also provides:
  • the movement path member is It has the structure formed by the different height from the floor surface of the said structure.
  • the present invention can create a situation such as stepping off from the moving route, for example, so that a realistic simulation can be provided.
  • the present invention also provides: The image generating means Regardless of the state of the rendering means in the user movement space, the state change of the rendering means is imaged in the virtual three-dimensional space according to the user state and generated as the simulation image. ing.
  • the present invention can image a change in the state of the rendering means in the virtual three-dimensional space regardless of the state of the rendering means in the user movement space. Only in space, change the width of the movement path (broad and narrow) to create a feeling of fear, or move objects that are difficult to handle (people, cats, dogs, etc.) or large objects (airplanes, ships, etc.) An effect can be executed only by an image while experiencing at least a part of the image.
  • the present invention allows the user to experience as a simulation the rendering means that is difficult to control in the real space of the user movement space while recognizing the sensation of the object. As a result, it is possible to provide a realistic presentation.
  • the present invention also provides: According to the detected user state, the system further includes an effect control means for controlling the effect means while interlocking with the simulation image.
  • the present invention can control the rendering means in accordance with the user state and in conjunction with the displayed simulation image, so that the virtual three-dimensional space can be reliably set as a more realistic space. Can be created pseudo.
  • controlling the production means means, for example, blower drive control (including the intensity of the blower) and stop control, temperature adjustment in the temperature adjustment device, control of the swing or vibration device installed in the movement path, etc. It shows controlling the production means that needs to be changed according to the user's state.
  • the present invention also provides:
  • the suspension means is Including a cable connecting the structure and the wearable image display device;
  • the cable is A configuration in which the cable is configured to prevent the wearable image display device from being grounded to the floor of the structure when the wearable image display device is detached from the user. Have.
  • the present invention can prevent the cable from being grounded to the floor of the structure when the wearable image display device is attached / detached from the user.
  • the shape of the cable that prevents the wearable image display device from being grounded to the floor of the structure means that the cable is grounded to the floor of the structure even if the wearable image display device is attached or detached.
  • the length of the cable is not long, the spiral shape of the cable is adjustable, or the cable is provided with a structure for winding the cable to adjust the length of the cable.
  • FIG. 1 is a configuration diagram showing a schematic configuration in an embodiment of a game system according to the present invention.
  • FIG. 2 is a diagram for explaining a virtual three-dimensional space (simulation space) that can be experienced by the game system according to the embodiment.
  • FIG. 3 is a plan view showing a structure of the structure according to the embodiment.
  • FIG. 4 is a cross-sectional view showing the structure of the structure in one embodiment.
  • FIG. 5A is a perspective view showing the configuration of the HMD used in the game system of one embodiment.
  • FIG. 5B is a perspective view and a side view showing the configuration of the HMD used in the game system of one embodiment.
  • FIG. 6 is a configuration diagram illustrating a block configuration of a simulation control apparatus according to an embodiment.
  • FIG. 1 is a configuration diagram showing a schematic configuration in an embodiment of a game system according to the present invention.
  • FIG. 2 is a diagram for explaining a virtual three-dimensional space (simulation space) that can be experienced by the
  • FIG. 7A is a side view illustrating an example of a moving path member that is an effect object and an effect device according to an embodiment.
  • FIG. 7B is a diagram illustrating an example of a moving path member that is an effect object and an effect device according to an embodiment, and is a diagram for explaining the operation thereof.
  • FIG. 8 is a first flowchart showing the operation of the game system in one embodiment.
  • FIG. 9 is a second flowchart showing the operation of the game system in one embodiment.
  • FIG. 10A is a diagram illustrating an example of a suspension control unit in which a rail and a sliding member are formed by two shafts as a modification of the suspension control unit according to the embodiment.
  • FIG. 10A is a diagram illustrating an example of a suspension control unit in which a rail and a sliding member are formed by two shafts as a modification of the suspension control unit according to the embodiment.
  • FIG. 10B is a diagram illustrating an example of a suspension control unit that is a modification of the suspension control unit of the embodiment and includes an arm that can suspend the suspension unit three-dimensionally.
  • FIG. 11 is a diagram illustrating a modification of the suspension unit according to the embodiment.
  • a virtual three-dimensional space is associated with the movement of a user in a space (that is, a real space) determined in advance using a HMD (head mounted display) as a wearable image display device. It is an embodiment when the simulation device and the game device according to the present invention are applied to a game system that provides a game by being simulated.
  • FIG. 1 is a configuration diagram showing a schematic configuration of the game system 1 of the present embodiment
  • FIG. 2 is a virtual three-dimensional space (hereinafter referred to as “simulation space”) that can be experienced by the game system 1 of the present embodiment. It is a figure for demonstrating.
  • the game system 1 has, as a main configuration, a structure 10 in which a real space in which the player P can move (hereinafter simply referred to as “real space”) is formed, and the player 10 is attached to the player P. And an HMD 20 that displays a simulation image of a virtual three-dimensional space (that is, a simulation space) associated with the space.
  • real space a real space in which the player P can move
  • HMD 20 that displays a simulation image of a virtual three-dimensional space (that is, a simulation space) associated with the space.
  • the game system 1 of the present embodiment generates a simulation image that can be seen by the player P in the simulation space corresponding to the real space in the real space, and displays various environments and situations in the pseudo space as the player P. It is a simulator to let you experience.
  • the game system 1 of the present embodiment is (1) Detecting a player state (specifically, the position and posture of the player in the real space) indicating the state of the player P in the real space; (2) According to the detected player state, for example, a simulation that has a virtual movement path associated with the movement path R as shown in FIG. Execute the image generation process to generate the image, (3) Display the generated simulation image on the HMD 20; (4) When the player state has a given condition on the movement route R, the player P determines that the specific state is a specific state on the simulation space; (5) When it determines with the said specific state, the simulation image for performing the production
  • the game system 1 includes a suspension unit 30 that suspends the HMD 20 from the structural body 10, and the player P moves in the real space by suspending the HMD 20 independently of the player P.
  • the HMD 20 falls down against the intention of the player P while following the movement of the player P.
  • the HMD 20 has a configuration capable of maintaining the mounting of the HMD 20 on the player P or preventing the HMD 20 from dropping due to the attachment / detachment.
  • the game system of the present embodiment as shown in FIG. (1) a fall prevention unit 40 for preventing the player P moving in the real space from falling; (2) The suspension position of the HMD 20 in the suspension unit 30 is changed according to the movement of the player P in the real space, and the suspension position of the player P is changed according to the movement of the player P in the real space.
  • the game system 1 of the present embodiment can cause the player P to experience the specific state as a simulation when the player P is in the specific state while interlocking with the state of the player P.
  • the environment and situation that the player P should experience especially the environment and situation that is difficult to actually experience, such as the environment where the player P falls when moving out of the travel route R, and the situation where the player P moves. Can be reproduced.
  • the game system 1 of the present embodiment can improve the reproducibility of any place or space including a dangerous place or a space that is difficult to experience in reality. It is possible to let the player P experience a natural feeling.
  • the game system 1 can suspend the HMD 20 independently of the player P, the player P moves in the real space or a predetermined part of the player P ( For example, when the HMD 20 moves in the front-rear direction, the left-right direction, and the up-down direction by moving the head), even if the player P loses balance and falls down against the intention of the player P, the HMD 20 It is possible to maintain the mounting on the player P or to prevent the player P from dropping due to the attachment / detachment.
  • the game system 1 is injured when the player P falls while the HMD 20 is mounted, or the HMD 20 is attached or detached against the player P's intention. It is possible to prevent unforeseen situations such as the occurrence of a collision or a breakage of a part of the HMD 20 and the occurrence of a failure.
  • the suspension position of the HMD 20 can be changed with the movement of the player P by a rail, an arm, or the like, for example, the HMD 20 is always suspended at an appropriate position, for example, from above. Since the player P can move in the real space with the HMD 20 attached, the player P can be injured during the simulation of the player P. In addition, it is possible to prevent unforeseen circumstances including breakage or failure of the HMD 20.
  • the game system 1 of the present embodiment ensures smooth movement and safety in the real space of the player P to which the HMD 20 is attached, and unforeseen such as an injury of the player P. The situation can be avoided.
  • high place fear experience game a game that simulates a fear experience at high places
  • FIG. 3 is a plan view showing the structure of the structure 10 in the present embodiment
  • FIG. 4 is a cross-sectional view showing the structure of the structure 10 in the present embodiment.
  • the structure 10 is a housing in which a real space in which the player P can move and the game is executed is formed.
  • the ceiling 15 As shown in FIGS. 1, 3, and 4, the ceiling 15 And it has the box-shaped structure of the rectangular parallelepiped formed by the floor 16 and the wall 17 which covers the four sides.
  • the structure 10 has a standby area 11 where the player P waits for the start of the experience-type game and a play area 12 where the experience-type game is executed.
  • the play area 12 includes a start zone 13 in which the player P exists at the start of the game, and a zone in which the player P actually moves to experience a predetermined environment and situation.
  • the movement experience zone 14 in which the movement route R in which the existence of the movement is permitted is formed is included.
  • the suspension unit 30 that suspends the HMD 20 and the player P from the standby area 11 to the play area 12 and along the movement path R in the movement experience zone 14 prevents the player P from falling.
  • a plurality of suspension control units 50 to which the unit 40 is slidably attached are formed.
  • Each suspension control unit 50 is provided with a simulation control device 100 in the corresponding movement path.
  • a plurality of imaging cameras 70 used for detecting the player state of the player P and the state of the effect object 80 are arranged at predetermined positions.
  • the floor 16 has a different configuration for each area of the standby area 11 and the play area 12, and for each zone of the start zone 13 and the movement experience zone 14.
  • the start zone 13 of the play area 12 is configured by a panel (that is, a spring floor panel) 92 that incorporates a spring that creates an environment in which the elevator moves up and down as one of the production means.
  • a panel that is, a spring floor panel
  • the movement experience zone 14 of the play area 12 is prohibited from moving by the movement path R constituted by a metal or other predetermined member (movement path member 93 described later) for the player P to walk, and the movement of the player P.
  • the non-moving route NR is configured by a mat or the like that protects the player P when the player P falls down.
  • the start zone 13 of this embodiment has a structure for providing as a virtual three-dimensional space of the elevator interior space, and a simulation is performed as an effect device at the boundary between the start zone 13 and the moving experience zone 14.
  • An automatic door 91 that functions as an elevator door whose opening and closing is controlled by the control of the control device 100 is provided.
  • an effect object 80 is disposed on the movement path R (specifically, the end point of the movement path member 93).
  • an effect device such as a blower 90 may be formed as necessary, and a sensor unit such as a contact sensor may be formed as necessary.
  • the wall 17 is made of a mat that protects against a predetermined wall panel or an injury caused by a collision by the player P.
  • FIG. 5A is a perspective view showing the configuration of the HMD 20 used in the game system of the present embodiment
  • FIG. 5B is an example of a side view showing the configuration of the HMD 20 used in the game system of the present embodiment.
  • the HMD 20 of the present embodiment constitutes a wearable image display device of the present invention.
  • the HMD 20 is a wearable display device that displays an image of a non-transparent virtual three-dimensional space mounted on the head of the player P under the control of the simulation control device 100, and shows the external environment outside the display device. This is a display device for visually recognizing only the image displayed on the player P in an unrecognizable state and allowing the player P to experience augmented reality visually.
  • the HMD 20 has a structure that completely covers (that is, masks) both eyes of the player P as shown in FIGS. 4, 5A, and 5B, and is linked to the detected player state.
  • it has a configuration for visually recognizing the simulation image of the simulation space associated with the real space in the structure 10 that can be seen from the player P.
  • a marker unit (hereinafter referred to as “head detecting marker unit”) 60a for detecting the orientation and position of the head of the player P is formed on the upper part of the HMD 20.
  • the HMD 20 has, for example, a display size of 200 ⁇ 1080 pixels and a refresh rate of 90 fPS.
  • the HMD 20 has a headphone jack (not shown), and the headphone 61 is connected to the headphone jack.
  • the headphones 61 are attached to the player P together with the HMD 20.
  • the headphone 61 outputs the environmental sound that constitutes the three-dimensional sound in the simulation space generated by the simulation control apparatus 100.
  • the suspension unit 30 is connected to the suspension control unit 50 disposed above the HMD 20 and the player P, for example, the ceiling 15 of the structure 10, so that the suspension unit 30 is suspended by the structure 10 and the HMD 20 is It has a configuration to be suspended.
  • the suspension unit 30 of the present embodiment suspends the HMD 20 above the structure 10 (that is, the ceiling 15) in order to suspend the play area 12 in accordance with movement or movement in any direction in the player P. Therefore, it is formed above the player P.
  • the suspension unit 30 has wiring (hereinafter referred to as “cable”) for connecting the HMD 20 and the simulation control apparatus 100 by wire.
  • the suspension unit 30 is connected to the suspension control unit 50 and is attached to the connection member 31.
  • a connection member 33 connected to the HMD 20.
  • the string-shaped member 32 prevents the HMD 20 from being grounded to the floor surface of the structure 10 when the player P moves greatly, for example, when the player P is about to fall down. It has a possible structure.
  • the string-like member 32 is extendable and configured by a cable that transfers predetermined signals and data transmitted from the simulation control device to the HMD 20.
  • the string-like member 32 has a structure that prevents the HMD 20 from coming into contact with the floor surface of the structure 10 when the HMD 20 is detached from the player P.
  • the cable has a length that does not contact the floor of the structure 10, the string-like member has a spiral shape that can be expanded or contracted, or the cable to adjust the length of the string-like member It has a winding structure.
  • HMD 20 of the present embodiment is not limited to these, and any HMD 20 that is attached to the player P and can display an image so as to be visually recognized by the player P may be used. It may be.
  • the string-like member 32 does not have to be a cable, and may be a string of a predetermined material, A band-shaped member having a width such as a band may be used.
  • the connecting member 31 and the string-like member 32 are members that are common to the fall prevention unit 40 as described later.
  • the fall prevention unit 40 in the game system of the present embodiment will be described with reference to FIG.
  • the fall prevention unit 40 of the present embodiment constitutes the fall prevention means of the present invention.
  • the fall prevention unit 40 loses the balance due to the wearing of the HMD 20, the walking movement path R is narrow, or both, or the balance is lost and the player P intends. On the contrary, it is used to support the player P and to prevent the player P from falling when it falls.
  • the fall prevention unit 40 not only prevents damage to the HMD 20 and injury to the player P based on the damage, but also causes the player P to be generated when the HMD 20 is attached during game play. It is possible to prevent a fall (such as a fall due to a loss of balance during movement).
  • the fall prevention unit 40 includes, for example, a holder member 41 that holds the player P and a suspension member that suspends the player P from the structure 10, as shown in FIG.
  • the suspension member is constituted by the members of the suspension unit 30, that is, the connecting member 31 and the string-like member 32 described above.
  • the holder member is composed of, for example, a vest type outerwear that does not have a sleeve portion, and holds the state of the player P by being worn by the player P during play.
  • the holder member 41 is connected to one end of the string-like member 32 and has a configuration for supporting the body of the player P through the connecting member 31 formed on the ceiling 15 of the structure 10.
  • suspension control unit 50 in the game system of the present embodiment will be described with reference to FIG. 1, FIG. 3, and FIG.
  • the suspension control unit 50 of the present embodiment constitutes a first suspension position changing unit and a second suspension position changing unit of the present invention.
  • the suspension control unit 50 of the present embodiment is a unit for changing the suspension position of the player P itself and the HMD 20 according to the movement of the player P in the real space in the structure 10, and is always upward (ie, The HMD 20 and the player P are suspended from the ceiling of the structural body 10).
  • the suspension control unit 50 has a configuration capable of suspending the HMD 20 and the player P at a suitable position in the real space so as to correspond to the movement and movement of the player P in the moving direction, and the player P. It is possible to prevent unforeseen situations including injury during the simulation of the player P, breakage or failure of the HMD 20, while ensuring safety of the player.
  • the suspension control unit 50 has a cable for supplying signals and data to the HMD 20 and a member for holding the player P on the side or under the player P.
  • the restriction and discomfort of the movement of the player P based on the existence can be eliminated accurately, and the HMD 20 and the player P can always be suspended accurately with respect to the movement and movement of the player P. It has become.
  • the suspension control unit 50 is integrally formed from the standby area 11 to the play area 12, and the HMD 20 and fall prevention are performed for the player P that moves in the real space or the player P whose posture changes.
  • the unit 40 is configured to follow.
  • the suspension control unit 50 of the present embodiment is provided for each player P moving in the real space, and the waiting area 11 (more specifically, the HMD 20 and the overturn)
  • the slide 51 that is formed along the moving direction of the movement of the player P from the point where the prevention unit 40 is mounted) to the play area 12 is connected to the connecting member 31 of the suspension unit 30 and slides on the rail 51.
  • a moving member 52 a moving member
  • each rail 51 is located on the movement path R in the movement experience zone 14 in which the player P moves along the movement path R (that is, a zone in which the player P moves linearly back and forth). It is formed on the ceiling.
  • each rail 51 is routed in other areas in the real space when the player P performs a simulation such as preparation for mounting the HMD 20 and the fall prevention unit 40 or guiding to the start position (hereinafter, referred to as the rail 51). , Referred to as “guidance path”.) It is constituted by rails 51 formed along S.
  • the shape and material of the rail 51 are not limited as long as the position of the suspension unit 30 can be changed according to the movement of the player P.
  • the sliding member 52 slides on the rail 51 according to the tension generated according to the state of the player P, such as the movement of the player P or the change of the posture, and the suspension position of the HMD 20 and the player P via the suspension unit 30. To change.
  • the sliding member 52 shortens the length of the cable that electrically connects the HMD 20 and the simulation control device 100 to accurately transfer signals and data.
  • the sliding member 52 has the structure where the simulation control apparatus 100 is fixed, and has the structure which slides the said simulation control apparatus 100 integrally.
  • the sliding member 52 slides on the rail 51 and changes the position of the HMD 20 and the HMD 20 via the suspension unit 30 according to the state of the player P such as movement of the player P or change of posture. If it is, it will not be specifically limited.
  • FIG. 6 is a block diagram showing a block configuration of the simulation control apparatus 100 in the present embodiment.
  • the simulation control apparatus 100 of the present embodiment constitutes the image generation means and the effect control means of the present invention, and constitutes the detection means of the present invention together with the imaging camera 70.
  • the simulation control apparatus 100 of the present embodiment is not limited to the configuration in FIG. 6, and various modifications such as omitting some of the components and adding other components are possible.
  • the simulation control device 100 is configured by a device capable of performing computer control such as a personal computer, for example, and is configured such that an operation unit (not shown) such as a keyboard operated by an administrator is detachable.
  • a device capable of performing computer control such as a personal computer, for example, and is configured such that an operation unit (not shown) such as a keyboard operated by an administrator is detachable.
  • the simulation control apparatus 100 provides a simulation space to the player P, when the game is started, the game progresses according to the player state and the elapsed time, and the image according to the progress state of the game. And the production devices 90 to 93 are controlled in conjunction with the production control device.
  • the simulation control apparatus 100 acquires an image output from the imaging camera 70, detects a marker in the marker unit 60 from the acquired image, the positional relationship between the area to which the marker belongs and other markers, the marker The player state is detected based on the staying time in the area to which the player belongs.
  • the simulation control apparatus 100 includes a storage unit 170 in which various data are stored, an information storage medium 180 in which data such as an application for executing the simulation is stored, execution of the game, and simulation by the execution thereof.
  • a processing unit 101 that executes various processes for creating an environment for communication, and a communication unit 196.
  • the storage unit 170 serves as a work area for the processing unit 101 and communication, and its function can be realized by a RAM (DRAM, VRAM) or the like.
  • the storage unit 170 of this embodiment mainly includes a main storage unit 172 in which a game program is recorded, an image buffer 174, and a data buffer 176.
  • the main storage unit 172 mainly stores game programs.
  • the data buffer 176 is a storage area for storing game data of its own device, and may be configured to be provided in a part of the main memory and read / write controlled by software.
  • the game program is software in which an instruction code for executing a game process is described.
  • the game data is data for determining a specific state of the player, data necessary for executing the game program, data of the object for rendering 80, control programs for various rendering devices 90 to 93, and the like. It is.
  • the information storage medium 180 (a computer-readable medium) stores programs, data, and the like, and functions as an optical disk (CD, DVD), HDD (hard disk drive), memory (ROM, etc.), and the like. Can be realized.
  • the processing unit 101 performs various processes of the present embodiment based on a program (data) stored in the information storage medium 180. That is, in the information storage medium 180, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit). ) Is stored.
  • the communication unit 196 communicates with the HMD 20 via a cable, and communicates with the imaging camera 70 and the rendering devices 90 to 93 via a wired or wireless network. It can be realized by hardware such as a communication ASIC or a communication processor, and communication firmware.
  • a program (data) for causing a computer to function as each unit of the present embodiment is stored in an information storage medium 180 (or storage medium) via a network and communication unit 196 from an information storage medium included in a host device (server system) (not shown). Part 170). Use of an information storage medium by such a host device can also be included within the scope of the present invention.
  • the processing unit 101 performs game calculation processing, image generation processing, sound generation based on timing from the start of the game, image data output from the imaging camera 70 (hereinafter referred to as “image data”), a program, and the like. Generation processing, production control processing, and the like are performed.
  • the processing unit 101 performs various processes using the storage unit 170 as a work area.
  • the function of the processing unit 101 can be realized by hardware such as various processors (CPU, GPU, etc.), ASIC (gate array, etc.), and a program.
  • the processing unit 101 includes a game calculation unit 110, an object space setting unit 111, a state detection processing unit 112, a movement / motion processing unit 113, an effect control processing unit 114, a communication control unit 120, an image generation unit 130, and a sound generation unit 140. Including. Note that some of these may be omitted.
  • the game calculation unit 110 starts the game when the game start condition is satisfied, the process for proceeding with the game, and the process for arranging objects (including the effect object 80) necessary for forming the simulation space.
  • the game calculation unit 110 determines the viewing direction and the viewing area of the player P according to the detected player state (specifically, the position in the real space of the player P and the posture of the player P). (Hereinafter referred to as “viewing area”) is detected, and a space that is visible to the player P in the three-dimensional space is set according to the detected viewing direction, the viewing area, the current game environment, and the progress of the game.
  • the game calculation unit 110 determines whether or not a game end condition is satisfied according to the detected player state or based on a predetermined elapsed time from the start of the game, and the game end condition When it is determined that is satisfied, the game is terminated.
  • the game calculation unit 110 determines whether or not the player P has entered a specific state corresponding to the progress of the game in accordance with the detected player state. The game is progressed according to the result, and an instruction for performing an effect corresponding to the effect control processing unit 114, the image generation unit 130, and the sound generation unit 140 is given.
  • the object space setting unit 111 is a variety of objects (polygon, free-form surface, subdivision surface, etc.) for constructing a predetermined simulation space such as a production object 80, a building, a movement route R, a pillar, a wall, a map (terrain) A process of placing and setting an object composed of primitives) in an object space (that is, a virtual three-dimensional space) is performed.
  • objects polygon, free-form surface, subdivision surface, etc.
  • a predetermined simulation space such as a production object 80, a building, a movement route R, a pillar, a wall, a map (terrain)
  • a process of placing and setting an object composed of primitives) in an object space that is, a virtual three-dimensional space
  • the position and rotation angle (synonymous with direction and direction) of the object in the world coordinate system are determined, and the rotation angle (rotation angle about the X, Y, and Z axes) is determined at that position (X, Y, Z). Place the object with.
  • production object 80 a movable object appearing in a simulation space such as an animal (hereinafter referred to as “production movement object”) and an object fixed in the simulation space are used.
  • the object space setting unit 111 includes objects to be actually present in the real space for the player P to recognize (hereinafter referred to as “production fixed objects”), and the object space setting unit 111 places these effect objects 80 in the simulation space. Deploy.
  • the effect moving object is an object that is actually moved in the real space and imaged as an object that also moves in the simulation space (hereinafter referred to as “true moving object”).
  • true moving object an object that does not move in the real space but moves only in the simulation space when imaged.
  • the state detection processing unit 112 includes both hands and both feet of the player P at the same timing in the images of the player P (hereinafter referred to as “player images”) output from the plurality of imaging cameras 70 that image the player P, respectively.
  • player images the images of the player P
  • the position of the marker unit 60 disposed on the top of the HMD 20 is specified.
  • the state detection process part 112 is the position of each marker unit 60 in each specified image, the positional relationship with each other marker unit 60 in each marker unit 60, and the stay at each position of each marker unit 60. Based on each piece of time information, the player state indicating the position and posture of the player P in the real space is detected.
  • a plurality of predetermined areas in real space are set for the image output for each imaging camera 70, and the state detection processing unit 112 determines which area each marker unit 60 belongs to. By detecting the position of the marker unit 60 included in each player image at the same timing, the position of each marker unit 60 in the real space is detected for each image frame.
  • the state detection processing unit 112 detects the position of each marker unit 60 in the real space for each frame, compares it with the position of each marker unit 60 in the previous frame, and sets the same position in a plurality of frames. Based on the number of frames in each marker unit 60 detected as being present, the staying time at the same position of each marker unit 60 is detected.
  • the state detection process part 112 detects the attitude
  • the state detection processing unit 112 of the present embodiment (1) Based on information on the position, height and time of a given part of the player P such as the head, both hands or both feet (hereinafter referred to as “part information”), Specify the position in space (that is, the coordinates of the center position (center of gravity position) of the player P in the real space), (2) Based on the part information of the player P, specify the posture of the player P constructed from the positional relationship of each part such as the head, torso, and limbs of the player P, or (3) Identify both (1) and (2) The player state is detected based on the position, posture or both of the player P.
  • part information that is, the coordinates of the center position (center of gravity position) of the player P in the real space
  • the posture of the player P constructed from the positional relationship of each part such as the head, torso, and limbs of the player P, or (3) Identify both (1) and (2)
  • the player state is detected based on the position, posture or both of the player P.
  • the state detection processing unit 112 (A) detecting the viewpoint position and direction of the player P in the real space based on the position of the head of the player P; (B) detecting the standing position and posture of the player P in the real space based on the position of the hand or the foot of the player P; (C) Modeling the player P based on the detected standing position and posture of the player P (formation of bone) Execute.
  • the user's part includes the user's head, hand, or foot
  • the part information includes the position of each part (positional coordinates in the user movement space), direction, and shape (planar shape or three-dimensional shape). ) Or color (including gray scale).
  • the state detection processing unit 112 specifies the position of the marker unit 60 disposed in the effect moving object in the real space, as in the player P. Based on the position in the real space, the position (the center or the position of the center of gravity) of the effect moving object in the real space and, if necessary, the state thereof are detected.
  • the movement / motion processing unit 113 calculates the positional relationship between the player P and the effect object 80 based on the detected player state, the current game environment, the progress of the game, or two or more information thereof, Based on the calculated positional relationship between the player P and the effect object 80, movement / motion calculation (movement / motion simulation) of the effect object 80 is performed.
  • the movement / motion processing unit 113 performs each process of moving various objects in the object space and moving (motion, animation) the objects based on the detected player state and the like.
  • the movement / motion processing unit 113 receives movement information (position, rotation angle, speed, or acceleration) and motion information (position or rotation angle of each part constituting the object) of various objects.
  • movement information position, rotation angle, speed, or acceleration
  • motion information position or rotation angle of each part constituting the object
  • a frame is a unit of time for performing object movement / motion processing (simulation processing) and image generation processing.
  • movement / motion processing unit 113 with respect to the production moving object, the position in the real space, the positional relationship with the player P in the real space, the state of the production moving object (the moving direction of the production moving object) Movement information and motion information in the simulation space are calculated based on the current game environment and the progress of the game.
  • the movement / motion processing unit 113 with respect to the pseudo moving object of the production moving object, is linked with the position and state of the real space or seamlessly with the position and state of the real space according to the user state.
  • the movement information and the movement information in the simulation space are calculated based on the position and / or the state of the pseudo moving object in the real space so that it can be imaged.
  • the movement / motion processing unit 113 operates at a position different from the position where the pseudo moving object is arranged in the real space, or Calculating movement information and motion information to move around different areas, return to the position where the pseudo moving object is arranged in the real space at a predetermined timing, and to be in a state similar to the state where the pseudo moving object is arranged in the real space I do.
  • the movement / motion processing unit 113 images the pseudo moving object at a position where it is arranged in the real space, but moves to image the motion such as the posture and gesture. Information and operation information are calculated.
  • the movement / motion processing unit 113 (1) Even when a cat object as a pseudo moving object is arranged at the end point of the moving path R in the real space at the start of the game, the pseudo operation of moving the cat object around the player P , (2) When the player P advances a certain distance toward the end point of the movement path R, the cat object moves toward the position arranged in the real space, and the state in the real space is determined at the arrangement position.
  • the effect control processing unit 114 executes processing for controlling various effect devices 90 to 93 in accordance with the player state (including the specific state), the state of the effect moving object, the current game environment, and the progress of the game. To do. Specifically, the effect control processing unit 114 executes control based on power ON / OFF, capability change, or a preset program in each of the effect devices 90 to 93.
  • the effect control processing unit 114 performs drive control and stop control including the intensity of air flow when the effect devices 90 to 93 are blowers 90, and adjusts the temperature when the effect devices 90 to 93 are temperature adjustment devices.
  • the production devices 90 to 93 are on the movement path R, the production devices 90 to 93 that need to be changed according to the state of the swinging unit or the vibration unit charged in the movement route R or control of the vibration unit. 93 is controlled.
  • the communication control unit 120 performs processing for generating data to be transmitted to the HMD 20 (mainly image data for showing the simulation space to the player P). Further, the communication control unit 120 transmits and receives control signals for controlling the effect devices 90 to 93.
  • the image generation unit 130 performs drawing processing based on various types of information such as the results of various processing (game processing) performed by the processing unit 101 and the player state (including a specific state). Image for showing the space to the player P) is generated and output to the HMD 20 via the communication control unit 120.
  • the image generation unit 130 first acquires object data (model data) including vertex data (vertex position coordinates, texture coordinates, color data, normal vector, ⁇ value, etc.) of each vertex of the object (model). Based on the vertex data included in the acquired object data (model data), vertex processing (shading by a vertex shader) is executed.
  • model data object data
  • vertex data vertex position coordinates, texture coordinates, color data, normal vector, ⁇ value, etc.
  • the image generation unit 130 may perform vertex generation processing (tessellation, curved surface division, polygon division) for subdividing the polygon as necessary when performing the vertex processing.
  • vertex generation processing such asessellation, curved surface division, polygon division
  • the image generation unit 130 performs vertex processing, vertex conversion processing, coordinate conversion (world coordinate conversion, camera coordinate conversion), clipping processing in accordance with a vertex processing program (vertex shader program, first shader program). Alternatively, geometry processing such as perspective transformation is executed, and based on the processing result, vertex data given to the vertex group constituting the object is changed (updated or adjusted).
  • the image generation unit 130 executes rasterization (scan conversion) based on the vertex data after the vertex processing, and associates the surface of the polygon (primitive) with the pixel.
  • the image generation unit 130 executes pixel processing (shading or fragment processing by a pixel shader) for drawing pixels (fragments constituting the display screen) constituting the image.
  • the image generation unit 130 reads out textures (texture mapping), sets / changes color data, translucent synthesis, anti-aliasing, and the like according to a pixel processing program (pixel shader program, second shader program).
  • pixel processing program pixel shader program, second shader program.
  • Various processes are performed to determine the final drawing color of the pixels constituting the image, and the drawing color of the perspective-converted object is stored in the storage unit 170 (a buffer capable of storing image information in units of pixels; VRAM, rendering target).
  • Output draw
  • the image generation unit 130 performs per-pixel processing for setting or changing image information (color, normal, luminance, ⁇ value, etc.) in units of pixels. Thereby, an image that can be seen by the player P in the object space is generated.
  • the image generation unit 130 is a hardware that enables a polygon (primitive) drawing process to be programmed by a shader program written in a shading language for vertex processing and pixel processing, so-called programmable shaders (vertex shaders and pixel shaders). To achieve.
  • Programmable shaders can be programmed with vertex-level processing and pixel-level processing, so the degree of freedom in drawing processing is high, and the power of expression is greatly improved compared to conventional hardware-based fixed drawing processing. Can be made.
  • the image generation unit 130 performs geometry processing, texture mapping, hidden surface removal processing, ⁇ blending, and the like when drawing an object.
  • the image generation unit 130 performs processing such as coordinate conversion, clipping processing, perspective projection conversion, or light source calculation on the object as the geometry processing.
  • the image generation unit 130 stores the object data (positional coordinates of object vertices, texture coordinates, color data (luminance data), normal vector, ⁇ value, etc.) after geometry processing (after perspective projection conversion). Store in the unit 170.
  • the image generation unit 130 executes texture mapping that is a process for mapping the texture (texel value) stored in the storage unit 170 to the object. Specifically, the image generation unit 130 reads textures (surface properties such as color (RGB) and ⁇ value) from the storage unit 170 using texture coordinates or the like set (given) at the vertices of the object.
  • textures surface properties such as color (RGB) and ⁇ value
  • the image generation unit 130 maps a texture that is a two-dimensional image to an object.
  • the image generation unit 130 performs processing for associating pixels with texels and bilinear interpolation as texel interpolation.
  • the image generation unit 130 performs the hidden surface removal processing by the Z buffer method (depth comparison method, Z test) using the Z buffer (depth buffer) to which the Z value (depth information) of the drawing pixel is input. Perform surface erasing.
  • the image generation unit 130 refers to the Z value input to the Z buffer when drawing the drawing pixel corresponding to the primitive of the object. Then, the Z value of the referenced Z buffer is compared with the Z value at the drawing pixel of the primitive, and the Z value at the drawing pixel is a Z value (for example, a small Z value) on the near side as viewed from the player P. In some cases, the drawing process of the drawing pixel is performed and the Z value of the Z buffer is updated to a new Z value.
  • the image generation unit 130 executes ⁇ blending ( ⁇ synthesis) of translucent synthesis processing (usually ⁇ blending, addition ⁇ blending, subtraction ⁇ blending, or the like) based on the ⁇ value (A value).
  • the ⁇ value is information that can be stored in association with each pixel (texel, dot), for example, plus alpha information other than color information.
  • the ⁇ value can be output as mask information, translucency (equivalent to transparency and opacity), bump information, and the like.
  • the sound generation unit 140 performs sound processing based on the results of various processes performed by the processing unit 101 such as a player state (including a specific state), and game sounds such as BGM, sound effects, and sounds (in the simulation space).
  • a player state including a specific state
  • game sounds such as BGM, sound effects, and sounds (in the simulation space).
  • Environmental sound as stereophonic sound is generated and output to the headphones 61 via the HMD 20.
  • the player marker unit 60 and the imaging camera 70 in the game system of this embodiment will be described with reference to FIGS. 1 and 4 described above.
  • the imaging camera 70 of the present embodiment constitutes the detection means of the present invention together with the simulation control device 100.
  • each player P is provided with the marker units 60 at a plurality of portions.
  • the marker unit 60 of the present embodiment is disposed at a plurality of sites on the head, both hands, and both feet.
  • each marker unit 60 is formed of a material such as a reflection sheet that reflects the surface, and is formed of a ball field marker. For example, when each marker unit 60 is irradiated with light, the marker unit 60 reflects the light and shines in white or shines with a specific color.
  • each marker unit 60 includes a head detection marker unit 60a, a right or left hand detection marker unit 60b, and a right or left foot detection marker unit 60c.
  • a light source unit (not shown) that irradiates each marker unit 60 with light is provided in the movement experience area in the structure 10 of the present embodiment.
  • the color that the marker unit 60 shines is not particularly limited. However, when a plurality of players P are simultaneously present in the movement experience area, the color may be changed for each player P, or the marker unit 60 is attached. You may change the color which the marker unit 60 shines for every site
  • each imaging camera 70 is fixedly disposed at a preset position in the structure 10, and images an area captured within the angle of view to simulate the image data.
  • the data is sequentially output to the control device 100.
  • each imaging camera 70 of the present embodiment is formed outside the moving range (specifically, the moving route R) in which the player P moves in the real space.
  • Each imaging camera 70 is arranged so as to image the play area 12, move into the play area 12, change the posture, or image all the players P that perform both. Yes.
  • each imaging camera 70 includes a predetermined imaging element such as a CCD and a lens having a predetermined focal length, and an area within the angle of view is defined by a predetermined field angle and focal length.
  • the imaged image data is sequentially output to the simulation control apparatus 100.
  • each imaging camera 70 is arranged so that there is no omission in imaging of the play area 12. Established.
  • each imaging camera 70 is required to use a color format camera in order to detect the colored marker unit 60.
  • the number and arrangement positions of the marker units 60 are not limited to the above. Basically, the arrangement positions are not limited as long as the positions can be captured by the imaging camera 70.
  • FIGS. 1, 3, 4, 7A, and 7B show an example of the movement path member 93 that is the rendering device of the present embodiment
  • FIG. 7B shows an example of the movement path member that is the rendering object and the rendering device of the present embodiment. It is a figure for demonstrating the operation
  • the effect object and effect devices 90 to 93 of the present embodiment constitute the effect means of the present invention.
  • the effect object 80 and the effect devices 90 to 93 according to the present embodiment are arranged in a real space formed in the structure 10, and are linked with a simulation image under the control of the simulation control device 100.
  • the player P is configured to experience a given effect.
  • the production object 80 and the production devices 90 to 93 are not only outdoor spaces and indoor spaces, but also productions for experiencing simulation spaces such as high places, closed places, dangerous places, special spaces, hot places or cold places.
  • This is an object or presentation device that is used to create a realistic simulation of the situation that the player P can see through simulation in conjunction with a simulation image.
  • the production object 80 includes the production moving object and the production fixed object as described above, and the production moving object includes the intrinsic movement object and the pseudo movement object. .
  • the pseudo moving object is imaged in a state different from the state of the effect object 80 in the real space.
  • the effect moving object is a marker unit for detecting the position in the real space, the positional relationship with the player P in the real space, and the state of the effect moving object (the moving direction and the posture of the effect moving object). 60d.
  • the effect moving object causes the simulation control device 100 to recognize the position, state, and both of the real space, as with each part of the player P, by causing the imaging unit 70 to image the marker unit 60d.
  • the marker unit 60d of the effect object 80 the same one as the marker units 60a, b, and c disposed at each part of the player P is used. However, it is preferable that the color of the marker units 60a, b, and c of the player P or various information stored therein is different for each of the plurality of players P or the effect objects 80 appearing in the game.
  • a vibration unit is arranged inside the effect object 80, and the simulation control device 100 performs vibration control of the vibration unit, thereby performing an effect that surprises the player P in conjunction with the simulation image or independently. May be.
  • the rendering devices 90 to 93 are devices for reliably creating a simulation space as a more realistic space, and directly providing a given rendering effect to the player P.
  • the effect devices 90 to 93 are simply arranged in the real space while being linked to the simulation image, and the structured effect device that provides the player P with a given effect by the arrangement and its structure, and the detected player It includes a linked production device that provides a given production effect according to the state, game environment, and game progress.
  • the interlocking production device includes, for example, a blower 90 shown in FIG. 1 and a production device for forming a simulation space environment such as a temperature adjustment device, a lighting device, or a vibration device (not shown).
  • the structural rendering device includes a wall or floor such as a movement path member 93 constituting the movement path R, a start block (not shown) for recognizing the start position, or a spring floor panel 92 for recognizing the inside of the elevator. It includes a member for causing the player P to feel a touch such as surface irregularities or materials.
  • the blower 90 outputs a blow toward the front of the player P when the player P switches from the start zone 13 to the movement experience zone 14.
  • the air flow is output from below the player P toward the front of the player P.
  • the movement path member 93 is provided below the predetermined movement path R along which the player P moves, and can vibrate or swing according to the simulation image.
  • the formed effectable area 93a is configured.
  • the movement path member 93 in the effectable area 93a is formed with a height (height in the ceiling direction) different from the floor surface of the structure 10 (specifically, the non-movement path NR). Has been.
  • the moving path member 93 in the effectable region 93a is driven by a plurality of drive units 95 that vibrate or drive the effectable region based on a given condition such that the player P starts walking on the moving path member 93. It is configured.
  • each drive unit 95 includes a wheel 96 that rotates in a direction in which the moving path member 93 is parallel to the floor surface and perpendicular to the moving path direction (advancing direction of the player P). And a support plate 97 that supports a moving path member 93 having a gap D having a predetermined height (for example, about 5 mm) from the surface to be grounded.
  • the drive unit 95 is disposed adjacent to the other drive units 95 along the movement path R in the effectable region 93a.
  • the entire movement path R may be configured by the drive unit 95, or the entire movement path R is configured by a combination with the movement path member 93 that is not driven. It may be.
  • FIG. 7B shows an example in which the drive unit 95 continuously forms the movement path R.
  • the drive unit may be configured to be driven to vibrate or oscillate independently, or mechanically driven and oscillated by the effect control processing unit 114.
  • the drive may be controlled.
  • the rendering device may change its structure or form in a simulated manner only in the simulation space.
  • the structure or form of the production object and the production apparatus do not change in the real space, but it is also possible to change the structure or form of the simulation space only in a pseudo manner.
  • the image generation unit 130 artificially narrows the width of the movement path member 93, the wall 17 approaches, or the ceiling 15 artificially Only the simulation space may be changed in a pseudo manner, such as being lowered.
  • FIGS. 8 and 9. 8 and 9 are flowcharts showing the operation of the game system 1 in the present embodiment.
  • This operation will be explained using a height fear experience game that simulates a fear experience at height.
  • the player P starts from the start zone 13 and moves on the movement path member 93 having a predetermined width, and exists at an end point (a point far from the start zone 13) on the movement path member 93.
  • This is a game that holds (rescues) a production object 80 (for example, a cat) to return to the start zone 13 within the time limit.
  • the game calculation unit 110 is not illustrated based on the operation of the administrator on the assumption that the game calculation unit 110 exists in a predetermined position (specifically, in the start zone 13) of the player P to which the HMD 20 and the fall prevention unit 40 are attached. It is detected whether or not the button is pressed (that is, the start of the game) (step S101).
  • the game calculation unit 110 detects the start of the game by detecting whether or not the player P exists at a predetermined position while starting the detection of the player state by the state detection processing unit 112 as the process of step S101. May be.
  • the game calculation unit 110 starts various calculations related to the height fear experience game, and also includes an object space setting unit 111, a state detection processing unit 112, a movement / motion processing unit 113, an effect control processing unit 114, and an image generation unit. 130 and the sound generation unit 140 start each process related to the simulation in the height fear experience game (step S102).
  • the state detection processing unit 112 starts detection of the player unit and the state of the effect object 80 while starting detection of the marker unit 60 disposed in each part of the player P and the effect object 80
  • the object space setting unit 111 and the movement / motion processing unit 113 start building a simulation space that can be seen from the player P according to the player state, the state of the effect object 80, the game environment, and the progress of the game
  • the effect control processing unit 114 controls the corresponding effect devices (the blower 90, the automatic door 91, and the spring floor panel 92) according to the player state, the state of the effect object 80, the game environment, and the progress of the game.
  • the image generation unit 130 and the sound generation unit 140 start generating a simulation image and accompanying sound according to the player state, the state of the effect object 80, the game environment, and the progress of the game.
  • step S102 is continuously executed until the end of the game is determined.
  • the image generation unit 130 displays an image in the elevator on the HMD 20, and the effect control processing unit 114 controls the spring floor panel 92 in the start zone 13 and executes a simulation process in the start zone 13 (step S103). ).
  • step S104 when the effect control processing unit 114 detects a predetermined timing (end of the simulation process in the start zone 13) (step S104), the effect control processing unit 114 executes the game start process (step S105), and the game The calculation unit 110 starts a countdown for starting the game (step S106).
  • the production control processing unit 114 includes, as game start processing, (1) End of control of the spring floor panel 92, (2) control of the automatic door 91 (ie, the elevator door) formed between the start zone 13 and the movement experience zone 14 from the closed state to the open state; and (3) Control of the corresponding effect device such as air blowing control by the blower 90 is executed.
  • the game calculation unit 110 detects that the countdown has been completed (step S107), and the state detection processing unit 112 determines whether or not the movement experience zone 14 has been moved beyond the start zone 13 (hereinafter, referred to as “the movement experience zone 14”). "Start error determination" is executed (step S108).
  • step S109 when it is determined that the state detection processing unit 112 has moved to the movement experience zone 14 beyond the start zone 13 before the countdown ends, the state detection processing unit 112 notifies the HMD 20 of a warning (step S109). The process proceeds to step S107.
  • the state detection processing unit 112 may perform the accompanying effects such as interruption of the step S game start operation and restart the operation from the process of step S105, or may interrupt the game. Good.
  • the game calculation unit 110 detects that the countdown is completed, the game calculation unit 110 starts various calculations related to execution of the height fear experience game (step S110). Specifically, the game calculation unit 110 starts counting the time limit and starts determining the game end process.
  • the game calculation unit 110 determines whether or not a game end condition is satisfied (step S111). Specifically, the game calculation unit 110 interlocks with the state detection processing unit 112 to determine whether the player state or the state of the effect object 80 satisfies the end condition, and whether the time limit has become “0”. Determine whether.
  • the game calculation unit 110 determines whether the player P has entered a specific state that is off the movement path R, and drops the effect object 80 to be rescued during the movement. It is determined whether or not a specific state satisfying the end condition such as has been satisfied.
  • step S112 if the game calculation unit 110 determines that the game end condition is not satisfied, whether the event calculation condition is satisfied in conjunction with the state detection processing unit 112 or according to the progress of the game It is determined whether or not (step S112).
  • the game calculation unit 110 determines whether or not it has moved onto the movement path member 93, and the first position on the movement path member 93 (the position where the cat object that is the effect object 80 is first arranged). Whether or not the player is in a predetermined specific state, such as whether the cat object that is the effect object 80 in real space has been reached (the end point of the moving path member 93). Including the event start condition.
  • step S113 the process proceeds to step S111.
  • the effect control processing unit 114 moves the blower 90 disposed below the player P. Performing an effect of sending wind from below to player P, (2) When it is determined that the player P has reached the first position on the movement path member 93 (the position where the cat object that is the effect object 80 is first placed), it is determined that the image is generated.
  • the unit 130 and the sound generation unit 140 execute an effect in which the cat object escapes to the end point of the movement path R, (3) When it is determined that the player P is in a specific state that the position has reached the position where the cat object is arranged, an effect of rescuing the cat object is executed, (4) When it is determined that the player P is in the specific state that the cat object is rescued, the image generation unit 130 and the sound generation unit 140 move in the direction toward the start zone 13. In the case of the production, the effect of narrowing the width of the movement path member 93 is executed, (5) When it is determined that the player P is in a specific state where the player has reached the start zone 13 while holding the cat object, an effect relating to clearing the game, such as escaping from the elevator, is executed.
  • Step S114 the image generation unit 130 and the sound generation unit 140 generate and output an image and sound for performing an effect related to the game end. It should be noted that as the effects related to the end of the game, different effects are executed according to the game end conditions.
  • Modification 1 In the present embodiment, simulation processing in a simulation space is executed as a game, but may be executed as a simple simulator regardless of the game.
  • the player state is detected using the marker unit 60 and the imaging camera 70.
  • the player state is detected by a sensor unit such as a contact sensor disposed on the movement path R or the non-movement path NR. Also good.
  • the state detection processing unit 112 determines that the player P exists at the position of the sensor unit.
  • the state detection processing unit 112 detects that the player unit has deviated from the moving route at the position of the sensor unit, and moves the moving route.
  • the end of the game may be detected as a failure.
  • the position in the real space of the user and the posture thereof may be detected according to the player image captured by the imaging camera 70 without using the marker unit 60.
  • the state detection processing unit 112 calculates the depth direction for each imaging camera 70 based on each image output from each imaging camera 70 and generates bone data of the player P.
  • the state detection processing unit 112 detects the position of each player in the real space based on the detected position in the depth direction of the player P based on each imaging camera 70, and generates the posture of the player P based on the generated bone data. Is detected.
  • the suspension control unit 50 is formed with a rail 51 and a sliding member 52 that are slidable by one axis.
  • a sliding member may be formed, or as shown in FIG. 10B, it may be formed by an arm that can be three-dimensionally suspended instead of the rail 51.
  • FIG. 10A and 10B are diagrams showing a modification of the suspension control unit 50 of the present embodiment.
  • FIG. 10A is a suspension in which a rail and a sliding member are formed by two axes.
  • An example of the holding control unit 50 is shown
  • FIG. 10B shows an example of the holding control unit 50 configured by an arm that can hold the holding unit 30 three-dimensionally.
  • the suspension control unit 50 is orthogonal to the pair of first rails 55a and 55b that move in a planar manner (parallel to the ceiling surface) and the first rails 55a and 55b.
  • the second rail 56 may be configured to move planarly in real space.
  • the suspension control unit 50 suspends the suspension unit 30 along two predetermined axes when the movement path R can move two-dimensionally or three-dimensionally in the real space.
  • a combination of two rails for changing the position, or a combination of the two rails and a rail for changing the position of the suspension unit 30 in the vertical direction in the real space may be included.
  • the suspension control unit 50 follows a predetermined two-axis direction (preferably the two axes are right angles) when a plane movement in which the player P moves in a plane is performed in real space.
  • the player P moves in the vertical direction (for example, the ceiling direction or the floor surface direction of the structure 10 by moving the steps such as stairs). ) Is moved by a rail formed along a predetermined vertical direction and an arm movable in that direction.
  • the suspension control unit may be configured by an arm 57 that is movable in a plane or three-dimensionally instead of the rail.
  • a turntable 58 is provided on the base of the arm 57, and when moving in a three-dimensional manner along the moving direction of the player P, the arm 57 is further rotated in the vertical direction.
  • a rotation mechanism 59 may be provided.
  • the suspension unit 30 according to the present embodiment is slidably moved in the real space by the suspension control unit 50 in accordance with the player state.
  • the player P moves in the real space.
  • there is no need to move for example, when sitting and executing a game or the like
  • there is no need to link with moving in the real space for example, as shown in FIG. May be.
  • the suspension unit 30 includes a connecting member 31 formed on the ceiling 15 of the structure 10, a string-like member 32 having a shape attached to the connecting member 31, and a string-like member.
  • the second end portion is different from the first end portion, and the connection member 33 is connected to the HMD 20.
  • FIG. 11 is a diagram for explaining a modification of the suspension unit 30 of the present embodiment, and is a diagram illustrating an example of the suspension unit 30 when the player P does not move.
  • the position and posture of each part of the player P are detected by imaging the plurality of marker units 60 with the imaging camera 70.
  • a single unit such as a head or a torso is provided.
  • the position and orientation of the player may be detected by only one marker unit 60, or the position and orientation of the effect object 80 in which a plurality of marker units 60 are arranged may be detected.
  • the HMD 20 is provided with a photosensor, and the photosensor identifies a recognizable marker from a plurality of markers arranged on the structure 10, and detects the position and orientation of the player P based on the identified marker. May be.
  • the present invention includes substantially the same configuration (for example, a configuration having the same function, method, and result, or a configuration having the same purpose and effect) as the configuration described in the embodiment.
  • the invention includes a configuration in which a non-essential part of the configuration described in the embodiment is replaced.
  • the present invention includes a configuration that exhibits the same operational effects as the configuration described in the embodiment or a configuration that can achieve the same object.
  • the invention includes a configuration in which a known technique is added to the configuration described in the embodiment.
  • Game system 10 ... Structure 20 ... HMD DESCRIPTION OF SYMBOLS 30 ... Suspension unit 40 ... Fall prevention unit 50 ... Suspension control unit 60 ... Marker unit 70 ... Imaging camera 80 ... Production object 90 ... Production device (blower, spring board panel, and movement guide path) 100 ... Simulation control device

Abstract

ゲームシステム1は、HMD20を構造体10から吊時する吊持ユニット30を備え、HMD20をプレーヤPとは独立的に吊持することによって、プレーヤPが実空間内を移動する際に、又は、当該プレーヤPの所定の部位(例えば頭部)が動く際に、HMD20を当該プレーヤPの動きに追随させつつ、当該プレーヤPの意図に反して転倒した場合であっても、HMD20のプレーヤPへの装着を維持し、又は、着脱による落下を防止することが可能な構成を有している。

Description

シミュレーション装置及びゲーム装置
 本発明は、ヘッドマウントディスプレイなどの装着型画像表示装置を用いたシミュレーション装置などに関する。
 従来から、ヘッドマウントディスプレイ(以下、「HMD」という。)などのユーザに装着して画像を表示する装着型画像表示装置が知られている。特に、HMDとしては、主に、両眼用又は単眼用に大別され、かつ、ユーザが実際に移動する移動空間(すなわち、実空間)内における視覚を確保する非透過型と、当該ユーザの目をマスクし(すなわち、完全に覆い)、かつ、実空間とリンクさせた画像を表示する透過型に分類される。
 また、最近では、このようなHMDに所定の画像を表示しつつ、実空間を移動させてユーザに対して種々の状況を体験させるシミュレーションシステムが知られており、例えば、予め設定された3次元仮想空間において、実空間と連動させつつ、当該3次元仮想空間内におけるユーザの行動を体験させるシミュレーションシステムが知られている(例えば、特許文献1)。
特開2003-178332号公報
 しかしながら、特許文献1に記載のシミュレーションシステムにあっては、HMDを装着した状態においてユーザに対して実空間内を移動させる際に、当該HMDが装着されることによって視界が遮られ、それによってユーザがバランスを崩し又は転倒することも多く、スムーズな移動及びその安全性の観点からは不十分である。
 また、特許文献1に記載のシミュレーションシステムにあっては、上記のようなユーザの転倒など当該ユーザの意図に反して当該HMDが着脱されることによって床面や壁面への衝突及びそれに伴うHMDの一部の破損や故障などが発生することも想定される。
 本発明は、上記課題を解決するためになされたものであり、その目的は、HMDなどの装着型画像表示装置が装着された状態で実空間内を移動する際におけるユーザのスムーズな移動や当該ユーザの安全性を確保しつつ、当該装着型画像表示装置の破損や故障を含めて不測の事態を防止することが可能なシミュレーション装置を提供することにある。
 (1)上記課題を解決するため、本発明は、
 ユーザが移動可能なユーザ移動空間が形成された構造体と、
 前記ユーザに装着され、前記ユーザ移動空間に対応付けられたシミュレーション空間のシミュレーション画像を表示する装着型画像表示装置と、
 前記装着型画像表示装置を前記構造体から吊時する吊持手段と、
を備える構成を有している。
 この構成により、本発明は、装着型画像表示装置を吊持しているので、ユーザがユーザ移動空間内を移動することによって、又は、装着型画像表示装置が装着されることによって、ユーザがバランスを崩した場合、又は、当該バランスを崩しユーザの意図に反して転倒した場合であっても、装着型画像表示装置のユーザへの装着を維持し、又は、着脱による落下を防止することができる。
 したがって、本発明は、ユーザにおける装着型画像表示装置が装着された状態で転倒することによって生ずる負傷、又は、当該ユーザの意図に反して当該装着型画像表示装置が着脱されることによって床面や壁面への衝突及びそれに伴う当該装着型画像表示装置の一部の破損や故障の発生などの不測の事態を防止することができる。
 この結果、本発明は、レールやアーム等によって装着型画像表示装置の吊持位置をユーザの移動に伴って変更させることができれば、例えば、常に上方から吊持するなど適した位置で装着型画像表示装置を吊持し、あらゆる方向への移動や動きに対応させることができるので、装着型画像表示装置を装着させてユーザ移動空間内を移動するユーザの安全性を確保しつつ、ユーザのシミュレーション中の負傷の他に、当該装着型画像表示装置の破損や故障を含めて不測の事態を防止することができる。
 また、本発明は、例えば、高解像度によって提供される場合など、装着型画像表示装置への画像供給やその制御が有線で実行される場合には、吊持手段を介して装着型画像表示装置を制御する制御装置と接続するための配線を配設することもできるので、当該配線がユーザの横や足下に存在することに伴う当該ユーザの移動の制限や不快感を解消することができる。
 すなわち、本発明は、上記の構成を有することにより、装着型画像表示装置が装着されたユーザのユーザ移動空間内におけるスムーズな移動や安全性を確保し、当該ユーザの負傷などの不測の事態を回避させることができる。
 なお、装着型画像表示装置は、例えば、ヘッドマウントディスプレイなどのユーザの頭部に装着する透過型又は非透過型の拡張現実を実現するためのウェアラブルのディスプレイを示す。ただし、装着型画像表示装置は、これらに限らず、ユーザに装着されて当該ユーザに視認可能に画像が表示されるものであればよい。
 また、「構造体から吊時する」とは、構造体に吊持手段が吊持されていることを示し、例えば、当該構造体の天井などのユーザの上部から吊持されていることが好ましい。
 さらに、吊持手段は、例えば、当該鉤状部材における曲形状の部分に引っ掛ける紐やバンドなどの端部(以下、「第1端部」という。)を有する紐状部材と、紐状部材の第1端部とは異なる第2端部とHMDと接続する接続部材と、から構成され、紐状部材は、少なくとも装着型画像表示装置がユーザに装着されている際に当該装着型画像表示装置と接続される構成を有している。
 (2)また、本発明は、
 請求項1に記載のシミュレーション装置において、
 前記ユーザの前記ユーザ移動空間内における移動に応じて、前記吊持手段における前記装着型画像表示装置の吊持位置を変更する第1吊持位置変更手段を更に備える、構成を有している。
 この構成により、本発明は、ユーザがユーザ移動空間内を自在に移動した場合であっても、例えば、装着型画像表示装置の吊持位置をその上方(すなわち、装着型画像表示装置の上方)に変更して当該装着型画像表示装置を常に上方から吊持すれば、配線がユーザの横や足下に存在することに伴う当該ユーザの移動の制限や不快感を的確に解消することができるとともに、ユーザのあらゆる移動や動きに対しても常に的確に装着型画像表示装置を吊持することができる。
 なお、例えば、吊持位置変更手段としては、直線などのレールやその組合せ、又は、平面若しくは3次元の可動式のアームによって構成される。
(3)また、本発明は、
 前記第1吊持位置変更手段が、
  ユーザ移動空間内における予め定められた軸方向に沿って前記吊持手段の吊持位置を変更させる、構成を有している。
 この構成により、本発明は、例えば、
(A)ユーザ移動空間内においてユーザが直線的に前後に移動する直線移動が行われる場合には、当該直線移動の移動方向に沿って形成された1つのレールや当該直線方向にのみ移動可能なアームによって構成すること、
(B)ユーザ移動空間内においてユーザが平面的に移動する平面移動が行われる場合には、予め定められた2軸方向(好ましくは2軸は直角)に沿ってそれぞれ形成された2つのレールや2方向に移動可能なアームによって構成すること、及び、
(C)(A)若しくは(B)に代えて又は(A)若しくは(B)に伴ってユーザ移動空間内においてユーザが上下方向(例えば階段などの段差移動による移動構造体の天井方向又は床面方向)に移動する上下移動が行われる場合には、予め定められた上下方向に沿って形成されたレールや当該方向に移動可能なアームによって構成すること、
ができる。
 したがって、本発明は、吊持位置変更手段を複雑な構造によって構成することなく、簡易な構造(よく知られた構造)によって構成することができるとともに、簡易な構造であってもユーザ移動空間内における吊持位置を的確に変更させることができる。
(4)また、本発明は、
 前記ユーザ移動空間内で移動するユーザの転倒を防止する転倒防止手段を更に備え、
 前記転倒防止手段が、
  前記ユーザを保持するホルダ部材及び前記構造体から前記ユーザを吊持するユーザ吊持部材を含む、構成を有している。
 この構成により、本発明は、ユーザがユーザ移動空間内を移動することによって、又は、装着型画像表示装置が装着されることによって、ユーザがバランスを崩した場合に、装着型画像表示装置の破損やそれに基づくユーザの負傷を防止するだけなく、シミュレーション中に装着型画像表示装置が装着されていることによって生ずるユーザの転倒(移動中にバランスを崩すことによる転倒など)をも防止することができる。
 なお、転倒防止部材は、例えば、上述の吊持手段の少なくとも一部と共通の部材によって構成されていてもよく、吊持位置変更手段によってユーザを吊持されていてもよい。
(5)また、本発明は、
 前記ユーザの前記ユーザ移動空間内における移動に応じて、当該ユーザの吊持位置を変更する第2吊持位置変更手段を更に備える、構成を有している。
 この構成により、本発明は、装着型画像表示装置と同様に、ユーザがユーザ移動空間内を自在に移動した場合であっても、例えば、ユーザの吊持位置をその上方(すなわち、装着型画像表示装置の上方)に変更して当該装着型画像表示装置を常に上方から吊持すれば、あらゆるユーザの移動や動きに対しても常に的確にユーザを吊持することができる。
 なお、例えば、吊持位置変更手段としては、装着型画像表示装置と同様に、直線レールやその組み合わせ、又は、平面若しくは3次元の可動式のアームによって構成される。
(6)また、本発明は、
 前記ユーザから見える、前記ユーザ移動空間に対応付けられた仮想3次元空間であるシミュレーション空間のシミュレーション画像を生成する画像生成処理を行う画像生成手段を更に備え、
 前記画像生成手段が、
  前記ユーザから離隔した状態で前記構造体の前記ユーザより上部に配設され、前記生成したシミュレーション画像のデータを前記吊持手段を介して前記装着型画像表示手段に供給する、構成を有している。
 この構成により、本発明は、装着型画像表示手段にシミュレーション画像のデータを有線によって供給する際に、当該装着型画像表示手段の吊持手段を用いることができるので、当該配線がユーザの横や足下に存在することに伴う当該ユーザの移動の制限や不快感を解消することができるとともに、膨大なデータ量を供給する場合であっても、配線の長さを他の場所に設定された場合に比べて短くすることができるので、配線が長いことによるデータ供給の不具合を生じさせることなく、的確にデータを装着型画像表示装置に供給することができる。
 なお、画像生成手段は、例えば、パーソナルコンピュータなどの演算装置であって、CPU及びメモリなどのハードウェアを有し、所定のアプリケーションを起動することによって実現される。
(7)また、本発明は、
 前記ユーザ移動空間内におけるユーザの状態をユーザ状態として検出する検出手段を更に備え、
 前記装着型画像表示装置が、
  前記検出されたユーザ状態に連動させた前記シミュレーション画像を表示する、構成を有している。
 この構成により、本発明は、ユーザ移動空間内におけるユーザの位置や姿勢を示すユーザ状態に対応付けてシミュレーション画像をユーザに提供することができるので、ユーザの移動や位置に応じて画像を変化させることができるとともに、その結果、臨場感のあるシミュレーションを提供することができる。
 なお、検出手段としては、例えば、ユーザ移動空間内のユーザを撮像する撮像カメラ、又は、ユーザの構造体への接触を検出するセンサを含む。特に、撮像カメラの場合には、検出手段としては、ユーザに装着されたマーカを撮像することによって、又は、画像化されたユーザ画像を解析することによって当該ユーザの位置や姿勢を検出してもよいし、センサの場合には、移動経路、当該移動経路外又はその双方に設けられたセンサの接触検出と各センサの位置情報に基づいて、当該ユーザの位置や姿勢を検出してもよい。
 なお、「ユーザ状態」には、ユーザのユーザ移動空間内における位置及び当該ユーザの姿勢の少なくともいずれか一方を含み、例えば、
(A)頭部、両手又は両足などのユーザの所与の部位の位置、高さ及び時間の少なくとも1の部位の情報(以下、「部位情報」という。)に基づいて、ユーザのユーザ移動空間内における位置(ユーザ移動空間内における座標)を特定し、
(B)ユーザの部位情報に基づいて、ユーザの頭、胴体及び手足などの各部位の位置関係から構築されるユーザの姿勢を特定し、又は、
(C)(A)及び(B)の双方を特定し、
ユーザの位置、姿勢又は双方に基づいて検出されたユーザの状態を示す。
(8)また、本発明は、
 前記検出手段が
  前記ユーザ移動空間内の前記ユーザが移動する移動範囲の外側に形成されている、構成を有している。
 この構成により、本発明は、例えば、撮像カメラなどの移動範囲全体を監視することによってユーザの位置や姿勢などのユーザ状態を検出する手段を用いることができるので、ユーザ移動空間内におけるユーザの状態を的確に認識することができる。
 したがって、本発明は、ユーザ移動空間内におけるユーザの位置や姿勢をシミュレーション画像内の位置に確実に連動(反映)させることができるので、臨場感のあるシミュレーションを提供することができる。
(9)また、本発明は、
 前記検出手段が、
  前記ユーザ移動空間内における前記装着型画像表示装置を装着したユーザの部位を部位情報として検出し、
  前記検出された部位情報に基づいて前記ユーザのユーザ移動空間内における位置及び姿勢の少なくともいずれか一方を前記ユーザ状態として検出する、構成を有している。
 この構成により、本発明は、ユーザの頭の位置に基づいて、ユーザ移動空間におけるユーザの視点位置やその方向を検出すること、ユーザの手の位置又は足の位置に基づいて、ユーザ移動空間におけるユーザの立ち位置や姿勢を検出すること、及び、これらに基づいて、ユーザをモデリングすること(ボーンの形成)を行うことができる。
 したがって、本発明は、ユーザ移動空間内におけるユーザの位置(立ち位置)、視点位置、及び姿勢などのユーザの状態を的確に検出することができるので、ユーザの実際の位置や動きに応じたシミュレーションを提供することができる。
 なお、例えば、ユーザの部位には、当該ユーザの頭部、手又は足を含み、部位情報には、各部位の位置(ユーザ移動空間上の位置座標)、向き、形状(平面形状や立体形状)又は色(グレースケールを含む。)などの各種情報を含む。
(10)また、本発明は、
 前記ユーザの部位情報とは、当該ユーザの足の位置を示す情報である、構成を有している。
 この構成により、本発明は、例えば、高所や閉所などの特定の空間における移動経路上を移動するシミュレーションを行う場合に、当該ユーザが移動経路から外れた否かを含むユーザの状態を的確に検出することができる。
 なお、ユーザの部位としては、少なくとも足が含まれることを示し、頭部や手など他の部位が含まれていてもよい。
(11)また、本発明は、
 前記検出手段が
  前記ユーザ移動空間内の前記ユーザが移動する移動経路上又は当該移動経路に隣接する隣接領域に形成されている、構成を有している。
 この構成により、本発明は、移動経路を移動中のユーザの位置やその状態を検出することができるので、移動経路上を適切に移動しているか否か(移動経路を外れたか)、又は、移動中のユーザの姿勢など、移動経路上のユーザの状態を的確に認識することができるので、ユーザの実際の位置や動きに応じたシミュレーションを提供することができる。
(12)また、本発明は、
 前記ユーザ移動空間内に配設されるとともに、シミュレーション画像と連動することによって前記ユーザに所与の演出を体感させる演出手段を更に備える、構成を有している。
 この構成により、本発明は、シミュレーション画像と連動させてユーザがシミュレーションによって見えている状況を体感的にも作り出すことができるので、臨場感のあるシミュレーションを提供することができる。
 なお、演出手段としては、屋外空間や屋内空間のみならず、高所、閉所、危険な場所、特殊空間、暑い場所又は寒い場所などのシミュレーション空間を体感させるための演出手段であって、例えば、送風機、温度調整装置、照明装置、又は、振動装置などのシミュレーション空間の環境を形成するための演出装置の他に、壁面や床面の凹凸又は素材などのユーザに接触感を体感させるための部材、及び、動物などのシミュレーション空間内に登場する移動可能なオブジェクト又はシミュレーション空間内に固定されたオブジェクトをユーザに認識させるための部材も含まれる。
(13)また、本発明は、
 前記演出手段には、
  予め定められた前記ユーザが移動する移動経路下に設けられ、前記シミュレーション画像に応じて振動可能又は揺動可能に形成されたた演出可能領域を少なくとも有する移動経路部材と、
  所与の条件に基づき前記演出可能領域を振動駆動又は揺動駆動をする駆動手段と、
 を含む、構成を有している。
 この構成により、本発明は、シミュレーション画像と連動させて移動経路を振動又は揺動させることができるので、シミュレーション空間の種々の環境をシミュレーションによって体感させることができる。
(14)また、本発明は、
 前記移動経路部材が、
  前記構造体の床面から異なる高さによって形成されている、構成を有している。
 この構成により、本発明は、例えば移動経路から踏みはずなどの状況を体感的にも作り出すことができるので、臨場感のあるシミュレーションを提供することができる。
(15)また、本発明は、
 前記画像生成手段が、
  前記ユーザ移動空間内における前記演出手段の状態とは無関係に、前記ユーザ状態に応じて前記仮想3次元空間上で前記演出手段の状態変化を画像化して前記シミュレーション画像として生成する、構成を有している。
 この構成により、本発明は、ユーザ移動空間内における演出手段の状態とは無関係に仮想3次元空間上で当該演出手段の状態変化を画像化することができるので、例えば、シミュレーション中に仮想3次元空間においてのみ、移動経路の幅を変化(広狭の変化)させて恐怖感を与える演出、又は、取り扱いが難しい動きのあるオブジェクト(人、猫や犬等)や大型のオブジェクト(飛行機や船等)の少なくとも一部を体感させつつ画像によってのみ演出を実行することができる。
 すなわち、本発明は、物体の感覚を認識させつつも、ユーザ移動空間の実空間上において制御することが難しい演出手段をユーザにシミュレーションとして体感させることができるので、あらゆる場所や空間の再現性を高めることができるとともに、その結果、臨場感のある演出を提供することができる。
(16)また、本発明は、
 前記検出されたユーザ状態に応じて、前記シミュレーション画像に連動させつつ、前記演出手段を制御する演出制御手段を更に備える、構成を有している。
 この構成により、本発明は、ユーザ状態に合わせて、かつ、表示されるシミュレーション画像と連動しつつ、演出手段を制御することができるので、仮想3次元空間を、より現実的な空間として確実に擬似的に創り出すことができる。
 なお、「演出手段を制御する」とは、例えば、送風機の駆動制御(送風の強弱含む)及び停止制御、温度調整装置における温度の調整、移動経路に仕込まれた揺動又は振動装置の制御などユーザの状態に応じて変化させる必要のある演出手段を制御することを示す。
(17)また、本発明は、
 前記吊持手段が、
  前記構造体と前記装着型画像表示装置とを接続するケーブルを含み、
 前記ケーブルが、
  前記装着型画像表示装置が前記ユーザから着脱された際に、前記ケーブルが、当該装着型画像表示装置が前記構造体の床面に接地することを未然に防止する構造を備えている、構成を有している。
 この構成により、本発明は、装着型画像表示装置が前記ユーザから着脱された際に、前記ケーブルが前記構造体の床面に接地することを未然に防止することができる。
 なお、例えば、「ケーブルが、装着型画像表示装置が構造体の床面に接地することを未然に防止する形状」とは、装着型画像表示装置が着脱しても構造体の床面に接地しない長さであること、当該ケーブルが伸縮可能なスパイラル状になっていること、又は、ケーブルの長さを調整するために当該ケーブルを巻き取る構造を備えていることを含む。
図1は、本発明に係るゲームシステムの一実施形態における概要構成を示す構成図である。 図2は、一実施形態のゲームシステムによって体験可能な仮想3次元空間(シミュレーション空間)を説明するための図である。 図3は、一実施形態における構造体の構造を示す平面図である。 図4は、一実施形態における構造体の構造を示す断面図である。 図5Aは、一実施形態のゲームシステムに用いるHMDの構成を示す斜視図である。 図5Bは、一実施形態のゲームシステムに用いるHMDの構成を示す斜視図及び側面図である。 図6は、一実施形態におけるシミュレーション制御装置のブロック構成を示す構成図である。 図7Aは、一実施形態の演出用オブジェクト及び演出装置である移動経路部材の一例を示す側面図である。 図7Bは、一実施形態の演出用オブジェクト及び演出装置である移動経路部材の一例を示す図であってその動作を説明するための図である。 図8は、一実施形態のおけるゲームシステムの動作を示す第1のフローチャートである。 図9は、一実施形態のおけるゲームシステムの動作を示す第2のフローチャートである。 図10Aは、一実施形態の吊持制御ユニットにおける変形例であって2軸によってレール及び摺動部材が形成されている吊持制御ユニットの例を示す図である。 図10Bは、一実施形態の吊持制御ユニットにおける変形例であって、3次元的に吊持ユニットを吊持可能なアームによって構成されている吊持制御ユニットの例を示す図である。 図11は、一実施形態の吊持ユニットにおける変形例を示す図である。
 以下、実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。さらに、以下の実施形態は、装着型画像表示装置としてHMD(ヘッドマウントディスプレイ)を用いて予め定められた構造体内の空間(すなわち、実空間)におけるユーザの移動に対応付けて仮想3次元空間をシミュレートさせてゲームを提供するゲームシステムに対し、本発明に係るシミュレーション装置及びゲーム装置を適用した場合の実施形態である。
[1]ゲームシステムの概要
 まず、図1及び図2を用いて本実施形態のゲームシステム1の概要について説明する。なお、図1は、本実施形態のゲームシステム1の概要構成を示す構成図であり、図2は、本実施形態のゲームシステム1によって体験可能な仮想3次元空間(以下、「シミュレーション空間」ともいう。)を説明するための図である。
 本実施形態のゲームシステム1は、主な構成として、プレーヤPが移動可能な実空間(以下、単に「実空間」という。)が形成された構造体10と、当該プレーヤPに装着され、実空間に対応付けられた仮想3次元空間(すなわち、シミュレーション空間)のシミュレーション画像を表示するHMD20と、を備えている。
 具体的には、本実施形態のゲームシステム1は、実空間内における実空間に対応するシミュレーション空間のプレーヤPから見えるシミュレーション画像を生成し、擬似的な空間内における各種の環境や状況をプレーヤPに体験させるシミュレータである。
 特に、本実施形態のゲームシステム1は、
(1)実空間内におけるプレーヤPの状態を示すプレーヤ状態(具体的には、実空間におけるプレーヤの位置及びその姿勢)を検出し、
(2)当該検出したプレーヤ状態に応じて、例えば、図2に示すような、移動経路Rに対応付けた仮想移動経路を有し、かつ、実空間に対応するシミュレーション空間のプレーヤPから見えるシミュレーション画像を生成する画像生成処理を実行し、
(3)当該生成したシミュレーション画像をHMD20に表示させ、
(4)移動経路R上にてプレーヤ状態が所与の条件を具備した場合に、プレーヤPがシミュレーション空間上における特定の状態である特定状態と判定し、
(5)当該特定状態と判定した場合に、当該特定状態に基づく演出を実行するためのシミュレーション画像を生成する、
構成を有している。
 そして、本実施形態のゲームシステム1は、当該HMD20を構造体10から吊時する吊持ユニット30を備え、HMD20をプレーヤPとは独立的に吊持することによって、プレーヤPが実空間内を移動する際に、又は、当該プレーヤPの所定の部位(例えば頭部)が動く際に、HMD20を当該プレーヤPの動きに追随させつつ、当該プレーヤPの意図に反して転倒した場合であっても、HMD20のプレーヤPへの装着を維持し、又は、着脱による落下を防止することが可能な構成を有している。
 また、本実施形態のゲームシステムは、図1に示すように、構造体10、HMD20及び吊持ユニット30の他に、
(1)実空間内で移動するプレーヤPの転倒を防止する転倒防止ユニット40と、
(2)プレーヤPの実空間内における移動に応じて、吊持ユニット30におけるHMD20の吊持位置を変更し、かつ、プレーヤPの実空間内における移動に応じて、当該プレーヤPの吊持位置を変更する吊持制御ユニット50と、
(3)プレーヤPの所定の部位(例えば、頭部、両手及び両足)に取り付けたマーカユニット60、及び、当該マーカユニット60を検出することによって各部位の向き及び位置を検出しつつ、実空間内におけるプレーヤPの状態をプレーヤ状態として検出する撮像カメラ70と、
(4)実空間内に配設されるとともに、シミュレーション画像と連動することによってプレーヤPに所与の演出を体感させる各種の演出装置90~93及び演出用オブジェクト80と、
(5)プレーヤPから見える、実空間に対応付けられた仮想3次元空間であるシミュレーション空間のシミュレーション画像を生成するとともに、検出したプレーヤ状態に応じて、シミュレーション画像に連動させつつ、該当する演出装置90~93を制御するシミュレーション制御装置100と、
を備えている。
 このような構成により、本実施形態のゲームシステム1は、プレーヤPの状態と連動させつつ、当該プレーヤPが特定状態の場合に、当該特定状態をシミュレーションとしてプレーヤPに体験させることができるので、プレーヤPに体験させるべき環境や状況を、特に、移動経路Rから外れた場合に落下する状況を含めて高所を移動する環境や移動状況などの実際に体験することが難しい環境や状況を的確に再現することができるようになっている。
 例えば、高所だけでなく、閉所、特殊空間、暑い場所又は寒い場所などの危険な場所や現実では経験することが難しい空間における環境や状況を、プレーヤPの状態に応じて特定状態や当該特定状態を創出する環境として再現することができるようになっている。
 したがって、本実施形態のゲームシステム1は、危険な場所や現実では経験することが難しい空間を含むあらゆる場所や空間の再現性を高めることができるので、擬似的な空間であっても、より現実的な感覚をプレーヤPに体験させることができるようになっている。
 また、本実施形態のゲームシステム1は、HMD20をプレーヤPとは独立的に吊持することができるので、プレーヤPが実空間内を移動することによって、又は、当該プレーヤPの所定の部位(例えば頭部)が動くことによって、HMD20が前後方向、左右方向及び上下方向に動いた場合において、プレーヤPがバランスを崩して当該プレーヤPの意図に反して転倒した場合であっても、HMD20のプレーヤPへの装着を維持し、又は、着脱による落下を防止することができるようになっている。
 したがって、本実施形態のゲームシステム1は、プレーヤPにおけるHMD20が装着された状態で転倒することによって生ずる負傷、又は、当該プレーヤPの意図に反して当該HMD20が着脱されることによって床面や壁面への衝突及びそれに伴う当該HMD20の一部の破損や故障の発生などの不測の事態を防止することができるようになっている。
 この結果、本実施形態のゲームシステム1は、レールやアーム等によってHMD20の吊持位置をプレーヤPの移動に伴って変更させることができれば、例えば、常に上方から吊持するなど適した位置でHMD20を吊持し、あらゆる方向への移動や動きに対応させることができるので、HMD20を装着させて実空間内を移動するプレーヤPの安全性を確保しつつ、プレーヤPのシミュレーション中の負傷の他に、当該HMD20の破損や故障を含めて不測の事態を防止することができるようになっている。
 例えば、高解像度によって提供される場合など、HMD20への画像供給やその制御が有線で実行される場合には、吊持ユニット30を介してHMD20を制御する制御装置と接続するための配線を配設することもできるので、当該配線がプレーヤPの横や足下に存在することに伴う当該プレーヤPの移動の制限や不快感を解消することができるようになっている。
 すなわち、上記の構成を有することにより、本実施形態のゲームシステム1は、HMD20が装着されたプレーヤPの実空間内におけるスムーズな移動や安全性を確保し、当該プレーヤPの負傷などの不測の事態を回避させることができるようになっている。
 なお、本実施形態においては、高所における恐怖体験をシミュレートするゲーム(以下、「高所恐怖体験ゲーム」という。)を用いて以下の説明を行う。
[2]ゲームシステムの構成
[2.1]構造体
 次に、上記の図1とともに図3及び図4を用いて本実施形態のゲームシステム1における構造体10について説明する。なお、図3は、本実施形態における構造体10の構造を示す平面図であり、図4は、本実施形態における構造体10の構造を示す断面図である。
 構造体10は、プレーヤPが移動可能であってゲームを実行する実空間が形成された筐体であって、例えば、上記の図1、並びに、図3及び図4に示すように、天井15及び床16と、その四方を覆う壁17とによって形成された直方体の箱形構造を有している。
 そして、構造体10には、プレーヤPが体験型のゲーム開始を待機する待機エリア11と、当該体験型のゲームを実行するプレーエリア12と、を有している。特に、プレーエリア12には、ゲームスタート時にプレーヤPが存在するスタートゾーン13と、プレーヤPが実際に移動して所定の環境及び状況を体験するゾーンであってプレーヤP毎にゲーム中にプレーヤPの存在が許可された移動経路Rが形成された移動体験ゾーン14と、が含まれる。
 天井15には、待機エリア11からプレーエリア12に渡って、かつ、移動体験ゾーン14においては移動経路Rに沿って、HMD20を吊持する吊持ユニット30及びプレーヤPの転倒を防止する転倒防止ユニット40が摺動可能に取り付けられた複数の吊持制御ユニット50が形成されている。
 そして、各吊持制御ユニット50には、該当する移動経路におけるシミュレーション制御装置100が設けられている。
 また、天井15には、プレーヤPのプレーヤ状態及び演出用オブジェクト80の状態を検出するために用いる複数の撮像カメラ70が所定の位置に配設されている。
 床16は、待機エリア11及びプレーエリア12のエリア毎、並びに、スタートゾーン13及びに移動体験ゾーン14のゾーン毎に、異なる構成を有している。
 具体的には、プレーエリア12のスタートゾーン13においては、演出手段の1つとしてエレベータによって上下する環境を作り出すバネが組み込まれたパネル(すなわち、バネ床パネル)92によって構成されている。
 また、プレーエリア12の移動体験ゾーン14は、プレーヤPが歩行するための金属その他の所定の部材(後述の移動経路部材93)によって構成された移動経路Rと、プレーヤPの移動が禁止され、当該プレーヤPが転倒した際に当該プレーヤPを保護するマットなどによって構成された非移動経路NRと、によって構成されている。
 さらに、本実施形態のスタートゾーン13は、エレベータの室内空間の仮想3次元空間として提供するための構造を有しており、スタートゾーン13と移動体験ゾーン14の境界には、演出装置として、シミュレーション制御装置100の制御によって開閉が制御されるエレベータの扉として機能する自動扉91が設けられている。
 特に、移動経路R上(具体的には移動経路部材93の端点)には、演出用オブジェクト80が配設されている。また、非移動経路NR上には、送風機90などの演出装置が必要に応じて形成されているとともに、必要に応じて接触センサなどのセンサユニットが形成されていてもよい。
 壁17は、所定の壁面パネル又はプレーヤPによる衝突に基づく負傷などから保護するマットから構成されている。
[2.2]HMD及び吊持ユニット
 次に、上記の図4とともに図5A及び図5Bを用いて本実施形態のゲームシステムに用いるHMD20及び当該HMD20を吊持する吊持ユニット30について説明する。
 なお、図5Aは、本実施形態のゲームシステムに用いるHMD20の構成を示す斜視図であり、図5Bは、本実施形態のゲームシステムに用いるHMD20の構成を示す側面図の一例である。また、例えば、本実施形態のHMD20は、本発明の装着型画像表示装置を構成する。
 HMD20は、シミュレーション制御装置100の制御の下、プレーヤPの頭部に装着された非透過型の仮想3次元空間の画像を表示するウェアラブルの表示装置あって、当該表示装置外の外界の様子を認識不能にしてプレーヤPに表示させた画像のみを視認させ、拡張現実を視覚によってプレーヤPに体験させるための表示装置である。
 例えば、HMD20は、上記の図4、図5A及び図5Bに示すように、プレーヤPの両眼を完全に覆う(すなわち、マスクする)構造を有し、かつ、検出されたプレーヤ状態に連動させつつ、プレーヤPから見える、構造体10内の実空間に対応付けられたシミュレーション空間のシミュレーション画像を視認させるための構成を有している。
 また、HMD20の上部には、プレーヤPの頭部の向き及び位置を検出するためのマーカユニット(以下、「頭部検出用マーカユニット」という。)60aが形成されている。そして、HMD20は、例えば、200×1080のピクセルの表示サイズ、及び、90fPSのリフレッシュレートを有している。
 なお、HMD20は、図示しないヘッドフォンジャックを有し、当該ヘッドフォンジャックにヘッドフォン61が接続される。そして、ヘッドフォン61は、HMD20とともにプレーヤPに装着される。また、ヘッドフォン61には、シミュレーション制御装置100によって生成されたシミュレーション空間における立体音響を構成する環境音が出力される。
 吊持ユニット30は、HMD20及びプレーヤPの上方、例えば、構造体10の天井15に配設された吊持制御ユニット50と連結することによって、構造体10に吊持されつつ、かつ、HMD20を吊持する構成を有している。
 特に、本実施形態の吊持ユニット30は、プレーエリア12のプレーヤPにおけるあらゆる方向への移動や動きに対応させて吊持するために、HMD20を構造体10の上方(すなわち、天井15)であってプレーヤPの頭上に形成されている。
 そして、吊持ユニット30は、HMD20とシミュレーション制御装置100とを有線によって接続するための配線(以下、「ケーブル」という。)を有している。
 具体的には、吊持ユニット30は、例えば、図4、図5A及び図5Bに示すように、吊持制御ユニット50と連結するために用いられる連結部材31と、当該連結部材31に取り付けるための形状が形成された端部(以下、「第1端部」という。)を有する紐状部材(すなわち、ケーブル)32と、紐状部材32の第1端部とは異なる第2端部とHMD20と接続する接続部材33と、から構成される。
 特に、紐状部材32は、プレーヤPが転倒しそうになるなどプレーヤPが大きく動くことによってHMD20がプレーヤPから着脱された場合に、構造体10の床面に接地することを未然に防止することが可能な構造を備えている。
 具体的には、紐状部材32は、伸縮自在であって、ミュレーション制御装置から送信された所定の信号やデータをHMD20に転送するケーブルによって構成される。
 例えば、紐状部材32は、HMD20がプレーヤPから着脱された際に、当該HMD20が構造体10の床面に接地することを未然に防止する構造としては、HMD20がプレーヤPから着脱しても構造体10の床面に接地しない長さを有していること、当該紐状部材が伸縮可能なスパイラル状になっていること、又は、紐状部材の長さを調整するために当該ケーブルを巻き取る構造を備えている。
 なお、本実施形態のHMD20は、これらに限らず、プレーヤPに装着されて当該プレーヤPに視認可能に画像が表示されるものであればよく、シミュレーションを的確に行うことができれば透過型のHMD20であってもよい。
 また、HMD20とシミュレーション制御装置100とが無線通信によって信号又はデータの転送を行う場合には、紐状部材32は、ケーブルである必要はなく、所定の材質の紐そのものであってもよいし、バンドなどの幅のある帯状の部材であってもよい。
 さらに、吊持ユニット30の一部は、具体的には、連結部材31及び紐状部材32は、後述のように、転倒防止ユニット40と共通する部材となっている。
[2.3]転倒防止ユニット
 次に、上記の図4を用いて本実施形態のゲームシステムにおける転倒防止ユニット40について説明する。なお、例えば、本実施形態の転倒防止ユニット40は、本発明の転倒防止手段を構成する。
 転倒防止ユニット40は、HMD20を装着していること、歩行可能な移動経路Rが狭いこと、又は、その双方によって、プレーヤPがバランスを崩した場合、又は、当該バランスを崩しプレーヤPの意図に反して転倒した場合に、プレーヤPを支持するため、及び、プレーヤPの転倒を防止するために用いられる。
 すなわち、転倒防止ユニット40は、プレーヤPがバランスを崩した場合に、HMD20の破損やそれに基づくプレーヤPの負傷を防止するだけなく、ゲームのプレー中にHMD20が装着されていることによって生ずるプレーヤPの転倒(移動中にバランスを崩すことによる転倒など)をも防止することが可能な構成を有している。
 具体的には、転倒防止ユニット40は、例えば、上記の図4に示すように、プレーヤPを保持するホルダ部材41と、構造体10からプレーヤPを吊持する吊持部材と、を有し、吊持部材は、吊持ユニット30の部材、すなわち、上記の連結部材31及び紐状部材32によって構成される。
 ホルダ部材は、例えば、袖部分を有していないベストタイプの上着によって構成されており、プレー中に、プレーヤPに着用させることによってプレーヤPの状態を保持する。そして、ホルダ部材41は、紐状部材32の一端と連結されており、構造体10の天井15に形成される連結部材31を介してプレーヤPの身体を支持する構成を有している。
[2.4]吊持制御ユニット
 次に、上記の図1、図3及び図4を用いて本実施形態のゲームシステムにおける吊持制御ユニット50について説明する。なお、例えば、本実施形態の吊持制御ユニット50は、本発明の第1吊持位置変更手段及び第2吊持位置変更手段を構成する。
 本実施形態の吊持制御ユニット50は、構造体10内の実空間内におけるプレーヤPの移動に応じてプレーヤP自体及びHMD20の吊持位置を変更させるためのユニットであり、常に上方(すなわち、構造体10の天井方向)からHMD20及びプレーヤPを吊持する構成を有している。
 そして、吊持制御ユニット50は、HMD20及びプレーヤPを実空間内において適した位置で吊持し、プレーヤPの移動方向への移動や動きに対応させることが可能な構成を有するとともに、プレーヤPの安全性を確保しつつ、プレーヤPのシミュレーション中の負傷やHMD20の破損や故障を含めて不測の事態を防止することができるようになっている。
 したがって、吊持制御ユニット50は、プレーヤPが実空間内を自在に移動した場合であっても、HMD20に信号やデータを供給するケーブルやプレーヤPを保持する部材がプレーヤPの横や足下に存在することに基づく当該プレーヤPの移動の制限や不快感を的確に解消することができるとともに、プレーヤPの移動や動きに対しても常に的確にHMD20及びプレーヤPを吊持することができるようになっている。
 具体的には、吊持制御ユニット50は、待機エリア11からプレーエリア12にかけて一体的に構成されており、実空間内を移動するプレーヤP又は姿勢が変化するプレーヤPに対してHMD20及び転倒防止ユニット40を追随させる構成を有している。
 例えば、本実施形態の吊持制御ユニット50は、図1、図3及び図4に示すように、実空間を移動するプレーヤP毎に設けられ、待機エリア11(より詳細には、HMD20及び転倒防止ユニット40を装着した地点)からプレーエリア12にかけてプレーヤPの移動の移動方向に沿って形成されレール51と、吊持ユニット30の連結部材31と連結し、当該レール51上を摺動する摺動部材52と、によって形成される。
 特に、各レール51は、プレーヤPが移動経路Rに沿って移動する移動体験ゾーン14(すなわち、プレーヤPが直線的に前後に移動する直線移動が行われるゾーン)においては、移動経路R上の天井部分に形成されている。
 また、各レール51は、それ以外の実空間内のエリアにおいては、プレーヤPがHMD20及び転倒防止ユニット40の装着準備後やスタート位置への誘導などシミュレーションを実行する上で誘導される経路(以下、「誘導経路」という。)Sに沿って形成されたレール51によって構成される。
 なお、レール51においては、プレーヤPの移動に応じて吊持ユニット30の位置を変更させることができれば、その形状や材質などは限定されない。
 摺動部材52は、プレーヤPの移動や姿勢の変更などのプレーヤPの状態に応じて発生した張力に従ってレール51上を摺動し、吊持ユニット30を介してHMD20及びプレーヤPの吊持位置を変更させる。
 また、摺動部材52は、図1、図3及び図4に示すように、HMD20とシミュレーション制御装置100とを電気的に接続するケーブルの長さを短くして信号やデータの転送を的確に実施するため、シミュレーション制御装置100が固定される構造を有し、当該シミュレーション制御装置100を一体的に摺動させる構成を有している。
 なお、摺動部材52は、レール51上を摺動し、プレーヤPの移動や姿勢の変更などのプレーヤPの状態に応じて吊持ユニット30を介してHMD20及びの位置を変更させるための部材であれば、特に限定されない。
[2.5]シミュレーション制御装置
 次に、図6を用いて本実施形態のゲームシステムにおけるシミュレーション制御装置100について説明する。
 なお、図6は、本実施形態におけるシミュレーション制御装置100のブロック構成を示す構成図である。また、例えば、本実施形態のシミュレーション制御装置100は、本発明の画像生成手段及び演出制御手段を構成するとともに、撮像カメラ70とともに本発明の検出手段を構成する。さらに、本実施形態のシミュレーション制御装置100は、図6の構成に限定されず、その一部の構成要素を省略すること、他の構成要素を追加するなどの種々の変形実施が可能である。
 シミュレーション制御装置100は、例えば、パーソナルコンピュータなどのコンピュータ制御を行うことが可能な装置によって構成され、管理者が操作を行うキーボードなどの操作部(図示せず)が着脱可能に構成されている。
 また、シミュレーション制御装置100は、シミュレーション空間をプレーヤPに提供するため、ゲームが開始されると、プレーヤ状態及び経過時間に応じて、当該ゲームを進行させつつ、当該ゲームの進行状態に応じた画像を生成し、かつ、演出制御装置と連動して演出装置90~93を制御する構成を有している。
 特に、シミュレーション制御装置100は、撮像カメラ70から出力された画像を取得し、当該取得した画像からマーカユニット60におけるマーカを検出し、当該マーカが属するエリア及び他のマーカとの位置関係と、マーカが属するエリアにおける滞在時間と、に基づいてプレーヤ状態を検出する。
 具体的には、シミュレーション制御装置100は、各種のデータが記憶される記憶部170と、シミュレーションを実行するためのアプリケーションなどのデータが記憶される情報記憶媒体180と、ゲームの実行及びそれによってシミュレートする環境を作り出すための各種の処理を実行する処理部101と、通信部196と、を有している。
 記憶部170は、処理部101及び通信のワーク領域となるもので、その機能はRAM(DRAM、VRAM)などにより実現できる。特に、本実施形態の記憶部170は、主に、ゲームプログラムが記録される主記憶部172、画像バッファ174及びデータバッファ176を有している。
 主記憶部172は、主に、ゲームプログラムが記録される。また、データバッファ176は、自機のゲームデータが記憶される記憶領域であり、例えば主記憶の一部に設けられてソフトウェア的によって読み書きの制御が行われる構成でもよい。
 なお、ゲームプログラムは、ゲーム処理を実行するための命令コードが記述されたソフトウェアである。また、ゲームデータは、プレーヤの特定状態を判定するためのデータ、ゲームプログラムの実行の際に必要なデータであり、演出用オブジェクト80のデータ、または、各種の演出装置90~93の制御プログラムなどである。
 情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、HDD(ハードディスクドライブ)、または、メモリ(ROM等)などにより実現できる。
 なお、処理部101は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。すなわち、情報記憶媒体180には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
 通信部196は、ケーブルを介してHMD20との間で通信を行うとともに、有線又は無線のネットワークを介して撮像カメラ70及び演出装置90~93との間で通信を行うものであり、その機能は、通信用ASICまたは通信用プロセッサなどのハードウェア、及び、通信用ファームウェアにより実現できる。
 なお、本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、図示しないホスト装置(サーバシステム)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(または、記憶部170)に配信されてもよい。このようなホスト装置による情報記憶媒体の使用も本発明の範囲内に含めることができる。
 処理部101(プロセッサ)は、ゲーム開始からのタイミング及び撮像カメラ70から出力された画像のデータ(以下、「画像データ」という。)及びプログラムなどに基づいて、ゲーム演算処理、画像生成処理、音生成処理及び演出制御処理などを行う。
 処理部101は、記憶部170をワーク領域として各種処理を行う。この処理部101の機能は、各種プロセッサ(CPU、GPU等)、ASIC(ゲートアレイ等)などのハードウェア及びプログラムにより実現できる。
 処理部101は、ゲーム演算部110、オブジェクト空間設定部111、状態検出処理部112、移動・動作処理部113、演出制御処理部114、通信制御部120、画像生成部130及び音生成部140を含む。なおこれらの一部を省略する構成としてもよい。
 ゲーム演算部110は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、シミュレーション空間を形成する上で必要なオブジェクト(演出用オブジェクト80も含む。)を配置する処理、オブジェクトを表示する処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、及び、プレーヤ状態が特定状態(具体的には、ゲームの進行上予め該当する状態)であるか否かを判定する判定処理などがある。
 特に、本実施形態のゲーム演算部110は、検出されたプレーヤ状態(具体的には、プレーヤPの実空間内おける位置及び当該プレーヤPの姿勢)に応じてプレーヤPの視認方向及び視認するエリア(以下、「視認エリア」という。)を検出するとともに、当該検出した視認方向、視認エリア、現在のゲーム環境及び当該ゲームの進行状況に応じて3次元空間におけるプレーヤPから見える空間を設定する。
 また、ゲーム演算部110は、検出されたプレーヤ状態に応じて、又は、ゲーム開始からの所定の経過時間に基づいて、ゲームの終了条件が満たされたか否かを判定し、当該ゲームの終了条件が満たされたと判定した場合にゲームを終了させる。
 一方、ゲーム演算部110は、データバッファ176に予め記憶されたデータに基づいて、検出されたプレーヤ状態に応じてプレーヤPがゲームの進行上予め該当する特定状態になったか否かを判定し、その結果に応じてゲームの進行を行うとともに、演出制御処理部114、画像生成部130、及び、音生成部140に該当する演出を行うための指示を行う。
 オブジェクト空間設定部111は、演出用オブジェクト80、建物、移動経路R、柱、壁、マップ(地形)などの所定のシミュレーション空間を構築するための各種オブジェクト(ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブで構成されるオブジェクト)をオブジェクト空間(すなわち、仮想3次元空間)に配置設定する処理を行う。
 すなわち、ワールド座標系でのオブジェクトの位置や回転角度(向き、方向と同義)を決定し、その位置(X、Y、Z)にその回転角度(X、Y、Z軸回りでの回転角度)でオブジェクトを配置する。
 特に、本実施形態においては、演出用オブジェクト80としては、動物などのシミュレーション空間内に登場する移動可能なオブジェクト(以下、「演出用移動オブジェクト」という。)及びシミュレーション空間内に固定されたオブジェクトをプレーヤPに認識させるための実空間内に実際に存在させるためのオブジェクト(以下、「演出用固定オブジェクト」という。)を含み、オブジェクト空間設定部111は、これらの演出用オブジェクト80をシミュレーション空間に配置する。
 なお、本実施形態においては、演出用移動オブジェクトには、実空間内において実際に移動するとともに、シミュレーション空間内においても移動するオブジェクトとして画像化されるオブジェクト(以下、「真性移動オブジェクト」という。)の他に、当該実空間内においては移動せず、画像化された際にシミュレーション空間内おいてのみ移動するオブジェクト(以下、「擬似的移動オブジェクト」という。)も含まれる。
 状態検出処理部112は、プレーヤPを画像化した複数の撮像カメラ70からそれぞれ出力されたプレーヤPの画像(以下、「プレーヤ画像」という。)内における同タイミングのプレーヤPの両手及び両足と、HMD20の上部と、に配設されたマーカユニット60の位置を特定する。
 そして、状態検出処理部112は、特定した各画像内における各マーカユニット60の位置、各マーカユニット60における他のマーカユニット60との位置関係性、及び、各マーカユニット60の各位置での滞在時間の各情報に基づいて、プレーヤPの実空間内における位置及び姿勢を示すプレーヤ状態を検出する。
 特に、撮像カメラ70毎に出力された画像に対して予め定められた実空間内の複数のエリアが設定されており、状態検出処理部112は、各マーカユニット60がいずれのエリアに属しているかを同タイミングにおける各プレーヤ画像に含まれるマーカユニット60の位置を検出することによって、各マーカユニット60の実空間内における位置を画像フレーム毎に検出する。
 また、状態検出処理部112は、フレーム毎に当該各マーカユニット60の実空間内における位置を検出しつつ、以前のフレームの各マーカユニット60の位置と比較し,複数のフレームにおいて同一の位置に存在するとして検出した各マーカユニット60におけるフレーム数に基づいて、各マーカユニット60の同一位置における滞在時間を検出する。
 そして、状態検出処理部112は、同タイミングにおける各マーカユニット60における実空間における位置、及び、当該各マーカユニット60のそれまでの滞在時間に基づいて、プレーヤPの実空間内における姿勢を検出する。
 例えば、本実施形態の状態検出処理部112は、
(1)頭部、両手又は両足などのプレーヤPの所与の部位の位置、高さ及び時間の少なくとも1の部位の情報(以下、「部位情報」という。)に基づいて、プレーヤPの実空間内における位置(すなわち、実空間内におけるプレーヤPの中心位置(重心位置)の座標)を特定し、
(2)プレーヤPの部位情報に基づいて、プレーヤPの頭、胴体及び手足などの各部位の位置関係から構築されるプレーヤPの姿勢を特定し、又は、
(3)(1)及び(2)の双方を特定し、
プレーヤPの位置、姿勢又は双方に基づいてプレーヤ状態を検出する。
 そして、状態検出処理部112は、
(A)プレーヤPの頭の位置に基づいて、実空間におけるプレーヤPの視点位置やその方向を検出すること、
(B)プレーヤPの手の位置又は足の位置に基づいて、実空間におけるプレーヤPの立ち位置や姿勢を検出すること、及び、
(C)検出したプレーヤPの立ち位置や姿勢に基づいて、プレーヤPをモデリングすること(ボーンの形成)
実行する。
 なお、例えば、ユーザの部位には、当該ユーザの頭部、手又は足を含み、部位情報には、各部位の位置(ユーザ移動空間上の位置座標)、向き、形状(平面形状や立体形状)又は色(グレースケールを含む。)などの各種情報を含む。
 他方、状態検出処理部112は、演出用移動オブジェクトにおいても、プレーヤPと同様に、当該演出用移動オブジェクトに配設されたマーカユニット60の実空間における位置を特定し、当該したマーカユニット60の実空間内における位置に基づいて、当該演出用移動オブジェクトの実空間内における位置(中心又は重心の位置)、及び、必要に応じてその状態を検出する。
 移動・動作処理部113は、検出されたプレーヤ状態、現在のゲーム環境、ゲームの進行状況又はこれらの2以上の情報に基づいて、プレーヤPと演出用オブジェクト80との位置関係を算出し、当該算出したプレーヤPと演出用オブジェクト80との位置関係に基づいて演出用オブジェクト80の移動・動作演算(移動・動作シミュレーション)を行う。
 すなわち、移動・動作処理部113は、検出したプレーヤ状態等に基づいて、各種のオブジェクトをオブジェクト空間内で移動させること、及び、オブジェクトを動作(モーション、アニメーション)させることの各処理を行う。
 具体的には、移動・動作処理部113は、各種のオブジェクトの移動情報(位置、回転角度、速度、または、加速度)及び動作情報(オブジェクトを構成する各パーツの位置、または、回転角度)を、1フレーム(1/60秒)毎に順次求めるシミュレーション処理を行う。
 なお、フレームは、オブジェクトの移動・動作処理(シミュレーション処理)及び画像生成処理を行う時間の単位である。
 また、移動・動作処理部113は、演出用移動オブジェクトに対しては、実空間内における位置、プレーヤPとの実空間内における位置関係、演出用移動オブジェクトの状態(演出用移動オブジェクトの移動方向やその姿勢)、現在のゲーム環境やゲームの進行状況に基づいて、シミュレーション空間における移動情報及び動作情報を算出する。
 特に、移動・動作処理部113は、演出用移動オブジェクトの擬似的移動オブジェクトについては、ユーザ状態に応じて、実空間の位置や状態と連動させつつ、又は、当該実空間の位置や状態とシームレスに画像化可能に、擬似的移動オブジェクトの実空間内における位置、状態又はその双方に基づいて、シミュレーション空間における移動情報及び動作情報を算出する。
 例えば、擬似的移動オブジェクトが猫などの動物のオブジェクトの場合には、移動・動作処理部113は、当該擬似的移動オブジェクトが実空間に配置されている位置とは異なる位置で動作をし、又は、異なるエリアを動き回り、所定のタイミングで当該擬似的移動オブジェクトが実空間に配置されている位置に戻り、実空間に配置されている状態と同様な状態となるための移動情報及び動作情報の演算を行う。
 また、このような場合に、移動・動作処理部113は、当該擬似的移動オブジェクトが実空間に配置されている位置で画像化するものの、その姿勢や仕草などの動作を画像化するための移動情報及び動作情報の演算を行う。
 より詳細には、移動・動作処理部113は、
(1)ゲーム開始時に、実空間上の移動経路Rの終点に擬似的移動オブジェクトとしての猫オブジェクトが配置されている場合であっても、当該猫オブジェクトがプレーヤPのそばを動き回る擬似的な動作、
(2)プレーヤPが移動経路Rの終点に向かって一定の距離進んだ際に、実空間上に配置されている位置に向かって猫オブジェクトが移動し、当該配置位置で実空間上の状態と同一の状態となる疑似的な動作から実際の状態への移行動作、
(3)プレーヤPが猫オブジェクトを抱えた際の種々の仕草など実空間上において変化しない疑似的な動作、
(4)プレーヤPが猫オブジェクトを抱えた状態から手放した際に、当該猫オブジェクトが落下する場合に実空間上の移動と連動する動作、
を画像化するための移動情報及び動作情報の演算を行う。
 演出制御処理部114は、プレーヤ状態(特定状態含む。)、演出用移動オブジェクトの状態、現在のゲーム環境及びゲームの進行状況に応じて各種の演出装置90~93を制御するための処理を実行する。具体的には、演出制御処理部114は、各演出装置90~93における電源のON及びOFF、能力の変更、又は、予め設定されたプログラムに基づく制御を実行する。
 例えば、演出制御処理部114は、演出装置90~93が送風機90の場合には、送風の強弱含む駆動制御及び停止制御、演出装置90~93が温度調整装置の場合には、温度の調整、演出装置90~93が移動経路Rの場合には、当該移動経路R内に仕込まれた揺動ユニット、又は、振動ユニットの制御などプレーヤPの状態に応じて変化させる必要のある演出装置90~93を制御する。
 通信制御部120は、HMD20に送信するデータ(主にシミュレーション空間をプレーヤPに見せるための画像データ)を生成する処理等を行う。また、通信制御部120は、各演出装置90~93を制御するための制御信号を送受信する。
 画像生成部130は、処理部101で行われる種々の処理(ゲーム処理)の結果やプレーヤ状態(特定状態を含む。)などの各種の情報に基づいて描画処理を行い、これにより画像(特にシミュレーション空間をプレーヤPに見せるための画像)を生成し、通信制御部120を介してHMD20に出力する。
 特に、画像生成部130は、まずオブジェクト(モデル)の各頂点の頂点データ(頂点の位置座標、テクスチャ座標、色データ、法線ベクトルまたはα値等)を含むオブジェクトデータ(モデルデータ)を取得し、当該取得したオブジェクトデータ(モデルデータ)に含まれる頂点データに基づいて、頂点処理(頂点シェーダによるシェーディング)を実行する。
 なお、画像生成部130は、頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理(テッセレーション、曲面分割、ポリゴン分割)を行うようにしてもよい。
 また、画像生成部130は、頂点処理としては、頂点処理プログラム(頂点シェーダプログラム、第1のシェーダプログラム)に従って、頂点の移動処理や、座標変換(ワールド座標変換、カメラ座標変換)、クリッピング処理、または、透視変換等のジオメトリ処理を実行し、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更(更新、調整)する。
 そして、画像生成部130は、頂点処理後の頂点データに基づいてラスタライズ(走査変換)を実行し、ポリゴン(プリミティブ)の面とピクセルとを対応付ける。
 一方、画像生成部130は、ラスタライズに続いて、画像を構成するピクセル(表示画面を構成するフラグメント)を描画するピクセル処理(ピクセルシェーダによるシェーディング、フラグメント処理)を実行する。
 特に、ピクセル処理では、画像生成部130は、ピクセル処理プログラム(ピクセルシェーダプログラム、第2のシェーダプログラム)に従って、テクスチャの読出し(テクスチャマッピング)、色データの設定/変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を記憶部170(ピクセル単位で画像情報を記憶できるバッファ。VRAM、レンダリングターゲット)に出力(描画)する。
 また、ピクセル処理では、画像生成部130は、画像情報(色、法線、輝度、α値等)をピクセル単位で設定または変更するパーピクセル処理を行う。これにより、オブジェクト空間内においてプレーヤPから見える画像を生成する。
 さらに、画像生成部130は、頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン(プリミティブ)の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ(頂点シェーダやピクセルシェーダ)により実現する。
 なお、プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
 他方、画像生成部130は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
 特に、画像生成部130は、ジオメトリ処理としては、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理を実行する。
 そして、画像生成部130は、ジオメトリ処理後(透視投影変換後)のオブジェクトデータ(オブジェクトの頂点の位置座標、テクスチャ座標、色データ(輝度データ)、法線ベクトル、或いはα値等)を、記憶部170に記憶する。
 また、画像生成部130は、記憶部170に記憶されるテクスチャ(テクセル値)をオブジェクトにマッピングするための処理であるテクスチャマッピングを実行する。具体的には、画像生成部130は、オブジェクトの頂点に設定(付与)されるテクスチャ座標等を用いて記憶部170からテクスチャ(色(RGB)、α値などの表面プロパティ)を読み出す。
 そして、画像生成部130は、2次元の画像であるテクスチャをオブジェクトにマッピングする。画像生成部130は、この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間などを行う。
 さらに、画像生成部130は、隠面消去処理としては、描画ピクセルのZ値(奥行き情報)が入力されるZバッファ(奥行きバッファ)を用いたZバッファ法(奥行き比較法、Zテスト)による隠面消去処理を行う。
 すなわち、画像生成部130は、オブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Zバッファに入力されるZ値を参照する。そして参照されたZバッファのZ値と、プリミティブの描画ピクセルでのZ値とを比較し、描画ピクセルでのZ値が、プレーヤPから見て手前側となるZ値(例えば小さなZ値)である場合には、その描画ピクセルの描画処理を行うとともにZバッファのZ値を新たなZ値に更新する。
 そして、画像生成部130は、α値(A値)に基づく半透明合成処理(通常αブレンディング、加算αブレンディング又は減算αブレンディング等)のαブレンディング(α合成)を実行する。
 なお、α値は、各ピクセル(テクセル、ドット)に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度(透明度、不透明度と等価)、バンプ情報などとして出力できる。
 音生成部140は、プレーヤ状態(特定状態を含む。)など処理部101で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音(シミュレーション空間における立体音響としての環境音)を生成し、HMD20を介してヘッドフォン61に出力する。
[2.6]プレーヤ用のマーカユニット及び撮像カメラ
 次に、上記の図1及び図4を用いて本実施形態のゲームシステムにおけるプレーヤ用のマーカユニット60及び撮像カメラ70について説明する。なお、例えば、本実施形態の撮像カメラ70は、シミュレーション制御装置100とともに本発明の検出手段を構成する。
 本実施形態においては、上述のように、プレーヤ状態を検出するために、各プレーヤPには、複数の部位にマーカユニット60を配設する。具体的には、本実施形態のマーカユニット60は、上記の図1及び図4に示すように、頭部、両手及び両足の複数の部位に配設される。
 特に、各マーカユニット60は、反射シートなどの表面が反射する材料によって形成され、かつ、球場のマーカによって形成されている。例えば、各マーカユニット60は、光が照射された場合に、当該光を反射して白く光る又は特定の色によって光る構成を有している。
 具体的には、各マーカユニット60は、頭部検出用マーカユニット60a、右手又は左手検出用マーカユニット60b、及び、右足又は左足検出用マーカユニット60cから構成される。
 なお、本実施形態の構造体10内の移動体験エリアには、各マーカユニット60に光を照射させる図示しない光源ユニットが設けられている。
 また、マーカユニット60の光る色は、特に限定されないが、複数のプレーヤPが移動体験エリアに同時に存在する場合には、プレーヤP毎に色を変えてもよいし、マーカユニット60が装着された部位毎にマーカユニット60の光る色を変えてもよい。
 各撮像カメラ70は、例えば、図1に示すように、それぞれ、構造体10内の予め設定された位置に固定配設され、画角内に撮像されたエリアを画像化してその画像データをシミュレーション制御装置100に順次出力する。
 特に、本実施形態の各撮像カメラ70は、実空間内のプレーヤPが移動する移動範囲(具体的には、移動経路R)の外側に形成されている。
 そして、各撮像カメラ70は、プレーエリア12を画像化し、当該プレーエリア12内に移動し、姿勢を変更し、又は、その双方を実施するプレーヤPを全て画像化することが可能に配置されている。
 また、本実施形態の各撮像カメラ70は、CCDなどの所定の撮像素子と、所定の焦点距離を有するレンズと、を備え、予め定められた画角及び焦点距離によって当該画角内のエリアを画像化し、当該画像化した画像データを順次シミュレーション制御装置100に出力する。
 なお、プレーヤPがプレーエリア12内を自由に移動する事ができる場合には、プレーエリア12を全て画像化する必要があり、当該プレーエリア12の撮像漏れがないように各撮像カメラ70が配設される。
 また、各撮像カメラ70は、有色のマーカユニット60を検出するためには、カラー形式のカメラを用いることが要求される。
 また、マーカユニット60の数及び配設位置は、上記に限らない。撮像カメラ70によって撮像可能な位置であれば、基本的にはその数配置位置は限定されない。
[2.7]演出用オブジェクト及び演出装置
 次に、上記の図1、図3図4、図7A及び図7Bを用いて本実施形態のゲームシステムにおける演出用オブジェクト80及び演出装置90~93について説明する。なお、図7Aは、本実施形態の演出装置である移動経路部材93の一例を示す側面図であり、図7Bは、本実施形態の演出用オブジェクト及び演出装置である移動経路部材の一例を示す図であってその動作を説明するための図である。また、例えば、本実施形態の演出オブジェクト及び演出装置90~93は、本発明の演出手段を構成する。
 本実施形態の演出用オブジェクト80及び演出装置90~93は、構造体10内に形成された実空間内に配設されるとともに、シミュレーション制御装置100の制御の下、シミュレーション画像と連動することによってプレーヤPに所与の演出を体感させる構成を有している。
 特に、演出用オブジェクト80及び演出装置90~93は、屋外空間や屋内空間のみならず、高所、閉所、危険な場所、特殊空間、暑い場所又は寒い場所などのシミュレーション空間を体感させるための演出用オブジェクト又は演出装置であって、シミュレーション画像と連動させてプレーヤPがシミュレーションによって見えている状況を体感的にも作り出し、臨場感のあるシミュレーションを提供するために用いられる。
 具体的には、本実施形態の演出用オブジェクト80は、上述のように、演出用移動オブジェクト及び演出用固定オブジェクトを含み、演出用移動オブジェクトには、真性移動オブジェクト及び擬似的移動オブジェクトが含まれる。
 そして、疑似的移動オブジェクトについては、実空間内における演出用オブジェクト80の状態とは異なる状態で画像化される。
 演出用移動オブジェクトは、実空間内における位置、プレーヤPとの実空間内における位置関係、及び、演出用移動オブジェクトの状態(演出用移動オブジェクトの移動方向やその姿勢)を検出するためのマーカユニット60dを有している。
 そして、演出用移動オブジェクトは、マーカユニット60dを撮像カメラ70によって撮像させることによって、プレーヤPの各部位と同様に、シミュレーション制御装置100に実空間の位置、状態及びその双方を認識させる。
 例えば、演出用オブジェクト80のマーカユニット60dとしては、プレーヤPの各部位に配設されるマーカユニット60a、b、cと同じものが用いられる。ただし、プレーヤPのマーカユニット60a、b、cの色又は記憶されている各種の情報を区別することによって複数のプレーヤP又はそのゲームに登場する演出用オブジェクト80毎に異なることが好ましい。
 なお、演出用オブジェクト80の内部に振動ユニットを配設し、シミュレーション制御装置100において当該振動ユニットの振動制御を行うことによって、シミュレ-ション画像と連動して又は単独でプレーヤPを驚かす演出を実行してもよい。
 演出装置90~93は、シミュレーション空間を、より現実的な空間として確実に擬似的に創り出すための装置であって、プレーヤPに対して所与の演出効果を直接提供する装置である。
 特に、演出装置90~93は、シミュレーション画像に連動させつつ、実空間に単に配置され、当該配置とその構造によってプレーヤPに所与の演出効果を提供する構造型演出装置と、検出されたプレーヤ状態、ゲーム環境及びゲームの進行状況に応じて所与の演出効果を提供する連動型演出装置を含む。
 そして、連動型演出装置には、例えば、図1に示す送風機90、及び、図示しない温度調整装置、照明装置、又は、振動装置などのシミュレーション空間の環境を形成するための演出装置を含む。
 また、構造型演出装置には、移動経路Rを構成する移動経路部材93、スタート位置を認識されるスタートブロック(図示しない)、又は、エレベータ内を認識させるためのバネ床パネル92など壁面や床面の凹凸又は素材などのプレーヤPに接触感を体感させるための部材を含む。
 例えば、送風機90は、上記の図1及び図4に示すように、プレーヤPがスタートゾーン13から移動体験ゾーン14にゾーンが切り替わったとき、当該プレーヤPの前面に向けて送風を出力し、また、移動経路Rに移動した場合にプレーヤPの下から当該プレーヤPの正面に向けて送風を出力する構成を有している。
 移動経路部材93は、上記の図3、図7A及び図7Bに示すように、予め定められたプレーヤPが移動する移動経路R下に設けられ、シミュレーション画像に応じて振動可能又は揺動可能に形成された演出可能領域93aが構成される。
 すなわち、演出可能領域93aにおける移動経路部材93は、図7Aに示すように、構造体10の床面(具体的には、非移動経路NR)から異なる高さ(天井方向の高さ)によって形成されている。
 そして、演出可能領域93aにおける移動経路部材93は、プレーヤPが移動経路部材93上に歩行開始するなど所与の条件に基づき演出可能領域を振動駆動又は揺動駆動をする複数の駆動ユニット95によって構成されている。
 特に、各駆動ユニット95は、それぞれ、移動経路部材93が床面と水平方向であって移動経路方向(プレーヤPの進行方向)に対して直角となる方向に回転する車輪96と、車輪96が接地する面から所定の高さ(例えば、5mm程度)の隙間Dを有する移動経路部材93を支持する支持板97と、から構成されている。
 そして、駆動ユニット95は、演出可能領域93aにおいて移動経路Rに沿って他の駆動ユニット95と隣接されて配設される。
 なお、演出可能領域93aにおける移動経路部材93において、全部の移動経路Rが駆動ユニット95によって構成されていてもよいし、当該全部の移動経路Rが駆動しない移動経路部材93との組み合わせによって構成されていてもよい。そして、図7Bには、駆動ユニット95が連続的に移動経路Rを構成する例を示す。
 さらに、駆動ユニットは、図7A及び図7Bに示すように、自立的に振動駆動又は揺動駆動するように構成されていてもよいし、演出制御処理部114によって機械的に振動駆動及び揺動駆動が制御されてもよい。
 一方、演出装置は、シミュレーション空間のみ疑似的にその構造又は形態を変化させてもよい。すなわち、演出用オブジェクト及び演出装置は、実空間上においては、構造又は形態の変化は生じていないが、シミュレーション空間のみ疑似的にその構造又は形態を変化させることも可能である。
 例えば、所定のイベントが発生した場合に、画像生成部130は、移動経路部材93の幅を疑似的に狭くすること、壁17が疑似的に近づいてくること、又は、天井15が疑似的に下がっていることなど、シミュレーション空間のみ疑似的にその構造又は形態を変化させてもよい。
[3]ゲームシステムの動作
 次に、図8及び図9を用いて本実施形態のおけるゲームシステム1の動作について説明する。なお、図8及び図9は、本実施形態のおけるゲームシステム1の動作を示すフローチャートである。
 本動作は、高所における恐怖体験をシミュレートする高所恐怖体験ゲームを用いて説明する。特に、高所恐怖体験ゲームは、プレーヤPがスタートゾーン13からスタートして所定の幅の移動経路部材93上を移動させ、当該移動経路部材93上の端点(スタートゾーン13から遠い点)に存在する演出用オブジェクト80(例えば猫)を抱えて(救出して)当該スタートゾーン13まで制限時間内に戻ってくるゲームである。
 また、プレーヤPは、HMD20及び転倒防止ユニット40を既に装着しており、ハードウェア的な準備は整っているものとする。
 まず、ゲーム演算部110は、HMD20及び転倒防止ユニット40が装着されたプレーヤPの所定の位置(具体的にはスタートゾーン13内)に存在することを前提に、管理者の操作に基づく図示しないボタンの押し下げの有無(すなわち、ゲーム開始)を検出する(ステップS101)。
 なお、ゲーム演算部110は、ステップS101の処理として、状態検出処理部112によるプレーヤ状態の検出を開始するとともに、プレーヤPが所定の位置に存在するか否かを検出してゲーム開始を検出してもよい。
 次いで、ゲーム演算部110は、高所恐怖体験ゲームに関する各種の演算を開始するとともに、オブジェクト空間設定部111、状態検出処理部112、移動・動作処理部113、演出制御処理部114、画像生成部130及び音生成部140は、それぞれ、高所恐怖体験ゲームにおけるシミュレーションに関する各処理を開始する(ステップS102)。
 具体的には、
(1)状態検出処理部112は、プレーヤPの各部及び演出用オブジェクト80に配設されたマーカユニット60の検出を開始しつつ、プレーヤ状態及び演出用オブジェクト80の状態の検出を開始し、
(2)オブジェクト空間設定部111及び移動・動作処理部113は、プレーヤ状態、演出用オブジェクト80の状態、ゲーム環境及びゲームの進行状況に応じてプレーヤPから見えるシミュレーション空間の構築を開始し、
(3)演出制御処理部114は、プレーヤ状態、演出用オブジェクト80の状態、ゲーム環境及びゲームの進行状況に応じて該当する演出装置(送風機90、自動扉91及びバネ床パネル92)の制御を開始し、
(4)画像生成部130及び音生成部140は、プレーヤ状態、演出用オブジェクト80の状態、ゲーム環境及びゲームの進行状況に応じて、シミュレーション画像の生成及びそれに伴う音の生成を開始する。
 なお、ステップS102の処理移行は、ゲームの終了が判定されるまで、開始された各処理は継続して実行される。
 次いで、画像生成部130は、エレベータ内の画像をHMD20に表示するとともに、演出制御処理部114は、スタートゾーン13におけるバネ床パネル92を制御し、スタートゾーン13におけるシミュレーション処理を実行する(ステップS103)。
 次いで、演出制御処理部114は、所定のタイミング(スタートゾーン13におけるシミュレーション処理の終了)を検出すると(ステップS104)、演出制御処理部114は、ゲーム開始処理を実行するとともに(ステップS105)、ゲーム演算部110は、ゲーム開始のカウントダウンを開始する(ステップS106)。
 例えば、演出制御処理部114は、ゲーム開始処理としては、
(1)バネ床パネル92の制御の終了、
(2)スタートゾーン13と移動体験ゾーン14の間に形成された自動扉91(すなわち、エレベータの扉)を閉状態から開状態への制御、及び、
(3)送風機90による送風制御
などの該当する演出装置の制御を実行する。
 次いで、ゲーム演算部110は、カウントダウンが終了したことを検出しつつ(ステップS107)、状態検出処理部112は、スタートゾーン13を超えて移動体験ゾーン14に移動したか否かの判定(以下、「スタートエラー判定」という。)を実行する(ステップS108)。
 このとき、状態検出処理部112は、カウントダウン終了前に、スタートゾーン13を超えて移動体験ゾーン14に移動したことを判定したと判定した場合には、HMD20に警告を通知し(ステップS109)、ステップS107の処理に移行する。
 なお、本処理においては、状態検出処理部112は、ステップSゲーム開始動作の中断などのそれに伴う演出を実行して本動作をステップS105の処理からやり直してもよいし、ゲームを中断させてもよい。
 また、ゲーム演算部110は、カウントダウンが終了したことを検出すると、高所恐怖体験ゲームの実行に関する各種の演算を開始させる(ステップS110)。具体的には、ゲーム演算部110は、制限時間のカウントを開始し、また、ゲーム終了処理の判定を開始する。
 次いで、ゲーム演算部110は、ゲームの終了条件を具備したか否かを判定する(ステップS111)。具体的には、ゲーム演算部110は、状態検出処理部112と連動してプレーヤ状態若しくは演出用オブジェクト80の状態が終了条件を満たしたか否か、及び、制限時間が「0」になったか否かを判定する。
 例えば、ゲーム演算部110は、検出されたプレーヤ状態に基づいて、プレーヤPが移動経路R上から外れた特定状態となったか、及び、移動中に救出すべき演出用オブジェクト80を落下させ特定状態となったかなど終了条件を満たす特定状態となったか否かを判定する。
 次いで、ゲーム演算部110は、ゲーム終了条件を具備していないと判定した場合には状態検出処理部112と連動して、又は、ゲームの進行状況に応じて、イベントの開始条件を具備したか否かを判定する(ステップS112)。
 具体的には、ゲーム演算部110は、移動経路部材93上に移動したか否か、当該移動経路部材93上の第1位置(演出用オブジェクト80である猫オブジェクトが最初に配置された位置)まで到達したか否か、実空間上の演出用オブジェクト80である猫オブジェクトが配置された位置(移動経路部材93の終点)まで到達した否かなどプレーヤが所定の特定状態であるか否かを含めてイベントの開始条件を判定する。
 このとき、ゲーム演算部110によって当該イベントの開始条件を具備したと判定された場合には、演出制御処理部114、画像生成部130及び音生成部140は、検出したイベントに応じた処理を実行し(ステップS113)、ゲーム演算部110によって当該イベント条件を具備していないと判定された場合には、ステップS111の処理に移行する。
 具体的には、
(1)プレーヤPが、移動経路部材93上に移動したとする特定状態と判定された場合には、演出制御処理部114は、プレーヤPの下側に配設された送風機90を可動させて下からプレーヤPに風を送る演出を実行し、
(2)プレーヤPが、移動経路部材93上の第1位置(演出用オブジェクト80である猫オブジェクトが最初に配置された位置)まで到達したとする特定状態と判定された場合には、画像生成部130及び音生成部140は、猫オブジェクトが移動経路Rの終点まで逃げていく演出を実行し、
(3)プレーヤPが、猫オブジェクトが配置された位置まで到達したとする特定状態であると判定された場合には、当該猫オブジェクトを救出する演出を実行し、
(4)プレーヤPが、猫オブジェクトを抱えて救出したとする特定状態であると判定された場合には、画像生成部130及び音生成部140は、移動方向がスタートゾーン13に向かう方向になった場合には、移動経路部材93の幅を狭くする演出を実行し、
(5)プレーヤP、が猫オブジェクトを抱えた状態でスタートゾーン13に到達したとする特定状態であると判定された場合には、エレベータから脱出するなどのゲームクリアに関する演出を実行する。
 一方、ゲーム演算部110は、当該ゲームの終了条件を具備したと判定した場合には、画像生成部130及び音生成部140は、ゲーム終了に関する演出を行うための画像及び音を生成して出力し(ステップS114)、本動作を終了させる。なお、ゲーム終了に関する演出としては、ゲームの終了条件に応じて異なる演出が実行される。
[4]変形例
[4.1]変形例1
 本実施形態は、ゲームとしてシミュレーション空間におけるシミュレーション処理が実行されているが、ゲームに関係なく、単なるシミュレータとして実施してもよい。
[4.2]変形例2
 本実施形態は、マーカユニット60及び撮像カメラ70を用いてプレーヤ状態を検出しているが、移動経路R又は非移動経路NRに配設された接触センサなどのセンサユニットによってプレーヤ状態を検出してもよい。
 例えば、状態検出処理部112は、移動経路R上に設けられたセンサユニットによってプレーヤPを検出した場合には、当該センサユニットの位置にプレーヤPが存在すると判断する。
 また、状態検出処理部112は、非移動経路NR上に設けられたセンサユニットによってプレーヤPを検出した場合には、当該センサユニットの位置で移動経路から外れたと検出して、移動経路の移動を失敗としてゲーム終了を検出してもよい。
 一方、本実施形態は、マーカユニット60を利用せずに、撮像カメラ70に撮像されたプレーヤ画像に応じてユーザの実空間上の位置及びその姿勢を検出してもよい。例えば、状態検出処理部112は、各撮像カメラ70から出力された各画像に基づいて、各撮像カメラ70に対する奥行き方向を算出するとともに、当該プレーヤPのボーンデータを生成する。
 そして、状態検出処理部112は、検出された各撮像カメラ70に基づくプレーヤPの奥行き方向の位置によって、各プレーヤの実空間上の位置を検出するとともに、生成してボーンデータによってプレーヤPの姿勢を検出する。
[4.3]変形例3
 本実施形態においては、吊持制御ユニット50は、1の軸によって摺動可能なレール51及び摺動部材52が形成されているが、図10Aに示すように2軸又は3軸以上によってレール及び摺動部材が形成されていてもよいし、図10Bに示すように、レール51に変えて3次元的に吊持可能なアームによって形成されていてもよい。
 なお、図10A及び図10Bは、本実施形態の吊持制御ユニット50における変形例を示す図であり、具体的には、図10Aは、2軸によってレール及び摺動部材が形成されている吊持制御ユニット50の例を示し、及び、図10Bは、3次元的に吊持ユニット30を吊持可能なアームによって構成されている吊持制御ユニット50の例を示す。
 例えば、吊持制御ユニット50は、図10Aに示すように、実空間内において平面的(天井面に平行)に移動する一対の第1レール55a、55bと当該第1レール55a、55bと直交して実空間において平面的に移動する第2レール56とによって構成さていてもよい。
 すなわち、吊持制御ユニット50は、移動経路Rが実空間内において、二次元的又は三次元的に移動可能な場合には、予め定められた2つの軸に沿って吊持ユニット30の吊持位置を変更する2つのレールの組合せ、又は、当該2つのレールと、更に実空間において上下方向に吊持ユニット30の位置を変更させるためのレールと、の組み合わせを有していてもよい。
 具体的には、吊持制御ユニット50は、実空間内においてプレーヤPが平面的に移動する平面移動が行われる場合には、予め定められた2軸方向(好ましくは2軸は直角)に沿ってそれぞれ形成された2つのレールや2方向に移動可能なアームによって構成すること、及び、プレーヤPにおいて、プレーヤPが上下方向(例えば階段などの段差移動による構造体10の天井方向又は床面方向)に移動する上下移動が行われた場合には、平面移動に加えて予め定められた上下方向に沿って形成されたレールや当該方向に移動可能なアームによって構成する。
 また、吊持制御ユニットは、図10Bに示すように、上記のレールに代えて、平面若しくは3次元的に可動するアーム57によって構成されていてもよい。なお、平面的に可動させる場合には、アーム57のベースに回転台58を設け、プレーヤPの移動方向に沿って又は3次元的に可動させる場合には、さらにアーム57を上下方向に回転させる回転機構59を設ければよい。
[4.4]変形例4
 本実施形態の吊持ユニット30は、プレーヤ状態に応じて吊持制御ユニット50によって実空間内を摺動可能に移動するようになっているが、シミュレーション空間において、プレーヤPが当該実空間内を移動する必要が無く(例えば着座してゲーム等を実行する場合)、当該実空間内を移動することと連動する必要が無い場合には、例えば、図11に示すように、直接天井15に連結されていてもよい。
 例えば、吊持ユニット30は、図11に示すように、構造体10の天井15に形成される連結部材31と、当該連結部材31に取り付けられる形状を有する紐状部材32と、紐状部材の第1端部とは異なる第2端部とHMD20と接続する接続部材33と、から構成される。
 すなわち、当該変形例においては、図11に示すように、紐状部材32が構造体10の天井15の部分に直接接続することになる。なお、図11は、本実施形態の吊持ユニット30における変形例を説明するための図であり、プレーヤPの移動がない場合における吊持ユニット30の例を示す図である。
[4.5]変形例5
 本実施形態は、複数のマーカユニット60を撮像カメラ70によって画像化することによってプレーヤPの各部位の位置や姿勢を検出しているが、例えば、頭部又は胴体部などの配設された単一のマーカユニット60のみによってプレーヤの位置や姿勢を検出してもよし、複数のマーカユニット60が配設された演出用オブジェクト80の位置及び姿勢を検出してもよい。
 また、HMD20にフォトセンサを設け、当該フォトセンサによって構造体10に配設された複数のマーカの中から認識可能なマーカを特定し、当該特定したマーカに基づいてプレーヤPの位置や姿勢を検出してもよい。
[5]その他
 本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
 本発明は、実施形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。
 上記のように、本発明の実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。
1 … ゲームシステム
10 … 構造体
20 … HMD
30 … 吊持ユニット
40 … 転倒防止ユニット
50 … 吊持制御ユニット
60 … マーカユニット
70 … 撮像カメラ
80 … 演出用オブジェクト
90 … 演出装置(送風機、バネ板パネル及び移動誘導経路)
100 … シミュレーション制御装置

Claims (18)

  1.  ユーザが移動可能なユーザ移動空間が形成された構造体と、
     前記ユーザに装着され、前記ユーザ移動空間に対応付けられたシミュレーション空間のシミュレーション画像を表示する装着型画像表示装置と、
     前記装着型画像表示装置を前記構造体から吊時する吊持手段と、
    を備えることを特徴とするシミュレーション装置。
  2.  請求項1に記載のシミュレーション装置において、
     前記ユーザの前記ユーザ移動空間内における移動に応じて、前記吊持手段における前記装着型画像表示装置の吊持位置を変更する第1吊持位置変更手段を更に備える、シミュレーション装置。
  3.  請求項2に記載のシミュレーション装置において、
     前記第1吊持位置変更手段が、
      ユーザ移動空間内における予め定められた軸方向に沿って前記吊持手段の吊持位置を変更させる、シミュレーション装置。
  4.  請求項1~3のいずれか1項に記載のシミュレーション装置において、
     前記ユーザ移動空間内で移動するユーザの転倒を防止する転倒防止手段を更に備え、
     前記転倒防止手段が、
      前記ユーザを保持するホルダ部材及び前記構造体から前記ユーザを吊持するユーザ吊持部材を含む、シミュレーション装置。
  5.  請求項4に記載のシミュレーション装置において、
     前記ユーザの前記ユーザ移動空間内における移動に応じて、当該ユーザの吊持位置を変更する第2吊持位置変更手段を更に備える、シミュレーション装置。
  6.  請求項1~5のいずれか1項に記載のシミュレーション装置において、
     前記ユーザから見える、前記ユーザ移動空間に対応付けられた仮想3次元空間であるシミュレーション空間のシミュレーション画像を生成する画像生成処理を行う画像生成手段を更に備え、
     前記画像生成手段が、
      前記ユーザから離隔した状態で前記構造体の前記ユーザより上部に配設され、前記生成したシミュレーション画像のデータを前記吊持手段を介して前記装着型画像表示手段に供給する、シミュレーション装置。
  7.  請求項1~6のいずれか1項に記載のシミュレーション装置において、
     前記ユーザ移動空間内におけるユーザの状態をユーザ状態として検出する検出手段を更に備え、
     前記装着型画像表示装置が、
      前記検出されたユーザ状態に連動させた前記シミュレーション画像を表示する、シミュレーション装置。
  8.  請求項7に記載のシミュレーション装置において、
     前記検出手段が
      前記ユーザ移動空間内の前記ユーザが移動する移動範囲の外側に形成されている、シミュレーション装置。
  9.  請求項7又は8に記載のシミュレーション装置において、
     前記検出手段が、
      前記ユーザ移動空間内における前記装着型画像表示装置を装着したユーザの部位を部位情報として検出し、
      前記検出された部位情報に基づいて前記ユーザのユーザ移動空間内における位置及び姿勢の少なくともいずれか一方を前記ユーザ状態として検出する、シミュレーション装置。
  10.  請求項9に記載のシミュレーション装置において、
     前記ユーザの部位情報とは、当該ユーザの足の位置を示す情報である、シミュレーション装置。
  11.  請求項7に記載のシミュレーション装置において、
     前記検出手段が
      前記ユーザ移動空間内の前記ユーザが移動する移動経路上又は当該移動経路に隣接する隣接領域に形成されている、シミュレーション装置。
  12.  請求項1~11のいずれか1項に記載のシミュレーション装置において、
     前記ユーザ移動空間内に配設されるとともに、シミュレーション画像と連動することによって前記ユーザに所与の演出を体感させる演出手段を更に備える、シミュレーション装置。
  13.  請求項12に記載のシミュレーション装置において、
     前記演出手段には、
      予め定められた前記ユーザが移動する移動経路下に設けられ、前記シミュレーション画像に応じて振動可能又は揺動可能に形成されたた演出可能領域を少なくとも有する移動経路部材と、
      所与の条件に基づき前記演出可能領域を振動駆動又は揺動駆動をする駆動手段と、
     を含む、シミュレーション装置。
  14.  請求項13に記載のシミュレーション装置において、
     前記移動経路部材が、
      前記構造体の床面から異なる高さによって形成されている、シミュレーション装置。
  15.  請求項12に記載のシミュレーション装置において、
     前記画像生成手段が、
      前記ユーザ移動空間内における前記演出手段の状態とは無関係に、前記ユーザ状態に応じて前記仮想3次元空間上で前記演出手段の状態変化を画像化して前記シミュレーション画像として生成する、シミュレーション装置。
  16.  請求項12~15のいずれか1項に記載のシミュレーション装置において、
     前記検出されたユーザ状態に応じて、前記シミュレーション画像に連動させつつ、前記演出手段を制御する演出制御手段を更に備える、シミュレーション装置。
  17.  請求項1~16のいずれか1項に記載のシミュレーション装置において、
     前記吊持手段が、
      前記構造体と前記装着型画像表示装置とを接続するケーブルを含み、
     前記ケーブルが、
      前記装着型画像表示装置が前記ユーザから着脱された際に、前記ケーブルが、当該装着型画像表示装置が前記構造体の床面に接地することを未然に防止する構造を備えている、シミュレーション装置。
  18.  ユーザが移動可能なユーザ移動空間が形成された構造体と、
     前記ユーザに装着され、前記ユーザ移動空間に対応付けられたシミュレーション空間のシミュレーション画像を表示する装着型画像表示装置と、
     前記装着型画像表示装置を前記構造体から吊時する吊持手段と、
    を備えることを特徴とするゲーム装置。
PCT/JP2017/005244 2016-02-17 2017-02-14 シミュレーション装置及びゲーム装置 WO2017141890A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016028424A JP2017144072A (ja) 2016-02-17 2016-02-17 シミュレーション装置及びゲーム装置
JP2016-028424 2016-02-17

Publications (1)

Publication Number Publication Date
WO2017141890A1 true WO2017141890A1 (ja) 2017-08-24

Family

ID=59625908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005244 WO2017141890A1 (ja) 2016-02-17 2017-02-14 シミュレーション装置及びゲーム装置

Country Status (2)

Country Link
JP (1) JP2017144072A (ja)
WO (1) WO2017141890A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065694A (zh) * 2021-03-18 2021-07-02 徐州九鼎机电总厂 一种基于沉浸式人机交互仿真系统的战术行动规则智能寻径算法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3041990U (ja) * 1997-03-31 1997-10-03 株式会社科学工芸研究所 ジャンプシミュレータ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3041990U (ja) * 1997-03-31 1997-10-03 株式会社科学工芸研究所 ジャンプシミュレータ

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAJIME NAKAMURA ET AL., KANDEN·TENRAKU O VIRTUAL TAIKEN, 7 January 2015 (2015-01-07), Retrieved from the Internet <URL:http://bizacademy.nikkei.co.jp/career/kenshu/article.aspx?id=MMAC2i000005012015&print=1> [retrieved on 20170315] *
KAT VR ET AL., A NEW SOLUTION FOR VIRTUAL REALITY LOCOMOTION DEVICE, 29 June 2015 (2015-06-29), XP054977765, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=HKCKb7uJo6E> [retrieved on 20170316] *
TOSHIKAZU OHSHIMA ET AL.: "RV-Border Guards: A Multi-player Mixed Reality Entertainment", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 4, no. 4, 31 December 1999 (1999-12-31), pages 699 - 706, XP055410021, ISSN: 1344-011X *
VR. AR DE SHINKA SURU KAIHATSU·SEISAN, NIKKEI MONOZUKURI, vol. 731, 1 August 2015 (2015-08-01), pages 61 - 66, ISSN: 1349-2772 *
ZENJI NISHIKAWA: "Sangyoyo Virtual Reality-ten -PSP no Eizo o Giji Rittaishika suru Seihin Nado Display Kanren no Chumoku Goods 4 HEWDD- 768 o Katsuyo shita 2 Shurui no VR Demo", M YNAVI NEWS, MYNAVI CORP., 27 June 2009 (2009-06-27), Retrieved from the Internet <URL:http://news.mynavi.jp/articles/2009/06/27/ivr02/003.html> [retrieved on 20170315] *

Also Published As

Publication number Publication date
JP2017144072A (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
WO2017141891A1 (ja) シミュレーションシステム及びゲームシステム
JP6630607B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6761340B2 (ja) シミュレーションシステム及びプログラム
JP6200023B1 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6738641B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP4901539B2 (ja) 立体映像表示システム
JP5123353B2 (ja) リアルタイムシーンを照明し,発見するバーチャルフラッシュライト
US20200211283A1 (en) Augmented reality system for an amusement ride
JP6625467B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2012234441A (ja) プログラム、情報記憶媒体、画像生成システム及びサーバシステム
WO2017141890A1 (ja) シミュレーション装置及びゲーム装置
JP6522092B1 (ja) 表示システム及び表示方法
JP6781324B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP7104539B2 (ja) シミュレーションシステム及びプログラム
JP6821832B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP6643783B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2021194293A (ja) アミューズメントシステム
JP4592087B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2018126341A (ja) シミュレーションシステム及びプログラム
KR20200031256A (ko) 미러 디스플레이를 이용한 콘텐츠 디스플레이 장치 및 그 방법
JP2019139688A (ja) 体感アクションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753147

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17753147

Country of ref document: EP

Kind code of ref document: A1