WO2017188224A1 - シミュレーションシステム - Google Patents

シミュレーションシステム Download PDF

Info

Publication number
WO2017188224A1
WO2017188224A1 PCT/JP2017/016303 JP2017016303W WO2017188224A1 WO 2017188224 A1 WO2017188224 A1 WO 2017188224A1 JP 2017016303 W JP2017016303 W JP 2017016303W WO 2017188224 A1 WO2017188224 A1 WO 2017188224A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
hmd
head
processing
Prior art date
Application number
PCT/JP2017/016303
Other languages
English (en)
French (fr)
Inventor
高弘 柿沢
修介 三浦
直樹 榎戸
Original Assignee
株式会社バンダイナムコエンターテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社バンダイナムコエンターテインメント filed Critical 株式会社バンダイナムコエンターテインメント
Publication of WO2017188224A1 publication Critical patent/WO2017188224A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a simulation system and the like.
  • tracking processing of HMD is performed, and tracking information such as the position and direction (viewpoint position, line-of-sight direction) of HMD obtained by tracking processing is used, and the viewpoint of the virtual user in the virtual space. Set the position and gaze direction. By doing so, a more realistic image reflecting the movement of the user's head or the like can be generated.
  • a simulation system that can output appropriate output information to a user in a system that generates an image based on tracking information of a head-mounted display device.
  • One embodiment of the present invention is a head-mounted display device worn by a user, and information on at least one of the position and direction of the head-mounted display device obtained by tracking processing of the head-mounted display device
  • a processing device that generates an image to be displayed on the head-mounted display device based on the tracking information, and a movable housing that changes the play position of the user.
  • the present invention relates to a simulation system that performs a process of changing output information output to the user based on change information of the play position by a housing and the tracking information of the head-mounted display device.
  • the play position of the user is changed by the movable housing, the tracking process of the head-mounted display device worn by the user is performed, and based on the tracking information obtained by the tracking process An image to be displayed on the head-mounted display device is generated. And the process which changes the output information output with respect to a user is performed based on the change information of the play position by a movable housing
  • the processing device changes a process of changing an image displayed on the head-mounted display device and a sound output to the user as a process of changing the output information. You may perform at least one of a process.
  • the processing device performs the tracking information correction processing of the head-mounted display device based on change information of the play position by the movable housing, whereby the output information May be changed.
  • the tracking information correction process reflecting the play position change information by the movable housing is performed, and the image displayed on the head-mounted display device is generated using the tracking information after the correction process. become able to. Accordingly, it is possible to suppress the occurrence of problems that occur when an image is generated based on the tracking information of the head-mounted display device.
  • the processing device subtracts the change component of the play position by the movable casing from the position information of the head-mounted display device included in the tracking information as the correction processing. Correction processing may be performed.
  • the correction process of subtracting the play position change component from the position information of the head-mounted display device is performed, and the tracking information after the correction process is added. Based on this, an image displayed on the head-mounted display device can be generated. Therefore, for example, the display image of the head-mounted display device changes due to a change in the play position due to the movable housing, and thereby, for example, a problem such as occurrence of a 3D sickness can be effectively suppressed. Become.
  • the processing device may be configured so that the head-mounted display device after the subtraction correction process is not performed within a given range.
  • a fade-out process or a white-out process may be performed on an image displayed on the mold display device.
  • the image processing apparatus includes a sensor unit that is provided in the movable housing and detects at least one of a position and a direction, and the processing device performs the correction process based on detection information from the sensor unit. You may go.
  • the processing device subtracts a change component of the position of the sensor unit from a reference position from the position coordinates of the head-mounted display device included in the tracking information. It may be performed as a correction process.
  • the tracking information correction process can be realized by a light load process of subtracting the change component of the position of the sensor unit from the position coordinates of the head-mounted display device.
  • an operation unit provided on the movable casing and operated by the user may be included, and the sensor unit may be provided around the operation unit.
  • tracking information correction processing can be performed based on detection information from a head-mounted display device or a sensor unit provided near the play position, and correction processing can be performed with simple processing. Can be realized.
  • the sensor unit may include at least one light receiving element that receives light from a light emitting element installed around the movable casing.
  • At least one of the position and the direction of the sensor unit is detected by receiving light from the light emitting element installed around the movable housing by the at least one light receiving element included in the sensor unit. Is possible.
  • the sensor unit may be a sensor unit included in a game controller.
  • the processing device may perform the correction process based on control information for movable control of the movable casing.
  • a head-mounted display device worn by a user and at least one of a position and a direction of the head-mounted display device obtained by tracking processing of the head-mounted display device are provided.
  • a processing device that generates an image displayed on the head-mounted display device, a movable housing that changes the play position of the user, and provided in the movable housing,
  • An imaging unit that images the head-mounted display device, and the position of the imaging unit changes with a change in the play position by the movable housing, and the processing device is configured by the imaging unit.
  • the present invention relates to a simulation system that acquires the tracking information based on a captured image of a part-mounted display device and generates an image displayed on the head-mounted display device.
  • the play position of the user is changed by the movable housing, and the tracking process of the head-mounted display device worn by the user is performed, based on the tracking information obtained by the tracking process.
  • an image displayed on the head-mounted display device is generated.
  • the processing device acquires tracking information based on a captured image of the head-mounted display device by the imaging unit, and generates an image to be displayed on the head-mounted display device.
  • the position of the imaging unit also changes accordingly. For example, the relative positional relationship between the imaging unit and the head-mounted display device does not change. It becomes like this. Therefore, in a system that generates an image based on tracking information of the head-mounted display device, it is possible to provide a simulation system that can display an appropriate image on the head-mounted display device.
  • FIG. 5A and FIG. 5B are explanatory diagrams of problems caused by a change in play position by the movable housing. Explanatory drawing about the problem which arises by the change of the play position by a movable housing
  • FIG. 9 is a flowchart for explaining another example of the correction process of the present embodiment.
  • casing. 14 (A), 14 (B), and 14 (C) are a top view, a side view, and a front view showing a detailed configuration of the movable housing
  • FIGS. 15A and 15B are perspective views illustrating the configuration of the moving unit.
  • FIGS. 17A and 17B are operation explanatory views of a movable casing using an electric cylinder.
  • FIG. 19A and FIG. 19B are examples of the HMD used in this embodiment.
  • 20A and 20B are other examples of the HMD used in this embodiment.
  • FIG. 1 shows a system configuration example of a simulation system (simulator, game system) of this embodiment.
  • the simulation system of the present embodiment is a system that simulates virtual reality (VR), for example, a game system that provides game content, a real-time simulation system such as a sports competition simulator and a driving simulator, and content that provides content such as video
  • VR virtual reality
  • the present invention can be applied to various systems such as a system and an operating system that realizes remote work.
  • the simulation system of the present embodiment includes an HMD 200 (head-mounted display device) worn by a user PL (player), a processing device 10, and a movable housing 40.
  • HMD 200 head-mounted display device
  • processing device 10 a processing device
  • movable housing 40 a movable housing 40.
  • the simulation system of the present embodiment is not limited to the configuration shown in FIG. 1, and various components such as a part of the components (each unit) (for example, a moving unit or a structure) are omitted or other components are added. Can be implemented.
  • the HMD 200 is worn by the user PL on the head, and includes a display unit for displaying an image, a sensor unit for detecting the position (viewpoint position), direction (gaze direction), or posture of the user PL, A processing unit for performing various processes can be included. Details of the HMD 200 will be described later.
  • the movable housing 40 (a housing in a broad sense) is called an arcade housing, for example, and serves as an outer shell of the apparatus of the simulation system and does not need to be box-shaped.
  • the movable housing 40 may be a cockpit housing (sensory housing) in a robot game, a car game, an airplane game, or the like, or a card game housing.
  • the movable casing 40 is a main part of the simulation system, and various devices and structures for realizing the simulation system are provided. At least a play position PPL is set in the movable housing 40.
  • the processing apparatus 10 is an apparatus that performs various processes.
  • various devices such as a personal computer (PC), an arcade game device, or a home game device can be employed.
  • the processing device 10 may be a video device that provides video content.
  • the processing apparatus 10 may be a system board (circuit board, game board) on which various devices (IC) such as a processor (CPU, MPU, etc.) and a memory (ROM, RAM, etc.) are mounted.
  • IC circuit board, game board
  • the system board is built in the movable housing 40, for example.
  • a processor provided on the system board executes various processes based on programs and data stored in the memory.
  • the processing device 10 executes various processes such as a game process (simulation process). For example, the processing device 10 performs a game process (simulation process) based on the operation information of the user PL input by the operation unit 160. Then, the processing device 10 generates an image corresponding to the result of the game processing (game situation), and the generated image is displayed on the display unit 190. For example, a signal of operation information of the user PL from the operation unit 160 is transmitted to the processing apparatus 10 via the cable 20. The processing device 10 performs game processing based on the operation information and the like, and performs image (sound) generation processing. The generated image (sound) signal is transmitted to the display unit 190 via the cable 20.
  • a game process simulation process
  • the processing device 10 performs a game process (simulation process) based on the operation information of the user PL input by the operation unit 160. Then, the processing device 10 generates an image corresponding to the result of the game processing (game situation), and the generated image is displayed on the display unit 190.
  • the processing apparatus 10 generates an image to be displayed on the HMD 200 based on the tracking information obtained by the tracking process of the HMD 200.
  • a base station 90 for performing tracking processing of the HMD 200 is installed, and the base station 90 is provided with at least one light emitting element 92.
  • the HMD 200 is provided with at least one light receiving element (not shown) realized by a photodiode or the like.
  • the tracking process of HMD200 is implement
  • the processing device 10 acquires tracking information by the tracking processing of the HMD 200.
  • the tracking information is information including at least one of the position and direction of the HMD 200, for example.
  • the position and direction of the HMD 200 correspond to the viewpoint position and line-of-sight direction of the user PL.
  • an image corresponding to the viewpoint position and line-of-sight direction of the user PL can be generated and displayed on the HMD 200.
  • the user PL in the real world turns his / her line of sight to the right or left.
  • an image in the VR space that is visible when a virtual user in the virtual space turns his or her gaze in the right direction or the left direction is displayed on the HMD 200.
  • the user PL in the real world turns his / her line of sight upward or downward.
  • an image in the VR space that is visible when a virtual user in the virtual space turns his / her line of sight upward or downward is displayed on the HMD 200.
  • the movable housing 40 can include a ride part 60, a moving part 70, and a base part 52. Moreover, the bottom part 50 provided so that it may oppose below the base part 52 and the support part 56 which is provided in the bottom part 50 and supports the base part 52 rotatably can be included. Furthermore, the structure 30 in which the via point of the cable 20 is set can be included.
  • the ride part 60 and the moving part 70 are provided in the base part 52.
  • the ride unit 60 includes a seat 62 on which the user PL sits.
  • the user PL sits on the seat 62 and plays a game.
  • the ride unit 60 may be such that the user PL straddles or stands in a standing posture.
  • the moving unit 70 is provided with an operation unit 160 operated by a user.
  • the moving unit 70 is, for example, an interface unit for the user PL.
  • the moving unit 70 may be provided with a display unit, a card reader, a coin insertion slot or a coin payout slot.
  • the moving unit 70 is provided with a sensor unit 80 that detects at least one of the position and the direction.
  • the sensor unit 80 has at least one light receiving element 82.
  • the light from the light emitting element 92 of the base station 90 is received by the light receiving element 82 of the sensor unit 80, so that at least one of the position and direction of the sensor unit 80 is detected. It becomes possible. Thereby, for example, the play position PPL and its change component can be detected.
  • the moving unit 70 includes a support unit 72 that supports the operation unit 160, and the operation unit 160 is supported by the support unit 72 and is arranged in front of the user PL.
  • the operation unit 160 is realized by an operation lever.
  • the operation unit 160 is not limited to this, and may be realized by various operation devices such as an operation button, a direction instruction key, a handle, a pedal, or a joystick.
  • the moving unit 70 is provided in the movable housing 40 so as to be movable in a given direction DRA with respect to the user PL riding on the ride unit 60.
  • the operation unit 160 is supported by the support unit 72 of the moving unit 70 so as to be positioned on the front side of the user PL.
  • the moving unit 70 is provided in the movable casing 40 so as to be movable in a direction DRA that is a direction along the forward direction.
  • a rail portion 54 is provided on the base portion 52 of the movable housing 40.
  • a groove portion (not shown) is provided at a position corresponding to the rail portion 54 on the surface (back surface) of the moving portion 70 on the base portion 52 side. Then, when the groove portion and the rail portion 54 are fitted, the moving portion 70 can move along the direction DRA that is the guide direction of the rail portion 54.
  • the movement of the moving unit 70 in the direction DRA may be performed manually by an operator of the simulation system, or the moving unit 70 is moved in the direction DRA by automatic control using an actuator such as a motor or an electric cylinder. You may make it move.
  • the play position can be adjusted so that the arrangement of the operation unit 160 and the like is optimal for each user PL by allowing the moving unit 70 to move in the direction DRA. It becomes possible. For example, if the user PL has a small physique, the moving unit 70 is moved to the near side, and if the user PL has a large physique, the moving unit 70 is moved to the far side.
  • the play position can be adjusted so as to be an appropriate position for each user PL.
  • the movable housing 40 has a structure 30 that is provided around the play position PPL of the user PL and in which the via point TP of the cable 20 is set.
  • the cable 20 from the processing apparatus 10 is connected to the HMD 200 via the transit point TP of the structure 30.
  • the cable 20 is for transmitting a signal between the HMD 200 and the processing apparatus 10, and transmits, for example, a video signal and an audio signal.
  • the cable 20 transmits a signal using a differential signal.
  • a digital signal is transmitted by a differential signal having a small amplitude (for example, several hundred mV).
  • the cable 20 includes a first signal line that transmits a video signal, an audio signal (audio signal), and the like.
  • the cable 20 may also include a second signal line for connecting the processing device 10 that is a computer and the HMD 200 that is a peripheral device, and a power line for supplying power to the HMD 200.
  • the first signal line is, for example, a signal line of the HDMI standard (HDMI is a registered trademark; the same applies hereinafter).
  • the second signal line is, for example, a USB standard signal line.
  • the structure 30 is an object (workpiece) formed by at least one member.
  • a via point TP of the cable 20 is set in the structure 30, and the cable 20 from the processing apparatus 10 is connected to the HMD 200 via the via point TP of the structure 30.
  • the cable 20 is fixed by a fixture or the like at a via point TP (fixed point), for example.
  • the HMD 200 since the HMD 200 is mounted so as to cover the field of view of the user PL, the user PL who is viewing the video in the VR space (virtual space) visually recognizes the cable 20 in the real world. It is difficult. In particular, in a non-transmissive HMD that completely covers the user's field of view, the user PL cannot see the real-world cable 20.
  • a via point TP of the cable 20 is set using the structure 30 provided in the movable housing 40, and the cable 20 is connected to the HMD 200 via the via point TP. . Therefore, it is not necessary to install a large-scale device such as a crane mechanism that pulls the cable 20 from above in a place different from the movable housing 40. Thereby, the installation area of the entire simulation system can be reduced, and the cost of the system can be reduced.
  • the play position PPL of the user PL is changed by providing the movable casing 40.
  • the structure 30 in which the waypoint TP is set is also located on the movable casing 40. Therefore, the position of the transit point TP also changes in the same direction as the play position PPL. Therefore, when the play position PPL is changed by the movable casing 40, the change in the relative positional relationship between the user PL and the waypoint TP can be minimized, and the cable 20 is strongly tensioned. Can be prevented. Therefore, it is possible to effectively prevent the HMD 200 from being displaced or disconnected or the virtual reality from being lost due to the strong tension on the cable 20.
  • the movable casing 40 is a casing that changes the play position PPL of the user PL.
  • the movable housing 40 changes the play position PPL of the user PL according to the result of the game processing (game situation) in the processing device 10.
  • the processing device 10 performs a virtual reality simulation process as a game process of a game played by the user PL.
  • the virtual reality simulation process is a simulation process for simulating an event in the real space in the virtual space, and is a process for causing the user PL to experience the event virtually.
  • a boarding moving body (or virtual user) on which a virtual user corresponding to the user PL in the real space is boarded is moved in the virtual space, or processing for causing the user PL to experience changes in the environment and surroundings associated with the movement is performed.
  • the movable housing 40 changes the play position PPL based on the result of the simulation process that is the game process.
  • the play position PPL is changed based on the result of the movement process of the boarding moving body (or virtual user) of the virtual user in the virtual space.
  • a process of changing the play position PPL is performed as a simulation process for causing the user PL to experience acceleration associated with acceleration, deceleration, or direction change when the robot moves.
  • a process of changing the play position PPL is performed as a simulation process for causing the user PL to feel the impact of the shot.
  • the play position PPL is a play position where the user PL is located when playing a virtual reality (VR) simulation game.
  • the play position PPL is a ride position of the ride unit 60 of the user PL.
  • the play position PPL is, for example, a seat where the seat 62 is a ride position.
  • the play position PPL is a straddling position.
  • the play position PPL is a standing position at the ride unit 60, for example.
  • the movable casing 40 rotates the play position PPL with the movable reference point MP (movable center point) as a reference (center). Specifically, the play position PPL is rotationally moved with reference to the movable reference point MP by an unillustrated actuator (electric cylinder, motor, air spring or the like).
  • the movable housing 40 may be one that translates the play position PPL.
  • the vertical direction is the Y-axis direction
  • the direction facing the user PL is the Z-axis direction
  • the direction orthogonal to the Y-axis direction and the Z-axis direction is the X-axis direction.
  • the movable housing 40 changes the play position PPL so that pitching rotational movement in which the play position PPL rotates around the X axis is performed with reference to the movable reference point MP.
  • the play position PPL is changed so that the rolling rotational movement in which the play position PPL rotates around the Z axis is performed with reference to the movable reference point MP.
  • the play position PPL is changed so that the yawing rotational movement in which the play position PPL rotates around the Y axis is performed.
  • the movable housing 40 has a base portion 52 on which a ride portion 60, a moving portion 70, and the like are provided.
  • the base portion 52 is a plate-like member whose surface extends in the XZ plane, for example.
  • the base part 52 changes at least one of a position and a direction according to the result of the game process (simulation process) in the processing apparatus 10, for example.
  • the direction (posture) of the base unit 52 changes according to the result of the game process (game situation).
  • the movable casing 40 has a bottom 50 (base in a broad sense) provided to face the base 52 and a support 56 that supports the base 52.
  • the support part 56 is attached to the bottom part 50, and supports the base part 52 rotatably.
  • the support portion 56 supports the base portion 52 so as to be rotatable around the X axis.
  • the support portion 56 supports the base portion 52 so as to be rotatable around the Z axis.
  • the support part 56 may support the base part 52 so as to be rotatable around the Y axis. Thereby, the rotational movement of yawing at the play position PPL is realized.
  • the support portion 56 is realized by a spherical slide bearing member such as a link ball.
  • the movable reference point MP is the center point of the ball portion of the link ball.
  • the position of the movable reference point MP is given from the seat surface center (the ride center in a broad sense) of the seat 62 to the front side (the direction in which the user PL faces) in a plan view of the movable housing 40 viewed from above. The position is shifted by the distance.
  • the movement by the movable casing 40 may be realized by using an air spring or the like.
  • one or a plurality of air springs are arranged between the bottom part 50 (base part on the bottom part side) and the base part 52.
  • air springs are arranged at the four corners between the bottom 50 and the base 52.
  • a plurality of air springs are arranged in a matrix. These air springs expand and contract in the Y-axis direction (vertical direction) by supplying and discharging air using an air compressor and bubbles. Then, by controlling the amount of expansion / contraction of each air spring of the plurality of air springs, the movable housing 40 can be moved, and the play position PPL is changed based on the result of the game process.
  • the simulation system of FIG. 1 has the movable casing 40 that can change the play position PPL of the user PL based on the result of the game process (game situation).
  • the play position PPL (ride position)
  • robot boarding moving body
  • the movable housing 40 can suppress so-called 3D sickness by changing the play position PPL of the user PL based on the result of the game process.
  • 3D sickness is, for example, causing symptoms such as dizziness such as dizziness by continuing to watch a video with a three-dimensional effect and intense movement.
  • FIGS 2 and 3 show examples of game images (VR images) generated by the present embodiment.
  • This game image is generated by the processing device 10 and displayed on the HMD 200.
  • a virtual user PLV virtual player
  • the hood FD in FIG. 4A is closed in the virtual world.
  • the user PL virtual user
  • a window WD is provided in the hood FD of the visual cockpit CKP of the robot RB in the virtual world, and the user PL passes through the window WD to the outside world. You can see the situation.
  • a map of the enemy robot ERB, the aiming SG, and the battle field is displayed in the window WD.
  • missile launcher LAA and cannon CNB which are weapons of robot RB operated by user PL, and bullet number icons SNA and SNB indicating the remaining number of bullets of these weapons are also displayed.
  • the aiming SG moves so as to follow the movement of the line of sight (head, HMD) of the user PL wearing the HMD 200. For example, if the user PL turns to the right, the aiming SG on the game image moves to the right, and if the user PL turns to the left, the aiming SG moves to the left.
  • the user PL enjoys the battle game by moving the position of the aiming SG to the position of the enemy robot ERB and attacking with the launcher LAA or the cannon CNB.
  • FIG. 3 When the user PL turns his head down and turns his line of sight, a game image as shown in FIG. 3 is displayed.
  • images of the display DIS, the operation levers LVL and LVR, and the hands HL and HR of the virtual user PLV are displayed.
  • the display DIS displays status information of the robot RB, information on weapons (launchers, cannons) attached to the robot RB, and the like.
  • the real-world user PL operates the operation unit 160 (left and right operation levers)
  • the user PL can fire a missile of the launcher LAA or a bullet of the cannon CNB by pressing a trigger button provided on a real-world operation lever corresponding to the left and right operation levers LVL and LVR.
  • the world of the VR (Virtual Reality) space that is a virtual space extends across the entire direction of the user PL.
  • the enemy robot ERB and scenery can be seen through the window WD provided in the hood FD of the cockpit CKP of the robot RB in the virtual world as shown in FIG.
  • the display DIS arranged in the cockpit CKP or the virtual user PLV operating the operation levers LVL and LVR with the hands HL and HR can be seen. Can do. Therefore, it is possible to give the user PL the feeling that he is sitting in the cockpit of a real robot and operating the robot, and the virtual reality of the user PL can be greatly improved.
  • the user PL plays the game by pulling the moving unit 70 to the near side.
  • the shape of the support part 72 of the moving part 70 is a shape along the seating posture (ride posture in a broad sense) of the user PL in the ride part 60
  • the play space of the user PL in the real world is also included. It becomes a narrow space. Therefore, as shown in FIG. 4A, it is possible to give the user PL a feeling as if he / she is sitting in the cockpit CKP in a narrow space and manipulating the robot RB, and there is an advantage that the virtual reality can be improved. .
  • the simulation system according to the present embodiment is not limited to the robot game as shown in FIGS. 2 to 4B, but a game for driving a vehicle such as a car, a train, an airplane, a ship or a motorcycle, and various sports such as a sports competition. It can be applied to various games such as a game for experiencing virtual experiences, a horror experience game, an RPG game, an action game, a quiz game, a horse racing game, a music game, or a game for experiencing virtual communication such as romance.
  • the play position of the user PL is changed by the movable housing 40, for example, when the robot (boarding mobile body in a broad sense) moves in the virtual space.
  • the user PL is made to experience the acceleration associated with the acceleration, deceleration, and direction change.
  • the pitching rotational movement is performed so that the user PL turns backward. I do. That is, as shown by C1 in FIG. 5A, a rotational movement is performed in which the base portion 52 of the movable housing 40 is rotated counterclockwise on the X axis, for example.
  • This rotational motion can be realized, for example, by performing control to shorten the rod portion of the electric cylinder 58 that is an actuator for rotational movement.
  • a pitching rotational movement that causes the user PL to turn forward is performed in order to experience the sense of deceleration.
  • the base 52 of the movable housing 40 is rotated, for example, clockwise about the X axis. This rotational motion can be realized, for example, by performing control to lengthen the rod portion of the electric cylinder 58.
  • the light from the light emitting element 92 of the base station 90 is received by a light receiving element (not shown) provided in the HMD 200, thereby executing the tracking process of the HMD 200.
  • Tracking information is information including at least one of the position and direction of the HMD 200.
  • an image displayed on the HMD 200 is generated based on the tracking information. Therefore, as shown in C1 and C2 in FIGS. 5A and 5B, the base portion 52 of the movable housing 40 rotates and moves as shown in D1 and D2 for a sense of acceleration and deceleration.
  • the image displayed on the HMD 200 also changes.
  • FIG. 6 shows a game image generated when the base 52 of the movable housing 40 rotates as shown by C1 in FIG. 5A and the position and direction of the HMD 200 change as shown by D1. It is an example.
  • the viewpoint position and line-of-sight direction of the virtual user in the virtual space also change.
  • an image is displayed in which the visual user's line-of-sight direction has greatly changed upward.
  • FIG. 7 shows a game image generated when the base 52 of the movable housing 40 rotates and moves as shown by C2 in FIG. 5B and the position and direction of the HMD 200 change as shown by D2. It is an example.
  • the viewpoint position and line-of-sight direction of the virtual user in the virtual space also change.
  • an image is displayed in which the visual line direction of the virtual user is greatly changed downward.
  • the robot when the robot is accelerated or decelerated, by causing the user PL to experience a sense of acceleration or deceleration with the movable housing 40, the occurrence of 3D sickness can be suppressed to some extent.
  • the image displayed on the HMD 200 changes frequently as shown in FIGS. 6 and 7 due to the movement of the movable housing 40, the change in the image may cause 3D sickness of the user PL. There is.
  • the user PL when a shot such as a bullet or missile from an enemy hits the robot, the user PL is made to experience the impact of the shot using the movable casing 40.
  • the electric cylinder 58 is controlled so that the rod portion linearly moves with a small stroke distance in order to experience the impact of a shot hit.
  • the image displayed on the HMD 200 also changes finely, causing 3D sickness of the user PL.
  • the processing device 10 outputs to the user PL based on the play position change information by the movable housing 40 and the tracking information of the HMD 200. Performs processing to change the output information. That is, in the present embodiment, as described above, the processing apparatus 10 displays an image displayed on the HMD 200 based on the tracking information that is at least one of the position and direction of the HMD 200 obtained by the tracking process of the HMD 200. Is generated. Then, the processing device 10 performs a process of changing output information output to the user PL based on the tracking information and play position change information (position change information, direction change information) by the movable housing 40. .
  • the play position change information only needs to be information that can specify a play position change component (position change component, direction change component), and need not be information on the play position itself.
  • the tracking information is information including at least one of the position and direction of the HMD 200, for example.
  • the position and direction of the HMD 200 correspond to the viewpoint position and line-of-sight direction of the user PL.
  • the processing device 10 performs at least one of processing for changing an image displayed on the HMD 200 and processing for changing sound output to the user PL as processing for changing output information.
  • processing for changing an image displayed on the HMD 200 is changed or the sound (game sound, voice, BGM, etc.) output to the user PL is changed so that the change information of the play position by the movable housing 40 is reflected.
  • an image displayed on the HMD 200 is changed by performing correction processing described later on the tracking information of the HMD 200. Further, for example, a process of changing the surround sound output from a sound output unit such as a headphone or a speaker is performed. For example, when the correction processing of the position of the HMD 200 is performed based on the change information of the play position by the movable housing 40, the sound output from headphones or speakers so that an appropriate surround sound can be heard at the position after the correction processing. Changes the sound output from the unit. For example, the sound change processing is realized by performing sound processing so that an appropriate sound field is formed at the position after the correction processing.
  • the processing device 10 changes the output information by performing the correction processing of the tracking information of the HMD 200 based on the change information of the play position by the movable housing 40. That is, by performing tracking information correction processing, an image displayed on the HMD 200 is changed, or a sound output from a sound output unit such as a headphone or a speaker is changed.
  • the processing device 10 performs a correction process (a process for canceling or a process for canceling) that subtracts the change component of the play position by the movable housing 40 from the position information (position coordinates, etc.) of the HMD 200 included in the tracking information as the correction process. I do.
  • the processing device 10 generates an image that has been subjected to the subtraction correction processing of the play position change component by the movable housing 40 as the image displayed on the HMD 200.
  • This subtraction correction process need not be a process of completely subtracting the play position change component.
  • the processing apparatus 10 generates an image to be displayed on the HMD 200 based on the tracking information obtained by the tracking process of the HMD 200.
  • the position and direction of the HMD 200 change as shown in D1 and D2. End up.
  • the position and direction information of the HMD 200 included in the tracking information obtained by the light receiving element of the HMD 200 receiving the light from the light emitting element 92 of the base station 90 also changes. Therefore, if an image is generated using this tracking information as it is, an image that frequently changes up and down is displayed on the HMD 200 as shown in FIGS. 6 and 7, causing a 3D sickness of the user PL. End up.
  • the tracking information of the HMD 200 obtained in FIGS. 5 (A) and 5 (B) is not used as it is, but tracking information correction processing is performed.
  • tracking information correction processing for example, correction processing for subtracting the change component of the play position by the movable housing 40 from the position information (position coordinates, etc.) of the HMD 200 as tracking information is performed.
  • the processing device 10 performs fade-out processing or white-out of an image displayed on the HMD 200 when the position of the HMD 200 after the correction processing for subtracting the play position change component is not within a given range. Processing may be performed. For example, when the correction process for subtracting the change component of the play position is performed, the position of the HMD 200 does not fall within a given range defining the cockpit CKP in FIGS. 4 (A) and 4 (B) ( If the image does not fit, fade-out processing or white-out processing of the display image of the HMD 200 is performed. By doing so, it is possible to suppress a situation in which an unnatural image is displayed on the HMD 200 and the virtual reality of the user PL is impaired.
  • the simulation system of the present embodiment includes a sensor unit 80 that is provided in the movable housing 40 and detects at least one of a position and a direction.
  • the sensor unit 80 is disposed as close as possible to the HMD 200 worn by the user PL. 5A and 5B, the sensor unit 80 detects a position PD (arrangement position) and a direction (arrangement direction) of the sensor unit 80, for example.
  • the processing device 10 performs the tracking information correction processing of the HMD 200 based on the detection information from the sensor unit 80 (at least one of position and direction detection information).
  • the correction process of the position PH of the HMD 200 that is the tracking information of the HMD 200 is performed.
  • the tracking information correction processing of the HMD 200 may be performed based on the direction detection information of the sensor unit 80.
  • the position PD detection information (change information) can be used as the play position change information, and the correction process of the position PH of the HMD 200 as tracking information can be performed based on the detection information of the position PD. become.
  • the processing device 10 corrects the process of subtracting the change component of the position PD of the sensor unit 80 from the reference position from the coordinates of the position PH of the HMD 200 included in the tracking information. As a process.
  • the reference position which is the initial position of the position PD is detected (measured) and stored in the storage unit (memory).
  • the detection of the reference position can be realized by receiving light from the light emitting element 92 of the base station 90 by at least one light receiving element 82 of the sensor unit 80.
  • the reference position of the position PD is PD (X1, Y1, Z1).
  • the change components ( ⁇ X, ⁇ Y, ⁇ Z) of the position PD are detected. That is, the change components of E1 and E2 in FIGS. 5A and 5B are detected.
  • This change component can also be detected by receiving light from the light emitting element 92 of the base station 90 by at least one light receiving element 82 of the sensor unit 80.
  • the detected position PD change components ( ⁇ X, ⁇ Y, ⁇ Z) are regarded as play position change components, and a process of subtracting from the position PH (X2, Y2, Z2) of the HMD 200 is performed as a correction process. That is, the corrected position PH (X2- ⁇ X, Y2- ⁇ Y, Z2- ⁇ Z) is obtained.
  • the processing apparatus 10 generates an image to be displayed on the HMD 200 based on the corrected position PH (X2- ⁇ X, Y2- ⁇ Y, Z2- ⁇ Z).
  • the reference position (initial position) of the HMD 200 is also detected before the game is started and stored in the storage unit (memory). Thereby, individual differences such as the physique of the user PL can be absorbed.
  • an image on which correction processing for subtracting the change component of the play position due to the movement of the movable casing 40 is generated and displayed on the HMD 200. That is, even when the movable housing 40 is moved as indicated by C1 and C2 in FIGS. 5A and 5B, the correction in which the change in the position and direction of the HMD 200 indicated by D1 and D2 is offset. Processing is performed. Therefore, the image displayed on the HMD 200 does not change depending on the movement of the movable casing 40 shown by C1 and C2, and the situation in which the user PL causes 3D sickness can be effectively suppressed.
  • the image displayed on the HMD 200 does not change even when the user PL is made to experience the inertial force when the robot bends and the impact at the time of a shot hit by the movable housing 40.
  • the image displayed on the HMD 200 changes finely at the time of a hit of a shot, there is a risk of causing a 3D sickness of the user PL.
  • the image of the HMD 200 does not change at this time, the occurrence of 3D sickness can be effectively suppressed.
  • the image displayed on the HMD 200 changes with respect to the change that the user PL moves the head. This is because 3D sickness does not occur even if the image of the HMD 200 changes due to the user PL moving his / her head.
  • FIG. 9 is a flowchart for explaining the correction processing of FIG.
  • a game process of a game played by the user PL is executed (step S1). Taking FIG. 2 and FIG. 3 as examples, game processing for moving or operating the robot is executed.
  • the movable housing 40 is controlled to change the play position of the user PL (step S2). For example, based on the result of the game process, when it is determined that an operation for accelerating the movement of the robot as shown in FIG. 5A is performed, the movable casing is moved so as to perform the pitching rotational movement as shown in C1. 40 is controlled. Further, based on the result of the game process, when it is determined that an operation for decelerating the movement of the robot as shown in FIG. 5B has been performed, the movable housing is arranged so as to perform the pitching rotational movement as shown in C2. 40 is controlled.
  • the detection information from the sensor unit 80 is acquired (step S3).
  • the detection information is detection information of at least one of position and direction.
  • the tracking information of the HMD 200 is corrected. For example, based on detection information from the sensor unit 80, change components ( ⁇ X, ⁇ Y, ⁇ Z) of the position PD shown in FIG. 8 are acquired. Then, based on the acquired change components ( ⁇ X, ⁇ Y, ⁇ Z), the tracking information of the HMD 200 is corrected. For example, as shown in FIG. 8, a correction process for subtracting the change components ( ⁇ X, ⁇ Y, ⁇ Z) from the coordinates (X2, Y2, Z2) of the position PH that is the tracking information of the HMD 200 is performed.
  • correction processing for subtracting the change components ( ⁇ X, ⁇ Y, ⁇ Z) due to the movement of the movable casing 40 is performed, but the user PL himself / herself is caused by the movement of the movable casing 40.
  • Such a correction process is not performed for the change component due to the movement of the head. That is, such a correction process is not performed for a change component caused by moving the head by the movable reaction of the movable casing 40. This is because it is considered that the 3D sickness of the user PL does not occur even if the image displayed on the HMD 200 changes due to the change component due to the user PL moving his / her head.
  • the simulation system of the present embodiment includes an operation unit 160 provided in the movable housing 40 and operated by the user PL.
  • the sensor unit 80 is provided around the operation unit 160.
  • the operation unit 160 and the sensor unit 80 are arranged on the upper surface part supported by the support unit 72 of the moving unit 70, and the sensor unit 80 is arranged near the operation unit 160. That is, the sensor unit 80 is arranged by effectively utilizing the space on the upper surface where the operation unit 160 is arranged. In this way, the sensor unit 80 can be disposed near the play position (ride position, seating position) of the HMD 200 or the user PL.
  • the change components ( ⁇ X, ⁇ Y, ⁇ Z) of the position PD detected by the sensor unit 80 can be regarded as the change components of the user position due to the movement of the movable housing 40, as shown in FIGS.
  • the correction process can be realized by a simple process as shown.
  • the sensor unit 80 includes at least one light receiving element 82 that receives light from the light emitting elements (a plurality of light emitting elements) installed around the movable housing 40. Specifically, as shown in FIG. 1, at least one base station 90 is disposed around the movable housing 40. Then, the light from the at least one light emitting element 92 of the base station 90 is received by the at least one light receiving element 82 of the sensor unit 80, so that the position PD (or the direction of the sensor unit 80) of the sensor unit 80 is detected. Thus, the correction processing of FIGS. 8 and 9 can be realized.
  • the tracking process of the HMD 200 is realized by receiving the light from the light emitting element 92 of the base station 90 by the light receiving element of the HMD 200, the base prepared for the tracking process is provided.
  • the station 90 can be effectively used to detect the position PD (or the direction) by the sensor unit 80.
  • a sensor unit included in the game controller 165 may be used as the sensor unit 80 as in a detailed example of the movable casing 40 shown in FIG. In this way, the sensor unit of the game controller 165 can be effectively used to detect at least one of the position and direction, and the tracking information correction process of the HMD 200 can be realized.
  • the angle change ⁇ when the position PD changes to the position PD ′ due to the movement of the movable housing 40 is detected.
  • the angle change ⁇ is, for example, an angle formed by a line connecting the movable reference point MP and the position PD and a line connecting the movable reference point MP and the position PD ′.
  • the position PH ′ of the HMD 200 is corrected to obtain the position PH ′.
  • correction processing for changing the angle by ⁇ is performed.
  • an image displayed on the HMD 200 is generated using the obtained position PH ′ as the tracking information after correction.
  • the angle change ⁇ may be detected based on detection information of the direction of the sensor unit 80 in FIG. 5A and FIG. That is, the tracking information correction processing of the HMD 200 based on the detection information from the sensor unit 80 may be tracking information correction processing based on the direction detection information of the sensor unit 80.
  • the tracking information correction process of the HMD 200 may be a correction process of the position PH of the HMD 200 or a correction process of the direction of the HMD 200 (line-of-sight direction).
  • the correction process for changing the angle by ⁇ as shown in FIG. 10 may be realized by a process for correcting the direction of the HMD 200 (the line-of-sight direction).
  • FIGS. 8 and 9 are more advantageous in this sense.
  • the processing device 10 may perform the correction processing of the tracking information of the HMD 200 based on the control information for the movable control of the movable housing 40.
  • the movable control of the movable casing 40 is realized by controlling the length of the rod portion of the electric cylinder 58.
  • the tracking information of the HMD 200 may be corrected based on control information for controlling the length of the rod portion of the electric cylinder 58.
  • the play position change component due to the movement of the movable housing 40 can be specified.
  • change components of the position and direction of the HMD 200 indicated by D1 and D2 in FIGS. 5A and 5B can be specified.
  • the tracking information correction process of the HMD 200 in which the change component is subtracted can be realized.
  • the correction process for subtracting the change components indicated by D1 and D2 is, for example, a table that associates the length of the rod portion of the electric cylinder 58 (control information for movable control of the movable housing) with the change component. It may be realized by using a physical simulation process for obtaining a change component.
  • FIG. 11 is a flowchart of the tracking information correction process based on the control information of the movable casing 40.
  • a game process of a game played by the user PL is executed (step S11). Based on the result of the game process, the movable housing 40 is controlled to change the play position of the user PL (step S12).
  • control information for movable control of the movable casing 40 is acquired (step S13).
  • the length information (length specifying information) of the rod portion of the electric cylinder 58 is acquired as the control information.
  • the tracking information of the HMD 200 is corrected (step S14). For example, the correction process of subtracting the change components indicated by D1 and D2 in FIGS. 5A and 5B is executed by using the table as described above or executing a physical simulation process.
  • the correction process shown in FIG. 11 has a disadvantage that a time lag occurs because the calculation process for the correction process takes time.
  • the correction process shown in FIGS. 5A and 5B shows D1 and D2. There is an advantage that the change component can be obtained more accurately.
  • FIG. 12 is a system configuration example of a modification of the simulation system of the present embodiment.
  • the simulation system of the modified example of FIG. 12 includes an imaging unit 150 that is provided in the movable housing 40 and images the HMD 200. That is, an imaging unit 150 described later with reference to FIGS. 20A and 20B is provided in the movable housing 40.
  • the position of the imaging unit 150 changes as the play position PPL is changed by the movable housing 40. That is, since the imaging unit 150 is provided in the movable casing 40, the position of the imaging unit 150 changes as the movable casing 40 moves.
  • the processing apparatus 10 acquires tracking information based on the captured image of the HMD 200 by the imaging unit 150, and generates an image to be displayed on the HMD 200.
  • the tracking process of the HMD 200 is realized by specifying the positions of the light emitting elements 230 (a plurality of light emitting elements) provided in the HMD 200 based on the captured image of the imaging unit 150. That is, the tracking process of the HMD 200 is performed by the method described with reference to FIGS. 20A and 20B, which will be described later, and an image displayed on the HMD 200 is generated. In this way, as an image displayed on the HMD 200, it is possible to generate an image on which correction processing for subtracting the change component of the play position PPL by the movable housing 40 has been performed.
  • the imaging unit 150 is provided on the movable casing 40 as shown in FIG. 12, even when the movable casing 40 moves as shown in C1 and C2 of FIGS. 5 (A) and 5 (B).
  • the relative positional relationship between the imaging unit 150 and the HMD 200 does not change. Therefore, even when the movable casing 40 moves as shown by C1 and C2, the image displayed on the HMD 200 does not change, and the occurrence of 3D sickness of the user PL can be prevented.
  • the modified example of FIG. 12 has an advantage that the occurrence of problems such as 3D sickness can be effectively prevented by a simple method of providing the imaging unit 150 in the movable housing 40.
  • FIG. 14 (A), FIG. 14 (B), and FIG. 14 (C) are a perspective view, a top view, a side view, and a front view, respectively, showing the detailed configuration of the movable housing 40.
  • a cover portion 451 is provided on the bottom portion 450 (base portion), and a base portion 452 (pedestal portion) is provided thereon.
  • the base portion 452 is provided with a seat support portion 464, and the seat portion 462 is mounted on the seat support portion 464, whereby the ride portion 460 is configured.
  • a moving part 470 is provided in the base part 452.
  • rail portions 454 and 455 are provided on the base portion 452, and a moving portion 470 is provided so as to be movable in a direction along the rail portions 454 and 455.
  • the moving part 470 has a support part 472, and an upper surface part 473 (operation base) is provided at the upper end of the support part 472.
  • the upper surface portion 473 is provided with operation levers 161 and 162 and a game controller 165 having a sensor portion.
  • the sensor unit included in the game controller 165 detects at least one of a position and a direction.
  • the operation levers 161 and 162 constitute the operation unit 160 of FIG. 1 and correspond to the operation levers LVL and LVR in the virtual space shown in FIG.
  • the game controller 165 is provided with at least one light receiving element used as a sensor unit. And the detection function (at least one detection function of a position and a direction) of the sensor part of game controller 165 is realized by processing similar to tracking processing of Drawing 19 (A) and Drawing 19 (B) mentioned below. With this detection function, for example, a change in the play position PPL due to the movement of the movable housing 40 can be detected. Then, for example, correction processing for subtracting the change component of the play position PPL by the movable housing 40 is performed. As described above, in FIG. 13, the game controller 165 having the sensor unit is effectively used to detect a change in the play position PPL. For example, the game controller 165 has other members such as operation buttons. In FIG. 13, only the sensor unit of the game controller 165 is effectively used without using these operation buttons.
  • the lower surface portion 474 is provided at the lower end of the support portion 472 of the moving portion 470, and the accelerator pedal 163 and the brake pedal 164 are provided on the lower surface portion 474.
  • a dash movement is performed in which the robot RB in the virtual space accelerates and moves.
  • the movement of the robot RB stops.
  • the base portion 452 of the movable casing 40 is provided with a frame portion 430 (structure in a broad sense).
  • the guide portion 432 of the frame portion 430 guides the cable 20 from the processing apparatus 10.
  • the cable 20 is guided along a predetermined path from the bottom to the top.
  • the guided cable 20 is connected to the HMD 200 via the waypoint TP.
  • the cable 20 is fixed by the fixing tool 433 at the waypoint TP and connected to the HMD 200.
  • FIG. 15A and 15B are perspective views illustrating the configuration of the moving unit 70
  • FIG. 16 is a perspective view illustrating the configuration of the movable housing 40 with the moving unit 70 removed.
  • the lower surface portion 474 of the moving portion 470 is provided with a lever 478 for unlocking the movement of the moving portion 470, and on the back surface side of the lower surface portion 474. , Grooves 476 and 477 are provided.
  • the moving part 470 is attached to the base part 452 so that the groove parts 476 and 477 are fitted to the rail parts 454 and 455 of FIG. In this way, the moving unit 470 (moving unit 70) can be moved in the direction DRA as shown in FIG.
  • the moving unit 470 When moving the moving unit 470, for example, an operator of a game facility (amusement facility) operates the lever 478 in a predetermined direction to release the movement lock. Then, the movement of the moving unit 470 is locked by returning the lever 478 to the original position after the movement.
  • the movement of the moving unit 470 may be automatically performed by an operation of the user PL using an actuator such as a motor or an electric cylinder.
  • FIG. 17A schematically illustrates the operation of the movable casing 40 (movable mechanism).
  • the seat 462 (ride portion 460) is rotated and moved by the electric cylinders 413 and 414 will be described.
  • the base portion 452, the seat 462 and the like of FIG. Rotate and move.
  • the movable casing 40 includes electric cylinders 413 and 414 which are actuators.
  • the electric cylinders 413 and 414 linearly move the rod portions based on a control signal that is an electric signal from the processing device 10 as indicated by A1 and A2.
  • the electric cylinders 413 and 414 have a stepping motor and a ball screw, and the linear motion of the rod portion is realized by rotating the ball screw with the stepping motor.
  • seat 462 is implement
  • an operation of changing the direction (posture) or the like of the base portion 452 to which the seat 462 (ride portion 460) is attached is realized.
  • a base 402 is provided on the bottom 450 of the movable casing 40, and hinges 403 and 404 are provided on the base 402.
  • One ends of the electric cylinders 413 and 414 are attached to the base 402 by hinges 403 and 404.
  • the hinge portions 403 and 404 support one end of the electric cylinders 413 and 414 so that the hinge portions 403 and 404 can rotate around the X axis that is the horizontal direction.
  • An attachment member 420 is provided on the back side of the back portion of the seat 462, and hinge portions 423 and 424 are provided on the attachment member 420.
  • the other ends of the electric cylinders 413 and 414 are attached to the attachment member 420 by hinge portions 423 and 424.
  • the hinge portions 423 and 424 support the other ends of the electric cylinders 413 and 414 so as to be rotatable around the X axis.
  • the base 402 is provided with hinge portions 405 and 406, and one ends of support portions 415 and 419 are attached to the hinge portions 405 and 406.
  • the other ends of the support portions 415 and 419 are attached to the seat portion (back surface) of the seat 462.
  • the support portion 415 includes link balls 416 and 417 and a link shaft 418 that restricts movement in the yaw direction (turning).
  • the support part 419 is configured by a link ball.
  • the support portions 415 and 419 are actually provided inside the cover portion 451 in FIG.
  • the electric cylinders 413 and 414 are provided inside a cover portion 434 shown in FIGS. 14 (A) and 14 (B).
  • FIG. 17B shows an example of a link ball constituting the support portion 419 and the like.
  • the male screw side indicated by B1 in FIG. 17B is fixed to the seat 462 side (movable side)
  • the female screw side indicated by B2 is fixed to the bottom 450 side (fixed side).
  • FIG. 17A By using a link ball which is such a spherical sliding bearing member, pitching, rolling and yawing rotational movement by the support part 56 (support part 419) described in FIG. 1 can be realized.
  • the rotational movement of yawing is limited by providing a support portion 415 including a link shaft 418 and the like. In this case, if the link shaft 418 can be expanded and contracted by using an electric cylinder or the like, the rotational movement of the yawing can be controlled.
  • the seat 462 (base portion 452) is pitched around the X axis, and an operation in which the user turns backward is realized.
  • the user steps on the accelerator pedal 163 to accelerate the movement of the robot, the user performs a pitching rotational movement so that the user feels the sense of acceleration.
  • the seat 462 (base portion 452) is pitched around the X axis, and an operation in which the user turns forward is realized. For example, in FIG. 13, when the user depresses the brake pedal 164 and decelerates the movement of the robot, the user performs a pitching rotational movement so that the user can feel the decelerating feeling.
  • the virtual reality of the user can be improved and so-called 3D sickness can be suppressed. That is, for example, in the HMD 200, an image in which a robot (boarding moving body) on which a virtual user is boarded is displayed in three dimensions, but the user's play position has hardly moved in the real world, the user This causes a sense of sensation and causes 3D sickness.
  • such a 3D sickness is mitigated by providing the movable casing 40. That is, at the time of acceleration, deceleration, and cornering of the robot, the seat 462 (base portion 452) of the movable housing 40 is rotationally moved (rolling, pitching, etc.) to change the play position of the user. By doing so, the event in the virtual world and the event in the real space come closer, and 3D sickness can be mitigated.
  • an electric motor is used so that the rod portion linearly moves with a minute stroke distance so that the user can feel the impact of the shot.
  • the cylinders 413 and 414 are controlled. Or in order to express the unevenness
  • FIG. 18 is a block diagram illustrating a configuration example of a simulation system.
  • the processing apparatus 10 of FIG. 1 can be realized by the processing unit 100, the storage unit 170, and the like of FIG. Note that the simulation system of the present embodiment is not limited to the configuration of FIG. 18, and various modifications such as omitting some of the components (each part) or adding other components are possible.
  • the movable casing 40 is a casing that changes the play position of the user. For example, as described with reference to FIGS. 1 and 13 to 17B, the movable housing 40 operates.
  • the operation unit 160 is for the user to input various operation information (input information).
  • the operation unit 160 functions as a device for a user to input operation information.
  • the operation unit 160 can be realized by various operation devices such as an operation button, a direction instruction key, a joystick, a handle, a pedal, or a lever.
  • the operation unit 160 is realized by the operation levers 161 and 162, the accelerator pedal 163, the brake pedal 164, and the like.
  • the storage unit 170 stores various types of information.
  • the storage unit 170 functions as a work area such as the processing unit 100 or the communication unit 196.
  • the game program and game data necessary for executing the game program are held in the storage unit 170.
  • the function of the storage unit 170 can be realized by a semiconductor memory (DRAM, VRAM), HDD (hard disk drive), SDD, optical disk device, or the like.
  • the storage unit 170 includes a spatial information storage unit 172 and a drawing buffer 178.
  • the information storage medium 180 (a computer-readable medium) stores programs, data, and the like, and its function can be realized by an optical disk (DVD, BD, CD), HDD, semiconductor memory (ROM), or the like.
  • the processing unit 100 performs various processes of the present embodiment based on a program (data) stored in the information storage medium 180. That is, in the information storage medium 180, a program for causing a computer (an apparatus including an input device, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit). Is memorized.
  • the HMD 200 (head-mounted display device) is a device that is mounted on the user's head and displays an image in front of the user's eyes.
  • the HMD 200 is preferably a non-transmissive type, but may be a transmissive type.
  • the HMD 200 may be a so-called glasses-type HMD.
  • the HMD 200 includes a sensor unit 210, a display unit 220, and a processing unit 240. A modification in which a light emitting element is provided in the HMD 200 is also possible.
  • the sensor unit 210 is for realizing tracking processing such as head tracking, for example.
  • the position and direction of the HMD 200 are specified by tracking processing using the sensor unit 210.
  • the user's viewpoint position and line-of-sight direction can be specified.
  • the first tracking method which is an example of the tracking method
  • a plurality of light receiving elements are provided as the sensor unit 210, as will be described in detail with reference to FIGS. 19A and 19B described later.
  • the second tracking method for specifying the direction, a plurality of light emitting elements (LEDs) are provided in the HMD 200, as will be described in detail with reference to FIGS. 20A and 20B described later.
  • a motion sensor is provided as the sensor unit 210, and the position and direction of the HMD 200 are specified using this motion sensor.
  • the motion sensor can be realized by, for example, an acceleration sensor or a gyro sensor.
  • an acceleration sensor for example, by using a 6-axis motion sensor using a 3-axis acceleration sensor and a 3-axis gyro sensor, the position and direction of the HMD 200 in a three-dimensional space in the real world can be specified.
  • the position and direction of the HMD 200 may be specified by a combination of the first tracking method and the second tracking method, or a combination of the first tracking method and the third tracking method.
  • the display unit 220 of the HMD 200 can be realized by, for example, a liquid crystal display (LCD) or an organic EL display.
  • the HMD 200 is provided with a first display arranged in front of the user's left eye and a second display arranged in front of the right eye as the display unit 220.
  • stereoscopic display is possible. ing. When performing stereoscopic display, for example, a left-eye image and a right-eye image with different parallaxes are generated, the left-eye image is displayed on the first display, and the right-eye image is displayed on the second display.
  • the processing unit 240 of the HMD 200 performs various processes necessary for the HMD 200. For example, the processing unit 240 performs control processing of the sensor unit 210, display control processing of the display unit 220, and the like. Further, the processing unit 240 may perform a three-dimensional sound (stereoscopic sound) process to realize reproduction of a three-dimensional sound direction, distance, and spread.
  • a three-dimensional sound stereographic sound
  • the sound output unit 192 outputs the sound generated by the present embodiment, and can be realized by, for example, a speaker or headphones.
  • the I / F (interface) unit 194 performs interface processing with the portable information storage medium 195, and its function can be realized by an ASIC for I / F processing or the like.
  • the portable information storage medium 195 is for a user to save various types of information, and is a storage device that retains storage of such information even when power is not supplied.
  • the portable information storage medium 195 can be realized by an IC card (memory card), a USB memory, a magnetic card, or the like.
  • the communication unit 196 communicates with the outside (another apparatus) via a wired or wireless network, and functions thereof are hardware such as a communication ASIC or communication processor, or communication firmware. Can be realized.
  • a program (data) for causing a computer to function as each unit of this embodiment is distributed from the information storage medium of the server (host device) to the information storage medium 180 (or storage unit 170) via the network and communication unit 196. May be. Use of an information storage medium by such a server (host device) can also be included in the scope of the present invention.
  • the processing unit 100 is based on operation information from the operation unit 160, tracking information in the HMD 200 (information on at least one of the position and direction of the HMD, information on at least one of the viewpoint position and the line-of-sight direction), a program, and the like. Then, game processing (simulation processing), game result calculation processing, display processing, sound processing, and the like are performed.
  • each process (each function) of this embodiment performed by each unit of the processing unit 100 can be realized by a processor (a processor including hardware).
  • each process of the present embodiment can be realized by a processor that operates based on information such as a program and a memory that stores information such as a program.
  • the function of each unit may be realized by individual hardware, or the function of each unit may be realized by integrated hardware.
  • the processor may include hardware, and the hardware may include at least one of a circuit that processes a digital signal and a circuit that processes an analog signal.
  • the processor can be configured by one or a plurality of circuit devices (for example, ICs) mounted on a circuit board or one or a plurality of circuit elements (for example, resistors, capacitors, etc.).
  • the processor may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as a GPU (GraphicsGProcessing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be an ASIC hardware circuit.
  • the processor may include an amplifier circuit, a filter circuit, and the like that process an analog signal.
  • the memory storage unit 170
  • the memory stores instructions that can be read by a computer, and the processing (function) of each unit of the processing unit 100 is realized by executing the instructions by the processor.
  • the instruction here may be an instruction set constituting a program, or an instruction for instructing an operation to the hardware circuit of the processor.
  • the processing unit 100 includes an input processing unit 102, an arithmetic processing unit 110, and an output processing unit 140.
  • the arithmetic processing unit 110 includes a game processing unit 111, a game result calculation unit 118, a correction processing unit 119, a display processing unit 120, and a sound processing unit 130.
  • each process of the present embodiment executed by these units can be realized by a processor (or a processor and a memory).
  • Various modifications such as omitting some of these components (each unit) or adding other components are possible.
  • the input processing unit 102 performs processing for receiving operation information and tracking information, processing for reading information from the storage unit 170, and processing for receiving information via the communication unit 196 as input processing.
  • the input processing unit 102 uses operation information input by the user using the operation unit 160 or tracking information detected by the sensor unit 210 of the HMD 200 (information on at least one of the position and direction of the HMD.
  • the process of acquiring at least one information), the process of reading the information specified by the read command from the storage unit 170, and the process of receiving the information from the external device (server or the like) via the network are performed as input processes.
  • the reception process includes a process of instructing the communication unit 196 to receive information, a process of acquiring information received by the communication unit 196, and writing the information in the storage unit 170, and the like.
  • the arithmetic processing unit 110 performs various arithmetic processes. For example, arithmetic processing such as game processing (simulation processing), game results calculation processing, display processing, or sound processing is performed.
  • arithmetic processing such as game processing (simulation processing), game results calculation processing, display processing, or sound processing is performed.
  • the game processor 111 (game processing program module) performs various game processes for the user to play the game.
  • the game processing unit 111 (simulation processing unit) executes various simulation processes for the user to experience virtual reality (virtual reality).
  • the game processing unit 111 includes a movable case processing unit 112, a game progress processing unit 113, a moving body processing unit 114, an object space setting unit 116, and a virtual camera control unit 117.
  • the movable casing processing unit 112 performs various processes for the movable casing 40. For example, control processing of the movable housing 40 is performed, and various information detection processing for controlling the movable housing 40 is performed. For example, the movable housing processing unit 112 performs control processing for the electric cylinders 413 and 414 in FIG. For example, the process which controls the linear motion of the rod part of the electric cylinders 413 and 414 is performed. The movable housing processing unit 112 performs processing for detecting operation information by the operation unit 160 in FIG. 1, the operation levers 161 and 162, the accelerator pedal 163, and the brake pedal 164 in FIG. 13. Then, based on the detected operation information, control processing of the movable housing 40 and the like are executed.
  • the game progress processing unit 113 performs a process of starting a game when the game start condition is satisfied, a process of progressing the game, or a process of ending the game when the game end condition is satisfied.
  • the moving object processing unit 114 performs various processes on the moving object that moves in the virtual space. For example, a process of moving a moving body or a process of operating the moving body is performed in an object space (game space) that is a virtual space. For example, the process of operating the moving body can be realized by motion processing (motion reproduction or the like) using motion data.
  • the mobile body is, for example, a boarding mobile body (operation mobile body) on which a virtual user in a virtual space corresponding to a user in real space is boarded (operated) or the virtual user.
  • the moving body is a robot on which a virtual user PLV corresponding to the user is boarded, and the robot moves in a field in the virtual space.
  • the object space setting unit 116 performs processing for setting an object space (a virtual space in a broad sense) in which a plurality of objects are arranged.
  • object space a virtual space in a broad sense
  • various objects representing display objects such as moving objects (people, robots, cars, trains, airplanes, ships, monsters, animals, etc.), maps (terrain), buildings, auditoriums, courses (roads), trees, walls, water surfaces, etc.
  • processing for setting an object an object composed of a primitive surface such as a polygon, a free-form surface, or a subdivision surface) in the object space is performed.
  • the position and rotation angle of the object in the world coordinate system are determined, and the rotation angle (rotation angle around the X, Y, and Z axes) is determined at that position (X, Y, Z).
  • the spatial information storage unit 172 of the storage unit 170 stores information such as the positions and rotation angles (directions) of a plurality of objects (part objects) in the object space as spatial information.
  • the object space setting unit 116 performs a process of updating the space information for each frame, for example.
  • the virtual camera control unit 117 performs control processing of a virtual camera (viewpoint, reference virtual camera) for generating an image that can be seen from a given (arbitrary) viewpoint in the object space. Specifically, processing for controlling the position (X, Y, Z) or rotation angle (rotation angle about the X, Y, Z axis) of the virtual camera (processing for controlling the viewpoint position, the line-of-sight direction or the angle of view) I do.
  • This virtual camera corresponds to the viewpoint of the user.
  • a first viewpoint for the left eye first virtual camera for the left eye
  • a second viewpoint for the right eye second virtual camera for the right eye
  • the game result calculation unit 118 performs a process of calculating the user's game result. For example, calculation processing of game results such as scores and points obtained by the user's game play is performed.
  • the correction processing unit 119 performs correction processing on the tracking information of the HMD 200.
  • the correction processing unit 119 performs tracking information correction processing of the HMD 200 based on the change information of the play position by the movable housing 40.
  • the correction processing unit 119 performs a correction process of subtracting the play position change component by the movable housing 40 from the position information of the HMD 200 included in the tracking information.
  • the correction processing unit 119 performs correction processing based on detection information from the sensor unit 80 (game controller 165).
  • a process of subtracting a change component of the position of the sensor unit 80 from the reference position from the position coordinates of the HMD 200 included in the tracking information is performed as a correction process.
  • the correction processing unit 119 may perform correction processing based on control information for movable control of the movable housing 40.
  • the display processing unit 120 performs a game image display process. For example, a drawing process is performed based on the results of various processes (game process, simulation process) performed by the processing unit 100, thereby generating an image and displaying it on the display unit 220 of the HMD 200. Specifically, geometric processing such as coordinate transformation (world coordinate transformation, camera coordinate transformation), clipping processing, perspective transformation, or light source processing is performed. Based on the processing result, drawing data (the position of the vertex of the primitive surface) Coordinates, texture coordinates, color data, normal vector, ⁇ value, etc.) are created.
  • the object (one or a plurality of primitive surfaces) after perspective transformation (after geometry processing) is converted into image information in units of pixels such as a drawing buffer 178 (frame buffer, work buffer, etc.).
  • an image that can be seen from the virtual camera (given viewpoint, left eye and right eye first and second viewpoints) in the object space is generated.
  • the drawing processing performed by the display processing unit 120 can be realized by vertex shader processing, pixel shader processing, or the like.
  • the sound processing unit 130 performs sound processing based on the results of various processes performed by the processing unit 100. Specifically, game sounds such as music (music, BGM), sound effects, or sounds are generated, and the game sounds are output to the sound output unit 192. Note that part of the sound processing of the sound processing unit 130 (for example, three-dimensional sound processing) may be realized by the processing unit 240 of the HMD 200.
  • the output processing unit 140 performs various types of information output processing. For example, the output processing unit 140 performs processing for writing information in the storage unit 170 and processing for transmitting information via the communication unit 196 as output processing. For example, the output processing unit 140 performs a process of writing information specified by a write command in the storage unit 170 or a process of transmitting information to an external apparatus (server or the like) via a network.
  • the transmission process is a process of instructing the communication unit 196 to transmit information, or instructing the communication unit 196 to transmit information.
  • the game processing part 111 performs the process of the game which a user plays in the virtual space (game space) where a several object is arrange
  • a plurality of objects are arranged in a virtual space that is an object space, and the game processing unit 111 performs various game processes (game progress process, mobile object process, object for realizing a game in the virtual space).
  • the display processing unit 120 displays the game image seen from a given viewpoint (first and second viewpoints for left eye and right eye) in the virtual space on the display unit 220 (first and second displays) of the HMD 200. Process to display.
  • the object space that is a virtual space
  • a process of displaying a game image that can be seen from the user's viewpoint is performed.
  • the user's viewpoint is set based on the user's viewpoint position information, line-of-sight direction information, and the like.
  • the viewpoint in the virtual space is set to the viewpoint position and line-of-sight direction of the virtual user. Then, when a user in the real space (real world) wearing the HMD 200 shakes his / her head and the direction of the line of sight changes, the line of sight of the virtual user in the virtual space also changes accordingly.
  • a virtual user or a boarding moving body robot, train, car, motorcycle, bicycle, airplane, ship, or the like
  • the movement follows the movement.
  • the viewpoint position of the virtual user also changes. In this way, the user can experience a virtual reality in which a virtual user who is his / herself or a boarding mobile body moves in a virtual space.
  • the viewpoint of the virtual user in the virtual space is a so-called first person viewpoint. For example, a part of the body of the virtual user may be reflected in the first person viewpoint image or the inside of the boarding mobile body may be reflected. Good.
  • FIG. 19A shows an example of the HMD 200 used in the simulation system of this embodiment.
  • the HMD 200 is provided with a plurality of light receiving elements 201, 202, and 203 (photodiodes).
  • the light receiving elements 201 and 202 are provided on the front side of the HMD 200, and the light receiving element 203 is provided on the right side of the HMD 200.
  • a light receiving element (not shown) is also provided on the left side, upper surface, and the like of the HMD.
  • the HMD 200 is provided with a headband 260 and the like so that the user PL can stably wear the HMD 200 on the head with a better wearing feeling.
  • the HMD 200 is provided with a headphone terminal (not shown). By connecting a headphone 270 (sound output unit 192) to the headphone terminal, for example, processing of three-dimensional sound (three-dimensional audio) is performed.
  • the user PL can listen to the game sound.
  • the user's operation information may be input by detecting the user's head whirling motion or head swinging motion by the sensor unit 210 of the HMD 200 or the like.
  • base stations 280 and 284 are installed around the simulation system (movable housing 40).
  • the base station 280 is provided with light emitting elements 281 and 282, and the base station 284 is provided with light emitting elements 285 and 286.
  • the light emitting elements 281, 282, 285, and 286 are realized by LEDs that emit laser (infrared laser or the like), for example.
  • the base stations 280 and 284 use these light emitting elements 281, 282, 285, and 286 to emit, for example, a laser beam radially.
  • the light receiving elements 201 to 203 and the like provided in the HMD 200 in FIG. 19A receive the lasers from the base stations 280 and 284, thereby realizing tracking of the HMD 200, and the position and direction of the head of the user PL. (User position and direction) can be detected.
  • the position and direction (tracking information) of the game controller 165 provided in the moving unit 470 in FIG. 19B can also be detected by the same method as the tracking process of the HMD 200.
  • the light receiving elements (a plurality of light receiving elements) provided in the game controller 165 receive laser beams from the light emitting elements 281, 282, 285, and 286 of the base stations 280 and 284, whereby the position and direction of the game controller 165 are detected. At least one of them can be detected. This makes it possible to detect the play position PPL that changes as the movable housing 40 moves.
  • FIG. 20A shows another example of the HMD 200.
  • a plurality of light emitting elements 231 to 236 are provided for the HMD 200. These light emitting elements 231 to 236 are realized by LEDs, for example.
  • the light emitting elements 231 to 234 are provided on the front side of the HMD 200, and the light emitting element 235 and the light emitting element 236 (not shown) are provided on the back side. These light emitting elements 231 to 236 emit (emit) light in a visible light band, for example. Specifically, the light emitting elements 231 to 236 emit light of different colors.
  • the imaging unit 150 images the light from these light emitting elements 231 to 236. That is, spot images of these light emitting elements 231 to 236 are reflected in the captured image of the imaging unit 150.
  • the tracking of the user's PL head (HMD) is implement
  • the imaging unit 150 is provided with first and second cameras 151 and 152.
  • the first and second cameras 151 and 152 of the first and second cameras 151 and 152 are provided.
  • the captured image it is possible to detect the position and the like of the head of the user PL in the depth direction.
  • the rotation angle (line of sight) of the head of the user PL can also be detected. Therefore, by using such an HMD 200, when the user PL is directed in any direction of all 360 degrees around the user, an image (a user's virtual space) is displayed in the corresponding virtual space (virtual three-dimensional space).
  • Image viewed from a virtual camera corresponding to the viewpoint can be displayed on the display unit 220 of the HMD 200.
  • the light emitting elements 231 to 236 infrared LEDs instead of visible light may be used.
  • the position or movement of the user's head may be detected by another method such as using a depth camera.
  • the tracking processing method for detecting the user's viewpoint position and line-of-sight direction is not limited to the method described with reference to FIGS. 19A to 20B.
  • the tracking process may be realized by a single unit of the HMD 200 using a motion sensor or the like provided in the HMD 200. That is, tracking processing is realized without providing external devices such as the base stations 280 and 284 in FIG. 19B and the imaging unit 150 in FIG. Or you may detect viewpoint information, such as a user's viewpoint position and a gaze direction, by various viewpoint tracking methods, such as well-known eye tracking, face tracking, or head tracking.
  • the present invention can be applied to various games. Further, the present invention can be applied to various simulation systems such as a business game device, a home game device, or a large attraction system in which a large number of users participate.
  • PL user DRA given direction, PPL play position, MP movable reference point, TP via point, CP cable connection point, 10 processing equipment, 20 cables, 30 structures, 40 movable housings, 50 bottom part, 52 base part, 54 rail part, 56 support part, 58 electric cylinder, 60 ride parts, 62 sheets, 70 moving parts, 72 support parts, 80 sensor parts, 82 light receiving element, 90 base station, 92 light emitting element, 100 processing units, 102 input processing units, 110 arithmetic processing units, 111 game processing units, 112 movable housing processing unit, 113 game progress processing unit, 114 moving body processing unit, 116 Object space setting unit, 117 Virtual camera control unit, 118 game result calculation unit, 119 correction processing unit, 120 display processing unit, 130 sound processing unit, 140 output processing unit, 150 imaging unit, 151, 152 camera, 160 operation unit, 161, 162 operation lever, 163 accelerator pedal, 164 brake pedal, 165 game controller, 170 storage unit, 172 spatial information storage unit, 178 drawing buffer, 180 Information

Abstract

シミュレーションシステムは、ユーザが装着するHMD200と、HMD200のトラッキング処理により得られた、HMD200の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、HMD200に表示される画像を生成する処理装置10と、ユーザPLのプレイ位置を変化させる可動筐体40を含む。処理装置10は、可動筐体40によるプレイ位置の変化情報と、HMD200のトラッキング情報とに基づいて、ユーザPLに対して出力する出力情報を変化させる処理を行う。

Description

シミュレーションシステム
 本発明は、シミュレーションシステム等に関する。
 従来より、HMD(頭部装着型表示装置)をユーザが頭部に装着し、HMDの画面に表示される画像をユーザが見ることで、いわゆるバーチャルリアリティー(VR)の世界を体感できるシミュレーションシステムが知られている。このようなシミュレーションシステムの従来技術としては、例えば特許文献1等に開示される技術がある。
特開平11-309269公報
 このようなHMDを用いたシミュレーションシステムでは、いわゆる3D酔いと呼ばれる問題が生じることが判明した。例えばユーザが、立体感のある動きの激しい映像をHMDを介して見続けることで、乗り物酔いになったかのように感じる3D酔いと呼ばれる現象が発生する。
 例えばHMDを用いたシミュレーションシステムでは、HMDのトラッキング処理を行い、トラッキング処理により得られたHMDの位置や方向(視点位置、視線方向)などのトラッキング情報を用いて、仮想空間での仮想ユーザの視点位置や視線方向を設定する。このようにすることで、ユーザの頭部等の動きを反映させた、よりリアルな画像を生成できるようになる。
 しかしながら、トラッキング情報を忠実に用いて仮想空間での視点位置や視線方向を設定すると、上述の3D酔いの問題が生じたり、不適切な画像がHMDに表示されるなどの事態が生じることが判明した。
 本発明の幾つかの態様によれば、頭部装着型表示装置のトラッキング情報に基づき画像を生成するシステムにおいて、ユーザに対して適切な出力情報を出力できるシミュレーションシステム等を提供できる。
 本発明の一態様は、ユーザが装着する頭部装着型表示装置と、前記頭部装着型表示装置のトラッキング処理により得られた、前記頭部装着型表示装置の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、前記頭部装着型表示装置に表示される画像を生成する処理装置と、前記ユーザのプレイ位置を変化させる可動筐体と、を含み、前記処理装置は、前記可動筐体による前記プレイ位置の変化情報と、前記頭部装着型表示装置の前記トラッキング情報とに基づいて、前記ユーザに対して出力する出力情報を変化させる処理を行うシミュレーションシステムに関係する。
 本発明の一態様によれば、可動筐体によりユーザのプレイ位置が変化すると共に、ユーザが装着する頭部装着型表示装置のトラッキング処理が行われ、トラッキング処理により得られたトラッキング情報に基づいて、頭部装着型表示装置に表示される画像が生成される。そして可動筐体によるプレイ位置の変化情報と、頭部装着型表示装置のトラッキング情報とに基づいて、ユーザに対して出力する出力情報を変化させる処理が行われる。従って、頭部装着型表示装置のトラッキング情報に基づき画像を生成するシステムにおいて、ユーザに対して適切な出力情報を出力できるシミュレーションシステムの提供が可能になる。
 また本発明の一態様では、前記処理装置は、前記出力情報を変化させる処理として、前記頭部装着型表示装置に表示される画像を変化させる処理及び前記ユーザに対して出力する音を変化させる処理の少なくとも一方を行ってもよい。
 このようにすれば、頭部装着型表示装置のトラッキング情報に基づき画像を生成するシステムにおいて、ユーザに対して適切な画像や音の情報を出力できるようになる。
 また本発明の一態様では、前記処理装置は、前記可動筐体による前記プレイ位置の変化情報に基づいて、前記頭部装着型表示装置の前記トラッキング情報の補正処理を行うことで、前記出力情報を変化させてもよい。
 このようにすれば、可動筐体によるプレイ位置の変化情報を反映させたトラッキング情報の補正処理を行い、補正処理後のトラッキング情報を用いて、頭部装着型表示装置に表示される画像を生成できるようになる。従って、頭部装着型表示装置のトラッキング情報に基づき画像を生成する際に生じる不具合の発生等を抑制できるようになる。
 また本発明の一態様では、前記処理装置は、前記補正処理として、前記トラッキング情報に含まれる前記頭部装着型表示装置の位置の情報から、前記可動筐体による前記プレイ位置の変化成分を差し引く補正処理を行ってもよい。
 このようにすれば、可動筐体によりプレイ位置が変化した場合に、頭部装着型表示装置の位置の情報から、プレイ位置の変化成分を差し引く補正処理が行われ、補正処理後のトラッキング情報に基づいて、頭部装着型表示装置に表示される画像を生成できる。従って、例えば可動筐体によるプレイ位置の変化に起因して頭部装着型表示装置の表示画像が変化し、これにより例えば3D酔い等の不具合が発生するなどの事態を効果的に抑制できるようになる。
 また本発明の一態様では、前記処理装置は、前記差し引く補正処理が行われた後の前記頭部装着型表示装置の位置が、所与の範囲内に入らなかった場合に、前記頭部装着型表示装置に表示される画像のフェードアウト処理又はホワイトアウト処理を行ってもよい。
 このようにすれば、差し引く補正処理が行われた後の頭部装着型表示装置の位置が、所与の範囲内に入らなかった場合には、フェードアウト処理やホワイトアウト処理が行われるようになり、不適切な画像がユーザに表示されるのを防止できる。
 また本発明の一態様では、前記可動筐体に設けられ、位置及び方向の少なくとも一方を検出するセンサ部を含み、前記処理装置は、前記センサ部からの検出情報に基づいて、前記補正処理を行ってもよい。
 このようにすれば、センサ部からの検出情報を利用して、プレイ位置の変化成分を特定し、トラッキング情報の補正処理を実行することが可能になる。
 また本発明の一態様では、前記処理装置は、基準位置からの前記センサ部の位置の変化成分を、前記トラッキング情報に含まれる前記頭部装着型表示装置の位置座標から減算する処理を、前記補正処理として行ってもよい。
 このようにすれば、センサ部の位置の変化成分を頭部装着型表示装置の位置座標から減算するという負荷の軽い処理で、トラッキング情報の補正処理を実現できるようになる。
 また本発明の一態様では、前記可動筐体に設けられ、前記ユーザにより操作される操作部を含み、前記センサ部は、前記操作部の周辺に設けられてもよい。
 このようにすれば、例えば頭部装着型表示装置やプレイ位置の近くに設けられたセンサ部からの検出情報により、トラッキング情報の補正処理を行うことが可能になり、簡素な処理での補正処理を実現することが可能になる。
 また本発明の一態様では、前記センサ部は、前記可動筐体の周囲に設置された発光素子からの光を受光する少なくとも1つの受光素子を有してもよい。
 このようにすれば、センサ部が有する少なくとも1つの受光素子により、可動筐体の周囲に設置された発光素子からの光を受光することで、センサ部の位置及び方向の少なくとも一方を検出することが可能になる。
 また本発明の一態様では、前記センサ部は、ゲームコントローラが有するセンサ部であってもよい。
 このようにすれば、ゲームコントローラが有するセンサ部を有効活用して、トラッキング情報の補正処理を実現できるようになる。
 また本発明の一態様では、前記処理装置は、前記可動筐体の可動制御のための制御情報に基づいて、前記補正処理を行ってもよい。
 このようにすれば、可動筐体の可動制御のための制御情報を有効利用して、例えば、より正確なトラッキング情報の補正処理を実現できるようになる。
 また本発明の他の態様は、ユーザが装着する頭部装着型表示装置と、前記頭部装着型表示装置のトラッキング処理により得られた、前記頭部装着型表示装置の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、前記頭部装着型表示装置に表示される画像を生成する処理装置と、前記ユーザのプレイ位置を変化させる可動筐体と、前記可動筐体に設けられ、前記頭部装着型表示装置を撮像する撮像部と、を含み、前記撮像部の位置は、前記可動筐体による前記プレイ位置の変化に伴い変化し、前記処理装置は、前記撮像部による前記頭部装着型表示装置の撮像画像に基づく前記トラッキング情報を取得して、前記頭部装着型表示装置に表示される画像を生成するシミュレーションシステムに関係する。
 本発明の他の態様によれば、可動筐体によりユーザのプレイ位置が変化すると共に、ユーザが装着する頭部装着型表示装置のトラッキング処理が行われ、トラッキング処理により得られたトラッキング情報に基づいて、頭部装着型表示装置に表示される画像が生成される。そして処理装置は、撮像部による頭部装着型表示装置の撮像画像に基づくトラッキング情報を取得して、頭部装着型表示装置に表示される画像を生成する。このようにすれば、可動筐体によりプレイ位置が変化した場合にも、撮像部の位置もこれに伴って変化するため、例えば撮像部と頭部装着型表示装置の相対的位置関係が変化しないようになる。従って、頭部装着型表示装置のトラッキング情報に基づき画像を生成するシステムにおいて、頭部装着型表示装置に対して適切な画像を表示できるシミュレーションシステムの提供が可能になる。
本実施形態のシミュレーションシステムのシステム構成例。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 図4(A)、図4(B)は仮想空間において仮想ユーザが搭乗するロボットについての説明図。 図5(A)、図5(B)は可動筐体によるプレイ位置の変化により生じる問題点についての説明図。 可動筐体によるプレイ位置の変化により生じる問題点についての説明図。 可動筐体によるプレイ位置の変化により生じる問題点についての説明図。 本実施形態の補正処理の一例の説明図。 本実施形態の補正処理の一例を説明するためのフローチャート。 本実施形態の補正処理の他の例の説明図。 本実施形態の補正処理の他の例を説明するためのフローチャート。 本実施形態のシミュレーションシステムの変形例のシステム構成例。 可動筐体の詳細な構成を示す斜視図。 図14(A)、図14(B)、図14(C)は可動筐体の詳細な構成を示す上面図、側面図、正面図、 図15(A)、図15(B)は移動部の構成を示す斜視図。 移動部を外した状態での可動筐体の構成を示す斜視図。 図17(A)、図17(B)は電動シリンダを用いる可動筐体の動作説明図。 シミュレーションシステムの詳細な構成例を示すブロック図。 図19(A)、図19(B)は本実施形態に用いられるHMDの一例。 図20(A)、図20(B)は本実施形態に用いられるHMDの他の例。
 以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
 1.システム構成
 図1に本実施形態のシミュレーションシステム(シミュレータ、ゲームシステム)のシステム構成例を示す。本実施形態のシミュレーションシステムは例えばバーチャルリアリティ(VR)をシミュレートするシステムであり、ゲームコンテンツを提供するゲームシステム、スポーツ競技シミュレータや運転シミュレータなどのリアルタイムシミュレーションシステム、映像等のコンテンツを提供するコンテンツ提供システム、遠隔作業を実現するオペレーティングシステムなどの種々のシステムに適用可能である。
 図1に示すように本実施形態のシミュレーションシステムは、ユーザPL(プレーヤ)が装着するHMD200(頭部装着型表示装置)と、処理装置10と、可動筐体40を含む。なお、本実施形態のシミュレーションシステムは図1の構成に限定されず、その構成要素(各部)の一部(例えば移動部、構造物)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
 HMD200は、ユーザPLが頭部に装着するものであり、画像が表示される表示部や、ユーザPLの位置(視点位置)、方向(視線方向)、或いは姿勢等を検出するためのセンサ部や、各種の処理を行う処理部などを含むことができる。HMD200の詳細については後述する。
 可動筐体40(広義には筐体)は、例えばアーケード筐体などと呼ばれるものであり、シミュレーションシステムの装置の外殻となるものであり、箱状である必要はない。可動筐体40は、ロボットゲームや車ゲームや飛行機ゲームなどにおけるコックピット筐体(体感筐体)であってもよいし、カードゲーム筐体などであってもよい。可動筐体40は、シミュレーションシステムの本体部分であり、シミュレーションシステムを実現するための種々の機器、構造物が設けられる。可動筐体40には、少なくともプレイ位置PPLが設定されている。
 処理装置10は、各種の処理を行う装置である。処理装置10としては、例えばパーソナルコンピュータ(PC)、業務用ゲーム装置又は家庭用ゲーム装置などの種々の装置を採用できる。処理装置10は、映像コンテンツを提供する映像機器であってもよい。
 また処理装置10は、プロセッサ(CPU、MPU等)やメモリ(ROM、RAM等)などの各種のデバイス(IC)が実装されるシステム基板(回路基板、ゲーム基板)であってもよい。この場合には、当該システム基板は例えば可動筐体40内に内蔵される。システム基板に設けられたプロセッサは、メモリに記憶されたプログラムやデータなどに基づいて、各種の処理を実行する。
 処理装置10は、例えばゲーム処理(シミュレーション処理)などの各種の処理を実行する。例えば処理装置10は、操作部160により入力されたユーザPLの操作情報に基づいて、ゲーム処理(シミュレーション処理)を行う。そして処理装置10はゲーム処理の結果(ゲーム状況)に応じた画像を生成し、生成された画像が表示部190に表示される。例えば操作部160からのユーザPLの操作情報の信号は、ケーブル20を介して処理装置10に伝送される。処理装置10は、この操作情報等に基づいてゲーム処理を行い、画像(音)の生成処理を行う。そして生成された画像(音)の信号は、ケーブル20を介して表示部190に伝送される。
 また処理装置10は、HMD200のトラッキング処理により得られたトラッキング情報に基づいて、HMD200に表示される画像を生成する。例えば図1では、HMD200のトラッキング処理を行うためのベースステーション90が設置されており、このベースステーション90には少なくとも1つの発光素子92が設けられている。また、後述するようにHMD200には、フォトダイオード等により実現される少なくとも1つの受光素子(不図示)が設けられている。そしてベースステーション90の発光素子92からの光(レーザー等)を、HMD200に設けられた受光素子により受光することで、HMD200のトラッキング処理が実現される。処理装置10は、HMD200のトラッキング処理によるトラッキング情報を取得する。トラッキング情報は、例えばHMD200の位置及び方向の少なくとも一方を含む情報である。HMD200の位置、方向は、ユーザPLの視点位置、視線方向に対応する。このトラッキング情報を用いることで、ユーザPLの視点位置や視線方向に応じた画像を生成して、HMD200に表示できるようになる。例えば現実世界のユーザPLが右方向や左方向に視線を向けたとする。この場合には、仮想空間における仮想ユーザが右方向や左方向に視線を向けた場合に見えるVR空間の画像が、HMD200に表示されるようになる。また現実世界のユーザPLが上方向や下方向に視線を向けたとする。この場合には、仮想空間における仮想ユーザが上方向や下方向に視線を向けた場合に見えるVR空間の画像が、HMD200に表示されるようになる。
 可動筐体40は、ライド部60、移動部70、ベース部52を含むことができる。またベース部52の下方に対向するように設けられる底部50や、底部50に設けられ、ベース部52を回動自在に支持する支持部56を含むことができる。更にケーブル20の経由点が設定される構造物30を含むことができる。
 ライド部60、移動部70はベース部52に設けられる。ライド部60は、ユーザPLが座るシート62を有する。ユーザPLは、シート62に座って、ゲームをプレイする。なおライド部60は、ユーザPLがまたがったり、立ち姿勢で立つような物であってもよい。
 移動部70には、ユーザにより操作される操作部160が設けられている。移動部70は例えばユーザPLのインターフェース部となるものである。なお移動部70に、表示部、カードリーダ、コイン投入口又はコイン払い出し口などを設けてもよい。
 また移動部70には、位置及び方向の少なくとも一方を検出するセンサ部80が設けられている。センサ部80は、少なくとも1つの受光素子82を有する。そして、前述したHMD200のトラッキング処理と同様に、ベースステーション90の発光素子92からの光を、センサ部80の受光素子82で受光することで、センサ部80の位置及び方向の少なくとも一方の検出が可能になる。これにより、例えばプレイ位置PPLやその変化成分の検出が可能になる。
 移動部70は、操作部160を支持する支持部72を有し、操作部160は、この支持部72により支持されて、ユーザPLの目の前に配置されるようになる。図1では操作部160は操作レバーにより実現されている。但し、操作部160は、これには限定されず、操作ボタン、方向指示キー、ハンドル、ペダル又はジョイスティック等の各種の操作デバイスにより実現されるものであればよい。
 また図1では、移動部70は、ライド部60にライドしているユーザPLに対して所与の方向DRAに移動可能に、可動筐体40に設けられている。例えば操作部160は、ユーザPLの前方側に位置するように、移動部70の支持部72に支持されている。そして移動部70は、この前方方向に沿った方向である方向DRAで、移動自在となるように可動筐体40に設けられている。
 具体的には可動筐体40のベース部52には、レール部54が設けられている。移動部70のベース部52側の面(裏面)には、レール部54に対応する位置に溝部(不図示)が設けられている。そして、当該溝部とレール部54が嵌合することで、レール部54のガイド方向である方向DRAに沿って、移動部70が移動可能になる。移動部70の方向DRAでの移動は、シミュレーションシステムのオペレータ等による手動で行われるものであってもよいし、モータ、電動シリンダ等のアクチュエータを用いた自動制御で、移動部70が方向DRAで移動するようにしてもよい。
 例えばユーザPLの体格には個人差があると共に、最適と感じるプレイポジションも、ユーザPLごとに異なる。この点、図1の構成によれば、移動部70が方向DRAで移動自在となることで、操作部160等の配置が、各ユーザPLにとって最適になるように、プレイポジションを調整することが可能になる。例えば体格が小さいユーザPLであれば、移動部70を手前側に移動させ、体格が大きいユーザPLであれば、移動部70を奥側に移動させる。また、操作部160が近くに配置されるプレイポジションを望むユーザPLの場合には、移動部70を手前側に移動させ、操作部160が遠くに配置されるプレイポジションを望むユーザPLの場合には、移動部70を奥側に移動させる。こうすることで、各ユーザPLにとって適切なポジションとなるようにプレイポジションを調整できるようになる。
 また可動筐体40は、ユーザPLのプレイ位置PPLの周辺に設けられ、ケーブル20の経由点TPが設定される構造物30を有する。そして処理装置10からのケーブル20は、構造物30の経由点TPを経由してHMD200に接続される。
 ケーブル20は、HMD200と処理装置10との間での信号を伝送するためのものであり、例えば映像信号や音声信号を伝送する。例えばケーブル20は差動信号により信号を伝送する。具体的には小振幅(例えば数百mV)の差動信号によりデジタル信号を伝送する。例えばケーブル20は、映像信号や音声信号(オーディオ信号)などを伝送する第1の信号線を含む。またケーブル20は、コンピュータである処理装置10と、周辺機器であるHMD200を接続するための第2の信号線や、HMD200に電源供給するための電源線を含んでもよい。第1の信号線は例えばHDMI規格(HDMIは登録商標。以下、同様)の信号線である。第2の信号線は例えばUSB規格の信号線である。なお、ケーブル20を用いずに、例えば無線通信によりHMD200と処理装置10との間での信号の送受信を行ってもよい。
 構造物30は、少なくとも1つの部材により形成される物体(工作物)である。そして構造物30には、ケーブル20の経由点TPが設定され、処理装置10からのケーブル20は、構造物30の経由点TPを経由してHMD200に接続される。例えばHMD200のケーブル接続点CPに接続される。またケーブル20は例えば経由点TP(固定点)において固定具等により固定される。
 例えば図1のように、HMD200はユーザPLの視界を覆うように装着されているため、VR空間(仮想空間)の映像を見ているユーザPLは、実世界のケーブル20を視覚的に認識することが難しい。特にユーザの視界を完全に覆う非透過型のHMDでは、ユーザPLは実世界のケーブル20を見ることができない。
 このような状態においてHMD200のケーブル20が、ユーザPLの手、足、又は首等に触ったり、絡まってしまうと、VR世界を楽しんでいるユーザPLに対して、実空間のケーブル20が触っているという感覚が伝わってしまい、ユーザPLの仮想現実感を損ねてしまうおそれがある。またケーブル20がユーザPLの首又は足等に絡まってしまうのは、安全上、好ましくない。
 この点、図1では、可動筐体40に設けられる構造物30を利用して、ケーブル20の経由点TPを設定し、ケーブル20を、この経由点TPを経由してHMD200に接続している。従って、可動筐体40とは異なる場所に、ケーブル20を上方から牽引するクレーン機構のような大がかりな装置を設置しなくても済むようになる。これにより、シミュレーションシステムの全体の設置面積を小さくでき、システムの低コスト化等を図れる。
 また本実施形態では、可動筐体40を設けることで、ユーザPLのプレイ位置PPLを変化させているが、図1では、経由点TPが設定されている構造物30も、可動筐体40上に設けられているため、プレイ位置PPLと同じ方向に経由点TPの位置も変化する。従って、可動筐体40によりプレイ位置PPLが変化した際に、ユーザPLと経由点TPとの間の相対的な位置関係の変化を最小限に抑えることができ、ケーブル20に強いテンションがかかってしまうのを防止できる。従って、ケーブル20への強いテンションが原因となって、HMD200がずれたり、外れたり、仮想現実感を損なってしまうなどの事態が発生するのを効果的に防止できる。
 2.可動筐体
 次に可動筐体40について詳細に説明する。可動筐体40は、ユーザPLのプレイ位置PPLを変化させる筐体である。例えば可動筐体40は、処理装置10でのゲーム処理の結果(ゲーム状況)に応じてユーザPLのプレイ位置PPLを変化させる。
 例えば処理装置10は、ユーザPLがプレイするゲームのゲーム処理として、仮想現実のシミュレーション処理を行う。仮想現実のシミュレーション処理は、実空間での事象を仮想空間で模擬するためのシミュレーション処理であり、当該事象をユーザPLに仮想体験させるための処理である。例えば実空間のユーザPLに対応する仮想ユーザが搭乗する搭乗移動体(或いは仮想ユーザ)を、仮想空間で移動させたり、移動に伴う環境や周囲の変化をユーザPLに体感させるための処理を行う。そして可動筐体40は、ゲーム処理であるシミュレーション処理の結果に基づいてプレイ位置PPLを変化させる。例えば仮想ユーザの搭乗移動体(或いは仮想ユーザ)の仮想空間での移動処理の結果等に基づいて、プレイ位置PPLを変化させる。例えば後述するロボットゲームでは、ロボットの移動の際の加速や減速や方向の変化に伴う加速度を、ユーザPLに体感させるためのシミュレーション処理として、プレイ位置PPLを変化させる処理を行う。或いは敵からの弾丸やミサイルなどのショットがロボットにヒットした場合に、そのショットによる衝撃をユーザPLに体感させるためのシミュレーション処理として、プレイ位置PPLを変化させる処理を行う。
 プレイ位置PPLは、仮想現実(VR)のシミュレーションゲームをプレイする際にユーザPLが位置するプレイポジションである。例えばプレイ位置PPLは、ユーザPLのライド部60のライド位置である。図1のようにユーザPLが、ライド部60であるシート62(椅子)に座って、仮想現実のシミュレーションゲームをプレイしている場合には、プレイ位置PPLは例えばシート62のライド位置である着座位置である。ユーザPLが、バイク、自転車、又は馬などの乗り物や動物を模擬したライド部60にまたがっている場合には、プレイ位置PPLは、またがっている位置である。またユーザPLが立ち姿勢でシミュレーションゲームをプレイする場合には、プレイ位置PPLは、例えばライド部60での立ち位置である。
 そして図1では、可動筐体40は、可動基準点MP(可動中心点)を基準(中心)にして、プレイ位置PPLを回転移動させる。具体的には不図示のアクチュエータ(電動シリンダ、モータ又はエアバネ等)により、可動基準点MPを基準にしてプレイ位置PPLを回転移動させる。なお、可動筐体40は、プレイ位置PPLを並進移動させるものであってもよい。
 例えば図1において、鉛直方向をY軸方向とし、ユーザPLの向く方向をZ軸方向とし、Y軸方向とZ軸方向に直交する方向をX軸方向とする。この場合に可動筐体40は、可動基準点MPを基準にプレイ位置PPLがX軸回りに回転移動するピッチングの回転移動が行われるように、プレイ位置PPLを変化させる。或いは、可動基準点MPを基準にプレイ位置PPLがZ軸回りに回転移動するローリングの回転移動が行われるように、プレイ位置PPLを変化させる。或いは、プレイ位置PPLがY軸回りに回転移動するヨーイングの回転移動が行われるように、プレイ位置PPLを変化させる。
 具体的には、可動筐体40は、ライド部60、移動部70等が設けられるベース部52を有する。ベース部52は、例えばXZ平面に面が広がる板状の部材である。そしてベース部52は、例えば処理装置10でのゲーム処理(シミュレーション処理)の結果に応じて、位置及び方向の少なくとも一方が変化する。例えば図1では、ベース部52は、ゲーム処理の結果(ゲーム状況)に応じて、その方向(姿勢)が変化するようになっている。
 更に具体的には、可動筐体40はベース部52に対向するように設けられる底部50(広義にはベース部)と、ベース部52を支持する支持部56を有する。例えば支持部56は、底部50に取り付けられて、ベース部52を回動自在に支持する。例えば支持部56は、X軸回りに回動自在になるようにベース部52を支持する。これにより、可動基準点MPを基準としたプレイ位置PPLのピッチングの回転移動が実現される。また支持部56は、Z軸回りに回動自在になるようにベース部52を支持する。これにより、可動基準点MPを基準としたプレイ位置PPLのローリングの回転移動が実現される。また支持部56は、Y軸回りに回動自在になるようにベース部52を支持してもよい。これによりプレイ位置PPLのヨーイングの回転移動が実現される。
 支持部56は例えばリンクボールなどの球面すべり軸受けの部材により実現される。図1では、可動基準点MPはリンクボールのボール部の中心点となっている。例えば可動基準点MPの位置は、可動筐体40を上方から見た平面視において、シート62の座面中心(広義にはライド中心)から前方側(ユーザPLが向く方向側)に所与の距離だけシフトした位置になっている。
 なお可動筐体40による可動は、エアバネなどを用いて実現してもよい。例えば底部50(底部側のベース部)とベース部52の間に、1又は複数のエアバネ(広義には伸縮部)を配置する。例えば底部50とベース部52の間の四隅にエアバネを配置する。例えばマトリクス状に複数のエアバネを配置する。これらのエアバネは、エアコンプレッサやバブルを用いて空気の供給や排出が行われることで、Y軸方向(鉛直方向)において伸縮する。そして、複数のエアバネの各エアバネの伸縮量を制御することで、可動筐体40の可動を実現して、ゲーム処理の結果に基づきプレイ位置PPLを変化させる。
 以上のように図1のシミュレーションシステムは、ユーザPLのプレイ位置PPLをゲーム処理の結果(ゲーム状況)に基づいて変化させることが可能な可動筐体40を有している。このように、プレイ位置PPL(ライド位置)を変化させることで、例えば仮想空間での仮想ユーザの搭乗移動体(ロボット)の移動等に伴う加速度の変化等を、ユーザPLに体感させることが可能になり、仮想現実感の向上を図れる。
 また可動筐体40が、ゲーム処理の結果に基づいてユーザPLのプレイ位置PPLを変化させることで、いわゆる3D酔いを抑制することも可能になる。3D酔いとは、例えば立体感のある動きの激しい映像を見続けることで、めまいなどの乗り物酔いのような症状を起こすことである。仮想空間での事象の発生に応じて、プレイ位置PPLを変化させることで、このような3D酔いも、ある程度、抑制できる。
 図2、図3に本実施形態により生成されるゲーム画像(VR画像)の例を示す。このゲーム画像は処理装置10により生成されて、HMD200に表示される。
 本実施形態では図4(A)に示すように、ユーザPLに対応する仮想ユーザPLV(仮想プレーヤ)が、仮想空間内のロボットRBのコックピットCKPに搭乗して、敵ロボット等と対戦するロボットゲームのゲーム画像が生成される。ロボットRBの出撃時には、仮想世界において、図4(A)のフードFDが閉じられる。そしてユーザPL(仮想ユーザ)は、狭い空間のコックピットCKP内でロボットRBを操縦して、敵ロボット等と対戦するゲームを楽しむことになる。
 図2、図3のゲーム画像に示すように、仮想世界のロボットRBの有視界式のコックピットCKPのフードFDには、ウィンドウWDが設けられており、ユーザPLは、このウィンドウWDを介して外界の様子を見ることができる。図2では、ウィンドウWD内には、敵ロボットERBや照準SGや戦闘フィールドのマップが表示されている。またユーザPLが操作するロボットRBの武器であるミサイルのランチャーLAA、キャノン砲CNBや、これらの武器の残り弾数を示す弾数アイコンSNA、SNBも表示されている。
 照準SGは、HMD200を装着するユーザPLの視線(頭部、HMD)の動きに追従するように移動する。例えばユーザPLが右を向けば、ゲーム画像上の照準SGは右に移動し、左を向けば照準SGは左に移動する。ユーザPLは、照準SGの位置を敵ロボットERBの位置に移動し、ランチャーLAAやキャノン砲CNBにより攻撃することで、対戦ゲームを楽しむ。
 ユーザPLが、頭部を頷くように下に向けて、視線を下に向けると、図3に示すようなゲーム画像が表示される。図3のゲーム画像では、ディスプレイDISや、操作レバーLVL、LVRや、仮想ユーザPLVの手HL、HRの画像が表示される。ディスプレイDISには、ロボットRBのステータス情報やロボットRBが装着している武器(ランチャー、キャノン砲)の情報などが表示される。また現実世界のユーザPLが操作部160(左用、右用の操作レバー)を操作すると、それに連動して、仮想世界の仮想ユーザPLVの手HL、HRが操作レバーLVL、LVRを操作する様子が表示される。これにより、あたかも本物のロボットを操作しているかのような感覚をユーザPLに与えることができ、ユーザPLの仮想現実感を大幅に向上できる。なおユーザPLは、左側、右側の操作レバーLVL、LVRに対応する現実世界の操作レバーに設けられたトリガーボタンを押すことで、ランチャーLAAのミサイルやキャノン砲CNBの弾丸を発射することができる。
 このように本実施形態のシミュレーションシステムでは、ユーザPLの全周囲の方向に亘って、仮想空間であるVR(VirtualReality)空間の世界が広がる。例えばユーザPLが前方の正面側を向けば、図2のように仮想世界のロボットRBのコックピットCKPのフードFDに設けられたウィンドウWDを介して、敵ロボットERBや風景が見ることができる。またユーザPLが前方の下方側を向けば、図3のようにコックピットCKPに配置されたディスプレイDISや、仮想ユーザPLVが手HL、HRにより操作レバーLVL、LVRを操作している様子を見ることができる。従って、あたかも本物のロボットのコックピットに着座して、当該ロボットを操作しているというような感覚をユーザPLに与えることができ、ユーザPLの仮想現実感を大幅に向上できる。
 そして図1に示すように、現実世界においてユーザPLは、移動部70を手前側に引き寄せてゲームをプレイする。また、移動部70の支持部72の形状は、ライド部60でのユーザPLの着座姿勢(広義にはライド姿勢)に沿った形状になっているため、現実世界でのユーザPLのプレイスペースも狭い空間になる。従って、図4(A)のように狭い空間のコックピットCKPに着座してロボットRBを操縦しているかのような感覚をユーザPLに与えることができ、仮想現実感の向上を図れるという利点がある。
 なお、本実施形態のシミュレーションシステムにより実現されるゲームとしては、種々のゲームを想定できる。例えば本実施形態のシミュレーションシステムは、図2~図4(B)のようなロボットゲームの他に、車、電車、飛行機、船又はバイク等の乗り物を運転するゲーム、スポーツ競技などの各種の競技を仮想体験するゲーム、ホラー体験ゲーム、RPGゲーム、アクションゲーム、クイズゲーム、競馬ゲーム、音楽ゲーム、又は恋愛等のコミュニケーションを仮想体験するゲームなどの種々のゲームに適用できる。
 3.出力情報の変化処理、補正処理
 本実施形態のシミュレーションシステムでは、可動筐体40によりユーザPLのプレイ位置を変化させることで、例えば仮想空間でのロボット(広義には搭乗移動体)の移動の際の加速や減速や方向の変化に伴う加速度を、ユーザPLに体感させている。
 例えばユーザPLがロボットの移動を加速させる操作を行った場合には、その加速感を体感させるために、図5(A)に示すように、ユーザPLが後ろのめりになるようなピッチングの回転移動を行う。即ち図5(A)のC1に示すように、可動筐体40のベース部52を例えばX軸において反時計回りに回転させる回転移動を行う。この回転運動は、例えば回転移動のためのアクチュエータである電動シリンダ58のロッド部を短くする制御を行うことで実現できる。
 またユーザPLがロボットの移動を減速させる操作を行った場合には、その減速感を体感させるために、図5(B)に示すように、ユーザPLが前のめりになるようなピッチングの回転移動を行う。即ち図5(B)のC2に示すように、可動筐体40のベース部52を例えばX軸において時計回りに回転させる回転移動を行う。この回転運動は、例えば電動シリンダ58のロッド部を長くする制御を行うことで実現できる。
 図5(A)、図5(B)のC1、C2に示すように、ロボットの移動の際の加速感や減速感を体感させる可動筐体40の制御を行った場合に、何ら工夫を施さないと、図5(A)、図5(B)のD1、D2に示すように、HMD200の位置、方向も変化してしまう。即ち、可動筐体40によりユーザPLのプレイ位置(例えばライド位置)が変化することで、ユーザPLの視点位置、視線方向が変化し、HMD200の位置、方向も変化してしまう。そして図5(A)、図5(B)では、例えばベースステーション90の発光素子92からの光を、HMD200に設けられた受光素子(不図示)により受光することで、HMD200のトラッキング処理を実行して、トラッキング情報を取得している。このトラッキング情報は、HMD200の位置及び方向の少なくとも一方を含む情報である。そして本実施形態では、このトラッキング情報に基づいて、HMD200に表示される画像を生成している。従って、加速感や減速感の体感のために図5(A)、図5(B)のC1、C2に示すように、可動筐体40のベース部52が回転移動し、D1、D2に示すようにHMD200の位置、方向が変化すると、HMD200に表示される画像も変化してしまう。
 例えば図6は、図5(A)のC1に示すように可動筐体40のベース部52が回転移動し、D1に示すようにHMD200の位置、方向が変化した場合に生成されるゲーム画像の例である。図5(A)のD1に示すようにHMD200の位置、方向が変化すると、仮想空間での仮想ユーザの視点位置、視線方向も変化してしまう。これにより、図2と図6を比べれば明らかなように、図6では、仮想ユーザの視線方向が上方向側に大きく変化したような画像が表示されるようになる。
 また図7は、図5(B)のC2に示すように可動筐体40のベース部52が回転移動し、D2に示すようにHMD200の位置、方向が変化した場合に生成されるゲーム画像の例である。図5(B)のD2に示すようにHMD200の位置、方向が変化すると、仮想空間での仮想ユーザの視点位置、視線方向も変化してしまう。これにより、図2と図7を比べれば明らかなように、図7では、仮想ユーザの視線方向が下方向側に大きく変化したような画像が表示されるようになる。
 例えばロボットの加速や減速の際に、可動筐体40により加速感や減速感をユーザPLに体感させることで、3D酔いの発生を、ある程度、抑制できる。しかしながら、可動筐体40の可動により、図6、図7に示すようにHMD200に表示される画像が頻繁に変化すると、この画像の変化が原因で、ユーザPLの3D酔いが発生してしまうおそれがある。
 また本実施形態では、敵からの弾丸やミサイルなどのショットがロボットにヒットした場合に、可動筐体40を用いて、そのショットによる衝撃をユーザPLに体感させている。例えばショットのヒットによる衝撃を体感させるために、ロッド部が微少のストローク距離で直線運動するように電動シリンダ58を制御する。この場合にも、電動シリンダ58のロッド部が微少のストロークで長くなったり、短くなったりすることで、HMD200に表示される画像も細かく変化してしまい、ユーザPLの3D酔いを引き起こしてしまう。
 また例えばロボットを右方向や左方向に曲げる操作をユーザPLが行った場合には、ベース部52をZ軸回りで回転させるローリングの回転移動が行われる。この場合に、このローリングによりユーザPLの頭部が左右に大きく振れてしまうと、図4(B)に示すように仮想空間の仮想ユーザPLVの頭部FAが、ロボットRBのコックピットCKP(フードFD)の外に出てしまうような事態が発生する。このような事態が発生すると、HMD200には、コックピットCKPの外側に仮想ユーザの頭部FAがある場合に見えるような不自然な画像が表示されてしまい、ユーザPLの仮想現実感を損ねてしまうという問題が発生する。
 本実施形態では、このような問題の発生を防止するために、処理装置10は、可動筐体40によるプレイ位置の変化情報と、HMD200のトラッキング情報とに基づいて、ユーザPLに対して出力する出力情報を変化させる処理を行う。即ち、本実施形態では前述したように、処理装置10は、HMD200のトラッキング処理により得られた、HMD200の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、HMD200に表示される画像を生成している。そして処理装置10は、このトラッキング情報と、可動筐体40によるプレイ位置の変化情報(位置変化情報、方向変化情報)とに基づいて、ユーザPLに対して出力する出力情報を変化させる処理を行う。ここでプレイ位置の変化情報は、プレイ位置の変化成分(位置変化成分、方向変化成分)を特定することが可能な情報であればよく、プレイ位置そのものの情報である必要はない。またトラッキング情報は、例えばHMD200の位置及び方向の少なくとも一方を含む情報である。このHMD200の位置、方向はユーザPLの視点位置、視線方向に対応する。
 具体的には処理装置10は、出力情報を変化させる処理として、HMD200に表示される画像を変化させる処理、及び、ユーザPLに対して出力する音を変化させる処理の少なくとも一方を行う。例えば、可動筐体40によるプレイ位置の変化情報が反映されるように、HMD200に表示される画像を変化させたり、ユーザPLに出力される音(ゲーム音、音声又はBGM等)を変化させる。
 例えば、後述するような補正処理をHMD200のトラッキング情報に対して行うことで、HMD200に表示される画像を変化させる。また、例えばヘッドホンやスピーカなどの音出力部から出力されるサラウンド音を変化させる処理を行う。例えば、可動筐体40によるプレイ位置の変化情報により、HMD200の位置の補正処理が行われた場合には、補正処理後の位置において適切なサラウンド音が聞こえるように、ヘッドホンやスピーカなどの音出力部から出力される音の変化処理を行う。例えば、補正処理後の位置において適正な音場が形成されるようにする音処理を行うことで、音の変化処理を実現する。
 より具体的には処理装置10は、可動筐体40によるプレイ位置の変化情報に基づいて、HMD200のトラッキング情報の補正処理を行うことで、出力情報を変化させる。即ち、トラッキング情報の補正処理を行うことで、HMD200に表示される画像を変化させたり、ヘッドホンやスピーカなどの音出力部から出力される音を変化させる。
 例えば処理装置10は、補正処理として、トラッキング情報に含まれるHMD200の位置の情報(位置座標等)から、可動筐体40によるプレイ位置の変化成分を差し引く補正処理(相殺する処理、キャンセルする処理)を行う。別の言い方をすれば、処理装置10は、HMD200に表示される画像として、可動筐体40によるプレイ位置の変化成分の差し引き補正処理が行われた画像を生成する。なお、この差し引き補正処理は、プレイ位置の変化成分を完全に差し引く処理である必要はない。
 例えば本実施形態では、処理装置10は、HMD200のトラッキング処理により得られたトラッキング情報に基づいて、HMD200に表示される画像を生成している。例えば図5(A)、図5(B)のC1、C2に示す可動筐体40の可動により、ユーザPLのプレイ位置が変化すると、D1、D2に示すようにHMD200の位置、方向が変化してしまう。このため、ベースステーション90の発光素子92からの光を、HMD200の受光素子が受光することで得られたトラッキング情報に含まれるHMD200の位置、方向の情報も変化してしまう。従って、このトラッキング情報をそのまま使って、画像を生成してしまうと、図6、図7に示すように上下に頻繁に変化する画像がHMD200に表示されてしまい、ユーザPLの3D酔いを引き起こしてしまう。
 そこで本実施形態では、図5(A)、図5(B)で得られたHMD200のトラッキング情報を、そのまま用いるのではなく、トラッキング情報の補正処理を行うようにしている。例えば、トラッキング情報であるHMD200の位置の情報(位置座標等)から、可動筐体40によるプレイ位置の変化成分を差し引く補正処理を行う。
 このようにすれば、可動筐体40によるプレイ位置の変化により、図5(A)、図5(B)のD1、D2のようにHMD200の位置、方向が変化した場合にも、HMD200に表示される画像は変化しないようになる。即ち、図6、図7のように上下に画像が変化してしまう事態の発生が防止されるため、ユーザPLの3D酔いの発生を効果的に抑制できるようになる。
 また図4(B)のように仮想ユーザPLVの頭部FA等がコックピットCKPの外に出てしまい、不自然な画像が生成されてしまう事態も抑制できるようになる。
 そして処理装置10は、プレイ位置の変化成分を差し引く補正処理が行われた後のHMD200の位置が、所与の範囲内に入らなかった場合に、HMD200に表示される画像のフェードアウト処理又はホワイトアウト処理を行ってもよい。例えばプレイ位置の変化成分を差し引く補正処理が行われた後の、HMD200の位置が、図4(A)、図4(B)のコックピットCKPを規定する所与の範囲内に入らなかった場合(収まらなかった場合)には、HMD200の表示画像のフェードアウト処理やホワイトアウト処理などを行う。こうすることで、不自然な画像がHMD200に表示されて、ユーザPLの仮想現実感が損なわれてしまう事態を抑制できる。
 また本実施形態のシミュレーションシステムは、可動筐体40に設けられ、位置及び方向の少なくとも一方を検出するセンサ部80を含む。例えばセンサ部80は、ユーザPLが装着するHMD200からなるべく近い位置に配置される。そして図5(A)、図5(B)において、センサ部80は、例えばセンサ部80の位置PD(配置位置)や方向(配置方向)を検出する。そして処理装置10は、センサ部80からの検出情報(位置及び方向の少なくとも一方の検出情報)に基づいて、HMD200のトラッキング情報の補正処理を行う。例えば、センサ部80の位置PDの検出情報に基づいて、HMD200のトラッキング情報であるHMD200の位置PHの補正処理を行う。或いはセンサ部80の方向の検出情報に基づいて、HMD200のトラッキング情報の補正処理を行ってもよい。
 例えば図5(A)、図5(B)のC1、C2に示す可動筐体40の可動により、ユーザPLのプレイ位置(ライド位置)が変化した場合には、E1、E2に示すようにセンサ部80により検出される位置PDも変化する。従って、プレイ位置の変化情報として、位置PDの検出情報(変化情報)を用いることができ、この位置PDの検出情報に基づいて、トラッキング情報であるHMD200の位置PHの補正処理を行うことが可能になる。
 具体的には図8に示すように、処理装置10は、基準位置からのセンサ部80の位置PDの変化成分を、トラッキング情報に含まれるHMD200の位置PHの座標から、減算する処理を、補正処理として行う。
 例えばゲームの開始前に、位置PDの初期位置である基準位置を検出(測定)して、記憶部(メモリ)に保存する。この基準位置の検出は、ベースステーション90の発光素子92からの光を、センサ部80の少なくとも1つの受光素子82により受光することで実現できる。例えば図8では、位置PDの基準位置はPD(X1、Y1、Z1)となっている。
 そして可動筐体40の可動によりプレイ位置が変化した場合に、位置PDの変化成分(ΔX、ΔY、ΔZ)を検出する。即ち図5(A)、図5(B)のE1、E2の変化成分を検出する。この変化成分の検出も、ベースステーション90の発光素子92からの光を、センサ部80の少なくとも1つの受光素子82により受光することで実現できる。
 そして、検出された位置PDの変化成分(ΔX、ΔY、ΔZ)を、プレイ位置の変化成分と見なして、HMD200の位置PH(X2、Y2、Z2)から減算する処理を、補正処理として行う。即ち、補正処理後の位置PH(X2-ΔX、Y2-ΔY、Z2-ΔZ)を求める。そして処理装置10は、補正処理後の位置PH(X2-ΔX、Y2-ΔY、Z2-ΔZ)に基づいて、HMD200に表示される画像を生成する。なおHMD200の基準位置(初期位置)についても、ゲームの開始前に検出して、記憶部(メモリ)に保存しておく。これにより、ユーザPLの体格等の個人差についても吸収できるようになる。
 以上のようにすれば、図5(A)、図5(B)のように可動筐体40が可動した場合にも、図6、図7のようにHMD200に表示される画像が変化してしまう事態が抑制される。これにより、ユーザPLが3D酔いを引き起こしてしまうのを抑制できる。
 例えば本実施形態では、ロボットの移動の加速や減速の際に、図5(A)、図5(B)のように可動筐体40のピッチングの回転移動を行うことで、加速感や減速感を体感させて、ユーザPLの仮想現実感を向上している。しかしながら、このような加速や減速の際に、図6、図7に示すように画像が上下に激しく変化してしまうと、ユーザPLの3D酔いを引き起こしてしまう。
 この点、本実施形態では、このような可動筐体40の可動によるプレイ位置の変化成分を差し引く補正処理が行われた画像が生成されて、HMD200に表示される。即ち、図5(A)、図5(B)のC1、C2に示すように可動筐体40が可動した場合にも、D1、D2に示すHMD200の位置や方向の変化が、相殺される補正処理が行われる。従って、C1、C2に示す可動筐体40の可動によっては、HMD200に表示される画像は変化しないようになり、ユーザPLが3D酔いを引き起こしてしまう事態を効果的に抑制できるようになる。同様に、ロボットが曲がる際の慣性力やショットのヒット時の衝撃を、可動筐体40によりユーザPLに体感させる場合にも、HMD200に表示される画像については変化しないようになる。例えばショットのヒット時に、HMD200に表示される画像が細かく変化してしまうと、ユーザPLの3D酔いを引き起こしてしまうおそれがある。本実施形態では、この際にもHMD200の画像が変化しないようになるため、3D酔いの発生を効果的に抑制できる。
 なお本実施形態では、可動筐体40の可動の反動で、ユーザPLが頭部が動かした場合に、ユーザPLが頭部を動かした変化分については、HMD200に表示される画像は変化する。ユーザPLが自身で頭部を動かすことで、HMD200の画像が変化しても、3D酔いは発生しないからである。
 図9は図8の補正処理を説明するためのフローチャートである。まずユーザPLがプレイするゲームのゲーム処理を実行する(ステップS1)。図2、図3を例にとれば、ロボットを移動させたり動作させるゲーム処理を実行する。そしてゲーム処理の結果に基づいて、可動筐体40を制御して、ユーザPLのプレイ位置を変化させる(ステップS2)。例えばゲーム処理の結果に基づき、図5(A)のようなロボットの移動を加速する操作が行われたと判断した場合には、C1に示すようなピッチングの回転移動を行うように、可動筐体40を制御する。またゲーム処理の結果に基づき、図5(B)のようなロボットの移動を減速する操作が行われたと判断した場合には、C2に示すようなピッチングの回転移動を行うように、可動筐体40を制御する。
 次にセンサ部80からの検出情報を取得する(ステップS3)。検出情報は、位置及び方向の少なくとも一方の検出情報である。そして取得された検出情報に基づいて、HMD200のトラッキング情報の補正処理を行う。例えばセンサ部80からの検出情報に基づいて、図8に示す位置PDの変化成分(ΔX、ΔY、ΔZ)を取得する。そして、取得された変化成分(ΔX、ΔY、ΔZ)に基づいて、HMD200のトラッキング情報の補正処理を行う。例えば図8に示すように、HMD200のトラッキング情報である位置PHの座標(X2、Y2、Z2)から、変化成分(ΔX、ΔY、ΔZ)を減算する補正処理を行う。
 なお、図8、図9の補正処理は、数学的には厳密な処理ではない。しかしながら、処理負荷が非常に軽いにも関わらず、3D酔いの発生や不自然な画像の生成の抑制には十分な効果をあるという利点がある。
 また、本実施形態の手法では、可動筐体40の可動による変化成分(ΔX、ΔY、ΔZ)については、差し引く補正処理を行っているが、可動筐体40の可動が原因でユーザPLが自身で頭部を動かしたことによる変化成分に対しては、このような補正処理は行われない。即ち、可動筐体40の可動の反動により頭部を動かしたことによる変化成分に対しては、このような補正処理は行われない。このように、ユーザPLが自身で頭部を動かしたことによる変化成分により、HMD200に表示される画像が変化しても、ユーザPLの3D酔いは生じないと考えられるからである。
 また本実施形態のシミュレーションシステムは図1に示すように、可動筐体40に設けられ、ユーザPLにより操作される操作部160を含む。そしてセンサ部80は、操作部160の周辺に設けられる。例えば図1において、操作部160及びセンサ部80は、移動部70の支持部72により支持される上面部に配置されており、操作部160の近くにセンサ部80が配置されている。即ち、操作部160が配置される上面部のスペースを有効活用して、センサ部80を配置している。このようにすれば、HMD200やユーザPLのプレイ位置(ライド位置、着座位置)の近くに、センサ部80を配置できるようになる。これにより、センサ部80で検出された位置PDの変化成分(ΔX、ΔY、ΔZ)を、可動筐体40の可動によるユーザ位置の変化成分と見なすことが可能になり、図8、図9に示すような簡素な処理で、補正処理を実現できるようになる。
 またセンサ部80は、可動筐体40の周囲に設置された発光素子(複数の発光素子)からの光を受光する少なくとも1つの受光素子82を含む。具体的には図1に示すように、可動筐体40の周囲には少なくとも1つのベースステーション90が配置される。そして、このベースステーション90の少なくとも1つの発光素子92からの光を、センサ部80の少なくとも1つの受光素子82が受光することで、センサ部80の位置PD(又はセンサ部80の方向)が検出され、図8、図9の補正処理を実現できるようになる。このようにすれば、例えばベースステーション90の発光素子92からの光をHMD200の受光素子で受光することで、HMD200のトラッキング処理を実現している場合に、このトラッキング処理のために用意されたベースステーション90を有効活用して、センサ部80による位置PDの検出(又は方向の検出)を実現できるようになる。
 なお、後述の図13に示す可動筐体40の詳細例のように、センサ部80として、ゲームコントローラ165が有するセンサ部を用いるようにしてもよい。このようにすれば、ゲームコントローラ165のセンサ部を有効活用して、その位置及び方向の少なくとも一方を検出して、HMD200のトラッキング情報の補正処理を実現できるようになる。
 4.変形例
 次に本実施形態の種々の変形例について説明する。例えば本実施形態の補正処理は図8、図9で説明した処理に限定されず、種々の変形実施が可能である。
 例えば図10では、可動筐体40の可動により位置PDが位置PD’に変化した場合の角度変化Δθを検出する。角度変化Δθは、例えば可動基準点MPと位置PDを結ぶ線と可動基準点MPと位置PD’を結ぶ線とのなす角度である。そして、求められた角度変化Δθに基づいて、HMD200の位置PHの補正処理を行って、位置PH’を求める。例えば-Δθだけ角度を変化させる補正処理を行う。そして求められた位置PH’を補正後のトラッキング情報として、HMD200に表示される画像を生成する。
 なお、角度変化Δθは、図5(A)、図5(B)のセンサ部80の方向(向く方向、配置方向)の検出情報に基づいて検出してもよい。即ち、センサ部80からの検出情報に基づくHMD200のトラッキング情報の補正処理は、センサ部80の方向の検出情報に基づくトラッキング情報の補正処理であってもよい。またHMD200のトラッキング情報の補正処理は、HMD200の位置PHの補正処理であってもよいし、HMD200の方向(視線方向)の補正処理であってもよい。例えば図10のように-Δθだけ角度を変化させる補正処理を、HMD200の方向(視線方向)を補正する処理により実現してもよい。
 図10の手法は図8、図9の手法に比べて、数学的に、より厳密な手法である。但し、角度検出(方向検出)にはノイズが乗りやすいため、この意味では図8、図9の手法の方が有利である。
 また処理装置10は、可動筐体40の可動制御のための制御情報に基づいて、HMD200のトラッキング情報の補正処理を行ってもよい。例えば図5(A)、図5(B)では、電動シリンダ58のロッド部の長さを制御することで、可動筐体40の可動制御を実現している。この場合には、電動シリンダ58のロッド部の長さを制御するための制御情報に基づいて、HMD200のトラッキング情報の補正処理を行ってもよい。
 例えば、この制御情報に基づいて、電動シリンダ58のロッド部の長さが特定されれば、可動筐体40の可動によるプレイ位置の変化成分を特定できる。具体的には、図5(A)、図5(B)のD1、D2に示すHMD200の位置、方向の変化成分を特定できる。従って、この変化成分が差し引かれるようなHMD200のトラッキング情報の補正処理を実現できる。この場合に、D1、D2に示す変化成分を差し引く補正処理は、例えば電動シリンダ58のロッド部の長さ(可動筐体の可動制御のための制御情報)と、変化成分とを対応づけるテーブルを用いて実現してもよいし、変化成分を求めるための物理的なシミュレーション処理を実行することで実現してもよい。
 図11は、可動筐体40の制御情報に基づくトラッキング情報の補正処理についてフローチャートである。
 まずユーザPLがプレイするゲームのゲーム処理を実行する(ステップS11)。そしてゲーム処理の結果に基づいて、可動筐体40を制御して、ユーザPLのプレイ位置を変化させる(ステップS12)。
 次に可動筐体40の可動制御のための制御情報を取得する(ステップS13)。例えば電動シリンダ58により可動筐体40の可動制御を行う場合には、当該制御情報として、電動シリンダ58のロッド部の長さ情報(長さの特定情報)を取得する。そして、取得された制御情報に基づいて、HMD200のトラッキング情報の補正処理を行う(ステップS14)。例えば、上述したようなテーブルを用いたり、物理的なシミュレーション処理を実行することで、図5(A)、図5(B)のD1、D2に示す変化成分を差し引く補正処理を実行する。
 図11に示す補正処理は、補正処理のための演算処理に時間がかかるため、タイムラグが生じてしまうという不利点があるが、図5(A)、図5(B)のD1、D2に示す変化成分を、より正確に求めることができるという利点がある。
 図12は本実施形態のシミュレーションシステムの変形例のシステム構成例である。図12の変形例のシミュレーションシステムは、可動筐体40に設けられ、HMD200を撮像する撮像部150を含む。即ち、後述の図20(A)、図20(B)で説明する撮像部150を可動筐体40に設ける。
 この場合に撮像部150の位置は、可動筐体40によるプレイ位置PPLの変化に伴い変化する。即ち、撮像部150は可動筐体40に設けられているため、可動筐体40の可動により、撮像部150の位置も変化する。
 そして処理装置10は、撮像部150によるHMD200の撮像画像に基づくトラッキング情報を取得して、HMD200に表示される画像を生成する。例えばHMD200に設けられる発光素子230(複数の発光素子)の位置を、撮像部150の撮像画像に基づき特定することで、HMD200のトラッキング処理を実現する。即ち、後述の図20(A)、図20(B)で説明する手法によりHMD200のトラッキング処理を行って、HMD200に表示される画像を生成する。このようにすれば、HMD200に表示される画像として、可動筐体40によるプレイ位置PPLの変化成分を差し引く補正処理が行われた画像を生成できるようになる。
 即ち、図12のように可動筐体40上に撮像部150を設ければ、図5(A)、図5(B)のC1、C2に示すように可動筐体40が可動した場合にも、撮像部150とHMD200の相対的位置関係は変化しないようになる。従って、C1、C2に示すように可動筐体40が可動した場合にも、HMD200に表示される画像は変化しないようになり、ユーザPLの3D酔いの発生を防止できるようになる。このように図12の変形例では、可動筐体40に撮像部150を設けるという簡素な手法により、3D酔いなどの不具合の発生を効果的に防止できるという利点がある。
 5.可動筐体の詳細例
 次に可動筐体40の詳細な構成例について説明する。図13、図14(A)、図14(B)、図14(C)は、各々、可動筐体40の詳細な構成を示す斜視図、上面図、側面図、正面図である。
 図13~図14(C)に示す可動筐体40では、底部450(ベース部)の上にカバー部451が設けられ、その上に、ベース部452(台座部)が設けられる。このベース部452にはシート支持部464が設けられ、シート支持部464の上にシート462が取り付けられることで、ライド部460が構成されている。
 またベース部452には、移動部470が設けられる。具体的には、ベース部452にはレール部454、455が設けられ、レール部454、455に沿った方向で移動可能になるように、移動部470が設けられる。
 移動部470は支持部472を有し、支持部472の上端には上面部473(操作基台)が設けられる。そして上面部473には、操作レバー161、162や、センサ部を有するゲームコントローラ165が設けられている。ゲームコントローラ165が有するセンサ部は、位置及び方向の少なくとも一方を検出する。操作レバー161、162は、図1の操作部160を構成するものであり、図3に示す仮想空間での操作レバーLVL、LVRに相当するものである。ユーザPLが操作レバー161、162を手で操作すると、それに連動して、仮想空間での仮想ユーザPLVの手HL、HRにより操作レバーLVL、LVRが操作される様子が表示される。
 ユーザPLが、操作レバー161、162を前方側に倒すと、仮想空間のロボットRBが前方側に移動し、操作レバー161、162を後方側に倒すと、ロボットRBが後方側に移動する。ユーザPLが操作レバー161、162が右方向側、左方向側に倒すと、ロボットRBが右方向側、左方向側に移動する。また操作レバー161、162の一方を前方側に倒し、他方を後方側に倒すことで、ロボットRBの向く方向を変えることができる。
 ゲームコントローラ165には、センサ部として用いられる少なくとも1つの受光素子が設けられる。そして後述する図19(A)、図19(B)のトラッキング処理と同様の処理により、ゲームコントローラ165のセンサ部の検出機能(位置及び方向の少なくとも一方の検出機能)が実現される。この検出機能により、例えば可動筐体40の可動によるプレイ位置PPLの変化を検出できるようになる。そして例えば可動筐体40によるプレイ位置PPLの変化成分を差し引く補正処理が行われる。このように図13では、センサ部を有するゲームコントローラ165を有効活用して、プレイ位置PPLの変化を検出している。例えばゲームコントローラ165は操作ボタン等の他の部材を有しているが、図13では、この操作ボタンは使用せずに、ゲームコントローラ165のセンサ部だけを有効活用している。
 移動部470の支持部472の下端には下面部474が設けられ、下面部474には、アクセルペダル163、ブレーキペダル164が設けられる。ユーザPLがアクセルペダル163を踏むと、仮想空間のロボットRBが加速して移動するダッシュ移動が行われる。ユーザPLがブレーキペダル164を踏むと、ロボットRBの移動が停止する。
 可動筐体40のベース部452には、フレーム部430(広義には構造物)が設けられている。そしてフレーム部430のガイド部432が、処理装置10からのケーブル20をガイドしている。例えば下方から上方へと向かう所定経路でケーブル20をガイドする。そして、ガイドされたケーブル20は、経由点TPを経由してHMD200に接続される。具体的には、ケーブル20は、経由点TPにおいて固定具433により固定されて、HMD200に接続される。
 図15(A)、図15(B)は移動部70の構成を示す斜視図であり、図16は移動部70を外した状態での可動筐体40の構成を示す斜視図である。
 図15(A)、図15(B)に示すように、移動部470の下面部474には、移動部470の移動のロック解除用のレバー478が設けられ、下面部474の裏面側には、溝部476、477が設けられる。移動部470は、溝部476、477が図16のレール部454、455に嵌合するように、ベース部452に取り付けられる。こうすることで、図1に示すように方向DRAでの移動部470(移動部70)の移動が可能になる。
 また移動部470を移動させる場合には、例えばゲーム施設(アミューズメント施設)のオペレータが、レバー478を所定方向に操作して移動のロックを解除する。そして、移動後にレバー478の元の位置に戻すことで、移動部470の移動がロックされる。なお、移動部470の移動を、モータや電動シリンダ等のアクチュエータを用いて、ユーザPLの操作により自動的に行えるようにしてもよい。
 図17(A)は、可動筐体40(可動機構)の動作を概略的に説明する図である。なお図17(A)では、説明の簡素化のために、図13のカバー部451、ベース部452、シート支持部464等の構成を省略して示している。例えば図17(A)では、電動シリンダ413、414により、シート462(ライド部460)が回転移動する場合について説明するが、実際には図13のベース部452、シート462等が一体となって、回転移動する。
 図17(A)に示すように、可動筐体40は、アクチェエータである電動シリンダ413、414を有する。電動シリンダ413、414は、処理装置10からの電気信号である制御信号に基づいて、A1、A2に示すように、そのロッド部を直線運動させる。電動シリンダ413、414は、ステッピングモータやボールネジを有しており、ステッピングモータでボールネジを回転させることで、ロッド部の直線運動を実現する。そして、このように電動シリンダ413、414のロッド部が直線運動することで、シート462の方向(姿勢)等を変化させる動作が実現される。具体的には、図13において、シート462(ライド部460)が取り付けられているベース部452の方向(姿勢)等を変化させる動作が実現される。
 可動筐体40の底部450には、基台402が設けられており、基台402にはヒンジ部403、404が設けられている。そして電動シリンダ413、414の一端は、ヒンジ部403、404により基台402に取り付けられる。具体的にはヒンジ部403、404は、水平方向であるX軸回りに回動自在となるように電動シリンダ413、414の一端を支持している。またシート462の背もたれ部の裏面側には取り付け部材420が設けられており、取り付け部材420には、ヒンジ部423、424が設けられている。そして電動シリンダ413、414の他端は、ヒンジ部423、424により取り付け部材420に取り付けられる。具体的にはヒンジ部423、424は、X軸回りに回動自在となるように電動シリンダ413、414の他端を支持している。
 基台402には、ヒンジ部405、406が設けられ、ヒンジ部405、406には支持部415、419の一端が取り付けられている。そして、支持部415、419の他端はシート462の座部(裏面)に取り付けられる。より具体的には、支持部415は、リンクボール416、417と、ヨー方向(旋回)の動きを規制するリンクシャフト418により構成される。支持部419は、リンクボールにより構成される。なお、支持部415、419は、実際には図13のカバー部451の内側に設けられている。また電動シリンダ413、414は、図14(A)、図14(B)に示すカバー部434の内側に設けられている。
 図17(B)に、支持部419等を構成するリンクボールの例を示す。支持部419では、図17(B)のB1に示す雄ネジ側が、シート462側(可動側)に固定され、B2に示す雌ネジ側が、底部450側(固定側)に固定される。
 このような球面すべり軸受け部材であるリンクボールを用いることで、図1で説明した支持部56(支持部419)によるピッチング、ローリング、ヨーイングの回転移動を実現できる。なお図17(A)では、リンクシャフト418等により構成される支持部415を設けることで、ヨーイングの回転移動を制限している。この場合にリンクシャフト418として電動シリンダ等を用いて伸縮自在とすれば、ヨーイングの回転移動も制御できるようになる。
 例えば図17(A)において、電動シリンダ413、414のロッド部が共に短くなると、シート462(ベース部452)がX軸回りにピッチングして、ユーザが後ろのめりになる動作が実現される。例えば図13においてユーザがアクセルペダル163を踏んで、ロボットの移動を加速させた場合には、その加速感を体感させるために、ユーザが後ろのめりになるようなピッチングの回転移動を行う。
 また電動シリンダ413、414のロッド部が共に長くなると、シート462(ベース部452)がX軸回りにピッチングして、ユーザが前のめりになる動作が実現される。例えば図13においてユーザがブレーキペダル164を踏んでロボットの移動を減速させた場合には、その減速感を体感させるために、ユーザが前のめりになるようなピッチングの回転移動を行う。
 またユーザが、図13の操作レバー161、162を操作して、ロボットを進行方向に対して右側や左側に曲げる操作を行った場合には、電動シリンダ413、414のロッド部の一方を短くし、他方を長くする制御を行う。これにより、シート462(ベース部452)がZ軸回りにローリングして、ロボットが進行方向に対して右側や左側に曲がる際の慣性力をユーザに体感させることができる。
 このようにロボットの移動に伴う加速感、減速感、慣性力をユーザに体感させることで、ユーザの仮想現実感を向上できると共に、いわゆる3D酔いを抑制することも可能になる。即ち、例えばHMD200には、仮想ユーザが搭乗するロボット(搭乗移動体)が移動する画像が立体的に表示されているのに、実世界においてはユーザのプレイ位置が殆ど移動していないと、ユーザに感覚のずれが生じ、3D酔いを引き起こしてしまう。
 この点、本実施形態では、可動筐体40を設けることで、このような3D酔いを緩和している。即ち、ロボットの加速、減速、コーナリングの際に、可動筐体40のシート462(ベース部452)を回転移動(ローリング、ピッチング等)させて、ユーザのプレイ位置を変化させる。こうすることで、仮想世界の事象と、実空間の事象が近づくようになり、3D酔いを緩和できる。
 また本実施形態では、例えば敵からのミサイルや弾等のショットがロボットにヒットした場合に、そのショットによる衝撃をユーザに体感させるために、ロッド部が微少のストローク距離で直線運動するように電動シリンダ413、414を制御する。或いは、地面の凹凸を表現するために、ロッド部が微少のストローク距離で直線運動するように電動シリンダ413、414を制御してもよい。このようにすることで、ユーザの仮想現実感を更に向上できるようになる。
 6.シミュレーションシステムの詳細な構成
 次に本実施形態のシミュレーションシステムの詳細な構成例について説明する。図18は、シミュレーションシステムの構成例を示すブロック図である。図1の処理装置10は、例えば図18の処理部100、記憶部170などにより実現できる。なお、本実施形態のシミュレーションシステムは図18の構成に限定されず、その構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
 可動筐体40は、ユーザのプレイ位置等を変化させる筐体である。例えば図1、図13~図17(B)で説明したように可動筐体40は動作する。
 操作部160は、ユーザが種々の操作情報(入力情報)を入力するためのものである。例えば操作部160は、ユーザが操作情報を入力するための装置として機能する。操作部160は、例えば操作ボタン、方向指示キー、ジョイスティック、ハンドル、ペダル又はレバー等の種々の操作デバイスにより実現できる。例えば図13では、操作レバー161、162、アクセルペダル163、ブレーキペダル164などにより操作部160が実現されている。
 記憶部170は各種の情報を記憶する。記憶部170は、処理部100や通信部196などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部170に保持される。記憶部170の機能は、半導体メモリ(DRAM、VRAM)、HDD(ハードディスクドライブ)、SDD、光ディスク装置などにより実現できる。記憶部170は、空間情報記憶部172、描画バッファ178を含む。
 情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、BD、CD)、HDD、或いは半導体メモリ(ROM)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータ(入力装置、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
 HMD200(頭部装着型表示装置)は、ユーザの頭部に装着されて、ユーザの眼前に画像を表示する装置である。HMD200は非透過型であることが望ましいが、透過型であってもよい。またHMD200は、いわゆるメガネタイプのHMDであってもよい。
 HMD200は、センサ部210、表示部220、処理部240を含む。なおHMD200に発光素子を設ける変形実施も可能である。センサ部210は、例えばヘッドトラッキングなどのトラッキング処理を実現するためものである。例えばセンサ部210を用いたトラッキング処理により、HMD200の位置、方向を特定する。HMD200の位置、方向が特定されることで、ユーザの視点位置、視線方向を特定できる。
 トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第1のトラッキング方式では、後述の図19(A)、図19(B)で詳細に説明するように、センサ部210として複数の受光素子(フォトダイオード等)を設ける。そして外部に設けられた発光素子(LED等)からの光(レーザー等)をこれらの複数の受光素子により受光することで、現実世界の3次元空間でのHMD200(ユーザの頭部)の位置、方向を特定する、第2のトラッキング方式では、後述の図20(A)、図20(B)で詳細に説明するように、複数の発光素子(LED)をHMD200に設ける。そして、これらの複数の発光素子からの光を、外部に設けられた撮像部で撮像することで、HMD200の位置、方向を特定する。第3のトラッキング方式では、センサ部210としてモーションセンサを設け、このモーションセンサを用いてHMD200の位置、方向を特定する。モーションセンサは例えば加速度センサやジャイロセンサなどにより実現できる。例えば3軸の加速度センサと3軸のジャイロセンサを用いた6軸のモーションセンサを用いることで、現実世界の3次元空間でのHMD200の位置、方向を特定できる。なお、第1のトラッキング方式と第2のトラッキング方式の組合わせ、或いは第1のトラッキング方式と第3のトラッキング方式の組合わせなどにより、HMD200の位置、方向を特定してもよい。
 HMD200の表示部220は例えば液晶ディスプレイ(LCD)や有機ELディスプレイなどにより実現できる。例えばHMD200には、表示部220として、ユーザの左目の前に配置される第1のディスプレイと、右目の前に配置される第2のディスプレイが設けられており、例えば立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第1のディスプレイに左目用画像を表示し、第2のディスプレイに右目用画像を表示すればよい。
 HMD200の処理部240は、HMD200において必要な各種の処理を行う。例えば処理部240は、センサ部210の制御処理や表示部220の表示制御処理などを行う。また処理部240が、3次元音響(立体音響)処理を行って、3次元的な音の方向や距離や広がりの再現を実現してもよい。
 音出力部192は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。
 I/F(インターフェース)部194は、携帯型情報記憶媒体195とのインターフェース処理を行うものであり、その機能はI/F処理用のASICなどにより実現できる。携帯型情報記憶媒体195は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体195は、ICカード(メモリカード)、USBメモリ、或いは磁気カードなどにより実現できる。
 通信部196は、有線や無線のネットワークを介して外部(他の装置)との間で通信を行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
 なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、サーバ(ホスト装置)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(あるいは記憶部170)に配信してもよい。このようなサーバ(ホスト装置)による情報記憶媒体の使用も本発明の範囲内に含めることができる。
 処理部100(プロセッサ)は、操作部160からの操作情報やHMD200でのトラッキング情報(HMDの位置及び方向の少なくとも一方の情報。視点位置及び視線方向の少なくとも一方の情報)と、プログラムなどに基づいて、ゲーム処理(シミュレーション処理)、ゲーム成績演算処理、表示処理、或いは音処理などを行う。
 処理部100の各部が行う本実施形態の各処理(各機能)はプロセッサ(ハードウェアを含むプロセッサ)により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置(例えばIC等)や、1又は複数の回路素子(例えば抵抗、キャパシター等)で構成することもできる。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。但し、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ(記憶部170)は、SRAM、DRAM等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置(HDD)等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部100の各部の処理(機能)が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
 処理部100は、入力処理部102、演算処理部110、出力処理部140を含む。演算処理部110は、ゲーム処理部111、ゲーム成績演算部118、補正処理部119、表示処理部120、音処理部130を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ(或いはプロセッサ及びメモリ)により実現できる。なお、これらの構成要素(各部)の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
 入力処理部102は、操作情報やトラッキング情報を受け付ける処理や、記憶部170から情報を読み出す処理や、通信部196を介して情報を受信する処理を、入力処理として行う。例えば入力処理部102は、操作部160を用いてユーザが入力した操作情報やHMD200のセンサ部210等により検出されたトラッキング情報(HMDの位置及び方向の少なくとも一方の情報。視点位置及び視線方向の少なくとも一方の情報)を取得する処理や、読み出し命令で指定された情報を、記憶部170から読み出す処理や、外部装置(サーバ等)からネットワークを介して情報を受信する処理を、入力処理として行う。ここで受信処理は、通信部196に情報の受信を指示したり、通信部196が受信した情報を取得して記憶部170に書き込む処理などである。
 演算処理部110は、各種の演算処理を行う。例えばゲーム処理(シミュレーション処理)、ゲーム成績演算処理、表示処理、或いは音処理などの演算処理を行う。
 ゲーム処理部111(ゲーム処理のプログラムモジュール)はユーザがゲームをプレイするための種々のゲーム処理を行う。別の言い方をすれば、ゲーム処理部111(シミュレーション処理部)は、ユーザが仮想現実(バーチャルリアリティ)を体験するための種々のシミュレーション処理を実行する。ゲーム処理部111は、可動筐体処理部112、ゲーム進行処理部113、移動体処理部114、オブジェクト空間設定部116、仮想カメラ制御部117を含む。
 可動筐体処理部112は、可動筐体40についての種々の処理を行う。例えば可動筐体40の制御処理を行ったり、可動筐体40を制御するための種々の情報の検出処理を行う。例えば可動筐体処理部112は、図17(A)の電動シリンダ413、414の制御処理を行う。例えば電動シリンダ413、414のロッド部の直線運動を制御する処理を行う。また可動筐体処理部112は、図1の操作部160、図13の操作レバー161、162、アクセルペダル163、ブレーキペダル164による操作情報を検出する処理を行う。そして、検出された操作情報に基づいて、可動筐体40の制御処理等を実行する。
 ゲーム進行処理部113は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などを行う。
 移動体処理部114は、仮想空間内で移動する移動体についての種々の処理を行う。例えば仮想空間であるオブジェクト空間(ゲーム空間)において移動体を移動させる処理や、移動体を動作させる処理を行う。例えば移動体を動作させる処理は、モーションデータを用いたモーション処理(モーション再生等)により実現できる。
 移動体は、例えば実空間のユーザに対応する仮想空間の仮想ユーザが搭乗(操作)する搭乗移動体(操作移動体)又は当該仮想ユーザである。図2~図4(B)を例にとれば、移動体は、ユーザに対応する仮想ユーザPLVが搭乗するロボットであり、このロボットが仮想空間内のフィールドで移動する。
 オブジェクト空間設定部116は、複数のオブジェクトが配置されるオブジェクト空間(広義には仮想空間)の設定処理を行う。例えば、移動体(人、ロボット、車、電車、飛行機、船、モンスター又は動物等)、マップ(地形)、建物、観客席、コース(道路)、樹木、壁、水面などの表示物を表す各種オブジェクト(ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト)をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度(向き、方向と同義)を決定し、その位置(X、Y、Z)にその回転角度(X、Y、Z軸回りでの回転角度)でオブジェクトを配置する。具体的には、記憶部170の空間情報記憶部172には、オブジェクト空間での複数のオブジェクト(パーツオブジェクト)の位置、回転角度(方向)等の情報が空間情報として記憶される。オブジェクト空間設定部116は、例えば各フレーム毎にこの空間情報を更新する処理などを行う。
 仮想カメラ制御部117は、オブジェクト空間内の所与(任意)の視点から見える画像を生成するための仮想カメラ(視点、基準仮想カメラ)の制御処理を行う。具体的には、仮想カメラの位置(X、Y、Z)又は回転角度(X、Y、Z軸回りでの回転角度)を制御する処理(視点位置、視線方向あるいは画角を制御する処理)を行う。この仮想カメラはユーザの視点に相当する。立体視表示の場合は、左目用の第1の視点(左目用の第1の仮想カメラ)と、右目用の第2の視点(右目用の第2の仮想カメラ)が設定される。
 ゲーム成績演算部118はユーザのゲーム成績を演算する処理を行う。例えばユーザのゲームプレイにより獲得された得点、ポイントなどのゲーム成績の演算処理を行う。
 補正処理部119は、HMD200のトラッキング情報等の補正処理を行う。例えば補正処理部119は、可動筐体40によるプレイ位置の変化情報に基づいて、HMD200のトラッキング情報の補正処理を行う。例えば補正処理部119は、補正処理として、トラッキング情報に含まれるHMD200の位置の情報から、可動筐体40によるプレイ位置の変化成分を差し引く補正処理を行う。具体的には図5(A)、図5(B)で説明したように、補正処理部119は、センサ部80(ゲームコントローラ165)からの検出情報に基づいて、補正処理を行う。例えば基準位置からのセンサ部80の位置の変化成分を、トラッキング情報に含まれるHMD200の位置座標から減算する処理を、補正処理として行う。また補正処理部119は、可動筐体40の可動制御のための制御情報に基づいて、補正処理を行ってもよい。
 表示処理部120は、ゲーム画像の表示処理を行う。例えば処理部100で行われる種々の処理(ゲーム処理、シミュレーション処理)の結果に基づいて描画処理を行い、これにより画像を生成し、HMD200の表示部220に表示する。具体的には、座標変換(ワールド座標変換、カメラ座標変換)、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ(プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等)が作成される。そして、この描画データ(プリミティブ面データ)に基づいて、透視変換後(ジオメトリ処理後)のオブジェクト(1又は複数プリミティブ面)を、描画バッファ178(フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ)に描画する。これにより、オブジェクト空間内において仮想カメラ(所与の視点。左目用、右目用の第1、第2の視点)から見える画像が生成される。なお、表示処理部120で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
 音処理部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲(音楽、BGM)、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部192に出力させる。なお音処理部130の音処理の一部(例えば3次元音響処理)を、HMD200の処理部240により実現してもよい。
 出力処理部140は各種の情報の出力処理を行う。例えば出力処理部140は、記憶部170に情報を書き込む処理や、通信部196を介して情報を送信する処理を、出力処理として行う。例えば出力処理部140は、書き込み命令で指定された情報を、記憶部170に書き込む処理や、外部の装置(サーバ等)に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部196に情報の送信を指示したり、送信する情報を通信部196に指示する処理などである。
 そして本実施形態では、ゲーム処理部111は、複数のオブジェクトが配置される仮想空間(ゲーム空間)において、ユーザがプレイするゲームの処理を行う。例えばオブジェクト空間である仮想空間には、複数のオブジェクトが配置されており、ゲーム処理部111は、この仮想空間でのゲームを実現するための種々のゲーム処理(ゲーム進行処理、移動体処理、オブジェクト空間設定処理、或いは仮想カメラ制御処理等)を実行する。そして表示処理部120は、仮想空間において所与の視点(左目用、右目用の第1、第2の視点)から見えるゲーム画像を、HMD200の表示部220(第1、第2のディスプレイ)に表示する処理を行う。即ち、仮想空間であるオブジェクト空間において、ユーザの視点(仮想カメラ)から見えるゲーム画像を表示する処理を行う。この場合のユーザの視点は、ユーザの視点位置情報、視線方向情報等により設定される。
 例えば仮想空間での視点は、仮想ユーザの視点位置、視線方向に設定される。そしてHMD200を装着した実空間(実世界)のユーザが首を振るなどして、その視線方向が変化すると、仮想空間の仮想ユーザの視線方向もそれに応じて変化する。またユーザが操作部160を操作することなどにより、仮想ユーザやその搭乗移動体(ロボット、電車、車、バイク、自転車、飛行機又は船等)が仮想空間内で移動すると、その移動に追従するように仮想ユーザの視点位置も変化する。このようにすることで、ユーザは、あたかも自身の分身である仮想ユーザやその搭乗移動体が仮想空間で移動するような仮想現実を体験できるようになる。なお仮想空間での仮想ユーザの視点は、いわゆる一人称視点になるが、その一人称視点の画像に、例えば仮想ユーザの体の一部が映ったり、搭乗移動体の内部の様子が映るようにしてもよい。
 図19(A)に本実施形態のシミュレーションシステムに用いられるHMD200の一例を示す。図19(A)に示すようにHMD200には複数の受光素子201、202、203(フォトダイオード)が設けられている。受光素子201、202はHMD200の前面側に設けられ、受光素子203はHMD200の右側面に設けられている。またHMDの左側面、上面等にも不図示の受光素子が設けられている。
 またHMD200には、ヘッドバンド260等が設けられており、ユーザPLは、より良い装着感で安定的に頭部にHMD200を装着できるようになっている。また、HMD200には、不図示のヘッドホン端子が設けられており、このヘッドホン端子にヘッドホン270(音出力部192)を接続することで、例えば3次元音響(3次元オーディオ)の処理が施されたゲーム音を、ユーザPLは聴くことが可能になる。なお、ユーザの頭部の頷き動作や首振り動作をHMD200のセンサ部210等により検出することで、ユーザの操作情報を入力できるようにしてもよい。
 図19(B)に示すように、シミュレーションシステム(可動筐体40)の周辺には、ベースステーション280、284が設置されている。ベースステーション280には発光素子281、282が設けられ、ベースステーション284には発光素子285、286が設けられている。発光素子281、282、285、286は、例えばレーザー(赤外線レーザー等)を出射するLEDにより実現される。ベースステーション280、284は、これら発光素子281、282、285、286を用いて、例えばレーザーを放射状に出射する。そして図19(A)のHMD200に設けられた受光素子201~203等が、ベースステーション280、284からのレーザーを受光することで、HMD200のトラッキングが実現され、ユーザPLの頭の位置や向く方向(ユーザの位置や方向)を検出できるようになる。
 なお図19(B)の移動部470に設けられたゲームコントローラ165の位置及び方向の少なくとも一方(トラッキング情報)についても、HMD200のトラッキング処理と同様の手法により検出できる。例えば、ゲームコントローラ165に設けられた受光素子(複数の受光素子)が、ベースステーション280、284の発光素子281、282、285、286からのレーザーを受光することで、ゲームコントローラ165の位置及び方向の少なくとも一方を検出できる。これにより可動筐体40の可動により変化するプレイ位置PPLの検出等が可能になる。
 図20(A)にHMD200の他の例を示す。図20(A)では、HMD200に対して複数の発光素子231~236が設けられている。これらの発光素子231~236は例えばLEDなどにより実現される。発光素子231~234は、HMD200の前面側に設けられ、発光素子235や不図示の発光素子236は、背面側に設けられる。これらの発光素子231~236は、例えば可視光の帯域の光を出射(発光)する。具体的には発光素子231~236は、互いに異なる色の光を出射する。そして図20(B)に示す撮像部150をユーザPLの前方側に設置し、この撮像部150により、これらの発光素子231~236の光を撮像する。即ち、撮像部150の撮像画像には、これらの発光素子231~236のスポット光が映る。そして、この撮像画像の画像処理を行うことで、ユーザPLの頭部(HMD)のトラッキングを実現する。即ちユーザPLの頭部の3次元位置や向く方向(ユーザの位置、方向)を検出する。
 例えば図20(B)に示すように撮像部150には第1、第2のカメラ151、152が設けられており、これらの第1、第2のカメラ151、152の第1、第2の撮像画像を用いることで、ユーザPLの頭部の奥行き方向での位置等が検出可能になる。またHMD200に設けられたモーションセンサのモーション検出情報に基づいて、ユーザPLの頭部の回転角度(視線)も検出可能になっている。従って、このようなHMD200を用いることで、ユーザPLが、周囲の360度の全方向うちのどの方向を向いた場合にも、それに対応する仮想空間(仮想3次元空間)での画像(ユーザの視点に対応する仮想カメラから見える画像)を、HMD200の表示部220に表示することが可能になる。なお、発光素子231~236として、可視光ではなく赤外線のLEDを用いてもよい。また、例えばデプスカメラ等を用いるなどの他の手法で、ユーザの頭部の位置や動き等を検出するようにしてもよい。
 なお、ユーザの視点位置、視線方向(ユーザの位置、方向)を検出するトラッキング処理の手法は、図19(A)~図20(B)で説明した手法には限定されない。例えばHMD200に設けられたモーションセンサー等を用いて、HMD200の単体でトラッキング処理を実現してもよい。即ち、図19(B)のベースステーション280、284、図20(B)の撮像部150などの外部装置を設けることなく、トラッキング処理を実現する。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法により、ユーザの視点位置、視線方向などの視点情報等を検出してもよい。
 なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(筐体、移動体、ライド姿勢、アクチュエータ等)と共に記載された用語(可動筐体、ロボット、着座姿勢、電動シリンダ・モータ・エアバネ等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、可動筐体の構成、処理装置の構成、HMDの構成、HMDのトラッキング処理、HMDの表示画像の生成処理、トラッキング情報の補正処理、プレイ位置の変化手法、シミュレーションシステムの構成等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。
PL ユーザ、DRA 所与の方向、PPL プレイ位置、MP 可動基準点、
TP 経由点、CP ケーブル接続点、
10 処理装置、20 ケーブル、30 構造物、40 可動筐体、
50 底部、52 ベース部、54 レール部、56 支持部、58 電動シリンダ、
60 ライド部、62 シート、70 移動部、72 支持部、80 センサ部、
82 受光素子、90 ベースステーション、92 発光素子、
100 処理部、102 入力処理部、110 演算処理部、111 ゲーム処理部、
112 可動筐体処理部、113 ゲーム進行処理部、114 移動体処理部、
116 オブジェクト空間設定部、117 仮想カメラ制御部、
118 ゲーム成績演算部、119 補正処理部、120 表示処理部、
130 音処理部、140 出力処理部、150 撮像部、151、152 カメラ、
160 操作部、161、162 操作レバー、
163 アクセルペダル、164 ブレーキペダル、165 ゲームコントローラ、
170 記憶部、172 空間情報記憶部、178 描画バッファ、
180 情報記憶媒体、192 音出力部、194 I/F部、
195 携帯型情報記憶媒体、196 通信部、
200 HMD(頭部装着型表示装置)、201~203 受光素子、210 センサ部、
220 表示部、231~236 発光素子、240 処理部、260 ヘッドバンド、270 ヘッドホン、280、284 ベースステーション、
281、282、285、286 発光素子、
402 基台、403、404、405、406 ヒンジ部、
413、414 電動シリンダ、415 支持部、416、417 リンクボール、
418 リンクシャフト、419 支持部(リンクボール)、
420 取り付け部材、423、424 ヒンジ部、
430 フレーム部、432 ガイド部、433 固定具、
450 底部、451 カバー部、452 ベース部、454、455 レール部、
460 ライド部、462 シート、464 シート支持部、
470 移動部、472 支持部、473 上面部、474 下面部、
476、477 溝部、478 レバー

Claims (12)

  1.  ユーザが装着する頭部装着型表示装置と、
     前記頭部装着型表示装置のトラッキング処理により得られた、前記頭部装着型表示装置の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、前記頭部装着型表示装置に表示される画像を生成する処理装置と、
     前記ユーザのプレイ位置を変化させる可動筐体と、
     を含み、
     前記処理装置は、
     前記可動筐体による前記プレイ位置の変化情報と、前記頭部装着型表示装置の前記トラッキング情報とに基づいて、前記ユーザに対して出力する出力情報を変化させる処理を行うことを特徴とするシミュレーションシステム。
  2.  請求項1において、
     前記処理装置は、
     前記出力情報を変化させる処理として、前記頭部装着型表示装置に表示される画像を変化させる処理及び前記ユーザに対して出力する音を変化させる処理の少なくとも一方を行うことを特徴とするシミュレーションシステム。
  3.  請求項1又は2において、
     前記処理装置は、
     前記可動筐体による前記プレイ位置の変化情報に基づいて、前記頭部装着型表示装置の前記トラッキング情報の補正処理を行うことで、前記出力情報を変化させることを特徴とするシミュレーションシステム。
  4.  請求項3において、
     前記処理装置は、
     前記補正処理として、前記トラッキング情報に含まれる前記頭部装着型表示装置の位置の情報から、前記可動筐体による前記プレイ位置の変化成分を差し引く補正処理を行うことを特徴とするシミュレーションシステム。
  5.  請求項4において、
     前記処理装置は、
     前記差し引く補正処理が行われた後の前記頭部装着型表示装置の位置が、所与の範囲内に入らなかった場合に、前記頭部装着型表示装置に表示される画像のフェードアウト処理又はホワイトアウト処理を行うことを特徴とするシミュレーションシステム。
  6.  請求項3乃至5のいずれかにおいて、
     前記可動筐体に設けられ、位置及び方向の少なくとも一方を検出するセンサ部を含み、
     前記処理装置は、
     前記センサ部からの検出情報に基づいて、前記補正処理を行うことを特徴とするシミュレーションシステム。
  7.  請求項6において、
     前記処理装置は、
     基準位置からの前記センサ部の位置の変化成分を、前記トラッキング情報に含まれる前記頭部装着型表示装置の位置座標から減算する処理を、前記補正処理として行うことを特徴とするシミュレーションシステム。
  8.  請求項6又は7において、
     前記可動筐体に設けられ、前記ユーザにより操作される操作部を含み、
     前記センサ部は、前記操作部の周辺に設けられることを特徴とするシミュレーションシステム。
  9.  請求項6乃至8のいずれかにおいて、
     前記センサ部は、前記可動筐体の周囲に設置された発光素子からの光を受光する少なくとも1つの受光素子を有することを特徴とするシミュレーションシステム。
  10.  請求項6乃至9のいずれかにおいて、
     前記センサ部は、ゲームコントローラが有するセンサ部であることを特徴とするシミュレーションシステム。
  11.  請求項1乃至3のいずれかにおいて、
     前記処理装置は、
     前記可動筐体の可動制御のための制御情報に基づいて、前記補正処理を行うことを特徴とするシミュレーションシステム。
  12.  ユーザが装着する頭部装着型表示装置と、
     前記頭部装着型表示装置のトラッキング処理により得られた、前記頭部装着型表示装置の位置及び方向の少なくとも一方の情報であるトラッキング情報に基づいて、前記頭部装着型表示装置に表示される画像を生成する処理装置と、
     前記ユーザのプレイ位置を変化させる可動筐体と、
     前記可動筐体に設けられ、前記頭部装着型表示装置を撮像する撮像部と、
     を含み、
     前記撮像部の位置は、前記可動筐体による前記プレイ位置の変化に伴い変化し、
     前記処理装置は、
     前記撮像部による前記頭部装着型表示装置の撮像画像に基づく前記トラッキング情報を取得して、前記頭部装着型表示装置に表示される画像を生成することを特徴とするシミュレーションシステム。
PCT/JP2017/016303 2016-04-28 2017-04-25 シミュレーションシステム WO2017188224A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016091767A JP6712423B2 (ja) 2016-04-28 2016-04-28 シミュレーションシステム
JP2016-091767 2016-04-28

Publications (1)

Publication Number Publication Date
WO2017188224A1 true WO2017188224A1 (ja) 2017-11-02

Family

ID=60161545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016303 WO2017188224A1 (ja) 2016-04-28 2017-04-25 シミュレーションシステム

Country Status (2)

Country Link
JP (1) JP6712423B2 (ja)
WO (1) WO2017188224A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113018840A (zh) * 2020-07-21 2021-06-25 纳恩博(北京)科技有限公司 射击操纵模块和车辆

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6964142B2 (ja) * 2017-11-10 2021-11-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP2020012968A (ja) * 2018-07-18 2020-01-23 三菱プレシジョン株式会社 シミュレータ用映像表示システム
JP7443750B2 (ja) 2019-12-19 2024-03-06 株式会社Jvcケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP7286113B2 (ja) * 2021-03-30 2023-06-05 三菱プレシジョン株式会社 画像生成装置及び画像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175883A (ja) * 1999-12-16 2001-06-29 Sony Corp バーチャルリアリティ装置
JP2005169063A (ja) * 2003-11-21 2005-06-30 Takechika Nishi 画像表示装置及びシミュレーション装置
JP2008027363A (ja) * 2006-07-25 2008-02-07 Shimadzu Corp ヘッドモーショントラッカ装置
JP2015150063A (ja) * 2014-02-12 2015-08-24 株式会社バンダイナムコエンターテインメント プログラムおよびゲーム装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175883A (ja) * 1999-12-16 2001-06-29 Sony Corp バーチャルリアリティ装置
JP2005169063A (ja) * 2003-11-21 2005-06-30 Takechika Nishi 画像表示装置及びシミュレーション装置
JP2008027363A (ja) * 2006-07-25 2008-02-07 Shimadzu Corp ヘッドモーショントラッカ装置
JP2015150063A (ja) * 2014-02-12 2015-08-24 株式会社バンダイナムコエンターテインメント プログラムおよびゲーム装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113018840A (zh) * 2020-07-21 2021-06-25 纳恩博(北京)科技有限公司 射击操纵模块和车辆
CN113018840B (zh) * 2020-07-21 2024-01-09 纳恩博(北京)科技有限公司 射击操纵模块和车辆

Also Published As

Publication number Publication date
JP6712423B2 (ja) 2020-06-24
JP2017196312A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
US11014000B2 (en) Simulation system, processing method, and information storage medium
JP6689694B2 (ja) シミュレーションシステム及びプログラム
WO2018012395A1 (ja) シミュレーションシステム、処理方法及び情報記憶媒体
US10639557B2 (en) Synchronized motion simulation for virtual reality
JP6719308B2 (ja) シミュレーションシステム及びプログラム
WO2017188224A1 (ja) シミュレーションシステム
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
CN110769906B (zh) 模拟系统、图像处理方法以及信息存储介质
JP6849317B2 (ja) ゲームシステム
JP6774260B2 (ja) シミュレーションシステム
JP2019175323A (ja) シミュレーションシステム及びプログラム
JP7072441B2 (ja) シミュレーションシステム及びプログラム
JP2018171320A (ja) シミュレーションシステム及びプログラム
JP6918189B2 (ja) シミュレーションシステム及びプログラム
JP6660321B2 (ja) シミュレーションシステム及びプログラム
JP2019213764A (ja) シミュレーションシステム
JP2017188827A (ja) シミュレーションシステム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17789506

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17789506

Country of ref document: EP

Kind code of ref document: A1