WO2017068824A1 - 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2017068824A1
WO2017068824A1 PCT/JP2016/071178 JP2016071178W WO2017068824A1 WO 2017068824 A1 WO2017068824 A1 WO 2017068824A1 JP 2016071178 W JP2016071178 W JP 2016071178W WO 2017068824 A1 WO2017068824 A1 WO 2017068824A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
spectator
viewpoint
game
Prior art date
Application number
PCT/JP2016/071178
Other languages
English (en)
French (fr)
Inventor
直大 北城
塩見　誠
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US15/769,216 priority Critical patent/US10471355B2/en
Publication of WO2017068824A1 publication Critical patent/WO2017068824A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • One embodiment of the present invention relates to a video generation device and the like.
  • FIG. 12 is a diagram showing an example of a conventional MR game system.
  • an AR (Augmented Reality) game device 104 is displayed on a real space video image captured by the HMD 107 on an HMD 107 that the player 101 wears. Then, a subjective viewpoint video obtained by synthesizing the video of the virtual object 102 viewed from the viewpoint (subjective viewpoint) of the player 101 is displayed.
  • a display 106 that presents a video to a third party (spectator) other than the player 101 has an objective viewpoint actual image captured by the objective viewpoint video imaging camera 103 and a virtual object 102 viewed from the third party objective viewpoint. The objective viewpoint video that is synthesized with the video is displayed.
  • an MR game image is generated from the subjective viewpoint of the player 101, and an MR game image from the viewpoint of the spectator (objective viewpoint) or from the viewpoint desired by the spectator is generated. Can be performed.
  • a video for a spectator is generated using an objective viewpoint live-action video captured by an objective viewpoint video imaging camera 103. Therefore, in the spectator video, the positional relationship between the plurality of players 101 and the surrounding environment of the space where the players 101 exist are reproduced. However, depending on the type of game handled by the MR game system, the positional relationship and the surrounding environment need not be reproduced in the spectator video.
  • One aspect of the present invention has been made in view of the above problems, and its purpose is to present a more effective video to a third party according to the progress of a predetermined story in a game that generates a virtual object. It is to realize a video generation apparatus capable of performing the above.
  • a video generation device is a video generation device that generates a video, Depending on the progress of a predetermined story in the game that generates the virtual object, the virtual object including the image of the virtual object and the image of the user who uses the game or the image of the avatar indicating the user, A video generation unit that generates a third-party viewpoint video viewed from a viewpoint on the virtual space of a third party other than the user is provided.
  • FIG. 2A is a diagram showing an example of an MR game system according to the first embodiment of the present invention
  • FIG. 2B is an example of a player video displayed on an HMD used in the MR game system.
  • FIG. It is a figure for demonstrating notionally the example of the setting of the arrangement position of the image of the virtual object in the image
  • Embodiment 1 An embodiment of the present invention will be described below with reference to FIGS.
  • FIG. (A) of FIG. 2 is a figure which shows an example of MR game system 1
  • (b) is a figure which shows an example of the image
  • the MR game system 1 is a system for realizing a predetermined MR game (software) used by the opponents (users and players) 10A and 10B.
  • the predetermined MR game include a game that generates virtual objects 11A and 11B, which will be described later, such as a battle game using a trading card game.
  • each of the opponents 10A and 10B decides the victory or defeat of each of the opponents 10A and 10B based on information included in a plurality of cards (trading cards) placed on the card placement table 6 (opposition board).
  • the description will be made on the assumption that two players 10A and 10B are competing in the MR game, but three or more players may be competing.
  • the MR images generated in accordance with the progress of a predetermined story in a predetermined MR game are displayed as the competitors 10A and 10B and the spectator 20 (the opponent). 10A and 10B).
  • the MR game system 1 includes a display 2 (display device), an MR game device 3 (video generation device), HMDs 4A and 4B, a card camera 5, and a card mounting table 6.
  • the display 2, the HMD 4A, 4B, and the card camera 5 are connected to the MR game apparatus 3 by cables. Note that each device and the MR game device 3 may be connected wirelessly instead of a cable (wired) as long as data communication between them is possible.
  • the display 2 displays a spectator video (third-party viewpoint video) generated by the MR game device 3 in accordance with the progress of the MR game, and is composed of, for example, an LCD (Liquid crystal display). .
  • the MR game system 1 may include a plurality of displays 2. In this case, the spectator 20 can watch the progress of the MR game at various places.
  • the MR game device 3 performs processing corresponding to the progress of the MR game (for example, generation of images of the virtual objects 11A and 11B) based on the information stored in the device itself or the card image data acquired by the card camera 5. , Generation of the video for the opponent, generation of the video for the spectator), and the like.
  • the MR game device 3 transmits the video data for the player indicating the video for the player to the HMDs 4A and 4B, and outputs the video data for the player indicating the video for the spectator to the display 2.
  • the MR game device 3 uses virtual images viewed from the opponents 10A or 10B and the opponents 10A and 10B included in the real-world video input from the HMDs 4A and 4B as the opponent images transmitted to the HMDs 4A and 4B.
  • An image obtained by combining the objects 11A and 11B is generated.
  • the opponent video data indicating the opponent video viewed from the opponent 10B as shown in FIG. 2B is transmitted. That is, the video for the opponent viewed from the opponent 10B is obtained by arranging the images of the virtual objects 11A and 11B on the real image including the opponent 10A viewed from the opponent 10B.
  • the MR game device 3 plays the image of the virtual objects 11A and 11B viewed from an arbitrary direction on the virtual space viewed from the arbitrary direction by the spectator 20 as a video for the spectator transmitted to the display 2.
  • a video is generated by combining the images of the players 10A and 10B themselves or the images of the avatars indicating the opponents 10A and 10B.
  • the MR game apparatus 3 generates a spectator video including images of the competitors 10A and 10B themselves.
  • the HMDs 4A and 4B are respectively attached to the heads of the opponents 10A and 10B.
  • the HMDs 4A and 4B display the player video generated by the MR game device 3 on a display (not shown) mounted on the device itself.
  • HMD4A, 4B images the real space containing the opponent who becomes an other party by the imaging device (not shown) which an own apparatus carries.
  • the HMD 4A worn by the opponent 10A images a real space including the opponent 10B as the opponent.
  • the HMDs 4A and 4B transmit the captured real-world video images to the MR game apparatus 3 as imaging data.
  • the card camera 5 images the entire card group mounted on the card mounting table 6 and transmits the imaging result to the MR game apparatus 3 as card image data.
  • the card information included in the card can be read by the card information acquisition unit 31 described later.
  • the MR game device 3 Based on this card information, the MR game device 3 generates, for example, a character included as the card information as an image of the virtual objects 11A and 11B and includes it in the player video and the video for the spectator.
  • the card information can be acquired in the MR game device 3, it may be realized by a reading device such as a scanner instead of the card camera 5.
  • the card mounting table 6 is a table of real objects used in the MR game, and is a table on which any one of a plurality of cards possessed by the opponents 10A and 10B is mounted.
  • the opponents 10 ⁇ / b> A and 10 ⁇ / b> B place the cards possessed by them at the determined positions of the card placement table 6.
  • FIG. 1 is a diagram showing an example of the configuration of the MR game apparatus 3 of the present embodiment.
  • FIG. 3 is a diagram for conceptually explaining a setting example of the arrangement positions of the images of the virtual objects 11A and 11B and the images of the opponents 10A and 10B determined by the position determination unit 351. is there.
  • the MR game apparatus 3 includes a control unit 30 and a storage unit 40.
  • the control unit 30 controls the MR game apparatus 3 in an integrated manner, and includes a card information acquisition unit 31, an imaging data acquisition unit 32, a game state control unit 33, a player video generation unit 34, and a spectator video generation. A portion 35 is provided.
  • the card information acquisition unit 31 When the card information acquisition unit 31 receives card imaging data including a card placed on the card placement table 6 and imaged by the card camera 5, the card information acquisition unit 31 analyzes the captured image indicated by the card imaging data, and converts the captured image into the captured image.
  • the card information included in the card is acquired by identifying the figure, symbol, etc. described in the included card.
  • the card includes card information (card type information) which is information set in the MR game.
  • the card information includes, for example, various functions such as character information indicating characters appearing in the MR game, field information indicating a field (background of sea, space, etc.) where the characters fight against each other, and highlighting (zooming in) the characters.
  • the function information to be shown is mentioned.
  • the card information acquisition unit 31 identifies the card placement position on the card placement table 6 by identifying the card position in the captured image. Then, the card information acquisition unit 31 associates the card placement position on the card placement table 6 with the acquired card information, and transmits it to the game state control unit 33.
  • the imaging data acquisition part 32 acquires the imaging data which HMD4A and 4B imaged, respectively.
  • the imaging data acquisition unit 32 analyzes the imaging data acquired from the HMD 4A based on information such as the angle of view, the focal length, and the distortion of the imaging device mounted on the HMD 4A, 4B, so that the opponent 10A in the real space
  • the viewpoint that is, the position and line-of-sight direction of the opponent 10A in the real space
  • the imaging data acquisition unit 32 detects the visual viewpoint of the opponent 10B in the real space by analyzing the imaging data acquired from the HMD 4B. That is, the imaging data acquisition unit 32 functions as an opponent viewpoint detection unit that detects an opponent's viewpoint.
  • the imaging data acquisition unit 32 transmits information indicating the viewpoints of the opponents 10 ⁇ / b> A and 10 ⁇ / b> B to the game state control unit 33.
  • the information indicating the viewpoints of the opponents 10A and 10B includes position information (x, y, z) (z is the height of the line of sight) indicating the position of the opponent A or B in the real space, and the position information. And information indicating the viewing direction of the opponent A or B starting from the position. Further, information indicating the line-of-sight direction of the opponent A or B is represented by a (unit) direction vector (Vx, Vy, Vz) or ( ⁇ (azimuth angle), ⁇ (elevation angle)).
  • the line-of-sight direction of the opponent 10A may be specified with high accuracy using, for example, the card mounting table 6 included in the imaging data as a reference point (mark).
  • the imaging data acquisition part 32 shows the information (for example, each position and attitude
  • Information position / attitude parameters
  • the imaging data acquisition unit 32 can calculate the line-of-sight directions of the opponents 10A and 10B using the position / posture parameters.
  • the game state control unit 33 manages the progress of the MR game based on the sequentially acquired card information.
  • the game state control unit 33 acquires the card information associated with the card placement position on the card mounting table 6 from the card information acquisition unit 31, the type of card information and the combination of the cards on the opponent 10A side, and the opponent The type of card information on the 10B side and the combination of cards are specified.
  • the game state control unit 33 collates the information specified on each of the opponents 10A and 10B with the rules set in advance in the MR game, so that the situation of the opponents (the battles) The situation of the battle at the next time point based on which one of the players 10A and 10B is in the attacking state, which is in the defensive state, and which of the opponents 10A and 10B is dominant and which is inferior judge. Based on the determination result, the game state control unit 33 generates the virtual objects 11A and 11B generated by the player video generation unit 34 and the states of the virtual objects 11A and 11B (the characters that become the virtual objects 11A and 11B). The player viewpoint information indicating the direction, posture and size of the player). Then, the game state control unit 33 outputs the player viewpoint information to the player video generation unit 34.
  • the player viewpoint information includes information indicating the strength of the character indicated by the card, information corresponding to the progress of the game (information indicating the scores of the opponents 10A and 10B, the number of turns, etc.), and the like. Incidental information is included.
  • the game state control unit 33 uses the progress of the MR game and the viewpoint of the spectator 20 in the virtual space (the spectator 20 as the information to be transmitted to the spectator video generation unit 35 based on the determination result.
  • Spectator viewpoint information third-party viewpoint information
  • this spectator viewpoint information is arbitrary information suitable for expression on the MR game, which can change frequently depending on the situation of the battle.
  • the spectator viewpoint information indicates (1) field information indicating a field in which a predetermined story progresses in the MR game and in which the virtual objects 11A and 11B can be arranged, and (2) a viewpoint of viewing the field. It includes at least one of field viewpoint information and (3) object change information indicating a change of an object to be noted on the field according to the progress of a predetermined story.
  • This spectator viewpoint information may be included in the card information or may be stored in the storage unit 40.
  • the above-mentioned field is a virtual space in which the opponents 10A and 10B face each other, and examples thereof include a stadium, the sea, and space.
  • the field information is information indicating various fields such as the stadium, the sea, and space.
  • the viewpoint indicated by the field viewpoint information (that is, the position of the virtual viewpoint of the spectator 20 in the field and the direction in which the spectator 20 sees), (1) an arbitrary position on the front side of the field and its position (2) Arbitrary position on the back side of the field, and direction from that position (direction opposite to the direction from the front), (3) When the image of the opponent 10A is placed in the field Arbitrary position behind the opponent 10A and the direction from that position, (4) Arbitrary position behind the opponent 10B when the image of the opponent 10B is placed in the field, and the direction from that position, (5) Arbitrary position above the field, direction from that position, and the like.
  • the direction from the front of the field of (1) is a direction in which the opponents 10A and 10B are viewed from the side when the opponents 10A and 10B are competing in the field.
  • the direction from above the field (5) is a direction in which the images of the opponents 10A and 10B arranged in the field are viewed from above.
  • the position of the viewpoint included in the viewpoint indicated by the field viewpoint information may be, for example, each position on the surface of a virtual sphere centered on the center of the field and having a predetermined radius.
  • the position information indicating the position of the viewpoint included in the field viewpoint information is position coordinates on the surface of the sphere.
  • the object change information includes, for example, information indicating the expansion rate of the opponent 10A or 10B, information indicating the expansion rate of the virtual object 11A or 11B, or a predetermined effect (for example, an item for attack or defense). It is the information which shows the expansion rate of the target object which shows the said effect.
  • the target object includes fields such as images of the opponents 10A and 10B, images of the virtual objects 11A and 11B, and images of the avatars 12A and 12B described in the second embodiment. All objects that can appear above may be included.
  • the game state control unit 33 generates the virtual objects 11A and 11B to be generated, information indicating the state, and incidental information based on the determination result. Moreover, the game state control part 33 specifies the magnitude
  • the player video generation unit 34 generates a player video to be output to the HMD 4A worn by the player 10A and the HMD 4B worn by the player 10B.
  • the opponent video generation unit 34 includes an opponent virtual object image generation unit 341 and an opponent video synthesis unit 342.
  • the opponent virtual object image generation unit 341 acquires the competitor viewpoint information from the game state control unit 33, the opponent viewpoint information and information indicating the viewpoints of the opponents 10 ⁇ / b> A and 10 ⁇ / b> B acquired from the imaging data acquisition unit 32. Based on the above, for each of the opponents 10A and 10B (that is, for each of the HMDs 4A and 4B), the arrangement positions of the virtual objects 11A and 11B to be generated and the state (form) thereof are specified. Then, the opponent virtual object image generation unit 341 reads the 3D model of the character generated as the virtual objects 11A and 11B to be generated from the storage unit 40, and the orientation, posture and size of each character included in the opponent viewpoint information.
  • images (virtual object images) of the virtual objects 11A and 11B when viewed from the opponent 10A are generated.
  • the player's viewpoint information includes incidental information related to the virtual objects 11A and 11B
  • the incidental information may be added to the images of the virtual objects 11A and 11B.
  • the opponent virtual object image generation unit 341 notifies the opponent video composition unit 342 of information indicating the images of the virtual objects 11A and 11B generated for transmission of the HMDs 4A and 4B and their arrangement positions.
  • a coordinate transformation matrix M1 from the object coordinate system to the image coordinate system of the HMD 4A is calculated.
  • the vertex coordinate value in the object coordinate system of each polygon constituting the virtual objects 11A and 11B is calculated.
  • the image coordinate value of the vertex of each polygon constituting the virtual objects 11A and 11B is calculated.
  • the opponent video composition unit 342 acquires the images of the virtual objects 11A and 11B generated as displayed on the HMD 4A
  • the image data from the HMD 4A acquired by the imaging data acquisition unit 32 is added to the virtual objects 11A and 11B.
  • the image of 11B is synthesized.
  • incidental information is added to the images of the virtual objects 11A and 11B, the incidental information is also combined.
  • the opponent video composition unit 342 transmits the synthesized video to the HMD 4A as the video data for the opponent.
  • the HMD 4A acquires the video data for the opponent
  • the HMD 4A displays the video for the opponent on the display included in the own device.
  • the opponent video composition unit 342 acquires the images of the virtual objects 11A and 11B generated as displayed on the HMD 4B
  • the imaging data from the HMD 4B acquired by the imaging data acquisition unit 32 is obtained as described above.
  • the images of the virtual objects 11A and 11B are synthesized.
  • the player video composition unit 342 displays the player video on the display of the HMD 4B by transmitting the synthesized video as the video data for the player to the HMD 4B.
  • the spectator video generation unit 35 generates a spectator video to be output to the display 2. That is, the spectator video generation unit 35 is viewed from the spectator 20 (the spectator viewpoint), which is different from the MR video (competitor video) for the opponent viewed from the opponent 10A or 10B (subjective viewpoint). MR video for the spectator (video for the spectator) is presented to the spectator 20.
  • the spectator video generation unit 35 includes a position determination unit 351, a spectator virtual object image generation unit 352 (virtual object image generation unit), and a spectator video synthesis unit 353 (video generation unit).
  • the position determination unit 351 determines the field in which the virtual objects 11 ⁇ / b> A and 11 ⁇ / b> B battle and the direction in which the spectator 20 views the field (the battle between the virtual objects 11 ⁇ / b> A and 11 ⁇ / b> B). Direction of viewing the situation). Then, the position determination unit 351 reads an image showing the field viewed from the viewpoint of the spectator 20 from the storage unit 40.
  • the position determination unit 351 determines the virtual objects 11A and 11B to be generated based on the determination result of the game state control unit 33 and the information indicating the viewpoints of the opponents 10A and 10B acquired from the imaging data acquisition unit 32. Arrangement position information indicating the arrangement position in the field (virtual field) as the virtual space and the arrangement position in the virtual field of the opponents 10A and 10B is generated.
  • the position determination unit 351 transmits the generated arrangement position information to the spectator virtual object image generation unit 352 and the spectator video synthesis unit 353.
  • the position determination unit 351 determines a first display position that is a position where the images of the virtual objects 11A and 11B are displayed and a second display position that is a position where the images of the opponents 10A and 10B are displayed. . In other words, the position determining unit 351 adjusts the arrangement positions of the images of the virtual objects 11A and 11B and the opponents 10A and 10B in the spectator video.
  • FIG. 3 the positions of the opponents 10 ⁇ / b> A and 10 ⁇ / b> B, the positions of the virtual objects 11 ⁇ / b> A and 11 ⁇ / b> B, and the position of the spectator 20 existing in the virtual field are shown as conceptual diagrams viewed from above the spectator 20. .
  • the spectator 20 is present within the range RO of the position of the spectator 20, and views a field within a predetermined angle (the range of view VF of the spectator 20) from that position.
  • the virtual objects 11A and 11B and the opponent 10A on the virtual field can be viewed mainly including the entire opponents 10A and 10B and the virtual objects 11A and 11B. 10B is determined.
  • the position of the spectator 20 and the visual field range VF in the range RO can be changed based on spectator viewpoint information (particularly, field viewpoint information and object change information).
  • the viewpoint of the spectator 20 is realized by a virtual camera, and the field of view range VF is the angle of view of the virtual camera.
  • the MR game device 3 generates spectator viewpoint information according to the progress state so that the position and angle of view of the virtual camera can be freely changed according to the progress state of the game.
  • a spectator video is generated based on the spectator viewpoint information.
  • the opponents 10A and 10B are arranged in the range RA of the position of the opponent 10A and the range RB of the position of the opponent 10B in the virtual field.
  • the positions of the opponents 10A and 10B do not need to faithfully reproduce the actual positions of the opponents 10A and 10B in the real space based on the imaging data acquired by the imaging data acquisition unit 32. For example, what is necessary is just to arrange
  • the virtual objects 11A and 11B are arranged at positions of a range RCA that exists around the range RA of the position of the opponent 10A and a range RCB that exists around the range RB of the position of the opponent 10B, respectively.
  • the virtual objects 11A and 11B have no contradiction between the viewpoint of the spectator 20 and the placement positions of the opponents 10A and 10B in the ranges RCA and RCB, respectively (for example, the opponents 10A and 10B and the virtual object 11A , 11B may be set so as not to overlap. That is, the positional relationship among the opponents 10A and 10B, the virtual objects 11A and 11B, and the spectator 20 may be restricted by preparing in advance a set of parameters that do not cause the contradiction.
  • the spectator virtual object image generation unit 352 acquires the arrangement position information indicating the first display position and the second display position determined by the position determination unit 351, the spectator virtual object image generation unit 352 generates virtual objects 11A and 11B based on the spectator viewpoint information.
  • a 3D model of the generated character is read from the storage unit 40. Then, based on the information indicating the orientation, posture and size of each character included in the spectator viewpoint information, images of the virtual objects 11A and 11B when viewed from the spectator 20 are generated.
  • the attendant viewpoint information includes incidental information related to the virtual objects 11A and 11B, the incidental information may be added to the images of the virtual objects 11A and 11B.
  • the method for generating the images of the virtual objects 11A and 11B when viewed from the spectator 20 is the same as the image of the virtual objects 11A and 11B when viewed from the opponent 10A or 10B.
  • the spectator virtual object image generation unit 352 transmits information indicating the images of the virtual objects 11A and 11B when viewed from the generated spectator 20 to the spectator video composition unit 353.
  • the spectator video synthesis unit 353 generates a spectator video based on the spectator viewpoint information generated by the game state control unit 33. Specifically, the spectator video composition unit 353 has the spectator virtual object image generation unit at the first display position in the video determined from the viewpoint of the spectator 20 determined by the position determination unit 351. 352 combines the images of the virtual objects 11A and 11B generated. When incidental information is added to the images of the virtual objects 11A and 11B, the incidental information is also combined.
  • the spectator video composition unit 353 extracts images of the opponents 10A and 10B by analyzing the captured data from the HMDs 4A and 4B acquired by the captured data acquisition unit 32.
  • the spectator video synthesizing unit 353 synthesizes the extracted images of the opponents 10A and 10B at the second display position in the video showing the field viewed from the viewpoint of the spectator 20 determined by the position determining unit 351.
  • the video synthesizing unit 353 for the spectators adjusts the sizes of the opponents 10A and 10B according to the information indicating the size included in the spectator viewpoint information, and displays the images of the opponents 10A and 10B in the second display position. To synthesize.
  • the spectator video composition unit 353 arranges the images of the virtual objects 11A and 11B and the images of the opponents 10A and 10B at the first display position and the second display position determined by the position determination unit 351. Then, on the virtual space including these images, the spectator video viewed from the viewpoint of the spectator 20 on the virtual space is generated.
  • the spectator video composition unit 353 transmits the generated spectator video as spectator video data to the display 2 so that the spectator video is displayed on the display 2.
  • the storage unit 40 stores, for example, various control programs executed by the control unit 30, and includes a nonvolatile storage device such as a hard disk or a flash memory.
  • the storage unit 40 stores, for example, information indicating a predetermined rule of the MR game, video data indicated by various information included in the card, and the like.
  • FIG. 4 is a flowchart showing an example of processing in the MR game apparatus 3.
  • the game state control unit 33 When the card information acquisition unit 31 acquires card information (S1), the game state control unit 33 generates spectator viewpoint information based on the card information (S2).
  • the position determination unit 351 based on the spectator viewpoint information generated by the game state control unit 33, the first display position where the images of the virtual objects 11A and 11B are displayed, and the images of the opponents 10A and 10B.
  • a second display position which is a position where is displayed, is determined (S3).
  • the spectator virtual object image generation unit 352 generates images of the virtual objects 11A and 11B when viewed from the spectator 20 based on the spectator viewpoint information (S4).
  • the spectator video composition unit 353 synthesizes the images of the virtual objects 11A and 11B generated by the spectator virtual object image generation unit 352 at the first display position determined by the position determination unit 351. Further, the images of the opponents 10A and 10B extracted from the imaging data acquired by the imaging data acquisition unit 32 are combined with the second display position determined by the position determination unit 351. Thereby, the video for spectators is generated (S5; video generation step). Then, the spectator video composition unit 353 transmits spectator video data indicating the spectator video to the display 2 (S6).
  • the spectator 20 can view MR images that change in accordance with the progress of the MR game, including images of the virtual objects 11A and 11B and the opponents 10A and 10B in the virtual space.
  • Patent Document 1 by using the video captured by the objective viewpoint video imaging camera, the actual positional relationship between the opponents and the surrounding environment in which the opponents exist are reproduced.
  • the spectator in view of the MR game, It is not always necessary for the spectator to recognize the positional relationship or the surrounding environment. In order for the spectator to enjoy the progress of the game, for example, it is only necessary to view a video in which the opponent and the virtual object are arranged at arbitrary positions in the background expressing the world view of the game.
  • the MR game device 3 allows the spectator to move in a virtual space including the images of the virtual objects 11A and 11B and the images of the opponents 10A and 10B according to the progress of the MR game.
  • the video for the spectator viewed from the viewpoint in the virtual space of 20 is generated.
  • the MR game device 3 generates a video correlated with the video for the opponent seen by the opponents 10A and 10B as the video for the opponent seen by the spectator 20. Therefore, the MR game device 3 can present a more effective MR image corresponding to the progress of the MR game to a third party. That is, the MR game device 3 can provide MR images that enable the spectator 20 to enjoy the progress of the game.
  • FIG. 5 is a diagram showing an example of a spectator video
  • (a) and (b) are diagrams showing a conventional spectator video
  • (c) is a spectator video of the present embodiment.
  • an arbitrary virtual background that changes depending on the progress of the game the virtual objects 11A and 11B, and the opponents 10A and 10B
  • the progress of the MR game can be displayed as an MR video (for example, an MR video close to the situation of the battle in the TV animation world) where the spectator 20 can fully enjoy the world view of the MR game.
  • Patent Document 1 it is necessary to use an objective viewpoint video imaging camera in order to provide video to the spectator.
  • the MR game device 3 of the present embodiment generates a spectator video based on the spectator viewpoint video. Therefore, the video for the spectator can be generated without using the objective viewpoint video imaging camera. That is, an effective MR image can be provided to the spectator 20 with only necessary and sufficient equipment.
  • the HMDs 4A and 4B may be video see-through types. In this case, it is not always necessary to include the opponent video composition unit 342. That is, the opponents 10A and 10B can view the same video as the above-mentioned video for the spectator without synthesizing the opponent 10A or 10B with the video obtained by synthesizing the images of the virtual objects 11A and 11B.
  • the video for the spectator displayed on the display 2 may be displayed on the display of the HMD 4A and 4B.
  • the viewpoint of the spectator 20 may be switched according to the progress of the MR game. That is, as described above, the field viewpoint information included in the spectator viewpoint information may be automatically changed according to the progress situation of the MR game (determination result obtained by the game state control unit 33 determining the battle situation). For example, it may be manually changed according to the instruction of the spectator 20. In this case, the viewpoint indicated by the field viewpoint information can be selected by the spectator 20, and the information indicating the progress selected by the spectator 20 is acquired by an operating device (not shown) such as a remote controller. .
  • FIG. 6 is a diagram illustrating an example of the MR game system 1a.
  • the MR game system 1 a includes an MR game device 3 a (video generation device) instead of the MR game device 3.
  • the images for the spectator displayed on the display 2 include images of the avatars 12A and 12B indicating the opponents 10A and 10B, respectively, instead of the opponents 10A and 10B.
  • the MR game system 1a is different from the MR game system 1 of the first embodiment.
  • FIG. 7 is a diagram showing an example of the configuration of the MR game apparatus 3a of the present embodiment.
  • the MR game device 3 a includes a control unit 30 a and a storage unit 40.
  • the control unit 30a controls the MR game apparatus 3a in an integrated manner, and includes a card information acquisition unit 31, an imaging data acquisition unit 32, a game state control unit 33, a player video generation unit 34, and a spectator video generation.
  • a portion 35a is provided.
  • the spectator video generation unit 35 a generates a spectator video to be output to the display 2, similar to the spectator video generation unit 35 of the first embodiment.
  • the spectator video generation unit 35a includes a position determination unit 351, a spectator virtual object image generation unit 352, a spectator avatar image generation unit 354, and a spectator video synthesis unit 353a (video generation unit).
  • the position determination unit 351 determines the above-described first display position and second display position as in the first embodiment.
  • the second display position determined at this time is a position for displaying the images of the avatars 12A and 12B.
  • the spectator avatar image generation unit 354 acquires the arrangement position information indicating the first display position and the second display position determined by the position determination unit 351, the 3D of the avatars 12A and 12B indicating the opponents 10A and 10B, respectively.
  • the model is read from the storage unit 40.
  • images of avatars 12A and 12B included in the spectator video are generated.
  • the spectator avatar image generation unit 354 sets the size of the 3D model of the avatars 12A and 12B to the size indicated by the information indicating the size of the opponents 10A and 10B included in the spectator viewpoint information. By adjusting, images of the avatars 12A and 12B are generated.
  • the spectator avatar image generation unit 354 transmits information indicating the generated images of the avatars 12A and 12B to the spectator video composition unit 353a.
  • the spectator avatar image generation unit 354 recognizes the number of second position information included in the arrangement position information, sequentially reads out the 3D model of the avatar as many as the recognized number, The position indicated by the second position information may be associated.
  • each player may select one avatar from a plurality of avatars, and a 3D model of the avatar may be read based on the selection result.
  • the spectator viewpoint information of the present embodiment as a parameter based on the determination result of the game state control unit 33 (a parameter that changes according to the progress of the MR game), in addition to the size of each avatar, Information indicating the orientation and orientation may be included.
  • the spectator avatar image generation unit 354 generates an avatar image having the size, orientation, and orientation indicated by the spectator viewpoint information.
  • the spectator video compositing unit 353 a generates a spectator video based on the spectator viewpoint information generated by the game state control unit 33. Specifically, the spectator video composition unit 353a, similar to the first embodiment, the virtual object 11A generated by the spectator virtual object image generation unit 352 at the first display position determined by the position determination unit 351, It is combined with the image of 11B.
  • the spectator video composition unit 353a generates the spectator avatar image generation unit 354 at the second display position in the video showing the field viewed from the viewpoint of the spectator 20 determined by the position determination unit 351.
  • the images of the avatars 12A and 12B are synthesized instead of the images of the opponents 10A and 10B.
  • the spectator video composition unit 353a arranges the images of the virtual objects 11A and 11B and the images of the avatars 12A and 12B at the first display position and the second display position determined by the position determination unit 351. On the virtual space including these images, a spectator video viewed from the viewpoint of the spectator 20 in the virtual space is generated.
  • the spectator video composition unit 353a transmits the generated spectator video as spectator video data to the display 2 so that the spectator video is displayed on the display 2.
  • the spectator video synthesis unit 353a does not synthesize the images of the opponents 10A and 10B
  • the imaging data from the HMDs 4A and 4B acquired by the imaging data acquisition unit 32 is analyzed as in the first embodiment. There is no need.
  • FIG. 8 is a flowchart showing an example of processing in the MR game apparatus 3a. The description of the same processes (S1, S2, S4, and S6) as those in the MR game apparatus 3 of the first embodiment shown in FIG. 4 will be omitted.
  • the position determination unit 351 determines the first display position where the images of the virtual objects 11A and 11B are displayed, and the avatars 12A and 12B of the opponents 10A and 10B.
  • a second display position at which an image is displayed is determined (S11).
  • the determination method of the first display position and the second display position by the position determination unit 351 is the same as in the first embodiment, but the image displayed at the second display position is not the image of the opponents 10A and 10B as a result. , Images of avatars 12A and 12B.
  • the spectator avatar image generation unit 354 After the processing of S4, the spectator avatar image generation unit 354 generates the images of the avatar images 12A and 12B based on the spectator viewpoint information (S12).
  • the process of S4 and S12 may be reverse order, and may be performed in parallel.
  • the spectator video composition unit 353a synthesizes the images of the virtual objects 11A and 11B generated by the spectator virtual object image generation unit 352 at the first display position determined by the position determination unit 351. .
  • the spectator video composition unit 353a synthesizes the images of the avatars 12A and 12B generated by the spectator avatar image generation unit 354 with the second display position determined by the position determination unit 351. Thereby, the video for spectators is generated (S13; video generation step).
  • the spectator video is displayed on the display 2 so that the spectator 20 changes in accordance with the progress of the MR game including the images of the virtual objects 11A and 11B and the avatars 12A and 12B in the virtual space.
  • MR images can be viewed.
  • the MR game device 3a has a spectator 20 on a virtual space including images of the virtual objects 11A and 11B and images of the avatars 12A and 12B showing the opponents 10A and 10B, respectively, according to the progress of the MR game.
  • the video for the spectator viewed from the viewpoint in the virtual space is generated. That is, the MR game device 3a displays the images of the avatars 12A and 12B instead of displaying the opponents 10A and 10B on the display 2. Even in this case, similarly to the MR game apparatus 3, a more effective MR video corresponding to the progress of the MR game can be presented to a third party.
  • the images of the avatars 12A and 12B are displayed on the display 2, and the images of the opponents 10A and 10B are not displayed. Therefore, if it is not necessary to display the images of the opponents 10A and 10B in the HMDs 4A and 4B, the HMDs 4A and 4B do not need to include an imaging device.
  • the second display position where the images of the avatars 12A and 12B are displayed is determined based only on the determination result by the game state control unit 33 without using information indicating the viewpoints of the opponents 10A and 10B.
  • the opponents 10A and 10B may be arranged at arbitrary positions within the ranges RA and RB shown in FIG. If it arrange
  • the HMDs 4A and 4B are not provided with an imaging device, the images of the opponents 10A and 10B are not included in the opponent video.
  • the opponent video composition unit 342 uses the opponent 10A generated by the spectator avatar image generation unit 354. You may include the image of the avatar 12A to show in the player
  • the arrangement position of the image of the opponent's avatar in the video for the opponent may be an arbitrary predetermined position on the opposite side across the card placing table 6 when viewed from the opponent 10A or 10B, for example.
  • the HMDs 4A and 4B may be video see-through types.
  • the player image displayed on the HMD 4A, 4B is not the avatar image 12A or 12B indicating the opponent 10A or 10B, but the actual image of the opponent 10A or 10B seen through the HMD 4A, 4B. May be reflected.
  • the opponents 10A and 10B do not need to be in positions facing each other. Therefore, the opponents 10A and 10B can participate in the MR game in various places.
  • FIG. 9 is a diagram illustrating an example of the MR game system 1b.
  • the player video and the spectator video are generated by the MR game device 3a shown in FIG. That is, the player images displayed on the HMDs 4A and 4B viewed by the opponents 10A and 10B, and the player images displayed on the display 2 viewed by the viewer 20 are the player images of the second embodiment. And the same video for spectators.
  • a battle on the MR game is performed in a state in which the opponents 10A and 10B face each other across the card placement table 6. That is, in the second embodiment, the above battle is performed in a state where at least the opponents 10A and 10B exist in the same space.
  • the opponent-dedicated rooms R1 and R2 are rooms used when the opponents 10A and 10B play an MR game.
  • Each of the player-dedicated rooms R1 and R2 is provided with a card camera 5 and a card mounting table 6.
  • the opponents 10A and 10B play an MR game, for example, the opponent 10A enters the opponent-dedicated room R1, and the opponent 10B enters the opponent-dedicated room R2.
  • the card mounting table 6 only needs to be provided with as many placement locations as the cards possessed by the opponents 10A or 10B can be placed.
  • the spectator-dedicated room R3 is a room different from the opponent-dedicated rooms R1 and R2, and is a room used by the spectator 20 who observes the progress of the MR game performed by the opponents 10A and 10B.
  • the spectator-dedicated room R3 is provided with a display 2 and an MR game device 3.
  • the opponent 10A wearing the HMD 4A and the opponent 10B wearing the HMD 4B exist in different player-dedicated rooms R1 and R2. Therefore, the opponent 10B is not imaged by the HMD 4A, and the opponent 10A is not imaged by the HMD 4B. Accordingly, the room dedicated to the player R1 is not provided with a room imaging device for imaging the player dedicated room R1 (particularly the player 10A), and the player dedicated room R2 is provided in the player dedicated room R2 (particularly When the room imaging device for imaging the opponent 10B) is not provided, the video for the spectator displayed on the display 2 and the video for the opponent displayed on the HMDs 4A and 4B include the images of the opponents 10A and 10B.
  • the statue is not included.
  • the MR game apparatus 3a of the second embodiment is adopted as the MR game apparatus. That is, in this embodiment, the spectator video composition unit 353a is generated by the images of the virtual objects 11A and 11B generated by the spectator virtual object image generation unit 352 and the spectator avatar image generation unit 354. A spectator video including the images of the avatars 12 ⁇ / b> A and 12 ⁇ / b> B is generated and displayed on the display 2. Thereby, also in the present embodiment, it is possible to provide the spectator 20 with the same video for the spectator generated according to the progress of the MR game as in the second embodiment. In addition, it is possible to generate a spectator video without providing a room imaging device in each room.
  • the player video composition unit 342 generates a player video by synthesizing the images of the virtual objects 11A and 11B with the imaging data acquired from the HMDs 4A and 4B, as in the first embodiment.
  • the opponent's image is not included in the player video.
  • the opponent's video synthesizing unit 342 is for the spectator who displays the image of the avatar 12A indicating the opponent 10A on the HMD 4B.
  • the image of the avatar 12B indicating the opponent 10B may be included in the video for the spectator displayed on the HMD 4A. In this case, it is possible to provide the player 10A, 10B existing in a different place with a sense of reality as if they are facing each other.
  • the MR game apparatus 3 of the first embodiment may be adopted as the MR game apparatus.
  • the above-described room imaging device for imaging the opponents 10A or 10B is provided in the opponent dedicated rooms R1 and R2. Each may be provided.
  • the imaging data acquisition unit 32 acquires imaging data captured by the room imaging device.
  • the spectator video composition unit 353 extracts the images of the opponents 10A and 10B from the imaging data.
  • the spectator video composition unit 353 generates a spectator video including the extracted images of the opponents 10 ⁇ / b> A and 10 ⁇ / b> B and the virtual objects 11 ⁇ / b> A and 11 ⁇ / b> B, and displays the video on the display 2.
  • video for spectators similar to Embodiment 1 can be provided to the spectator 20.
  • the opponent's video synthesizing unit 342 extracts the image of the opponent 10A from the imaging data acquired from the room imaging device in the opponent's room R1.
  • the image may be included in the video for the player for HMD4B.
  • the video for the player for HMD4A may include an image of the opponent 10B extracted from the imaging data acquired from the room imaging device in the opponent dedicated room R2.
  • the card camera 5, the HMD 4A and 4B, and the MR game apparatus 3 are connected by a cable.
  • the cable It may be connected wirelessly instead of (wired).
  • the player-specific rooms R1 and R2 and the spectator-only room R3 are installed in different buildings rather than in the same building (for example, when these rooms are remote from each other), wirelessly It is preferable to be connected.
  • the MR game apparatus 3 does not necessarily have to be present in the spectator-dedicated room R3.
  • the MR game apparatus 3 may be installed in a room different from the spectator-dedicated rooms R1, R2 and the spectator-dedicated room R3. You may install in exclusive room R1 or R2.
  • each of the above rooms there may be a plurality of each of the above rooms.
  • three or more opponents can participate in the MR game from the dedicated opponent rooms.
  • spectator-dedicated rooms it is possible to watch the progress of the MR game in various regions.
  • the card camera 5 can be replaced by a reading device such as a scanner capable of acquiring card information.
  • the images for the spectators include the images of the avatars 12A and 12B
  • the opponents 10A and 10B are in different places (in the above, the player-specific rooms R1 and R2) without using the room imaging device. Participate in MR games.
  • the HMDs 4A and 4B do not have to include an imaging device.
  • the opponents 10A and 10B do not need to include an imaging device, the opponents 10A and 10B do not have to wear the HMDs 4A and 4B.
  • the player 10A in the player-dedicated room R1 uses, for example, a projector such as a projector to display the player image for the HMD 4A including the virtual objects 11A and 11B generated by the player video composition unit 342. You may display on the wall which faces. Similarly, the player video for the HMD 4A may be displayed on the wall facing the player 10B in the player-dedicated room R2.
  • an image of the avatar 12A or 12B indicating the opponent 10A or 10B as the opponent is used for the opponent. It may be included in the video.
  • the MR game system 1c (display system) according to the present embodiment is different from the MR game system 1 according to the first embodiment in that an MR game apparatus 3c (video generation apparatus) is provided instead of the MR game apparatus 3.
  • FIG. 10 is a diagram showing an example of the configuration of the MR game apparatus 3c of the present embodiment.
  • the MR game device 3 c includes a control unit 30 c and a storage unit 40.
  • the control unit 30c controls the MR game apparatus 3c in an integrated manner, and includes a card information acquisition unit 31, an imaging data acquisition unit 32, a game state control unit 33, a player video generation unit 34, and a spectator video generation. A portion 35c is provided.
  • the spectator video generation unit 35 c generates a spectator video to be output to the display 2, similar to the spectator video generation unit 35 of the first embodiment.
  • the spectator video generation unit 35c includes a position determination unit 351, a spectator virtual object image generation unit 352, a spectator avatar image generation unit 354, and a spectator video synthesis unit 353c (video generation unit).
  • the position determination unit 351 determines the above-described first display position and second display position as in the first embodiment.
  • the second display position determined at this time is a position where the image of the opponent 10A or the avatar 12A is displayed, or a position where the image of the opponent 10B or the avatar 12B is displayed.
  • the spectator avatar image generation unit 354 reads one 3D model of the avatars 12A and 12B indicating the opponents 10A and 10B from the storage unit 40, respectively. Then, based on the spectator viewpoint information, an image of the avatar 12A or 12B included in the spectator video is generated.
  • the spectator video compositing unit 353 c generates a spectator video based on the spectator viewpoint information generated by the game state control unit 33. Specifically, the spectator video composition unit 353 generates the virtual object 11A generated by the spectator virtual object image generation unit 352 at the first display position determined by the position determination unit 351, as in the first embodiment. It is combined with the image of 11B.
  • the spectator video composition unit 353c synthesizes the image of the avatar 12A or 12B generated by the spectator avatar image generation unit 354 with the second display position determined by the position determination unit 351.
  • the spectator video composition unit 353c captures the image from the HMD 4A or 4B acquired by the imaging data acquisition unit 32 for the opponent 10A or 10B for which the avatar image is not generated by the spectator avatar image generation unit 354. By analyzing the data, an image of the opponent 10A or 10B is extracted.
  • the spectator video composition unit 353 extracts the image data from the imaging data at the second display position determined by the position determination unit 351 and adjusts the size according to information indicating the size included in the spectator viewpoint information.
  • the image of the opponent 10A or 10B is synthesized.
  • the spectator video composition unit 353c arranges the images of the virtual objects 11A and 11B at the first display position determined by the position determination unit 351.
  • the spectator video composition unit 353c arranges the image of the opponent 10A and the image of the avatar 12B or arranges the image of the opponent 10B and the image of the avatar 12A at the second display position.
  • the spectator video composition unit 353 c transmits the generated spectator video as spectator video data to the display 2, thereby displaying the spectator video on the display 2.
  • the spectator video composition unit 353 c generates a spectator video in which the image of the opponent 10 ⁇ / b> A and the image of the avatar 12 ⁇ / b> B are arranged, and displays them on the display 2.
  • the opponent 10A wears the HMD 4A and performs a battle on the MR game, but the opponent 10B coolly sees only the card placed on the card placing table 6 without wearing the HMD 4B.
  • the opponent 10A may react according to the progress of the MR game, and it is assumed that the spectator 20 can enjoy the player 10A himself / herself in the virtual space.
  • the opponent 10B hardly moves because it does not react to the progress of the MR game. In this case, it is assumed that the spectator 20 cannot enjoy the player 10B himself / herself in the virtual space.
  • the spectator image composition unit 353c generates a spectator image including an image of the avatar 12B indicating the opponent 10B and displays the image on the display 2.
  • the spectator 20 can enjoy more than when viewing the opponent 10B itself.
  • the avatar's direction or posture can be changed according to the progress of the MR game (when the information on the avatar's direction or posture is included in the spectator viewpoint information) Can produce.
  • the determination of which of the opponents 10A and 10B is generated as an avatar image by the spectator avatar image generation unit 354 is performed as follows, for example.
  • the avatar image generation unit for the spectator 354 may determine that the opponent 10A not wearing the HMD 4A or the opponent 10B not wearing the HMD 4A is generated as an avatar image.
  • the said predetermined location is a position which can image the other party when HMD4A or 4B which is not mounted
  • the spectator avatar image generation unit 354 determines which image of the avatar of the opponents 10A and 10B is to be generated by an input from an operation unit (not shown) provided in the MR game apparatus 3c. Also good.
  • the MR game device 3c includes a virtual space including an image of the virtual objects 11A and 11B and one of the opponents 10A and 10B and an image of the avatar on the other side according to the progress of the MR game.
  • a video for the spectator viewed from the viewpoint of the spectator 20 in the virtual space is generated and displayed on the display 2. Even in this case, as with the MR game apparatus 3 of the first embodiment, a more effective MR video corresponding to the progress of the MR game can be presented to a third party.
  • Control blocks of MR game apparatus 3, 3a or 3c (in particular, the following control blocks of control unit 30, 30a or 30c. That is, card information acquisition unit 31, imaging data acquisition unit 32, game state control unit 33, The opponent virtual object image generation unit 341 and the opponent video synthesis unit 342 of the opponent video generation unit 34, the position determination unit 351 of the spectator video generation unit 35, 35a, or 35c, the virtual object image for the spectator The generation unit 352, the spectator video synthesis units 353, 353a, and 353c and the spectator avatar image generation unit 354) may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. However, it may be realized by software using a CPU (Central Processing Unit).
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the MR game apparatus 3, 3a, or 3c includes a CPU that executes instructions of a program that is software that implements each function, and a ROM (in which the program and various data are recorded so as to be readable by the computer (or CPU) Read Only Memory) or a storage device (these are referred to as "recording media"), a RAM (Random Access Memory) for expanding the program, and the like.
  • the computer or CPU
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • a video generation device (MR game devices 3, 3a, 3c) according to aspect 1 of the present invention is a video generation device that generates a video, Depending on the progress of a predetermined story in a game that generates a virtual object (MR game), an image of the virtual object (11A, 11B) and an image of the user (competitors 10A, 10B) who use the game or A third-party viewpoint video (spectator) viewed from a viewpoint on the virtual space of a third party (spectator 20) other than the user on a virtual space including an image of an avatar (12A, 12B) indicating the user Video generation unit (spectator video synthesis units 353, 353a, 353c).
  • a third-party viewpoint video is generated in a virtual space including a virtual object image and a user or avatar image according to the progress of a predetermined story in the game. Therefore, it is possible to present a more effective video corresponding to the above-described progress status to a third party regardless of the positional relationship between users or the surrounding environment in which the user exists.
  • the video generation unit is based on third-party viewpoint information (spector viewpoint information) that is information related to the progress of the predetermined story and the viewpoint of the third party in the virtual space.
  • third-party viewpoint information is information related to the progress of the predetermined story and the viewpoint of the third party in the virtual space.
  • a person's viewpoint video may be generated.
  • the third-party viewpoint video is generated based on the third-party viewpoint information. Therefore, it is possible to generate a third-party viewpoint video without using an imaging device that images a space including the user in order to generate a video for a spectator as in the past.
  • the video generation device is the above aspect 2, Based on the third-party viewpoint information, a first display position that is a position where the image of the virtual object is displayed, and a second display position that is a position where the image of the user himself or the image of the avatar is displayed A position determining unit (351) for determining The video generation unit arranges the virtual object image and the user's own image or the avatar image at the first display position and the second display position determined by the position determination unit, respectively.
  • the third-party viewpoint video may be generated.
  • the virtual object image and the user's own image or avatar image are arranged at the first display position and the second display position determined based on the third-party viewpoint information, respectively.
  • a tripartite video can be generated.
  • At least one of the plurality of users has an imaging device (HMD4A, 4B), A virtual object image generation unit (spectator virtual object image generation unit 352) for generating the virtual object image;
  • the video generation unit (spectrum video synthesis unit 353, 353c) combines a user image captured by the imaging device with a video including the virtual object image generated by the virtual object image generation unit.
  • the third-party viewpoint video may be generated.
  • the video generation device is any one of the above aspects 1 to 4,
  • a virtual object image generation unit (spectator virtual object image generation unit 352) for generating the virtual object image;
  • the video generation unit (spectrum video synthesis unit 353a, 353c) combines the avatar image with the video including the virtual object image generated by the virtual object image generation unit, thereby the third party.
  • a viewpoint video may be generated.
  • the control method of the video generation device (3, 3a, 3c) according to aspect 7 of the present invention is a control method of a video generation device that generates a video, In a virtual space including an image of the virtual object and an image of the user who uses the game or an avatar indicating the user according to the progress of a predetermined story realized in the game that generates the virtual object
  • a video generation step (S5, S13) for generating a third-party viewpoint video viewed from a viewpoint on the virtual space of a third party other than the user is included.
  • the display system (MR game systems 1, 1a, 1b, 1c) according to the aspect 8 of the present invention includes: A video generation device according to any one of aspects 1 to 6; A display device (display 2) for displaying the third-party viewpoint video generated by the video generation device.
  • the video generation apparatus may be realized by a computer.
  • the video generation apparatus is operated on each computer by causing the computer to operate as each unit (software element) included in the video generation apparatus.
  • the video generation control program of the video generation apparatus to be realized in this way, and the computer-readable recording medium on which it is recorded also fall within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

仮想物体を発生させるゲームにおける所定のストーリーの進行状況に応じたより効果的な映像を第三者に提示する。ＭＲゲーム装置（３）は、所定のストーリーの進行状況に応じて、仮想物体の像と対戦者の像とを含む仮想空間上に、観戦者の当該仮想空間上の視点から見た観戦者視点映像を生成する観戦者用映像合成部（３５３）を備える。

Description

映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体
　本発明の一態様は、映像生成装置等に関する。
　従来から、仮想物体を現実空間に重畳表示することにより、複合現実感（ＭＲ：Mixed Reality）を実現するＭＲ提示システムの開発が行われている。このようなＭＲ提示システムの一例として、図１２に示す特許文献１に記載の発明が挙げられる。図１２は、従来のＭＲゲームシステムの一例を示す図である。
　特許文献１のＭＲゲームシステムでは、図１２に示すように、ＡＲ（Augmented Reality）ゲーム装置１０４は、プレーヤ１０１が装着するＨＭＤ（Head Mount Display）１０７に、ＨＭＤ１０７が撮像した現実空間の実写映像と、プレーヤ１０１の視点（主観視点）から見た仮想物体１０２の映像とを合成した主観視点映像を表示させる。また、プレーヤ１０１以外の第三者（観戦者）に映像を提示するディスプレイ１０６には、客観視点映像撮像カメラ１０３により撮像された客観視点実写映像と第三者の客観視点から見た仮想物体１０２の映像とを合成した客観視点映像を表示させる。
　これにより、プレーヤ１０１の主観視点によるＭＲゲームの映像の生成を行うとともに、観戦者の視点（客観視点）から見たＭＲゲームの全体像または観戦者の希望の視点からのＭＲゲームの映像の生成を行うことが可能となる。
日本国公開特許公報「特開２００１－１９５６０１号公報（２００１年７月１９日公開）」
　特許文献１のＭＲゲームシステムでは、観戦者用映像が、客観視点映像撮像カメラ１０３によって撮像された客観視点実写映像を用いて生成される。そのため、観戦者用映像において、複数のプレーヤ１０１の位置関係、およびプレーヤ１０１が存在する空間の周囲環境が再現される。しかしながら、ＭＲゲームシステムで取り扱われるゲームの種類によっては、観戦者用映像において、上記位置関係および周囲環境が再現される必要はない。
　本発明の一態様は、前記の問題点に鑑みてなされたものであり、その目的は、仮想物体を発生させるゲームにおける所定のストーリーの進行状況に応じたより効果的な映像を第三者に提示することが可能な映像生成装置を実現することにある。
　上記の課題を解決するために、本発明の一態様に係る映像生成装置は、映像を生成する映像生成装置であって、
　仮想物体を発生させるゲームにおける所定のストーリーの進行状況に応じて、上記仮想物体の像と、当該ゲームを利用するユーザ自身の像または当該ユーザを示すアバターの像とを含む仮想空間上に、当該ユーザ以外の第三者の当該仮想空間上の視点から見た第三者視点映像を生成する映像生成部を備える。
　本発明の一態様によれば、上記ゲームの所定のストーリーの進行状況に応じたより効果的な映像を第三者に提示することができるという効果を奏する。
本発明の実施形態１に係るＭＲゲーム装置の構成の一例を示す図である。 図２の（ａ）は、本発明の実施形態１に係るＭＲゲームシステムの一例を示す図であり、（ｂ）は、当該ＭＲゲームシステムで用いられるＨＭＤに表示される対戦者用映像の一例を示す図である。 上記ＭＲゲーム装置の位置決定部によって決定される、観戦者用映像における仮想物体の像、および対戦者の像の配置位置の設定例を概念的に説明するための図である。 上記ＭＲゲーム装置における処理の一例を示すフローチャートである。 観戦者用映像の一例を示す図であり、（ａ）および（ｂ）は従来の観戦者用映像を示す図であり、（ｃ）は本実施形態の観戦者用映像を示す図である。 本発明の実施形態２に係るＭＲゲームシステムの一例を示す図である。 本発明の実施形態２に係るＭＲゲーム装置の構成の一例を示す図である。 上記ＭＲゲーム装置における処理の一例を示すフローチャートである。 本発明の実施形態３に係るＭＲゲームシステムの一例を示す図である。 本発明の実施形態４に係るＭＲゲーム装置の構成の一例を示す図である。 上記ＭＲゲーム装置が生成した観戦者用映像の一例を示す図である。 従来のＭＲゲームシステムの一例を示す図である。
　〔実施形態１〕
　本発明の一実施形態について、図１～図５に基づいて説明すれば以下の通りである。
　＜ＭＲゲームシステム１の概要＞
　まず、図２を用いて、ＭＲ（Mixed Reality）ゲームシステム１（表示システム）について説明する。図２の（ａ）は、ＭＲゲームシステム１の一例を示す図であり、（ｂ）は、ＨＭＤ（Head Mount Display）４Ｂに表示される対戦者用映像の一例を示す図である。
　図２の（ａ）に示すように、ＭＲゲームシステム１は、対戦者（ユーザ、プレーヤ）１０Ａ、１０Ｂが利用する所定のＭＲゲーム（ソフトウェア）を実現するためのシステムである。所定のＭＲゲームとしては、例えばトレーディングカードゲームを利用した対戦型のゲーム等、後述の仮想物体１１Ａ、１１Ｂを発生させるゲームが挙げられる。この場合、対戦者１０Ａ、１０Ｂのそれぞれがカード載置台６（対戦盤）に載置した複数のカード（トレーディングカード）に含まれる情報に基づいて、各対戦者１０Ａ、１０Ｂの勝敗を決める。なお、本願では、ＭＲゲームにおいて対戦者１０Ａ、１０Ｂの２人が対戦するものとして説明するが、３人以上の対戦者が対戦してもよい。
　また、ＭＲゲームシステム１では、所定のＭＲゲームにおける所定のストーリーの進行状況（以降、ＭＲゲームの進行状況）に応じて生成されるＭＲ映像を、対戦者１０Ａ、１０Ｂおよび観戦者２０（対戦者１０Ａ、１０Ｂ以外の者）に提供する。
　ＭＲゲームシステム１は、ディスプレイ２（表示装置）、ＭＲゲーム装置３（映像生成装置）、ＨＭＤ４Ａ、４Ｂ、カード用カメラ５、およびカード載置台６を備えている。ディスプレイ２、ＨＭＤ４Ａ、４Ｂおよびカード用カメラ５は、それぞれケーブルにてＭＲゲーム装置３に接続されている。なお、各装置とＭＲゲーム装置３とは、その間でのデータ通信が可能であれば、ケーブル（有線）でなく、無線で接続されてもよい。
　ディスプレイ２は、ＭＲゲーム装置３によって、ＭＲゲームの進行状況に応じて生成された観戦者用映像（第三者視点映像）を表示するものであり、例えばＬＣＤ（Liquid crystal display）で構成される。ＭＲゲームシステム１は、複数のディスプレイ２を備えていてもよく、この場合、観戦者２０は様々な場所でＭＲゲームの進行状況を観賞することができる。
　ＭＲゲーム装置３は、自装置に記憶された情報、またはカード用カメラ５が取得したカード撮像データに基づいて、ＭＲゲームの進行状況に応じた処理（例えば、仮想物体１１Ａ、１１Ｂの像の生成、対戦者用映像の生成、および観戦者用映像の生成）等を行う。ＭＲゲーム装置３は、対戦者用映像を示す対戦者用映像データをＨＭＤ４Ａ、４Ｂに送信するとともに、観戦者用映像を示す観戦者用映像データをディスプレイ２に出力する。
　ＭＲゲーム装置３は、ＨＭＤ４Ａ、４Ｂに送信する対戦者用映像として、ＨＭＤ４Ａ、４Ｂから入力した現実空間の実写映像に含まれる対戦者１０Ａまたは１０Ｂと、対戦者１０Ａ、１０Ｂのそれぞれから見た仮想物体１１Ａ、１１Ｂとを合成した映像を生成する。例えば、対戦者１０Ｂが装着するＨＭＤ４Ｂには、図２の（ｂ）に示すような対戦者１０Ｂから見た対戦者用映像を示す対戦者用映像データが送信される。すなわち、対戦者１０Ｂから見た対戦者用映像は、対戦者１０Ｂから見た対戦者１０Ａを含む現実空間の実写映像に、仮想物体１１Ａ、１１Ｂの像が配置されたものである。
　一方、ＭＲゲーム装置３は、ディスプレイ２に送信する観戦者用映像として、観戦者２０が任意の方向から見た仮想空間上に、任意の方向から見た仮想物体１１Ａ、１１Ｂの像と、対戦者１０Ａ、１０Ｂ自身の像または対戦者１０Ａ、１０Ｂをそれぞれ示すアバターの像とを合成した映像を生成する。本実施形態では、ＭＲゲーム装置３が、対戦者１０Ａ、１０Ｂ自身の像を含む観戦者用映像を生成する場合について説明する。
　ＨＭＤ４Ａ、４Ｂは、対戦者１０Ａ、１０Ｂの頭部にそれぞれ装着されるものである。ＨＭＤ４Ａ、４Ｂは、自装置が搭載するディスプレイ（不図示）に、ＭＲゲーム装置３によって生成された対戦者用映像を表示する。また、ＨＭＤ４Ａ、４Ｂは、自装置が搭載する撮像装置（不図示）によって、相手方となる対戦者を含む現実空間を撮像する。例えば、対戦者１０Ａが装着するＨＭＤ４Ａは、相手方となる対戦者１０Ｂを含む現実空間を撮像する。ＨＭＤ４Ａ、４Ｂは、撮像した現実空間の実写映像を、撮像データとしてＭＲゲーム装置３に送信する。
　カード用カメラ５は、カード載置台６に載置されたカード群全体を撮像し、撮像結果をカード撮像データとしてＭＲゲーム装置３に送信する。カード用カメラ５が当該カードを撮像することにより、後述のカード情報取得部３１にてカードに含まれるカード情報を読み取ることができる。ＭＲゲーム装置３は、このカード情報に基づいて、例えば当該カード情報として含まれるキャラクタを仮想物体１１Ａ、１１Ｂの像として生成し、対戦者用映像および観戦者用映像に含める。
　なお、ＭＲゲーム装置３においてカード情報を取得可能であれば、カード用カメラ５に代わり、スキャナ等の読取り装置によって実現されてもよい。
　カード載置台６は、ＭＲゲームにおいて使用される現実物体の台であり、対戦者１０Ａ、１０Ｂそれぞれが所持する複数のカードのうちのいずれかのカードを載置する台である。対戦者１０Ａ、１０Ｂは、それぞれカード載置台６の決められた位置に、それぞれが所持するカードを載置する。
　＜ＭＲゲーム装置３の詳細＞
　次に、ＭＲゲーム装置３の詳細について、図１～図３に基づいて説明する。図１は、本実施形態のＭＲゲーム装置３の構成の一例を示す図である。図３は、位置決定部３５１によって決定される、観戦者用映像における仮想物体１１Ａ、１１Ｂの像、および対戦者１０Ａ、１０Ｂの像の配置位置の設定例を概念的に説明するための図である。
　図１に示すように、ＭＲゲーム装置３は、制御部３０および記憶部４０を備えている。制御部３０は、ＭＲゲーム装置３を統括的に制御するものであり、カード情報取得部３１、撮像データ取得部３２、ゲーム状態制御部３３、対戦者用映像生成部３４および観戦者用映像生成部３５を備えている。
　カード情報取得部３１は、カード載置台６に載置され、カード用カメラ５が撮像したカードを含むカード撮像データを受信すると、当該カード撮像データが示す撮像映像を解析して、当該撮像映像に含まれるカードに記述された図、記号等を識別することにより、当該カードに含まれるカード情報を取得する。
　カードには、ＭＲゲームにおいて設定されている情報であるカード情報（カード種類情報）が含まれている。カード情報としては、例えば、ＭＲゲームにおいて登場するキャラクタを示すキャラクタ情報、キャラクタどうしが対戦するフィールド（海、宇宙などの背景）を示すフィールド情報、キャラクタをハイライト（ズームイン）する等の各種機能を示す機能情報が挙げられる。
　また、カード情報取得部３１は、上記撮像映像におけるカード位置を識別することにより、カード載置台６におけるカードの配置位置を特定する。そして、カード情報取得部３１は、カード載置台６におけるカードの配置位置と、取得したカード情報とを紐付けて、ゲーム状態制御部３３に送信する。
　撮像データ取得部３２は、ＨＭＤ４Ａ、４Ｂが撮像した撮像データをそれぞれ取得するものである。撮像データ取得部３２は、ＨＭＤ４Ａ、４Ｂが搭載している撮像装置の画角、焦点距離および歪み等の情報に基づいて、ＨＭＤ４Ａから取得した撮像データを解析することにより、現実空間における対戦者１０Ａの視点（すなわち、現実空間における対戦者１０Ａの位置および視線方向）を検知する。同様に、撮像データ取得部３２は、ＨＭＤ４Ｂから取得した撮像データを解析することにより、現実空間における対戦者１０Ｂの視視点を検知する。すなわち、撮像データ取得部３２は、対戦者の視点を検出する対戦者視点検出部として機能する。撮像データ取得部３２は、対戦者１０Ａ、１０Ｂの視点を示す情報をゲーム状態制御部３３に送信する。
　なお、対戦者１０Ａ、１０Ｂの視点を示す情報は、現実空間における対戦者ＡまたはＢの位置を示す位置情報（ｘ、ｙ、ｚ）（ｚは目線の高さ）と、この位置情報が示す位置を起点とした対戦者ＡまたはＢの視線方向を示す情報とを含む。また、対戦者ＡまたはＢの視線方向を示す情報は、（単位）方向ベクトル（Ｖｘ，Ｖｙ，Ｖｚ）または（θ（方位角），φ（仰俯角））で表される。
　なお、撮像データに含まれる、例えばカード載置台６を基準点（目印）として、対戦者１０Ａの視線方向を精度良く特定してもよい。また、撮像データ取得部３２は、ＨＭＤ４Ａ、４Ｂが加速度センサ等の各種センサを備えている場合、撮像データとともに、当該センサから出力される情報（例えば、ＨＭＤ４Ａ、４Ｂのそれぞれの位置および姿勢を示す情報（位置・姿勢パラメータ））をＨＭＤ４Ａ、４Ｂから取得してもよい。この場合、撮像データ取得部３２は、対戦者１０Ａ、１０Ｂの視線方向を、上記位置・姿勢パラメータも用いて算出することが可能となる。
　ゲーム状態制御部３３は、順次取得するカード情報に基づいて、ＭＲゲームの進行状況を管理するものである。
　ゲーム状態制御部３３は、カード載置台６におけるカードの配置位置に紐付けられたカード情報をカード情報取得部３１から取得すると、対戦者１０Ａ側のカード情報の種類およびカードの組合せと、対戦者１０Ｂ側のカード情報の種類およびカードの組合せとを特定する。
　ゲーム状態制御部３３は、対戦者１０Ａ、１０Ｂ側においてそれぞれ特定した情報を、ＭＲゲームにおいて予め設定されているルールと照合することにより、前時点での対戦者１０Ａ、１０Ｂによる対戦の状況（対戦者１０Ａ、１０Ｂのいずれが攻撃状態で、いずれが防御状態であるか、また、対戦者１０Ａ、１０Ｂのいずれが優勢で、いずれが劣勢であるか等）に基づく次時点での対戦の状況を判定する。ゲーム状態制御部３３は、この判定結果に基づいて、対戦者用映像生成部３４によって生成される仮想物体１１Ａ、１１Ｂ、および当該仮想物体１１Ａ、１１Ｂの状態（仮想物体１１Ａ、１１Ｂとなる各キャラクタの向き、姿勢および大きさを示す情報等）を示す対戦者視点情報を決定する。そして、ゲーム状態制御部３３は、対戦者視点情報を対戦者用映像生成部３４に出力する。
　なお、この対戦者視点情報には、カードが示すキャラクタの強さ等を示す情報、または、ゲームの進行状況に応じた情報（対戦者１０Ａ、１０Ｂのスコア、ターン数等を示す情報）等の付帯情報が含まれる。
　また、ゲーム状態制御部３３は、観戦者用映像生成部３５に送信するための情報として、上記判定結果に基づいて、ＭＲゲームの進行状況と観戦者２０の仮想空間上の視点（観戦者２０の視点）とに関連する情報である観戦者視点情報（第三者視点情報）を生成する。すなわち、この観戦者視点情報とは、対戦の状況によって頻繁に変化し得る、ＭＲゲーム上の表現に適した任意の情報である。
　具体的には、観戦者視点情報は、（１）ＭＲゲームにおいて所定のストーリーが進行する、仮想物体１１Ａ、１１Ｂが配置可能なフィールドを示すフィールド情報と、（２）当該フィールドを見る視点を示すフィールド視点情報と、（３）所定のストーリーの進行状況に応じた上記フィールド上の注目すべき対象物の変化を示す対象物変化情報と、の少なくともいずれかを含む。この観戦者視点情報は、カード情報に含まれてもよいし、記憶部４０に格納されていてもよい。
　上記フィールドとは、対戦者１０Ａ、１０Ｂが対戦する仮想空間であり、例えば、スタジアム、海、宇宙等が挙げられる。上記フィールド情報は、このスタジアム、海、宇宙等の各種フィールドを示す情報である。
　上記フィールド視点情報が示す視点（すなわち、フィールドにおける観戦者２０の仮想的な視点の位置、およびその観戦者２０が見る方向）としては、（１）フィールドの正面側の任意の位置、およびその位置からの方向、（２）フィールドの背面側の任意の位置、およびその位置からの方向（正面からの方向とは反対の方向）、（３）対戦者１０Ａの像がフィールドに配置された場合の対戦者１０Ａの後方における任意の位置、およびその位置からの方向、（４）対戦者１０Ｂの像がフィールドに配置された場合の対戦者１０Ｂの後方における任意の位置、およびその位置からの方向、（５）フィールドの上方における任意の位置、およびその位置からの方向等が挙げられる。上記（１）のフィールドの正面からの方向とは、フィールドにおいて対戦者１０Ａ、１０Ｂが対戦する場合に対戦者１０Ａ、１０Ｂを真横から見る方向である。また、上記（５）のフィールドの上方からの方向とは、フィールドに配置された対戦者１０Ａ、１０Ｂの像を頭上から見る方向である。
　上記フィールド視点情報が示す視点に含まれる視点の位置は、例えばフィールドの中心を中心とし、所定の半径を有する仮想的な球体の表面の各位置であってもよい。この場合、フィールド視点情報に含まれる視点の位置を示す位置情報は、当該球体の表面上の位置座標となる。
　上記対象物変化情報は、例えば、対戦者１０Ａまたは１０Ｂの拡大率を示す情報、仮想物体１１Ａまたは１１Ｂの拡大率を示す情報、所定の効果（例えば攻撃または防御のためのアイテム）が発生したときの、当該効果を示す対象物の拡大率を示す情報である。なお、上記対象物には、当該効果に伴って現れる物体の像の他、対戦者１０Ａ、１０Ｂの像、仮想物体１１Ａ、１１Ｂの像、実施形態２で述べるアバター１２Ａ、１２Ｂの像等、フィールド上に現れ得る全ての物体が含まれていてもよい。
　また、ゲーム状態制御部３３は、上述のように、上記判定結果に基づいて、生成する仮想物体１１Ａ、１１Ｂおよびその状態を示す情報と付帯情報とを生成する。また、ゲーム状態制御部３３は、上述のように、上記判定結果に基づいて、対戦者１０Ａ、１０Ｂを合成するときの大きさを特定する。そして、これらの情報を観戦者視点情報に含める。
　対戦者用映像生成部３４は、対戦者１０Ａが装着するＨＭＤ４Ａ、および対戦者１０Ｂが装着するＨＭＤ４Ｂにそれぞれ出力する対戦者用映像を生成するものである。対戦者用映像生成部３４は、対戦者用仮想物体像生成部３４１および対戦者用映像合成部３４２を備えている。
　対戦者用仮想物体像生成部３４１は、ゲーム状態制御部３３から対戦者視点情報を取得すると、当該対戦者視点情報と、撮像データ取得部３２から取得した対戦者１０Ａ、１０Ｂの視点を示す情報とに基づいて、対戦者１０Ａ、１０Ｂごとに（すなわち、ＨＭＤ４Ａ、４Ｂごとに）、生成する仮想物体１１Ａ、１１Ｂの対戦者用映像における配置位置、およびその状態（形態）を特定する。そして、対戦者用仮想物体像生成部３４１は、生成する仮想物体１１Ａ、１１Ｂとして生成されるキャラクタの３Ｄモデルを記憶部４０から読み出し、対戦者視点情報に含まれる各キャラクタの向き、姿勢および大きさを示す情報に基づき、対戦者１０Ａから見たときの仮想物体１１Ａ、１１Ｂの像（仮想物体映像）を生成する。対戦者視点情報に仮想物体１１Ａ、１１Ｂに関連する付帯情報が含まれている場合には、仮想物体１１Ａ、１１Ｂの像に当該付帯情報が付加されてもよい。対戦者用仮想物体像生成部３４１は、ＨＭＤ４Ａ、４Ｂ送信用としてそれぞれ生成した仮想物体１１Ａ、１１Ｂの像とその配置位置とを示す情報を、対戦者用映像合成部３４２に通知する。
　具体的には、仮想物体１１Ａ、１１Ｂの配置位置（表示位置）、その向き、姿勢および大きさを示す情報と、撮像データ取得部３２から取得した対戦者１０Ａの視点を示す情報とから、後述する方法に基づいて、物体座標系からＨＭＤ４Ａの画像座標系への座標変換行列Ｍ１を算出する。仮想物体１１Ａ、１１Ｂを構成する各ポリゴンの物体座標系における頂点座標値に算出した座標変換行列Ｍ１を掛けることで、仮想物体１１Ａ、１１Ｂを構成する各ポリゴンの頂点の画像座標値を算出し、ＨＭＤ４Ａの視点位置姿勢から見た仮想物体１１Ａ、１１Ｂの像を生成する。
　座標変換行列Ｍ１の算出方法は、以下のとおりである。すなわち、仮想物体１１Ａ、１１Ｂの配置位置および姿勢の情報に基づいて、物体座標系から世界座標系への座標変換行列Ｍｍが算出される。また、対戦者１０Ａの視点を示す情報（または、ＨＭＤ４Ａの視点の位置および姿勢の情報）に基づいて、世界座標系からカメラ座標系への座標変換行列Ｍｃ１が算出される。また、対戦者１０Ａの視点を示す情報（または、ＨＭＤ４Ａが搭載する撮像装置の画角、焦点距離および歪み等の情報）に基づいて、カメラ座標系から画像座標系への透視変換を行う座標変換行列Ｍｄ１がそれぞれ算出される。そして、物体座標系からＨＭＤ４Ａの画像座標系への変換行列Ｍ１は、Ｍ１＝Ｍｄ１Ｍｃ１Ｍｍによって算出される。
　なお、上記ではＨＭＤ４Ａに表示される仮想物体１１Ａ、１１Ｂの像の生成方法について説明したが、ＨＭＤ４Ｂに表示される仮想物体１１Ａ、１１Ｂの像についても同様に生成される。
　対戦者用映像合成部３４２は、ＨＭＤ４Ａに表示されるものとして生成された仮想物体１１Ａ、１１Ｂの像を取得すると、撮像データ取得部３２が取得したＨＭＤ４Ａからの撮像データに、上記仮想物体１１Ａ、１１Ｂの像を合成する。仮想物体１１Ａ、１１Ｂの像に付帯情報が付加されている場合には、付帯情報もあわせて合成する。対戦者用映像合成部３４２は、合成後の映像を対戦者用映像データとして、ＨＭＤ４Ａに送信する。ＨＭＤ４Ａは、対戦者用映像データを取得すると、自装置が備えるディスプレイに対戦者用映像を表示する。
　また、対戦者用映像合成部３４２は、ＨＭＤ４Ｂに表示されるものとして生成された仮想物体１１Ａ、１１Ｂの像を取得すると、上記と同様に、撮像データ取得部３２が取得したＨＭＤ４Ｂからの撮像データに、上記仮想物体１１Ａ、１１Ｂの像を合成する。そして、対戦者用映像合成部３４２が、合成後の映像を対戦者用映像データとして、ＨＭＤ４Ｂに送信することにより、ＨＭＤ４Ｂが備えるディスプレイに対戦者用映像を表示する。
　観戦者用映像生成部３５は、ディスプレイ２に出力する観戦者用映像を生成するものである。すなわち、観戦者用映像生成部３５は、対戦者１０Ａまたは１０Ｂから見た（主観視点）の対戦者用のＭＲ映像（対戦者用映像）とは異なる、観戦者２０から見た（観戦者視点）の観戦者用のＭＲ映像（観戦者用映像）を観戦者２０に提示する。観戦者用映像生成部３５は、位置決定部３５１、観戦者用仮想物体像生成部３５２（仮想物体像生成部）および観戦者用映像合成部３５３（映像生成部）を備えている。
　位置決定部３５１は、ゲーム状態制御部３３から取得した観戦者視点情報に基づいて、仮想物体１１Ａ、１１Ｂが対戦するフィールド、および観戦者２０が当該フィールドを見る方向（仮想物体１１Ａ、１１Ｂの対戦の状況を見る方向）を特定する。そして、位置決定部３５１は、観戦者２０の視点から見たフィールドを示す映像を記憶部４０から読み出す。
　また、位置決定部３５１は、ゲーム状態制御部３３の判定結果と、撮像データ取得部３２から取得した対戦者１０Ａ、１０Ｂの視点を示す情報とに基づいて、生成する仮想物体１１Ａ、１１Ｂの、仮想空間としてのフィールド（仮想的なフィールド）における配置位置と、対戦者１０Ａ、１０Ｂの、仮想的なフィールドにおける配置位置とを示す配置位置情報を生成する。位置決定部３５１は、生成した配置位置情報を観戦者用仮想物体像生成部３５２および観戦者用映像合成部３５３に送信する。
　すなわち、位置決定部３５１は、仮想物体１１Ａ、１１Ｂの像が表示される位置である第１表示位置と、対戦者１０Ａ、１０Ｂの像が表示される位置である第２表示位置とを決定する。さらに換言すれば、位置決定部３５１は、観戦者用映像における、仮想物体１１Ａ、１１Ｂの像と対戦者１０Ａ、１０Ｂとの配置位置を調整する。
　ここで、図３を用いて、位置決定部３５１による、観戦者用映像における仮想物体１１Ａ、１１Ｂの像、および対戦者１０Ａ、１０Ｂの像の配置位置の設定例について説明する。図３では、仮想的なフィールド内に存在する対戦者１０Ａ、１０Ｂの位置、仮想物体１１Ａ、１１Ｂの位置、および観戦者２０の位置を、観戦者２０の頭上から見た概念図として示している。
　図３に示すように、観戦者２０は、観戦者２０の位置の範囲ＲＯ内に存在し、その位置から所定の角度（観戦者２０の視野の範囲ＶＦ）内のフィールドを観賞する。このような視点内で、主に対戦者１０Ａ、１０Ｂと仮想物体１１Ａ、１１Ｂとの全体を視野に含めた観賞が可能なように、仮想的なフィールド上の仮想物体１１Ａ、１１Ｂおよび対戦者１０Ａ、１０Ｂの配置位置が決定される。また、範囲ＲＯにおける観戦者２０の位置および視野の範囲ＶＦは、観戦者視点情報（特に、フィールド視点情報および対象物変化情報）に基づき変更され得る。
　なお、図３では、ｘ軸（ｙ＝０）側に観戦者２０の位置の範囲ＲＯが示されているが、これに限られない。すなわち、観戦者視点情報に基づいて、ｙの最大値側（図３に示すグラフの上側）、ｙ軸（ｘ＝０）側（図３に示すグラフの左側）、またはｘの最大値側（図３に示すグラフの右側）に観戦者２０の位置の範囲ＲＯが示されてもよい。また、ｘｙ平面と垂直な方向に観戦者２０の位置の範囲ＲＯが存在してもよい。
　このように、観戦者２０の視点は仮想的なカメラによって実現され、視野の範囲ＶＦは、その仮想的なカメラの画角である。そして、この仮想的なカメラの位置および画角等がゲームの進行状況に応じて自由に変更されるように、ＭＲゲーム装置３では、当該進行状況に応じて観戦者視点情報が生成され、当該観戦者視点情報に基づいて観戦者用映像が生成される。
　対戦者１０Ａ、１０Ｂは、仮想的なフィールドにおける、対戦者１０Ａの位置の範囲ＲＡ、対戦者１０Ｂの位置の範囲ＲＢに配置される。対戦者１０Ａ、１０Ｂの位置は、撮像データ取得部３２が取得した撮像データに基づいて、現実空間における実際の対戦者１０Ａ、１０Ｂの位置を忠実に再現する必要はない。例えば、対戦者１０Ａ、１０Ｂどうしが向かい合う位置に配置されればよい。
　仮想物体１１Ａ、１１Ｂは、対戦者１０Ａの位置の範囲ＲＡの周囲に存在する範囲ＲＣＡ、対戦者１０Ｂの位置の範囲ＲＢの周囲に存在する範囲ＲＣＢの位置にそれぞれ配置される。仮想物体１１Ａ、１１Ｂは、それぞれ上記範囲ＲＣＡ、ＲＣＢにおいて、観戦者２０の視点と、対戦者１０Ａ、１０Ｂの配置位置との間で矛盾が生じない（例えば、対戦者１０Ａ、１０Ｂと仮想物体１１Ａ、１１Ｂとが重ならない位置となる）ように設定されればよい。すなわち、対戦者１０Ａ、１０Ｂ、仮想物体１１Ａ、１１Ｂ、および観戦者２０の位置関係については、上記矛盾が生じないパラメータの組を予め準備しておくことにより制約をかけてもよい。
　観戦者用仮想物体像生成部３５２は、位置決定部３５１が決定した第１表示位置および第２表示位置を示す配置位置情報を取得すると、観戦者視点情報に基づいて、仮想物体１１Ａ、１１Ｂとして生成されるキャラクタの３Ｄモデルを記憶部４０から読み出す。そして、観戦者視点情報に含まれる各キャラクタの向き、姿勢および大きさを示す情報に基づき、観戦者２０から見たときの仮想物体１１Ａ、１１Ｂの像を生成する。観戦者視点情報に仮想物体１１Ａ、１１Ｂに関連する付帯情報が含まれている場合には、仮想物体１１Ａ、１１Ｂの像に当該付帯情報が付加されてもよい。なお、観戦者２０から見たときの仮想物体１１Ａ、１１Ｂの像の生成方法については、対戦者１０Ａまたは１０Ｂから見たときの仮想物体１１Ａ、１１Ｂの像と同様である。観戦者用仮想物体像生成部３５２は、生成した観戦者２０から見たときの仮想物体１１Ａ、１１Ｂの像を示す情報を、観戦者用映像合成部３５３に送信する。
　観戦者用映像合成部３５３は、ゲーム状態制御部３３で生成された観戦者視点情報に基づいて、観戦者用映像を生成する。具体的には、観戦者用映像合成部３５３は、位置決定部３５１によって決定された、観戦者２０の視点から見たフィールドを示す映像における第１表示位置に、観戦者用仮想物体像生成部３５２が生成した仮想物体１１Ａ、１１Ｂの像に合成する。仮想物体１１Ａ、１１Ｂの像に付帯情報が付加されている場合には、付帯情報もあわせて合成される。
　また、観戦者用映像合成部３５３は、撮像データ取得部３２が取得したＨＭＤ４Ａ、４Ｂからの撮像データを解析することにより、対戦者１０Ａ、１０Ｂの像を抽出する。観戦者用映像合成部３５３は、位置決定部３５１によって決定された、観戦者２０の視点から見たフィールドを示す映像における第２表示位置に、抽出した対戦者１０Ａ、１０Ｂの像を合成する。このとき、観戦者用映像合成部３５３は、観戦者視点情報に含まれる大きさを示す情報に従って対戦者１０Ａ、１０Ｂの大きさを調整して、対戦者１０Ａ、１０Ｂの像を第２表示位置に合成する。
　すなわち、観戦者用映像合成部３５３は、位置決定部３５１が決定した第１表示位置および第２表示位置に、仮想物体１１Ａ、１１Ｂの像、および対戦者１０Ａ、１０Ｂの像を配置することにより、これらの像を含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成する。そして、観戦者用映像合成部３５３は、生成した観戦者用映像を観戦者用映像データとしてディスプレイ２に送信することにより、ディスプレイ２に観戦者用映像が表示される。
　なお、ＨＭＤ４Ａ、４Ｂからの撮像データから抽出した対戦者１０Ａ、１０Ｂの像をそのまま合成してもよいが、これに限られない。例えば、予め対戦者１０Ａ、１０Ｂを様々な角度から撮像した撮像データを取得しておき、当該撮像データを用いて対戦者１０Ａ、１０Ｂの像を加工してもよい。この場合、仮想的なフィールドにおいて、対戦者１０Ａ、１０Ｂの像として、対戦者１０Ａ、１０Ｂが互いに向かい合うような像を生成することが可能となる。
　記憶部４０は、例えば、制御部３０が実行する各種の制御プログラム等を記憶するものであり、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成される。また、記憶部４０には、例えば、ＭＲゲームの所定のルールを示す情報、カードに含まれる各種情報が示す映像データ等が記憶されている。
　＜ＭＲゲーム装置３における処理＞
　次に、ＭＲゲーム装置３における処理（ＭＲゲーム装置３の制御方法）の詳細について、図４に基づいて説明する。ここでは特に、ディスプレイ２に表示される観戦者用映像の生成処理について説明する。図４は、ＭＲゲーム装置３における処理の一例を示すフローチャートである。
　カード情報取得部３１がカード情報を取得すると（Ｓ１）、ゲーム状態制御部３３は、当該カード情報に基づき、観戦者視点情報を生成する（Ｓ２）。
　位置決定部３５１は、ゲーム状態制御部３３が生成した観戦者視点情報等に基づいて、仮想物体１１Ａ、１１Ｂの像が表示される位置である第１表示位置と、対戦者１０Ａ、１０Ｂの像が表示される位置である第２表示位置とを決定する（Ｓ３）。
　観戦者用仮想物体像生成部３５２は、上記観戦者視点情報に基づいて、観戦者２０から見たときの仮想物体１１Ａ、１１Ｂの像を生成する（Ｓ４）。
　観戦者用映像合成部３５３は、位置決定部３５１によって決定された第１表示位置に、観戦者用仮想物体像生成部３５２が生成した仮想物体１１Ａ、１１Ｂの像を合成する。また、位置決定部３５１によって決定された第２表示位置に、撮像データ取得部３２が取得した撮像データから抽出した対戦者１０Ａ、１０Ｂの像を合成する。これにより、観戦者用映像が生成される（Ｓ５；映像生成ステップ）。そして、観戦者用映像合成部３５３は、観戦者用映像を示す観戦者用映像データをディスプレイ２に送信する（Ｓ６）。
　これにより、観戦者２０は、仮想空間上に仮想物体１１Ａ、１１Ｂおよび対戦者１０Ａ、１０Ｂの像を含む、ＭＲゲームの進行状況に応じて変化するＭＲ映像を観賞することができる。
　＜実施形態１における主な効果＞
　特許文献１では、客観視点映像撮像カメラが撮像した映像を用いることにより、実際の対戦者どうしの位置関係、および対戦者が存在する周囲環境を再現しているが、ＭＲゲームを観賞する点において、観戦者が当該位置関係または周囲環境を認識する必要は必ずしもない。観戦者がゲームの進行状況をより楽しむためには、例えば、ゲームの世界観を表現した背景において対戦者と仮想物体とを任意の位置に配置した映像を観賞できればよい。
　上述のように、本実施形態のＭＲゲーム装置３は、ＭＲゲームの進行状況に応じて、仮想物体１１Ａ、１１Ｂの像と、対戦者１０Ａ、１０Ｂの像とを含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成する。換言すれば、ＭＲゲーム装置３は、対戦者１０Ａ、１０Ｂが見る対戦者用映像と相関した映像を、観戦者２０が見る対戦者用映像として生成する。それゆえ、ＭＲゲーム装置３は、ＭＲゲームの進行状況に応じたより効果的なＭＲ映像を第三者に提示することができる。すなわち、ＭＲゲーム装置３は、観戦者２０が、ゲームの進行状況をより楽しむことが可能なＭＲ映像を提供することができる。
　また、図５を用いて、本実施形態のＭＲゲームシステム１と、従来のＭＲゲームシステムとについて説明する。図５は、観戦者用映像の一例を示す図であり、（ａ）および（ｂ）は従来の観戦者用映像を示す図であり、（ｃ）は本実施形態の観戦者用映像を示す図である。
　従来のＭＲゲームシステムの中には、図５の（ａ）に示すように、対戦者用に生成された映像のみが観戦者用のディスプレイ２０６に表示されるものもある。この場合、観戦者は、仮想物体１１Ａ、１１Ｂを認識することができる。しかし、観戦者は、対戦者本人でないために、当該映像外の対戦者(図５の（ａ）では対戦者１０Ｂ)の状況が分からず、ＭＲゲームの進行状況の約半分を、対戦者１０Ｂから見た映像の変化によって予想で補うことになる。そのため、上記従来のＭＲゲームシステムでは、ＭＲゲームの進行状況の全体像が把握しにくい。
　また、特許文献１のＭＲゲームシステムでは、客観視点映像撮像カメラを用いて観戦者用映像を、観戦者用のディスプレイ１０６に表示した場合、図５の（ｂ）に示すように、観戦者は、対戦者１０Ａおよび対戦者１０Ｂの両者の状況を認識することができる。しかし、このＭＲゲームシステムでは、ディスプレイ１０６に、現実的な世界のＭＲゲームの対戦を表示し、仮想的な映像としては、その表示映像の一部に仮想物体１１Ａ、１１Ｂのみを表示しているだけである。そのため、ＭＲゲームの世界観を十分に表現しているものとはいえない。
　一方、本実施形態のＭＲゲームシステム１では、図５の（ｃ）に示すように、ゲームの進行状況によって変化する任意の仮想的な背景、仮想物体１１Ａ、１１Ｂおよび対戦者１０Ａ、１０Ｂを、任意な位置に配置し、これらを任意の視点から見た観戦者用映像を、ディスプレイ２に表示することができる。そのため、ＭＲゲームの進行状況を、観戦者２０がＭＲゲームの世界観を十分に楽しめるＭＲ映像（例えば、ＴＶアニメの世界における対戦の状況に近いＭＲ映像）として表示することができる。
　また、特許文献１では、観戦者に映像を提供するために、客観視点映像撮像カメラを用いる必要がある。一方、本実施形態のＭＲゲーム装置３は、上述のように、観戦者視点映像に基づいて観戦者用映像を生成する。それゆえ、客観視点映像撮像カメラを用いることなく、観戦者用映像を生成することができる。すなわち、必要十分な機材のみで、観戦者２０により効果的なＭＲ映像を提供できる。
　＜変形例＞
　なお、ＨＭＤ４Ａ、４Ｂがビデオシースルー型であってもよい。この場合、対戦者用映像合成部３４２を備えている必要は必ずしもない。すなわち、対戦者１０Ａ、１０Ｂは、仮想物体１１Ａ、１１Ｂの像を合成した映像に対戦者１０Ａまたは１０Ｂを合成することなく、上述した観戦者用映像と同様の映像を見ることができる。
　また、ＨＭＤ４Ａ、４Ｂのリソースが許容する範囲であれば、ＨＭＤ４Ａ、４Ｂのディスプレイに、ディスプレイ２に表示する観戦者用映像を表示させてもよい。
　また、観戦者２０の視点は、ＭＲゲームの進行状況に従って切り替えられてもよい。すなわち、上述したように、観戦者視点情報に含まれるフィールド視点情報が、ＭＲゲームの進行状況（ゲーム状態制御部３３が対戦の状況を判定した判定結果）に従って自動的に変更されてもよいが、例えば観戦者２０の指示に従って手動で変更されてもよい。この場合、フィールド視点情報が示す視点が観戦者２０によって選択可能となっており、観戦者２０が選択した進展を示す情報を、リモコン等の操作装置（不図示）が取得することによって実現される。
　〔実施形態２〕
　本発明の他の実施形態について、図６～図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　＜ＭＲゲームシステム１ａの概要＞
　まず、図６を用いて、ＭＲゲームシステム１ａ（表示システム）について説明する。図６は、ＭＲゲームシステム１ａの一例を示す図である。ＭＲゲームシステム１ａは、ＭＲゲーム装置３に代えてＭＲゲーム装置３ａ（映像生成装置）を備えている。そしてその結果、ディスプレイ２に表示される観戦者用映像には、対戦者１０Ａ、１０Ｂの代わりに、対戦者１０Ａ、１０Ｂをそれぞれ示すアバター１２Ａ、１２Ｂの像が含まれる。この点において、ＭＲゲームシステム１ａは、実施形態１のＭＲゲームシステム１と異なる。
　＜ＭＲゲーム装置３ａの詳細＞
　次に、ＭＲゲーム装置３ａの詳細について、図７に基づいて説明する。図７は、本実施形態のＭＲゲーム装置３ａの構成の一例を示す図である。図７に示すように、ＭＲゲーム装置３ａは、制御部３０ａおよび記憶部４０を備えている。制御部３０ａは、ＭＲゲーム装置３ａを統括的に制御するものであり、カード情報取得部３１、撮像データ取得部３２、ゲーム状態制御部３３、対戦者用映像生成部３４および観戦者用映像生成部３５ａを備えている。
　観戦者用映像生成部３５ａは、実施形態１の観戦者用映像生成部３５と同様、ディスプレイ２に出力する観戦者用映像を生成するものである。観戦者用映像生成部３５ａは、位置決定部３５１、観戦者用仮想物体像生成部３５２、観戦者用アバター像生成部３５４および観戦者用映像合成部３５３ａ（映像生成部）を備えている。
　位置決定部３５１は、実施形態１と同様、上述した第１表示位置および第２表示位置を決定する。このとき決定される第２表示位置は、本実施形態では、アバター１２Ａ、１２Ｂの像を表示する位置となる。
　観戦者用アバター像生成部３５４は、位置決定部３５１が決定した第１表示位置および第２表示位置を示す配置位置情報を取得すると、対戦者１０Ａ、１０Ｂのそれぞれを示すアバター１２Ａ、１２Ｂの３Ｄモデルを記憶部４０から読み出す。そして、観戦者視点情報に基づいて、観戦者用映像に含めるアバター１２Ａ、１２Ｂの像を生成する。具体的には、観戦者用アバター像生成部３５４は、アバター１２Ａ、１２Ｂの３Ｄモデルの大きさを、観戦者視点情報に含まれる対戦者１０Ａ、１０Ｂの大きさを示す情報が示す大きさに調整することで、アバター１２Ａ、１２Ｂの像を生成する。観戦者用アバター像生成部３５４は、生成したアバター１２Ａ、１２Ｂの像を示す情報を、観戦者用映像合成部３５３ａに送信する。
　なお、アバターの３Ｄモデルは、記憶部４０に複数記憶されており、観戦者用アバター像生成部３５４によって読み出される順番が予め決められている。観戦者用アバター像生成部３５４は、例えば、配置位置情報に含まれる第２位置情報の個数を認識し、認識した個数分だけ、アバターの３Ｄモデルを順次読み出し、当該読み出したアバターの３Ｄモデルと第２位置情報が示す位置とを対応付けてもよい。
　その他、ＭＲゲームの開始前に、各対戦者が複数のアバターの中から１つのアバターを選択しておき、この選択結果に基づいて、アバターの３Ｄモデルが読み出されてもよい。
　また、本実施形態の観戦者視点情報には、ゲーム状態制御部３３の判定結果に基づくパラメータ（ＭＲゲームの進行状況にあわせて変化するパラメータ）として、各アバターの大きさの他、各アバターの向きおよび姿勢を示す情報が含まれていてもよい。この場合、観戦者用アバター像生成部３５４は、観戦者視点情報が示す大きさ、向きおよび姿勢を有するアバターの像を生成する。
　観戦者用映像合成部３５３ａは、ゲーム状態制御部３３で生成された観戦者視点情報に基づいて、観戦者用映像を生成する。具体的には、観戦者用映像合成部３５３ａは、実施形態１と同様、位置決定部３５１によって決定された第１表示位置に、観戦者用仮想物体像生成部３５２が生成した仮想物体１１Ａ、１１Ｂの像に合成する。
　また、観戦者用映像合成部３５３ａは、位置決定部３５１によって決定された、観戦者２０の視点から見たフィールドを示す映像における第２表示位置に、観戦者用アバター像生成部３５４が生成したアバター１２Ａ、１２Ｂの像を対戦者１０Ａ、１０Ｂの像の代わりに合成する。
　すなわち、観戦者用映像合成部３５３ａは、位置決定部３５１が決定した第１表示位置および第２表示位置に、仮想物体１１Ａ、１１Ｂの像、およびアバター１２Ａ、１２Ｂの像を配置することにより、これらの像を含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成する。そして、観戦者用映像合成部３５３ａは、生成した観戦者用映像を観戦者用映像データとしてディスプレイ２に送信することにより、ディスプレイ２に観戦者用映像が表示される。
　なお、観戦者用映像合成部３５３ａは対戦者１０Ａ、１０Ｂの像を合成するわけではないため、実施形態１のように、撮像データ取得部３２が取得したＨＭＤ４Ａ、４Ｂからの撮像データを解析する必要はない。
　＜ＭＲゲーム装置３ａにおける処理＞
　次に、ＭＲゲーム装置３ａにおける処理（ＭＲゲーム装置３ａの制御方法）の詳細について、図８に基づいて説明する。ここでは特に、ディスプレイ２に表示される観戦者用映像の生成処理について説明する。図８は、ＭＲゲーム装置３ａにおける処理の一例を示すフローチャートである。なお、図４に示す実施形態１のＭＲゲーム装置３における処理と同様の処理（Ｓ１、Ｓ２、Ｓ４およびＳ６）については説明を省略する。
　ＭＲゲーム装置３ａでは、Ｓ２の処理後、位置決定部３５１は、仮想物体１１Ａ、１１Ｂの像が表示される第１表示位置を決定するとともに、対戦者１０Ａ、１０Ｂのそれぞれのアバター１２Ａ、１２Ｂの像が表示される第２表示位置を決定する（Ｓ１１）。位置決定部３５１による第１表示位置および第２表示位置の決定方法は実施形態１と同じであるが、第２表示位置に表示される像は、結果として、対戦者１０Ａ、１０Ｂの像ではなく、アバター１２Ａ、１２Ｂの像となる。
　Ｓ４の処理後、観戦者用アバター像生成部３５４は、観戦者視点情報に基づいて、アバターの像１２Ａ、１２Ｂの像を生成する（Ｓ１２）。なお、Ｓ４およびＳ１２の処理は、その順序が逆であってもよいし、並行して行われてもよい。
　Ｓ１２の処理後、観戦者用映像合成部３５３ａは、位置決定部３５１によって決定された第１表示位置に、観戦者用仮想物体像生成部３５２が生成した仮想物体１１Ａ、１１Ｂの像を合成する。また、観戦者用映像合成部３５３ａは、位置決定部３５１によって決定された第２表示位置に、観戦者用アバター像生成部３５４が生成したアバター１２Ａ、１２Ｂの像を合成する。これにより、観戦者用映像が生成される（Ｓ１３；映像生成ステップ）。
　そして、上記観戦者用映像がディスプレイ２に表示されることにより、観戦者２０は、仮想空間上に仮想物体１１Ａ、１１Ｂおよびアバター１２Ａ、１２Ｂの像を含む、ＭＲゲームの進行状況に応じて変化するＭＲ映像を観賞することができる。
　＜実施形態２における主な効果＞
　ＭＲゲーム装置３ａは、ＭＲゲームの進行状況に応じて、仮想物体１１Ａ、１１Ｂの像と、対戦者１０Ａ、１０Ｂのそれぞれを示すアバター１２Ａ、１２Ｂの像とを含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成する。すなわち、ＭＲゲーム装置３ａは、対戦者１０Ａ、１０Ｂをディスプレイ２に表示させる代わりに、アバター１２Ａ、１２Ｂの像を表示させる。この場合であっても、ＭＲゲーム装置３と同様、ＭＲゲームの進行状況に応じたより効果的なＭＲ映像を第三者に提示することができる。
　また、ディスプレイ２には、アバター１２Ａ、１２Ｂの像が表示され、対戦者１０Ａ、１０Ｂの像は表示されない。そのため、ＨＭＤ４Ａ、４Ｂにおいて対戦者１０Ａ、１０Ｂの像を表示する必要がなければ、ＨＭＤ４Ａ、４Ｂは撮像装置を備えている必要はない。
　この場合、アバター１２Ａ、１２Ｂの像が表示される第２表示位置は、対戦者１０Ａ、１０Ｂの視点を示す情報を用いることなく、ゲーム状態制御部３３による判定結果のみに基づいて決定される。対戦者１０Ａ、１０Ｂは、図３に示す範囲ＲＡ、ＲＢの内部の任意の位置にそれぞれ配置されればよい。このように配置されるのであれば、第２表示位置は、実施形態１においても上記判定結果のみに基づいて決定されてもよい。
　また、ＨＭＤ４Ａ、４Ｂが撮像装置を備えていない場合には、対戦者用映像に対戦者１０Ａ、１０Ｂの像は含まれない。対戦者１０Ａまたは１０Ｂ（すなわち、相手方）の像を対戦者用映像に含める場合には、対戦者用映像合成部３４２は、例えば、観戦者用アバター像生成部３５４によって生成された対戦者１０Ａを示すアバター１２Ａの像を、ＨＭＤ４Ｂに表示される対戦者用映像に含めてもよい。同様に、対戦者１０Ｂを示すアバター１２Ｂの像を、ＨＭＤ４Ａに表示される対戦者用映像に含めてもよい。なお、対戦者用映像における相手方のアバターの像の配置位置は、例えば、対戦者１０Ａまたは１０Ｂから見てカード載置台６を挟んで反対側の、予め決められた任意の位置であればよい。また、本実施形態では、ＨＭＤ４Ａ、４Ｂがビデオシースルー型であってもよい。この場合には、ＨＭＤ４Ａ、４Ｂに表示される対戦者用映像には、対戦者１０Ａまたは１０Ｂを示すアバターの像１２Ａまたは１２Ｂではなく、ＨＭＤ４Ａ、４Ｂ越しに見る対戦者１０Ａまたは１０Ｂの実物の像が反映されてもよい。
　さらに、撮像装置にて対戦者１０Ａ、１０Ｂを撮像する必要がないため、対戦者１０Ａ、１０Ｂは互いに向い合う位置にいる必要はない。このため、対戦者１０Ａ、１０Ｂは様々な場所でＭＲゲームに参戦することができる。
　〔実施形態３〕
　本発明の他の実施形態について、図９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図９を用いて、ＭＲゲームシステム１ｂ（表示システム）について説明する。図９は、ＭＲゲームシステム１ｂの一例を示す図である。ＭＲゲームシステム１ｂでは、実施形態２と同様、図７に示すＭＲゲーム装置３ａによって対戦者用映像および観戦者用映像が生成される。すなわち、対戦者１０Ａ、１０Ｂが見る、ＨＭＤ４Ａ、４Ｂに表示される対戦者用映像、および観戦者２０が見る、ディスプレイ２に表示される観戦者用映像は、それぞれ実施形態２の対戦者用映像および観戦者用映像と同じである。
　実施形態２では、対戦者１０Ａ、１０Ｂどうしがカード載置台６を挟んで向かい合った状態で、ＭＲゲーム上の対戦を行う。すなわち、実施形態２では、少なくとも対戦者１０Ａ、１０Ｂが同一空間内に存在した状態で上記対戦が行われる。
　一方、ＭＲゲームシステム１ｂでは、対戦者専用ルームＲ１、Ｒ２と観戦者専用ルームＲ３とが提供されている。
　対戦者専用ルームＲ１、Ｒ２は、対戦者１０Ａ、１０ＢがＭＲゲームを行うときに使用する部屋である。対戦者専用ルームＲ１、Ｒ２にはそれぞれ、カード用カメラ５およびカード載置台６が備えられている。対戦者１０Ａ、１０ＢがＭＲゲームの対戦を行う場合、例えば対戦者１０Ａが対戦者専用ルームＲ１に入室し、対戦者１０Ｂが対戦者専用ルームＲ２に入室する。
　なお、本実施形態では、対戦者１０Ａ、１０Ｂが別室にて対戦するので、実施形態１と異なり、カード載置台６に相手方のカードが配置されることはない。そのため、カード載置台６には、対戦者１０Ａまたは１０Ｂが所有するカードを配置できる分だけの配置箇所が設けられていればよい。
　観戦者専用ルームＲ３は、対戦者専用ルームＲ１、Ｒ２とは異なる部屋であり、対戦者１０Ａ、１０Ｂによって行われるＭＲゲームの進行状況を観戦する観戦者２０が使用する部屋である。観戦者専用ルームＲ３には、ディスプレイ２およびＭＲゲーム装置３が備えられている。
　ここで、本実施形態では、ＨＭＤ４Ａを装着した対戦者１０Ａと、ＨＭＤ４Ｂを装着した対戦者１０Ｂとは、互いに異なる対戦者専用ルームＲ１、Ｒ２に存在する。そのため、ＨＭＤ４Ａによって対戦者１０Ｂは撮像されないし、ＨＭＤ４Ｂによって対戦者１０Ａは撮像されない。したがって、対戦者専用ルームＲ１に、対戦者専用ルームＲ１内（特に対戦者１０Ａ）を撮像する部屋用撮像装置が備えられておらず、対戦者専用ルームＲ２に、対戦者専用ルームＲ２内（特に対戦者１０Ｂ）を撮像する部屋用撮像装置が備えられていない場合、ディスプレイ２に表示される観戦者用映像、およびＨＭＤ４Ａ、４Ｂに表示される対戦者用映像には、対戦者１０Ａ、１０Ｂの像が含まれない。
　本実施形態では、ＭＲゲーム装置として、実施形態２のＭＲゲーム装置３ａを採用している。すなわち、本実施形態では、観戦者用映像合成部３５３ａは、観戦者用仮想物体像生成部３５２によって生成された仮想物体１１Ａ、１１Ｂの像と、観戦者用アバター像生成部３５４によって生成されたアバター１２Ａ、１２Ｂの像とを含む観戦者用映像を生成し、ディスプレイ２に表示させる。これにより、本実施形態においても、ＭＲゲームの進行状況に応じて生成された、実施形態２と同様の観戦者用映像を観戦者２０に提供することができる。また、各部屋に部屋用撮像装置を設けることなく、観戦者用映像を生成することができる。
　また、対戦者用映像合成部３４２は、実施形態１と同様、ＨＭＤ４Ａ、４Ｂから取得した撮像データに仮想物体１１Ａ、１１Ｂの像を合成することにより、対戦者用映像を生成する。ただし、当該対戦者用映像には相手方の像は含まれない。対戦者用映像に相手方の像を含める場合には、実施形態２で述べたように、対戦者用映像合成部３４２は、対戦者１０Ａを示すアバター１２Ａの像をＨＭＤ４Ｂに表示される観戦者用映像に含め、対戦者１０Ｂを示すアバター１２Ｂの像をＨＭＤ４Ａに表示される観戦者用映像に含めてもよい。この場合、互いに異なる場所に存在する対戦者１０Ａ、１０Ｂに、向かい合って対戦しているような臨場感を提供することができる。
　＜変形例＞
　なお、ＭＲゲーム装置として、実施形態１のＭＲゲーム装置３を採用してもよい。この場合、対戦者１０Ａ、１０Ｂの像を観戦者用映像に含めるために、例えば、上述した、特に対戦者１０Ａまたは１０Ｂを撮像するための部屋用撮像装置を、対戦者専用ルームＲ１、Ｒ２にそれぞれ設けてもよい。
　この場合、撮像データ取得部３２は、上記部屋用撮像装置が撮像した撮像データを取得する。観戦者用映像合成部３５３は、当該撮像データから対戦者１０Ａ、１０Ｂの像を抽出する。そして、観戦者用映像合成部３５３は、抽出した対戦者１０Ａ、１０Ｂの像と、仮想物体１１Ａ、１１Ｂの像とを含む観戦者用映像を生成し、ディスプレイ２に表示させる。これにより、実施形態１と同様の観戦者用映像を観戦者２０に提供することができる。また、対戦者用映像に相手方の像を含める場合には、対戦者用映像合成部３４２は、対戦者専用ルームＲ１の部屋用撮像装置から取得した撮像データから対戦者１０Ａの像を抽出し、当該像をＨＭＤ４Ｂ用の対戦者用映像に含めてもよい。ＨＭＤ４Ａ用の対線者用映像についても同様に、対戦者専用ルームＲ２の部屋用撮像装置から取得した撮像データから抽出した対戦者１０Ｂの像を含めてもよい。
　また、図９では、カード用カメラ５、ＨＭＤ４Ａおよび４Ｂと、ＭＲゲーム装置３とは、ケーブルで接続されているが、実施形態１と同様、その間でのデータ通信が可能であれば、ケーブル（有線）でなく、無線で接続されてもよい。特に、対戦者専用ルームＲ１、Ｒ２および観戦者専用ルームＲ３が同じ建物内ではなく互いに異なる建物内に設置される場合（例えば、これらの部屋が互いに遠隔地に存在する場合）には、無線で接続されることが好ましい。
　また、ＭＲゲーム装置３は観戦者専用ルームＲ３に存在している必要は必ずしもなく、例えば対戦者専用ルームＲ１、Ｒ２および観戦者専用ルームＲ３とは異なる部屋に設置されてもよいし、対戦者専用ルームＲ１またはＲ２に設置されてもよい。
　また、上記の各部屋は、それぞれ複数存在してもよい。対戦者専用ルームが複数存在する場合には、３人以上の対戦者がそれぞれ専用の対戦ルームからＭＲゲームに参戦することができる。観戦者専用ルームが複数存在する場合には、様々な地域にてＭＲゲームの進行状況を観戦することが可能となる。
　また、実施形態１と同様、カード用カメラ５は、カード情報を取得可能なスキャナ等の読取り装置によって置換可能である。
　＜実施形態３における主な効果＞
　ＭＲゲームシステム１ｂにおいても、ＭＲゲームの進行状況に応じて、仮想物体１１Ａ、１１Ｂの像と、アバター１２Ａ、１２Ｂの像（または対戦者１０Ａ、１０Ｂの像）とを含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成することができる。それゆえ、本実施形態においても、ＭＲゲームの進行状況に応じたより効果的なＭＲ映像を第三者に提示することができる。
　また、観戦者用映像にアバター１２Ａ、１２Ｂの像が含まれる場合、部屋用撮像装置を用いることなく、対戦者１０Ａ、１０Ｂが別の場所（上記では、対戦者専用ルームＲ１、Ｒ２）にてＭＲゲームに参戦することができる。また、実施形態２で述べたように、ＨＭＤ４Ａ、４Ｂが撮像装置を備えている必要がない。
　なお、ＨＭＤ４Ａ、４Ｂが撮像装置を備えている必要がない場合、対戦者１０Ａ、１０Ｂは、ＨＭＤ４Ａ、４Ｂを装着していなくてもよい。この場合、対戦者用映像合成部３４２が生成した仮想物体１１Ａ、１１Ｂを含むＨＭＤ４Ａ用の対戦者用映像を、例えばプロジェクタ等の投影装置を用いて、対戦者専用ルームＲ１の、対戦者１０Ａが対面する壁に表示させてもよい。同様に、ＨＭＤ４Ａ用の対戦者用映像を、対戦者専用ルームＲ２の、対戦者１０Ｂが対面する壁に表示させてもよい。また、上述のように、相手方となる対戦者１０Ａまたは１０Ｂをそれぞれ示すアバター１２Ａまたは１２Ｂの像（または、部屋用撮像装置を用いる場合には対戦者１０Ａまたは１０Ｂの像）を、上記対戦者用映像に含めてもよい。
　〔実施形態４〕
　本発明の他の実施形態について、図１０～図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態のＭＲゲームシステム１ｃ（表示システム）は、ＭＲゲーム装置３に代えてＭＲゲーム装置３ｃ（映像生成装置）を備えている点で、実施形態１のＭＲゲームシステム１と異なる。
　＜ＭＲゲーム装置３ｃの詳細＞
　ＭＲゲーム装置３ｃの詳細について、図１０に基づいて説明する。図１０は、本実施形態のＭＲゲーム装置３ｃの構成の一例を示す図である。図１０に示すように、ＭＲゲーム装置３ｃは、制御部３０ｃおよび記憶部４０を備えている。制御部３０ｃは、ＭＲゲーム装置３ｃを統括的に制御するものであり、カード情報取得部３１、撮像データ取得部３２、ゲーム状態制御部３３、対戦者用映像生成部３４および観戦者用映像生成部３５ｃを備えている。
　観戦者用映像生成部３５ｃは、実施形態１の観戦者用映像生成部３５と同様、ディスプレイ２に出力する観戦者用映像を生成するものである。観戦者用映像生成部３５ｃは、位置決定部３５１、観戦者用仮想物体像生成部３５２、観戦者用アバター像生成部３５４および観戦者用映像合成部３５３ｃ（映像生成部）を備えている。
　位置決定部３５１は、実施形態１と同様、上述した第１表示位置および第２表示位置を決定する。このとき決定される第２表示位置は、本実施形態では、対戦者１０Ａもしくはアバター１２Ａの像を表示する位置、または、対戦者１０Ｂもしくはアバター１２Ｂの像を表示する位置となる。
　観戦者用アバター像生成部３５４は、対戦者１０Ａ、１０Ｂのそれぞれを示すアバター１２Ａ、１２Ｂの一方の３Ｄモデルを記憶部４０から読み出す。そして、観戦者視点情報に基づいて、観戦者用映像に含めるアバター１２Ａまたは１２Ｂの像を生成する。
　観戦者用映像合成部３５３ｃは、ゲーム状態制御部３３で生成された観戦者視点情報に基づいて、観戦者用映像を生成する。具体的には、観戦者用映像合成部３５３は、実施形態１と同様、位置決定部３５１によって決定された第１表示位置に、観戦者用仮想物体像生成部３５２が生成した仮想物体１１Ａ、１１Ｂの像に合成する。
　また、観戦者用映像合成部３５３ｃは、位置決定部３５１によって決定された第２表示位置に、観戦者用アバター像生成部３５４が生成したアバター１２Ａまたは１２Ｂの像を合成する。
　また、観戦者用映像合成部３５３ｃは、観戦者用アバター像生成部３５４によってアバターの像が生成されなかった対戦者１０Ａまたは１０Ｂについては、撮像データ取得部３２が取得したＨＭＤ４Ａまたは４Ｂからの撮像データを解析することにより、対戦者１０Ａまたは１０Ｂの像を抽出する。観戦者用映像合成部３５３は、位置決定部３５１によって決定された第２表示位置に、上記撮像データから抽出し、かつ、観戦者視点情報に含まれる大きさを示す情報に従って大きさを調整した対戦者１０Ａまたは１０Ｂの像を合成する。
　すなわち、観戦者用映像合成部３５３ｃは、位置決定部３５１が決定した第１表示位置に仮想物体１１Ａ、１１Ｂの像を配置する。また、観戦者用映像合成部３５３ｃは、第２表示位置に対戦者１０Ａの像およびアバター１２Ｂの像を配置するか、または、対戦者１０Ｂの像およびアバター１２Ａの像を配置する。これにより、これらの像を含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成する。そして、観戦者用映像合成部３５３ｃは、生成した観戦者用映像を観戦者用映像データとしてディスプレイ２に送信することにより、ディスプレイ２に観戦者用映像が表示される。例えば図１１に示すように、観戦者用映像合成部３５３ｃは、対戦者１０Ａの像およびアバター１２Ｂの像を配置した観戦者用映像を生成して、ディスプレイ２に表示させる。
　ここで、例えば、対戦者１０ＡはＨＭＤ４Ａを装着してＭＲゲーム上の対戦を行っているが、対戦者１０ＢはＨＭＤ４Ｂを装着せずにカード載置台６に載置されたカードだけを冷静に見ながら対戦を行っている場合を想定する。この場合、対戦者１０ＡはＭＲゲームの進行状況にあわせて反応する可能性があり、観戦者２０が仮想空間上において対戦者１０Ａ自身を見ていても楽しめることが想定される。一方、対戦者１０ＢはＭＲゲームの進行状況にあわせて反応することがないため、ほとんど動くことがないと想定される。この場合、観戦者２０が仮想空間上において対戦者１０Ｂ自身を見ていても楽しめないことが想定される。
　上記のような状況において、観戦者用映像合成部３５３ｃは、対戦者１０Ｂを示すアバター１２Ｂの像を含む観戦者用映像を生成してディスプレイ２に表示させる。これにより、観戦者２０が対戦者１０Ｂ自身を見る場合よりも楽しめる環境を作り出すことができる。ＭＲゲームの進行状況に応じてアバターの向きまたは姿勢を変更することが可能な場合（観戦者視点情報に、アバターの向きまたは姿勢を示す情報が含まれている場合）には特に、上記楽しめる環境を作り出すことができる。
　なお、観戦者用アバター像生成部３５４による、対戦者１０Ａ、１０Ｂのうちのいずれをアバターの像として生成するかの決定は、例えば以下のように行われる。例えば、上記のようにＨＭＤ４Ａまたは４Ｂが装着されていないことが想定できる場合には、ＨＭＤ４Ａまたは４Ｂが所定の箇所に載置されていることが検知された場合に、観戦者用アバター像生成部３５４は、ＨＭＤ４Ａを装着していない対戦者１０Ａ、またはＨＭＤ４Ａを装着していない対戦者１０Ｂをアバターの像として生成するものとして決定してもよい。なお、上記所定の箇所は、装着されていないＨＭＤ４Ａまたは４Ｂが載置された場合に相手方を撮像できるような位置であることが好ましい。その他、観戦者用アバター像生成部３５４は、ＭＲゲーム装置３ｃが備える操作部（不図示）からの入力によって、対戦者１０Ａ、１０Ｂのうちのいずれのアバターの像を生成するかを決定してもよい。
　＜本実施形態の主な効果＞
　ＭＲゲーム装置３ｃは、ＭＲゲームの進行状況に応じて、仮想物体１１Ａ、１１Ｂの像と、対戦者１０Ａ、１０Ｂのうちの一方が対戦者自身の像で他方がアバターの像とを含む仮想空間上に、観戦者２０の当該仮想空間上の視点から見た観戦者用映像を生成して、ディスプレイ２に表示する。この場合であっても、実施形態１のＭＲゲーム装置３と同様、ＭＲゲームの進行状況に応じたより効果的なＭＲ映像を第三者に提示することができる。
　〔ソフトウェアによる実現例〕
　ＭＲゲーム装置３、３ａまたは３ｃの制御ブロック（特に、制御部３０、３０ａまたは３０ｃの以下の制御ブロック。すなわち、カード情報取得部３１と、撮像データ取得部３２と、ゲーム状態制御部３３と、対戦者用映像生成部３４の対戦者用仮想物体像生成部３４１および対戦者用映像合成部３４２と、観戦者用映像生成部３５、３５ａまたは３５ｃの位置決定部３５１、観戦者用仮想物体像生成部３５２、観戦者用映像合成部３５３、３５３ａ、３５３ｃおよび観戦者用アバター像生成部３５４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、ＭＲゲーム装置３、３ａまたは３ｃは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る映像生成装置（ＭＲゲーム装置３、３ａ、３ｃ）は、映像を生成する映像生成装置であって、
　仮想物体を発生させるゲーム（ＭＲゲーム）における所定のストーリーの進行状況に応じて、上記仮想物体（１１Ａ、１１Ｂ）の像と、当該ゲームを利用するユーザ（対戦者１０Ａ、１０Ｂ）自身の像または当該ユーザを示すアバター（１２Ａ、１２Ｂ）の像とを含む仮想空間上に、当該ユーザ以外の第三者（観戦者２０）の当該仮想空間上の視点から見た第三者視点映像（観戦者用映像）を生成する映像生成部（観戦者用映像合成部３５３、３５３ａ、３５３ｃ）を備える。
　上記の構成によれば、上記ゲームにおける所定のストーリーの進行状況に応じて、仮想物体の像とユーザ自身またはアバターの像とを含む仮想空間上に第三者視点映像を生成する。そのため、ユーザどうしの位置関係、またはユーザが存在する周囲環境がどのような状態であるかにかかわらず、上記進行状況に応じたより効果的な映像を第三者に提示することができる。
　本発明の態様２に係る映像生成装置では、態様１において、
　上記映像生成部は、上記所定のストーリーの進行状況と上記第三者の上記仮想空間上の視点とに関連する情報である第三者視点情報（観戦者視点情報）に基づいて、上記第三者視点映像を生成してもよい。
　上記の構成によれば、第三者視点映像は、第三者視点情報に基づいて生成される。そのため、従来のように観戦者用映像を生成するためにユーザを含む空間を撮像する撮像装置を用いることなく、第三者視点映像を生成することができる。
　本発明の態様３に係る映像生成装置は、上記態様２において、
　上記第三者視点情報に基づいて、上記仮想物体の像が表示される位置である第１表示位置と、上記ユーザ自身の像または上記アバターの像が表示される位置である第２表示位置とを決定する位置決定部（３５１）を備え、
　上記映像生成部は、上記位置決定部が決定した上記第１表示位置および上記第２表示位置に、それぞれ上記仮想物体の像、および上記ユーザ自身の像または上記アバターの像を配置することにより、上記第三者視点映像を生成してもよい。
　上記の構成によれば、第三者視点情報に基づいて決定された第１表示位置および第２表示位置に、それぞれ仮想物体の像、およびユーザ自身の像またはアバターの像を配置して、第三者視点映像を生成することができる。
　本発明の態様４に係る映像生成装置では、上記態様２または３において、
　上記第三者視点情報は、
　　上記所定のストーリーが進行する、上記仮想物体が配置可能なフィールドを示すフィールド情報と、
　　上記フィールドを見る視点を示すフィールド視点情報と、
　　上記所定のストーリーの進行状況に応じた上記フィールド上の注目すべき対象物の変化を示す対象物変化情報と、の少なくともいずれかを含んでいてもよい。
　上記の構成によれば、上記所定のストーリーの進行状況に応じた種々の視点からの第三者視点映像を生成することができる。
　本発明の態様５に係る映像生成装置では、上記態様１から４のいずれかにおいて、
　複数の上記ユーザの少なくとも一人は、撮像装置（ＨＭＤ４Ａ、４Ｂ）を装着しており、
　上記仮想物体の像を生成する仮想物体像生成部（観戦者用仮想物体像生成部３５２）を備え、
　上記映像生成部（観戦者用映像合成部３５３、３５３ｃ）は、上記仮想物体像生成部が生成した上記仮想物体の像を含む映像に、上記撮像装置が撮像したユーザの像を合成することにより、上記第三者視点映像を生成してもよい。
　上記の構成によれば、仮想物体の像を含む映像にユーザの像を合成した第三者視点映像を生成することができる。それゆえ、第三者にユーザ自身を含む映像を提示することができる。それゆえ、観戦者は、ユーザの表情を観察しながら上記進行状況を楽しむことができる。
　本発明の態様６に係る映像生成装置は、上記態様１から４のいずれかにおいて、
　上記仮想物体の像を生成する仮想物体像生成部（観戦者用仮想物体像生成部３５２）を備え、
　上記映像生成部（観戦者用映像合成部３５３ａ、３５３ｃ）は、上記仮想物体像生成部が生成した上記仮想物体の像を含む映像に、上記アバターの像を合成することにより、上記第三者視点映像を生成してもよい。
　上記の構成によれば、仮想物体の像を含む映像にユーザを示すアバターの像を合成した第三者視点映像を生成することができる。それゆえ、ユーザを撮像する撮像装置を用いなくても第三者視点映像を生成することができる。
　本発明の態様７に係る映像生成装置（３、３ａ、３ｃ）の制御方法は、映像を生成する映像生成装置の制御方法であって、
　仮想物体を発生させるゲームにおける実現される所定のストーリーの進行状況に応じて、上記仮想物体の像と、当該ゲームを利用するユーザ自身の像または当該ユーザを示すアバターの像とを含む仮想空間上に、当該ユーザ以外の第三者の当該仮想空間上の視点から見た第三者視点映像を生成する映像生成ステップ（Ｓ５、Ｓ１３）を含む。
　上記の構成によれば、態様１と同様、上記ゲームにおける所定のストーリーの進行状況に応じたより効果的な映像を第三者に提供することができる。
　本発明の態様８に係る表示システム（ＭＲゲームシステム１、１ａ、１ｂ、１ｃ）は、
　態様１から６のいずれかの映像生成装置と、
　上記映像生成装置が生成した上記第三者視点映像を表示する表示装置（ディスプレイ２）と、を備える。
　上記の構成によれば、態様１と同様、上記ゲームにおける所定のストーリーの進行状況に応じたより効果的な映像を第三者に提供することができる。
　本発明の各態様に係る映像生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像生成装置が備える各部（ソフトウェア要素）として動作させることにより上記映像生成装置をコンピュータにて実現させる映像生成装置の映像生成制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　＜付記事項＞
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　（関連出願の相互参照）
　本出願は、2015年10月21日に出願された日本国特許出願：特願2015-207307に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１、１ａ、１ｂ、１ｃ　ＭＲゲームシステム（表示システム）
　２　　　　　　　ディスプレイ（表示装置）
　３、３ａ、３ｃ　ＭＲゲーム装置（映像生成装置）
　４Ａ、４Ｂ　　　ＨＭＤ（撮像装置）
　１０Ａ、１０Ｂ　対戦者（ユーザ）
　１１Ａ、１１Ｂ　仮想物体
　１２Ａ、１２Ｂ　アバター
　２０　　　　　　観戦者（第三者）
　３５１　　　　　位置決定部
　３５２　　　　　観戦者用仮想物体像生成部（仮想物体像生成部）
　３５３、３５３ａ、３５３ｃ　観戦者用映像合成部（映像生成部）

Claims (10)

  1. 　映像を生成する映像生成装置であって、
    　仮想物体を発生させるゲームにおける所定のストーリーの進行状況に応じて、上記仮想物体の像と、当該ゲームを利用するユーザ自身の像または当該ユーザを示すアバターの像とを含む仮想空間上に、当該ユーザ以外の第三者の当該仮想空間上の視点から見た第三者視点映像を生成する映像生成部を備えることを特徴とする映像生成装置。
  2. 　上記映像生成部は、上記所定のストーリーの進行状況と上記第三者の上記仮想空間上の視点とに関連する情報である第三者視点情報に基づいて、上記第三者視点映像を生成することを特徴とする請求項１に記載の映像生成装置。
  3. 　上記第三者視点情報に基づいて、上記仮想物体の像が表示される位置である第１表示位置と、上記ユーザ自身の像または上記アバターの像が表示される位置である第２表示位置とを決定する位置決定部を備え、
    　上記映像生成部は、上記位置決定部が決定した上記第１表示位置および上記第２表示位置に、それぞれ上記仮想物体の像、および上記ユーザ自身の像または上記アバターの像を配置することにより、上記第三者視点映像を生成することを特徴とする請求項２に記載の映像生成装置。
  4. 　上記第三者視点情報は、
    　　上記所定のストーリーが進行する、上記仮想物体が配置可能なフィールドを示すフィールド情報と、
    　　上記フィールドを見る視点を示すフィールド視点情報と、
    　　上記所定のストーリーの進行状況に応じた上記フィールド上の注目すべき対象物の変化を示す対象物変化情報と、の少なくともいずれかを含むことを特徴とする請求項２または３に記載の映像生成装置。
  5. 　複数の上記ユーザの少なくとも一人は、撮像装置を装着しており、
    　上記仮想物体の像を生成する仮想物体像生成部を備え、
    　上記映像生成部は、上記仮想物体像生成部が生成した上記仮想物体の像を含む映像に、上記撮像装置が撮像したユーザの像を合成することにより、上記第三者視点映像を生成することを特徴とする請求項１から４のいずれか１項に記載の映像生成装置。
  6. 　上記仮想物体の像を生成する仮想物体像生成部を備え、
    　上記映像生成部は、上記仮想物体像生成部が生成した上記仮想物体の像を含む映像に、上記アバターの像を合成することにより、上記第三者視点映像を生成することを特徴とする請求項１から４のいずれか１項に記載の映像生成装置。
  7. 　映像を生成する映像生成装置の制御方法であって、
    　仮想物体を発生させるゲームにおける所定のストーリーの進行状況に応じて、上記仮想物体の像と、当該ゲームを利用するユーザ自身の像または当該ユーザを示すアバターの像とを含む仮想空間上に、当該ユーザ以外の第三者の当該仮想空間上の視点から見た第三者視点映像を生成する映像生成ステップを含むことを特徴とする映像生成装置の制御方法。
  8. 　請求項１から６のいずれか１項に記載の映像生成装置と、
    　上記映像生成装置が生成した上記第三者視点映像を表示する表示装置と、を備えることを特徴とする表示システム。
  9. 　請求項１に記載の映像生成装置としてコンピュータを機能させるための映像生成制御プログラムであって、上記映像生成部としてコンピュータを機能させるための映像生成制御プログラム。
  10. 　請求項９に記載の映像生成制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2016/071178 2015-10-21 2016-07-19 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 WO2017068824A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/769,216 US10471355B2 (en) 2015-10-21 2016-07-19 Display system, method of controlling display system, image generation control program, and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-207307 2015-10-21
JP2015207307 2015-10-21

Publications (1)

Publication Number Publication Date
WO2017068824A1 true WO2017068824A1 (ja) 2017-04-27

Family

ID=58557246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071178 WO2017068824A1 (ja) 2015-10-21 2016-07-19 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
US (1) US10471355B2 (ja)
WO (1) WO2017068824A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019130644A1 (ja) * 2017-12-28 2019-07-04 株式会社コナミデジタルエンタテインメント 情報処理装置、記録媒体、情報処理システム、及び、表示方法
WO2019130645A1 (ja) * 2017-12-28 2019-07-04 株式会社コナミデジタルエンタテインメント 情報処理装置、記録媒体、情報処理システム、及び、表示方法
JP2020024759A (ja) * 2017-12-28 2020-02-13 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP2020074064A (ja) * 2019-09-05 2020-05-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP2020151593A (ja) * 2020-06-26 2020-09-24 株式会社コナミデジタルエンタテインメント 表示制御システム、表示制御装置、プログラム、及び表示制御方法
JP2020534952A (ja) * 2017-09-29 2020-12-03 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー
WO2020262391A1 (ja) * 2019-06-28 2020-12-30 富士フイルム株式会社 表示制御装置、表示制御方法、及びプログラム
JP2021137425A (ja) * 2020-03-06 2021-09-16 株式会社コナミデジタルエンタテインメント 視点確認システム
JP2023522654A (ja) * 2020-05-11 2023-05-31 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP7500510B2 (ja) 2021-08-24 2024-06-17 株式会社コロプラ プログラム、情報処理システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805750A (zh) * 2018-08-13 2021-05-14 奇跃公司 跨现实系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3861387A4 (en) 2018-10-05 2022-05-25 Magic Leap, Inc. RENDERING LOCATION-SPECIFIC VIRTUAL CONTENT IN ANY LOCATION
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS
WO2021076757A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system supporting multiple device types
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
JP2023514208A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023515524A (ja) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US11474602B2 (en) * 2020-02-26 2022-10-18 Disney Enterprises, Inc. Gameplay system with play augmented by merchandise
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
JP2022025468A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
JP2024502824A (ja) * 2020-12-31 2024-01-23 株式会社ソニー・インタラクティブエンタテインメント Ｅスポーツストリーム用のデータ表示オーバレイ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195601A (ja) * 2000-01-13 2001-07-19 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
JP2015170232A (ja) * 2014-03-10 2015-09-28 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP6427079B2 (ja) * 2015-09-16 2018-11-21 株式会社カプコン ゲームプログラムおよびゲームシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195601A (ja) * 2000-01-13 2001-07-19 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
JP2015170232A (ja) * 2014-03-10 2015-09-28 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020534952A (ja) * 2017-09-29 2020-12-03 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー
WO2019130644A1 (ja) * 2017-12-28 2019-07-04 株式会社コナミデジタルエンタテインメント 情報処理装置、記録媒体、情報処理システム、及び、表示方法
KR102443397B1 (ko) * 2017-12-28 2022-09-16 가부시키가이샤 코나미 데지타루 엔타테인멘토 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
WO2019130645A1 (ja) * 2017-12-28 2019-07-04 株式会社コナミデジタルエンタテインメント 情報処理装置、記録媒体、情報処理システム、及び、表示方法
JP2020024759A (ja) * 2017-12-28 2020-02-13 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US11562564B2 (en) 2017-12-28 2023-01-24 Konami Digital Entertainment Co., Ltd. Recording medium, information processing system, and display method
KR20200100168A (ko) * 2017-12-28 2020-08-25 가부시키가이샤 코나미 데지타루 엔타테인멘토 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
KR20200100169A (ko) * 2017-12-28 2020-08-25 가부시키가이샤 코나미 데지타루 엔타테인멘토 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
KR102443394B1 (ko) * 2017-12-28 2022-09-16 가부시키가이샤 코나미 데지타루 엔타테인멘토 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
JP2019121099A (ja) * 2017-12-28 2019-07-22 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP2019121100A (ja) * 2017-12-28 2019-07-22 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US11832000B2 (en) 2017-12-28 2023-11-28 Konami Digital Entertainment Co., Ltd. Recording medium, information processing system, and display method
JP7364218B2 (ja) 2017-12-28 2023-10-18 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US11909945B2 (en) 2019-06-28 2024-02-20 Fujifilm Corporation Display control device, display control method, and program
JPWO2020262391A1 (ja) * 2019-06-28 2020-12-30
JP7163498B2 (ja) 2019-06-28 2022-10-31 富士フイルム株式会社 表示制御装置、表示制御方法、及びプログラム
WO2020262391A1 (ja) * 2019-06-28 2020-12-30 富士フイルム株式会社 表示制御装置、表示制御方法、及びプログラム
JP2020074064A (ja) * 2019-09-05 2020-05-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP2021137425A (ja) * 2020-03-06 2021-09-16 株式会社コナミデジタルエンタテインメント 視点確認システム
JP7029189B2 (ja) 2020-03-06 2022-03-03 株式会社コナミデジタルエンタテインメント 視点確認システム
JP2023522654A (ja) * 2020-05-11 2023-05-31 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP7462069B2 (ja) 2020-05-11 2024-04-04 株式会社ソニー・インタラクティブエンタテインメント 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
JP7254360B2 (ja) 2020-06-26 2023-04-10 株式会社コナミデジタルエンタテインメント 表示制御システム、表示制御装置、プログラム、及び表示制御方法
JP2020151593A (ja) * 2020-06-26 2020-09-24 株式会社コナミデジタルエンタテインメント 表示制御システム、表示制御装置、プログラム、及び表示制御方法
JP7500510B2 (ja) 2021-08-24 2024-06-17 株式会社コロプラ プログラム、情報処理システム

Also Published As

Publication number Publication date
US20180304153A1 (en) 2018-10-25
US10471355B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
WO2017068824A1 (ja) 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体
US11436803B2 (en) Insertion of VR spectator in live video of a live event
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
US11389726B2 (en) Second screen virtual window into VR environment
US10372209B2 (en) Eye tracking enabling 3D viewing
JP7041253B2 (ja) 現実世界空間の仮想現実提示
CN107735152B (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
JP6298432B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
US10445925B2 (en) Using a portable device and a head-mounted display to view a shared virtual reality space
WO2018092774A1 (ja) シミュレーションシステム、処理方法及び情報記憶媒体
US10245507B2 (en) Spectator management at view locations in virtual reality environments
US11534684B2 (en) Systems and methods for detecting and displaying a boundary associated with player movement
US9491430B2 (en) Storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP2016140378A (ja) ゲーム機、ゲームシステム及びプログラム
US20230214005A1 (en) Information processing apparatus, method, program, and information processing system
US11468605B2 (en) VR real player capture for in-game interaction view
CN111862348A (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
WO2020218131A1 (ja) 画像生成装置および情報提示方法
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
JP2016001476A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP2020201980A (ja) シミュレーションシステム及びプログラム
JP6931723B2 (ja) ゲーム機、ゲームシステム及びプログラム
US20240078767A1 (en) Information processing apparatus and information processing method
JP2005115595A (ja) 複合現実感提示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857142

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15769216

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16857142

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP