WO2019009163A1 - 情報処理システム、プレイヤ側装置、制御方法、及びプログラム - Google Patents

情報処理システム、プレイヤ側装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2019009163A1
WO2019009163A1 PCT/JP2018/024430 JP2018024430W WO2019009163A1 WO 2019009163 A1 WO2019009163 A1 WO 2019009163A1 JP 2018024430 W JP2018024430 W JP 2018024430W WO 2019009163 A1 WO2019009163 A1 WO 2019009163A1
Authority
WO
WIPO (PCT)
Prior art keywords
player
information
virtual
image
dimensional information
Prior art date
Application number
PCT/JP2018/024430
Other languages
English (en)
French (fr)
Inventor
良徳 大橋
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2019527654A priority Critical patent/JP6811323B2/ja
Priority to US16/623,507 priority patent/US11273374B2/en
Publication of WO2019009163A1 publication Critical patent/WO2019009163A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • the present invention relates to an information processing system, a player device, a control method, and a program.
  • VR virtual reality
  • a player plays while referring to an image of a virtual space different from the real space or referring to an image of the virtual space together with an image of the real space. For example, by arranging a virtual rope object at a position in virtual space corresponding to a floor surface in real space, and taking an image looking down from a high position such as a roof of a building below that position, It is possible to obtain an attraction that presents the player with a sense of feeling.
  • VR device so-called non-transmissive VR device
  • the present invention has been made in view of the above situation, and an information processing system, a player side apparatus, a control method, and a program can be provided which can solve the problems when a plurality of players are involved. Do.
  • the present invention which solves the problems of the conventional example, relates to three-dimensional information generating means for generating three-dimensional information in which virtual objects are arranged in a virtual space, and virtual space represented by the generated three-dimensional information for each player.
  • Means for rendering a visual image of the player to generate a visual field image for the player, and means for presenting a visual field image for each player to the corresponding player, and included in the generated three-dimensional information The type of the virtual object is determined based on attribute information defined for each player.
  • FIG. 1 is a configuration block diagram showing an example of an information processing system 1 according to an embodiment of the present invention. It is a functional block diagram showing the example of the server apparatus 10 which concerns on embodiment of this invention. It is an explanatory view showing an example of contents of a player database used by information processing system 1 concerning an embodiment of the invention. It is a flowchart showing the operation example of the information processing system 1 which concerns on embodiment of this invention. It is a functional block diagram showing an example of information processing system 1 concerning an embodiment of the invention.
  • the server device 10 and a display that each player wears by putting it on the head, etc. And a player-side device 20 including the device 24.
  • the information processing system 1 is assumed to be used in a predetermined facility, and the server device 10 is further connected to the administrator terminal 30, but the present embodiment
  • the form of is not limited to the case of being used in a facility, and may be used in services provided in a wide area such as a predetermined area or an area of a predetermined country.
  • the server device 10 of the information processing system 1 of the present embodiment is configured to include a control unit 11, a storage unit 12, and a communication unit 13, as shown in FIG.
  • the player-side device 20 includes a control unit 21, a storage unit 22, an imaging unit 23, a display device 24, and a communication unit 25.
  • the manager terminal 30 is a general personal computer or the like, and instructs the server device 10 to set the participation and the withdrawal of the player.
  • any one of the player-side devices 20 may function as the server device 10.
  • the control unit 21 of the player-side device 20 functioning as the server device 10 performs an operation as the control unit 11 together.
  • control unit 11 of the server device 10 is a program control device such as a CPU, and operates according to a program stored in the storage unit 12.
  • the control unit 11 receives, from the player device 20, information related to an object in the real space, such as image data captured by the imaging unit 23 of the player device 20. Further, the control unit 11 generates three-dimensional information in which a virtual object is arranged in the virtual space, based on information (for example, an image of a real space) related to the object.
  • the control unit 11 is a virtual object corresponding to an object in the real space, which is included in the image of the real space in the virtual space.
  • control unit 11 acquires information on the position of the object as the information related to the object, and uses the acquired information to distribute a virtual object corresponding to the object in the real space. Generate three-dimensional information. Furthermore, the control unit 11 arranges not only virtual objects corresponding to objects in the real space, but also virtual objects unrelated to the objects in the real space in the virtual space to generate three-dimensional information. It may be generated.
  • the control unit 11 further, as one of the information relating to the object in the real space, about each player or a person in the real space other than the player (hereinafter referred to as a player etc.) Get etc. Further, the control unit 11 calculates the location of the player in the virtual space (for example, the position corresponding to each of the left and right eyes of the player) based on the acquired position information, and determines the location in the virtual space.
  • An image of a virtual space represented by three-dimensional information viewed from the position is rendered to generate a view image relating to the player, and it is transmitted and output to the player-side device 20 possessed by the player.
  • the view image may include an image for the left eye of the user and an image for the right eye.
  • the present embodiment is not limited to this, and may include information on posture such as rotational position and angle of all or part (for example, joints and the like) of the object in addition to mass, velocity, and acceleration.
  • control unit 11 controls, for each player, types of virtual objects corresponding to objects in the real space when generating three-dimensional information. Determined based on attribute information.
  • attribute information is set in advance for each player. The detailed operation of the control unit 11 will be described later.
  • the storage unit 12 stores a program to be executed by the control unit 11.
  • the program may be provided stored in a computer readable non-transitory recording medium and may be stored in the storage unit 12.
  • the storage unit 12 also operates as a work memory of the control unit 11.
  • the communication unit 13 is a network interface or the like, communicates with the player-side device 20 worn by each player and the controller C operated by the player via communication means such as a network, and sends and receives various information. .
  • the communication unit 13 communicates with the wireless access points AP arranged at various places in the facility (the actual space to be processed) via the LAN or the Internet. To transmit information to be transmitted to each player-side device 20 wirelessly via the wireless access points AP.
  • the communication unit 13 receives, from each wireless access point AP, information sent by the player-side device 20 located in the communicable range or the controller C operated by the player and outputs the information to the control unit 11 doing.
  • the communication unit 13 may communicate with each player device 20 wirelessly using a mobile phone communication network or the like.
  • the player-side device 20 is mounted on the head of each user, and the imaging unit 23 is disposed on the front side (the side on which the user's eyes are present).
  • the control unit 21 of the player-side device 20 is a program control device such as a CPU, and operates according to a program stored in the storage unit 22.
  • the control unit 21 receives the data of the visual field image transmitted by the server device 10, and causes the display device 24 to display the data of the visual field image.
  • the control unit 21 controls the imaging unit 23 to capture an image within the field of view of the imaging unit 23 at predetermined timings (for example, periodically such as every one second), and image data obtained by the imaging It is acquired and sent to the server device 10 via the communication unit 25.
  • the storage unit 22 stores a program to be executed by the control unit 21.
  • the program may be provided stored in a computer readable non-transitory recording medium and may be stored in the storage unit 22.
  • the storage unit 22 also operates as a work memory of the control unit 21.
  • the imaging unit 23 is a camera, generates image data obtained by capturing an image within a predetermined visual field in front of the user (front of the head) according to an instruction input from the control unit 21 and outputs the image data to the control unit 21 .
  • the display device 24 displays a view image corresponding to each of the eyes of the user's right and left eyes.
  • the display device 24 includes display elements such as an organic EL display panel and a liquid crystal display panel, and the display element displays an image according to an instruction input from the control unit 21.
  • the display element may be a single display element that displays the image for the left eye and the image for the right eye in a line, or a pair that displays the image for the left eye and the image for the right eye independently. It may be a display element.
  • the display device 24 of the player-side device 20 may be a non-transmission type display device in which the user can not visually recognize the appearance of the outside world, or may be a transmission type display device.
  • the display device 24 is not limited to a device worn on the head of the user, and may be a smartphone, a tablet terminal, or another portable terminal carried by the user. Further, in another example of the present embodiment, the display device 24 is not required to be possessed by the user, and is a display device such as a display or digital signage installed at a position where the user can visually recognize the display content. It may be
  • the communication unit 25 is a wireless network interface or the like, communicates with the server device 10 via communication means such as a wireless network, and sends and receives various information.
  • this control unit 11 has a player attribute management unit 31, an image acquisition unit 32, a position acquisition unit 33, and a three-dimensional information generation unit 34. , A view image generation unit 35, and a transmission control unit 36.
  • the player attribute management unit 31 is connected to a player database that holds player attribute information for each player.
  • the player database may be held by an external database server, may be communicably connected, or may be stored in the storage unit 12.
  • a player identifier PID
  • Display device identification information DID
  • GID group identifier
  • the player attribute management unit 31 accepts an input of an instruction from the administrator terminal 30 to the effect that a player newly participates.
  • this instruction display device identification information specifying the player-side device 20 worn by the newly participating player, and player identifiers of other players that should belong to the same group as the newly participating player (belonging to the same group If there are no other players to be played, this player identifier includes "null".
  • the player attribute management unit 31 issues a unique group identifier if the player identifier included in the instruction to newly participate the player is “null”.
  • the player attribute management unit 31 issues a unique player identifier, registers the issued player identifier, the input display device identification information, and the issued group identifier in association with each other in the player database.
  • the player attribute management unit 31 refers to the player database and refers to the group associated with the player identifier included in the instruction. Read the identifier. Then, the player attribute management unit 31 issues a unique player identifier, registers the issued player identifier, the input display device identification information, and the read group identifier in association with each other in the player database.
  • the player attribute management unit 31 may send the issued player identifier to the manager terminal 30 for processing such as display. This makes it possible, for example, to set a common group identifier for players participating in a family or group.
  • the player attribute management unit 31 accepts an input of an instruction from the manager terminal 30 to the effect that the player is to be removed.
  • the instruction includes, for example, display device identification information (or a player identifier of the departing player) identifying the player-side device 20 worn by the departing player.
  • the player attribute management unit 31 displays, from the player database, display device identification information (or player identifier) associated with the player identifier included in the instruction and Delete information and
  • the manager of the facility in which the information processing system 1 of the present embodiment is arranged lends the player-side device 20 and sets it to the player-side device 20 when an entrance person who wants to enter the facility desires.
  • the display device identification information unique to each player-side device 20 is input to the administrator terminal 30, and an instruction to newly participate the player is issued.
  • the display device identification information unique to each player device 20 may be, for example, a network address or the like set in the communication unit 25 of the player device 20.
  • the image acquisition unit 32 acquires data (an image of a real space) of a captured image captured by the imaging unit 23 included in the player-side device 20 from the player-side device 20 worn by each player.
  • the position acquisition unit 33 acquires information indicating the position and orientation of each player.
  • the information indicating the position is a position in the facility, and the position information is It is expressed in a global coordinate system that represents the position in the real space to be processed by the information processing system 1.
  • this position information may be information such as latitude and longitude and altitude.
  • position information of each player may be obtained based on an image acquired by the image acquisition unit 32 (for example, a technique such as SLAM: Simultaneous Localization and Mapping can be used). Further, in another example of the present embodiment, this position information may be acquired by using a positioning system such as GPS (Global Positioning System) by a mobile phone or the like separately possessed by each player.
  • a positioning system such as GPS (Global Positioning System) by a mobile phone or the like separately possessed by each player.
  • GPS Global Positioning System
  • a tag for transmitting proximity communication beacons is arranged at each place in the facility, and the position is detected by the beacons received from the tags and the strength thereof, and the player-side device 20 detects the position sensor
  • the orientation of the player may be detected by detecting the orientation of the player by providing an orientation sensor (not shown).
  • Various methods can be adopted as methods for acquiring such position information and orientation information of the player, and thus detailed description thereof will be omitted.
  • the three-dimensional information generation unit 34 corresponds to an object in the real space included in the image of the real space based on the image of the real space acquired by the image acquisition unit 32 from the player-side device 20 worn by each player. Generate three-dimensional information representing a virtual space in which virtual objects are arranged.
  • the three-dimensional information generation unit 34 generates three-dimensional information that is the source of an image to be presented to the player-side device 20 of each player based on the image of the real space acquired from the player-side device 20 worn by each player.
  • the three-dimensional information generation unit 34 performs the following processing with the image of the real space acquired from the player-side device 20 worn by a certain player as the processing target image. That is, the three-dimensional information generation unit 34 recognizes each of the objects (buildings, signboards, fixed objects of the door, other people, etc.) included in the processing object image from the processing object image, and the respective shapes , Posture, etc. are recognized together.
  • a computer-readable code image (two-dimensional barcode or the like) is attached in advance to fixed objects such as a building or a signboard.
  • the three-dimensional information generation unit 34 may recognize the fixed object by detecting the code image from the processing target image. In this case, if unique identification information is assigned to each fixed object in advance, information such as the shape can also be stored in advance as a database, and the three-dimensional information generation unit 34 can acquire and use it.
  • a computer readable code image is not attached, for example, when the information processing system 1 of the present embodiment is used at a place which is not managed by a manager of the server device 10, such as a public road.
  • the three-dimensional information generation unit 34 may recognize the shape of a fixed object or the like by employing a method widely known in research such as robot vision, or the player carries the position of the player.
  • a method such as using a GPS (Global Positioning System) such as a mobile phone, and the information of the position and the information of the map held in advance (if the external map server can be accessed, the external map Among the information of the map, the information related to the building at the detected position may be obtained using the server), and the shape of the fixed object (including a road etc. if it is on a public road) You can get information such as .
  • GPS Global Positioning System
  • the three-dimensional information generation unit 34 generates an image of the past real space acquired from the same player-side device 20 (past processing target image). Information is also referred to, and the so-called bone tracking (a technique of detecting the position and orientation of the skeleton of a moving body and a joint) is used to provide the real space (the source of the processing target image) of the object to be moved and deformed. The position and the attitude in the real space viewed from the player wearing the player-side device 20 are detected.
  • the three-dimensional information generation unit 34 obtains information of the position of the recognized object in the real space (for example, the position of a predetermined point such as the center of gravity for a building or a head for a person).
  • the information of the position of the object captured in the target image can be obtained from the position information of the player acquired by the position acquisition unit 33 and the information of the direction (field of view) of the player, and the processing of the information processing system 1 It is expressed in the global coordinate system that represents the position in the real space that is the target of.
  • the object As an object, is a structure, a signboard, a door, a figurine (doll, tool, etc.), another person, a vehicle, etc.
  • the position of the target (the position in the real space seen from the player wearing the player-side device 20 that is the source of the processing target image, ie, the origin of the player)
  • XYZ orthogonal coordinates with the gravity direction as the Y axis, the horizontal direction as the X axis, and the depth direction (the normal direction of the bottom of the viewing frustum as the field of view) as the Z axis.
  • the position, shape, and orientation information is used when setting the position, shape, and orientation of a virtual object of a size corresponding to the object in the virtual space.
  • the information on the position and the shape / posture may be, for example, information indicating the position of the center of gravity and the shape / posture.
  • the three-dimensional information generation unit 34 determines virtual objects in the virtual space corresponding to each of the recognized objects.
  • the three-dimensional information generation unit 34 refers to the player database and acquires the group identifier associated with the display device identification information identifying the player-side device 20 that has provided the processing target image. Do. Then, for each group identifier, virtual object types corresponding to at least some of the objects are determined. That is, in the present embodiment, the types of virtual objects corresponding to the same object may be different from each other for players specified by information associated with different group identifiers.
  • the three-dimensional information generation unit 34 replaces virtual objects corresponding to other persons among the recognized objects with virtual player objects (thus, a virtual type of type common to all players). Object)).
  • the three-dimensional information generation unit 34 substitutes a virtual object different for each group identifier for a signboard, a figurine, and the like.
  • the player is replaced with NPC (Non Player Character) that provides information necessary for playing at a facility.
  • NPC Non Player Character
  • an object for example, a bronze statue
  • the three-dimensional information generation unit 34 further sets a virtual space corresponding to the real space, and for each recognized object, corresponds to the object at a position in the virtual space corresponding to the position in the real space. Generate three-dimensional information in which virtual objects are arranged.
  • the setting of the virtual space may set in advance a virtual space corresponding to the entire real space to which the player can move, or the player moves so that the area in the real space falls within the field of view
  • the virtual space corresponding to the real space in the field of view may be set sequentially.
  • the virtual object corresponding to the object may be different in type for each attribute information (in this example, for each group identifier) of the player, so three-dimensional information
  • the generation unit 34 generates three-dimensional information for each attribute information of the player.
  • the three-dimensional information generation unit 34 uses the information of the position, shape, and posture of the object recognized based on the image information of the real space to create a virtual corresponding to each object in the virtual space. Set the position, shape and attitude of the object.
  • the view image generation unit 35 renders and generates an image of a virtual space corresponding to the real space in the view of each player. Specifically, the visual field image generation unit 35 sequentially generates visual field images corresponding to the respective players. When generating a view image for a certain player, the view image generation unit 35 acquires player attribute information of a player (referred to as a target player) serving as a provision destination of the view image, and generates tertiary images in relation to the player attribute information. The three-dimensional information generated by the original information generation unit 34 is acquired.
  • the player attribute information is a group identifier
  • the third-order information generated by the three-dimensional information generation unit 34 corresponding to the group identifier is referred to with reference to the group identifier recorded in the player database in association with the player identifier of the target player. Get source information.
  • the view image generation unit 35 also obtains information on the position and orientation of the target player, obtains information on the position of the eye of the target player in the global coordinate system, and sets the position in the virtual space corresponding to the position of the eye A virtual camera is arranged to render an image of a virtual space from the virtual camera. Since this process is widely known, the detailed description here is omitted.
  • the view image generation unit 35 outputs the view image obtained by the rendering together with the player identifier of the target player.
  • the transmission control unit 36 transmits the view image for each player generated by the view image generation unit 35 to the player-side device 20 worn by the corresponding player. Specifically, the transmission control unit 36 accepts the view image and the player identifier output from the view image generation unit 35, and acquires the display device identification information recorded in the player database in association with the player identifier. The transmission control unit 36 transmits the received view image to the player device 20 identified by the acquired display device identification information.
  • An example of the information processing system 1 has the above configuration, and operates as follows.
  • information indicating that destruction of building X has been completed is recorded in the game progress database
  • the server device 10 acquires, from the player-side device 20 worn by each player, data (image of real space) of a captured image captured by the imaging unit 23 included in the player-side device 20 ( S1).
  • the server device 10 also acquires information representing the position and orientation of each player (S2).
  • the server device 10 based on the image of the real space acquired from the player-side device 20 worn by each player, arranged a virtual object corresponding to the object in the real space, which is included in the image of the real space Generate three-dimensional information representing a virtual space.
  • the images of the real space acquired from the player-side device 20 worn by each player are sequentially selected as the processing target image (S3), and the target objects (buildings, signboards, etc.) included in the processing target image While recognizing the fixed object of the door, another person, etc.), the shape, the posture, etc. of each are also recognized together (object recognition processing: S4).
  • the server apparatus 10 performs the processes of the processes S3 and S4 for each information of the image acquired from each player-side apparatus 20, and further repeats the following process for each attribute information of the player. That is, the server device 10 determines virtual objects in the virtual space corresponding to each of the recognized individual objects, and arranges them in the virtual space, and the attribute information of the player (group identifier in this example) Three-dimensional information of each is generated (S5).
  • the server apparatus 10 refers to the player database and the game progress database, and first, for virtual objects corresponding to objects identified as other persons present in the player's field of view, virtual player objects Replace with On the other hand, among the recognized objects, signs, figurines and the like are replaced with virtual objects of the type determined for each group identifier.
  • the server apparatus 10 replaces the figurine Y or the figurine Z near the building X with an NPC that guides the destruction of the building X.
  • Group is identified by the group identifier b whose destruction of the building X has not been completed, with reference to the setting and the player wearing the player-side device 20 that has provided the processing target image
  • the player Pa or the player Pb belonging to the group identified by the group identifier a in which the destruction of the building X has been completed is determined by the player wearing the player-side device 20 providing the processing target image.
  • the figure is replaced by a mere copper statue or the like, and the correspondence in the virtual space pertaining to the group identifier a. Place in the
  • the server device 10 renders and generates an image of a virtual space corresponding to the real space within the field of view of each player based on the three-dimensional information generated for each group identifier (S6). Then, the generated view image is sent to the player-side device 20 worn by the corresponding player (S7).
  • the present embodiment performs the above-described operation, a person or the like that is actually present is displayed in place of a similar virtual player object corresponding to a person for each player, but at least the fixed object is displayed. Some will be displayed in place of virtual objects, which may be different for each group to which they belong. That is, in the example of the present embodiment, in the view image provided to the players Pa and Pb belonging to the group of the group identifier a, the object Y or Z is replaced by a copper image or the like, and the NPC guides the game progress. Since it is not, it does not stop near the object Y, Z and receive guidance.
  • the object Y or Z is displayed as an NPC for guiding the game progress, so this player Pc is close to the object Y or Z I will stop by and receive guidance. Therefore, it is possible to prevent the player from being crowded by presenting the same virtual object to the players Pa, Pb, Pc.
  • this group does not destroy the building X in the course of the game. Even among the figurine Y or figurine Z near the building X, the figure randomly selected will be replaced by the NPC guiding the game progress, but here one is chosen at random. As a result, the possibility that the figurine co-located with the player of the player Pc is replaced with the same NPC is reduced. Thus, in the present embodiment, it is possible to prevent congestion due to players gathering in the same place.
  • the control unit 11 of the server device 10 receives the image data captured by the imaging unit 23 of the player device 20 from the player device 20, and based on the image data (image of the real space).
  • processing such as generation of three-dimensional information including virtual objects corresponding to objects in the real space included in the image of the real space is performed, but the present embodiment Is not limited to this example, and the control unit 21 of the player device 20 may perform processing such as generation of three-dimensional information based on image data, rendering, and the like.
  • the control unit 11 of the server device 10 generates, based on the attribute information of the player, information representing the type of virtual object corresponding to the target in the real space when generating three-dimensional information.
  • the player-side device 20 receives the information and, based on the received information, a virtual corresponding to the object in the real space, included in the image of the real space Generate three-dimensional information by arranging various objects.
  • control unit 11 of the server device 10 substitutes the player attribute management unit 31 and the position acquisition unit 33 as illustrated in FIG. 5 instead of the functional configuration illustrated in FIG. And a three-dimensional information providing unit 51.
  • control unit 21 of the player-side device 20 functionally includes an image acquisition unit 32, a position and orientation detection unit 41, a three-dimensional information generation unit 34 'and a view image generation unit 35'. Included in The same components as those described above are denoted by the same reference numerals and the description thereof will not be repeated.
  • the image acquisition unit 32 acquires, for example, data (an image of a real space) of a captured image captured by the imaging unit 23 provided in the player-side device 20 itself.
  • the position and orientation detection unit 41 acquires information indicating the position, orientation, and orientation of each player.
  • the position and orientation detection unit 41 may also obtain information such as the position, orientation, posture, and the like of the player based on the image acquired by the image acquisition unit 32 (for example, using a technique such as SLAM: Simultaneous Localization and Mapping) it can). Further, in another example of the present embodiment, this position information may be acquired by using a positioning system such as GPS (Global Positioning System) by a mobile phone or the like separately possessed by each player.
  • GPS Global Positioning System
  • a tag for transmitting proximity communication beacons is arranged at each place in the facility, and the position is detected by the beacons received from the tags and the strength thereof, and the player-side device 20 detects the position sensor
  • the orientation of the player may be detected by detecting the orientation of the player by providing an orientation sensor (not shown).
  • Various methods can be adopted as a method of acquiring information such as position information, orientation, posture, and the like of the player, and thus detailed description thereof will be omitted.
  • the three-dimensional information generation unit 34 ' is a virtual object in which a virtual object corresponding to an object in the real space is included in the image of the real space based on the image of the real space acquired by the image acquisition unit 32. Generate three-dimensional information representing space.
  • the three-dimensional information generation unit 34 generates three-dimensional information that is the source of the image to be presented on the display device 24, based on the acquired image of the real space.
  • the three-dimensional information generation unit 34 uses the image of the real space acquired by the image acquisition unit 32 as a processing target image, and from the processing target image, an object (building, signboard, etc.) , As well as recognizing fixed objects of the door, other persons, etc.), as well as their shapes, postures, etc.
  • a computer readable code image (two-dimensional barcode or the like) is attached in advance to a fixed object such as a building or a signboard.
  • the information generation unit 34 ' may recognize the fixed object by finding the code image from the processing target image. In this case, if unique identification information is assigned to each fixed object in advance, it is possible to hold information such as shape in advance as a database, and obtain and use the three-dimensional information generation unit 34 '.
  • a computer readable code image is not attached, for example, when the information processing system 1 of the present embodiment is used at a place which is not managed by a manager of the server device 10, such as a public road.
  • the three-dimensional information generation unit 34 ' may recognize the shape of a fixed object or the like by employing a method widely known in the research of robot vision or the like, or the player may carry the position of the player.
  • Information detected by a method such as using a GPS (Global Positioning System) of a mobile phone etc., and information on the position and information on a map held in advance (if the external map server can be accessed, the external Information on the building at the detected position among the map information using the map server), and the fixed object (including a road etc. if it is on a public road) Even if information such as shape is obtained There.
  • GPS Global Positioning System
  • the three-dimensional information generation unit 34 'generates an image of the real space acquired by the image acquisition unit 32 in the past (previous image to be processed)
  • the real space player-side device 20 of the object to be moved or deformed using the so-called bone tracking (a technique of detecting the position and orientation of the skeleton and joints of the moving body) with reference to the information of The position and posture in the real space viewed from the player are detected.
  • the three-dimensional information generation unit 34 'obtains information of the position in the real space of the recognized object (for example, the position of a predetermined point such as the center of gravity for a building or a head for a person). obtain.
  • the information of the position of the object captured in the target image can be obtained from the position information of the player acquired by the position and orientation detection unit 41 and the information of the direction (field of view) of the player. It is expressed in a global coordinate system that represents the position in the real space to be processed.
  • the target object of the three-dimensional information generation unit 34 is a building, a signboard, a door, a figurine (doll, tools, etc.), another person, a vehicle ...
  • the position of the target (the position in the real space seen from the player wearing the player-side device 20 that is the source of the processing target image, ie, the player) Of the two-dimensional surfaces representing the player's field of view as the origin, XYZ orthogonal coordinates with the gravity direction as the Y axis, the horizontal direction as the X axis, and the depth direction (the normal direction to the bottom of the viewing cone of the field of view) as the Z axis
  • Information on the position and the shape / posture that can be expressed by the following equation is sent to the server device 10.
  • the information on the position, shape, and posture is used when setting the position, shape, and posture of a virtual object of a size corresponding to the object in the virtual space, for example, the position and shape of the center of gravity It may be information or the like representing the posture.
  • the three-dimensional information generation unit 34 'further includes, from the server device 10, information for specifying a corresponding virtual object for each object in the processing target image (information on a three-dimensional shape of the virtual object; Get information about position, attitude etc.)
  • the three-dimensional information generation unit 34 sets a virtual space corresponding to the real space, and for each recognized object, from the server device 10, at a position in the virtual space corresponding to the position in each real space.
  • the acquired three-dimensional information in which a virtual object corresponding to the target object is arranged is generated.
  • the three-dimensional information generation unit 34 uses the information of the position, shape, and posture of the object recognized based on the image information of the real space to create a virtual corresponding to each object in the virtual space. Set the position, shape and attitude of the object.
  • the view image generation unit 35 renders and generates an image of a virtual space corresponding to a real space within the player's view. Specifically, the visual field image generation unit 35 'acquires three-dimensional information generated by the three-dimensional information generation unit 34', and acquires information on the position, orientation, and posture of the player, and acquires the target player in the global coordinate system. Information on the position of the eye is obtained, a virtual camera is placed at a position in the virtual space corresponding to the position of the eye, and an image of the virtual space from the virtual camera is rendered. Since this process is widely known, the detailed description here is omitted. The view image generation unit 35 'outputs the view image obtained by the rendering to the display device 24 for display.
  • the position acquisition unit 33 'of the control unit 11 of the server device 10 acquires information representing the position, orientation, and posture from the player-side device 20 of each player. Then, the position acquisition unit 33 ′ associates the acquired information with the player identifier that identifies the player wearing the player device 20 of the acquisition source and records the information.
  • the three-dimensional information providing unit 51 of the control unit 11 of the server device 10 determines a virtual object in the virtual space corresponding to each of the objects recognized by the player-side device 20 of each player.
  • the three-dimensional information providing unit 51 refers to the player database and acquires a group identifier associated with display device identification information identifying the player-side device 20 that has provided the processing target image. Do. Then, for each group identifier, virtual object types corresponding to at least some of the objects are determined. That is, in the present embodiment, the types of virtual objects corresponding to the same object may be different from each other for players specified by information associated with different group identifiers.
  • the three-dimensional information providing unit 51 replaces virtual objects corresponding to other persons among the objects recognized by the player-side device 20 with virtual player objects (thus, all players become a common kind of virtual object).
  • GID a
  • NPC Non Player Character
  • the three-dimensional information providing unit 51 thus specifies information for identifying a virtual object to be replaced with the target object for each target object in each identified real space and each attribute information of the player (virtual Generate information) that represents the shape, position, and posture of the object.
  • the three-dimensional information provision unit 51 transmits to the player side device 20 of each player information for identifying a virtual object for each object in the real space, corresponding to the player attribute information of the player. .
  • the virtual space includes a three-dimensional virtual object corresponding to the target object in the real space, included in the real space image.
  • the configuration corresponding to the means for generating the view image of the player may be located on either side of the server device 10 or the player device 20.
  • the server apparatus 10 is currently using the virtual type of the predetermined type.
  • Information such as whether or not there is a group identifier which has been placed in place of a specific object, or how many such group identifiers exist for each object, etc.
  • An object that has not been replaced by the virtual object of the predetermined type for the identifier is selected, and the selected object is determined to be a virtual object of the predetermined type. It may be arranged by replacing the defect.
  • an object with the smallest number of other group identifiers replaced with the predetermined type of virtual object is selected, and the selected object is replaced with the predetermined type of virtual object and arranged. You may do it.
  • a virtual player object in the example of the present embodiment, it is further conceivable to display a virtual player object as a person wearing a costume set according to an instruction of the manager.
  • the server device 10 recognizes a face portion of a person being imaged and sets the portion as a texture on the head of a virtual player object, and a plurality of costumes etc. are set in advance by the administrator. It selects from among the costumes of the type and is set as a costume worn by the player object.
  • a costume adapted to the time is set.
  • the server device 10 may perform processing such as controlling whether or not to operate an entity placed in the real space based on attribute information of the player. That is, in an example of the present embodiment, the server device 10 acquires information on the entity disposed in the real space, and provides the acquired information on the entity disposed in the real space to a predetermined process.
  • the server device 10 relates to, for example, a group identified by the group identifier for each group identifier as player attribute information, for an object recognized as a door among objects arranged in the real space.
  • the player belonging to the group who has cleared the mission on the predetermined game is displayed as a virtual object representing a door that can pass, and the mission is not cleared.
  • it may be displayed as a virtual object that is difficult to recognize as a passable door (for example, an object representing a simple wall or an NPC representing a gatekeeper and a door).
  • a key capable of actually controlling unlocking / locking from the server device 10 is attached to the door in the real space, and players belonging to a group that does not allow passage of the door approach the door.
  • the server apparatus 10 may control the door to be in a locked state when the door is in use. Further, in this case, the server device 10 controls the door 10 to be in the unlocked state when the player belonging to the group that allows the door to pass is in proximity to the door. According to such a present embodiment, it is possible to set an object such as a door through which only a player belonging to a specific group can pass.
  • the server apparatus 10 provides the player-side apparatus 20 with a view image in the above examples of the present embodiment, the present embodiment is not limited to this.
  • audio information based on three-dimensional information corresponding to the player attribute information may be provided to the player who wears the player-side device 20.
  • the server device 10 when a player belonging to a certain group is located near an object in the real space disposed in place of the NPC for the group, the server device 10 is associated with the replaced NPC in advance. Information of sound that has been set, sound effects (SE) and the like may be distributed to the player side.
  • the player device 20 may be provided with a speaker that receives audio information transmitted by the server device 10 and sounds audio based on the information. In this way, not only images but also sounds can be made different for each player attribute information, such as groups.
  • the server device 10 arranges the virtual object corresponding to the target in the real space at the position in the virtual space corresponding to the position of the target, but the present embodiment The form of is not limited to this, and the server device 10 arranges a virtual object (referred to as a pure virtual object) having no corresponding object in the real space in the virtual space to generate three-dimensional information. May be
  • the coordinates in the virtual space where the pure virtual object can be arranged are determined in advance, and according to the player attribute information (for example, according to the information on the progress of the game associated with the player attribute information) Decide if you want to place a pure virtual object.
  • the server device 10 holds information for identifying whether or not the player is playing with a relatively large motion for each player, and performs the relatively large motion.
  • a predetermined range for example, a radius of 3 meters, etc.
  • the three-dimensional information may be generated as a virtual object representing a structure or figurine that occupies the Alternatively, for a player who is playing a relatively large motion, the server device 10 sets a virtual object corresponding to the player in a virtual space as a virtual character object and the position of the player.
  • a virtual object that prohibits entry such as a curtain or a rope representing a control line, is placed at a predetermined distance (for example, a radius of 3 meters, etc.) in advance. It is also good.
  • the server device 10 is configured to render and generate a view image provided to the player-side device 20 for each player based on three-dimensional information.
  • the player-side device 20 may perform the process of generating the view image by the rendering.
  • the control unit 11 of the server device 10 does not functionally include the view image generation unit 35, and the three-dimensional information generated by the three-dimensional information generation unit 34 according to the player attribute information of the player Send to 20.
  • the control unit 21 of the player-side device 20 acquires three-dimensional information from the server device 10, and at the position of the player's eye in the virtual space, corresponding to the position of the player's eye in real space. Ask for information. Then, the control unit 21 places a virtual camera at a position in the virtual space corresponding to the position of the eye, and renders an image of the virtual space represented by the acquired three-dimensional information from the virtual camera. , Output to the display device 24.
  • the administrator may enable the administrator to operate the administrator terminal 30 from the outside to instruct the arrangement of virtual objects.
  • the server device 10 receives an instruction from the administrator terminal 30 to place a virtual object in the virtual space.
  • this instruction for example, coordinate information representing a position in the virtual space where the virtual object is to be placed, a three-dimensional model of the virtual object (three-dimensional shape and texture of its surface, color, pattern, etc. And the information shown).
  • this instruction may include information (animation information) for changing the posture of a virtual object.
  • the server device 10 arranges the instructed virtual object at the position in the instructed virtual space according to the instruction.
  • the coordinate information included in the instruction is not the coordinate information itself, but a virtual object (referred to as an existing object) already set in the virtual space corresponding to the object disposed in the real space May be information identifying the In this case, the server device 10 replaces the existing object specified by the information with the instructed virtual object.
  • a person who does not wear the player-side device 20 may move in and out of the real space to be processed by the information processing system 1 according to the present embodiment. For example, even in a real space in a facility, a player who wears the player-side device 20 and an attendee who does not wear the player-side device 20 may be mixed.
  • an attendee who does not wear the player-side device 20 is also displayed as a virtual character in the virtual space (the process of replacing the virtual character with the player Even if the player who is not wearing the player-side device 20 is not concerned with the presence or absence of the side device 20), the player can move while avoiding collisions.
  • an attendee who does not wear the player-side device 20 is an object such as a doll arranged in the real space
  • the player can view the game and the player who does not wear the player-side device 20 occupies the position where the doll is located, so that the player's game progress and the like are not hindered.
  • Reference Signs List 1 information processing system 10 server device, 11 control unit, 12 storage unit, 13 communication unit, 20 player side device, 21 control unit, 22 storage unit, 23 imaging unit, 24 display device, 25 communication unit, 30 administrator terminal , 31 player attribute management unit, 32 image acquisition unit, 33, 33 'position acquisition unit, 34, 34' three-dimensional information generation unit, 35, 35 'view image generation unit, 36 transmission control unit, 41 position and orientation detection unit, 51 Three-dimensional information provider.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

プレイヤごとに提示する仮想的なオブジェクトの種類を、プレイヤごとに予め定められたプレイヤの属性情報に基づいて決定する。

Description

情報処理システム、プレイヤ側装置、制御方法、及びプログラム
　本発明は、情報処理システム、プレイヤ側装置、制御方法、及びプログラムに関する。
　近年、仮想現実（ＶＲ）デバイスが普及しており、遊技施設のアトラクション等で利用されるケースもある。こうしたＶＲデバイスを利用したアトラクション等では、プレイヤが実空間とは異なる仮想的な空間の画像を参照しながら、あるいは実空間の像とともに仮想的な空間の画像を参照しながらプレイすることとなる。例えば実空間内の床面に対応する仮想空間内の位置に仮想的なロープのオブジェクトを配し、当該位置より下方を、ビルの屋上など高所から見下ろした画像とすることで、綱渡りをしているかのような感覚をプレイヤに提示するアトラクションが得られる。
　しかしながら、複数のプレイヤが遊戯施設等の場所に会し、一斉にプレイする場合を考えると、仮想空間の画像のみを視認させるＶＲデバイス（いわゆる非透過型のＶＲデバイス）を利用するアトラクションで、実空間で各プレイヤが移動するときには、プレイヤ同士の衝突を避けさせなければならない。
　また、実空間の像とともに仮想空間の画像を提示するＶＲデバイスであっても、実空間内の所定の位置に対応する仮想空間内に、プレイに必要な仮想的なオブジェクトが配されていると、どのプレイヤも当該仮想的なオブジェクトを利用しようとするので、多数のプレイヤが当該オブジェクトの周囲に集まってしまい、混雑してしまう事態が発生する。
　本発明は上記実情に鑑みて為されたもので、複数のプレイヤが関わる場合の問題点を解消できる情報処理システム、プレイヤ側装置、制御方法、及びプログラムを提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明は、仮想空間に仮想的なオブジェクトを配した三次元情報を生成する三次元情報生成手段と、プレイヤごとに、前記生成した三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段と、当該プレイヤごとの視野画像を、対応するプレイヤに提示する手段と、を有し、前記生成する三次元情報に含まれる、前記仮想的なオブジェクトの種類が、プレイヤごとに定められた属性情報に基づいて決定されることとしたものである。
　これにより複数のプレイヤが関わる場合の問題点を解消できる。
本発明の実施の形態に係る情報処理システム１の例を表す構成ブロック図である。 本発明の実施の形態に係るサーバ装置１０の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理システム１で用いられるプレイヤデータベースの内容例を表す説明図である。 本発明の実施の形態に係る情報処理システム１の動作例を表す流れ図である。 本発明の実施の形態に係る情報処理システム１の例を表す機能ブロック図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１は、図１に例示するように、サーバ装置１０と、各プレイヤが頭部に装着するなどして所持する、プレイヤに対して画像を提示する表示装置２４を含むプレイヤ側装置２０とを含んで構成される。本実施の形態の以下の説明では、この情報処理システム１は、所定の施設内で利用されるものとし、サーバ装置１０にはさらに管理者端末３０が接続されているものとするが、本実施の形態は施設内において利用される場合に限られず、所定の地域、あるいは、所定の国の領域内など広域で提供されるサービスにおいて利用されてもよい。
　本実施の形態の情報処理システム１のサーバ装置１０は、図１に示したように、制御部１１と、記憶部１２と、通信部１３とを含んで構成される。また、プレイヤ側装置２０は、制御部２１と、記憶部２２と、撮像部２３と、表示装置２４と、通信部２５とを含む。なお、管理者端末３０は、一般的なパーソナルコンピュータ等であり、サーバ装置１０に対してプレイヤの参加や離脱の設定を指示する。また、本実施の形態では、いずれかのプレイヤ側装置２０がサーバ装置１０として機能してもよい。この場合、当該サーバ装置１０として機能するプレイヤ側装置２０の制御部２１は、制御部１１としての動作を併せて行う。
　ここでサーバ装置１０の制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態のここでの例では、制御部１１は、プレイヤ側装置２０から、プレイヤ側装置２０の撮像部２３にて撮像された画像データなど、実空間内の物体に係る情報を受け入れる。またこの制御部１１は、当該物体に係る情報（例えば実空間の画像）に基づいて、仮想空間に、仮想的なオブジェクトを配した三次元情報を生成する。本実施の形態のある例では、制御部１１は、実空間の画像に基づいて、仮想空間に、当該実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクト（対象物に置き換えられて表示される仮想的なオブジェクト）を配した三次元情報を生成する。また別の例では、制御部１１は、物体に係る情報として、物体の位置に関する情報を取得し、当該取得した情報を用いて、実空間内の対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する。さらに制御部１１は、実空間内の対象物に対応する仮想的なオブジェクトだけでなく、実空間内の対象物とは関わりのない仮想的なオブジェクトを当該仮想空間に配して三次元情報を生成してもよい。
　制御部１１は、さらに、上記実空間内の物体に係る情報の一つとして、各プレイヤあるいはプレイヤ以外の実空間内の人物（以下プレイヤ等という）について、当該プレイヤ等の実空間内の位置情報等を取得する。また制御部１１は、当該取得した位置情報に基づいて、仮想空間内での当該プレイヤの所在位置（例えばプレイヤの左右の目のそれぞれに対応する位置）を演算し、当該仮想空間内での所在位置から見た、三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成し、当該プレイヤが所持するプレイヤ側装置２０に対して送信して出力する。なお、ここでの例では視野画像は、ユーザの左目用の画像と右目用の画像とを含んでもよい。
　なお、以下の説明では、説明を簡略にするため、実空間の物体に係る情報として、実空間の画像及び実空間内の物体（プレイヤ等を含む）の位置情報を用いる例について説明するが、本実施の形態はこれに限られず、質量、速度、加速度、のほか、当該物体の全体または一部（例えば関節等）の回転位置や角度等の姿勢の情報が含まれてもよい。
　また、本実施の形態のここでの例では、この制御部１１は、三次元情報を生成する際の、実空間の対象物に対応する仮想的なオブジェクトの種類を、プレイヤごとに、プレイヤの属性情報に基づいて決定する。ここで属性情報は、プレイヤごとに予め設定しておくものとする。この制御部１１の詳しい動作については、後に述べる。
　記憶部１２は、制御部１１によって実行されるプログラムを格納している。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。通信部１３は、ネットワークインタフェース等であり、ネットワーク等の通信手段を介して、各プレイヤが装着するプレイヤ側装置２０やプレイヤが操作するコントローラＣとの間で通信を行い、種々の情報を送受する。
　具体的に本実施の形態の一例では、この通信部１３は、ＬＡＮやインターネットを介して、施設内（処理の対象とする実空間）の各所に配された無線アクセスポイントＡＰとの間で通信を行い、各プレイヤ側装置２０へ送出する情報を、これらの無線アクセスポイントＡＰを介して無線にて送出させる。
　また、この通信部１３は、各無線アクセスポイントＡＰから、その通信可能な範囲に在圏しているプレイヤ側装置２０やプレイヤが操作するコントローラＣが送出した情報を受信して制御部１１に出力している。
　なお、ここでは無線アクセスポイントＡＰを用いる例としたが、この通信部１３は、携帯電話通信網等を用いて、無線にて各プレイヤ側装置２０との間で通信を行ってもよい。
　プレイヤ側装置２０は、各ユーザの頭部に装着され、その前面側（ユーザの目のある側）には撮像部２３が配されている。このプレイヤ側装置２０の制御部２１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部２２に格納されたプログラムに従って動作する。本実施の形態のここでの例では、この制御部２１は、サーバ装置１０が送信する、視野画像のデータを受け入れて、表示装置２４に対して当該視野画像のデータを表示させる。またこの制御部２１は、撮像部２３を制御して、所定のタイミングごと（例えば１秒ごとなど定期的）に撮像部２３の視野内の画像を撮像させ、当該撮像により得られた画像データを取得して、通信部２５を介してサーバ装置１０に対して送出する。
　記憶部２２は、制御部２１によって実行されるプログラムを格納している。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部２２に格納されたものであってもよい。またこの記憶部２２は、制御部２１のワークメモリとしても動作する。
　撮像部２３は、カメラであり、制御部２１から入力される指示に従って、ユーザの前方（頭部前方）の所定視野内の画像を撮像した画像データを生成し、制御部２１に対して出力する。表示装置２４は、ユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した視野画像を表示する。具体的にこの表示装置２４は、有機ＥＬ表示パネルや液晶表示パネルなどの表示素子を含み、この表示素子が制御部２１から入力される指示に従って映像を表示する。この表示素子は、左目用の画像と右目用の画像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の画像と右目用の画像とをそれぞれ独立に表示する一対の表示素子であってもよい。このプレイヤ側装置２０の表示装置２４は、ユーザが外界の様子を視認することができない非透過型の表示装置であってもよいし、透過型の表示装置であってもよい。
　さらに本実施の形態の一例では、この表示装置２４は、ユーザの頭部に装着される装置に限られず、ユーザが所持するスマートフォンやタブレット端末その他の携帯端末であってもよい。また本実施の形態の別の例では、この表示装置２４は、ユーザが所持している必要もなく、ユーザがその表示内容を視認可能な位置に設置されているディスプレイやデジタルサイネージ等の表示装置であってもよい。
　通信部２５は、無線ネットワークインタフェース等であり、無線ネットワーク等の通信手段を介してサーバ装置１０との間で通信を行い、種々の情報を送受する。
　次に、本実施の形態におけるサーバ装置１０の制御部１１の動作について説明する。本実施の形態のここでの例では、この制御部１１は、図２に例示するように、プレイヤ属性管理部３１と、画像取得部３２と、位置取得部３３と、三次元情報生成部３４と、視野画像生成部３５と、送信制御部３６とを含んで構成される。
　プレイヤ属性管理部３１は、プレイヤごとのプレイヤ属性情報を保持するプレイヤデータベースに接続される。このプレイヤデータベースは、外部のデータベースサーバに保持され、通信可能に接続されていてもよいし、記憶部１２に格納されていてもよい。本実施の形態の一例において、このプレイヤデータベースには、図３に例示するように、プレイヤごとのプレイヤ属性情報として、各プレイヤに固有に設定されたプレイヤ識別子（ＰＩＤ）と、当該プレイヤ識別子で識別されるプレイヤの装着するプレイヤ側装置２０を特定する表示装置識別情報（ＤＩＤ）と、当該プレイヤの属するグループを識別するグループ識別子（ＧＩＤ）とが互いに関連付けて格納されている。
　プレイヤ属性管理部３１は、管理者端末３０から新規にプレイヤが参加する旨の指示の入力を受け入れる。この指示には、当該新規に参加するプレイヤが装着するプレイヤ側装置２０を特定する表示装置識別情報と、当該新規に参加するプレイヤと同じグループに属するべき他のプレイヤのプレイヤ識別子（同じグループに属するべき他のプレイヤがいない場合は、このプレイヤ識別子は「空（null）」とする）とを含む。
　プレイヤ属性管理部３１は、新規にプレイヤが参加する旨の指示に含まれるプレイヤ識別子が「null」であれば、固有のグループ識別子を発行する。またプレイヤ属性管理部３１は、固有のプレイヤ識別子を発行し、当該発行したプレイヤ識別子と、入力された表示装置識別情報と、発行したグループ識別子とを互いに関連付けてプレイヤデータベースに登録する。
　またこのプレイヤ属性管理部３１は、新規にプレイヤが参加する旨の指示に含まれるプレイヤ識別子が「null」でなければ、プレイヤデータベースを参照して、当該指示に含まれるプレイヤ識別子に関連付けられたグループ識別子を読み出す。そしてプレイヤ属性管理部３１は、固有のプレイヤ識別子を発行し、当該発行したプレイヤ識別子と、入力された表示装置識別情報と、読み出したグループ識別子とを互いに関連付けてプレイヤデータベースに登録する。
　なお、プレイヤ属性管理部３１は、発行したプレイヤ識別子を、管理者端末３０に送出して、表示等の処理に供してもよい。これにより、例えば家族や団体で参加するプレイヤに共通のグループ識別子を設定することが可能となる。
　またこのプレイヤ属性管理部３１は、管理者端末３０からプレイヤが離脱する旨の指示の入力を受け入れる。この指示には、例えば当該離脱するプレイヤが装着していたプレイヤ側装置２０を特定する表示装置識別情報（あるいは、離脱するプレイヤのプレイヤ識別子）が含まれる。プレイヤ属性管理部３１は、プレイヤが離脱する旨の指示の入力を受け入れると、プレイヤデータベースから、当該指示に含まれるプレイヤ識別子に関連付けられた表示装置識別情報（またはプレイヤ識別子）と、それに関連付けられた情報とを削除する。
　この例では、本実施の形態の情報処理システム１を配した施設の管理者は、施設に入場する入場者が希望したときに、プレイヤ側装置２０を貸し出し、当該プレイヤ側装置２０に対して設定されている、プレイヤ側装置２０ごとに固有の表示装置識別情報を管理者端末３０に入力して、新規にプレイヤが参加する旨の指示を行わせる。なお、プレイヤ側装置２０ごとに固有の表示装置識別情報は、例えばプレイヤ側装置２０の通信部２５に設定されるネットワークアドレス等でよい。
　画像取得部３２は、各プレイヤが装着するプレイヤ側装置２０から、当該プレイヤ側装置２０が備える撮像部２３が撮像した撮像画像のデータ（実空間の画像）を取得する。位置取得部３３は、各プレイヤの位置及び向きを表す情報を取得する。ここで位置を表す情報は、本実施の形態の情報処理システム１が、ここでの例のように所定の施設に設備されている場合は、当該施設内における位置であり、この位置情報は、情報処理システム１の処理の対象となる実空間内の位置を表すグローバル座標系で表現される。また公道上等、サーバ装置１０の管理者が管理していない場所で、本実施の形態の情報処理システム１が利用される場合はこの位置情報は緯度経度、及び高度等の情報でよい。
　本実施の形態の一例では、各プレイヤの位置情報は、画像取得部３２が取得した画像に基づいて得られてもよい（例えばＳＬＡＭ：Simultaneous Localization and Mappingなどの技術を用いることができる）。また本実施の形態の別の例では、この位置情報は、各プレイヤが別途所持する携帯電話機等により、ＧＰＳ（Global Positioning System）などの測位システムを利用して取得されてもよい。さらに別の例では、施設内の各所に近接通信のビーコンを発信するタグを配して、当該タグから受信されるビーコンとその強さにより位置を検出し、また、プレイヤ側装置２０に傾斜センサや方位センサ（不図示）を備えてプレイヤの姿勢を検出することでプレイヤの向きを検出することとしてもよい。このようなプレイヤの位置情報や向きの情報を取得する方法については種々の方法を採用し得るので、ここでの詳しい説明は省略する。
　三次元情報生成部３４は、画像取得部３２が各プレイヤが装着するプレイヤ側装置２０から取得した実空間の画像に基づいて、この実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した仮想空間を表す三次元情報を生成する。
　すなわちこの三次元情報生成部３４は、各プレイヤが装着するプレイヤ側装置２０から取得した実空間の画像に基づいて、各プレイヤのプレイヤ側装置２０に提示する画像の元となる三次元情報をそれぞれ生成する。具体的に三次元情報生成部３４は、あるプレイヤが装着するプレイヤ側装置２０から取得した実空間の画像を処理対象画像として以下の処理を行う。すなわち三次元情報生成部３４は、処理対象画像から、当該処理対象画像に含まれる対象物（建造物や看板等、扉の固定物や、他の人物等）をそれぞれ認識するとともに、それぞれの形状、姿勢等を併せて認識する。
　本実施の形態のここでの例のように、施設等で利用される場合は、予め建造物や看板等の固定物には、コンピュータ可読な符号画像（二次元バーコード等）を付しておき、三次元情報生成部３４は、処理対象画像から当該符号画像を検出することにより固定物を認識してもよい。この場合、予め各固定物に固有の識別情報を割り当てておけば、形状等の情報も予めデータベースとして保持しておき、三次元情報生成部３４が取得して利用することが可能である。
　また施設等ではなく、公道上等、サーバ装置１０の管理者が管理していない場所で、本実施の形態の情報処理システム１が利用される場合など、コンピュータ可読な符号画像を付していない場合は、三次元情報生成部３４は、ロボットビジョン等の研究で広く知られている方法を採用して、固定物等の形状を認識してもよいし、プレイヤの位置を、プレイヤが携帯する携帯電話機等のＧＰＳ（Global Positioning System）を用いる等の方法で検出して、当該位置の情報と、予め保持している地図の情報（外部の地図サーバにアクセス可能であれば、当該外部の地図サーバから取得してもよい）とを用いて、地図の情報のうち、上記検出した位置にある建造物に係る情報を得て、固定物（公道上であれば、道路等を含む）の形状等の情報を得てもよい。
　さらに、人物等、移動ないし変形（姿勢を変えるなど）する対象物については、三次元情報生成部３４は、同じプレイヤ側装置２０から取得した過去の実空間の画像（過去の処理対象画像）の情報をも参照し、いわゆるボーントラッキング（移動体の骨格、関節の位置及び向きを検出する技術）を利用して、当該移動・変形する対象物の、実空間（処理対象画像の提供元となっているプレイヤ側装置２０を装着するプレイヤから見た実空間）内での位置及び姿勢を検出する。
　また、三次元情報生成部３４は、当該認識した対象物の実空間内での位置（例えば建造物であれば重心点、人物であれば頭部などの所定の点の位置）の情報を得る。ここで対象画像に撮像された対象物の位置の情報は、位置取得部３３が取得したプレイヤの位置情報と、プレイヤの向き（視野）の情報とから得ることができ、情報処理システム１の処理の対象となる実空間内の位置を表すグローバル座標系で表現されるものとする。
　三次元情報生成部３４は、処理対象画像内の対象物を認識すると、個々の対象物について、対象物を建造物、看板、扉、置物（人形、道具等）、他の人物、車両…等、対象物の種類を表す情報に関連付けて、その対象物の位置（処理対象画像の提供元となっているプレイヤ側装置２０を装着するプレイヤから見た実空間での位置、すなわち当該プレイヤを原点として、プレイヤの視野を表す二次元の面のうち、重力方向をＹ軸、水平方向をＸ軸、奥行き方向（視野の視錐台の底面の法線方向）をＺ軸としたＸＹＺ直交座標で表すことのできる空間での位置）及び形状・姿勢の情報を記録する。この位置及び形状・姿勢の情報は、仮想空間内で対象物に対応する大きさの仮想的なオブジェクトの位置及び形状・姿勢を設定する際に用いられる。この位置及び形状・姿勢の情報は、例えば重心の位置と形状・姿勢とを表す情報等でよい。
　三次元情報生成部３４は、認識した対象物のそれぞれに対応する仮想空間内の仮想的なオブジェクトを決定する。本実施の形態において、この三次元情報生成部３４は、プレイヤデータベースを参照し、処理対象画像の提供元となったプレイヤ側装置２０を特定する表示装置識別情報に関連付けられた、グループ識別子を取得する。そしてグループ識別子ごとに、少なくとも一部の対象物に対応する、仮想的なオブジェクトの種類を決定する。つまり、本実施の形態では、異なるグループ識別子に関連付けられた情報で特定されるプレイヤについては、同じ対象物に対応する仮想的なオブジェクトの種類は互いに異なっている場合がある。
　一例として、三次元情報生成部３４は、認識した対象物のうち、他の人物に対応する仮想的なオブジェクトについては、仮想的なプレイヤオブジェクトに置き換える（従ってすべてのプレイヤに共通の種類の仮想的なオブジェクトとなる）。一方、認識した対象物のうち、看板や置物等については、三次元情報生成部３４は、グループ識別子ごとに異なる仮想的なオブジェクトに置き換える。具体的に、あるグループ識別子ＧＩＤ＝ａに関連付けられた情報で特定されるプレイヤに対しては、施設でのプレイ上必要となる情報を提供するＮＰＣ（Non Player Character）に置き換える。また、グループ識別子ＧＩＤ＝ａとは異なるグループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報で特定されるプレイヤに対しては、施設でのプレイ進行に関わりのないオブジェクト（例えば銅像）に置き換えることとする。
　またこの三次元情報生成部３４は、建造物についても、プレイヤの属性情報であるグループ識別子に基づいて、当該建造物に置き換える仮想的なオブジェクトの種類を決定してもよい。さらにこの三次元情報生成部３４は、プレイヤ属性情報ごとのゲーム進行の状況を記録したゲーム進行データベースも参照して、当該ゲームの進行の状況に合わせて、仮想的なオブジェクトの種類を決定してもよい。例えばグループ識別子ＧＩＤ＝ａに関連付けられた情報で特定されるプレイヤに対しては、三次元情報生成部３４は、ゲーム進行データベースの記録によって当該グループ識別子ＧＩＤ＝ａに関連付けられた情報を参照し、ゲーム上、攻撃等で破壊された建造物を表す仮想的なオブジェクトに置き換え、またそれとは異なるグループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報で特定されるプレイヤに対しては、ゲーム進行データベースの記録によって当該グループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報を参照し、破壊される前の建造物を表す仮想的なオブジェクトに置き換えてもよい。
　三次元情報生成部３４は、さらに、実空間に対応する仮想空間を設定し、認識した各対象物について、それぞれの実空間内の位置に対応する仮想空間内の位置に、当該対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する。ここで仮想空間の設定は、プレイヤが移動可能な実空間全体に対応する仮想的な空間を予め設定するものであってもよいし、プレイヤが移動して実空間内の領域が視野内に入るごとに、当該視野内にある実空間に対応する仮想空間を逐次的に設定していくものであってもよい。既に述べたように、本実施の形態では、対象物に対応する仮想的なオブジェクトは、プレイヤの属性情報ごと（ここでの例では、グループ識別子ごと）にその種類が異なり得るので、三次元情報生成部３４は、プレイヤの属性情報ごとに三次元情報を生成する。なお、三次元情報生成部３４は、実空間の画像情報に基づいて認識された、対象物の位置及び形状・姿勢の情報を用いて、仮想空間内で各対象物に対応する大きさの仮想的なオブジェクトの位置及び形状・姿勢を設定する。
　視野画像生成部３５は、各プレイヤの視野内の実空間に対応する仮想空間の像をレンダリングして生成する。具体的にこの視野画像生成部３５は、各プレイヤに対応する視野画像を順次生成する。視野画像生成部３５は、あるプレイヤについての視野画像を生成する際、当該視野画像の提供先となるプレイヤ（対象プレイヤと呼ぶ）のプレイヤ属性情報を取得し、当該プレイヤ属性情報に関連して三次元情報生成部３４が生成した三次元情報を取得する。ここではプレイヤ属性情報はグループ識別子としているので、対象プレイヤのプレイヤ識別子に関連付けてプレイヤデータベースに記録されているグループ識別子を参照し、当該グループ識別子に対応して三次元情報生成部３４が生成した三次元情報を取得する。
　視野画像生成部３５は、また、対象プレイヤの位置及び向きの情報を取得し、グローバル座標系における対象プレイヤの目の位置の情報を得て、当該目の位置に対応する仮想空間内の位置に仮想的なカメラを配して、当該仮想的なカメラからの仮想空間の像をレンダリングする。この処理は広く知られているので、ここでの詳しい説明を省略する。視野画像生成部３５は、当該レンダリングして得た視野画像を、対象プレイヤのプレイヤ識別子とともに出力する。
　送信制御部３６は、視野画像生成部３５が生成した、プレイヤごとの視野画像を、対応するプレイヤが装着するプレイヤ側装置２０に対して送信する。具体的にこの送信制御部３６は、視野画像生成部３５が出力する視野画像とプレイヤ識別子とを受け入れ、当該プレイヤ識別子に関連付けてプレイヤデータベースに記録されている表示装置識別情報を取得する。送信制御部３６は、当該取得した表示装置識別情報で識別されるプレイヤ側装置２０宛に、受け入れた視野画像を送信する。
　本実施の形態の情報処理システム１の一例は以上の構成を備えており、次のように動作する。なお、以下の例では、プレイヤＰａ，Ｐｂがグループ識別子ＧＩＤ＝ａのグループに属し、プレイヤＰｃがグループＧＩＤ＝ｂのグループに属しているものとする。また、プレイヤ属性情報としてのグループ識別子ＧＩＤ＝ａのプレイヤについては、ゲーム進行データベースに、建造物Ｘの破壊が終了したことを表す情報が記録され、グループ識別子ＧＩＤ＝ｂのプレイヤについては、建造物Ｘの破壊が終了していないことを表す情報が記録されているものとする。
　サーバ装置１０は、図４に示すように、各プレイヤが装着するプレイヤ側装置２０から、当該プレイヤ側装置２０が備える撮像部２３が撮像した撮像画像のデータ（実空間の画像）を取得する（Ｓ１）。またこのサーバ装置１０は、各プレイヤの位置及び向きを表す情報を取得する（Ｓ２）。
　サーバ装置１０は、各プレイヤが装着するプレイヤ側装置２０から取得した実空間の画像に基づいて、この実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した仮想空間を表す三次元情報を生成する。ここでは具体的に、各プレイヤが装着するプレイヤ側装置２０から取得した実空間の画像を順次、処理対象画像として選択し（Ｓ３）、当該処理対象画像に含まれる対象物（建造物や看板等、扉の固定物や、他の人物等）をそれぞれ認識するとともに、それぞれの形状、姿勢等を併せて認識する（対象物の認識処理：Ｓ４）。
　サーバ装置１０は、この処理Ｓ３，Ｓ４の処理を各プレイヤ側装置２０から取得した画像の情報ごとに行い、さらにプレイヤの属性情報ごとに次の処理を繰り返す。すなわちサーバ装置１０は、認識した個々の対象物について、それぞれに対応する仮想空間内の仮想的なオブジェクトを決定して仮想空間に配置して、プレイヤの属性情報（ここでの例ではグループ識別子）ごとの三次元情報を生成する（Ｓ５）。ここでサーバ装置１０は、プレイヤデータベースとゲーム進行データベースとを参照し、まず、プレイヤの視野に存在する他の人物として識別された対象物に対応する仮想的なオブジェクトについては、仮想的なプレイヤオブジェクトに置き換える。一方、認識した対象物のうち、看板や置物等については、グループ識別子ごとに決定される種類の仮想的なオブジェクトに置き換える。
　ここでサーバ装置１０は、例えば、建造物Ｘの破壊が終了していないプレイヤに対して、建造物Ｘの近くにある置物Ｙまたは置物Ｚを、建造物Ｘの破壊を案内するＮＰＣに置き換える旨の設定がされているときには、当該設定を参照し、処理対象画像を提供したプレイヤ側装置２０を装着しているプレイヤが、建造物Ｘの破壊が終了していないグループ識別子ｂで識別されるグループに属するプレイヤＰｃである場合は、建造物Ｘの近くにある置物Ｙまたは置物Ｚのいずれか一方（例えばランダムにいずれかを決定する）を、建造物Ｘの破壊を案内するＮＰＣに置き換えて、グループ識別子ｂに係る仮想空間内の対応する位置に配置する。
　一方、サーバ装置１０は、処理対象画像を提供したプレイヤ側装置２０を装着しているプレイヤが、建造物Ｘの破壊が終了しているグループ識別子ａで識別されるグループに属するプレイヤＰａまたはプレイヤＰｂである場合は、建造物Ｘの近くにある置物Ｙまたは置物Ｚを、建造物Ｘの破壊を案内するＮＰＣに置き換える代わりに、単なる銅像等に置き換えて、グループ識別子ａに係る仮想空間内の対応する位置に配置する。
　サーバ装置１０は、グループ識別子ごとに生成した三次元情報に基づき、各プレイヤの視野内の実空間に対応する仮想空間の像をレンダリングして生成する（Ｓ６）。そして、当該生成した視野画像を、対応するプレイヤが装着しているプレイヤ側装置２０宛に送出する（Ｓ７）。
　本実施の形態は以上の動作を行うので、現実に存在する人物等については、各プレイヤに対して同様の、人物に対応する仮想的なプレイヤオブジェクトに置き換えて表示されるものの、固定物の少なくとも一部は、属するグループごとに異なり得る、仮想的なオブジェクトに置き換えて表示されることとなる。つまり本実施の形態の例では、グループ識別子ａのグループに属するプレイヤＰａ，Ｐｂに対して提供される視野画像では、対象物ＹまたはＺが銅像等に置き換えられており、ゲーム進行を案内するＮＰＣではないので、対象物Ｙ，Ｚの近くに立ち寄って案内を受けることがない。一方、グループ識別子ｂのグループに属するプレイヤＰｃに対して提供される視野画像では、対象物ＹまたはＺがゲーム進行を案内するＮＰＣとして表示されるので、このプレイヤＰｃは対象物ＹまたはＺの近くに立ち寄って案内を受けることとなる。従って、プレイヤＰａ，Ｐｂ，Ｐｃに同じ仮想的なオブジェクトが提示されることによる、プレイヤの混雑を防止できる。
　さらにここでの例では、別のグループ（例えばグループ識別子ＧＩＤ＝ｃのグループ）に属する別のプレイヤＰｄに対しては、このグループがゲームの進行上、建造物Ｘを破壊していない状態であっても、同様に建造物Ｘの近くにある置物Ｙまたは置物Ｚのうち、ランダムに選択された置物がゲーム進行を案内するＮＰＣに置き換えられることとなるが、ここではランダムにいずれかが選択されることとなるので、プレイヤＰｃのプレイヤと同じ場所にある置物が同じＮＰＣに置き換えられる可能性が低減される。このようにして本実施の形態では、プレイヤが同じ場所に集まることによる混雑を防止できる。
［プレイヤ側装置にて処理する例］
　ここまでの説明では、サーバ装置１０の制御部１１がプレイヤ側装置２０から、プレイヤ側装置２０の撮像部２３にて撮像された画像データを受け入れ、当該画像データ（実空間の画像）に基づいて、仮想空間に、当該実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する等の処理を行うこととしていたが、本実施の形態はこの例に限られず、プレイヤ側装置２０の制御部２１が、画像データに基づく三次元情報の生成、レンダリング等の処理を行うこととしてもよい。この場合、サーバ装置１０の制御部１１が、三次元情報を生成する際の、実空間の対象物に対応する仮想的なオブジェクトの種類を表す情報を、プレイヤごとに、プレイヤの属性情報に基づいて決定してプレイヤ側装置２０に送信し、プレイヤ側装置２０では、当該情報を受信し、当該受信した情報に基づいて実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する。
　すなわち本実施の形態のこの例では、サーバ装置１０の制御部１１が、図２に例示した機能的構成に代えて、図５に例示するように、プレイヤ属性管理部３１と、位置取得部３３′と、三次元情報提供部５１とを機能的に含んで構成される。また図５に示すように、プレイヤ側装置２０の制御部２１が、画像取得部３２と、位置姿勢検出部４１と、三次元情報生成部３４′と、視野画像生成部３５′とを機能的に含む。なお、先の説明と同様の構成となるものについては、同じ符号を付してその繰り返しての説明を省略する。
　画像取得部３２は、例えばプレイヤ側装置２０自身が備える撮像部２３が撮像した撮像画像のデータ（実空間の画像）を取得する。位置姿勢検出部４１は、各プレイヤの位置及び向き、並びに姿勢を表す情報を取得する。この位置姿勢検出部４１もまた、画像取得部３２が取得した画像に基づいてプレイヤの位置、向き、姿勢等の情報を得てもよい（例えばＳＬＡＭ：Simultaneous Localization and Mappingなどの技術を用いることができる）。また本実施の形態の別の例では、この位置情報は、各プレイヤが別途所持する携帯電話機等により、ＧＰＳ（Global Positioning System）などの測位システムを利用して取得されてもよい。さらに別の例では、施設内の各所に近接通信のビーコンを発信するタグを配して、当該タグから受信されるビーコンとその強さにより位置を検出し、また、プレイヤ側装置２０に傾斜センサや方位センサ（不図示）を備えてプレイヤの姿勢を検出することでプレイヤの向きを検出することとしてもよい。このようなプレイヤの位置情報や向き、姿勢等の情報を取得する方法については種々の方法を採用し得るので、ここでの詳しい説明は省略する。
　三次元情報生成部３４′は、画像取得部３２が取得した実空間の画像に基づいて、この実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した仮想空間を表す三次元情報を生成する。
　本実施の形態のここでの例では、三次元情報生成部３４′は、取得された実空間の画像に基づいて、表示装置２４に提示する画像の元となる三次元情報を生成する。三次元情報生成部３４′は、まず、画像取得部３２が取得した実空間の画像を、処理対象画像として、この処理対象画像から、当該処理対象画像に含まれる対象物（建造物や看板等、扉の固定物や、他の人物等）をそれぞれ認識するとともに、それぞれの形状、姿勢等を併せて認識する。
　ここでも、本実施の形態のシステムが施設等で利用される場合は、予め建造物や看板等の固定物に、コンピュータ可読な符号画像（二次元バーコード等）を付しておき、三次元情報生成部３４′は、処理対象画像から当該符号画像を見い出すことにより固定物を認識してもよい。この場合、予め各固定物に固有の識別情報を割り当てておけば、形状等の情報も予めデータベースとして保持しておき、三次元情報生成部３４′が取得して利用することが可能である。
　また施設等ではなく、公道上等、サーバ装置１０の管理者が管理していない場所で、本実施の形態の情報処理システム１が利用される場合など、コンピュータ可読な符号画像を付していない場合は、三次元情報生成部３４′は、ロボットビジョン等の研究で広く知られている方法を採用して、固定物等の形状を認識してもよいし、プレイヤの位置を、プレイヤが携帯する携帯電話機等のＧＰＳ（Global Positioning System）を用いる等の方法で検出して、当該位置の情報と、予め保持している地図の情報（外部の地図サーバにアクセス可能であれば、当該外部の地図サーバから取得してもよい）とを用いて、地図の情報のうち、上記検出した位置にある建造物に係る情報を得て、固定物（公道上であれば、道路等を含む）の形状等の情報を得てもよい。
　さらに、人物等、移動ないし変形（姿勢を変えるなど）する対象物については、三次元情報生成部３４′は、過去に、画像取得部３２が取得した実空間の画像（過去の処理対象画像）の情報をも参照し、いわゆるボーントラッキング（移動体の骨格、関節の位置及び向きを検出する技術）を利用して、当該移動・変形する対象物の、実空間（プレイヤ側装置２０を装着するプレイヤから見た実空間）内での位置及び姿勢を検出する。
　また、三次元情報生成部３４′は、当該認識した対象物の実空間内での位置（例えば建造物であれば重心点、人物であれば頭部などの所定の点の位置）の情報を得る。ここで対象画像に撮像された対象物の位置の情報は、位置姿勢検出部４１が取得したプレイヤの位置情報と、プレイヤの向き（視野）の情報とから得ることができ、情報処理システム１の処理の対象となる実空間内の位置を表すグローバル座標系で表現されるものとする。
　三次元情報生成部３４′は、処理対象画像内の対象物を認識すると、個々の対象物について、対象物を建造物、看板、扉、置物（人形、道具等）、他の人物、車両…等、対象物の種類を表す情報に関連付けて、その対象物の位置（処理対象画像の提供元となっているプレイヤ側装置２０を装着するプレイヤから見た実空間での位置、すなわち当該プレイヤを原点として、プレイヤの視野を表す二次元の面のうち、重力方向をＹ軸、水平方向をＸ軸、奥行き方向（視野の視錐台の底面の法線方向）をＺ軸としたＸＹＺ直交座標で表すことのできる空間での位置）及び形状・姿勢の情報をサーバ装置１０に対して送出する。ここで位置及び形状・姿勢の情報は、仮想空間内で対象物に対応する大きさの仮想的なオブジェクトの位置及び形状・姿勢を設定する際に用いられるもので、例えば重心の位置と形状・姿勢とを表す情報等でよい。
　三次元情報生成部３４′は、さらに、サーバ装置１０から、処理対象画像内の対象物ごとの、対応する仮想的なオブジェクトを特定する情報（仮想的なオブジェクトの三次元的形状に関する情報と、位置、姿勢に関する情報等）を取得する。
　そしてこの三次元情報生成部３４′は、実空間に対応する仮想空間を設定し、認識した各対象物について、それぞれの実空間内の位置に対応する仮想空間内の位置に、サーバ装置１０から取得した、当該対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する。なお、三次元情報生成部３４は、実空間の画像情報に基づいて認識された、対象物の位置及び形状・姿勢の情報を用いて、仮想空間内で各対象物に対応する大きさの仮想的なオブジェクトの位置及び形状・姿勢を設定する。
　視野画像生成部３５′は、プレイヤの視野内の実空間に対応する仮想空間の像をレンダリングして生成する。具体的にこの視野画像生成部３５′は、三次元情報生成部３４′が生成した三次元情報を取得するとともに、プレイヤの位置及び向き、姿勢の情報を取得し、グローバル座標系における対象プレイヤの目の位置の情報を得て、当該目の位置に対応する仮想空間内の位置に仮想的なカメラを配して、当該仮想的なカメラからの仮想空間の像をレンダリングする。この処理は広く知られているので、ここでの詳しい説明を省略する。視野画像生成部３５′は、当該レンダリングして得た視野画像を、表示装置２４に出力して表示させる。
　また、本実施の形態のこの例では、サーバ装置１０の制御部１１の位置取得部３３′が、各プレイヤのプレイヤ側装置２０から、位置及び向き、並びに姿勢を表す情報を取得する。そして位置取得部３３′は、これら取得した情報を、取得元のプレイヤ側装置２０を装着しているプレイヤを識別するプレイヤ識別子に関連付けて記録する。
　サーバ装置１０の制御部１１の、三次元情報提供部５１は、各プレイヤのプレイヤ側装置２０にて認識された対象物のそれぞれに対応する仮想空間内の仮想的なオブジェクトを決定する。本実施の形態において、この三次元情報提供部５１は、プレイヤデータベースを参照し、処理対象画像の提供元となったプレイヤ側装置２０を特定する表示装置識別情報に関連付けられた、グループ識別子を取得する。そしてグループ識別子ごとに、少なくとも一部の対象物に対応する、仮想的なオブジェクトの種類を決定する。つまり、本実施の形態では、異なるグループ識別子に関連付けられた情報で特定されるプレイヤについては、同じ対象物に対応する仮想的なオブジェクトの種類は互いに異なっている場合がある。
　一例として、三次元情報提供部５１は、プレイヤ側装置２０にて認識された対象物のうち、他の人物に対応する仮想的なオブジェクトについては、仮想的なプレイヤオブジェクトに置き換える（従ってすべてのプレイヤに共通の種類の仮想的なオブジェクトとなる）。一方、認識した対象物のうち、看板や置物等については、三次元情報提供部５１は、グループ識別子ごとに異なり得る仮想的なオブジェクトに置き換え、あるグループ識別子ＧＩＤ＝ａに関連付けられた情報で特定されるプレイヤに対しては、施設でのプレイ上必要となる情報を提供するＮＰＣ（Non Player Character）に置き換え、それとは異なるグループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報で特定されるプレイヤに対しては、施設でのプレイ進行に関わりのないオブジェクト（例えば銅像）に置き換えることとする。
　またこの三次元情報提供部５１は、建造物についても、プレイヤの属性情報であるグループ識別子に基づいて、当該建造物に置き換える仮想的なオブジェクトの種類を決定してもよい。さらにこの三次元情報提供部５１は、プレイヤ属性情報ごとのゲーム進行の状況を記録したゲーム進行データベースも参照して、当該ゲームの進行の状況に合わせて、仮想的なオブジェクトの種類を決定してもよい。例えばグループ識別子ＧＩＤ＝ａに関連付けられた情報で特定されるプレイヤに対しては、三次元情報提供部５１は、ゲーム進行データベースの記録によって当該グループ識別子ＧＩＤ＝ａに関連付けられた情報を参照し、ゲーム上、攻撃等で破壊された建造物を表す仮想的なオブジェクトに置き換え、またそれとは異なるグループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報で特定されるプレイヤに対しては、ゲーム進行データベースの記録によって当該グループ識別子ＧＩＤ＝ｂ，ｃ…に関連付けられた情報を参照し、破壊される前の建造物を表す仮想的なオブジェクトに置き換えてもよい。なお、この置き換えの処理は、三次元情報生成部３４における処理と同様のものとなる。
　三次元情報提供部５１は、このように、各識別された実空間内の対象物ごと、かつ、プレイヤの属性情報ごとに、当該対象物に置き換える仮想的なオブジェクトを特定する情報（仮想的なオブジェクトの形状や位置、姿勢を表す情報）を生成する。
　そして三次元情報提供部５１は、各プレイヤのプレイヤ側装置２０に対して、当該プレイヤのプレイヤ属性情報に対応する、実空間内の対象物ごとの仮想的なオブジェクトを特定する情報を送信出力する。
　このように本実施の形態では、撮像された実空間の画像に基づいて、仮想空間に、実空間の画像に含まれる、実空間内の対象物に対応する仮想的なオブジェクトを配した三次元情報を生成する三次元情報生成手段としての構成と、表示装置を装着したプレイヤごとに、演算した当該プレイヤの所在位置から見た、生成した三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段に対応する構成とは、それぞれサーバ装置１０とプレイヤ側装置２０とのどちら側にあっても構わない。
［他のプレイヤ属性情報について設定した仮想オブジェクトの種類を参照する処理］
　なお、以上の例では、所定の種類の仮想的なオブジェクト（ＮＰＣ等）に置き換えることが想定される実空間内の対象物が複数ある場合、グループ識別子（プレイヤ属性情報）ごとにランダムに、どの対象物を当該所定の種類の仮想的なオブジェクトに置き換えて配置するかを決定することとしていたが、本実施の形態はこれに限られず、サーバ装置１０は、現在、当該所定の種類の仮想的なオブジェクトに置き換えて配置しているグループ識別子があるか否か、あるいはそのようなグループ識別子が、対象物ごとにいくつあるか等の情報を得て、当該情報を参照して、現在他のグループ識別子に対して当該所定の種類の仮想的なオブジェクトに置き換えられていない対象物を選択して、当該選択した対象物を所定の種類の仮想的なオブジェクトに置き換えて配置することとしてもよい。また、当該所定の種類の仮想的なオブジェクトに置き換えている他のグループ識別子の数が最も少ない対象物を選択して、当該選択した対象物を所定の種類の仮想的なオブジェクトに置き換えて配置することとしてもよい。
［仮想的なプレイヤオブジェクトの例］
　本実施の形態の例では、さらに、仮想的なプレイヤオブジェクトとして、管理者の指示に従って設定された衣装をまとった人物として表示することが考えられる。例えば、サーバ装置１０は、撮像されている人物の顔部分を認識して当該部分を仮想的なプレイヤオブジェクトの頭部にテクスチャとして設定するとともに、衣装等については、管理者が予め設定した、複数の種類の衣装のうちから選択して、プレイヤオブジェクトが着用する衣装として設定する。一例として、過去の時代をテーマとした施設において本実施の形態のシステムを用いる場合、当該時代に合わせた衣装を設定する。
［現実の対象物との相互作用］
　また本実施の形態のサーバ装置１０は、実空間に配されている実体物に対する操作の可否等をプレイヤの属性情報に基づいて制御するなどの処理を行ってもよい。すなわち本実施の形態の一例では、サーバ装置１０は、実空間に配された実体物に関する情報を取得し、当該取得した、実空間に配された実体物に関する情報を、所定の処理に供する。
　具体的には、サーバ装置１０は、実空間に配された対象物のうち扉として認識された対象物について、プレイヤ属性情報としてのグループ識別子ごとに、例えば当該グループ識別子で識別されるグループに係るゲームの進行状況の情報を参照して、所定のゲーム上のミッションをクリアしたグループに属するプレイヤに対しては、通過可能な扉を表す仮想的なオブジェクトとして表示させ、当該ミッションをクリアしていないグループに属するプレイヤに対しては、通過可能な扉として認識し難い仮想的なオブジェクト（例えば単なる壁を表すオブジェクトとしたり、門番を表すＮＰＣと扉とに設定する等）として表示させることとしてもよい。
　またこの場合、実空間内の扉には、実際にサーバ装置１０から解錠・施錠を制御可能な鍵を取り付けておき、当該扉を通過可能としないグループに属するプレイヤが当該扉に近接しているときには当該扉を施錠状態とするようサーバ装置１０が制御してもよい。さらにこの場合、当該扉を通過可能とするグループに属するプレイヤが当該扉に近接しているときには当該扉を解錠状態とするようサーバ装置１０が制御する。このような本実施の形態によると、特定のグループに属するプレイヤのみが通過可能な扉といったオブジェクトを設定できる。
［音声情報の提供］
　さらに本実施の形態のここまでの例では、サーバ装置１０は、プレイヤ側装置２０に対して視野画像を提供するものとしたが、本実施の形態はこれだけに限られず、サーバ装置１０は、プレイヤごとに、プレイヤ属性情報に対応する三次元情報に基づく音声情報をプレイヤ側装置２０を着用するプレイヤ側に提供してもよい。
　一例としてサーバ装置１０は、あるグループに属するプレイヤが、当該グループに対してはＮＰＣとして置き換えて配された実空間内の対象物の近くに所在する場合には、当該置き換えたＮＰＣに関連付けて予め設定されている音声の情報や効果音（ＳＥ）等を、当該プレイヤ側に配信してもよい。この例では例えばプレイヤ側装置２０が当該サーバ装置１０が送信する音声情報を受信し、当該情報に基づく音声を鳴動するスピーカを備えてもよい。このようにすると、画像だけでなく、音声もグループ等、プレイヤ属性情報ごとに異ならせることが可能となる。
［対応する実体物が存在しない仮想的なオブジェクト］
　またここまでの説明では、サーバ装置１０は、実空間内の対象物に対応する仮想的なオブジェクトを、当該対象物の位置に対応する仮想空間内の位置に配置することとしていたが、本実施の形態はこれに限られず、サーバ装置１０は、実空間内に対応する対象物のない仮想的なオブジェクト（純仮想オブジェクトと呼ぶ）を、仮想空間内に配置して、三次元情報を生成してもよい。
　この例の場合、当該純仮想オブジェクトを配置可能な仮想空間内の座標を予め定めておき、プレイヤ属性情報に応じて（例えばプレイヤ属性情報に関連付けられたゲームの進行状況の情報に応じて）、純仮想オブジェクトを配するか否かを決定する。
［動きを伴うイベント］
　さらに、プレイヤが比較的大きな動作を伴うプレイを行う場合（例えば剣を振るうなどの動作を伴うプレイを行う場合など）、当該プレイとは関わりないプレイヤを近接させないことで、プレイヤ間の衝突の発生を避けることが好ましい。
　そこで本実施の形態のある例では、サーバ装置１０は、各プレイヤについてプレイヤが比較的大きな動作を伴うプレイを行っているか否かを識別する情報を保持し、比較的大きな動作を行うプレイを行っているプレイヤについては、仮想空間における、当該プレイヤに対応する仮想的なオブジェクトを、仮想的なキャラクタオブジェクトとする代わりに、当該プレイヤの位置を中心として所定の範囲（例えば半径３メートルなどとして予め定めておけばよい）を占有する建造物や、置物を表す仮想的なオブジェクトとして三次元情報を生成してもよい。または、サーバ装置１０は、比較的大きな動作を行うプレイを行っているプレイヤについては、仮想空間における、当該プレイヤに対応する仮想的なオブジェクトを、仮想的なキャラクタオブジェクトとするとともに、そのプレイヤの位置を中心として所定の距離（例えば半径３メートルなどとして予め定めておけばよい）に、立ち入りを禁止する仮想的なオブジェクト、例えば幕や、規制線を表すロープ等の仮想的なオブジェクトを配してもよい。
［一部の処理を表示装置側で行う例］
　また本実施の形態のここまでの説明では、サーバ装置１０が、三次元情報に基づく、プレイヤごとのプレイヤ側装置２０に提供する視野画像をレンダリングして生成することとしていたが、本実施の形態では、このレンダリングによる視野画像の生成処理は、プレイヤ側装置２０が行ってもよい。この例では、サーバ装置１０の制御部１１は、視野画像生成部３５を機能的に含まず、三次元情報生成部３４が生成した、当該プレイヤのプレイヤ属性情報に係る三次元情報をプレイヤ側装置２０に対して送信する。
　そしてこの例では、プレイヤ側装置２０の制御部２１は、サーバ装置１０から三次元情報を取得するとともに、実空間におけるプレイヤの目の位置に対応する、仮想空間内でのプレイヤの目の位置の情報を求める。そして制御部２１は、当該目の位置に対応する仮想空間内の位置に仮想的なカメラを配して、当該仮想的なカメラからの、取得した三次元情報が表す仮想空間の像をレンダリングし、表示装置２４に出力する。
［指示による仮想的なオブジェクトの配置］
　さらに本実施の形態のある例では、サーバ装置１０に対して管理者が外部から、管理者端末３０を操作して仮想的なオブジェクトの配置を指示することを可能にしてもよい。具体的に、サーバ装置１０は、管理者端末３０から仮想空間内に仮想的なオブジェクトを配置するべき旨の指示を受け入れる。この指示には、例えば当該仮想的なオブジェクトを配置する仮想空間内の位置を表す座標情報と、仮想的なオブジェクトの三次元モデル（三次元的形状とその表面の質感や、色、模様等を表した情報）の情報とを含む。また、この指示には仮想的なオブジェクトの姿勢を変化させる情報（アニメーション情報）等が含まれてもよい。
　サーバ装置１０は、当該指示に従って、指示された仮想空間内の位置に、指示された仮想的なオブジェクトを配置する。なお、ここで指示に含まれる座標情報は、座標情報そのものではなく、実空間内に配された対象物に対応して仮想空間内に既に設定されている仮想的なオブジェクト（既設オブジェクトと呼ぶ）を特定する情報であってもよい。この場合、サーバ装置１０は、当該情報で特定される既設オブジェクトを、指示された仮想的なオブジェクトに置き換える。
［表示装置を着用しない人物との共存］
　また本実施の形態の情報処理システム１が処理の対象とする実空間には、プレイヤ側装置２０を装着しない人物が往来していてもよい。例えば、施設内の実空間においても、プレイヤ側装置２０を装着するプレイヤと、プレイヤ側装置２０を装着しない入場者とが混在していてもよい。この場合でも、プレイヤ側装置２０を装着するプレイヤには、プレイヤ側装置２０を装着しない入場者も仮想空間内に仮想的なキャラクタとして表示されるので（仮想的なキャラクタへの置き換え処理は、プレイヤ側装置２０の装着の有無に関わらないため）、プレイヤは、プレイヤ側装置２０を装着しない入場者であっても衝突しないよう避けながら移動できる。
　また実空間に配された対象物が、仮想空間内において仮想的なオブジェクトに置き換えられることとなっているので、プレイヤ側装置２０を装着しない入場者も、実空間に配された人形等の対象物を見ることができ、プレイヤ側装置２０を装着しない入場者が当該人形の所在する位置を占めてしまうことで、プレイヤのゲーム進行等が妨げられることもない。
　１　情報処理システム、１０　サーバ装置、１１　制御部、１２　記憶部、１３　通信部、２０　プレイヤ側装置、２１　制御部、２２　記憶部、２３　撮像部、２４　表示装置、２５　通信部、３０　管理者端末、３１　プレイヤ属性管理部、３２　画像取得部、３３，３３′　位置取得部、３４，３４′　三次元情報生成部、３５，３５′　視野画像生成部、３６　送信制御部、４１　位置姿勢検出部、５１　三次元情報提供部。
 

Claims (8)

  1. 　仮想空間に仮想的なオブジェクトを配した三次元情報を生成する三次元情報生成手段と、
    　プレイヤごとに、前記生成した三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段と、
    　当該プレイヤごとの視野画像を、対応するプレイヤに提示する手段と、を有し、
    　前記生成する三次元情報に含まれる、前記仮想的なオブジェクトの種類が、プレイヤごとに定められた属性情報に基づいて決定される情報処理システム。
  2. 　サーバ装置と、プレイヤに対して画像を提示する表示装置と、プレイヤごとの属性情報を保持する属性情報データベースと、を含み、
    　前記サーバ装置は、
    　実空間内の物体に係る情報を取得し、当該取得した情報に基づいて仮想空間内での前記物体に関する所定の演算情報を演算して取得し、
    　前記サーバ装置、または前記表示装置のいずれかが、
    　前記取得された実空間内の物体に係る情報に基づいて、仮想空間に仮想的なオブジェクトを配した三次元情報を生成する三次元情報生成手段と、
    　前記プレイヤごとに、前記生成した三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段と、を有し、
    　前記表示装置が、当該表示装置を視認するプレイヤに係る視野画像を表示し、
    　前記三次元情報に含まれる、前記仮想的なオブジェクトの種類が、プレイヤごとに、プレイヤの前記属性情報に基づいて決定される情報処理システム。
  3. 　請求項２の情報処理システムであって、
    　前記三次元情報生成手段は、外部から入力された指示に従い、前記プレイヤの属性情報に関連付けて、指示された属性情報に関連付けられたプレイヤに対して提示される仮想的なオブジェクトを、前記仮想空間内に配置する情報処理システム。
  4. 　請求項２または３に記載の情報処理システムであって、
    　前記サーバ装置は、前記実空間内の物体に係る情報として、実空間内に配された実体物に関する情報を取得し、
    　当該取得した、前記実空間に配された実体物に関する情報が、所定の処理に供される情報処理システム。
  5. 　請求項２から４のいずれか一項に記載の情報処理システムであって、
    　前記三次元情報生成手段は、前記実空間内の物体に係る情報として、実空間内に所在する人物に関する情報を取得し、当該人物に関する情報に基づき、当該人物に対応する仮想的なプレイヤオブジェクトを、前記仮想空間に配した三次元情報を生成する情報処理システム。
  6. 　表示装置を所持するプレイヤごとに、実空間内の物体に係る情報に基づいて、仮想的なオブジェクトを配した仮想空間の三次元情報を生成する手段と、
    　前記三次元情報の表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段と、
    　プレイヤが所持する表示装置に対し、当該プレイヤに係る、前記生成した視野画像を出力する手段と、
    を有し、
    　前記三次元情報を生成する手段が、実空間内の前記物体に対応する仮想的なオブジェクトの種類を、プレイヤごとに予め定められたプレイヤの属性情報に基づいて決定するプレイヤ側装置。
  7. 　コンピュータを用い、
    　三次元情報生成手段が、実空間内の物体に係る情報に基づいて、仮想空間に仮想的なオブジェクトを配した三次元情報を生成する工程と、
    　演算手段が、プレイヤに対して画像を提示する表示装置を所持したプレイヤの、前記実空間内の位置情報を取得し、当該取得した位置情報に基づいて前記仮想空間内でのプレイヤの所在位置を演算する工程と、
    　視野画像生成手段が、前記表示装置を装着したプレイヤごとに、前記生成した三次元情報が表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する工程と、
    　設定手段が、前記三次元情報に含まれる、前記仮想的なオブジェクトの種類が、プレイヤごとに予め定められたプレイヤの属性情報に基づいて決定する工程と、
    　を含み、前記プレイヤが所持する表示装置が、当該表示装置を所持するプレイヤに係る視野画像を表示する情報処理システムの制御方法。
  8. 　コンピュータを、
    　表示装置を装着したプレイヤごとに、実空間内の物体に係る情報に基づいて、仮想的なオブジェクトを配した仮想空間の三次元情報を生成する手段と、
    　前記三次元情報の表す仮想空間の画像をレンダリングして、当該プレイヤに係る視野画像を生成する手段と、
    　プレイヤが所持する表示装置に対し、当該プレイヤに係る、前記生成した視野画像を出力する手段と、
    として機能させ、
    　前記三次元情報を生成する手段が、前記仮想的なオブジェクトの種類を、プレイヤごとに予め定められたプレイヤの属性情報に基づいて決定するプログラム。

     
PCT/JP2018/024430 2017-07-04 2018-06-27 情報処理システム、プレイヤ側装置、制御方法、及びプログラム WO2019009163A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019527654A JP6811323B2 (ja) 2017-07-04 2018-06-27 情報処理システム、プレイヤ側装置、制御方法、及びプログラム
US16/623,507 US11273374B2 (en) 2017-07-04 2018-06-27 Information processing system, player-side apparatus control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017131410 2017-07-04
JP2017-131410 2017-07-04

Publications (1)

Publication Number Publication Date
WO2019009163A1 true WO2019009163A1 (ja) 2019-01-10

Family

ID=64949978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024430 WO2019009163A1 (ja) 2017-07-04 2018-06-27 情報処理システム、プレイヤ側装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11273374B2 (ja)
JP (1) JP6811323B2 (ja)
WO (1) WO2019009163A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181264A (ja) * 2019-04-23 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および情報提示方法
JP7485527B2 (ja) 2020-03-19 2024-05-16 Ｌｉｎｅヤフー株式会社 提供装置、提供方法及び提供プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11305194B2 (en) * 2019-01-21 2022-04-19 Tempus Ex Machina, Inc. Systems and methods for providing a real-time representation of positional information of subjects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242527A (ja) * 2002-02-18 2003-08-29 Canon Inc 情報処理装置および方法
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
JP2014093050A (ja) * 2012-11-06 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP2017062720A (ja) * 2015-09-25 2017-03-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413127B2 (ja) * 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242527A (ja) * 2002-02-18 2003-08-29 Canon Inc 情報処理装置および方法
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
JP2014093050A (ja) * 2012-11-06 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP2017062720A (ja) * 2015-09-25 2017-03-30 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181264A (ja) * 2019-04-23 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および情報提示方法
US11714281B2 (en) 2019-04-23 2023-08-01 Sony Interactive Entertainment Inc. Image generation device, image display system, and information presentation method
JP7351638B2 (ja) 2019-04-23 2023-09-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および情報提示方法
JP7485527B2 (ja) 2020-03-19 2024-05-16 Ｌｉｎｅヤフー株式会社 提供装置、提供方法及び提供プログラム

Also Published As

Publication number Publication date
US11273374B2 (en) 2022-03-15
US20210146246A1 (en) 2021-05-20
JP6811323B2 (ja) 2021-01-13
JPWO2019009163A1 (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
US11263822B2 (en) Multiuser augmented reality method
JP6792039B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
AU2021258005B2 (en) System and method for augmented and virtual reality
JP6348741B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20200137815A1 (en) Communication connection method, terminal device and wireless communication system
JP6811323B2 (ja) 情報処理システム、プレイヤ側装置、制御方法、及びプログラム
US20230162433A1 (en) Information processing system, information processing method, and information processing program
TWI764366B (zh) 基於光通信裝置的互動方法和系統
JP7329114B1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7381680B1 (ja) 情報処理装置、情報処理方法及びプログラム
CN116820252B (zh) 一种基于vr的多人虚拟现场巡检培训系统及培训方法
JP2022152443A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
NZ748087B2 (en) System and method for augmented and virtual reality
NZ718380B2 (en) System and method for augmented and virtual reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18828040

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019527654

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18828040

Country of ref document: EP

Kind code of ref document: A1